CN100336396C - 电子水印检出方法及装置 - Google Patents

Abstract

本发明提供一种电子水印检出方法及装置，能够正确地检出因缩放以及旋转等攻击而微弱的水印信息而不增加计算量和电路规模。输入图像信号(10)通过图像缩小器(11)与图像尺寸相关地缩小，并生成缩小图像信号。通过使用HPF或者BPF的特定频率成分提取器(21)从缩小图像信号中提取特定频率成分信号，由相位控制器(22)对特定频率成分信号进行相位控制。由相关器(23)计算出相位控制之后的特定频率成分信号和缩小图像信号之间的相互相关值，由水印信息推定器(24)从相互相关值中检出在输入图像信号(10)中所嵌入的水印信息。

Description

电子水印检出方法及装置

                         技术领域

本发明涉及防止经由例如记录媒体所提供的数字动态图像信号的非法复制的有效的电子水印检出方法及装置。

                         背景技术

由于数字VTR或者DVD(数字万用盘)这样的记录及再现数字图像数据的装置的普及，提供这些装置可再现的多种数字动态图像。另外，通过经由因特网、广播卫星、通信卫星等的数字电视广播，流通各种数字动态图像，并且用户可使用高品质的数字动态图像。

数字动态图像在数字信号水平可简单地完成高品质复制，在不实施任何复制禁止或者复制控制的情况下，有可能被无限制地复制。从而，为了防止数字动态图像的非法复制(拷贝)，或者控制由正规用户复制的次数，所考虑的方法是：给数字动态图像附加用于复制控制的信息，使用此附加信息防止非法复制，并限制复制。

作为向数字动态图像重叠另外的附加信息的技术，电子水印(digitalwatermarking)是众所周知的。电子水印是，通过对于被数字数据化的声音、音乐、动态图像、静态图像等内容嵌入内容的版权者和使用者的识别信息、版权者的权利信息、内容的使用条件、它使用时需要的秘密信息，或者上述复制控制信息等的信息(称这些为水印信息)，以使之变得不容易察觉，之后根据必要从内容中检测出水印信息，进行包含使用控制、复制控制的版权保护，或促进二次使用的技术。

作为电子水印的一种方式，应用扩谱技术的方式是众所周知的。在此方式中，根据以下过程在数字动态图像中嵌入水印信息。

[步骤E1]在图像信号中乘以PN(Pseudorandom Noise)序列，然后进行扩谱。

[步骤E2]频率变换(例如DCT变换)扩谱之后的图像信号。

[步骤E3]通过改变特定频率成分的值来嵌入水印信息。

[步骤E4]实施反频率变换(例如IDCT变换)。

[步骤E5]实施逆扩谱(乘以与步骤E1相同的PN序列)。

另一方面，根据以下过程进行从如此嵌入水印信息的数字动态图像中检测出水印信息。

[步骤D1]在图像信号中乘以PN(与步骤E1相同的PN序列)序列，然后进行扩谱。

[步骤D2]频率变换(例如DCT变换)扩谱之后的图像信号。

[步骤D3]着眼特定频率成分的值，提取被嵌入的水印信息。

另一方面，也建议：从输入图像信号中提取特定频率成分信号，相位控制此特定频率成分信号，计算出被相位控制的信号的相关值，然后检测出水印信息(例如专利文献1参照)

【专利文献1】特开2002-325233号公报(权利要求2，图7)。

以防止非法使用作为目的适用电子水印的情况下，需要电子信息有不会因通常对数字著作物所实施的各种操作和有意攻击而被消除或窜改这样的特性(坚定性)。作为对嵌入水印信息的数字图像不能检测出水印信息的攻击，考虑图像的切离，缩放(扩大/缩小)以及旋转等。

受到此攻击的图像被输入的情况下，在现有技术中，首先，在水印信息检测时进行推定在嵌入时的步骤E1中所使用的PN序列的处理，恢复PN序列的同步之后，进行步骤D1～D3的处理，然后提取所嵌入的水印信息。然而，在仅从图像信号恢复PN序列的同步中，尝试多个候补中的处理，进行采用可顺利检测的处理的探测是必要的。为此，存在计算量和电路规模增加的问题。此问题特别是在图像信号是高分辨率的情况下很显著。另外，在受到攻击的图像中，存在着这样的问题：因为水印信息很微弱，所以可分辨出缩放和旋转，即使进行对应于此的检出，也不能够检测出水印信息。

                         发明内容

本发明的目的是提供一种电子水印检出方法以及装置，特别从高分辨率的图像信号中，正确地检测出由于画面切换输出、缩放以及旋转等攻击而变弱的水印信息，此时不伴随计算量和电路规模的增大。

本发明的一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，按照上述频率信息从上述缩小图像信号中提取特定频率成分信号的提取器，控制上述特定频率成分信号的相位的相位控制器，计算出相位被控制的特定频率成分信号和上述缩小图像信号之间的相互相关值的相关器，和从上述相互相关值推定上述水印信息的推定器。

本发明的一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，计算出上述缩小图像信号的自相关函数的相关器，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，按照上述频率信息通过过滤上述自相关函数，提取特定频率成分信号的提取器，和从上述特定频率成分信号推定上述水印信息的推定器。

本发明的一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，计算出上述缩小图像信号的自相关函数的相关器，通过跨第1期间累加上述自相关函数，生成第1累加信号的第1累加器，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，按照上述频率信息从上述第1累加信号提取特定频率成分信号的提取器，对上述特定频率成分信号就振幅进行标准化的标准化器，通过跨比上述第1期间长的第2期间累加所标准化的特定频率成分信号，生成第2累加信号的第2累加器，和从上述第2累加信号推定上述水印信息的推定器。

本发明的一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，按照上述频率信息从上述缩小图像信号中提取特定频率成分信号的步骤，控制上述特定频率成分信号的相位的步骤，计算出相位被控制的特定频率成分信号和上述缩小图像信号之间的相互相关值的步骤，和从上述相互相关值推定上述水印信息的步骤。

本发明的一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，计算出上述缩小图像信号的自相关函数的步骤，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，按照上述频率信息通过过滤上述自相关函数，提取特定频率成分信号的步骤，和从上述特定频率成分信号推定上述水印信息的步骤。

本发明的一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，计算出上述缩小图像信号的自相关函数的步骤，通过跨第1期间累加上述自相关函数，生成第1累加信号的步骤，选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，按照上述频率信息从上述第1累加信号提取特定频率成分信号的步骤，对上述特定频率成分信号就振幅进行标准化的步骤，通过跨比上述第1期间长的第2期间累加所标准化的特定频率成分信号，生成第2累加信号的步骤，和从上述第2累加信号推定上述水印信息的步骤。

相据本发明的一种观点，为了检测出在输入图像信号中所嵌入的水印信息，对上述输入图像信号就图像尺寸进行缩小，生成缩小图像信号，从上述缩小图像信号中检测出水印信息。如此，在输入图像信号是高分辨率信号的情况下，也使得压制计算量和电路规模的同时检出水印信息变为可能。对上述输入图像信号就图像尺寸进行缩小通过例如降低分辨率来实现。

根据本发明的又一观点，从上述缩小图像信号中提取特定频率成分信号。控制所提取的上述特定频率成分信号的相位，计算出相位被控制的特定频率成分信号和上述缩小图像信号之间的相互相关值。从上述相互相关值中检测出上述水印信息。通过一边改变相位控制量一边进行为了计算出相互相关值的相关计算，输入图像信号即使受到缩放的攻击，也能够检测出水印信息。如此对缩小图像信号改变相位控制量，并进行相关计算。从而，在输入图像信号是高分辨率信号，并且受到缩放的攻击的情况下，使得不增加计算量和电路规模，可检出水印信息。

根据本发明另一种观点，计算上述缩小图像信号的自相关函数。通过上述自相关函数被过滤，生成特定频率成分信号，从上述特定频率成分信号中检测出上述水印信息。通过缩小图像信号和对于缩小图像信号的相位控制之后的图像信号的相关计算，求出自相关函数。求出自相关函数之前，对缩小图像信号实施图像旋转。如此通过改变对缩小图像信号的相位控制量和图像旋转量，并进行求出自相关函数的计算，能够从受到缩放攻击和旋转攻击的输入图像信号检出水印信息。

根据本发明的再一种观点，计算缩小图像信号的自相关函数。通过上述自相关函数跨第1期间被累加，生成第1累加信号。从上述第1累加信号中提取特定频率成分信号，进一步，对上述特定频率成分信号就振幅进行标准化。通过被标准化的特定频率成分信号在跨上述第1期间长的第2期间被累加，生成第2累加信号。从上述第2累加信号中检测出上述水印信息。在此情况下，通过一边改变对于缩小图像信号的相位控制量和图像旋转量，一边进行自相关计算，从受到缩放攻击和旋转攻击的输入图像信号中检出水印信息。进一步，通过累加自相关信号，然后提取特定频率成分信号，削减用于特定频率成分信号提取的过滤计算次数，不降低水印信息的检出性能地降低检出成本。

输入图像信号，例如是HD(High Definition)图像信号，缩小图像信号是从HD图像信号被转换的SD(Standard Definition)图像信号。通过对SD图像信号进行水印信息检出，能够进行抑制增加计算量和电路规模的正确的检出。通过和从HD图像信号到SD图像信号的缩放比率保持一致地改变此时被提取的特定频率成分信号的标准化频率，能够维持水印信息的检出性能。

根据本发明，对于图像的切出、缩放以及旋转等攻击，在输入图像信号是高分辨率信号的情况下，也能够不增加计算量和电路规模，正确地检出水印信息。

                         附图说明

图1是表示关于本发明第1实施方式的电子水印检出装置构成的方框图；

图2是表示关于本发明第2实施方式的电子水印检出装置构成的方框图；

图3是说明关于图2的相位控制器进行的特定频率成分信号的相位转换的图；

图4是表示在第2实施方式中的相互相关值的峰值探测和水印信息检出操作实例的图；

图5是表示关于本发明第3实施方式的电子水印检出装置构成的方框图；

图6是表示关于本发明第4实施方式的电子水印检出装置构成的方框图；

图7是表示关于本发明第5实施方式的电子水印检出装置的主要构成的方框图；

图8是表示关于本发明第6实施方式的电子水印检出装置的主要构成的方框图；

图9是表示图8的图像旋转器的构成实例的方框图；

图10是表示在第6实施方式中从被旋转变换的图像检出水印信息时在图像的倾斜方向上进行相关计算的图；

图11是表示包含在电子水印检出装置中的水印推定器的第1具体实例的方框图；

图12是表示根据累加期间改变水印信息检出的判定阈值的图；

图13是表示包含在电子水印检出装置中的水印推定器的第2具体实例的方框图；

图14是表示包含在电子水印检出装置中的水印推定器的第3具体实例的方框图；

图15是表示一般的相关计算操作的图；

图16是表示每1象素间除象素进行的相关计算的操作的图；

图17是表示每8象素间除象素进行的相关计算的操作的图；

图18是表示每8象素间除并且每1象素间除象素进行的相关计算的操作的图；

图19是说明HD图像和SD图像的图；

图20是表示关于本发明第7实施方式的系统构成的方框图；

图21是表示在HD图像信号中所嵌入的水印信息的频率特性的图；

图22是说明从下转换HD图像信号所获得的SD图像信号中所提取的特定频率成分信号的频率特性的图；

图23是表示关于本发明的第8实施方式的电子水印检出装置的主要部件的构成的方框图。

                        具体实施方式

(第一实施方式)

根据在图1中所示的最基本的本发明第一实施方式，水印信息被嵌入的输入图像信号10被输入到图像缩小器11中。图像缩小器11，对输入图像信号10实施关于图像尺寸的缩小处理。图像尺寸一般通过图像的(水平方向的象素数)×(垂直方向的象素数)来定义。从而，图像缩小器11为了图像的缩小处理实施降低分辨率的处理，生成分辨率被降低的缩小图像信号。

由图像缩小器11生成的缩小图像信号，输入到水印信息检出器12。水印信息检出器12从缩小图像信号中检出水印信息。对于水印信息检出技术，在随后将详细说明。从水印信息检出器12输出被检出的水印信息13。

根据如此的本实施方式，使得通过仅增加对高分辨率的图像的缩小处理的成本，与先前同样，可检出水印信息。

然后，关于进一步具体化的本发明的其它的实施方式，说明图1中的水印信息检出器12。按照以下说明的其它的实施方式的电子水印检出装置中，经记录媒体或者传送媒体输入由与其对应的图中未示出的电子水印嵌入装置生成的水印信息被嵌入的图像信号。

在此，就上述电子水印嵌入装置进行简单地说明。在电子水印嵌入装置中，由特定频率成分提取器从原图像信号中提取特定的频率成分，例如比较高的频率成分的信号。特定频率成分信号通过作为应由相位控制器在输入图像信号中嵌入的数字信息的水印信息，按照所指定的固有相位控制量，受到相位控制。相位被控制的特定频率成分信号，提供给由数字加法器组成的水印信息重叠器，上原图像信号上重叠。因此，生成水印信息被嵌入的图像信号。

这样水印信息被嵌入的图像信号由例如DVD系统这样的数字图像记录再现装置记录在记录媒体中，或者经过因特网、广播卫星、通信卫星等的传送媒体被传送。

(第二实施方式)

根据图2中所示的第二实施方式，来自图像缩小器11的缩小图像信号被提供给水印信息检出器12内部的特定频率成分提取器21的输入和相关器23的第1输入。水印信息检出器12具有特定频率成分提取器21、相位控制器22、相关器23以及水印信息推定器24。特定频率成分提取器21，使用与上述电子水印嵌入装置内部的特定频率成分提取器相同的频率区域的数字过滤器，例如具有特定的截止频率的HPF(高通滤波器)，或者具有特定的通过区域中心频率的BPF(带通滤波器)。特定频率成分提取器21，从缩小图像信号中提取特定频率成分，例如比较高的频率成分的信号。

特定频率成分信号通过相位控制器22，受到被指定范围的相位控制量的相位控制，即相位移动。相位控制器22，由例如数字相位移动器来实现。例如，在图3中所示，在根据相位控制器22进行的相位移动的例子中，特定频率成分信号的相位，被保持原波形的简单地移动。相位移动量，被连续地或者阶段地控制。

通过相位控制器22受到相位控制的特定频率成分信号，被提供给相关器23的第2输入。在相关器23中，计算通过相位控制器22受到相位控制的特定频率成分信号和缩小图像信号之间的相互相关值。从相关器23中输出的相互相关值，被输入到水印信息推定器24。

水印信息推定器24例如图4中所示，通过探测相互相关值峰值，推导水印信息。观察相互相关值对于由相位控制器22进行的相位移动量的改变，发现在某相位移动量的位置处出现峰值。该峰值的极性表示水印信息。如果输入图像信号10受到缩放攻击，那么包含在输入图像信号10中的特定频率成分信号保持的相位移动量，为与电子水印嵌入装置中由相位控制器22提供给特定频率成分信号的相位移动量不同的值。

所以，在本实施方式中相位控制器22的相位移动量连续地或者阶段地被控制，伴随此控制，通过水印信息推定器24探测从相关器23输出的相互相关值的峰值。从被探测的峰值的极性推定水印信息。相互相关值的峰值对应水印信息的值，表示正负的任意一个的极性，例如在图4中，峰值的极性在正的情况下，水印信息被判定为“1”，在负的情况下，水印信息被判定为“0”。如此进行，从水印信息推定器24中输出被检出的水印信息13。

根据如此的本实施方式，在水印信息检出器12中从缩小处理输入图像信号获得的缩小图像信号中提取特定频率成分信号，对特定频率成分信号进行相位控制。计算相位被控制的特定频率成分信号和缩小图像信号之间的相互相关值，从相互相关值中检出水印信息。通过变化相位控制量并探测相互相关值的峰值，从受到缩放攻击的输入图像信号中容易地检测出水印信号。

在图2中所示的水印信息检出器12，从受到缩放的图像信号中检出水印信息是可能的。从而，在提取特定频率成分信号之前，因为能够对输入图像信号10关于图像尺寸实施缩小处理，所以通过仅增加对高分辨率的输入图像信息的缩小处理的成本，水印信息被检出。

(第三实施方式)

根据在图5中所示的第三实施方式，来自图像缩小器11的缩小图像信号被提供给相位控制器31的输入和相关器32的第1输入。通过相位控制器31受到相位控制的缩小图像信号，提供给相关器32的第2输入，在相关器32中通过进行与提供给第1输入的缩小图像信号的相关计算，生成自相关函数。自相关函数被提供给特定频率成分提取器33。

特定频率成分提取器33与在图2中所示的特定频率成分提取器21相同，由HPF或者BPF组成，通过过滤自相关函数，提取特定频率成分信号。通过信息推定器34探测关于所提取的特定频率成分信号的峰值，进一步判定峰值的极性。

特定频率成分信号的峰值，根据在输入图像信号10中嵌入的水印信息而采用正·负的任意一个的值。通过水印信息推定器34，在例如特定频率成分信号的峰值是正的情况下，判定水印信息为“1”，在负的情况下，判定水印信息为“0”。如此进行，从水印信息推定器34输出被检出的水印信息13。相位控制器31的相位控制、相关器32的相关计算以及特定频率成分提取器33的过滤是线形计算的情况下，本实施方式的电子水印检出装置与图2中所示的电子水印检出装置是等效的。

根据本实施方式，在水印信息检出器12中计算出缩小图像信号的自相关函数，通过自相关函数被过滤，生成特定频率成分信号。使改变对于缩小图像信号的相位控制量的同时，计算出自相关系数，然后探测特定频率成分信号的峰值，通过判定峰值的极性，从受到缩放攻击的输入图像信号中容易地检测出水印信息。

在图5中所示的水印信息检出器22，从受到缩放攻击的图像信号检测出水印信息也是可能的。从而，在提取特定频率成分信号之前，因为能够对输入图像信号10就图像尺寸实施缩小处理，所以通过仅增加对高分辨率的输入图像的缩小处理的成本，检测出水印信息。

(第四实施方式)

然后，使用图6说明关于本发明的第四实施方式的电子水印检出装置。在图6中，来自图像缩小器11的缩小图像信号被提供给相位控制器31的输入和相关器32的第1输入。通过相位控制器31受到相位控制的缩小图像信号，被提供给相关器32的第2输入，在此，通过进行与受到相位控制之前的缩小图像信号之间的相关计算，计算出自相关函数。到此的处理是与第三实施方式相同的。

根据第四实施方式，来自相关器32的自相关函数被提供给第1累加器41。累加器41，通过跨例如多个行期间、1个半帧期间、多个半帧期间、1帧期间、多个帧期间这样的、对应于输入图像信号的图像的特性没有很大的改变的短的第1期间，累加自相关函数，生成第1累加信号。累加器41，每次生成第1累加信号时被复位，重新开始自相关函数的累加。

第1累加信号，被输入到特定频率成分提取器42中，在此，通过被过滤，提取特定频率成分信号。特定频率成分信号，被输入到标准化器43。在标准化器43中，为了对应于输入图像信号10的图像的特性不影响水印信息的出现，特定频率成分信号就振幅被标准化。被标准化的特定频率成分信号被输入到第2累加器44。

累加器44，通过跨第2期间累加被标准化的特定频率成分信号，生成第2累加信号。第2期间，是比作为第1累加器41的累加期间的第1期间长的期间，选择例如15秒、30秒、1分。累加器44，每次生成第2累加信号被复位，重新开始被标准化的特定频率成分信号的累加。第2累加信号被输入到水印信息推定器45。在此，峰值被探测。通过判定峰值的极性，被检出的水印信息13被输出。

根据本实施方式，在水印信息检出器12中，计算缩小图像信号的自相关函数，在此自相关函数被累加之后，提取特定频率成分信号。特定频率成分信号就振幅被标准化后再一次被累加，从被累加的标准化特定频率成分信号中检出水印信息。改变对于缩小图像信号的相位控制量并计算出自相关系数，然后探测特定频率成分信号的峰值，进一步通过判定峰值的极性，从受到缩放的攻击的输入图像信号中容易地检测出水印信息。由于累加自相关系数之后通过特定频率成分提取器42进行过滤，与累加输入图像信号和被过滤的图像信号之间的相互相关值的情况进行比较，减少过滤计算次数。从而，能够不降低水印信息的检出性能地降低检出成本。

在图6中所示的水印信息检出器12，从受到缩放的图像信号中检出水印信息是可能的。从而，在提取特定频率成分信号之前，因为能够对输入图像信号10就图像尺寸实施缩小处理，所以通过仅增加对高分辨率的输入图像的缩小处理的成本，检出水印信息。

(第五实施方式)

在图7中，表示按照本发明的第五实施方式的电子水印检出装置的主要部件的构成。在图7的电子水印检出装置中，计算量控制器46被添加到图6表示的电子水印检出装置中。本实施方式假定，使用通用CPU(Central ProcessingUnit)、专用CPU或者DSP(Digital Signal Processor)这样的处理器，通过软件处理，实现电子水印检出装置的处理的一部分或者全部的情况。计算量控制器46，从例如OS(操作系统)获得表示处理器吞吐量的信息47。在此所谓吞吐量就是处理器原来持有的性能，或者处理器时时刻刻变化的性能，最好包含此两种。

如果处理器的吞吐量不足，那么通过计算量控制器46控制相关器32以减少相关器32每单位时间的计算量。具体的是，换句话说如果和吐量变为比指定的阈值小，那么相关器32通过计算量控制器46按输入图像信号10的象素单位、行单位、半帧单位、或者帧单位周期地工作被停止。

如果减少相关器32的计算量，那么因为第2累加器44中的特定频率成分信号的累加量减少，所以电子水印的检出性能降低。因此，为了确保累加量，通过计算量控制器46，控制第2累加器44的累加期间(第2期间)。例如，如果尽量按每一线使得相关器32停止，每隔一线进行相关计算，那么每单位时间的计算量变为二分之一，但是相关值的累加量也变为二分之一。因此，计算量控制器46通过将累加器44的累加期间设为两倍，确保与不进行相关器32的计算量控制的情况相同的累加量。

通过如此进行，在使用原本性能低的处理器的情况，和处理器的吞吐量为了电子水印检出处理以外的处理等而变为比指定的阈值小的情况下，不给处理器增加巨大负荷，可检出水印信息。相反，如果处理器的吞吐量富裕，那么通过减小使得相关计算停止的频度并且增加累加量，能够改善水印信息的检出性能。

根据如此的本实施方式，在处理器的处理能力低的时候，在减小相关器32的每单位时间的计算量的同时，通过减少第2累加器44的每单位时间的累加量并且延长累加期间，能够维持水印信息检出性能并减少任意每单位时间的计算量。在处理器的处理能力富裕的时候，通过增加相关器32的计算量以及第2累加器44的每单位时间的累加量，改善水印信息的检出性能。

在第5实施方式中，在图6中表示的电子水印装置中组合计算量控制器46，但是最好在图2或者图5中表示的电子水印装置中组合相同的计算量控制器。

(第六实施方式)

在图8中，表示按照本发明的第六实施方式的电子水印检出装置的主要部件的构成。在图8的电子水印检出装置中，为了检出被旋转变换的图像信号的电子水印，在图6的电子水印检出装置中的相关器32的前面，插入对缩小图像信号实施图像旋转操作的图像旋转器48。图像旋转器48，在图8中假定被放置在图像缩小器11后面的情况，但是也可以被放置在图像缩小器11的前面。图像旋转器48输出与按照旋转角度信息49旋转对应缩小图像信号的图像的图像对应的图像信号。因此，在输入图像信号10受到旋转攻击的情况下，能够检测出水印信息。

图像旋转器48例如图9中所示，具有行缓冲存储器51和读出单元52。在行缓冲存储器51中，读入多行缩小图像信号并暂时存储。在行缓冲存储器51中存储的多行的图像信号，在按照旋转角度信息49，通过读出单元52逐渐改变读出行的同时被读出。在读出单元52中，设定对应旋转角度信息49的行移动量。

在图10中，表示对应输入图像信号10的图像的象素1104的排列。在通常的电子水印检出装置的相关器中，如标记1101所示，进行关于行方向的相关计算。另一方面，在本实施方式中，对于受到旋转变换的输入图像信号，从图像旋转器27如标记1102所示，例如按每规定象素数而移动输入到相关器32的行。因此，在相关器32中，在图像的倾斜方向上，也就是说通过图10的附加黑点的象素1103的图像信号顺序被输入，在图像的倾斜方向上进行相关计算。

如果在规定象素数n(例如8象素)的整数倍的位置处(例如在图10的例子中，附加黑点的象素1103的位置)，进行对应在读出单元52中的旋转角度信息49的行移动量的变化，那么能够高效率地对行缓冲存储器51内部的图像信号数据进行存取。从而，在对于高速旋转对应于输入图像信号10的图像的情况下，也使得电子水印可检出。

在图像的旋转角度θ小，θ≈0的时候，因为cosθ≈1，sinθ≈tanθ≈θ，所以通过由图9中表示的图像旋转器48，移动输入到相关器32的图像信号的行，使得不增加计算量，可进行来自受到旋转攻击的输入图像信号的水印信息的检出。

如此在第六实施方式中，通过逐渐错开对于相关器32的图像信号(输入图像信号或者缩小图像信号)的输入行，近似图像的旋转。特别地，如果像图10那样通过行缓冲存储器51和读出单元52实现图像旋转器48，那么仅通过在读出单元52中的读出地址的变化产生的行移动量的变更，使得可检出来自受到旋转攻击的输入图像信号的水印信息。从而，避免计算量、行缓冲存储器51的存储带宽度以及电路规模的增大。而且，通过把行缓冲存储器51的字宽度与改变线移动量的位置相符，因为存储器存取效率得到改善，所以在输入图像信号10受到高速旋转攻击的情况下，也能够容易地进行水印信息的检出。

(水印信息推定器的具体实例1)

下面，关于在图6的电子水印检出装置中的水印信息推定器45的具体例子，使用图11进行说明。水印信息推定器45，在此例中具有阈值设定器61、水印检出器62以及水印判定器63。

阈值设定器31，获取表示作为图6中所示的第2累加器44的累加期间的第2期间的信息，对应该累加期间改变为了在水印判定器63中判定水印信息的阈值。具体的说，在图12中表示的累加时间变得越长，设定的阈值变得越小。另一方面，水印检出器62从来自第2累加器44的第2累加信号(标准化并累加自相关信号的特定频率成分的信号)中进行水印信息的检出，把水印信息和电平(第2累加信号峰值的振幅绝对值)提供给水印判定器63。

水印判定器63，对通过阈值设定器61所设定的阈值与从水印检出器62提供的电平进行比较。此比较结果，如果电平在阈值以上，那么水印判定器63判断在水印信息检出器62中正确地检出水印信息，并输出所检出的水印信息。如果电平不足阈值，那么水印判定器63判断水印信息没有被嵌入，并输出“没有水印”的信息。用于判定的阈值，基本上累加期间越长，所设定的阈值越低，但相反也可以。水印判定器63，在每个所预定的期间(例如15秒、30秒、1分钟等)，即通过对应此期间的阈值进行判定，也通过连续变化的阈值进行判定。

如此在本实施方式中，在累加期间很长的时候，通过降低用于水印信息判定的阈值，使得能够检出水印信息的概率提高。从而，不增加在水印信息检出中所要求的计算量和电路规模，而改善检出性能。

(水印信息推定器的具体实例2)

下面，关于在图6的电子水印检出装置中的水印信息推定器45的其它具体例子，使用图13进行说明。此例子的水印信息推定器45，具有不同水印检测方法的最少两个水印检出器71A、71B和水印判定器72。水印检出器71A、71B，各自进行独立的水印信息的检出。水印判定器72，进行水印检出器71A、71B的各自检出结果是否一致的判定。

水印检出器71A从第2累加器44接受标准化自相关信号的特定频率成分并累加的第2累加信号，使用第2检出方法从第2累加信号中检测出水印信息，把检测结果提供给水印判定器72。同样地，水印检出器71B，使用第1检出方法从从第2累加信号中检测出水印信息，把检测结果提供给水印判定器72。水印判定器72，比较来自水印检出器71A、71B的各自水印信息。水印判定器72，如果两种一致，那么判断电子水印被检测出，原样输出水印信息，如果不一致，那么判断没有嵌入电子水印，输出“没有水印”的信息。

例如，通过水印检出器71A使用第1检出方法检出水印信息“A”，通过通过水印检出器71B也使用第2检出方法检出“A”的情况下，因为两个检出结果一致，所以最终作为检出结果获得水印信息“A”。另一方面，使用第1检出方法检出水印信息“B”，使用第2检出方法检出水印信息“C”的情况下，因为两个检出结果不同，所以不能够推定水印信息，判断没有嵌入电子水印。检出方法在三个以上的情况下，也可以适用与本实施方式相同的考虑。

如此在本实施方式中，通过比较使用多种检出方法的水印信息检出结果，能够正确地检出水印信息，使得可降低误检概率。

(水印信息推定器的具体实例3)

下面，对于使用水印信息推定器45的进一步其它的具体例子，使用图14进行说明。在此例子中，在水印信息推定器45的前段，配置有与图6中的第2累加器44不同的、进行自相关信号的标准化特定频率成分的累加的第3累加器80。水印信息推定器45，具有水印检出器81、虚拟水印检出器82、虚拟检出判定器83以及水印判定器84。

第2累加器44，跨第2期间累加被标准化的特定频率成分信号，把第2累加信号提供给水印检出器81。水印检出器81，进行水印信息的检出，并且把检出结果提供给水印判定器84。第3累加器80跨比第2累加器44的累加期间即第2期间短的n(n是大于1的任意整数)分之一的期间(第3期间)累加被标准化的特定频率成分信号，并把累加信号提供给水印虚拟检出器82。

水印虚拟检出器82进行水印信息的虚拟检出，把虚拟检出结果输出到虚拟检出判定器83。虚拟检出判定器83在n次存储虚拟检出结果之后，进行n个虚拟检出结果的比较，把表示n个虚拟检出结果的过半数是否一致的判定结果提供给水印判定器84。

水印判定器84，如果从虚拟检出判定器83获得n个虚拟检出结果的过半数一致的判定结果，那么判断水印信息被检出，并且输出来自水印检出器81的水印信息。另一方面，水印判定器84，在从虚拟检出判定器83获得n个虚拟检出结果的过半数不一致的判定结果的情况下，判断没有嵌入任何水印信息，并输出“没有水印”的信息。

例如，水印虚拟检出器82的检出时间是10秒、n＝2的情况下，开始的5秒内虚拟检测出水印信息“A”，在下一5秒内也虚拟检测出“A”。在此情况下，虚拟检出结果因为过半数一致，所以检测结果变为有效，并通过虚拟检出判定器83判定水印信息被嵌入，由水印检出器81所检出的水印信息被输出。另一方面，在开始5秒内虚拟检测出“B”，在下一5秒内虚拟检测出“C”的情况下，因为虚拟检出结果的过半数不一致，所以检出结果变为无效，并判定没有嵌入水印信息。

如此根据本实施方式，通过评阶水印信息时间的连续性，因为能够正确地检出水印信息，所以能够降低误检概率。

(关于相关器)

下面，关于在使用至此实施方式说明的电子水印检出装置中的相关器23以及32，进行具体的说明。通常，通过相加各象素的乘法计算结果获得相关计算。某信号X(n)和信号Y(n)之间的相互相关值(相关系数)C，使用下面的公式获得。

$C=\underset{n=0}{\overset{l-1}{\mathrm{\Σ}}}X\left(n\right)\×Y\left(n\right)---\left(1\right)$

在此，l是信号长度。自相关的情况下，Y(n)＝X(n)。

在图15中，表示一般的相关计算。此计算为了象素数那么多次进行乘法计算和加法计算，多的计算量是必要的。所以，在本实施方式中间除象素并减少计算量。例如，按每n象素，通过切换进行乘法计算和加法计算的块以及不进行乘法计算和加法计算的块，使计算量变为二分之一。因此，相关系数的精度降低，但是能够充分地检出电子水印，并能够有效地减少计算量。例如，如果在图16中这样，进行按每1象素的乘法计算和加法计算，那么相关系数C变为下面公式。

如果n＝偶数，那么 $C=\underset{n=0}{\overset{l-1}{\mathrm{\Σ}}}X\left(n\right)\×Y\left(n\right)$ 否则C＝0       (2)

进行乘法计算的位置和不进行乘法计算的位置，可以相反。因此计算量变为先前的二分之一。

在图17中这样，进行开始的8象素乘法计算和加法计算，下一8象素不进行乘法计算和加法计算。如果交互循环此计算，那么相关系数C变为下面公式。

如果n/8＝偶数，那么 $C=\underset{n=0}{\overset{l-1}{\mathrm{\Σ}}}X\left(n\right)\×Y\left(n\right)$ 否则C＝0       (3)

在此情况下，进行乘法计算的位置和不进行乘法计算的位置也相反。因此，计算量变为先前的二分之一。

此外，组合公式(2)和(3)，在图18中这样，开始的8象素进行每1象素的乘法计算和加法计算，下一8象素不进行乘法计算和加法计算。在此情况下，相关系数C变为下面公式。

如果n/8＝偶数&n＝偶数，那么 $C=\underset{n=0}{\overset{l-1}{\mathrm{\Σ}}}X\left(n\right)\×Y\left(n\right)$ 否则C＝0(4)

通过间除进行相关计算，因为涉及相关计算的计算量和电路规模减小，能够在不降低水印信息的检出性能的情况下有效地减少检出成本。

(第七实施方式)

然后，表示关于在HD(High Definition)图像信号中被嵌入的水印信息的检出的具体例子。在图19中所表示的这样，例如HD图像，水平方向的象素数是1920，垂直方向的象素数是1080。另一方面，例如基于NTSC方式的SD(Standard Definition)图像，水平方向的象素数是720，垂直方向的象素数是480。如此HD图像，因为象素值是SD图像的6倍，所以如果直接检出在HD图像信号中所嵌入的水印信息，那么在处理中需要的成本变大。

按照本发明实施方式的电子水印检出装置，即使进行缩放，检出水印信息也是可能的。从而，输入图像信号10是HD图像信号的情况下，在上述图像缩小器11中使用将HD图像信号下转换为SD图像信号的转换器，能够通过把SD图像信号输入到水印检出器12，进行水印信息的检出。因此抑制成本增加的同时，使得可检出在HD图像信号中所嵌入的水印信息。

现在，作为处理HD图像信号的视频机器，存在数字播放接收使用的HDTV调谐器、对应HD的VCR(Video Cassette Recorder)以及HDD(Hard DiskDrive)记录器。而且，对应HD的DVD(Digital Versatile Disc)这样的光盘系统的开发也得以推进。对应此HD的视频机器，一般不只是使用HD图像信号，可维持输出SD图像信号的性能。换句话说，此视频机器维持从HD图像信号到SD图像信号的下转换性能。从而，通过替代图像缩小器11使用此视频机器的下转换性能，避免为了下转换而有新的成本的增加。

在图20中，表示关于第七实施方式的系统的构成。从设置在电子水印检出装置的外部中的HD对应的视频机器101、102、103或者104中，输出HD图像信号105以及SD图像信号106，被提供给没有图示的可视数据终端显示器。SD图像信号106，也被输入到水印信息检出器12。水印信息检出器12的详细的构成，按照例如在图2、图3或者图6中表示的一样。通过替代图像缩小器11使用维持把HD图像信号下转换为SD图像信号的性能的视频机器101、102、103或者104，能够避免为了下转换而有新的成本的增加。

(第八实施方式)

在第七实施方式中例子表示的这样，为了在把HD图像信号下转换为SD图像信号之后，图像的水平方向的象素数变为3/8，在上述电子水印嵌入装置中使用的特定频率成分信号的频率特性发生很大的变化。为此，在电子水印检出装置中的特定频率成分提取器33或者42中，如果与电子水印嵌入装置中使用的特定频率成分提取器一样，使用HPF或者BPF，那么电子水印检出性能就降低。因此，在本实施方式中，对应输入图像信号的下转换的缩放比率，使得电子水印检出装置提取的频率成分发生改变。

使用图21以及图22进行说明。如果在HD图像信号中所嵌入的水印信息的标准化频率特性是图21的曲线211，那么下转换HD图像信号所获得的SD图像信号中的水印信息的标准化频率特性表示为图22中的曲线221。在上述电子水印嵌入装置中的特定频率成分提取器中使用BPF的情况下，与其相同的BPF用于电子水印检出装置中的特定频率成分提取器33或者42的情况下，特定频率成分提取器33或者42所提取的频率成分的标准化频率特性表示为图22中的曲线222，这就与被嵌入的水印信息的标准化频率特性221不一致。

所以，在特定频率成分提取器33或者42中使用BP，其中此BP保持标准化频率特性，此标准化频率特性是接近被嵌入在作为输入图像信号10的SD图像信号中的水印信息的标准化频率特性221的图22中的曲线223来表示。因此，能够正确地进行水印信息的检出。

图23，表示关于本发明第八实施方式的电子水印检出装置的主要部件。图像缩小器11，与通过必要关于图像尺寸缩小输入图像信号10的同时，输出缩小比率的信息35。例如，在输入图像信号10是HD图像信号的情况下，图像缩小器11下转换HD图像信号为SD图像信号，作为缩小比率信息35，输出水平方向缩小比率＝720/1920、垂直方向缩小比率480/1080的信息。另一方面，输入图像信号10是SD图像信号的情况下，图像缩小器11不进行任何缩小处理，照原样输出SD图像信号，作为缩小比率信息35，输出缩小比率在水平方向以及垂直方向同时为1，即等倍的信息。

缩小比率信息35，被输入到提取频率成分选择器36。提取频率成分选择器36，对应缩小比率信息35确定特定频率成分提取器33应当提取的特定频率成分信号的频率，把根据此的提取频率信息37提供给特定频率成分提取器33。特定频率成分提取器33，提取具有通过提取频率信息37所指定的频率的特定频率成分信号。

在如此本实施方式的电子水印检出装置中，在作为输入图像信号10的HD图像信号以及SD图像信号中图像尺寸不同的各种图像信号被输入的情况下，对应相对于各自图像信号的缩小比率(包含等倍)，改变特定频率成分提取器33应当提取的特定频率成信号的频率。因此，能够从各种图像尺寸的输入图像信号中，以高检出性能检出水印信息。

另一方面，电子水印检出装置性能富裕的情况下，最好在输入HD图像信号的情况中也不进行缩小处理，照原样输入到电子水印检出装置中。在此情况下，在特定频率成分提取器33中，可以使用与在电子水印嵌入装置中所使用相同的HPF或者BPF。

在图23的电子水印检出装置中，把提取频率成分选择器36组合到图5中表示的电子水印检出装置中，但是最好在图2、图6或者图7中表示的电子水印检出装置中组合相同的提取频率成分选择器。另外，替代在图23中的图像缩小器11，最好使用具有通过第7实施方式说明的，把HD图像信号下转换为SD图像信号性能的视频机器的下转换性能。在此情况下，从该视频机器接受缩小比率信息或者关联缩小比率的信息，最好通过提取频率成分选择器知道缩小比率。

本发明，并不限定于上述实施方式，在实施阶段，只要不违背此要则的范围，可以对构成要素进行改变并具体化。另外，通过在上述实施方式中所公开的多个构成要素的适当的组合，可以形成各种发明。例如，最好从在实施方式中所表示的全部构成要素中减小几个构成要素。此外，最好在不同的实施方式中适当组合构成要素。

本发明的电子水印检出技术，用于防止经过记录媒体所提供的高分辨率的数字动态图像信号的非法复制。

Claims (23)

1.一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，

按照上述频率信息从上述缩小图像信号中提取特定频率成分信号的提取器，

控制上述特定频率成分信号的相位的相位控制器，

计算出相位被控制的特定频率成分信号和上述缩小图像信号之间的相互相关值的相关器，和

从上述相互相关值推定上述水印信息的推定器。

2.根据权利要求1所述的电子水印检出装置，其中上述推定器通过检出上述相互相关值的峰值，推定上述水印信息。

3.一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，

计算出上述缩小图像信号的自相关函数的相关器，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，

按照上述频率信息通过过滤上述自相关函数，提取特定频率成分信号的提取器，和

从上述特定频率成分信号推定上述水印信息的推定器。

4.一种电子水印检出装置，检出在输入图像信号中所嵌入的水印信息，该电子水印检出装置具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的图像缩小器，

计算出上述缩小图像信号的自相关函数的相关器，

通过跨第1期间累加上述自相关函数，生成第1累加信号的第1累加器，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的选择器，

按照上述频率信息从上述第1累加信号提取特定频率成分信号的提取器，

对上述特定频率成分信号就振幅进行标准化的标准化器，

通过跨比上述第1期间长的第2期间累加所标准化的特定频率成分信号，生成第2累加信号的第2累加器，和

从上述第2累加信号推定上述水印信息的推定器。

5.根据权利要求3或4所述的电子水印检出装置，其中上述相关器包含控制上述输入图像信号相位的控制器，并作为上述自相关函数计算出相位被控制的图像信号和上述输入图像信号之间的相关值。

6.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述相关器对于上述缩小图像信号的象素行，按每预定个数切换进行运算的象素和不进行运算的象素，计算出上述自相关函数。

7.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述推定器通过判定上述特定频率成分信号的峰值的极性而推定上述水印信息。

8.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述推定器通过至少第1以及第2检出方法而检出上述水印信息，若该第1以及第2检出方法的每一种的检出结果相互一致，那么判定为具有上述水印信息。

9.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述相关器包含处理器，上述电子水印检出装置进一步具备根据该处理器的吞吐量控制上述相关器的每单位时间的计算量的控制器。

10.根据权利要求4所述的电子水印检出装置，其中上述相关器、第1累加器、提取器、标准化器、第2累加器以及推定器中的至少一个包含处理器，并且上述电子水印检出装置进一步具备根据该处理器的吞吐量控制上述相关器的每单位时间的计算量的控制器。

11.根据权利要求9所述的电子水印检出装置，其中上述控制器通过当上述吞吐量小于阈值时周期性地停止上述相关器的计算来减少上述计算量。

12.根据权利要求10所述的电子水印检出装置，其中上述控制器在上述处理器的吞吐量小于阈值时，周期性地停止上述相关器的计算，同时加长上述第2期间。

13.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中在上述相关器的前面进一步具备对上述缩小图像信号实施图像旋转操作的图像旋转器。

14.根据权利要求13所述的电子水印检出装置，其中上述图像旋转器包含行缓冲存储器和读出单元，其中该行缓冲存储器读取多行程度的上述缩小图像信号并暂时进行存储；该读出单元边相互移动读出位置边读出所存储的多行程度的图像信号，并且提供给上述相关器。

15.根据权利要求14所述的电子水印检出装置，其中上述读出单元对于多个行程度的上述缩小图像信号，按每预定个数的象素，行移动上述读出位置。

16.根据权利要求4所述的电子水印检出装置，其中上述推定器通过根据对应上述第2期间所改变的阈值而判定上述第2累加信号的电平，来推定上述水印信息。

17.根据权利要求4所述的电子水印检出装置，其中进一步具备第3累加器，通过跨比上述第1期间长同时比上述第2期间短的第3期间累加上述所标准化的特定频率成分信号，来生成第3累加信号，并且上述推定器根据上述第3累加信号进行上述水印信息的虚拟检出，并且获得多个该虚拟检出结果，如果该虚拟检出结果的过半数一致，那么决定为根据上述第2累加信号的上述水印信息的检出结果是有效的。

18.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述图像缩小器将对于上述输入图像信号的特定的缩小率信息输出到上述选择器。

19.根据权利要求1、3或4中任意一项所述的电子水印检出装置，其中上述输入图像信号具有特定的分辨率，上述图像缩小器通过对上述输入图像信号实施降低上述分辨率的处理来进行上述缩小。

20.一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，

按照上述频率信息从上述缩小图像信号中提取特定频率成分信号的步骤，

控制上述特定频率成分信号的相位的步骤，

计算出相位被控制的特定频率成分信号和上述缩小图像信号之间的相互相关值的步骤，和

从上述相互相关值推定上述水印信息的步骤。

21.一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，

计算出上述缩小图像信号的自相关函数的步骤，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，

按照上述频率信息通过过滤上述自相关函数，提取特定频率成分信号的步骤，和

从上述特定频率成分信号推定上述水印信息的步骤。

22.一种电子水印检出方法，检出在输入图像信号中所嵌入的水印信息，该电子水印检出方法具有：

对上述输入图像信号就图像尺寸进行缩小，并且生成缩小图像信号的步骤，

计算出上述缩小图像信号的自相关函数的步骤，

通过跨第1期间累加上述自相关函数，生成第1累加信号的步骤，

选择与上述缩小图像信号的缩小率相对应的频率信息并输出的步骤，

按照上述频率信息从上述第1累加信号提取特定频率成分信号的步骤，

对上述特定频率成分信号就振幅进行标准化的步骤，

通过跨比上述第1期间长的第2期间累加所标准化的特定频率成分信号，生成第2累加信号的步骤，和

从上述第2累加信号推定上述水印信息的步骤。

23.根据权利要求20、21或22中任意一项所述的电子水印检出方法，其中上述输入图像信号是HD图像信号，上述缩小图像信号是SD图像信号。

Images