CN1160938C - 纂改检测用信息插入/纂改检测装置及其方法 - Google Patents

Abstract

本发明是一种信息插入/纂改检测装置及其方法，能区别图像处理与纂改行为并在每个区域特定图像中纂改的位置。纂改检测用信息插入装置将关键数据插入MRA、确认数据插入MRR的变换系数中而构成插入了信息的图像。纂改检测装置从将图像频带分割的MRA中抽出关键数据并将图像分割为多个块，将插入在表现各块和同一空间区域的MRR变换系数内的信息系列与各自对应的确认数据系列比较对照而判定每个区域有无纂改。

Description

纂改检测用信息插入/纂改检测装置及其方法

技术领域

本发明涉及纂改检测用信息插入、纂改检测装置及其方法与与记录了实施该方法的程序的记录媒体，特别是涉及用于检测出数字图像部分有无纂改以及纂改的位置，在数字图像信号中插入纂改检测用的鉴别数据，而进行抽出(检测)的装置以及利用此装置而进行的方法，及记录了实施此方法的程序的记录媒体。

背景技术

近年，出现越来越多的利用互联网来提供信息。特别地，WWW(WorldWideWeb)作为综合了图像及声音的信息收发服务而被我们频繁利用。然而，在这样开放的网络环境中，有些非特定者能够容易复制图像等的数字信息。而且，这些非特定者可以利用市场销售的图像处理软件来简单地编辑、加工数字图像。由此可知，在发送信息的途中数字图像即使被第三者纂改了，而接受者也不会发现。

因而，急需确立能够判定发送的数字图像是否被纂改了的纂改检测技术。以往，作为此对策之一已知为电子鉴别技术。

图14是说明以往的电子鉴别步骤概要的图。

在发送方，在原始的数据图形中，压缩根据散列(hash)函数的数据并制成数字图像摘要(digest)。接着，发送方通过预先设定的密钥对摘要进行加密。然后，发送方将原始数字图像以及加密了的摘要通过网络而输送到接受方。

接受方首先是与发送方同样地，在通过网络而接受到的数字图像中，压缩根据散列函数的数据并制成数字图形的摘要。与此同时，接受方对于通过网络而接受到的、加密了的摘要，利用在发送时预先确定的公开密钥来进行解密，并且对摘要进行译码。然后，接受方将由数字图像作成的摘要与译码后的摘要进行比较，如双方的摘要相同则判定没有进行过纂改，相反如双方的摘要有所不同则判定进行了纂改。(电子鉴别)

然而，对于进行上述以往的电子鉴别的情况，发送方必须将原始数字图形以及加密了的摘要这2种数据送向接受方。因此，在数字图像为大量的情况下，当通过网络输送2种数据时，在发送方必须对哪个数字图像对应哪个摘要而进行适当管理。

这里，避免进行这样的管理(即，避免输送2种数据)而作为能够进行电子鉴别的方法，以往，存在使用电子水印技术的方法。电子水印是指在数字图像的数据内部以人们察觉不到的形态而插入数字信息的技术。与使用了此电子水印的电子鉴别相关的、  典型的以往技术揭示在例如文献“PROCEEDINGSOFTHEIEEE，VOL.87，N0.7，JULY1999p1167-1180”之中。

这里，对将电子水印技术应用于使用上述摘要的电子鉴别中的情况进行分析。

发送方从数字图像(的各像素)的高位比特起仅将预先确定的比特份数来作成数字图像的摘要。接着，发送方用预先确定的密钥将此摘要进行加密。这样，发送方则在数字图像的低位比特将加密了的摘要插入之后通过网络发送到接受方。

接受方通过网络抽出写在接受到的数字图像其低位比特被加密的摘要。接着，接受方对于抽出了的摘要，用预先确定的公开密钥来解开密码，对摘要进行译码。另一方面，接受方从接受到的数字图像的高位比特起仅将预先确定的字节份数作成对照用的摘要。此后，接受方将此对照用的摘要与译码后的摘要进行比较，如两摘要是相同的则判定没有被纂改，反之，如不同则判定被纂改了。

但是，在上述以往的电子水印技术中，即使在接受方能够判别在发送途中数字图像是否被纂改，然而，存在不能确定数字图像中哪个部分被纂改这样的问题。

又，上述的电子水印技术是利用一般地人们眼睛难以察觉的高频率成分，插入特定的信息。因此，在插入信息之后进行JPEG等非可逆图像处理(压缩及扩展)的情况下，插入的信息会发生变化，存在不能准确读出信息的问题。即，当由于恶意者故意地对数字图像进行纂改，不能区别与没有恶意而进行通过一般非可逆图像处理的数字图像的纂改这样的问题。

再者，由于图像的高频成分所对应的部分一般是图像的边缘以及纹理部分，在平坦部分较多的图像(对比度几乎没有变化的图像)中，没有在图像整体中都插入信息。由此，在平坦部分被纂改了的情况下，可能发生不能够检测出插入的信息这样情况的问题。

为此，本发明的目的是提供一种纂改检测用信息插入装置、纂改检测装置以及由该装置实行的方法与记录了实施该方法的程序的记录媒体，它不仅在图像的高频成分而且在图像整体中插入特定的信息，即在较低频率成分的变换系数中插入特定的信息，此后通过抽出插入的信息而能够区别图像的纂改行为与非可逆的图像处理，和特定纂改的部分。

发明内容

为了实现上述目的，本发明具备下述特征。

第1方面，对于在数字图像信号内插入预先确定的纂改检测用信息的装置，它具备：

将所述数字图像信号分割为多个频带的频带分割部分；

利用预先确定的关键数据作成虚拟随机数列，由该虚拟随机数列而作成确认数据的确认数据作成部分；

在所述多个频带中，在最低频带(以下记作MRA)的变换系数中插入所述关键数据的关键数据插入部分；

在所述多个频带中，在所述MRA以外的频带(以下记作MRR)的变换系数中插入所述确认数据的确认数据插入部分；

利用数据插入处理后的所述MRA与所述MRR，再次构成被插入了信息的数字图像信号的频带合成部分。

如上所述，根据第1方面，数字图像信号被频带分割为多个层次，在MRR中的变换系数中插入确认数据。而且，利用关键数据从虚拟随机数列作成确认数据并将此关键数据插入MRA的变换系数中。由此，由于在较低频率成分的变换系数中插入了信息，即使进行非可逆的图像处理，插入的关键数据以及确认数据的变化比由故意纂改而引起的变化要小。即，在纂改检测装置中，能够区别非可逆的图像处理与故意的纂改行为。又，在第1方面中，对于不知道插入的频带与变换系数、变换系数的读出顺序以及关键数据等信息的第三者来说，由于很难解读确认数据，因此，由第3者不能够进行插入信息的写入及偷换。

这里，作为用于插入确认数据的方法，最好预先确定设定值T(T是正整数)以及设定值m(m是T以下的正整数)，并且预先确定将变换系数除以规定的量子化步长而得到的值作为q，

确认数据插入部分分别将所述变换系数的绝对值与所述设定值T进行比较，当所述变换系数的绝对值小于所述设定值T时，根据应插入的所述确认数据的比特值，设定该变换系数为所述设定值+m或者-m，当所述变换系数的绝对值大于所述设定值T时，根据应插入的所述确认数据的比特值，将该变换系数设定为最邻近q的偶数或者奇数的整数值，

在MRR的各变换系数中分别插入确认数据。

由此，能够实现较少画面质量劣化、高精度的信息插入。

第2方面，对于利用由纂改检测用信息插入装置插入数字图像信号内的纂改检测用信息而来检测出数字图像纂改的装置，它具备：

将所述数字图像信号分割为多个频带的频带分割部分；

在所述多个频带中，从MRA的变换系数中抽出由所述纂改检测用信息插入装置插入的关键数据的关键数据抽出部分；

利用所述关键数据作成虚拟随机数列并从该虚拟随机数列中作成确认数据的确认数据作成部分；

在所述多个频带中，从MRR的变换系数中，抽出由所述纂改检测用信息插入装置根据所述关键数据而插入的插入信息的插入信息抽出部分；

将所述确认数据与所述插入信息进行比较对照并判定所述数字图像有无纂改的纂改判定部分。

又，最好纂改判定部分具备：

将数字图像分割为由预先确定的多个像素构成的多个单位块的块分割部分；

在每一单位块中，从插入信息中系列地读出插入在表现该单位块与同一空间区域的所述MRR内的信息的对应区域插入信息读出部分，

在所述每一单位块中，从确认数据中系列地读出由对应区域插入信息读部分系列地读出的插入信息和相同位置其对应的数据的对应区域确认数据读出部分，

通过在每一单位块将读出的插入信息系列与确认数据系列进行比较而来判定每一单位块有无纂改的块纂改判定部分。

如上所述，根据第2方面，将数字图像分割为由预先确定的多个像素构成的单位块，读出插入在表现各单位块与同一空间区域的MRR变换系数内信息，且将由纂改检测用信息插入装置插入的确认数据与此插入信息比较对照。由此，根据单位块能够分别在个区域中检测出数字图像中纂改部分的位置。又，在纂改检测用信息插入装置中，由于在较低频率成分的变换系数中插入了信息，因此即使进行非可逆的图像处理，插入的关键数据以及确认数据的变换比故意纂改引起的变化要小。即，能够区别非可逆的图像处理与故意的纂改行为。

这里，作为用于抽出确认数据的方法，最好预先确定将设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

插入信息抽出部分通过分别将变换系数的绝对值与设定值T进行比较，当变换系数的绝对值小于设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息的比特值，当变换系数的绝对值大于设定值T以上时，判定值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信息的比特值，

从MRR的各变换系数中，分别抽出插入在其中的插入信息。

由此，能够实现较少画面质量劣化、高精度的信息抽出。

第3方面，对于在数字图像信号内插入预先设定的纂改检测用信息的方法，它具备：

将数字图像信号分割为多个频带的步骤；

利用预先确定的关键数据而作成虚拟随机数列并从该虚拟随机数列中作成确认数据的步骤；

在多个频带中，在MRA的变换系数中插入关键数据的步骤；

在多个频带中，在MRR的变换系数中插入关键数据的步骤；

利用频带合成和数据插入处理后的MRA与MRR，再次构成被插入信息的数字图像信号的步骤。

如上所述，根据第3方面，数字图像信号被频带分割为多个层次并在MRR的变换系数中插入了确认数据。而且，利用关键数据从虚拟随机数列而作成确认数据并将此关键数据数据插入MRA的变换系数。如此，由于在较低频率成分的变换系数中插入了信息，即使进行非可逆的图像处理，插入了关键数据以及确认数据的变化比由故意纂改引起的变化要小。即，在纂改检测时，能够区别非可逆的图像处理与故意的纂改行为。又，在第3方面中，对于不知道插入的频带与变换系数、变换系数的读出顺序以及关键数据等信息的第三者来说，由于很难解读确认数据，因此，由第3者不能够进行插入信息的写入及偷换。

这里，作为用于插入确认数据的方法，最好预先确定设定值T以及设定值m，并且预先确定将变换系数除以量子化步长的值作为q，

插入确认数据的步骤包括：

分别将变换系数的绝对值与设定值T进行比较的步骤；

根据比较结果、变换系数的绝对值小于设定值T的情况、按照插入的确认数据的比特值，将该变换系数设定为设定值+m或者-m的步骤；

根据比较结果、变换系数的绝对值大于设定值T的情况、按照插入的确认数据的比特值，将该变换系数设定为最邻近q的偶数或者奇数的整数值的步骤，

在MRR的各变换系数中分别插入确认数据。

由此，能够实现较少画面质量劣化、高精度的信息插入。

第4方面，对于利用由纂改检测用信息插入装置插入在数字图像信号中的纂改检测用信息而来检测数字图像纂改的方法，具备：

将数字图像信号分割为多个频带的频带分割步骤；

在多个频带中，从MRA的变换系数中抽出由纂改检测用信息插入装置插入的关键数据的步骤；

利用关键数据作成虚拟随机数列并从该虚拟随机数列中作成确认数据的步骤；

在多个频带中，从MRR的变换系数中，抽出由所述纂改检测用信息插入装置根据所述关键数据而插入的插入信息的步骤；

将确认数据与插入信息进行比较对照并判定数字图像有无纂改的步骤。

又，最好，判定有无纂改的步骤包括：

将数字图像分割为由预先确定的多个像素而构成的多个单位块的步骤；

在每一单位块中，从插入信息中系列地读出插入在表现该单位块与同一空间区域的MRR内的信息的步骤；

在所述每一单位块中，从确认数据中系列地读出对应于系列地读出的插入信息和其相同位置对应的数据的步骤；

在每一单位块将读出的插入信息系列与确认数据系列进行比较而来判定每一单位块有无纂改的步骤。

如上所述，根据第4方面，将数字图像分割为由预先确定的多个像素构成的单位块，读出插入在表现各单位块与同一空间区域的MRR的变换系数内的插入信息，并在插入时将插入的确认数据与此插入信息进行比较对照。由此，根据单位块能够分别在个区域中检测出数字图像中纂改部分的位置。又，在纂改检测用信息的插入时，由于在较低频率成分的变换系数中插入了信息，因此，即使进行非可逆的图像处理，插入的关键数据以及确认数据的变换比故意纂改引起的变化要小。即，能够区别非可逆的图像处理与故意的纂改行为。

这里，作为用于抽出确认数据的方法，最好，预先确定设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

抽出插入信息的步骤包括：

分别将变换系数的绝对值与设定值T进行比较的步骤；

当变换系数的绝对值小于设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息其比特值的步骤；

当此结果为变换系数的绝对值大于设定值T以上时，判定值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信息其比特值的步骤，

从MRR的各变换系数中，分别抽出插入在其中的插入信息。

由此，能够实现较少画面质量劣化、高精度的信息抽出。

再者，典型地，上述第3以及第4方面所揭示的纂改检测用信息插入/纂改检测方法是在由存储着能够实行上述各步骤的规定程序数据的存储装置(ROM，RAM，硬盘)与实行该程序数据的CPU(中央处理装置)而构成的计算机装置中实现的。此时，实行由上述第3以及第4方面所揭示的各步骤的规定程序数据也可以通过记录媒体(CD-ROM及软盘等)而写入，并且导入计算机装置。

附图说明

图1是表示本发明一实施形态的纂改检测用信息插入装置1构造的框图。

图2是本发明一实施形态的纂改检测装置2构造的框图。

图3是表示图1的纂改检测用信息插入装置1进行处理的流程图。

图4是表示图1中频带分割部分11构造示例的框图。

图5是表示图4中第1频带分割滤波器100构造示例的框图。

图6是利用离散小波变换在两维频率区域中表示获得的各信号。

图7是表示图1中确认数据插入部分14进行处理的示例的流程图。

图8是表示图1中频带合成部分15构造示例的框图。

图9是表示图8第1频带合成滤波器400构造示例的框图。

图10是表示图2中纂改检测装置2进行处理的流程图。

图11是表示图2中插入信息抽出部分23进行处理示例的流程图。

图12模式化地表示了表现32×32像素大小的块与同一空间区域的LH3信号以及LH2信号的变换系数。

图13是说明了根据排他理论和而进行运算的示例。

图14是说明以往电子确认步骤概要的图。

具体实施方式

图1是表示本发明一实施形态的纂改检测用信息插入装置1构造的框图。图2是表示本发明一实施形态的纂改检测装置2构造的框图。

图1中，本实施形态的纂改检测用信息插入装置1具备频带分割部分11、确认数据作成部分12、关键数据插入部分13、确认数据插入部分14、频带合成部分15。在图2中，本实施形态的篡改检测装置2具备带分割部分11、关键数据抽出部分21、关键数据判定部分22、确认数据作成部分12、插入信息抽出部分23、对应区域插入信息读出部分24、对应区域确认数据读出部分25、块篡改判定部分26。

又，本实施形态的纂改检测装置2的频带分割部分11以及确认数据作成部分12与本实施形态的纂改检测用信息插入装置1的频带分割部分11以及确认数据作成部分12有同样的构造，以下对于该构造，使用同一参照符号并且省略说明。

以下，再参照图3～图13对于用于检测出本实施形态的纂改检测用信息插入装置1及纂改检测装置2进行的数字图像纂改的方法来进行说明。

首先，参照图1以及图3～图9，对于本实施形态的纂改检测用信息插入装置1所进行的信息插入方法来进行说明。

图3是表示本实施形态的纂改检测用信息插入装置1所进行处理的流程图。

首先，参照图4～图6，利用以往的离散小波变换处理，对于将数字图像信号频带分割为3层的频带分割部分11的处理进行说明。图4是表示图1中频带分割部分11构造示例的框图。图4中，频带分割部分11具备分别有相同构造的第1～第3频带分割滤波器100、200以及300。

第1～第3频带分割滤波器100、200以及300将输入的图像分割为4个频带并且计算出每个频带的小波系数(以下记作变换系数)(步骤S301)。又，即使通过次频段分割，也能够得到与利用离散小波变换的频带分割相等价的变换系数。频带分割部分11将数字图像信号71输入到第1频带分割滤波器100中。

第1频带分割滤波器100根据水平频率成分与垂直频率成分的参数，将数字图像信号71分割为4个频带的信号，即LL1信号、LH1信号、HL1信号以及HH1信号(以下，总称这些为第1层信号)。第2频带分割滤波器200输入上述第1层信号中最低区域的LL1信号，并且将它分割为4个频带的LL2信号、LH2信号、HL2信号以及HH2信号(以下，总称这些为第2层信号)。然后，第3频带分割滤波器300输入上述第2层信号中最低区域的LL2信号，并且将它分割为4个频带的LL3信号、LH3信号、HL3信号以及HH3信号(以下，总称这些为第3层信号)。

图5是表示图4中第1频带分割滤波器100构造示例的框图。图5中第1频带分割滤波器100具备第1～第3的2频带分割部分101～103。此第1～第3的2频带分割部分101～103分别具备1维低通滤波器(LPF)111～113、1维高通滤波器(HPF)121～123、将信号细化为2∶1的向下采样器(down-samplers)131～133以及141～143。

第1的2频带分割部分101输入数字图像信号71并且通过LPF111以及HPF121，在水平方向成分上进行低频以及高频滤波并输出2个信号。然后，第1的2频带分割部分101分别利用向下采样器131及141将低频及高频滤波后的信号细化为2∶1并在次级输出。第2的2频带分割部分102输入来自向下采样器131的信号，通过LPF112及HPF122在垂直方向成分上分别进行滤波并且利用向下采样器132及142使之细化为2∶1，再输出LL1信号及LH1信号这2个信号。另一方面，第3的2频带分割部分103输入来自向下采样器141的信号，通过LPF113及HPF123在垂直方向成分上分别进行滤波并且利用向下采样器器133及143使之细化为2∶1，再输出HL1信号及HH1信号这2个信号。

由此，从第1频带分割滤波器100输出水平方向·垂直方向共同的低频LL1信号、水平方向上低频，垂直方向上高频的信号LH1、水平方向上高频，垂直方向上低频的信号HL1以及水平方向·垂直方向共同的高频信号HH1的四个信号，即输出了变换系数。又，第2以及第3频带分割滤波器200以及300对于输入的信号也进行上述相同的处理。

利用上述第1～第3频带分割滤波器100、200以及300进行频带分割处理的结果是数字图像信号71被分割为LL3信号、LH3信号、HL3信号、HH3信号、LH2信号、HL2信号、HH2信号、LH1信号、HL1信号、以及HH1信号这10个频带。图6是将这些信号表示在2维频率区域的图。这里，最低频带LL3信号作为MRA，MRA之外的频带，即LH3信号、HL3信号、HH3信号、LH2信号、HL2信号、HH2信号、LH1信号、HL1信号、以及HH1信号作为MRR。

在图6中，纵轴表示垂直方向的频率成分，越往下侧频率越高，横轴表示水平方向的频率成分，越往右侧频率越高。

图6的各区域是作为1个图像的数据，此区域的面积比与各频带信号具有的数据值之比是一致的。即，当作为第3层信号的LL3信号、LH3信号、HL3信号以及HH3信号的数据值为“1”时，则作为第2层信号的LH2信号、HL2信号以及HH2信号的数据值为“4(2×2大小)”，作为第1层信号的LH1信号、HL1信号以及HH1信号的数据值为“16(4×4大小)”。

因此，例如，对于LL3信号左上的1个数据，LH3信号、HL3信号、HH3信号的各自左上的1个数据以及LH2信号、HL2信号、HH2信号的各自左上的正方形的4个数据以及LH1信号、HL1信号、HH1信号各自左上的正方形的16个数据在原图像上是表现同一像素(图6中用黑色涂没的部分)。即，在图像信号中左上的正方形的64个(8×8大小)的像素数据表示了上述各频带的变换系数与同一空间区域。

接着，确认数据作成部分12利用预先确定的关键数据产生虚拟随机数列，从此虚拟随机数而作成确认数据(步骤S302)。具体的是，确认数据作成部分12判断所产生的虚拟随机数列的随机实数值的正负，为正时将比特值作为“1”，为负时将比特值作为“0”并作成确认数据。例如，如下述那样从虚拟数据系列PN作成确认数据AD。

PN＝{0.12，-0.23，-1.21，0.23，1.1，-0.34.0.01，-0.51，...，-0.33}

AD＝{1，0，0，1，1，0，1，0，…，0}

在关键数据中，例如包含着表示用于产生虚拟随机数列的初期值、随机数发生函数的种类、系列比特长度的信息等等。在本实施形态中，为了更加简化，将关键数据作为用8比特数据长来表示的值。又，在以下的说明中，将确认数据作为比特值“1”与“0”的2进制位流。

又，关键数据的信息是用于插入处理的关键信息，这些信息也用于纂改检测用信息插入装置2抽出数据的时候。因此，对于纂改检测用信息插入装置1以及纂改检测装置2两者都必需预先决定关键数据信息。

接着，关键数据插入部分13按预先确定的顺序读出由频带分割部分11分割后的图像信号MRA的变换系数，依照预先确定的方法在变换系数中插入关键数据(步骤S303)。对于此关键数据的插入，能够利用各种方法，本发明的发明者采用了以往提出(以往专利)的插入方法(特开平11-196262号公报)，能够实现画面质量劣化少、高清晰度的插入。本发明的发明者以往专利的插入方法是将变换系数除以量子化步长Q而得到的值作为q，并根据对应于变换系数的关键数据的比特值，而将q的值设定为最相近的偶数或奇数的整数值，插入关键数据。

又，读出MRA的变换数据的预先确定顺序是用于进行插入处理的关键信息，此顺序也能够使用在纂改检测装置2抽出关键数据的时候。又，将关键数据变换为加密了的或附加了误差纠正编码的数字信息，也可以插入此数字信息。又，插入数字信息的比特数为比MRA变换系数少时，例如，当将数字信息一种插入后，可以返回此数字信息的第1位而再继续插入。

其次，参照图7对确认数据插入部分14所进行的处理(步骤304)来进行说明。图7是表示图1中确认数据插入部分14进行处理示例的流程图。

首先，确认数据插入部分14从由频带分割部分11分割的图像信号MRR中，按预先确定的顺序读出图4所示的LH3信号的变换系数Wi(步骤S701)。接着，确认数据插入部分14判定读出的变换系数其绝对值|Wi|是否为预先设定值T以上(步骤702)。

在此步骤S702的判定中，当变换系数的绝对值|Wi|小于设定值T时，确认数据插入部分14根据由确认数据作成部分12作成的变换数据所对应的确认数据的比特值，将变换系数Wi设定为预先设定数值+m或值-m(步骤S703)。此数据m如小于设定值T，则可为任意的。但是，当使数值m减小时，虽然画面质量劣化减少而对于攻击则变得脆弱，使m变大则对于攻击变得强悍，然而由于置换量变大画面质量劣化变得显著，根据装置的使用目的以及处理图像信号的电平等，可以设定为适当的任意数值。对此，在步骤S702的判定中变换系数的绝对值|Wi|对于设定值T以上的情况，确认数据插入部分14则与上述关键数据插入部分13同样地将变换系数Wi除以量子化步长Q的值作为q，根据对应于与变换系数的确认数据的比特值，将q的值设定为最邻近的偶数或者奇数的整数值(步骤S704)。

进行上述的处理，在变换系数Wi中插入确认数据的比特值，作成经过插入处理后的变换系数Wi’。

当对于上述LH3信号的处理结束之后，确认数据插入部分14接着按预先确定的顺序读出LH2信号的变换系数Wi，进行上述步骤S701～S704的处理。

又，这里继续进行对于LH3信号变换系数的处理，已进行了对于LH2信号变换系数的处理，此处理顺序也可以与它相反。又，确认数据没有必要插入到LH3信号以及LH2信号内的所有变换系数Wi中，例如，也可以对于每1纵横行来进行(参照后述的纂改检测装置2中的说明)。由于如此地进行插入，能够降低随信息插入的画面质量的劣化。

此LH3信号与LH2信号的处理顺序、用于读出LH3信号以及LH2信号的变换系数而预先确定的顺序是进行插入处理的关键信息，此信息也可以使用在纂改检测装置2中抽出数据的时候。又，作为比较LH2信号与LH3信号的变换系数的设定值T，它可以不必相同。最好使得比较LH3信号变换系数的设定值小于比较LH2信号变换系数的设定值。例如，预先设定比较LH3信号的变换系数的设定值为“7”，比较LH2信号的变换系数的设定值为“10”，数值m为“2”等。

其次，参照图8以及图9来说明频带合成部分15所进行的处理。

图8是表示图1频带合成部分15构造示例的框图。在图8中，频带合成部分15具备各自有相同构造的第1～第3频带合成滤波器400、500以及600。

第1～第3频带合成滤波器400、500、以及600输入4个频带信号并合成1个信号输出(步骤S305)。第1频带合成滤波器400输入LL3信号、LH3信号、HL3信号以及HH3信号并合成这些信号而作成信号LL2。接着，第2频带合成滤波器500输如上述合成了的LL2信号、LH2信号、HL2信号、以及HH2信号并合成这些信号而作成LL1信号。然后，第3频带合成滤波器600输入上述合成了的LL1信号、LH1信号、HL1信号以及HH信号并合成这些信号而再次构成数字图像信号72。

图9是表示图8中第1频带合成滤波器400构造示例的框图。在图9中，第1频带合成滤波器400具备第1～第3的2频带合成部分401～403。此第1～第3的频带合成部分401～403具备各自的LPF411～413、HPF421～423、以2∶1的比例将零插入到信号中的向上采样器(up-sampler)431～433及441～443、加法器451～453。

第1的2频带合成部分401输入LL3信号及LH3信号，并且分别采用向上采样器431及441变换为2倍大小的信号，将变换后的2个信号通过LPF411及HPF421对垂直方向成分进行滤波并进行加法运算而输出结果。另一方面，第2的2频带合成部分402输入HL3信号及HH3信号，并且分别采用向上采样器432及442变换为2倍大小的信号，将变换后的2个信号通过LPF412及HPF422在垂直成分方向上进行滤波并进行加法运算而输出结果。然后，第3的2频带合成部分403输入加法器451及452的结果，并且分别采用向上采样器433及443变换为2倍大小的信号，将变换后的2个信号通过LPF413及HPF423对水平方向成分进行滤波并进行加法运算而输出结果。

由此，从第1频带合成滤波器400输出作为第2层信号且在水平·垂直方向上共同的低频LL2信号。又，第2以及第3频带合成滤波器500及600对于输入的信号也进行与上述相同的处理。频带合成部分15将上述的LL3信号、LH3信号、HL3信号、HH3信号、LH2信号、HL2信号、HH2信号、LH1信号、HL1信号以及HH信号这10个频带信号再次构成进行插入处理的数字图像信号72并且输出结果。

其次，参照图2以及图10～图13来说明本实施形态的纂改检测装置2所进行纂改检测的方法。

图10是表示本实施形态纂改检测装置2所进行处理的流程图。

图2中，频带分割部分11输入数字图像信号73。此数字图像信号73是由上述纂改检测用信息插入装置1的频带合成部分15输出的数字图像信号72在发送途中经过压缩编码·扩展化的处理或者纂改处理后的信号。频带分割部分11对于输入的数字图像信号73进行离散小波变换，分割为10个频带的LL3信号、LH3信号、HL3信号、HH3信号、LH2信号、HL2信号、HH2信号、LH1信号、HL1信号以及HH信号，并计算出各自的变换系数(步骤S1001)。

接着，关键数据抽出部分21按与上述纂改检测用信息装置1其关键数据插入部分13所进行的相同顺序读出由频带分割部分11分割后的数字图像信息73的MRA的变换系数，在此抽出插入在其中的关键数据(步骤S1002)。对于此关键数据的抽出，可以采用各种方法，但如采用了上述本发明者在以往专利中所揭示的技术，能够以较少的画面劣化而高精度地抽出关键数据。即，将变换系数除以量子化步长Q后而四舍五入的值作为q，判定此q值为偶数还是奇数并抽出插入的关键数据的比特值。

接着，关键数据判定部分22进行判定由关键数据抽出部分21抽出的关键数据与使用在纂改检测用信息插入装置1中关键数据是否一致的正确性(步骤S1003)。此正确性的判定是将在关键数据抽出部分21抽出的关键数据与在预先具有的纂改检测用信息插入装置1中使用的关键数据进行比较。这里，在纂改检测用信息插入装置1中使用着多个关键数据的情况下，关键数据判定部分22，预先具备对应的多个关键数据，可以将由关键数据抽出部分21抽出的关键数据与这些多个关键数据分别进行比较。

在此步骤S1003中，当判定了上述抽出的关键数据是与预先具备的关键数据一致之后，关键数据判定部分22进行步骤S1004以后的处理。另一方面，在步骤S1003中，当判定上述抽出的关键数据与预先具备的关键数据不一致之后，关键数据判定部分22则判断数字图像信号73中存在纂改(步骤S1011)。

又，此关键数据判断部分22在纂改检测装置2中并不是必要的构造。但是，通过如此判定关键数据的正确性，则增加了用于检测本发明数字图像纂改的纂改检测装置2的可靠性，且更有实用价值。

接着，确认数据作成部分12如上所述那样，利用使用在预先具有的纂改检测用信息插入装置1中的关键数据(包括用于产生虚拟随机数列的初值、随机数产生函数的种类、表示数列位长的信息等)，并且作成虚拟随机数列而由此虚拟数列作成确认数据K(步骤S1004)。

接着，参照图11来说明插入信息抽出部分23的处理(步骤S1005)。图11是表示图2中插入信息抽出部分23所进行处理示例的流程图。

首先，插入信息抽出部分23从由频带分割部分11分割的数字图像信号73的MRR中，按与在纂改检测用信息插入装置1的确认数据插入部分14所进行的相同顺序读出LH3信号以及LH2信号的变换系数Wi，即按LH3信号、LH2信号的顺序且预先确定的顺序来读出(步骤S1101)。其次，插入信息抽出部分23判定读出的变换系数的绝对值|Wi|是否在设定值T以上(步骤S1102)。

在此步骤S1102的判定中，当变换系数的绝对值|Wi|小于设定值T的情况下，插入信息抽出部分23再次判定变换系数Wi值的正或负，根据该判定结果，抽出插入每个变换系数的信息的比特值(步骤S1103)。对此，在步骤S1102的判定中，当变换系数的绝对值|Wi|大于设定值T，插入信息抽出部分23与上述关键数据抽出部分21同样地将变换系数Wi除以量子化大小Q后四舍五入的值作为q，再判定该q值为偶数还是奇数，根据此判定结果，抽出插入每个变换系数的信息的比特值(步骤S1104)。

进行以上的处理并且插入信息抽出部分23抽出由插入在各变换系数的信息形成的插入信息D(这相当与由纂改检测用信息插入装置1插入的确认数据)(步骤S1005)。

接着，参照图12来说明对应区域插入信息读出部分24以及对应区域确认数据读出部分25的处理。图12是在将判定数字图像信号73中是否存在纂改的块(以下记作单位块)其大小作为32×32像素时，表示表现了图像中左上网状位置的单位块与同一空间区域的LH3信号以及LH2信号的变换系数(对应于图12中粗实线的框线部分)即，数字图像信号73的单位块大小为32×32像素的情况下，LH3信号以及LH2信号所对应的各块大小分别成为4×4像素以及8×8像素。

再者，这里将说明的单位块大小(32×32像素)作为示例，通过将多大程度的方块大小(区域)作为单位而判定数字图像信号73是否被纂改，该单位块大小能够设定为任意的。

现在，读出LH3信号以及LH2信号变换系数的预先确定的顺序(即，在纂改检测用信息插入装置1中插入信息的顺序)例举纵横各1个的情况来进行说明。此时，32×32像素单位块所对应的插入信息在LH3信号内为4个在LH2信号内为16个。(在图12中是用黑色涂没的部分)。

因此，对于该示例的情况，区域对应插入信息读出部分24从由插入信息抽出部分23抽出的插入信息D中，将当作为判断有无纂改的单位其上述20个变换系数作为对应于32×32像素单位块的插入信息BD而读出(步骤S1006)。

同样的，区域对应插入信息读出部分25从由确认数据作成部分12作成的确认数据K中，将与插入信息BD相同位置所对应的20个确认数据作为对应于32×32像素单位块的确认数据BK而读出(步骤S1007)。

例如，在区域对应插入信息读出部分24以及区域对应确认数据读出部分25中读出的插入信息BD以及确认数据BK分别为：

BD＝{1，0，1，1，1，0，0，1，1，0，0，1，1，1，0，1，0，1，0，1}

BK＝{1，1，1，0，1，0，0，1，1，0，0，0，1，0，0，1，0，1，0，1}

该示例中，第2、第4、第12以及第14位的4个地方有所不同。

其次，方块纂改判定部分26首先对于上述读出的插入信息BD以及确认数据BK的同一位置的位，分别进行异或运算，而求得该结果的总和S(步骤S1008)。图13是表示根据异或的运算的示例，当相互位值不同时输出“1”，当相互位值相同时输出“0”。然后，通过方块纂改判断部分26将求得的总和S与预先设定值BT进行比较，来判定分割成单位块的图像(该例中是32×32像素的方块)是否被纂改(步骤S1009)。

例如，纂改判定部分26当所求得的总和S大于预先设定值BT时，则判定被纂改，相反当小于设定值BT时，则判定没有被纂改。此预先设定值BT能够根据纂改的程度而任意地规定，根据该规定方法能够区别图像纂改行为与非可逆的图像处理。

又，在上述插入信息BD以及确认数据BK的示例中，由于4处的位是不同的，所求得的总和S成为“4”。因此，当设定值BT设定为“3”的情况下，由于总和S大于设定值BT，则判定该单位块被纂改。

又，由方块纂改判定部分26进行运算的异或也可以与上述逻辑相反。即，相互比特值不同时值为“0”，相互比特值相同时值为“1”。此时，方块纂改判定部分26则当总和S小于设定值BT时判定被纂改，相反地，当总和S大于BT时可以判定没有被纂改。又，可以用求得插入信息BD与确认数据BK位一致的个数或者它们的内积来代替求异或的总和S。又，也可以将插入信息BD以及确认数据BK的位值“0”变为“-1”而来计算它的内积。

然后，当纂改检测装置2根据上述步骤S1009中的判定结果、被纂改的情况下，将在此单位块位置(32×32像素尺寸内)具存在纂改的信息，以及另一方面，当判定没有被纂改的情况下，将此单位块位置内没有纂改的信息，存储在存储器中或者在显示器上表示出来(都没有进行图示)(步骤S1010、S1011)。

通过在所有单位块中重复进行以上步骤S1006～步骤S1009而检测出数字图像中纂改部分的位置。

如上所述，根据本发明的一实施形态，在纂改检测用信息插入装置1中，数字图像信号被频带分割为3层，并且在MRR中的LH3信号以及LH2信号的变换系数中插入确认数据，然而，确认数据是采用关键数据而从虚拟随机数列而作成的，该关键数据被插入MRA的变换系数。又，在纂改检测装置2中，将数字图像分割为由预先确定的多个像素构成的单位块，且读出在表现各单位块与同一空间区域的MRR变换系数内插入的插入信息，并将插入在纂改检测用信息插入装置1中的确认数据与该插入信息进行比较对照。

由此，纂改检测装置2根据单位块而能够在各个区域中检测出数字图像中的纂改部分的位置。又，在纂改检测用信息插入装置1中，由于在较低频率成分的变换系数中插入了信息，即使进行非可逆的图像处理，插入的关键数据以及确认数据的变化比由于故意纂改引起的变化要小。即，能够区别非可逆的图像处理以及故意的纂改行为。又，在本发明的纂改检测用信息插入方法以及纂改检测方法中，对于不知道插入的频带与变换系数、变换系数的读出顺序以及关键数据等信息的第三者来说，由于很难解读确认数据，因此，由第3者不能够进行插入信息的写入及偷换。

再者，由上述实施形态的频带分割部分11所进行的离散小波变换的层次化不仅限于上述的3层次，可以进行数次直到LL信号成为1×1的元素。又，用于确认数据插入的频带，不仅限于LH3信号以及LH2信号，也可以是MRR的其它频带，或者可以是MRR的整个频带。这种情况也同样地必须先确定进行处理的频带的顺序。

但是，为了充分发挥本发明的效果，最好将确认数据插入更加高层次信号的变换系数中。即，在图4中，最好将确认数据插入到第3层信号的LH3信号与HL3信号、以及/或者第2层信号的LH2信号与HL2信号的全部或者一部分中。

又，在上述实施形态中，对于确认数据插入部分14，按预先确定的顺序在每个读出的变换系数中依次地插入确认数据，然而，对于表现单位块与同一空间区域的MRR内的变换系数，可以反复地将每个单位的相同确认数据插入到此MRR内的变换系数中。

又，在上述实施形态的纂改检测用信息插入装置1中，利用公开密钥或共用密钥将关键数据加密之后进行插入，以及在纂改检测装置2中，将加密并插入的信号进行译码的情况下，在两个装置间必须预先确定公开密钥或者共用密钥。

又，典型的是，上述实施形态的纂改检测用信息插入装置1以及纂改检测装置2实现的各功能是利用存储规定的程序数据的存储装置(ROM，RAM，硬盘)以及实行该程序数据的CPU来实现的。这种情况下，各程序数据也可以通过记录媒体(CD-ROM及软盘等)来导入。

Claims (12)

1.一种纂改检测用信息插入装置，它是在数字图像信号内插入预先确定的纂改检测用信息，其特征在于，具备：

将所述数字图像信号分割为多个频带的频带分割手段(11)；

利用预先确定的关键数据作成虚拟随机数列，由该虚拟随机数列而作成确认数据的确认数据作成手段(12)；

在所述多个频带中，在最低频带，即MRA的变换系数中插入所述关键数据的关键数据插入手段(13)；

在所述多个频带中，在所述MRA以外的频带，即MRR的变换系数中插入所述确认数据的确认数据插入手段(14)；

利用数据插入处理后的所述MRA与所述MRR，再次构成被插入了信息的数字图像信号的频带合成手段(15)。

2.如权利要求1所述的纂改检测用信息插入装置，其特征在于，

预先确定正整数设定值T以及设定值m，所述m是T以下的正整数，并且预先确定将变换系数除以规定的量子化步长而得到的值作为q，

所述确认数据插入手段(14)分别将所述变换系数的绝对值与所述设定值T进行比较，当所述变换系数的绝对值小于所述设定值T时，根据应插入的所述确认数据的位值，设定该变换系数为所述设定值+m或者-m，当所述变换系数的绝对值大于所述设定值T时，根据应插入的所述确认数据的位值，将该变换系数设定为最邻近q的偶数或者奇数的整数值，

由此，在所述MRR的各变换系数中分别插入所述确认数据。

3.一种纂改检测装置，它利用由纂改检测用信息插入装置插入数字图像信号内的纂改检测用信息而来检测出数字图像的纂改，其特征在于，具备：

将所述数字图像信号分割为多个频带的频带分割手段(11)；

在所述多个频带中，从最低频带，即MRA的变换系数中抽出由所述纂改检测用信息插入装置插入的关键数据的关键数据抽出手段(21)；

利用所述关键数据作成虚拟随机数列并从该虚拟随机数列中作成确认数据的确认数据作成手段(12)；

在所述多个频带中，从所述MRA以外的频带，即MRR的变换系数中，抽出由所述纂改检测用信息插入装置根据所述关键数据而插入的插入信息的插入信息抽出手段(23)；

将所述确认数据与所述插入信息进行比较对照并判定所述数字图像有无纂改的纂改判定手段。

4.如权利要求3所述的纂改检测装置，其特征在于，

所述纂改判定手段具备：

将数字图像分割为由预先确定的多个像素构成的多个单位块的块分割手段；对应区域插入信息读出手段(24)；对应区域确认数据读出手段(25)；块纂改判定手段(26)，

所述对应区域插入信息读出手段(24)在所述每一单位块中，从所述插入信息中系列地读出插入在表现该单位块与同一空间区域的所述MRR内的信息，

所述对应区域确认数据读出手段(25)在所述每一单位块中，从所述确认数据中系列地读出由所述对应区域插入信息读手段(24)系列地读出的插入信息与相同位置所对应的数据，

所述方块纂改判定手段(26)通过在所述每一单位块将读出的所述插入信息系列与所述确认数据系列进行比较而来判定所述每一单位块有无纂改。

5.如权利要求3所述的纂改检测装置，其特征在于，

预先确定将正整数设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

所述插入信息抽出手段(23)通过分别将所述变换系数的绝对值与所述设定值T进行比较，当所述变换系数的绝对值小于所述设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息的位值，当所述变换系数的绝对值大于设定值T以上时，判定所述值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信息的比特值，

由此，从所述MRR的各变换系数中，分别抽出插入在其中的所述插入信息。

6.如权利要求4所述的纂改检测装置，其特征在于，

预先确定将正整数设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

所述插入信息抽出手段(23)通过分别将所述变换系数的绝对值与所述设定值T进行比较，当所述变换系数的绝对值小于所述设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息的位值，当所述变换系数的绝对值大于设定值T以上时，判定所述值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信息的位值，

由此，从所述MRR的各变换系数中，分别抽出插入在其中的所述插入信息。

7.一种纂改检测用信息插入方法，它将预先确定的纂改检测用信息插入数字图像信号中，其特征于，具备：

将所述数字图像信号分割为多个频带的步骤(S301)；

利用预先确定的关键数据而作成虚拟随机数列并从该虚拟随机数列中作成确认数据的步骤(S302)；

在所述多个频带中，在最低频带，即MRA的变换系数中插入所述关键数据的步骤(S303)；

在所述多个频带中，在所述MRA以外的频带，即MRR的变换系数中插入所述关键数据的步骤(S304)；

利用频带合成和数据插入处理后的所述MRA与所述MRR，再次构成被插入信息的数字图像信号的步骤(S305)。

8.如权利要求7所述的纂改检测用信息插入方法，其特征在于，

预先确定正整数设定值T以及设定值m，所述m是T以下的正整数，并且预先确定将变换系数除以量子化步长的值作为q，

插入所述确认数据的步骤(S304)包括：分别将所述变换系数的绝对值与所述设定值T进行比较的步骤(S702)；根据比较结果、所述变换系数的绝对值小于所述设定值T的情况、按照插入的所述确认数据的位值，将该变换系数设定为所述设定值+m或者-m的步骤(S703)；根据比较结果、所述变换系数的绝对值大于所述设定值T的情况、按照插入的所述确认数据的位值，将该变换系数设定为最邻近q的偶数或者奇数的整数值的步骤(S704)，

在所述MRR的各变换系数中分别插入所述确认数据。

9.一种纂改检测方法，它利用由纂改检测用信息插入装置插入在数字图像信号中的纂改检测用信息而来检测数字图像的纂改，其特征在于，具备：

将所述数字图像信号分割为多个频带的频带分割步骤(S1001)；

在所述多个频带中，从最低频带，即，MRA  的变换系数中抽出由所述纂改检测用信息插入装置插入的关键数据的步骤(S1002)；

利用所述关键数据作成虚拟随机数列并从该虚拟随机数列中作成确认数据的确认数据作成的步骤(S1004)；

在所述多个频带中，从所述MRA以外的频带，即，MRR的变换系数中，抽出由所述纂改检测用信息插入装置根据所述关键数据而插入的插入信息的步骤(S1005)；

将所述确认数据与所述插入信息进行比较对照并判定所述数字图像有无纂改的步骤。

10.如权利要求9所述的纂改检测方法，其特征在于，

判定有无所述纂改的步骤具备：

将数字图像分割为由预先确定的多个像素而构成的多个单位块的步骤；

在所述每一单位块中，从所述插入信息中系列地读出插入在表现该单位块与同一空间区域的所述MRR内的信息的步骤(S1006)；

在所述每一单位块中，从所述确认数据中系列地读出对应于所述系列地读出的插入信息与其相同位置的信息的步骤(S1007)；

在每一单位块将读出的所述插入信息系列与所述确认数据系列进行比较而来判定所述每一单位块有无纂改的步骤(S1008～S1011)。

11.如权利要求9所述的纂改检测方法，其特征在于，

预先确定将正整数设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

所述插入信息抽出步骤(S1005)包括：分别将所述变换系数的绝对值与所述设定值T进行比较的步骤(S1102)；

根据比较的结果，当所述变换系数的绝对值小于所述设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息其位值的步骤(S1103)；

当此结果为所述变换系数的绝对值大于设定值T以上时，判定所述值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信号其位值的步骤(S1104)，

从所述MRR的各变换系数中，分别抽出插入在其中的所述插入信息。

12.如权利要求10所述的纂改检测方法，其特征在于，

预先确定将正整数设定值T以及变换系数除以规定的量子化步长而四舍五入的值作为q，

所述插入信息抽出步骤(S1005)包括：分别将所述变换系数的绝对值与所述设定值T进行比较的步骤(S1102)；当所述变换系数的绝对值小于所述设定值T时，判定该变换系数的值为正还是为负，并根据此判定结果而抽出插入在该变换系数中的信息其位值的步骤(S1103)；当此结果为所述变换系数的绝对值大于设定值T以上时，判定所述值q为偶数还是为奇数，并根据此判定结果而抽出插入在该变换系数中的信号其位值的步骤(S1104)，

从所述MRR的各变换系数中，分别抽出插入在此中的所述插入信息。

Images