CN102142962A

CN102142962A - 信息处理装置、验证装置及其控制方法

Info

Publication number: CN102142962A
Application number: CN2010106151100A
Authority: CN
Inventors: 冲原健一; 原田耕二; 林淳一
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-25
Filing date: 2010-12-22
Publication date: 2011-08-03
Anticipated expiration: 2030-12-22
Also published as: CN102142962B; US20110158530A1; JP2011151776A; US8422732B2

Abstract

本发明涉及信息处理装置、验证装置及其控制方法。本发明指定存在/不存在篡改和篡改位置。块划分单元，将图像数据划分成包含预定数量的像素的第一单位的图像数据。块计算单元，计算第一单位的图像数据系数。元胞划分单元，将第一单位的一个图像数据划分成第二单位的图像数据。元胞计算单元，计算第二单位的图像数据系数。通过选择第一单位的两个图像数据系数、并针对一个对生成表示第一单位的图像数据系数的大小关系的数据，来生成第一验证数据。通过选择第二单位的两个图像数据系数、并针对一个对生成表示第二单位的图像数据系数的大小关系的数据，来生成第二验证数据。

Description

信息处理装置、验证装置及其控制方法

技术领域

本发明涉及保证(certify)图像数据的完整性的信息处理装置和验证装置及其控制方法。

背景技术

使用例如图像编辑软件可以篡改通过数码相机等拍摄的图像数据。为了解决该问题，参考文献美国专利5,499,294号公开了一种方法。根据该参考文献，数码相机预先保持固有的秘密信息，并使用数码相机内部的该秘密信息针对图像数据执行签名处理。在图像拍摄之后，可使用签名信息进行验证。

尽管参考文献中的技术可以验证图像是否被篡改，但是不能指定图像的篡改部分。

发明内容

本发明是鉴于上述问题而作出的，并提供一种不仅能够指定存在/不存在篡改而且能够以预定精度指定篡改位置的技术。

在本发明的第一方面，提供一种信息处理装置，用于由图像数据生成要用来保证所述图像数据的完整性的验证信息，所述信息处理装置包括：图像输入单元，其输入作为完整性保证对象的所述图像数据；块划分单元，其将所述图像输入单元输入的所述图像数据划分成块，每个块由预定数量的像素表示；块系数计算单元，其针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；元胞划分单元，其将所述块划分单元划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；元胞系数计算单元，其针对各元胞中包含的像素的值，执行用以获得表示所述元胞的特征的元胞系数的计算；第一验证数据生成单元，其通过从由所述块系数计算单元获得的所述块系数中选择构成块对的两个块系数、并生成表示构成一个块对的两个块系数的大小关系的数据，来生成第一验证数据；第二验证数据生成单元，其通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成第二验证数据；以及输出单元，其输出所述图像输入单元输入的作为完整性保证对象的所述图像数据，并输出所述第一验证数据生成单元获得的所述第一验证数据、以及所述第二验证数据生成单元获得的所述第二验证数据，作为针对作为所述完整性保证对象的所述图像数据的所述验证信息。

在本发明的第二方面，提供一种验证装置，用于基于图像数据和针对所述图像数据的验证信息来验证图像数据存在/不存在篡改，所述验证装置包括：输入单元，其输入作为验证对象的图像数据以及针对所述图像数据的验证信息；块划分单元，其将所述输入单元输入的所述图像数据划分成块，每个块由预定数量的像素表示；块系数计算单元，其针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；元胞划分单元，其将所述块划分单元划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；元胞系数计算单元，其针对各元胞中包含的像素的值，执行用以获得表示所述元胞的特征的元胞系数的计算；第一确定单元，其通过从由所述块系数计算单元获得的所述块系数中选择构成块对的两个块系数、生成表示构成一个块对的两个块系数的大小关系的数据、并将所生成的数据与所述输入单元输入的所述验证信息中包含的第一验证数据进行比较，来确定在比较结果指示一致的情况下不存在篡改，或者在比较结果指示不一致的情况下存在篡改；以及第二确定单元，其在所述第一确定单元已经确定存在篡改的情况下，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、生成表示构成一个元胞对的两个元胞系数的大小关系的数据、并将所生成的数据与所述输入单元输入的所述验证信息中包含的第二验证数据进行比较，来确定在比较结果指示一致的情况下在作为关注元胞对的源的块中不存在篡改，或者在比较结果指示不一致的情况下作为关注元胞对的源的块为篡改位置。

在本发明的第三方面，提供一种信息处理装置的控制方法，所述信息处理装置用于由图像数据生成用于保证所述图像数据的完整性的验证信息，所述控制方法包括：图像输入步骤，输入作为完整性保证对象的所述图像数据；块划分步骤，将所述图像输入步骤中输入的所述图像数据划分成块，每个块由预定数量的像素表示；块系数计算步骤，针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；元胞划分步骤，将所述块划分步骤中划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；元胞系数计算步骤，针对包含在各元胞中的像素的值，执行用以获得表示元胞特征的元胞系数的计算；第一验证数据生成步骤，通过从所述块系数计算步骤中获得的所述块系数中选择构成块对的两个块系数、并生成表示构成一个块对的两个块系数的大小关系的数据，来生成第一验证数据；第二验证数据生成步骤，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成第二验证数据；以及输出步骤，输出所述图像输入步骤中输入的作为完整性保证对象的所述图像数据，并输出所述第一验证数据生成步骤中获得的所述第一验证数据、以及所述第二验证数据生成步骤中获得的所述第二验证数据，作为针对作为完整性保证对象的所述图像数据的所述验证信息。

在本发明的第四方面，提供一种验证装置的控制方法，所述验证装置用于基于图像数据和针对所述图像数据的验证信息来验证图像数据存在/不存在篡改，所述控制方法包括：输入步骤，输入作为验证对象的所述图像数据以及针对所述图像数据的所述验证信息；块划分步骤，将所述输入步骤中输入的所述图像数据划分成块，每个块由预定数量的像素表示；块系数计算步骤，针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；元胞划分步骤，将所述块划分步骤划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；元胞系数计算步骤，针对各元胞中包含的像素的值，执行用以获得表示所述元胞的特征的元胞系数的计算；第一确定步骤，通过从所述块系数计算步骤中获得的块系数中选择构成块对的两个块系数、生成表示构成一个块对的两个块系数的大小关系的数据、并将所生成的数据与所述输入步骤中输入的所述验证信息中包含的第一验证数据进行比较，来确定在比较结果指示一致的情况下确定不存在篡改，或者在比较结果指示不一致的情况下确定存在篡改；以及第二确定步骤，在所述第一确定步骤中确定存在篡改的情况下，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、生成表示构成一个元胞对的两个元胞系数的大小关系的数据、并将所生成的数据与所述输入步骤中输入的验证信息中包含的第二验证数据进行比较，来确定在比较结果指示一致的情况下在作为关注元胞对的源的块中不存在篡改，或者在比较结果指示不一致的情况下作为关注元胞对的源的块为篡改位置。

根据本发明，不仅能够指定存在/不存在篡改，而且如果存在篡改，则可以指定各块中的篡改位置。

通过下面参照附图对示例性实施例的说明，本发明的其他特征将变得清楚。

附图说明

图1是用于说明根据实施例的系统的总体配置的框图；

图2是示出根据第二实施例的图像输入装置的详细结构的框图；

图3是示出根据第二实施例的图像验证装置的详细结构的框图；

图4是示出根据第一实施例的图像输入装置的详细结构的框图；

图5是例示根据第一实施例的图像拍摄处理的过程的流程图；

图6是示出根据实施例的块间和元胞(cell)间大小关系信息的计算示例的视图；

图7是示出根据第一实施例的图像验证装置的详细结构的框图；

图8是例示根据第一实施例的图像验证处理的过程的流程图；

图9是示出根据第一实施例的图像验证处理的示例的视图；

图10A至图10C是示出根据第一和第二实施例的验证数据的示例的视图；

图11是示出根据第一实施例的验证单元的结构的框图；

图12是示出根据第一实施例的第三变形例的块间和元胞间大小关系信息的计算示例的视图；

图13是示出根据第一实施例的第三变形例的图像验证处理的示例的视图；

图14A和图14B是示出根据第一实施例的第四变形例的图像验证结果的显示示例的视图；

图15A和图15B是示出根据第一实施例的第四变形例的图像验证结果的另一显示示例的视图；

图16A和图16B是示出根据第一实施例的第三变形例的元胞对选择的示例的视图；

图17是例示根据第一实施例的第三变形例的元胞对选择处理的过程的流程图；

图18是例示根据第一实施例的第三变形例的篡改位置指定处理的过程的流程图；

图19是例示根据第一实施例的第三变形例的元胞对选择处理的过程的流程图；

图20是例示根据第一实施例的第三变形例的篡改位置指定处理的过程的流程图。

具体实施方式

现在，将参照附图来详细说明本发明的实施例。

[第一实施例]

<总体系统配置的说明>

图1示出根据本实施例的系统的总体配置的示例。本实施例的系统包括图像输入装置11和图像验证装置12。

参照图1，图像输入装置11生成图像数据并输出所生成的图像数据。尤其是，根据本实施例的图像输入装置11不但生成图像数据而且生成能够验证图像数据是否被篡改的验证信息，并将其与图像数据一起输出。

根据本实施例的图像输入装置11使诸如CMOS或者CCD的内部图像摄像设备对物体的光学图像进行光电转换，对所得到的摄像图像的电信号进行A/D转换，并输出没有进行图像处理的图像数据(输出原始图像数据(RAW图像数据))。

图像验证装置12基于验证信息，验证从前段的图像输入装置11提供的图像数据是否被篡改，并输出验证结果。

图像输入装置11和图像验证装置12可以经由诸如互联网之类的网络连接以交换各种数据。作为另选方案，各种数据在输出时可以被记录在诸如可移动介质之类的存储介质上以进行交换。

<图像输入装置的结构>

下面将参照图4来说明应用于本实施例的图像输入装置11的功能性结构。图像输入装置11对应于例如拍摄图像并将数字签名添加到图像数据的数码相机。注意，这里要描述的图像输入处理可通过由控制单元与诸如图像摄像设备的硬件协作执行软件处理来实现。在这种情况下，这些单元应当被认为是视作处理所需的功能的概念性部分。

图4所示的图像输入装置11具有这样的结构，即用于由图像数据生成要用来验证图像的完整性保证的第一验证数据和第二验证数据。第一验证数据通过块划分单元402、块系数计算单元403、块对选择单元404以及块间大小关系信息计算单元405生成。第二验证数据通过元胞划分单元406、元胞系数计算单元407、元胞对选择单元408以及元胞间大小关系信息计算单元409生成。

参照图4，图像生成单元401获取通过光学系统和光学传感器生成的视频信号作为图像信息，进而形成图像数据I。图像生成单元401生成的图像数据I被提供至后段的块划分单元402和图像输出单元411。块划分单元402接收由前段的图像生成单元401生成的图像数据I，将图像划分成各自包括多个预设像素的块，并将块的位置和块中的像素值输出至后段的块系数计算单元403和元胞划分单元406。注意在本实施例中，假定各块具有2×2像素来进行说明。

块系数计算单元403由前段的块划分单元402输出的一个块的块数据来计算块系数，并将块系数输出至后段的块对选择单元404。块系数是例如块中像素的明度(brightness)的平均值。通过将块中像素的明度的和除以块中像素的数量的操作来获得该平均值。然而，由于系数只需要是根据块中包含的像素值确定的值(标量值)，因此也可以不是明度的平均值而是明度的中间值或者方差。块对选择单元404选择块划分单元402划分的块的对，并将块对选择结果输出至块间大小关系信息计算单元405。

块对例如通过下面的方式确定。首先，生成在从0至图像的水平像素数量的范围以及从0至图像的垂直像素数量的范围内的随机数。使用所生成的随机数作为块的左上角的坐标(横坐标x和纵坐标y)来确定一个块。使用随机数类似地确定其他块。在两个步骤中基于随机数确定的两个块被确定为对。以此方式，由随机数确定的第一块和第二块被定义为一个对，第三块和第四块被定义为另一对，依此类推。注意，图像验证装置12的块对选择单元704(后面进行描述)也使用同样的随机数算法并共享随机数生成的初始设置值(种子值(seed value))。为了共享初始设置值，当输出图像数据I时，图像输出单元411使随机数的初始设置值与验证数据(后面进行描述)一起增加。当接收图像数据I时，图像验证装置12使用所增加的随机数的初始设置值。

注意，优选地，构成块对的两个块彼此分离预定距离(例如，两个像素)或者更远。这使得篡改者难以指定块对，并提高篡改检测精度。为了达到这一目的，当通过上述方法使用随机数获得一个块的左上角的坐标(横坐标x0和纵坐标y0)时，通过使用预设的距离值TH，生成从0至(x0-TH)或者从(x0+TH)至图像尺寸(水平尺寸)范围内的随机数，来获得另一块的左上角的横坐标x。同样，通过生成从0至(y0-TH)或者从(y0+TH)至图像尺寸(垂直尺寸)范围内的随机数来获得纵坐标y。理想的是，TH是自然数，0＜x0-TH，x0+TH＜图像尺寸(水平尺寸)，0＜y0-TH，以及y0+TH＜图像尺寸(垂直尺寸)。注意，可以从下次的对候选中排除曾经选择的块。

块间大小关系信息计算单元405基于由块对选择单元404选择的各块对，计算块间大小关系信息RB，并将该信息输出至后段的验证数据生成单元410。

使用例如包含在块对中的第一块的块系数(称作第一块系数)和第二块的块系数(称作第二块系数)，通过表达式(1)获得块间大小关系信息RB如下：

当第一块系数≥第二块系数时，RB＝0，以及

当第一块系数＜第二块系数，RB＝1 …(1)

然而，可以使用表示大小关系的任何其他信息。

元胞划分单元406进一步将前段的块划分单元402输出的一个块划分成多个元胞，并将表示元胞的位置和像素值的元胞划分结果输出至后段的元胞系数计算单元407。

例如，在本实施例中，由于一个块包括2×2像素，因此一个元胞包括1×1像素。当然，当一个块具有4×4像素的尺寸时，一个元胞可包括多个像素，即2×2像素。在任何情况下，元胞尺寸被设置为小于块尺寸。

元胞系数计算单元407基于元胞划分单元406输出的关注块的元胞划分结果，计算各元胞的系数，并将元胞系数输出至后段的元胞对选择单元408。

元胞系数，与关于块系数计算单元403描述的块系数类似，例如是元胞中像素的明度的平均值。也可以应用明度的中间值或者方差。元胞对选择单元408选择由元胞划分单元406划分的元胞的对，并将元胞对选择结果输出至元胞间大小关系信息计算单元409。

元胞对确定是针对块对选择单元404选择的块对的各块进行的。元胞间大小关系信息计算单元409基于元胞对选择单元408选择的各元胞对，计算元胞间大小关系信息RS，并将其输出至后段的验证数据生成单元410。

与块间大小关系信息计算单元405类似，元胞间大小关系信息计算单元使用例如元胞对的第一元胞的元胞系数(称作第一元胞系数)和第二元胞的元胞系数(称作第二元胞系数)，通过表达式(2)获得元胞间大小关系信息RS。

当第一元胞系数≥第二元胞系数时，RS＝0，以及

当第一元胞系数＜第二元胞系数时，RS＝1 …(2)

验证数据生成单元410使其内的加密单元基于接收到的块间大小关系信息计算单元405计算出的块间大小关系信息RB、和元胞间大小关系信息计算单元409计算出的元胞间大小关系信息RS，生成验证数据S(RB)和S(RS)，并将验证数据输出到后段的图像输出单元411。

作为本实施例的验证数据，MAC(消息验证码)或者电子签名是适用的。注意，本领域的技术人员已知生成MAC或者电子签名的方法，因此省略对其的详细说明。如图10A中的附图标记1001所指示，作为电子签名或者MAC的目标的数据例如由头(header)和块间大小关系信息RB构成，或者如图10B中的附图标记1002所指示，由头和元胞间大小关系信息RS构成。图10A中的附图标记1001指示验证数据S(RB)的结构，图10B中的附图标记1002指示验证数据S(RS)的结构。大小关系信息RB和RS按选择的随机数的顺序布置。例如，信息RB按第一块对的RB、第二块对的RB、……的顺序布置。另一方面，信息RS按第一块对的一个块中的元胞对(第一元胞对)的RS、第一块对的另一个块中的元胞对(第二元胞对)的RS、第二块对的一个块中的元胞对(第三元胞对)的RS、第二块对的另一个块中的元胞对(第四元胞对)的RS、……的顺序布置。

图10A中的附图标记1001指示的数据结构的头包括块间大小关系信息RB的总数的信息。附图标记1002指示的数据结构的头也包括块间大小关系信息RB的总数的信息和块对中的元胞对的数量的信息。为了获取所选择的第X块对中的多条元胞间大小关系信息RS，需要通过从附图标记1002所指示的元胞间大小关系信息RS的顶部跳过(X-1)个块对中的元胞对、来获取与各块对中的元胞对的数量一样多的信息RS。以此方式，只有指定块对中的多条信息RS可以使用头来直接获取。因此，后述的图像验证装置12可以确定必要数量的块对中存在/不存在篡改。验证数据按上述方式生成。

另外，在通过使用散列(hash)等减少信息量之后应用电子签名或MAC。注意，尽管在本实施例中减少了信息量，但是本发明并不限于此，电子签名或者MAC可以应用于例如原始数据(raw data)。

注意，当应用MAC作为验证数据时，用于生成MAC的秘密信息被作为签名密钥KS输入，并用于MAC生成。由于签名密钥KS需要被图像输入装置和后述的验证装置共享，因此公用秘密信息被预先保持在图像输入装置和验证装置中。另一方面，当应用电子签名作为验证数据时，用于生成电子签名的秘密密钥被作为签名密钥KS输入。图像输入装置预先保持签名密钥KS，并且验证数据生成单元410根据需要使用签名密钥KS。对应于被验证数据生成单元410使用的签名密钥KS的公开密钥被保持在后述的验证装置中。

图像输出单元411将图像数据I和验证数据作为一个文件记录在诸如可移动介质的存储介质中，或者经由有线/无线网络将数据发送到预定的主机。然而，图像数据I和验证数据也可以作为分开的文件被输出。以上说明了根据本实施例的图像输入装置11的结构。

<图像拍摄处理的过程>

下面将参照图5和图6来说明由本实施例的图像输入装置11执行的图像拍摄处理的过程。图5是例示适用于本实施例的图像拍摄处理的过程的流程图。图6示出计算块间大小关系信息RB和元胞间大小关系信息RS的详细示例。基于图5所示的过程来控制图4所示的图像输入装置的操作。中途操作的一部分可以作为软件处理执行。

在步骤S501中，图像生成单元401拍摄图像数据I。例如获得图6中由附图标记601代表的9×9像素的图像数据I。注意，图像数据I的各像素的数值表示明度。在步骤S502中，块划分单元402将图像数据I划分成块。例如，图像数据I被划分成如图6的601a1所指示各自具有2×2像素的块。在步骤S503中，块系数计算单元403使用步骤S502中划分的块来计算块系数。例如，在图6中，明度的平均值用作块系数。块601a1的系数是块601a1中明度的平均值“255”。在步骤S504中，块对选择单元404从步骤S502中划分的块中选择块对。例如，从图6的图像数据601中选择下面4个块对。

.601a1和601a2(块对601a)

.601b1和601b2(块对601b)

.601c1和601c2(块对601c)

.601d1和601d2(块对601d)

在步骤S505中，块间大小关系信息计算单元405使用步骤S504中选择的块对和块的系数，来计算块间大小关系信息RB。例如，使用表达式(1)计算图6中的四个块对601a至601d的块间大小关系信息RB。

.RB(601a)＝0

.RB(601b)＝0

.RB(601c)＝0

.RB(601d)＝0

其中RB(X)表示由表达式(1)计算的块对X的大小关系。

在步骤S506中，元胞划分单元406进一步将由块划分单元402划分的各块划分成元胞。例如，在图6所示的图像数据I 601中，一个元胞包括1×1像素。在步骤S507中，元胞系数计算单元407使用步骤S506中划分的元胞来计算元胞系数。例如，在图6中，明度用作元胞系数。附图标记601表示的图像的左上元胞(像素)的系数为明度“255”。

在步骤S508中，元胞对选择单元408选择块对的各块中的左上元胞和右下元胞作为元胞对。更具体地，在由图6所示的附图标记601表示的图像中，用圆圈标记的、各块的左上元胞和右下元胞被选择作为元胞对。块对601a的元胞对是元胞对601a1和601a2。块对601b的元胞对是元胞对601b1和601b2。块对601c的元胞对是元胞对601c1和601c2。块对601d的元胞对是元胞对601d1和601d2。

在步骤S509中，元胞间大小关系信息计算单元409使用步骤S508中选择的元胞对的元胞系数，来计算元胞间大小关系信息RS。例如，图6中的8个元胞对601a1至601d2的元胞间大小关系信息RS使用表达式(2)计算为

.RS(601a1)＝0

.RS(601a2)＝0

.RS(601b1)＝0

.RS(601b2)＝0

.RS(601c1)＝0

.RS(601c2)＝1

.RS(601d1)＝0

.RS(601d2)＝1

其中RS(X)表示由表达式(2)计算的元胞对X的大小关系。

在步骤S510中，验证数据生成单元410使用块间大小关系信息RB和元胞间大小关系信息RS，生成验证数据S(RB)和S(RS)。最后，在步骤S511中，图像输出单元411输出添加有验证数据S(RB)和S(RS)的图像数据。以上描述了根据本实施例的图像拍摄处理的过程。

注意在本实施例中，描述了如图6所示的在9×9像素的图像数据中选择了8个块的示例。然而，图像数据中定义的所有块可随机布置以由两个块构成对。此时，如果对应于图像尺寸的水平和垂直像素的数量不是块尺寸的整数倍，则假设缺少的像素具有预设值。在本实施例中，由于块尺寸为2×2像素，因此块的总数为(像素的总数/4)，块对的数量为1/2，即(像素总数/8)。也就是说，块间大小关系信息RB所需要的位数由(像素总数/8)表示。近年的数码相机通常需要大于10,000,000个摄像像素。因此，块对的数量相当大，块间大小关系信息RB所需要的位数也很大。这也适用于元胞间大小关系信息RS。在这种情况下，由像素总数的预设比率表示的数量的块，可根据随机数选择。如果比率是1/64，则平均在8×8像素的区域中确定一个块(2×2像素)。换句话说，选择的块之间的平均距离对应于8个像素。可以说能够充分确定由人想要篡改的位置。该比率可以根据用户希望的精度从预先准备的多个比率中选择。然而在这种情况下，关于所选精度的信息也与验证数据一起被存储。对元胞对也如上述的块对一样，块中的所有元胞可以随机布置以由两个元胞构成一个对。

<图像验证装置的结构>

下面将参照图7来描述应用于本实施例的图像验证装置12的功能性结构。

注意，这里要描述的图像验证处理可以通过由个人计算机等代表的信息处理装置及其处理器执行的软件处理来实施。在这种情况下，这些单元可以被认为是视作处理所需功能的概念性部分。

参照图7，图像输入单元701输入要验证的图像数据I′。如果考虑图像数据I′是经由可移动介质和/或网络等输入的，则易于理解。图像输入单元701也分析输入图像数据I′的头，提取添加的验证数据S(RB)和S(RS)，将提取的验证数据S(RB)和S(RS)输出至验证单元710，并将图像数据I′输出至块划分单元702。注意，图像输入单元701分析图像数据I′，提取初始设置值(种子值)，并将其提供至块对选择单元704。结果，尽管随机进行，块对选择单元704选择与块对选择单元404选择的相同的块对。

块划分单元702执行与图4中的块划分单元402相同的处理，以将从前段的图像输入单元701接收到的图像数据I′划分成块。之后，块系数计算单元703、块对选择单元704、块间大小关系信息计算单元705分别执行与图4中的块系数计算单元403、块对选择单元404、以及块间大小关系信息计算单元405相同的处理，因此不再重复其说明。元胞划分单元706、元胞系数计算单元707、元胞对选择单元708以及元胞间大小关系信息计算单元709也执行与图4中具有相同名称的单元相同的处理。

验证单元710接收由前段的块间大小关系信息计算单元705计算出的块间大小关系信息RB′、由元胞间大小关系信息计算单元709计算出的元胞间大小关系信息RS′、由图像输入单元701提取的验证数据S(RB)和S(RS)、以及验证密钥KS。验证单元710使用接收到的数据，来验证图像数据文件I′(图像数据部分)是否被篡改，并输出验证结果(OK/NG)、篡改的块对TPB、以及篡改位置TPS。篡改的块对TPB由例如接近块对中图像的左上角的块的左上角的坐标表示。篡改位置TPS由例如包括元胞对的块中左上角的像素的坐标表示。

通过上述方式，显示了图像的二维空间。块对的各块中左上角的元胞的坐标位置，与其余坐标位置相比被强调。这使得强调部分密集排布的部分被指定为篡改位置。

下面参照图11来详细说明根据实施例的验证单元710。如图11所示，实施例的验证单元710包括解密单元1101、第一验证单元1102、以及第二验证单元1103。

仅当验证数据是电子签名时，解密单元1101使用类似输入的验证密钥KS来对验证数据S(RB)和S(RS)进行解密。仅验证数据S(RB)可以先解密，当后述的第一验证单元1102的验证结果为NG时才可以进行验证数据S(RS)的解密。所得到的块间大小关系信息RB和元胞间大小关系信息RS(其信息量使用散列等来降低)被分别输出至第一验证单元1102和第二验证单元1103。由于验证单元710需要对应于验证数据生成单元410，验证密钥KS应当被看作对应于验证数据生成单元410中适用的签名密钥KS的公开密钥。如果解密失败，则输出NG。

当验证数据为MAC时，解密单元1101根本不执行处理，并将验证数据S(RB)和S(RS)分别视为RB和RS。RB与验证密钥KS一起被输出至第一验证单元1102。RS与验证密钥KS一起被输出至第二验证单元1103。后述的第一验证单元1102和第二验证单元1103使用验证密钥KS，生成块间大小关系信息RB′的MAC和元胞间大小关系信息RS′的MAC。将所生成的MAC与RB和RS进行比较。由于验证单元710对应于验证数据生成单元410，验证密钥KS适用于与验证数据生成单元410中适用的签名密钥相同的秘密信息。

第一验证单元1102接收由前段的解密单元1101获得的块间大小关系信息RB和由前段的块间大小关系信息计算单元705计算出的块间大小关系信息RB′。第一验证单元1102基于在所有块对中RB是否等于RB′，来确定图像数据I′存在/不存在篡改。第一验证单元1102输出验证结果(OK/NG)。更具体地，尽管在同一位位置处的两对中至少一对中RB和RB′不相等的情况下输出NG的可能性不同，但是将确定错误的可能性纳入考虑。如果在所有块对中RB等于RB′，则输出表示不存在篡改的验证结果(OK)。另一方面，如果在至少一个块对中RB不等于RB′，则对RB等于RB′的块对的数量进行计数。如果数量等于或者大于阈值TH1(由图像尺寸和预定比率确定的值)，则输出表示不存在篡改的验证结果(OK)。相反，如果数量少于阈值TH1，则输出表示存在篡改的验证结果(NG)和表示块对的位置的篡改块对TPB。注意，当生成作为MAC的验证数据时，第一验证单元1102也从前段的解密单元1101接收验证密钥KS。第一验证单元1102使用验证密钥KS，生成块间大小关系信息RB′的MAC，并确定其是否与已经作为MAC生成的块间大小关系信息RB一致。

元胞间大小关系信息RS′经由元胞划分单元706、元胞系数计算单元707、元胞对选择单元708、以及元胞间大小关系信息计算单元709获得，后段的第二验证单元1103验证篡改位置。第二验证单元1103接收由前段的解密单元1101获得的元胞间大小关系信息RS和由前段的元胞间大小关系信息计算单元709计算出的元胞间大小关系信息RS′。第二验证单元1103基于RS是否等于RS′来验证图像数据I′的篡改位置，并执行与结果对应的输出。

如果RS等于RS′，则第二验证单元1103确定其不是篡改位置，并不进行输出(或者输出表示没有篡改位置的信息)。相反，如果RS不等于RS′，则第二验证单元1103输出表示包括关注元胞对的块为篡改位置的篡改位置TPS。注意，当生成验证数据作为MAC时，第二验证单元1103也从前段的解密单元1101接收验证密钥KS。第二验证单元1103使用验证密钥KS来生成元胞间大小关系信息RS′的MAC，并确定其是否与已经作为MAC生成的元胞间大小关系信息RS一致。

<图像验证处理的过程>

下面将参照图8和图9来说明要由实施例的图像验证装置12执行的图像验证处理的过程。图8是例示适用于本实施例的图像验证处理的过程的流程图。图9示出本实施例的篡改存在/不存在确定以及篡改位置指定的具体示例。在图9中，附图标记901表示通过篡改图6中图像601得到的图像。阴影像素(Hatched pixels)表示篡改部分。注意，在图9中，使用电子签名来生成验证数据。图7所示的图像验证装置的操作是基于图8所示的过程来控制的。部分中途操作作为软件处理来执行。

在步骤S801中，图像输入单元701输入图像数据I′。例如，输入图9中附图标记901所指示的9×9像素的图像数据I′。注意，图9所示的图像的各像素的数值表示明度。在步骤S802，块划分单元702将图像数据I′划分成块。例如，图像数据I′被划分成如图9中的附图标记901a1所指示的各自具有2×2像素的块，与图6中相同。在步骤S803中，块系数计算单元703使用步骤S802中划分的块来计算块系数。例如，在图9中，同图6一样获得系数，附图标记901a1表示的块中明度的平均值为“127”。在步骤S804中，块对选择单元704从步骤S802中划分的块中选择块对。例如，以与图6中同样的方式，从图9中附图标记901表示的图像中选择下面4个块对。注意，尽管这里将说明块对的数量是4的示例，但是块对的数量可以由图像输入装置确定(例如，基于图像尺寸进行确定)。

.901a1和901a2(块对901a)

.901b1和901b2(块对901b)

.901c1和901c2(块对901c)

.901d1和901d2(块对901d)

在步骤S805中，块间大小关系信息计算单元705使用步骤S804中选择的块对和块的系数，来计算块间大小关系信息RB′。例如，使用表达式(1)计算图9中四个块对901a至901d的块间大小关系信息RB′如下(作为4位)：

.RB′(901a)＝1

.RB′(901b)＝1

.RB′(901c)＝0

.RB′(901d)＝0

在步骤S806中，图11中的解密单元1101执行解密处理。在步骤S807中，确定解密是否成功。如果解密处理成功，则确定是否保持块对之间的大小关系(步骤S808)。否则，验证被确定为失败(步骤S809)。注意，如果生成验证数据作为MAC，则不执行步骤S806、S807和S809的处理。因此，在步骤S805之后，处理进行到步骤S808。

在步骤S808中，第一验证单元1102确定是否保持块对之间的大小关系。即第一验证单元1102确定RB与RB′是否一致(基于验证信息的第一确定处理)。更具体地，第一验证单元1102将RB与RB′的位互相比较。如果位一致，则输出不存在篡改(OK)(步骤S810)，处理结束。另一方面，如果位不一致，则处理进行到步骤S811。注意，当生成验证数据作为MAC时，第一验证单元1102从解密单元1101接收验证密钥KS。第一验证单元1102使用验证密钥KS来生成块间大小关系信息RB′的MAC，并确定其是否与已经作为MAC生成的块间大小关系信息RB一致。

在步骤S811中，第一验证单元1102确定保持大小关系的块对的数量是否等于或者大于阈值TH1。如果数量等于或者大于阈值TH1(是)，则输出不存在篡改(OK)(步骤S810)，处理结束。另一方面，如果数量小于阈值(否)，则输出存在篡改(NG)(步骤S812)，且处理进行到步骤S813。例如，在图9中，在两个块对901c和901d中RB等于RB′，而在块对901a和901b中RB不等于RB′。假设，阈值TH1是3。保持大小关系的块对的数量是2，其小于阈值TH1。因此块对901a和901b是篡改块对TPB，并确定存在篡改(NG)。注意，可以避免步骤S811中的确定处理以提高篡改的严格性。在这种情况下，如果步骤S808中为“否”，则处理进行到步骤S812。

在步骤S813中，元胞划分单元706进一步将块划分单元702划分的各块划分成元胞。例如，在图9所示的附图标记901指示的图像中，一个元胞包括1×1像素，同图6。

在步骤S814中，元胞系数计算单元707使用步骤S806中划分的元胞来计算元胞系数。然而，下列步骤的处理仅针对确定为可能被篡改的篡改块对TPB执行。例如，在图9中，同图6中一样获得系数，并且由附图标记901指示的图像的左上元胞(像素)具有明度“0”作为系数。

在步骤S815中，元胞对选择单元708从步骤S806中划分的元胞中选择元胞对。例如，在图9中，在附图标记901指示的图像中选择用圆圈标记的、各块的左上像素和右下像素作为元胞对，同图6。从被确定为篡改块对的块对901a和901b中选择元胞对。块对901a的元胞对是901a1和901a2。块对901b的元胞对是元胞对901b1和901b2。

在步骤S816中，元胞间大小关系信息计算单元709使用步骤S808中选择的元胞对和元胞对的块的系数，来计算元胞间大小关系信息RS′。例如，使用表达式(2)计算图9中的4个元胞对901a1、901a2、901b1和901b2的元胞间大小关系信息为：RS′(901a1)＝1，RS′(901a2)＝0，RS′(901b1)＝1，和RS′(901b2)＝0。

在步骤S817中，第二验证单元1103基于元胞对之间的大小关系，指定篡改位置TPS(基于验证信息的第二确定处理)。更具体地，第二验证单元1103确定RS′是否等于RS。如果RS′等于RS，则不将元胞对确定为篡改位置TPS。另一方面，如果RS′不等于RS，则将元胞对确定为篡改位置TPS，并将关注元胞对的位置输出。在图9中，元胞对901a1和901b1被确定为篡改位置TPS，并输出为(0，0)和(0，2)。在这种情况下，(x，y)中的x是横坐标，y是纵坐标。当生成验证数据作为MAC时，第二验证单元1103从解密单元1101接收验证密钥KS。第二验证单元1103使用验证密钥KS来生成元胞间大小关系信息RS′的MAC，并确定其是否与已经作为MAC生成的元胞间大小关系信息RS一致。

注意，篡改位置TPS用于将对应位置添加红色标记来显示图像数据I′的处理。该显示通过例如图7中的图像验证装置12的验证单元710中的显示单元(未示出)来执行。该显示在步骤S809、S810以及S817的各个处理完成之后执行。有时候不能指定篡改位置。更具体地，首先，因为块间大小关系信息RB和RB′不同，因此确定存在篡改。然而，如果在块对的两个块中元胞间大小关系信息RS和RS′相等，则不能指定篡改位置TPS。在这种情况下，用与在指定篡改位置时使用的红色标记不同的黄色标记来显示块对的两个块，从而表明篡改位置未知。注意，如果能够区分指定和未指定的篡改位置，则红色和黄色之外的任何颜色也是适用的。

另外，可以根据篡改位置指定结果的水平(level)来改变显示水平。在图14A中，1401C表示图像验证结果的具体显示示例。如果指定了篡改位置TPS，则如1401d所指示的，篡改位置TPS由密阴影线的块表示。如果指定了篡改，但是其位置没有指定，则如1401e1和1401e2所指示的，块对的两个块都用疏阴影线的块表示。这样改变显示水平有利于篡改位置指定结果的感知度。

在本实施例中，在图像验证处理中，在确定所有块对中存在/不存在篡改之后指定篡改位置。然而，篡改存在/不存在确定和篡改位置指定可以在各块对中进行。由于这是作为系列处理执行的，因此可以节省存储器等。

如上所述，根据本实施例，针对图像数据生成分级验证数据。这使得能够分级指定篡改位置(在整个图像中和在各块中)。块之间的大小关系用作验证数据。作为特征，即使图像数据已经经历了诸如伽马校正处理、对比度校正处理和白平衡处理等的图像再现处理，大小关系也几乎不变。因此能够保证已经经历了图像再现处理的图像数据的完整性。

注意，在本实施例中，描述了元胞对包括块中的左上元胞和右下元胞作为组成部分的示例。然而，元胞对也可以如块对那样使用随机数进行选择。更具体地，关注块的四个元胞中的两个可被确定为使用随机数的元胞对的组成部分。作为另选方案，所有的四个元胞都被随机地重新布置，并且可以选择两个元胞对。

在本实施例中，块尺寸是2×2像素。元胞尺寸是1×1像素。然而，本发明并不限于此。但是由于块尺寸与指定篡改位置的精度相对应，所以需要注意。

在本实施例中，描述了如下示例，即图像数据I被划分成用作第一单位的块，并且块被进一步划分成用作第二单位的元胞，从而分级指定篡改位置(在整个图像中和在各块中)。然而，在本发明中，其他概念也可用作第一单位和第二单位。例如，假设图像数据I是运动图像，帧用作第一单位，块用作第二单位，从而分级指定篡改位置(在整个运动图像中和在各帧中)。

<第一变形例>

在上述的方法中，当保持大小关系的块对的数量小于阈值TH1时，确定存在篡改(NG)。在本变形例中，基于没有保持大小关系的部分是否互相邻接来确定存在/不存在篡改。例如，在图9所示的图像901中，块901a1和901b1没有保持大小关系并且互相邻接。因此确定存在篡改(NG)。

<第二变形例>

注意在本实施例中，图像输入装置获得块间大小关系信息RB和元胞间大小关系信息RS，并使用这些信息来生成验证数据。然而，图像输入装置11可以获得块系数和元胞系数，并使用这些系数来生成验证数据。然后，图像验证装置12可由接收到的验证数据，计算块间大小关系信息RB和元胞间大小关系信息RS。

更具体地，在图像输入装置11中，块系数计算单元403计算块系数，元胞系数计算单元407计算元胞系数。块系数和元胞系数被输入至验证数据生成单元410，以计算验证数据。在这种情况下，块对选择单元404、块间大小关系信息计算单元405、元胞对选择单元408和元胞间大小关系信息计算单元409不执行处理。在图像验证装置12中，块系数计算单元703计算块系数，元胞系数计算单元707计算元胞系数。块系数和元胞系数被输入到验证单元710并与验证数据进行比较以验证图像。

更具体地，验证可以通过形成块和元胞的对来进行，并确定是否保持大小关系。

注意，可以不在对中计算大小关系，而是在三个或三个以上的块系数或者元胞系数构成的组中计算。

例如，三个系数A、B和C的大小关系由2位表示。如果系数A是最大的，则大小关系由“00”表示。如果系数B是最大的，则大小关系由“01”表示。如果系数C是最大的，则大小关系由“10”表示。如果存在多个最大的系数，则大小关系由“11”表示。

不仅可以使用大小关系，还可以使用多个块系数或元胞系数的方差、中间值或者平均值。

例如，如上述实施例中当使用块对或者元胞对时，一个块系数和其他块系数的平均值也是可用的。

如果三个或三个以上的块或元胞被放在一个组中，则可以使用该组的系数的平均值或者方差。

<第三变形例>

在本实施例中，选择块中的左上元胞和右下元胞作为元胞对。然而，一个元胞可以从块中选择，而另一元胞可以从该块之外选择。这使得能够容易检测没有改变块中的大小关系的篡改，因为例如从块中的所有像素的明度中加上/减去同样的值。

更具体地，图像输入装置11的元胞对选择单元408和图像验证装置12的执行与元胞对选择单元408相同处理的元胞对选择单元708，执行不同的处理。在各块中，元胞对选择单元408从块的像素中选择元胞对的一个元胞。例如选择各块的左上角的像素。然而，可以选择块中的任何像素，或者可以使用随机数选择元胞。另一元胞可以使用随机数从该块之外选择。然而，优选地，元胞不从块对的另一块中选择。这是因为验证单元710已经确定块对作为篡改块对TPB，并且对极可能被篡改了的块的元胞进行比较，而且容易发生确定错误。在这种情况下，使用例如与块对选择单元404相同的选择方法，并且可以使用与图像验证装置12的元胞对选择单元708相同的随机数算法和随机数生成的初始设定值。

首先，下面将参照图12来说明使用上述方法计算块间大小关系信息RB和元胞间大小关系信息RS的具体示例。图12基本例示了与图6相同的结构，故仅描述不同部分。

尽管由图6中附图标记601指示的图像具有9×9像素，然而为了更容易理解元胞对选择方法(本变形例的特性特征)，图12中的附图标记1201指示具有6×6像素的图像。选择下面的两个块对。

.1201a1和1201a2(块对1201a)

.1201b1和1201b2(块对1201b)

与图6同样，块间大小关系信息RB被计算为：

.RB(1201a)＝0

.RB(1201b)＝1

其中RB(X)表示由表达式(1)计算出的块对X的大小关系。

虽然图像输入装置11的元胞对选择单元408的处理不同，但是接下来，与图6同样，计算元胞间大小关系信息RS。

在图12所示的附图标记1201所指示的图像中，用圆圈标记的各块中的左上像素和使用随机数在该块之外选择的像素，被选择作为元胞对。块1201a1的元胞对包括像素1201c1和1201c2。块1201a2的元胞对包括像素1201d1和1201d2。块1201b1的元胞对包括像素1201e1和1201e2。块1201b2的元胞对包括1201f1和1201f2。

元胞间大小关系信息RS如图6一样被计算为：

.RS(1201c1和1201c2)＝0

.RS(1201d1和1201d2)＝1

.RS(1201e1和1201e2)＝1

.RS(1201f1和1201f2)＝0

其中RS(A和B)表示通过表达式(2)计算出的、图12中元胞对的像素A和B之间的明度的大小关系。

接下来，将参照图13来说明使用上述方法进行篡改存在/不存在确定以及篡改位置指定的具体示例。图13基本例示了与图9相同的结构，因此仅说明不同的部分。

在图13中，附图标记1301指示通过篡改由图12中的附图标记1201表示的图像而得到的图像。阴影线像素表示篡改位置。块1301a1中所有像素均被篡改了。注意，由于篡改，所有阴影线像素的明度都比原始明度低40。

如图12中那样，选择下面两个块对。

.1301a1和1301a2(块对1301a)

.1301b1和1301b2(块对1301b)

如图9中那样，块间大小关系信息RB′被计算为：

.RB′(1301a)＝1

.RB′(1301b)＝1

之后，比较RB和RB′。在图13中，在块对1301b中RB等于RB′。另一方面，在块对1301a中RB不等于RB′。图13中附图标记1301指示的图像的块对的数量小。假设阈值TH1为2。保持大小关系的块对的数量为1，小于阈值TH1。因此，块对1301a为篡改块对TPB，确定存在篡改(NG)。

接下来，与图9中一样，指定篡改位置TPS。图像验证装置12的元胞对选择单元708的处理不同。例如，在图13中，元胞对如图12中那样选择。在附图标记1301指示的图像中，用圆圈标记的各块的左上像素和使用随机数在该块外部选择的像素，被选择作为元胞对。针对包括块1301a1和块1301a2的被确定为篡改块对的块对1301a，选择元胞对。块1301a1的元胞对包括像素1301c1和1301c2。块1301a2的元胞对包括像素1301d1和1301d2。

与图9中一样，元胞间大小关系信息RS′被计算为：

.RS′(1301c1和1301c2)＝1

.RS′(1301d1和1301d2)＝1

元胞1301c1和1301c2的对(RS和RS′不同)被确定为篡改位置TPS。注意，如上所述，可以使用图7所示的图像验证装置12的验证单元710的显示单元(未示出)用红色、黄色或者阴影显示篡改位置TPS。

注意，在上述的方法中，针对块中的一个元胞，选择了该块外部的一个元胞来创建一个元胞对。然而，针对块中的一个元胞，可以选择该块外部的多个元胞来创建多个元胞对。这使得能够更精确地指定该块是否为篡改位置。下面将参照图16A、图17和图18来解释具体方法。

图16A是元胞对选择方法的概念图。图17例示了图5的步骤S508中的元胞对选择处理的具体过程。图18例示了图8的步骤S817中的篡改位置指定处理的具体过程。

下面将根据图17所示的过程来描述元胞对选择处理。图17中过程的各步骤由元胞对选择单元408处理。在步骤S508a中，元胞对选择单元408选择要执行元胞对选择的块A。块A是已经被选择用于块对的块。在图16A中，块1601a被选择作为块A。在步骤S508b中，选择块A中的元胞。在图16A中，选择元胞1601b。在步骤S508c中，选择不属于块A的元胞。在图16A中，选择元胞1601c。在步骤S508d中，登记元胞对。在步骤S508e中，确定选择的元胞对的数量N是否被满足。如果是，则处理进行到步骤S508f。如果否，则处理返回至步骤S508c。在图16A中，由于N是3，处理返回至步骤S508c选择元胞1601d和1601e以与元胞1601b配对。结果元胞1601b和1601c、1601b和1601d、以及1601b和1601e构成总计三个元胞对。在步骤S508f，确定是否选择了块A中的所有元胞。如果是，则处理进行到步骤S508g。如果否，则处理返回至步骤S508b。在图16A中，即使对块1601a的元胞1601b之外的元胞，也如上述那样选择元胞对。注意，并不总是需要针对块中所有元胞选择对。最后，在步骤S508g中，确定是否在所有块对中都选择了元胞对。如果是，则步骤S508中的处理结束。如果否，则处理返回到步骤S508a。在图16A中，即使在除块1601a之外的块中也选择了元胞对，处理结束。上面已经详细描述了步骤S508的具体过程。图8的步骤S815中的元胞对选择处理也根据同样的过程来执行。

接下来，根据图18所示的过程来说明篡改位置指定处理。图18中过程的各步骤由第二验证单元1103处理。步骤S817a中的处理与图17的步骤S508a相同。在图16A中，选择块1601a作为块A。步骤S817b中的处理与图17的步骤S508b相同。在图16A中，选择元胞1601b。在步骤S817c中，读出登记的元胞对。在图16A中，元胞1601b和1601c的对被读出。在步骤S817d中，确定元胞对的大小关系是否被保持。如果是，则处理进行到步骤S817e。如果否，则处理进行到步骤S817f。在步骤S817e中，确定选择的元胞对的数量N是否被满足。如果是，则处理进行到步骤S817g。如果否，则处理返回至步骤S817c。在步骤S817g中，确定是否选择了块A中的元胞。如果是，则处理进行到步骤S817h。如果否，则处理返回至步骤S817b。在步骤S817f中，当块A中的一个元胞对的大小关系没有被保持时，块A被确定为篡改位置。作为替代，可以提供阈值，当块中没有保持大小关系的元胞对的数量等于或者大于预定数量时，块可以被确定为篡改位置。在步骤S817h中，当块A中的所有元胞对保持了大小关系时，块A不被确定为篡改位置。在图16A中，假设元胞1601b被篡改。在这种情况下，如果元胞1601b和1601c的对、元胞1601b和1601d的对、以及元胞1601b和1601e的对中至少一个对没有保持大小关系，则可以指定为篡改位置。最后，在步骤S817i中，确定是否在所有块对中进行了确定。如果是，则步骤S817中的处理结束。如果否，则处理返回至步骤S817a。

针对块中的一个元胞，选择该块外部的一个元胞。该元胞可以存在于另一块对的块中。这使得能够通过检查包括元胞的块对的大小关系来确定块外部的元胞的系数是否正确。因此能够更精确地确定元胞间大小关系信息是否被保持。结果，能够更精确地指定块是否是篡改位置。下面参照附图16B、图19和图20来说明具体方法。

图16B是元胞对选择方法的概念图。图19例示了图5的步骤S508中的元胞对选择处理的具体过程。图20例示了图8的步骤S817中的篡改位置指定处理的具体过程。

根据图19示出的过程来描述元胞对选择处理。图19中过程的各步骤由元胞对选择单元408处理。在步骤S508h中，元胞对选择单元408选择要执行元胞对选择的块A。块A是已经被选择用于块对的块。在图16B中，块1602a被选择作为块A。在步骤S508i中，选择块A中的元胞。在图16B中，选择元胞1602b。在步骤S508j中，选择具有除块A之外的块对的块B。在图16B中，块1602d被选择作为块B。在步骤S508k中，选择块B中的元胞。在图16B中，选择元胞1602c。在步骤S508l中，登记元胞对。

在图16B中，元胞1602b和1602c被登记作为元胞对。在步骤S508m中，确定是否选择了块A中的所有元胞。如果是，则处理进行到步骤S508n。如果否，则处理返回到步骤S508i。在图16B中，如上所述，即使针对除了块1602a的元胞1602b之外的元胞也选择元胞对。注意，并不总是需要针对块中所有元胞选择对。最后，在步骤S508n中，确定是否在所有块对中选择了元胞对。如果是，则步骤S508中的处理结束。如果否，则处理返回到步骤S508h。在图16B中，即使在除了块1602a之外的块中也选择元胞对，处理结束。上面说明了步骤S508的具体过程。图8的步骤S815中的元胞对选择处理也根据同样的过程来执行。

接下来，将根据图20所示的过程来说明篡改位置指定处理。图20中的过程的各步骤由第二验证单元1103处理。步骤S817a中的处理与图19的步骤S508h相同。在图16B中，块1602a被选择作为块A。步骤S817k中的处理与图19的步骤S508i相同。在图16B中，选择元胞1602b。在步骤S817l中，读出登记的元胞对。在图16B中，读出元胞1602b和1602c的对。在步骤S817m中，确定元胞对的大小关系是否被保持。如果是，则处理进行到步骤S817o。如果否，则处理进行到步骤S817n。在步骤S817n中，确定块B和与块B配对的块之间的大小关系是否被保持。如果是，则处理进行到步骤S817p。如果否，则处理进行到步骤S817o。在步骤S817o中，确定是否选择了块A中的元胞。如果是，则处理进行到步骤S817q。如果否，则处理返回到步骤S817k。在步骤S817p中，当一个元胞对的大小关系没有被保持、且块B和与块B配对的块之间的大小关系被保持时，块A被确定为篡改位置。作为替代，可以提供阈值，当没有保持块中的大小关系的元胞对的数量等于或者大于预定数量时，可以将块确定为篡改位置。在步骤S817q中，当块A中所有元胞对保持了大小关系时，块A不被确定为篡改位置。在图16B中，块B是与块1602e配对的块1602d。例如，假设元胞1602b和1602c的对的大小关系没有被保持，而块1602d和1602e的对的大小关系被保持。在这种情况下，块1602a为篡改位置。

最后，在步骤S817r中，确定是否在所有块对中进行了确定。如果是，则步骤S817中的处理结束。如果否，则处理返回到步骤S817j。

<第四变形例>

在本实施例中，仅执行了一个图像数据I′的图像验证。作为变形例，可以执行多个图像数据的图像验证，并且结果可以一起显示在诸如图形用户界面(GUI)的界面上。注意，此时，为可视性起见，图像作为缩略图以缩小尺寸显示。这样，用户可以在视觉上容易识别篡改图像的验证结果。

图14A和图14B以及图15A和图15B是示出图像验证结果的显示示例的视图。图14A中的附图标记1401指示用来显示图像验证装置12接收到的全部8个图像的验证结果的GUI。区域1401a按照输入顺序从左到右显示图像的缩略图。如1401b所指示的，确定为被篡改的图像具有“×”标记以与确定为没有篡改的图像相区分。这仅仅是示例，如果可以区分存在/不存在篡改，则诸如图像本身闪烁的任何其他方法也是可以使用的。区域1401c显示区域1401a中被选择的一个缩略图的原始图像。在图14A中，选择缩略图1401b的原始图像。为了指示该选择，图像1401b具有粗的外框。注意，如上所述，区域1401c中的标记1401d、1401e1以及1401e2指示篡改位置。标记1401d指示指定的篡改位置，并被显示为密阴影线的块。标记1401e1和1401e2指示未指定的篡改位置，并被显示为疏阴影线的块。图14B中的GUI 1402和图15A及图15B中的GUI也以同样方式显示篡改位置。

要用于仅显示篡改图像的选项选择按钮被布置在区域1401f中。例如，当选择“输入顺序”按钮1401g时，GUI 1401的画面被转变为GUI1402。如图14B中GUI 1402所指示的，针对“输入顺序”，被确定为篡改图像的图像被按输入顺序排序并显示。与图像1401b不同，区域1402a没带“×”标记地显示图像的缩略图。由于仅显示篡改图像，因此不需要区分篡改的存在/不存在。“输入顺序”按钮1401b被加阴影线以指示图像按“输入顺序”显示。注意，为了返回到GUI 1401的画面，选择“显示所有图像”按钮1402c。注意，按钮1401h具有与按钮1402c相同的功能，并加阴影线来指示显示“所有图像”。图15A和图15B中选择按钮的显示以及“显示所有图像”按钮的功能与上述的相同。

回到区域1401f中的按钮的说明。“信赖度顺序(reliability order)”按钮用于将图像按表示例如篡改块对的块互相离开多远的信赖度的顺序对图像排序。注意，信赖度基于如下事实来确定，即一个部分的篡改对两个互相分开的块的影响小。例如，画面转变到图15A中的GUI 1501的画面。区域1501a显示按信赖度的降序从左到右布置的图像的缩略图。缩略图1501b表示具有最高信赖度的图像。区域1501d显示缩略图1501b的原始图像。各图像的缩略图具有在下方显示的信赖度值。例如，如1501c所指示的，图像1501b的信赖度为“10.45”。作为具体的信赖度计算方法，假设(x1，y1)和(x2，y2)为篡改块对的块的左上像素的坐标，块间距离L通过下式计算为：

L＝{(x1-x2)²+(y1-y2)²}^1/2 …(3)

获得所有篡改块对的距离L，并将平均值定义为信赖度。例如，在图9所示的图像901中，块对901a和901b为篡改块对。块901a1的左上像素的坐标为(0，0)，块901a2的左上像素的坐标为(6，6)。在这种情况下，块对901a的距离L为L＝8.49。块901b1的左上像素的坐标为(0，2)，块901b2的左上像素的坐标为(4，0)。在这种情况下，块对901b的距离L为L＝4.47。因此，信赖度＝(8.49+4.47)÷2＝6.48。

作为其它信赖度，能够在篡改块对中指定篡改位置的情况被定义为“1”，能够指定篡改但是不能检测到篡改位置的情况被定义为“0.5”，以此获得篡改指定水平。获得所有篡改块对的篡改指定水平，并将其平均值用作信赖度。可以使用能够表示信赖度的任何其它指标。

“篡改大小顺序”按钮被用于按例如图像中篡改位置TPS的大小的降序对图像排序。例如，画面转变到图15B中的GUI 1502的画面。区域1502a显示按篡改大小的降序从左到右布置的图像的缩略图。缩略图1502b表示具有最大篡改大小的图像。区域1502d显示原始图像。各图像的缩略图具有在下方显示的信赖度。例如，如附图标记1502c所指示的，缩略图1502b表示的图像的信赖度为“8”。

作为具体的篡改大小计算方法，首先，在各篡改位置，对与篡改位置对应的邻接块的数量P进行计数。例如，图9中的块901a1为篡改位置，且邻接块901b1也是篡改位置。因此P＝1。对于块901b1也一样，作为篡改位置的块901a1是邻接的，P＝1。所有篡改位置处的P的和被定义为篡改大小。例如，在图9所示的图像901中，篡改位置块901a1的P和块901b1的P相加得到“2”作为篡改大小。在图15B所示的区域1502d中显示的图像中，如附图标记1502e所指示的，四个块的各个与两个块邻接。因此，篡改大小为四个块×2＝8。注意，可以使用能够定义篡改大小的任何其他指标。

“篡改计数顺序”按钮用于按图像中篡改位置的数量的降序对图像进行排序。显示方法与上述的图15A和图15B中相同。例如，图9中的图像901中的篡改位置是块901a1和901b1，篡改位置的数量为2。注意，可以使用能够定义篡改位置的数量的任何其他指标。

注意，上述的界面仅仅是示例，图像可以按照图像尺寸等顺序进行排序。可以使用例如鼠标或者触摸屏来操作界面。

[第二实施例]

在第二实施例中，假设图像数据I是运动图像数据，并且关注比块更大单位的帧的存在。下面将说明在新使用帧作为第三单位、块作为第一单位及元胞作为第二单位的三层中执行篡改存在/不存在确定以及篡改位置指定的示例。

图2示出根据第二实施例的图像输入装置11。注意，图像生成单元201、块系数计算单元207、块对选择单元208、块间大小关系信息计算单元209执行与图4中具有相同名称的单元相同的处理，因此不再重复其说明。图像生成单元201用作沿着时间轴依次生成帧的运动图像生成单元。对于元胞划分单元210、元胞系数计算单元211、元胞对选择单元212以及元胞间大小关系信息计算单元213也是同样。帧划分单元202用作运动图像输入单元。帧划分单元202将输入的运动图像划分成帧，并将表示帧的位置的帧划分结果输出至后段的帧系数计算单元203和块划分单元206。

帧系数计算单元203、帧对选择单元204以及帧间大小关系信息计算单元205执行与第一实施例中描述的块和元胞处理类似的处理。与第一实施例中描述的块系数类似，帧系数是例如元胞中像素的明度的平均值。同样，明度的中间值或者方差也是适用的。结果，帧间大小关系信息RP作为第三验证数据被计算并被提供至后段的验证数据生成单元214。

块划分单元206将从前段的帧划分单元202输出的帧划分结果的各帧划分成块，并将块的位置和像素值输出至后段的块系数计算单元207和元胞划分单元210。

验证数据生成单元214与第一实施例中一样使用电子签名或者MAC，生成不仅包括块间大小关系信息RB和元胞间大小关系信息RS而且包括帧间大小关系信息RP的验证数据S(RP)、S(RB)和S(RS)。

注意验证数据S(RP)、S(RB)和S(RS)分别具有由图10C中的附图标记1003、图10A中的附图标记1001、以及图10B中附图标记1002表示的结构。图10C中的附图标记1003表示验证数据S(RB)的结构。图10A中的附图标记1001表示验证数据S(RB)的结构。注意，同第一实施例一样，图10B中的附图标记1002表示验证数据S(RS)的结构，因此不再重复对其的说明。大小关系信息RP和RB被按照随机数选择的顺序布置。例如，信息RP被按如下顺序布置，即第一帧对的RP、第二帧对的RP、……依次类推。信息RB被按如下顺序布置，即第一帧对中的第一块对的RB、第一帧对中的第二块对的RB、第二帧对中的第一块对的RB、……依次类推。

验证数据1003的头包括，例如帧间大小关系信息RP的总数的信息。验证数据1001的头包括，例如块间大小关系信息RB的总数的信息和帧对中的块对的数量的信息。为了获取所选择的第X帧对中的多条块间大小关系信息RB，需要通过从验证数据1001的块间大小关系信息RB的顶部跳过(X-1)个帧对中的块对来获取与各帧对中的块对的数量一样多的信息RS。由此生成验证数据。以此方式，验证数据生成单元214生成验证数据。图像输出单元215输出添加了验证数据S(RP)、S(RB)和S(RS)的图像数据I。

以上说明了根据第二实施例的图像输入装置11的结构。注意，根据第二实施例的图像拍摄处理的过程，通过在图5所示的第一实施例的过程的步骤S501和S502之间增加帧划分、帧系数计算、帧对选择以及帧间大小关系计算来形成。结果，验证数据S(RB)和S(RS)改变为验证数据S(RP)、S(RB)和S(RS)。

图3示出根据第二实施例的图像验证装置12。图像输入单元301输入图像数据I′。图像输入单元301分析图像数据I′的头，提取添加的验证数据S(RP)、S(RB)和S(RS)，输出提取的验证数据S(RP)、S(RB)和S(RS)。

用作第三划分单元的帧划分单元302执行与图2中的帧划分单元202相同的处理。也即，将从前段的图像输入单元301输入的图像数据I′划分成帧。

帧系数计算单元303、帧对选择单元304、及帧间大小关系信息计算单元305执行与图2中具有相同名称的单元相同的处理。帧间大小关系信息计算单元305计算帧间大小关系信息RP′。

块划分单元306、块系数计算单元307、块对选择单元308、以及块间大小关系信息计算单元309仅在验证单元314(后面进行描述)将篡改存在(NG)输入至块划分单元306时执行处理。在这种情况下，这些单元仅针对篡改帧对TPP执行与图2中具有相同名称的单元相同的处理。

块间大小关系信息计算单元309计算块间大小关系信息RB′。元胞划分单元310、元胞系数计算单元311、元胞对选择单元312、以及元胞间大小关系信息计算单元313仅在验证单元314将篡改块对TPB输入至元胞划分单元310时执行处理。在这种情况下，这些单元仅针对篡改块对TPB执行与图2中具有相同名称的单元相同的处理。元胞间大小关系信息计算单元313计算元胞间大小关系信息RS′。

验证单元314接收帧间大小关系信息RP′、块间大小关系信息RB′、元胞间大小关系信息RS′、通过图像输入单元301提取的验证数据S(RP)、S(RB)和S(RS)、以及验证密钥KS。使用所接收到的数据，验证单元314验证图像数据I′是否被篡改，并输出篡改结果(OK/NG)、篡改帧对TPP、篡改块对TPB以及篡改位置TPS。以上描述了根据第二实施例的图像验证装置12的结构。

对于第二实施例的图像验证的过程而言，图8所示的第一实施例的过程改变如下。

首先，步骤S801至S805和步骤S808中的处理对象从块变成了帧。步骤S806中的解密对象从S(RB)和S(RS)变成了S(RP)、S(RB)和S(RS)。

步骤S813至S816中的处理对象从元胞变成了块。最后，作为附加步骤，通过针对步骤S816中检测到的篡改块对TPB的各元胞对将RS和RS′进行比较，来指定篡改位置TPS。这使得用户能够指定包括篡改块对的帧并知道帧中的篡改位置。

在第二实施例中，在三层(即帧、块和元胞)中执行篡改存在/不存在确定和篡改位置指定。然而，本发明并不限于此。篡改存在/不存在确定和篡改位置指定也可以通过增加其它单位(例如包括多个帧的运动图像文件、或者包括多个运动图像文件的文件组)而在四层或者五层中执行。

如上所述，根据第二实施例，针对图像数据生成分级验证数据。这使得与第一实施例不同，能够分级指定篡改位置(在整个运动图像中、在各帧中、和各块中)。

在本实施例中，像素值的平均值被用作第一或第二单位的图像数据系数。然而，也可以使用可从第一单位(或第二单位)表示的图像的像素值推导出的任何其他值。

[第三实施例]

在第一实施例中，针对没有保持大小关系的所有块对的块执行篡改位置指定。然而，如果图像全体被篡改了，篡改位置存在于全体之中，则认为不需要用户检查。

在这种情况下，第一实施例的图像验证装置12的验证单元710基于阈值TH2和保持大小关系的块对的数量，切换后续处理。

如果保持大小关系的块对的数量等于或者大于阈值TH2，则与第一实施例中一样指定篡改位置。另一方面，如果保持大小关系的块对的数量小于阈值TH2，则仅输出存在篡改(NG)而不执行篡改位置指定，处理结束。注意，可以通知用户“因为存在预定数量或者更多的篡改位置，所以没有指定篡改位置”或者“图像全体被篡改了”。

根据上述实施例，在图像全体被篡改的情况下，可以省略篡改位置指定处理，从而提高处理效率。

注意，作为要用于验证上述图像篡改的数据，将对应于帧、块、或者元胞的各单位的数据描述为验证数据。然而，验证数据的数据结构可以根据需要改变。

例如，“篡改验证所需”的数据(已经被描述为对应于各单位的验证数据)可以省略加密/电子签名。例如，当最终输出验证数据时，所有单位的数据(对应于帧、块、和元胞的单位的全部验证数据)可以在外观上一起放在一个验证数据中，并被添加到图像数据中。

在本发明中，为了便于必要单位的篡改验证，各单位的验证数据可随机产生，并独立管理。因此，外观数据形式和存在/不存在加密并不重要。

在本实施例中，例举了数码相机作为图像输入装置11。然而，本发明也适用于通过包括图像扫描器的信息处理装置进行的原稿读取。因此，图像输入装置并不限于数码相机。

(其他实施例)

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的变形例、等同结构及功能。

Claims

1.一种信息处理装置，用于由图像数据生成要用来保证所述图像数据的完整性的验证信息，所述信息处理装置包括：

图像输入单元，其输入作为完整性保证对象的所述图像数据；

块划分单元，其将所述图像输入单元输入的所述图像数据划分成块，每个块由预定数量的像素表示；

块系数计算单元，其针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；

元胞划分单元，其将所述块划分单元划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；

元胞系数计算单元，其针对各元胞中包含的像素的值，执行用以获得表示所述元胞的特征的元胞系数的计算；

第一验证数据生成单元，其通过从由所述块系数计算单元获得的所述块系数中选择构成块对的两个块系数、并生成表示构成一个块对的两个块系数的大小关系的数据，来生成第一验证数据；

第二验证数据生成单元，其通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成第二验证数据；以及

输出单元，其输出所述图像输入单元输入的作为所述完整性保证对象的所述图像数据，并输出由所述第一验证数据生成单元获得的所述第一验证数据、以及由所述第二验证数据生成单元获得的所述第二验证数据，作为针对作为所述完整性保证对象的所述图像数据的所述验证信息。

2.根据权利要求1所述的信息处理装置，其中，所述第二验证数据生成单元通过选择对应于不同块的预设位置处的两个元胞的元胞系数以决定元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成所述第二验证数据。

3.根据权利要求1所述的信息处理装置，其中，所述块系数计算单元执行所述块中包含的像素值的平均值计算、中间值计算以及方差计算中的一种。

4.根据权利要求1所述的信息处理装置，其中，所述元胞系数计算单元执行所述元胞中包含的像素值的平均值计算、中间值计算以及方差计算中的一种。

5.一种验证装置，用于基于图像数据和针对所述图像数据的验证信息来验证图像数据存在/不存在篡改，所述验证装置包括：

输入单元，其输入作为验证对象的所述图像数据以及针对所述图像数据的所述验证信息；

块划分单元，其将所述输入单元输入的所述图像数据划分成块，每个块由预定数量的像素表示；

第一确定单元，其通过从由所述块系数计算单元获得的所述块系数中选择构成块对的两个块系数、生成表示构成一个块对的两个块系数的大小关系的数据、并将所生成的数据与所述输入单元输入的所述验证信息中包含的第一验证数据进行比较，来确定在比较结果指示一致的情况下不存在篡改，或者在比较结果指示不一致的情况下存在篡改；以及

第二确定单元，其在所述第一确定单元已经确定存在篡改的情况下，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、生成表示构成一个元胞对的两个元胞系数的大小关系的数据、并将所生成的数据与所述输入单元输入的所述验证信息中包含的第二验证数据进行比较，来确定在比较结果指示一致的情况下在作为关注元胞对的源的块中不存在篡改，或者在比较结果指示不一致的情况下作为所述关注元胞对的源的块为篡改位置。

6.一种信息处理装置的控制方法，所述信息处理装置用于由图像数据生成要用来保证所述图像数据的完整性的验证信息，所述控制方法包括：

图像输入步骤，输入作为完整性保证对象的所述图像数据；

块划分步骤，将所述图像输入步骤中输入的所述图像数据划分成块，每个块由预定数量的像素表示；

块系数计算步骤，针对各块中包含的像素的值，执行用以获得表示所述块的特征的块系数的计算；

元胞划分步骤，将所述块划分步骤中划分的各块划分成元胞，每个元胞具有小于所述块的尺寸；

元胞系数计算步骤，针对各元胞中包含的像素的值，执行用以获得表示所述元胞的特征的元胞系数的计算；

第一验证数据生成步骤，通过从所述块系数计算步骤中获得的所述块系数中选择构成块对的两个块系数、并生成表示构成一个块对的两个块系数的大小关系的数据，来生成第一验证数据；

第二验证数据生成步骤，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成第二验证数据；以及

输出步骤，输出所述图像输入步骤中输入的作为所述完整性保证对象的所述图像数据，并输出所述第一验证数据生成步骤中获得的所述第一验证数据、以及所述第二验证数据生成步骤中获得的所述第二验证数据，作为针对作为所述完整性保证对象的所述图像数据的所述验证信息。

7.根据权利要求6所述的控制方法，其中，在所述第二验证数据生成步骤中，通过选择对应于不同块的预设位置处的两个元胞的元胞系数以决定所述元胞对、并生成表示构成一个元胞对的两个元胞系数的大小关系的数据，来生成所述第二验证数据。

8.一种验证装置的控制方法，所述验证装置用于基于图像数据和针对所述图像数据的验证信息来验证图像数据存在/不存在篡改，所述控制方法包括：

输入步骤，输入作为验证对象的所述图像数据以及针对所述图像数据的所述验证信息；

块划分步骤，将所述输入步骤中输入的所述图像数据划分成块，每个块由预定数量的像素表示；

第一确定步骤，通过从所述块系数计算步骤中获得的所述块系数中选择构成块对的两个块系数、生成表示构成一个块对的两个块系数的大小关系的数据、并将所生成的数据与所述输入步骤中输入的所述验证信息中包含的第一验证数据进行比较，来确定在比较结果指示一致的情况下不存在篡改，或者在比较结果指示不一致的情况下存在篡改；以及

第二确定步骤，在所述第一确定步骤中确定存在篡改的情况下，通过选择对应于预设位置处的两个元胞的元胞系数以决定元胞对、生成表示构成一个元胞对的两个元胞系数的大小关系的数据、并将所生成的数据与所述输入步骤中输入的所述验证信息中包含的第二验证数据进行比较，来确定在比较结果指示一致的情况下在作为关注元胞对的源的块中不存在篡改，或者在比较结果指示不一致的情况下作为关注元胞对的源的块为篡改位置。