发明内容
本发明的第1目的在于提供一种能够抑制输出图像相对于输入图像的延迟的技术。
其次,在现有技术中,即使对单调的图像—典型的是整个图像接近为单一黑色的图像—也进行电子水印嵌入。在这种情况下,嵌入的电子水印的图案容易显露出现,电子水印的解析变得容易,并且画质恶化明显。
本发明的第2目的在于提供一种能够使电子水印的解析变得困难并且抑制画质恶化的技术。
此外,在现有技术中,根据整个输入图像来计算单一的特征量,解析电子水印的嵌入。
因此,在着眼于图像的一部分的情况下,电子水印嵌入造成的像素值的变化量发生偏倚,在进行从图像中剪切一部分的操作的情况下,耐性会减弱。例如,在以图像的边缘部分为中心向自然图像加入了字幕所得的图像中嵌入电子水印的方式中,电子水印被强烈地嵌入到字幕部分中。在此情况下,如果切除字幕部分,则耐性会减弱。
本发明的第3目的在于提供一种图像内的嵌入造成的像素值的变化量的偏倚少、能够增强耐性的技术。
再者,在现有技术中,即使对运动图像中变化少的连续图像,也对每个图像变化嵌入信息来进行嵌入。
因此,画质的恶化容易理解。例如,在静止图像那样变化少的图像连续的情况下,如果对每个图像变化嵌入信息来进行嵌入,则由于图像本身几乎不变化,所以电子水印嵌入造成的变化容易被察觉,运动图像有时看起来闪烁。
本发明的第4目的在于提供一种能够抑制变化少的图像中的画质恶化的技术。
在第1发明的电子水印嵌入装置中,向视频输入信号的要嵌入电子水印的图像中嵌入电子水印,并且包括:电子水印嵌入部,向要嵌入电子水印的图像中,根据在时间轴上位于该图像以前的其他图像来嵌入电子水印。
根据该结构,由于根据时间上在前面的图像来嵌入电子水印,所以能够抑制输出图像相对于输入图像的延迟。
在第2发明的电子水印嵌入装置中,其他图像是在时间轴上位于要嵌入电子水印图像的前一个场或帧的图像。
根据该结构,由于根据离当前帧的图像最近的图像—前一个的帧图像、或离当前场的图像最近的图像—前一个的场图像来嵌入电子水印,所以能够抑制输出图像相对于输入图像的延迟,并且抑制画质恶化。
在第3发明的电子水印嵌入装置中,向视频输入信号的要嵌入电子水印的图像中选择性地嵌入电子水印,并且包括:参数计算部,计算表示图像复杂度的参数;以及电子水印嵌入部,只在参数计算部算出的参数满足表示该图像复杂的一定条件的情况下,才向要进行嵌入的图像中嵌入电子水印。
根据该结构,根据将图像复杂度数值化所得的参数,不向单调的图像中嵌入电子水印,从而能够使电子水印的解析变得困难,并且能够抑制画质恶化。
在第4发明的电子水印嵌入装置中,电子水印嵌入部向要嵌入电子水印的图像中,根据在时间轴上位于该图像以前的其他图像来嵌入电子水印。
根据该结构,能够使电子水印的解析变得困难,并且抑制画质恶化,此外,由于根据时间上在前面的图像来嵌入电子水印,所以能够抑制输出图像相对于输入图像的延迟。
在第5发明的电子水印嵌入装置中,向视频输入信号的要嵌入电子水印的图像中嵌入电子水印,并且包括:区域分割部,将要嵌入电子水印的图像分割为多个部分区域;以及电子水印嵌入部,向区域分割部分割出的多个部分区域中嵌入电子水印。
根据该结构,由于将图像分割为多个区域,向分割出的区域分别嵌入电子水印,所以能够减少图像内的嵌入造成的变化量的偏倚,提高耐性。
在第6发明的电子水印嵌入装置中,电子水印嵌入部对要嵌入电子水印的图像,根据在时间轴上位于该图像以前的其他图像的对应的部分区域,向区域分割部分割出的多个部分区域中嵌入电子水印。
根据该结构,能够消除图像内的嵌入造成的变化量的偏倚,增强耐性,此外,由于根据时间上在前面的图像来嵌入电子水印,所以能够抑制输出图像相对于输入图像的延迟。
在第7发明的电子水印嵌入装置中,向视频输入信号的要嵌入电子水印的图像中嵌入电子水印,包括:电子水印嵌入部,向要嵌入电子水印的图像中,根据从该图像或在时间轴上位于该图像以前的图像中选择的2个图像的差分来嵌入电子水印。
在该结构中,由于采用该2个图像的差分,所以能够抑制变化少的图像中的画质恶化。此外,作为该2个图像,通过选择在时间轴上位于要嵌入电子水印的图像以前的图像,能够抑制输出的延迟。
在第8发明的电子水印嵌入装置中,2个图像是要嵌入电子水印的图像、和在时间轴上位于该图像的前一个图像。
在该结构中,能够抑制变化少的图像中的画质恶化,此外,通过采用要嵌入电子水印的图像、和时间轴上该图像的前一个图像之间的差分,能够高精度地判别变化少的图像。
具体实施方式
在说明具体结构之前,首先说明本发明的重要概念。
本说明书中所说的“特征量”,是指根据由多个像素构成的一定区域(例如,整个1帧、整个1场、或者将它们分割为有限个所得的部分区域)的各像素值而运算出的值,表示该一定区域的图像的特性。
具体地说,作为该特征量,在该一定区域,有亮度值的总和、亮度分量的平均值、水平方向相邻像素的差分绝对值的总和、垂直方向相邻像素的差分绝对值的总和、或者它们中的1个或多个的组合等。作为本发明的特征量,可以采用这些特征量中的任一种特征量。
此外,本说明书中所说的“嵌入强度”,是表示上述一定区域中嵌入的电子水印的强度的指标。
电子水印的嵌入造成的画质的恶化、和电子水印的耐性(对图像实施例如图像压缩、噪声附加、模拟录像机复制等处理后,电子水印仍残留的程度)处于折衷的关系。该嵌入强度是调整画质的恶化和电子水印的耐性之间的关系的参数。
其中,有下述关系:如果增大嵌入强度的值,则嵌入了电子水印的图像的画质恶化增大,但是对图像处理的耐性提高。相反,如果减小嵌入强度的值,则能够抑制画质恶化,但是耐性会降低。
(第1实施形态)
以下,参照附图来说明本发明的第1实施形态。
图1是本发明的第1实施形态的电子水印嵌入装置的方框图。
如图1所示,该电子水印嵌入装置包括特征量计算部101、特征量保持部102、嵌入强度计算部103、嵌入强度保持部104、以及电子水印嵌入部105。
特征量计算部101根据视频输入信号来计算要嵌入电子水印的图像的特征量,算出的特征量被保持到由存储器或硬盘等构成的特征量保持部102中。
嵌入强度计算部103根据特征量保持部102中保持的特征量来计算嵌入强度,该嵌入强度被保持到嵌入强度保持部104中。
电子水印嵌入部105根据嵌入强度保持部104中保持的嵌入强度,向要嵌入电子水印的图像中嵌入电子水印。
以下,用图1及图2来说明本形态的电子水印嵌入处理的各过程。图2是图1的电子水印嵌入装置的流程图。
首先,电子水印嵌入部105以嵌入强度Q向视频输入信号的要进行嵌入的图像中嵌入给定的嵌入信息作为电子水印,输出嵌入了电子水印的视频信号(步骤201)。
这里,嵌入强度Q由嵌入强度计算部103更新,在更新前,为预先设定的初值。
此外,在本形态中,在步骤201时,在嵌入强度Q中保存有根据1帧前的图像算出的嵌入强度。
接着,特征量计算部101根据输入的视频信号来计算特征量(步骤202),特征量保持部102保持特征量计算部101算出的特征量(步骤203)。在本形态中,作为特征量,采用亮度值的总和。
接着,在步骤204中,特征量计算部101判定1帧的步骤201~步骤203的处理是否已结束,在已结束的情况下,嵌入强度计算部103根据特征量保持部102保持的特征量来计算嵌入强度(步骤205)。
在本形态中,用以1帧的亮度值的总和为变量的函数来计算嵌入强度,但是这不过是一例。此外,在步骤204中,在1帧的处理未结束的情况下,重复步骤201至步骤203的处理。
接着,在步骤206中,嵌入强度保持部104保持嵌入强度计算部103算出的强度作为嵌入强度Q。
接着,在步骤207中,电子水印嵌入部105判定视频信号输入是否已结束,在已结束的情况下结束处理,否则返回到步骤201继续进行处理。
如上所述,根据本形态的电子水印嵌入装置,用1帧前的图像的特征量来计算嵌入强度并保持。此外,用保持的1帧前的嵌入强度来进行电子水印的嵌入。
由此,能够抑制已嵌入电子水印的输出视频信号相对于输入视频信号的延迟。
其中,在本形态中,作为电子水印的嵌入所用的嵌入强度,采用了根据1帧前的图像算出的强度,但是只要是根据当前帧以前的帧算出的强度,就能够得到与上述相同的效果。不过,采用根据离当前帧最近的图像——前一个帧的图像算出的强度的方法能够抑制画质恶化。
此外,在上述说明中,采用了帧图像,但是也可以采用场图像。在此情况下,用根据当前场以前的场算出的强度也能够得到与上述相同的效果。
此外,在本形态中,作为特征量,采用了亮度值的总和,但是也可以采用亮度分量的平均值、或者水平及垂直方向相邻像素的差分绝对值的总和、或者它们多个的组合。再者,如果根据人的视觉特性进行计算并实施,则具有难以察觉画质恶化、能够增大嵌入强度的效果。总之,特征量并不限于本形态。
此外,在本形态中,在计算嵌入强度时,采用了以亮度值的总和为变量的函数,但是只要是以特征量为变量的函数即可,可以任意选择。
(第2实施形态)
以下,参照附图来说明本发明的第2实施形态。
在本形态中,与第1实施形态不同,不是向所有要进行嵌入的图像中嵌入电子水印,而是只向满足一定条件的图像(非单调的图像)选择性地嵌入电子水印。
图3是本发明的第2实施形态的电子水印嵌入装置的方框图。
如图3所示,该电子水印嵌入装置包括特征量计算部101、特征量保持部102、嵌入强度计算部103、单色参数计算部304、嵌入判定部306、以及电子水印嵌入部305。
作为参数计算部的单色参数计算部304计算表示图像复杂度的参数。
嵌入判定部306判定单色参数计算部304算出的参数是否满足表示该图像很复杂的一定条件。
电子水印嵌入部305只向该判定的结果是满足一定条件的图像中嵌入电子水印。
以下,用图3及图4来说明本形态的电子水印嵌入处理的各过程。图4是图3的电子水印嵌入装置的流程图。
首先,特征量计算部101根据视频输入信号的要进行嵌入的图像来计算特征量(步骤401),特征量保持部102保持特征量计算部101算出的特征量(步骤402)。在本形态中,作为特征量,采用水平及垂直方向相邻像素的差分绝对值的总和、以及亮度值的总和。
接着,在步骤403中,特征量计算部101判定1帧的步骤401~步骤402的处理是否已结束,在已结束的情况下,嵌入强度计算部103根据特征量保持部102保持的特征量来计算嵌入强度(步骤404)。在本形态中,用以1帧的亮度值的总和为变量的函数来计算嵌入强度。此外,在步骤403中,在1帧的处理未结束的情况下,重复步骤401至步骤403的处理。
接着,在步骤405中,单色参数计算部304根据特征量保持部102保持的特征量来计算单色参数。这里,单色参数是图像复杂度的数值化形式。在本形态中,用以1帧的水平及垂直方向相邻像素的差分绝对值的总和为变量的增函数来计算单色参数。
接着,在步骤406中,嵌入判定部306判定单色参数计算部304算出的单色参数是否在阈值以上,在阈值以上的情况下进至步骤407,否则不嵌入电子水印,返回到步骤401。
这里,随着水平及垂直方向相邻像素的差分绝对值的总和增大,图像的边缘增多,图像的复杂度增加。在本形态中,决定阈值,使得在单色参数低于阈值的情况下,图像接近单色。
接着,在步骤407中,电子水印嵌入部305以嵌入强度计算部103算出的嵌入强度,向视频输入信号的要嵌入电子水印的图像中嵌入给定的嵌入信息作为电子水印,输出嵌入了电子水印的视频信号。
接着,在步骤408中,电子水印嵌入部305判定视频信号输入是否已结束,在已结束的情况下结束处理,否则返回到步骤401继续进行处理。
如上所述,根据本形态的电子水印嵌入装置,根据图像的特征量来计算单色参数,根据单色参数,使得不向接近单色的图像嵌入电子水印。
由此,能够使电子水印的解析变得困难,并且抑制画质恶化。
其中,在本形态中,以帧图像为单位来计算单色参数,但是也可以以场图像为单位来计算单色参数。
此外,在本形态中,采用了当前帧或当前场中的嵌入判定结果,但是如果采用前面帧或前面场中的判定结果,则能得到进一步抑制嵌入了电子水印的输出视频信号相对于输入视频信号的延迟的效果。
此外,在本形态中,作为特征量,采用了亮度值的总和、以及水平及垂直方向相邻像素的差分绝对值的总和,但是也可以采用亮度分量的平均值、或者它们多个的组合。总之,特征量并不限于本形态,但是单色参数的计算所用的特征量必须是图像复杂度的数值化形式。
此外,在本形态中,在计算单色参数时,采用了以水平及垂直方向相邻像素的差分绝对值的总和为变量的增函数,但是只要是以表示图像复杂度的特征量为变量的函数即可,可以任意选择。
(第3实施形态)
以下,参照附图来说明本发明的第3实施形态。在本形态中,不是像第1、第2实施形态那样,对要进行嵌入的整个图像进行嵌入处理,而是将该图像分割为部分区域,向部分区域中嵌入电子水印。
图5是本发明的第3实施形态的电子水印嵌入装置的方框图。
如图5所示,该电子水印嵌入装置包括区域分割部504、特征量计算部501、特征量保持部502、嵌入强度计算部503、电子水印嵌入部505。
区域分割部504将要嵌入电子水印的图像分割为多个部分区域。
此外,特征量计算部501对区域分割部504分割出的多个部分区域分别计算特征量,特征量保持部502也与此相应保持各部分区域的特征量。再者,嵌入强度计算部503也对每个部分区域计算嵌入强度。
此外,电子水印嵌入部505向区域分割部504分割出的多个部分区域中分别嵌入电子水印。
以下,用图5及图6来说明本形态的电子水印嵌入处理的各过程。图6是图5的电子水印嵌入装置的流程图。
首先,区域分割部504将视频输入信号的要进行嵌入的图像(在本形态中,是帧图像)分割为多个部分区域(1个部分区域由多个像素构成)(步骤601)。在本形态中,将帧图像分割为水平方向二等分、垂直方向二等分的4个区域,但是也可以根据其他分割要领。
接着,对分割出的部分区域中的1个部分区域,特征量计算部501计算特征量(步骤602),特征量保持部502保持特征量计算部501算出的特征量(步骤603)。在本形态中,作为特征量,采用亮度值的总和。
接着,在步骤604中,特征量计算部501对该部分区域判定步骤602~步骤603的处理是否已结束,在已结束的情况下,嵌入强度计算部503根据特征量保持部502保持的该部分区域的特征量来计算嵌入强度(步骤605)。在本形态中,用以1个区域的亮度值的总和为变量的函数来计算嵌入强度。此外,在步骤604中,在1个区域的处理未结束的情况下,重复步骤602~步骤604的处理。
接着,在步骤606中,电子水印嵌入部505以嵌入强度计算部503算出的嵌入强度,向该部分区域中嵌入给定的嵌入信息作为电子水印,输出向该部分区域中嵌入了电子水印的视频信号(步骤606)。
接着,在步骤607中,特征量计算部501对1帧的所有部分区域判定步骤602~步骤606的处理是否已结束,在已结束的情况下,进至步骤608,否则,重复步骤602~步骤607的处理。
接着,在步骤608中,电子水印嵌入部503判定视频信号输入是否已结束,在已结束的情况下结束处理,否则返回到步骤601继续进行处理。
如上所述,根据本形态的电子水印嵌入装置,将输入的视频信号以帧图像为单位分割为4个区域,对分割出的区域分别计算嵌入强度。
由此,能够消除图像内的嵌入造成的变化量的偏倚,增强耐性。
其中,在本形态中,在帧图像内分割为区域,但是也可以在场图像内进行分割。
此外,在本形态中,在将帧图像分割为区域时,分割为水平方向二等分、垂直方向二等分的4个区域,但是分割数并不限于本形态。
此外,在本形态中,将当前帧分割为多个部分区域,对每个区域分别计算嵌入强度,对当前帧进行电子水印的嵌入,但是也可以采用前面帧的、位置对应的区域中的嵌入强度。这样,能够抑制时间上的延迟。
此外,在本形态中,作为特征量,采用了亮度值的总和,但是也可以采用亮度分量的平均值、水平及垂直方向相邻像素的差分绝对值的总和、或者它们多个的组合。总之,特征量并不限于本形态。
此外,在本形态中,在计算嵌入强度时,采用了以亮度值的总和为变量的函数,但是只要是以特征量为变量的函数即可,可以任意选择。
其中,在分割出的各部分区域的数目足够多(例如,8个以上等)的情况下,即使在分割出的各部分区域的一部分上,公用嵌入的电子水印的信息或强度等,或者在一部分上,省略电子水印的嵌入,在使用上也是足够的,这种情况也包含在本发明中。
(第4实施形态)
以下,参照附图来说明本发明的第4实施形态。在本形态中,向要嵌入电子水印的图像中,根据从该图像或在时间轴上位于该图像以前的图像中选择的2个图像的差分来嵌入电子水印。
作为这2个图像,最好选择当前帧的图像、和其前一个帧的图像。这是因为能够抑制变化少的图像中的画质恶化。
然而,即使将当前帧以前的图像(例如,前一个帧的图像)、和比其更前的图像作为该2个图像来选择,在实用上也是足够的,并且能够抑制时间上的延迟,即使这样,也包含在本发明中。
图7是本发明的第4实施形态的电子水印嵌入装置的方框图。
如图7所示,该电子水印嵌入装置包括特征量计算部101、特征量保持部702、嵌入强度计算部103、差分计算部704、嵌入参数变更部706、以及电子水印嵌入部705。
为了与差分对应,特征量保持部702具有保持如上所述选择的、2个图像中的特征量的差分值的区域,这2个图像中的特征量是特征量计算部101算出的。
差分计算部704计算特征量保持部702保持的、2个图像的特征量的差分值。
嵌入参数变更部706对该差分值和阈值进行大小比较,在低于阈值的情况下,变更嵌入电子水印时使用的嵌入参数。
电子水印嵌入部705向要进行嵌入的图像中,反映嵌入强度计算部103算出的嵌入强度、和嵌入参数变更部706决定的嵌入参数来嵌入电子水印。
以下,用图7及图8来说明本形态的电子水印嵌入处理的各过程。图8是图7的电子水印嵌入装置的流程图。
首先,特征量计算部101根据视频输入信号的要进行嵌入的图像来计算特征量(步骤801),特征量保持部702保持特征量计算部101算出的特征量(步骤802)。在本形态中,采用亮度值的总和。
接着,在步骤803中,特征量计算部101判定1帧的步骤801~步骤802的处理是否已结束,在已结束的情况下,嵌入强度计算部103根据特征量保持部702保持的特征量来计算嵌入强度(步骤804)。在本形态中,用将1帧的亮度值的总和作为变量的函数来计算嵌入强度。此外,在步骤803中,在1帧的处理未结束的情况下,重复步骤801~步骤803的处理。
接着,在步骤805中,差分计算部704计算特征量保持部702保持的、特征量的差分值。
接着,在步骤806中,嵌入参数变更部706判定差分值是否在阈值以下,在阈值以下的情况下,变更嵌入电子水印时使用的嵌入参数。
这里,越是活动图像,则上述差分值越大。在本形态中,决定阈值,使得在差分值在阈值以下的情况下,不能察觉前面帧和当前帧的图像的差别。此外,在本形态中,将变更的嵌入参数作为重复帧数,但是这不过是例示。
该重复帧数是相同信息被连续嵌入的帧的数目。例如,如果重复帧数为“2”,则向时间轴上连续的2个帧嵌入相同的信息。换言之,每隔2个帧嵌入不同的信息。
然后,对静止图像那样的、变化少的图像,通过增大该重复帧数(例如,“300”等),能够抑制画质恶化(闪烁感)。
这里,作为重复帧数,预先设定了普通值(小值),在步骤806中差分值在阈值以下的情况下,为了抑制画质恶化,增大重复帧数,否则,重复帧数选择普通值。
接着,在步骤807中,电子水印嵌入部705向视频输入信号的要进行嵌入的图像中,用嵌入强度计算部103算出的嵌入强度,而且根据嵌入参数变更部706决定的嵌入参数,来嵌入给定的嵌入信息作为电子水印,输出嵌入了电子水印的视频信号。
接着,在步骤808中,电子水印嵌入部705判定视频信号输入是否已结束,在已结束的情况下结束处理,否则,重复步骤801~步骤808的处理。
如上所述,根据本形态的电子水印嵌入装置,根据如上所述选择的、由2个图像算出的特征量的差分值,来变更电子水印嵌入所用的嵌入参数——重复帧数,从而能够抑制变化少的图像中的画质恶化。
例如,在将每帧不同的信息作为电子水印来嵌入的情况下,在有运动的图像×中不能察觉的画质恶化,在运动少的图像×中有时也能够察觉。在运动少的图像×的情况下,增大重复帧数,来抑制视在的画质恶化。
其中,以帧图像为单位来计算差分值,但是也可以以场图像为单位来计算差分值。
此外,也可以不采用当前帧或当前场中的嵌入参数,而采用前面帧或前面场中的嵌入参数。这样,能够抑制时间上的延迟。
此外,在本形态中,作为特征量,采用了亮度值的总和,但是也可以采用亮度分量的平均值、水平及垂直方向相邻像素的差分绝对值的总和、或者它们多个的组合。再者,在计算特征量的差分值时,特征量的组合的数目越多,则可靠性越高。总之,特征量并不限于本形态。
此外,在本形态中,在计算嵌入强度时,采用了以亮度值的总和为变量的函数,但是只要是以特征量为变量的函数即可,可以任意选择。
此外,在本形态中,通过使判断是否变更嵌入参数所用的阈值为0,能够判别完全没有运动的图像×、即静止图像×。
以上,对第1~第4实施形态进行了说明。其中,典型地,第1~第4实施形态的电子水印嵌入装置实现的各功能由保存有规定的程序数据的存储装置(ROM、RAM、硬盘等)、和执行该程序数据的CPU(中央处理单元)来实现。在此情况下,各程序数据可以经CD-ROM或软盘等记录媒体来导入,也可以一开始就被写入到ROM等中。
根据本发明,以根据时间上在前面的帧图像、或时间上在前面的场图像算出的嵌入强度,来进行电子水印的嵌入,从而能够抑制输出图像相对于输入图像的延迟。
此外,根据将图像复杂度数值化所得的参数,不向单调的图像中嵌入电子水印,从而能够使电子水印的解析变得困难,并且抑制画质恶化。
此外,将图像分割为多个区域,对分割出的区域分别计算嵌入强度,从而能够消除图像内的嵌入造成的变化量的偏倚,增强耐性。
此外,从要进行嵌入的图像或时间上在该图像以前的图像中选择2个图像,根据由该2个图像算出的差分来嵌入电子水印,从而能够抑制变化少的图像中的画质恶化。