CN103141101B - 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法 - Google Patents

动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法 Download PDF

Info

Publication number
CN103141101B
CN103141101B CN201080069302.4A CN201080069302A CN103141101B CN 103141101 B CN103141101 B CN 103141101B CN 201080069302 A CN201080069302 A CN 201080069302A CN 103141101 B CN103141101 B CN 103141101B
Authority
CN
China
Prior art keywords
coefficient
frequency
symbol
quantization
dynamic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080069302.4A
Other languages
English (en)
Other versions
CN103141101A (zh
Inventor
中川章
数井君彦
三好秀诚
小山纯平
岛田智史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN103141101A publication Critical patent/CN103141101A/zh
Application granted granted Critical
Publication of CN103141101B publication Critical patent/CN103141101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

动态图像加密装置具有:预测图像生成部,其根据动态图像数据所含的已经加密的图片或者加密对象图片的已经加密的区域,来生成针对加密对象块的预测图像;预测误差图像生成部,其通过在加密对象块与预测图像间进行差值运算来生成加密对象块的预测误差图像;预测误差正交变换部,其通过对预测误差图像进行正交变换,来算出多个第1频率系数;预测图像正交变换部,其通过对预测图像进行正交变换,来算出多个第2频率系数;符号判定部,其对多个第2频率系数的正负符号进行判定;以及适应加密部,其利用符号一致信息来对多个第1频率系数进行加密,其中,所述符号一致信息表示多个第1频率系数各自的正负符号、和对多个第2频率系数中的与第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致。

Description

动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法
技术领域
本发明涉及例如利用预测加密方式对动态图像数据进行加密的动态图像加密装置、动态图像加密方法以及动态图像加密用计算机程序。另外,本发明涉及例如对利用预测加密方式加密后的动态图像数据进行解密的动态图像解密装置、动态图像解密方法以及动态图像解密用计算机程序。
背景技术
动态图像数据一般具有非常大的数据量。因此,处理动态图像数据的装置在想要向其他装置发送动态图像数据的情况下,或者在想要将动态图像数据存储到存储装置中的情况下,通过高能率加密对动态图像数据进行压缩。“高能率加密”是将某个数据列变换成其他数据列的加密处理,是指对原始数据列的数据量进行压缩的处理。
作为代表性的动态图像的加密标准,由InternationalStandardizationOrganization/InternationalElectrotechnicalCommission(ISO/IEC)制定的MovingPictureExpertsGroupphase2(MPEG-2)、MPEG-4或者H.264MPEG-4AdvancedVideoCoding(MPEG-4AVC/H.264)被广泛利用。
在这样的加密标准中,采用了预测加密方式。在预测加密方式中,加密对象的图片被分割成多个块。而且,算出表示多个块中的加密对象块与该块的预测图像间的各个像素的误差的预测误差图像。预测误差图像被进行正交变换而求出表示各频率的分量的频率系数。而且,对该频率系数进行了量化后的量化系数被熵加密。通过进行这样的量化以及熵加密,可削减动态图像的数据量。
这里,为了在抑制由于加密而导致的动态图像数据的画质劣化的同时,尽可能削减数据量,重要之处在于恰当地决定对频率系数进行量化时所用的量化代表值。另外,关于通过对预测误差图像进行正交变换而得到的频率系数,公知具有正符号的频率系数的分布和具有负符号的频率系数的分布大致对称。而且,提出了一种对这样的中心对称的概率分布、例如拉普拉斯分布以及高斯分布恰当地设定量化代表值的技术(例如,参照非专利文献1)。
另外,还提出了一种利用Llord-Max算法,将对具有任意概率分布的码元进行量化所用的量化代表值最佳化的技术(例如,参照非专利文献2)。
非专利文献1:M.D.Paez,T.H.Glisson,“MinimumMean-Squared-ErrorQuantizationinSpeechPCMandDPCMSystems”,IEEETRANSACTIONSONCOMMUNICATIONS,1972年4月,pp.225-230
非专利文献2:MatthewI.Noah,“OptimalLloyd-MaxquantizationofLPCspeechparameters”,Acoustics,Speech,andSignalProcessing,IEEEInternationalConferenceonICASSP,1984年,pp.29-32
但是,近年来对应于对动态图像的高画质化要求的提高,动态图像数据所含的各图片的像素数增加,作为结果,动态图像数据的数据量也有增加的趋势。因此,正寻求压缩效率进一步提高的图像加密技术。
发明内容
鉴于此,本说明书提供一种能够提高动态图像数据的加密效率的动态图像加密装置、动态图像加密方法及动态图像解密装置以及动态图像解密方法。
根据一个实施方式,提供一种对动态图像数据进行加密的动态图像加密装置。该动态图像加密装置具有:预测图像生成部,其根据动态图像数据所含的已经加密的图片或者加密对象图片的已经被加密的区域,生成针对加密对象图片的加密对象块的预测图像;预测误差图像生成部,其通过在加密对象块和预测图像之间进行差值运算,来生成加密对象块的预测误差图像;预测误差正交变换部,其通过对预测误差图像进行正交变换,来算出多个第1频率系数;预测图像正交变换部,其通过对预测图像进行正交变换,来算出多个第2频率系数;符号判定部,其判定多个第2频率系数各自的正负符号;以及适应加密部,其利用符号一致信息来对多个第1频率系数进行加密,其中,所述符号一致信息表示多个第1频率系数各自的正负符号与对多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致。
另外,根据其他实施方式,提供一种对加密后的动态图像数据进行解密的动态图像解密装置。该动态图像解密装置具备:预测图像生成部,其根据加密后的动态图像数据所含的已经解密的图片或者解密对象图片的已经解密的区域,来生成针对解密对象图片的解密对象块的预测图像;预测图像正交变换部,其通过对预测图像进行正交变换,来算出多个第2频率系数;符号判定部,其判定多个第2频率系数各自的正负符号;适应解密部,其利用符号一致信息来对多个第1频率系数进行解密,其中,所述符号一致信息表示通过对解密对象块与预测图像间的预测误差图像进行正交变换而算出的多个第1频率系数各自的正负符号、和对多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致;逆变换部,其通过对多个第1频率系数进行逆正交变换,来重建预测误差图像;以及加法器,其通过对预测误差图像的各像素的值加上预测图像的对应的像素的值,来重建解密对象块。
并且,根据另一个实施方式,提供一种对动态图像数据进行加密的动态图像加密方法。该动态图像加密方法包括以下处理:根据动态图像数据所含的已经加密的图片或者加密对象图片的已经加密的区域,来生成针对加密对象图片的加密对象块的预测图像;通过在加密对象块和预测图像之间进行差值运算,来生成加密对象块的预测误差图像;通过对预测误差图像进行正交变换,来算出多个第1频率系数;通过对预测图像进行正交变换,来算出多个第2频率系数;判定多个第2频率系数各自的正负符号,利用符号一致信息来对多个第1频率系数进行加密,其中,所述符号一致信息表示多个第1频率系数各自的正负符号和对多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致。
根据再一个实施方式,提供一种对加密后的动态图像数据进行解密的动态图像解密方法。该动态图像解密方法包括以下处理:根据加密后的动态图像数据所含的已经解密的图片或者解密对象图片的已经解密的区域,来生成针对解密对象图片的解密对象块的预测图像;通过对预测图像进行正交变换,来算出多个第2频率系数;判定多个第2频率系数各自的正负符号;利用符号一致信息来对多个第1频率系数进行解密,其中,所述符号一致信息表示通过对解密对象块与预测图像间的预测误差图像进行正交变换而算出的多个第1频率系数各自的正负符号、和对多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致;通过对多个第1频率系数进行逆正交变换来重建预测误差图像;并且通过对预测误差图像的各像素的值加上预测图像的对应的像素的值,来重建解密对象块。
本发明的目的以及优点可通过技术方案中特别指出的要素以及组合来加以实现、完成。
上述的一般记述以及下述的详细记述均是例示性的,并且是说明性的,不应该理解为如权利要求那样对本发明的制限。
这里公开的动态图像加密装置、动态图像加密方法、动态图像解密装置以及动态图像解密方法能够提高动态图像数据的加密效率。
附图说明
图1是第1实施方式涉及的动态图像加密装置的概要构成图。
图2是表示针对预测图像的各频率系数判定正负符号的顺序的一例的图。
图3是表示加密对象块的功率谱和对应的预测图像的功率谱之间的关系的图。
图4表示从加密对象块的频率系数的绝对值减去了预测图像的频率系数的绝对值之后的差值的概率分布的图。
图5表示修正频率系数的概率分布和预测误差图像的频率系数的概率分布的图。
图6是频率系数适应加密部的概要构成图。
图7是表示修正频率系数的概率密度分布和量化刻度之间的关系的一例的图。
图8是表示修正频率系数的概率密度分布和量化代表值之间的关系的一例的图。
图9是表示频率系数的参照顺序和有效系数信息之间的关系的图。
图10表示与图9对应的预测图像的频率系数和符号一致预测值的图。
图11是第1实施方式涉及的动态图像加密处理的动作流程图。
图12是第1实施方式涉及的动态图像加密处理的动作流程图。
图13是对被第1实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密的第2实施方式涉及的动态图像解密装置的概要构成图。
图14是第2实施方式涉及的频率系数适应解密部的概要构成图。
图15是第2实施方式涉及的动态图像解密处理的动作流程图。
图16是第2实施方式涉及的动态图像解密处理的动作流程图。
图17是第3实施方式涉及的动态图像加密装置的概要构成图。
图18是第3实施方式涉及的频率系数适应加密部的概要构成图。
图19是第3实施方式涉及的动态图像加密处理的动作流程图。
图20是第3实施方式涉及的动态图像加密处理的动作流程图。
图21是对被第3实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密的第4实施方式涉及的动态图像解密装置的概要构成图。
图22是第4实施方式涉及的频率系数适应解密部的概要构成图。
图23是第4实施方式涉及的动态图像解密处理的动作流程图。
图24是第4实施方式涉及的动态图像解密处理的动作流程图。
图25是第5实施方式涉及的动态图像加密装置的概要构成图。
图26是第5实施方式涉及的频率系数适应加密部的概要构成图。
图27是第5实施方式涉及的动态图像加密处理的动作流程图。
图28是第5实施方式涉及的动态图像加密处理的动作流程图。
图29是对被第5实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密的第6实施方式涉及的动态图像解密装置的概要构成图。
图30是第6实施方式涉及的频率系数适应解密部的概要构成图。
图31是第6实施方式涉及的动态图像解密处理的动作流程图。
图32是第6实施方式涉及的动态图像解密处理的动作流程图。
图33是执行各实施方式涉及的动态图像加密方法或者动态图像解密方法的计算机的概要构成图。
具体实施方式
以下,参照附图来说明各实施方式涉及的动态图像加密装置以及动态图像解密装置。一般情况下,想要加密的码元的概率分布存在偏差的一方可以少的信息量来传送该码元,这由香农定律(Shannon)来表示。即,想要加密的码元的概率分布越是存在偏差,则对包含该码元的数据列的压缩效率越高。
鉴于此,发明者研究了对概率分布存在偏差的信息进行加密,来取代将针对预测误差图像求出的频率系数直接加密的技术。结果,发明者得出了如下见解:符号一致信息的概率分布中存在偏差,其中,该符号一致信息表示预测误差图像的频率系数的正负符号和表示与该频率系数所表示的频率分量相同频率分量的预测图像所对应的频率系数的正负符号的一致或不一致。
鉴于此,以下说明的动态图像加密装置不仅对预测误差图像进行正交变换,对预测图像也进行正交变换。而且,动态图像加密装置利用符号一致信息来对预测误差图像的频率系数进行加密,其中,所述符号一致信息是基于通过对预测误差图像进行正交变换而求出的频率系数和通过对预测图像进行正交变换而求出的对应的频率系数的正负符号求出的信息。
其中,以下为了对加密后的动态图像数据所含的各信息被分配得到的符号与正负符号加以区别,将正负符号称为“记号(sign)”。
其中,图片可以是帧或者域(field)中任意一种。帧是动态图像数据中的一个静态图像,另一方面,域是通过从帧仅取出奇数行数据或者偶数行数据而得到的静态图像。
另外,加密后的动态图像可以是彩色动态图像,或者也可以是单色动态图像。
图1是第1实施方式涉及的动态图像加密装置的概要构成图。动态图像加密装置1具有预测模式判定部11、内部预测(intraprediction)部12、活动补偿部13、选择器14、预测误差图像生成部15、预测误差正交变换部16、预测图像正交变换部17、符号判定部18、频率系数适应加密部19、逆变换部20、加法器21、图像存储器22以及辅助信息(sideinformation)加密部23。
动态图像加密装置1所具有的这些各部分别形成为单独的电路。或者,动态图像加密装置1所具有的这些各部也可以作为与该各部对应的电路被集成后的一个集成电路而安装于动态图像加密装置1。并且,动态图像加密装置1所具有的这些各部可以是由在动态图像加密装置1所具有的处理器上执行的计算机程序来实现的功能模块。
动态图像加密装置1以宏块(macroblock)为单位从未图示的对将要加密的动态图像数据进行存储的缓冲存储器按序读入将要加密的动态图像数据的图片的数据。而且,动态图像加密装置1将加密对象宏块转发给预测模式判定部11、活动补偿部13以及预测误差图像生成部15。
预测模式判定部11对规定针对加密对象宏块所含的各块的预测图像的生成方法的预测加密模式加以决定。因此,预测模式判定部11分别算出各预测加密模式下的宏块被加密后的数据量的评价值即开销(cost)。而且,预测模式判定部11将开销最小的预测加密模式作为对加密对象宏块应用的预测加密模式。例如,若开销最小的预测加密模式是表示进行帧间预测加密(interpredectioncoding)的帧间预测加密模式,则预测模式判定部11选择帧间预测加密模式作为预测加密模式。另一方面,如果开销最小的预测加密模式是表示进行内部预测加密(intrapredectioncoding)的内部预测加密模式,则预测模式判定部11选择内部预测加密模式作为预测加密模式。
或者,预测模式判定部11也可以根据含有加密对象宏块的加密对象图片的种类来决定预测加密模式。例如,如果加密对象图片是被内部预测加密的I图片,则预测模式判定部11选择内部预测加密模式作为预测加密模式。另外,如果加密对象图片是被帧间预测加密的B图片或者P图片,则预测模式判定部11选择帧间预测加密模式作为预测加密模式。
预测模式判定部11将选择出的预测加密模式通知给选择器14以及辅助信息加密部23。另外,如果选择出的预测加密模式是内部预测加密模式,则预测模式判定部11通知内部预测部12生成预测图像。另一方面,如果选择出的预测加密模式是帧间预测加密模式,则预测模式判定部11通知活动补偿部13生成活动被补偿后的预测图像。
内部预测部12是预测图像生成部的一例,根据由预测模式判定部11选择出的内部预测加密模式,来生成针对加密对象宏块内的各块的预测图像。此时,内部预测部12按照例如在MPEG-4AVC/H.264中规定的水平模式、DC模式或者垂直模式等,利用与已经被加密并在之后被解密了的加密对象块相邻的参照块的像素值来生成预测图像。无论在何种模式下,预测图像的各像素的值均可通过对参照块内的多个像素的值进行平均或者加权平均来算出。平均运算或者加权平均运算是低通滤波处理的一例。因此,预测图像的各像素的值是对参照块进行低通滤波而得到的值。因此,通过内部预测而生成的预测图像的高频率分量一般小于参照块的高频率分量。
内部预测部12将生成的预测图像向选择器14传递。
活动补偿部13是预测图像生成部的另一例,在加密对象宏块被帧间预测加密的情况下,利用加密对象宏块内的加密对象块和参照图片来算出活动向量。活动向量表示加密对象块和与该块最类似的参照图片之间的空间移动量。
活动补偿部13通过执行加密对象块和参照图片的块匹配,来决定与加密对象块最一致的参照图片以及该参照图片上的区域的位置。
活动补偿部13将加密对象块的图片上的位置和与该块最一致的参照图片上的区域之间的水平方向以及垂直方向的移动量作为活动向量。
活动补偿部13基于活动向量对从图像存储器22得到的参照图片中与加密对象块最一致的参照图片上的区域进行活动补偿,由此生成预测图像。其中,活动补偿是按照抵消由活动向量表示的加密对象块和与其最类似的参照图片上的区域的位置偏移量的方式,来移动该最类似的参照图片上的区域的位置的处理。
也存在与加密对象块最良好一致的参照图片上的区域间的水平方向或者垂直方向的移动量不是像素尺寸整数倍的情况。鉴于此,活动补偿部13通过针对预测图像中的关注像素,利用位于该关注像素附近的对应的参照图片的多个像素进行插补运算处理,来求出该关注像素的值。例如,在关注像素相对于参照图片上的某个像素沿水平方向偏移了1/4像素尺寸的情况下,插补运算例如可由下式表示。
[数1]
p ( x ) = ( ( r ( A ) - 5 r ( B ) + 20 r ( C ) + 20 r ( D ) - 5 r ( E ) + r ( F ) 32 ) + r ( C ) ) 2 - - - ( 1 )
在此,通过插补求出的p(x)是预测图像的关注像素x的值,r(A)~r(F)分别是位于关注像素x的周围并且在水平方向排成一列的参照图片的像素A~F的值。在该例子中,关注像素x位于像素C与像素D之间,与像素C距离1/4像素尺寸,并且与像素D距离3/4像素尺寸。
根据(1)式可知,关注像素x的值是对参照图片进行低通滤波而得到的值。因此,通过帧间预测生成的预测图像的高频率分量一般小于参照图片所对应的区域的高频率分量。
活动补偿部13将参照图片的标识符与加密对象宏块内的各块的活动向量一起传递给辅助信息加密部23。另外,活动补偿部13将加密对象宏块内的各块的预测图像传递给选择器14。
选择器14根据被预测模式判定部11通知的预测加密模式,将从内部预测部12以及活动补偿部13中的任一方接收到的预测图像向预测误差图像生成部15、预测图像正交变换部17以及加法器21输出。
预测误差图像生成部15通过执行加密对象宏块所含的各块与从选择器14接收到的和各块对应的预测图像之间的差值运算,来算出各块的预测误差图像。预测误差图像生成部15将各预测误差图像向预测误差正交变换部16输出。
预测误差正交变换部16通过对加密对象宏块内的各块的预测误差图像进行正交变换,来求出表示预测误差图像的水平方向的频率分量以及垂直方向的频率分量的多个频率系数。例如,预测误差正交变换部16通过对预测误差图像执行离散余弦变换(DiscreteCosineTransform、DCT)作为正交变换处理,来得到DCT系数的组作为多个频率系数。或者,预测误差正交变换部16也可以利用其他的正交变换处理,例如哈达码变换或者小波变换来取代离散余弦变换。
预测误差正交变换部16将针对各预测误差图像得到的多个频率系数向频率系数适应加密部19输出。
预测图像正交变换部17通过对加密对象宏块所含的各块的预测图像进行正交变换,来算出各预测图像的多个频率系数。其中,预测图像正交变换部17利用与由预测误差正交变换部16执行的正交变换相同的正交变换。
预测图像正交变换部17将各预测图像的多个频率系数向符号判定部18输出。
符号判定部18按照规定的顺序来判定加密对象宏块内的各块的预测图像的各频率系数的记号。而且,符号判定部18在预测图像的所关注的频率系数的记号为正的情况下,将“1”向频率系数适应加密部19的适应量化/逆量化部191输出,将“0”向频率系数适应加密部19的输出适应量化系数加密部192输出。
另一方面,符号判定部18在所关注的频率系数的记号为负的情况下,将“-1”向适应量化/逆量化部191输出,将“1”向适应量化系数加密部192输出。
其中,规定的顺序是与适应量化/逆量化部191以及适应量化系数加密部192对预测误差图像的各频率系数进行量化以及熵加密的顺序相同的顺序,例如可以采用由MPEG-4AVC/H.264规定的顺序。
图2是表示针对预测图像的各频率系数判定记号的顺序的一例的图。在图2所示的例子中,预测图像200具有4×4像素的尺寸。而且,在预测图像200中,例如左上端的像素的像素值是表示最低的频率分量的频率系数。而且,越是与左上端的像素接近的像素,则越表示与低的频率分量相当的频率系数。
对于预测误差图像以及预测图像,一般存在越是与低的频率分量对应的频率系数,则越为大的绝对值的趋势。相反,与右下端接近的像素、即与高频率分量对应的频率系数的绝对值为相对较小的值。结果,如果预测误差图像的频率系数被量化,则与右下端接近的像素为量化系数“0”的可能性高。而且,特定的码元连续的数据能够高效地进行加密。鉴于此,本实施方式中,符号判定部18如箭头201所示那样,从与左上端像素接近的像素开始按照顺序判定各频率系数的记号。此外,在预测图像以及预测误差图像具有其他的尺寸、例如具有8×8像素的情况下,符号判定部18也同样从与最低的频率分量对应的像素开始按照顺序判定各频率系数的记号。
频率系数适应加密部19是适应加密部的一例。而且,频率系数适应加密部19通过对预测误差图像的多个频率系数分别乘以表示与该频率系数所表示的频率分量相同的频率分量的预测图像所对应的频率系数的记号,来算出修正频率系数。该修正频率系数是符号一致信息的一例。而且,频率系数适应加密部19对修正频率系数进行量化,对通过该量化而得到的量化系数进行熵加密。
在此,针对修正频率系数的出现概率的偏差进行说明。
图3是表示加密对象图片的加密对象块的功率谱和针对加密对象块的预测图像的功率谱之间的关系的图。在该图中,横轴表示频率,纵轴表示功率谱密度。而且,曲线图300表示加密对象块的功率谱,另一方面,曲线图301表示预测图像的功率谱。
如上所述,预测图像通过对暂且被加密并之后被解密的参照图片或者参照块进行低通滤波处理而算出。因此,预测图像的高频率分量小于为了生成预测图像而利用的参照图片的区域或者参照块的高频率分量。另外,由于预测图像按照与加密对象块类似的方式被生成,所以生成预测图像所利用的参照图片的区域或者参照块与加密对象块类似的可能性也高。因此,加密对象块的高频率分量与生成预测图像所利用的参照图片的区域或者参照块的高频率分量为相同程度的可能性高。
因此,如图3所示,在各频率中,预测图像的功率谱小于加密对象块的功率谱。结果,例如与频率ωi对应的预测图像的第i个频率系数的绝对值|Coefpred(i)|小于对加密对象块直接进行正交变换而得到的第i个频率系数的绝对值|Coeforg(i)|小的可能性高。
图4是表示从加密对象块的频率系数的绝对值减去了预测误差图像的对应的频率系数的绝对值之后的差值{|Coeforg(i)|-|Coefpred(i)|}的概率分布的图。在图4中,横轴表示{|Coeforg(i)|-|Coefpred(i)|},纵轴表示概率密度。而且,曲线图400是表示针对{|Coeforg(i)|-|Coefpred(i)|}的概率密度分布的曲线图。
如上所述,在各频率中,预测图像的频率系数的绝对值|Coefpred(i)|小于加密对象块的频率系数的绝对值|Coeforg(i)|的可能性高。因此,如图4所示,{|Coeforg(i)|-|Coefpred(i)|}为正的概率高于{|Coeforg(i)|-|Coefpred(i)|}为负的概率。
在此,按照下式来定义将变量x的记号返回的函数sign(x)。
[数2]
sign ( x ) = 1 x &GreaterEqual; 0 - 1 x < 0 - - - ( 2 )
通过利用该函数sign(x),{|Coeforg(i)|-|Coefpred(i)|}可由下式表示。
[数3]
|Coeforg(i)|-|Coefpred(i)|=
sign(Coeforg(i))·Coeforg(i)-sign(Coefpred(i))·Coefpred(i)(3)
在此,通过对根据加密对象块与预测图像间之间的差值求出的预测误差图像进行正交变换而得到的频率系数成为从加密对象块的频率系数减去了预测图像的频率系数之后的值。因此,下式成立。
[数4]
Coefdiff(i)=Coeforg(i)-Coefpred(i)(4)
其中,Coefdiff(i)是与频率ωi对应的预测误差图像的第i个频率系数。
另外,由于预测图像是按照与加密对象块类似的方式生成的图像,所以加密对象块的各频率系数的符号sign(Coeforg(i))与预测图像的对应的频率系数的符号sign(Coefpred(i))相同的可能性高。
因此,通过在(3)式中利用sign(Coefpred(i))来置换sign(Coeforg(i)),并且应用(4)式可得到下式。
[数5]
sign(Coeforg(i))·Coeforg(i)-sign(Coefpred(i))·Coefpred(i)~
sign(Coefpred(i))·Coeforg(i)-Sign(Coefpred(i))·Coefpred(i)=
sign(Coefpred(i))·(Coeforg(i)-Coefpred(i))=
sign(Coefpred(i))·Coefdiff(i)(5)
因此,对预测误差图像的频率系数乘以了预测图像的对应的频率系数的记号之后的值、即修正频率系数sign(Coefpred(i))Coefdiff(i)的概率密度分布也如图4所示,成为正值的概率高于成为负值的概率。
图5是表示修正频率系数的概率分布和预测误差图像的频率系数的概率分布的图。在图5中,横轴表示频率,纵轴表示概率密度。而且,曲线图500表示修正频率系数sign(Coefpred(i))Coefdiff(i)的概率分布,另一方面,曲线图501表示预测误差图像的频率系数Coefdiff(i)的概率分布。
如上所述,修正频率系数sign(Coefpred(i))Coefdiff(i)为正的概率密度高于修正频率系数sign(Coefpred(i))Coefdiff(i)为负的概率密度。结果,修正频率系数sign(Coefpred(i))Coefdiff(i)的概率分布成为相对于频率“0”非对称的存在偏差的分布。另一方面,预测误差图像的频率系数Coefdiff(i)的概率分布是正值和负值的概率密度大致相等的分布。
因此,修正频率系数sign(Coefpred(i))Coefdiff(i)的信息量小于预测误差图像的频率系数Coefdiff(i)的信息量。鉴于此,动态图像加密装置1通过对修正频率系数sign(Coefpred(i))Coefdiff(i)进行加密,能够提高加密效率。
图6是频率系数适应加密部19的概要构成图。频率系数适应加密部19具有适应量化/逆量化部191和适应量化系数加密部192。
适应量化/逆量化部191算出加密对象宏块内的各块的预测误差图像的修正频率系数,对该修正频率系数进行量化。为此,适应量化/逆量化部191具有3个乘法器1911~1913、非线性量化部1914以及非线性逆量化部1915。
乘法器1911通过对预测误差图像的各频率系数乘以表示与由符号判定部18求出的该频率系数所表示的频率分量相同的频率分量的预测图像的对应的频率的记号,来算出各修正频率系数。因此,在预测误差图像的关注的频率系数的记号和预测图像的对应的频率系数的记号一致的情况下,与该关注的频率系数对应的修正频率系数的记号为“正”。另一方面,在关注的频率系数的记号和预测图像的对应的频率系数的记号不一致的情况下,与该关注的频率系数对应的修正频率系数的记号为“负”。
乘法器1911将针对各预测误差图像分别求出的多个修正频率系数向非线性量化部1914输出。
非线性量化部1914对修正频率系数进行量化。
图7是表示修正频率系数的概率密度分布和量化刻度之间的关系的一例的图。在图7中,横轴表示修正频率系数,纵轴表示概率密度。而且,曲线图700表示修正频率系数的概率密度分布。其中,该曲线图700与图5中的sign(Coefpred(i))Coefdiff(i)的概率分布500对应。另外,QP1、QP2分别是修正频率系数具有“正”、“负”值的情况下的量化刻度。而且,level是修正量化系数。另外,q(i)是与level(i)对应的量化代表值。在此,量化代表值是对修正频率系数进行了量化时的修正频率系数的代表值。而且,修正量化系数是对应的量化代表值的索引值。
如上所述,修正频率系数、即sign(Coefpred(i))Coefdiff(i)为正的概率密度高于sign(Coefpred(i))Coefdiff(i)为负的概率密度。结果,如曲线图700所表示那样,修正频率系数sign(Coefpred(i))Coefdiff(i)的概率分布成为相对于“0”非对称的存在偏差的分布。
关于这样的非对称并存在偏差的分布,公知通过越是出现概率高的码元,越缩短与该码元相邻的量化代表值间的间隔,使得量化误差变小。而且,在本实施方式中,如上所述,如果修正频率系数的绝对值相同,则具有“正”值的修正频率系数的出现概率高于具有“负”值的修正频率系数的出现概率。
鉴于此,非线性量化部1914使修正频率系数具有“负”值的情况的量化刻度QP2大于修正频率系数具有“正”值的情况的量化刻度QP1。由此,非线性量化部1914能够按照出现概率高的具有正值的修正频率系数被准确再现的方式进行量化,同时削减出现概率低的具有负值的修正频率系数的信息。
例如,非线性量化部1914通过按照下式对修正频率系数进行量化,来算出修正量化系数。
[数6]
Levelc(i)=sign(Coefc(i))·int(abs(Coefc(i))/QP1+0.5)Coefc(i)≥0(6)
Levelc(i)=sign(Coefc(i))·int(abs(Coefc(i))/QP2+0.5)Coefc(i)<0
在此,函数int(x)是输出x以下的最大整数的函数。另外,函数abs(x)是输出变量x的绝对值的函数。而且,Coefc(i)是第i个修正频率系数,Coefc(i)=sign(Coefpred(i))Coefdiff(i)。由此,各修正频率系数被量化成与以量化刻度间隔设定的多个频率系数代表值中最接近的代表值对应的修正量化系数。
此外,非线性量化部1914也可以取代上述函数int()内的运算,而对修正频率系数的绝对值与量化刻度的1/2相加后的值进行与量化刻度QP1或者QP2相当的向右方向的位移运算,来求出修正量化系数。例如,如果量化刻度QP1是“8”,则由于8=23,所以非线性量化部1914将修正频率系数的绝对值与量化刻度的1/2相加后的值向右方向移位3位。
其中,量化刻度QP1、QP2例如按照以下的方式事前决定,并被预先存储在非线性量化部1914所具有的存储器中。
首先,设定量化刻度的初期值QP以及常数α。QP1以及QP2可利用该QP以及α由下式表示。
[数7]
QP1=QP-α
QP2=QP+α(7)
而且,对预先准备好的文本用动态图像数据,一边使量化刻度QP变化,一边按照本实施方式对文本用动态图像数据进行加密,来求出加密率/失真(distortion)特性。其中,加密率/失真特性例如由对加密率进行了各种变更后的情况下的、将加密后的文本用动态图像数据解密了的动态图像数据的信号相对噪声比来表示。而且,选择加密率/失真特性最优良的QP的值。接下来,对文本用动态图像数据,一边使常数α发生变化,一边按照本实施方式对文本用动态图像数据进行加密,来求出加密率/失真特性。而且,选择加密率/失真特性最优良的α的值。而且,通过将选择出的QP以及α代入(7)式,来决定QP1以及QP2。
另外,非线性量化部1914也可以为了根据修正频率系数的概率密度分布使相邻的量化代表值间的间隔成为最佳间隔,而按照该间隔根据量化代表值的绝对值非线性变化的方式进行设定。该情况下,为了使量化误差最小化,与量化代表值对应的概率越高,则相邻的量化代表值间的间隔越窄。
例如,在M.D.Paez,T.H.Glisson,“MinimumMean-Squared-ErrorQuantizationinSpeechPCMandDPCMSystems”,IEEETRANSACTIONSONCOMMUNICATIONS,1972年4月,pp.225-230中,表示了概率密度分布遵照拉普拉斯分布的情况的量化代表值。遵照拉普拉斯分布的概率分布PDF(x)一般将a设为任意常数,将x设为码元的值,可利用以下的式来表示。
PDF(x)=a/2·exp|-a·x|
而且,x的值越大,则概率分布PDF(x)的值越以指数函数的方式接近0。而且,在上述文献中,表示了量化代表值的数N为2、4、8、16、32时的量化代表值。例如,量化代表值的数N为8,yi(i=1,2,3,4)分别为按顺序接近0并且正负对称的各量化代表值。该情况下,第一量化代表值为y1=±0.222,第二量化代表值为y2=±0.785,第三量化代表值为y3=±1.576,第四量化代表值为y4=±2.994。因此,各个相邻的量化代表值的间隔为y2-y1=0.563,y3-y2=0.791,y4-y3=1.418。即,可知码元的值变大,并且相对于该码元的值的概率越小,则量化代表值的间隔越大。
在本实施方式中,如果修正频率系数的绝对值相同,则具有正值的修正频率系数的出现概率高于具有负值的修正频率系数的出现概率。因此,各量化代表值被设定成如果修正频率系数的绝对值相同,则相对于相邻的二个具有负值的修正频率系数的量化代表值间的间隔比相对于相邻的二个具有正值的修正频率系数的量化代表值间的间隔大。因此,相对于修正频率系数的各量化代表值例如也可以基于针对文本用动态图像次序求出的修正频率系数的出现概率分布,按照Llord-Max法来决定。而且,各量化代表值例如被预先存储在非线性量化部1914所具有的存储器中。
该情况下,非线性量化部1914在对各修正频率系数进行量化时,求出多个量化代表值中与修正频率系数最接近的量化代表值,输出与该量化代表值对应的修正量化系数。
图8是表示修正频率系数的概率密度分布和量化代表值之间的关系的一例的图。在图8中,横轴表示修正频率系数,纵轴表示概率密度。而且,曲线图800表示修正频率系数的概率密度分布表。其中,该曲线图800与图5中的sign(Coefpred(i))Coefdiff(i)的概率分布500对应。而且,level是修正量化系数。另外,q(i)是与level(i)对应的量化代表值。
如上所述,修正频率系数、即sign(Coefpred(i))Coefdiff(i)为正的概率密度高于sign(Coefpred(i))Coefdiff(i)为负的概率密度。结果,关于绝对值相等的修正量化系数所对应的量化代表值间的间隔,具有正值的量化代表值被设定得比与具有负值的量化代表值宽。例如,与修正量化系数“-1”对应的量化代表值q(-1)和与修正量化系数“-2”对应的量化代表值q(-2)之间的间隔801宽于与修正量化系数“1”对应的量化代表值q(1)和与修正量化系数“2”对应的量化代表值q(2)之间的间隔802。
非线性量化部1914将与各修正频率系数对应的修正量化系数向非线性逆量化部1915以及乘法器1912输出。
乘法器1912通过对各修正量化系数乘以表示与该修正量化系数所表示的频率分量相同的频率分量的预测图像的对应的频率系数的记号,来算出与预测误差图像的各频率系数对应的量化系数。该记号的乘法的结果变成对与各修正量化系数对应的预测误差图像的频率系数乘以了两次预测图像的对应的频率系数的记号。因此,从乘法器1912输出的各量化系数的记号与预测误差图像的对应的频率系数的记号一致。
从乘法器1912输出的各量化系数被向适应量化系数加密部192输入。
非线性逆量化部1915通过对各修正量化系数进行逆量化,来重建各修正频率系数。在本实施方式中,非线性逆量化部1915与非线性量化部1914同样地根据修正量化系数的记号利用不同的量化刻度来进行逆量化。
例如,非线性逆量化部1915按照下式来对各修正量化系数进行逆量化。
[数8]
Q(level)=QP1·levellevel≥0
Q(level)=QP2·levellevel<0(8)
在此,level是修正量化系数。另外,QP1、QP2分别是修正量化系数的记号为“正”、“负”时的量化刻度,与非线性量化部1914所利用的量化刻度QP1、QP2相同。而且,q(level)是被重建的修正频率系数,是与修正量化系数level对应的修正频率系数的代表值。
或者,在量化代表值间的间隔被设定成根据修正频率系数的绝对值而变化的情况下,非线性逆量化部1915例如将表示修正量化系数和量化代表值之间的对应关系的参照表预先存储在内置的存储器中。而且,非线性逆量化部1915参照该参照表,来求出与修正量化系数对应的量化代表值,作为被重建的修正频率系数。
非线性逆量化部1915将重建后的各修正频率系数向乘法器1913输出。
乘法器1913通过对重建后的各修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的各频率系数。由此,对与重建后的各频率系数对应的预测误差图像的频率系数乘以了两次预测图像的对应的频率系数的记号。因此,从乘法器1913输出的重建后的各频率系数的记号与预测误差图像的对应的频率系数的记号一致。
从乘法器1913输出的重建后的各频率系数被向逆变换部20输入。
适应量化系数加密部192对从适应量化/逆量化部191接收到的加密对象宏块内的各预测误差图像的量化系数进行熵加密。为此,适应量化系数加密部192具有有效系数信息生成部1921、有效系数位置信息加密部1922、有效系数绝对值信息加密部1923、排他性逻辑和部1924以及有效系数符号信息预测加密部1925。
有效系数信息生成部1921提取加密对象宏块内的各块的预测误差图像的多个量化系数中具有“0”以外的值的量化系数即有效系数。有效系数信息生成部1921按照与符号判定部18判定预测图像的频率系数的记号顺序相同的顺序,来判定量化系数是否为“0”。而且,有效系数信息生成部1921将表示有效系数的位置的有效系数位置信息向有效系数位置信息加密部1922输出。另外,有效系数信息生成部1921将表示有效系数的绝对值的有效系数绝对值信息向有效系数绝对值信息加密部1923输出。而且,有效系数信息生成部1921将表示有效系数的记号的有效系数符号信息向排他性逻辑和部1924输出。
图9是表示量化系数的参照顺序与有效系数信息之间的关系的图。图9中的图像900是表示预测误差图像的量化系数的图像。而且,图像900的各像素的值表示量化系数。另外,图像900内所示的箭头901表示被参照的量化系数的顺序。在该例子中,具有“0”以外的值的像素被第1~5个、第7个以及第9~10个参照。
表910表示与图像900对应的有效系数位置信息、有效系数绝对值信息以及有效系数符号信息。在表900中,行911表示各有效系数的识别编号。该识别编号按照量化系数的参照顺序从最初检测出的有效系数起按顺序逐一增大。
另外,行912表示有效系数位置信息。有效系数位置信息包括含有有效系数的像素遵照参照顺序的编号,在该例子中,有效系数的识别编号从“1”开始按照顺序为1、2、3、4、5、7、9、10。
并且,行913表示有效系数绝对值信息。在该例中,由于有效系数的识别编号“1”与左上端的像素对应,所以与有效系数的识别编号“1”对应的有效系数的绝对值为“3”。同样,由于有效系数的识别编号“5”从左端以及上端分别与第2个像素对应,所以与有效系数的识别编号“1”对应的有效系数的绝对值为“1”。
并且,行914表示有效系数符号信息。在本实施方式中,有效系数符号信息在有效系数的记号为“正”的情况下,利用“0”来表示该有效系数的记号,另一方面,在有效系数的记号为“负”的情况下,利用“1”来表示该有效系数的记号。在该例中,仅第5个被参照的像素的有效系数具有负值。因此,只有与有效系数的识别编号“5”对应的有效系数符号信息为“1”,与其他的识别编号对应的有效系数符号信息为“0”。
有效系数位置信息加密部1922对有效系数位置信息进行熵加密。鉴于此,有效系数位置信息加密部1922利用越是对应的频率低的量化系数则成为有效系数的频度越高的性质来分配最佳熵符号。例如,有效系数位置信息加密部1922利用霍夫曼加密方式或者ContextAdaptiveBinaryArithmeticCoding(CABAC)这一算术加密方式等熵加密方式来对有效系数位置信息进行熵加密。
有效系数位置信息加密部1922将熵加密后的有效系数位置信息向未图示的合并部输出。
有效系数绝对值信息加密部1923对有效系数绝对值信息进行熵加密。鉴于此,有效系数绝对值信息加密部1923利用越是对应的频率低的量化系数则成为大的值的概率越高,相反越是对应的频率高的量化系数则成为小的值的概率越低的性质,来分配最佳的熵符号。例如,有效系数绝对值信息加密部1923利用霍夫曼加密方式或者CABAC等算术加密方式等熵加密方式来对有效系数绝对值信息进行熵加密。
有效系数绝对值信息加密部1923将熵加密后的有效系数绝对值信息向未图示的合并部输出。
排他性逻辑和部1924从符号判定部18接收表示对有效系数所表示的频率分量相同的频率分量进行表示的预测图像的对应的频率系数的记号的值。而且,排他性逻辑和部1924通过在表示有效系数的记号的有效系数符号信息的值和表示预测图像的对应的频率系数的记号的值之间执行排他性逻辑和运算,来求出符号一致预测值。该符号一致预测值是符号一致信息的一例。
在本实施方式中,在有效系数的记号为“正”的情况下,有效系数符号信息所表示的值为“0”,在有效系数的记号为“负”的情况下,有效系数符号信息所表示的值为“1”。另一方面,在预测图像的频率系数的记号为“正”的情况下,从符号判定部18接收的值为“0”,在预测图像的频率系数的记号为“负”的情况下,从符号判定部18接收的值为“1”。因此,在有效系数的记号与预测图像的对应的频率系数的记号一致的情况下,符号一致预测值为“0”,另一方面,在有效系数的记号与预测图像的对应的频率系数的记号不一致的情况下,符号一致预测值为“1”。
排他性逻辑和部1924将包含与各有效系数对应的符号一致预测值的符号一致预测信息向有效系数符号信息预测加密部1925输出。
有效系数符号信息预测加密部1925对符号一致预测信息进行熵加密。在此,符号一致预测信息所含的符号一致预测值如上所述,在有效系数、即具有不为“0”的值的量化系数的记号和预测图像的对应的频率系数的记号一致的情况下为“0”值。而且,量化系数的记号与预测图像的对应的频率系数的记号一致的概率高于它们的记号不一致的概率。因此,符号一致预测值为“0”的概率也高于符号一致预测值为“1”的概率。
图10是表示与图9对应的预测图像的频率系数和符号一致预测值的图。在图10中,图像1000是与表示图9所示的预测误差图像的频率系数的图像对应的、表示预测图像的频率系数的图像。另外,图10所示的表1010是在图9所示的表900中添加了与有效系数对应的预测图像的频率系数以及其记号和符号一致预测值后的表。
在表1010中,行1011~1014分别表示各有效系数的识别编号、有效系数位置信息、有效系数绝对值信息以及有效系数符号信息。另外,行1015表示与有效系数对应的预测图像的频率系数的值。在该例中,由于与最初被参照的有效系数对应的图像1000的左上端的像素值为“227.25”,所以与有效系数的识别编号“1”对应的行1015栏中的值也为“227.25”。
另外,行1016表示与有效系数对应的预测图像的频率系数的记号的值、即有效系数符号信息的预测值。在本实施方式中,该有效系数符号信息的预测值是从加密判定部18接收到的值。因此,在频率系数的记号为“正”的情况下其值为“0”,在频率系数的记号为“负”的情况下其值为“1”。在该例中,第2、5、9个被参照的像素的频率系数具有“负”值,与有效系数对应的其他像素的频率系数具有“正”值。因此,与有效系数的识别编号“2”、“5”以及“7”对应的预测图像的频率系数的记号的值为“1”,与其他识别编号对应的预测图像的频率系数的记号的值为“0”。
而且,行1017表示符号一致预测值。在该例中,由于与识别编号“2”和“7”对应的有效系数的记号和预测图像的频率系数的记号一致,所以识别编号“2”和“7”的符号一致预测值为“1”。
这样,符号一致预测值的出现频度中存在与值对应的偏差。鉴于此,有效系数符号信息预测加密部1925利用与其偏差程度对应的最佳熵符号来对符号一致预测信息所含的多个符号一致预测值进行熵加密。例如,有效系数符号信息预测加密部1925利用CABAC等算术加密方式来对符号一致预测信息进行熵加密。或者,有效系数符号信息预测加密部1925也可以按照对多个符号一致预测值分配熵符号的方式来应用其他的熵加密方式。由此,有效系数符号信息预测加密部1925能够对一个有效系数的记号利用小于1位的信息量进行加密。
与此相对,由于预测误差图像的各频率系数的值为“正”的概率和为“负”的概率大致相等,所以在现有技术中,需要对一个有效系数的记号分配1位。因此,本实施方式涉及的动态图像加密装置1与现有技术相比,能够以较少的信息量来对与有效系数的记号相关的信息进行加密。
此外,有效系数符号信息预测加密部1925也可以按各个频率系数来使应用的加密方式或者分配的符号最佳化。如图2所示,预测图像的功率谱与加密对象块的功率谱之比一般根据频率而不同。而且,其功率谱之比越接近“1”,则预测图像的频率系数的概率密度分布越接近于加密对象块的频率系数的概率密度分布。结果,预测误差图像的频率系数的记号与预测图像的对应的频率系数的记号一致的概率也变高。而且,预测误差图像的频率系数的记号和预测图像的对应的频率系数的记号一致的概率越高,则符号一致预测值的分布的偏差也越大。
鉴于此,例如基于预先准备好的文本用动态图像数据,按各个频率系数来求出符号一致预测值的分布,根据该分布来预先决定针对各预测值的适当的熵符号。而且,按各个频率系数,或者按上述功率谱之比大致一致的频率系数的组,将与符号一致预测值的分布对应的熵符号存储到有效系数符号信息预测加密部1925所具有的存储器中。而且,有效系数符号信息预测加密部1925根据频率系数来切换所应用的熵符号。
或者,在有效系数符号信息预测加密部1925利用CABAC那样的适应型算术加密方式的情况下,也可以按各个频率系数单独地调查符号一致预测值的出现概率,由此决定按各个频率系数对符号一致预测值分配的熵符号。
另外,有效系数符号信息预测加密部1925也可以根据预测图像的像素值的方差,来使所应用的加密方式或者分配的符号最佳化。在预测图像的像素值的方差大的情况下,预测图像内含有较多的高频率分量。在这样的情况下,即使加密对象块中映现的像相对于预测图像中映现的像稍微发生形变,在加密对象块与预测图像之间不一致的像素也变多。因此,预测误差图像的频率系数的记号与预测图像的对应的频率系数的记号也一致的概率变低。结果,符号一致预测值的偏差程度变小。
另一方面,在预测图像的像素值的方差小的情况下,预测图像内所含的高频率分量少。在这样的情况下,即使加密对象块中映现的像相对于预测图像中映现的像发生形变,在加密对象块与预测图像之间不一致的像素也变少。因此,预测误差图像的频率系数的记号与预测图像的对应的频率系数的记号也一致的概率变高。结果,符号一致预测值的偏差程度变大。
鉴于此,例如基于预先准备好的文本用动态图像数据,按各个预测图像的像素值的方差来求出符号一致预测值的分布,由此根据该分布来预先决定针对各预测值的适当熵符号。而且,按各个方差,将对符号一致预测值分配的熵符号存储到有效系数符号信息预测加密部1925所具有的存储器中。
有效系数符号信息预测加密部1925从选择器14接收预测图像来求出预测图像的方差,根据其方差来切换所应用的熵符号。或者,在有效系数符号信息预测加密部1925利用CABAC那样的适应型算术加密方式的情况下,按各个方差单独地调查符号一致预测值的出现概率,由此决定按各个方差对符号一致预测值分配的熵符号。
有效系数符号信息预测加密部1925将熵加密后的符号一致预测信息向未图示的合并部输出。
另外,根据实施方式,针对修正量化系数的量化代表值根据其出现概率而被最佳化,即按照出现概率越高,则相邻的量化代表值间的间隔就越狭窄的方式来设定量化代表值。该情况下,在频率系数适应加密部19的另一例中,也可以将与量化代表值的出现概率对应的熵符号分配给与该量化代表值对应的量化系数。
该情况下,各量化代表值的出现概率例如基于对文本用动态图像次序求出的修正频率系数的出现概率分布,通过Llord-Max法来决定。这样的熵符号例如可以采用霍夫曼符号或者算术符号。由此,例如在应用霍夫曼符号的情况下,越是与出现概率高的量化代表值对应的量化系数,则分配符号长度越短的熵符号。另外,在应用算术符号的情况下,根据量化代表值的出现概率而对与该量化代表值对应的量化系数分配的熵符号也被最佳化。结果,频率系数适应加密部19能够更加高效地对量化系数进行加密。
逆变换部20对从频率系数适应加密部19接收到的各预测误差图像被重建后的多个频率系数进行逆正交变换。例如,在预测误差正交变换部16中进行DCT处理的情况下,逆变换部20执行逆DCT处理。通过对重建频率系数的组执行逆正交变换处理,来重建具有与加密前的预测误差图像相同程度的信息的预测误差图像。
而且,逆变换部20将重建后的预测误差图像向加法器21输出。
加法器21通过对从选择器14接收到的预测图像的各像素的值加上从逆变换部20接收到的预测误差图像的对应的像素的值,来重建与该预测图像以及预测误差图像对应的块。加法器21分别重建加密对象块内的各块,按照规定的加密顺序将它们结合,由此来重建加密对象宏块。加法器21将重建后的宏块作为参照块向内部预测部12供给。
并且,加法器21通过按照规定的加密顺序将重建后的加密对象宏块结合来生成参照图片,该参照图片被利用于对之后被加密的图片生成预测图像。
加法器21将得到的参照图片存储到图像存储器22中。
图像存储器22例如具有半导体存储器。而且,图像存储器22临时存储从加法器21接收到的参照图片。而且,图像存储器22对内部预测部12、活动补偿部13以及预测模式判定部11供给该参照图片。其中,图像存储器22存储预先规定的规定张数的参照图片,如果参照图片的张数超过该规定张数,则从加密顺序旧的参照图片开始按顺序进行废弃。
辅助信息加密部23利用例如霍夫曼符号或者CABAC来对各个加密对象宏块的预测加密模式、活动补偿向量等辅助信息进行熵加密。而且,辅助信息加密部23将熵加密后的辅助信息向未图示的合并部输出。
合并部将从频率系数适应加密部19接收到的熵加密后的有效系数位置信息、有效系数绝对值信息以及符号一致预测信息、和从辅助信息加密部23接收到的熵加密后的辅助信息按照规定的格式保存到一个数据流中。而且,合并部将该数据流存储到具有磁存储介质、光存储介质或者半导体存储器等存储部(未图示),或者将该数据流向其他设备输出。其中,规定的格式例如可以采用在MPEG-2中规定的数据格式。
图11以及图12是第1实施方式涉及的动态图像加密处理的动作流程图。其中,动态图像加密装置1按照被预测加密的各个加密对象宏块来执行该动态图像加密处理。需要说明的是,动态图像加密装置1在加密对象宏块未被预测加密的情况下,例如按照在MPEG-4AVC/H.264中规定的内部预测加密方式来对该加密对象宏块进行加密。
预测模式判定部11基于加密对象宏块以及图像存储器22中存储的参照图片来决定预测加密模式(步骤S101)。
动态图像加密装置1根据预测加密模式,生成加密对象宏块内的各块的预测图像(步骤S102)。具体而言,在预测加密模式是内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式是帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测误差图像生成部15、预测图像正交变换部17以及加法器21输出。
另外,预测误差图像生成部15根据加密对象宏块内的块与预测图像间的差值来生成预测误差图像(步骤S103)。而且,预测误差图像生成部15将预测误差图像向预测误差正交变换部16输出。然后,预测误差正交变换部16通过对预测误差图像进行正交变换来算出预测误差图像的多个频率系数(步骤S104)。而且,预测误差正交变换部16将预测误差图像的多个频率系数向频率系数适应加密部19输出。
另一方面,预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的多个频率系数(步骤S105)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S106)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应加密部19的适应量化/逆量化部191以及适应量化系数加密部192分别输出。
适应量化/逆量化部191的乘法器1911对预测误差图像的各频率系数乘以预测图像的对应的频率的记号,来算出各修正频率系数(步骤S107)。而且,乘法器1911将各修正频率系数向适应量化/逆量化部191的非线性量化部1914输出。
非线性量化部1914针对各修正频率系数,求出被规定成针对负修正频率系数的相邻量化代表值间的间隔比针对正修正频率系数的相邻量化代表值间的间隔大的量化代表值中最接近的量化代表值。然后,非线性量化部1914求出与量化代表值对应的修正量化系数(步骤S108)。从非线性量化部1914输出的修正量化系数被向适应量化/逆量化部191的非线性逆量化部1915输入。另外,为了与预测误差图像的对应的频率的记号一致,从非线性量化部1914输出的修正量化系数被乘法器1912乘以预测图像的对应的频率的记号,由此算出各量化系数。然后,各量化系数被输入给适应量化系数加密部192。
如图12所示,适应量化系数加密部192的有效系数信息生成部1921提取出各量化系数中与具有不为0的绝对值的有效系数的位置、绝对值以及记号有关的信息(步骤S109)。而且,有效系数信息生成部1921将有效系数的位置信息向适应量化系数加密部192的有效系数位置信息加密部1922输出。另外,有效系数信息生成部1921将有效系数的绝对值信息向适应量化系数加密部192的有效系数绝对值信息加密部1923输出。而且,有效系数信息生成部1921将有效系数的符号信息向适应量化系数加密部192的排他性逻辑和部1924输出。
有效系数位置信息加密部1922对有效系数的位置信息进行熵加密。另外,有效系数绝对值信息加密部1923对有效系数的绝对值进行熵加密(步骤S110)。有效系数位置信息加密部1922以及有效系数绝对值信息加密部1923分别将熵加密后的有效系数的位置信息以及有效系数的绝对值信息向未图示的合并部输出。
另一方面,排他性逻辑和部1924在表示各有效系数的记号的值和表示预测图像的对应的频率的记号的值之间执行排他性逻辑和运算。而且,排他性逻辑和部1924算出表示各有效系数的记号与预测图像的对应的频率的记号是否一致的符号一致预测信息(步骤S111)。排他性逻辑和部1924将符号一致预测信息向有效系数符号信息预测加密部1925输出。
有效系数符号信息预测加密部1925对符号一致预测信息进行熵加密(步骤S112)。而且,有效系数符号信息预测加密部1925将熵加密后的符号一致预测信息向合并部输出。
另外,辅助信息加密部23对活动向量等辅助信息进行加密(步骤S113)。而且,辅助信息加密部23将加密后的辅助信息向合并部输出。
另外,动态图像加密装置1生成对之后的宏块或者图片进行加密所利用的参照图片或者参照块。为此,频率系数适应加密部19的非线性逆量化部1915对各修正量化系数进行逆量化来重建各修正频率系数。然后,重建后的各修正频率系数被乘法器1913乘以预测图像的对应的频率的记号,由此重建预测误差图像的多个频率系数(步骤S114)。随后,重建后的预测误差图像的多个频率系数被输入给逆变换部20。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换来重建预测误差图像(步骤S115)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值,来重建加密对象宏块内的与该预测图像以及预测误差图像对应的块(步骤S116)。而且,加法器21通过按照规定的顺序将重建后的块结合,来重建加密对象宏块。并且,加法器21通过按照规定的加密顺序依次将重建后的加密对象宏块结合,来生成参照图片。而且,加法器21将参照图片存储到图像存储器22中。
其中,针对加密对象宏块内的各块执行步骤S102~S116的处理。
然后,动态图像加密装置1结束动态图像加密处理。此外,动态图像加密装置1也可以将步骤S104的处理和S105的处理顺序互换。另外,动态图像加密装置1也可以将步骤S110的处理和S111以及S112的处理顺序互换。并且,动态图像加密装置1也可以将步骤S114~S116的处理和步骤S109~S113的处理顺序互换。
另外,动态图像加密装置1也可以取代步骤S109~S112的处理,而执行通过对各量化系数分配与各量化系数所对应的量化代表值的出现概率对应的熵符号,来对各量化系数执行熵加密的处理。
如以上说明那样,第1实施方式涉及的动态图像加密装置算出信息量比加密对象宏块内的各预测误差图像的频率系数少的修正频率系数,对该修正频率系数进行量化。另外,该动态图像加密装置能够根据该量化代表值的出现概率来适当地设定针对修正频率系数的量化代表值。因此,由于该动态图像加密装置能够削减为了对各预测误差图像的频率系数进行加密所需要的信息量,所以可提高各预测误差图像的频率系数的加密效率。并且,由于该动态图像加密装置能够根据与量化系数对应的量化代表值的出现概率来对该量化系数进行熵加密,或者对有效系数的符号一致预测信息进行熵加密,所以能够进一步提高加密效率。
下面,对第2实施方式涉及的动态图像解密装置进行说明。该第2实施方式涉及的动态图像解密装置对被第1实施方式涉及的动态图像加密装置加密后的动态图像数据进行再生。
图13是表示第2实施方式涉及的动态图像解密装置的概要构成图。如图13所示,动态图像解密装置2具有:频率系数适应解密部24、内部预测部12、活动补偿部13、选择器14、预测图像正交变换部17、符号判定部18、逆变换部20、加法器21以及图像存储器22。
动态图像解密装置2所具有的这些各部分别作为单独的电路而形成。或者,动态图像解密装置2所具有的这些各部也可以作为与该各部对应的电路被集成后的一个集成电路而安装到动态图像解密装置2。并且,动态图像解密装置2所具有的这些各部也可以是由在动态图像解密装置2所具有的处理器上执行的计算机程序实现的功能模块。
另外,在图13中,对动态图像解密装置2的各部标注了与图1所示的动态图像加密装置1的对应的各部的参照编号相同的参照编号。
动态图像解密装置2的内部预测部12、活动补偿部13、选择器14、预测图像正交变换部17、符号判定部18、逆变换部20、加法器21以及图像存储器22分别具有与动态图像加密装置1的对应的构成要素相同的构成以及功能。因此,关于内部预测部12、活动补偿部13、选择器14、预测图像正交变换部17、符号判定部18、逆变换部20、加法器21以及图像存储器22的详细内容,请参照动态图像加密装置1的关联部分的说明。
动态图像解密装置2例如经由通信网络以及用于将动态图像解密装置2与通信网络连接的接口电路(未图示),来取得包含被加密后的动态图像数据的数据流。而且,动态图像解密装置2将从该数据流取出的加密后的动态图像数据存储到未图示的缓冲存储器中。动态图像解密装置2按规定的单位、例如各个宏块或者各个图片,从缓冲存储器读出加密后的动态图像数据,并将该读出的数据向频率系数适应解密部24输入。
频率系数适应解密部24对熵加密后的活动向量等辅助信息进行解密。而且,频率系数适应解密部24将各宏块中被帧间预测加密后的宏块的活动参数向活动补偿部13输出。另外,频率系数适应解密部24将各宏块中表示被内部预测加密后的宏块的内部预测加密模式的信息向内部预测部12输出。并且,频率系数适应解密部24将解密对象宏块的预测加密模式向选择器14输出。而且,在解密对象宏块正被内部预测加密的情况下,内部预测部12根据已被解密的参照块来生成预测图像。另一方面,在解密对象宏块正被帧间预测加密的情况下,活动补偿部13基于已被解密的参照图片来生成预测图像。由内部预测部12或者活动补偿部13生成的预测图像被输入给选择器14,选择器14将该预测图像向预测图像正交变换部17以及加法器21输出。
另外,频率系数适应解密部24是适应解密部的一例,根据加密后的动态图像数据,来重建解密对象宏块所含的各块的预测误差图像的多个频率系数。
图14是与预测误差图像的多个频率系数的重建相关的频率系数适应解密部24的概要构成图。
频率系数适应解密部24具有适应量化系数解密部241和适应逆量化部242。
适应量化系数解密部241通过对被熵加密的有效系数位置信息、有效系数绝对值信息以及符号一致预测信息进行解密,来重建量化系数。为此,适应量化系数解密部241具有:有效系数位置信息解密部2411、有效系数绝对值信息解密部2412、有效系数符号信息预测解密部2413,排他性逻辑和部2414以及有效系数信息重建部2415。
有效系数位置信息解密部2411按照由动态图像加密装置1的有效系数位置信息加密部1922利用的熵加密方式,来对被熵加密的有效系数位置信息进行解密。而且,有效系数位置信息解密部2411将解密后的有效系数位置信息向有效系数信息重建部2415输出。
另外,有效系数绝对值信息解密部2412按照由动态图像加密装置1的有效系数绝对值信息加密部1923利用的熵加密方式,对被熵加密的有效系数绝对值信息进行解密。而且,有效系数绝对值信息解密部2412将解密后的有效系数绝对值信息向有效系数信息重建部2415输出。
有效系数符号信息预测解密部2413按照由动态图像加密装置1的有效系数符号信息预测加密部1925利用的熵加密方式,对被熵加密的符号一致预测信息进行解密。而且,有效系数符号信息预测解密部2413将解密后的符号一致预测信息向排他性逻辑和部2414输出。
排他性逻辑和部2414从符号判定部18接收表示对与各有效系数所表示的频率分量相同的频率分量进行表示的预测图像的频率系数的记号的值。其中,表示该记号的值例如是与第1实施方式涉及的动态图像加密装置1的排他性逻辑和部1924所接收的值相同的值。
排他性逻辑和部2414进行从有效系数符号信息预测解密部2413接收到的符号一致预测信息所含的各有效系数的符号一致预测值、与表示和该有效系数对应的预测图像的频率系数的记号的值之间的排他性逻辑和运算。其中,符号一致预测值是有效系数的符号信息所表示的值和预测图像的对应的频率系数之间的排他性逻辑和。因此,通过求出符号一致预测值和预测图像的对应的频率系数之间的排他性逻辑和,来对各有效系数的符号信息进行解密。
排他性逻辑和部2414将各有效系数的符号信息向有效系数信息重建部2415输出。
有效系数信息重建部2415通过组合各有效系数的绝对值信息以及符号信息来重建各有效系数。而且,有效系数信息重建部2415按照有效系数的位置信息来对有效系数进行排列,在有效系数以外的部位插入“0”值,由此来重建预测误差图像的多个量化系数。
有效系数信息重建部2415将重建后的预测误差图像的多个量化系数向适应逆量化部242输出。
另外,在按照与量化代表值的出现概率对应的熵符号被分配给各量化系数的方式各量化系数被熵加密的情况下,频率系数适应解密部24按照所应用的熵加密方式来对各量化系数进行解密。
而且,频率系数适应解密部24将重建后的各量化系数向适应逆量化部242输出。
适应逆量化部242基于预测误差图像的多个量化系数,来重建预测误差图像的多个频率系数。为此,适应逆量化部242具有乘法器2421、2422以及非线性逆量化部2423。
乘法器2421通过对预测误差图像的各量化系数乘以表示与该量化系数所表示的频率分量相同的频率分量的预测图像的对应的频率系数的记号,来重建修正量化系数。而且,乘法器2421将修正量化系数向非线性逆量化部2423输出。
非线性逆量化部2423与动态图像加密装置1的非线性逆量化部1915同样地通过对各修正量化系数进行逆量化,来重建修正频率系数。在本实施方式中,非线性逆量化部2423利用被动态图像加密装置1的非线性量化部1914利用的、根据修正量化系数的记号而不同的量化刻度来进行逆量化。例如,非线性逆量化部2423按照(8)式来对各修正量化系数进行逆量化。
或者,在量化代表值间的间隔被设定成根据修正频率系数的绝对值而变化的情况下,非线性逆量化部2423例如将表示修正量化系数和量化代表值之间的对应关系的参照表预先存储到内置的存储器中。而且,非线性逆量化部2423参照该参照表,来求出与修正量化系数对应的量化代表值,作为被重建的修正频率系数。
非线性逆量化部2423将重建后的各修正频率系数向乘法器2422输出。
乘法器2422通过对重建后的各修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的多个频率系数。由此,对重建后的各量化系数乘以了两次预测图像的对应的频率系数的记号。因此,从乘法器2422输出的被重建后的各频率系数的记号与预测误差图像的对应的频率系数的记号一致。
从乘法器2422输出的重建后的各频率系数被输入到逆变换部20。
其中,通过重建后的各频率系数与动态图像加密装置1同样地被逆变换部20逆正交变换,来重建预测误差图像。而且,加法器21通过对该预测误差图像的各像素的值加上对应的预测图像的像素的值,来重建解密对象块。
动态图像解密装置2通过按每张图片将重建后的宏块按照其加密顺序结合,来重建图片。而且,动态图像解密装置2按时间顺序配置图片,来重建动态图像数据。动态图像解密装置2输出重建后的动态图像数据。输出的动态图像数据例如被存储到未图示的存储装置中。另外,输出的动态图像数据被显示到与动态图像解密装置2连接的未图示的显示装置。
图15以及图16是第2实施方式涉及的动态图像解密处理的动作流程图。动态图像解密装置2按每个解密对象宏块来执行该动态图像解密处理。
频率系数适应解密部24对被熵加密后的活动向量等辅助信息进行解密(步骤S201)。而且,频率系数适应解密部24对内部预测部12、活动补偿部13以及选择器14输出辅助信息所含的信息中被这些各部使用的预测加密模式、活动向量等信息。而且,动态图像解密装置2根据预测加密模式,生成解密对象宏块内的各块的预测图像(步骤S202)。具体而言,在预测加密模式是内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式是帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测图像正交变换部17以及加法器21输出。
预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的多个频率系数(步骤S203)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S204)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应解密部24的适应量化系数解密部241以及适应逆量化部242分别输出。
适应量化系数解密部241的有效系数位置信息解密部2411对有效系数的位置信息进行熵解密。另外,适应量化系数解密部241的有效系数绝对值信息解密部2412对有效系数的绝对值进行熵解密(步骤S205)。有效系数位置信息解密部2411以及有效系数绝对值信息解密部2412分别将解密后的有效系数的位置信息以及有效系数的绝对值信息向适应量化系数解密部241的有效系数信息重建部2415输出。
另外,适应量化系数解密部241的有效系数符号信息预测解密部2413对符号一致预测信息进行熵解密(步骤S206)。而且,有效系数符号信息预测解密部2413将解密后的符号一致预测信息向适应量化系数解密部241的排他性逻辑和部2414输出。然后,排他性逻辑和部2414通过求出符号一致预测信息所含的各符号一致预测值和表示预测图像的对应的频率的记号的值之间的排他性逻辑和,来重建有效系数的符号信息(步骤S207)。排他性逻辑和部2414将有效系数的符号信息向有效系数信息重建部2415输出。
有效系数信息重建部2415基于有效系数的位置信息、绝对值信息以及符号信息来重建预测误差图像的多个量化系数(步骤S208)。而且,有效系数信息重建部2415将重建后的预测误差图像的多个量化系数向适应逆量化部242输出。
如图16所示,适应逆量化部242的乘法器2421通过对预测误差图像的各量化系数乘以预测图像的对应的频率系数的记号,来重建修正量化系数(步骤S209)。而且,乘法器2421将修正量化系数向适应逆量化部242的非线性逆量化部2423输出。
非线性逆量化部2423通过求出被规定成相邻的量化代表值间的间隔以正值和负值而不同的量化代表值中、与修正量化系数对应的量化代表值,来对各修正量化系数进行逆量化。由此,非线性逆量化部2423重建各修正频率系数(步骤S210)。而且,非线性逆量化部2423将重建后的各修正频率系数向适应逆量化部242的乘法器2422输出。
乘法器2422通过对重建后的各修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的多个频率系数(步骤S211)。从乘法器2422输出的重建后的各频率系数被输入给逆变换部20。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换来重建预测误差图像(步骤S212)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值来重建解密对象块(步骤S213)。而且,加法器21通过按照规定的顺序将重建后的解密对象块结合,来重建解密对象宏块。并且,加法器21通过按照规定的加密顺序依次将重建后的解密对象宏块结合,来重建图片。而且,加法器21输出重建后的图片,并且将该重建后的图片作为参照图片存储在图像存储器22中。
其中,针对解密对象宏块内的各块执行步骤S202~S213的处理。
然后,动态图像解密装置2结束动态图像解密处理。此外,动态图像解密装置2也可以将步骤S205的处理和步骤S206以及S207的处理顺序互换。
另外,如针对动态图像加密装置1说明那样,也可以按照与修正量化系数的量化代表值的出现概率对应的熵符号被分配给各量化系数的方式,对各量化系数进行熵加密。该情况下,动态图像解密装置2也可以取代步骤S204~S208的处理,而按照所应用的熵加密方式来对各量化系数进行解密。
如以上说明那样,第2实施方式涉及的动态图像解密装置能够对被第1实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密。
下面,对第3实施方式涉及的动态图像加密装置进行说明。在第3实施方式涉及的动态图像加密装置中,有效系数的符号信息与第1实施方式同样地对表示有效系数的记号和预测图像的对应的频率的记号是否一致的符号一致预测信息进行熵加密。其中,该动态图像加密装置与现有技术同样地对预测误差图像的各频率系数进行量化。
图17是第3实施方式涉及的动态图像加密装置的概要构成图。动态图像加密装置3具有预测模式判定部11、内部预测部12、活动补偿部13、选择器14、预测误差图像生成部15、预测误差正交变换部16、预测图像正交变换部17、符号判定部18、频率系数适应加密部31、逆变换部20、加法器21、图像存储器22以及辅助信息加密部23。
动态图像加密装置3所具有的这些各部分别作为单独的电路而形成。或者,动态图像加密装置3所具有的这些各部也可以作为与该各部对应的电路被集成后的一个集成电路而安装到动态图像加密装置3中。并且,动态图像加密装置3所具有的这些各部也可以是由在动态图像加密装置3所具有的处理器上执行的计算机程序实现的功能模块。
另外,在图17中,对动态图像加密装置3的各部标注了与图1所示的动态图像加密装置1的对应的各部的参照编号相同的参照编号。
第3实施方式涉及的动态图像加密装置3与第1实施方式涉及的动态图像加密装置1相比,仅频率系数适应加密部31不同。因此,以下对频率系数适应加密部31进行说明。关于动态图像加密装置3的其他各部的详细内容,请参照动态图像加密装置1的关联部分的说明。
图18是第3实施方式涉及的频率系数适应加密部31的概要构成图。频率系数适应加密部31是适应加密部的一例,具有量化部311、逆量化部312以及适应量化系数加密部192。
量化部311分别对加密对象宏块内的各块的预测误差图像的多个频率系数进行量化。该情况下,如上所述,频率系数的正值的出现概率和频率系数的负值的出现概率大致相等。鉴于此,量化部311利用与频率系数的符号无关地决定的量化代表值,对各频率系数进行量化。量化代表值例如按照M.D.Paez,T.H.Glisson,“MinimumMean-Squared-ErrorQuantizationinSpeechPCMandDPCMSystems”,IEEETRANSACTIONSONCOMMUNICATIONS,1972年4月,pp.225-230所公开的方法来决定。而且,量化部311求出与频率系数最接近的量化代表值,并求出与该量化代表值对应的量化系数作为针对该频率系数的量化系数。
或者,量化部311按照表示针对规定的量化参数的值的量化刻度的函数,来决定所使用的量化刻度。另外,该函数可以采用针对量化参数的值的单调增加函数,并被预先设定。
或者,预先准备多个对与水平方向以及垂直方向的频率分量分别对应的量化刻度进行规定的量化矩阵,并存储到量化部311所具有的存储器中。而且,量化部311按照量化参数来选择这些量化矩阵中特定的量化矩阵。而且,量化部311也可以参照被选择的量化矩阵,来决定针对频率信号的各频率分量的量化刻度。
另外,量化部311只要根据与MPEG-2、MPEG-4、MPEG-4AVC/H.264等动态图像加密标准对应的各种量化参数决定方法中的任意一种来决定量化参数即可。量化部311例如可以利用与MPEG-2的标准文本模型5相关的量化参数的算出方法。其中,关于与MPEG-2的标准文本模型5相关的量化参数的算出方法,例如可参照由http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html确定的URL。
量化部311将各量化系数向逆量化部312以及适应量化系数加密部192输出。
逆量化部312通过对各量化系数乘以由量化部311决定的与该量化系数对应的量化刻度来进行逆量化。通过该逆量化,来重建预测误差图像的多个频率系数。在该实施方式中,量化刻度对于具有“正”值的量化系数以及具有“负”值的量化系数均使用相同的值。或者,逆量化部312也可以参照表示量化代表值与量化系数之间的关系的参照表,来求出与量化系数对应的量化代表值,作为被重建的频率系数。
逆量化部312将重建后的预测误差图像的多个频率系数向逆变换部20输出。而且,重建后的预测误差图像的各频率系数与第1实施方式涉及的动态图像加密装置1同样,被利用于生成参照图片或者参照块。
适应量化系数加密部192具有与第1实施方式涉及的动态图像加密装置1所具有的适应量化系数加密部192同样的构成以及功能。即,适应量化系数加密部192具有:有效系数信息生成部1921、有效系数位置信息加密部1922、有效系数绝对值信息加密部1923、排他性逻辑和部1924以及有效系数符号信息预测加密部1925。
适应量化系数加密部192检测加密对象宏块内的各预测误差图像的量化系数中的有效系数,对有效系数的位置信息以及绝对值信息分别进行熵加密。并且,适应量化系数加密部192从符号判定部18接收表示与有效系数对应的预测图像的频率系数的记号的值。适应量化系数加密部192通过表示有效系数的记号的值和表示与该有效系数对应的预测图像的频率系数的记号的值之间的排他性逻辑和运算,来求出表示有效系数的记号和预测图像的对应的频率系数的记号是否一致的符号一致预测信息。该符号一致预测信息是符号一致信息的一例。而且,适应量化系数加密部192对符号一致预测信息进行熵加密。
适应量化系数加密部192将被熵加密后的有效系数的位置信息以及绝对值信息和被熵加密后的符号一致预测信息向未图示的合并部输出。而且,利用合并部,将这些熵加密后的信息和熵加密后的辅助信息按照规定的格式保存到数据流中。
图19以及图20是第3实施方式涉及的动态图像加密处理的动作流程图。其中,动态图像加密装置3按被预测加密的各个加密对象宏块来执行该动态图像加密处理。此外,动态图像加密装置3在加密对象宏块未被预测加密的情况下,例如按照在MPEG-4AVC/H.264中规定的内部预测加密方式来对该加密对象宏块进行加密。
预测模式判定部11基于加密对象宏块以及图像存储器22中存储的参照图片来决定预测加密模式(步骤S301)。动态图像加密装置1根据预测加密模式,生成加密对象宏块内的各块的预测图像(步骤S302)。具体而言,在预测加密模式是内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式是帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测误差图像生成部15、预测图像正交变换部17以及加法器21输出。
另外,预测误差图像生成部15根据加密对象宏块内的块和预测图像间的差值来生成预测误差图像(步骤S303)。而且,预测误差图像生成部15将预测误差图像向预测误差正交变换部16输出。然后,预测误差正交变换部16通过对预测误差图像进行正交变换来算出预测误差图像的多个频率系数(步骤S304)。而且,预测误差正交变换部16将预测误差图像的多个频率系数向频率系数适应加密部31输出。
另一方面,预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的频率系数的组(步骤S305)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S306)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应加密部31输出。
量化部3111通过利用规定的量化刻度对预测误差图像的多个频率系数分别进行量化,来求出多个量化系数(步骤S307)。而且,量化部3111将各量化系数向逆量化部312以及适应量化系数加密部192输出。
如图20所示,适应量化系数加密部192的有效系数信息生成部1921提取出各量化系数中与具有不为0的绝对值的有效系数的位置、绝对值以及记号相关的信息(步骤S308)。而且,有效系数信息生成部1921将有效系数的位置信息向适应量化系数加密部192的有效系数位置信息加密部1922输出。另外,有效系数信息生成部1921将有效系数的绝对值信息向适应量化系数加密部192的有效系数绝对值信息加密部1923输出。而且,有效系数信息生成部1921将有效系数的符号信息向适应量化系数加密部192的排他性逻辑和部1924输出。
有效系数位置信息加密部1922对有效系数的位置信息进行熵加密。另外,有效系数绝对值信息加密部1923对有效系数的绝对值进行熵加密(步骤S309)。有效系数位置信息加密部1922以及有效系数绝对值信息加密部1923分别将被熵加密后的有效系数的位置信息以及有效系数的绝对值信息向未图示的合并部输出。
另一方面,排他性逻辑和部1924在表示各有效系数的记号的值与表示预测图像的对应的频率的记号的值之间执行排他性逻辑和运算。而且,排他性逻辑和部1924算出符号一致预测信息(步骤S310)。排他性逻辑和部1924将符号一致预测信息向有效系数符号信息预测加密部1925输出。
有效系数符号信息预测加密部1925对符号一致预测信息进行熵加密(步骤S311)。而且,有效系数符号信息预测加密部1925将被熵加密后的符号一致预测信息向合并部输出。
另外,辅助信息加密部23对活动向量等辅助信息进行加密(步骤S312)。而且,辅助信息加密部23将加密后的辅助信息向合并部输出。
另外,动态图像加密装置3生成为了对之后的宏块或者图片进行加密所利用的参照图片。为此,频率系数适应加密部19的逆量化部312对各量化系数进行逆量化来重建预测误差图像的多个频率系数(步骤S313)。而且,重建后的多个频率系数被输入给逆变换部20。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换来重建预测误差图像(步骤S314)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值,来重建加密对象宏块内与该预测图像以及预测误差图像对应的块(步骤S315)。而且,加法器21按照规定的顺序将重建后的块结合,来重建加密对象宏块。并且,加法器21按照规定的加密顺序依次将重建后的加密对象宏块结合,来生成参照图片。而且,加法器21将参照图片存储到图像存储器22中。
其中,针对加密对象宏块内的各块执行步骤S302~S315的处理。
然后,动态图像加密装置3结束动态图像加密处理。此外,动态图像加密装置3也可以将步骤S304的处理和S305的处理顺序互换。另外,动态图像加密装置3也可以将步骤S309的处理和S310以及S311的处理顺序互换。并且,动态图像加密装置3也可以将步骤S313~S315的处理和步骤S308~S312的处理顺序互换。
如以上说明那样,第3实施方式涉及的动态图像加密装置对表示加密对象宏块内的各预测误差图像的有效系数的记号和预测图像的对应的频率系数的记号是否一致的符号一致预测信息进行熵加密。由于表示二者的记号一致的值的出现概率高于表示二者的记号不一致的值的出现概率,所以符号一致预测信息的信息量少于有效系数的记号自身的信息量。因此,该动态图像加密装置与对有效系数的记号自身进行加密的情况相比,能够提高加密效率。
下面,对第4实施方式涉及的动态图像解密装置进行说明。该第4实施方式涉及的动态图像解密装置对被第3实施方式涉及的动态图像加密装置加密后的动态图像数据进行再生。
图21是第4实施方式涉及的动态图像解密装置的概要构成图。如图21所示,动态图像解密装置4具有频率系数适应解密部41、内部预测部12、活动补偿部13、选择器14、预测图像正交变换部17、符号判定部18、逆变换部20、加法器21以及图像存储器22。
动态图像解密装置4所具有的这些各部分别作为单独的电路而形成。或者,动态图像解密装置4所具有的这些各部也可以作为与这些各部对应的电路被集成后的一个集成电路而安装到动态图像解密装置4中。并且,动态图像解密装置4所具有的这些各部也可以是由在动态图像解密装置4所具有的处理器上执行的计算机程序实现的功能模块。
另外,在图21中,对动态图像解密装置4的各部标注了与图13所示的动态图像解密装置2的对应的各部的参照编号相同的参照编号。
第4实施方式涉及的动态图像解密装置4与第2实施方式涉及的动态图像解密装置2相比,仅频率系数适应解密部41不同。因此,以下说明频率系数适应加密部41。
频率系数适应解密部41对熵加密后的活动向量等辅助信息进行解密。而且,频率系数适应解密部41将各宏块中的被帧间预测加密后的宏块的活动参数向活动补偿部13输出。另外,频率系数适应解密部41将表示各宏块中的被内部预测加密后的宏块的内部预测加密模式的信息向内部预测部12输出。并且,频率系数适应解密部41将解密对象宏块的预测加密模式向选择器14输出。而且,在解密对象宏块被内部预测加密的情况下,内部预测部12根据已经解密的参照块来生成预测图像。另一方面,在解密对象宏块是帧间预测加密的情况下,活动补偿部13基于已经被解密的参照图片来生成预测图像。由内部预测部12或者活动补偿部13生成的预测图像被输入给选择器14,选择器14将该预测图像向预测图像正交变换部17以及加法器21输出。
另外,频率系数适应解密部41是适应解密部的一例,根据被加密后的动态图像数据来重建解密对象宏块所含的各块的预测误差图像的多个频率系数。
图22是与预测误差图像的多个频率系数的重建相关的第4实施方式涉及的频率系数适应解密部41的概要构成图。频率系数适应解密部41具有适应量化系数解密部241和逆量化部411。
适应量化系数解密部241具有与第2实施方式涉及的动态图像解密装置2所具有的适应量化系数解密部241同样的构成以及功能。即,适应量化系数解密部241具有:有效系数位置信息解密部2411、有效系数绝对值信息解密部2412、有效系数符号信息预测解密部2413、排他性逻辑和部2414以及有效系数信息重建部2415。
适应量化系数解密部241的有效系数位置信息解密部2411和有效系数绝对值信息解密部2412分别对被熵加密的有效系数位置信息、有效系数绝对值信息进行解密。另外,适应量化系数解密部241的有效系数符号信息预测解密部2413对被熵加密的符号一致预测信息进行解密。而且,适应量化系数解密部241的排他性逻辑和部2414进行符号一致预测信息所含的有效系数的符号一致预测值和表示从判定部18接收到的预测图像的对应的频率的记号的值之间的排他性逻辑和运算,来重建有效系数的符号信息。
而且,适应量化系数解密部241的有效系数信息重建部2415基于有效系数位置信息、有效系数绝对值信息以及有效系数符号信息,来重建多个量化系数。适应量化系数解密部241将重建后的量化系数向逆量化部411输出。
逆量化部411通过对各量化系数乘以与该量化系数对应的量化刻度来进行逆量化。通过该逆量化,来重建预测误差图像的多个频率系数。在该实施方式中,量化刻度对于具有“正”值的量化系数以及具有“负”值的量化系数均使用相同的值。
或者,逆量化部411也可以参照表示量化代表值和量化系数之间的关系的参照表,来求出与量化系数对应的量化代表值,作为被重建的频率系数。
逆量化部411将重建后的预测误差图像的多个频率系数向逆变换部20输出。
而且,通过重建后的各频率系数与动态图像解密装置2同样地被逆变换部20逆正交变换,来重建预测误差图像。而且,加法器21通过对该预测误差图像的各像素的值加上对应的预测图像的像素的值,来重建解密对象块。
动态图像解密装置4通过按每个图片将重建后的宏块按照其加密顺序结合,来重建图片。
图23以及图24是第4实施方式涉及的动态图像解密处理的动作流程图。其中,动态图像解密装置4按每个解密对象宏块来执行该动态图像解密处理。
频率系数适应解密部41对熵加密后的活动向量等辅助信息进行解密(步骤S401)。而且,频率系数适应解密部41对内部预测部12、活动补偿部13以及选择器14输出辅助信息所含的信息中由这些各部使用的预测加密模式、活动向量等信息。而且,动态图像解密装置2根据预测加密模式,来生成解密对象宏块内的各块的预测图像(步骤S402)。具体而言,在预测加密模式是内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式是帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测图像正交变换部17以及加法器21输出。
预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的多个频率系数(步骤S403)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S404)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应解密部41的适应量化系数解密部241输出。
适应量化系数解密部241的有效系数位置信息解密部2411对有效系数的位置信息进行熵解密。另外,适应量化系数解密部241的有效系数绝对值信息解密部2412对有效系数的绝对值进行熵解密(步骤S405)。有效系数位置信息解密部2411以及有效系数绝对值信息解密部2412分别将解密后的有效系数的位置信息以及有效系数的绝对值信息向适应量化系数解密部241的有效系数信息重建部2415输出。
另外,适应量化系数解密部241的有效系数符号信息预测解密部2413对符号一致预测信息进行熵解密(步骤S406)。而且,有效系数符号信息预测解密部2413将解密后的符号一致预测信息向适应量化系数解密部241的排他性逻辑和部2414输出。而且,排他性逻辑和部2414通过求出符号一致预测信息所含的各符号一致预测值和预测图像的对应的频率的记号之间的排他性逻辑和,来重建有效系数的符号信息(步骤S407)。排他性逻辑和部2414将有效系数的符号信息向有效系数信息重建部2415输出。
有效系数信息重建部2415基于有效系数的位置信息、绝对值信息以及符号信息来重建预测误差图像的多个量化系数(步骤S408)。而且,有效系数信息重建部2415将重建后的预测误差图像的多个量化系数向频率系数适应解密部41的逆量化部413输出。
如图24所示,逆量化部411通过在正值和负值下利用相同的量化刻度对各量化系数进行逆量化,来复原预测误差图像的多个频率系数(步骤S409)。而且,逆量化部411将重建后的各频率系数向逆变换部20输出。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换来重建预测误差图像(步骤S410)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值来重建解密对象块(步骤S411)。而且,加法器21通过按照规定的顺序将重建后的解密对象块结合,来重建解密对象宏块。并且,加法器21通过按照规定的加密顺序将重建后的解密对象宏块依次结合,来重建图片。而且,加法器21输出重建后的图片,并且将该重建后的图片作为参照图片存储在图像存储器22中。
其中,针对解密对象宏块内的各块执行步骤S402~S411的处理。
然后,动态图像解密装置4结束动态图像解密处理。此外,动态图像解密装置2也可以家那个步骤S405的处理和步骤S406以及S407的处理顺序互换。
如以上说明那样,第4实施方式涉及的动态图像解密装置能够对被第3实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密。
下面,对第5实施方式涉及的动态图像加密装置进行说明。第5实施方式涉及的动态图像加密装置通过对预测误差图像的各频率系数乘以预测图像的对应的频率系数的记号,来算出正值的出现概率和负值的出现概率不同的修正频率系数。而且,该动态图像加密装置使针对出现概率低的具有负值的修正频率系数的相邻量化代表值间的间隔大于针对出现概率高的具有正值的修正频率系数的相邻量化代表值间的间隔。
图25是第5实施方式涉及的动态图像加密装置的概要构成图。动态图像加密装置5具有预测模式判定部11、内部预测部12、活动补偿部13、选择器14、预测误差图像生成部15、预测误差正交变换部16、预测图像正交变换部17、符号判定部18、频率系数适应加密部51、逆变换部20、加法器21、图像存储器22以及辅助信息加密部23。
动态图像加密装置5所具有的这些各部分别作为单独的电路而形成。或者,动态图像加密装置5所具有的这些各部也可以作为与这些各部对应的电路被集成后的一个集成电路而安装到动态图像加密装置5。并且,动态图像加密装置5所具有的这些各部也可以是由在动态图像加密装置5所具有的处理器上执行的计算机程序实现的功能模块。
另外,在图25中,对动态图像加密装置5的各部标注了与图1所示的动态图像加密装置1的对应的各部的参照编号相同的参照编号。
第5实施方式涉及的动态图像加密装置5与第1实施方式涉及的动态图像加密装置1相比,仅频率系数适应加密部51不同。因此,以下说明频率系数适应加密部51。动态图像加密装置5的其他各部的详细内容请参照动态图像加密装置1的关联部分的说明。
图26是第5实施方式涉及的频率系数适应加密部的概要构成图。频率系数适应加密部51是适应加密部的一例,具有适应量化/逆量化部191和量化系数加密部511。
适应量化/逆量化部191具有与第1实施方式涉及的动态图像加密装置1所具有的适应量化/逆量化部191同样的构成以及功能。即,适应量化/逆量化部191具有3个乘法器1911~1913、非线性量化部1914以及非线性逆量化部1915。
适应量化/逆量化部191对加密对象宏块内的各预测误差图像的各频率系数与预测图像的对应的频率的记号相乘而得到的各修正频率系数进行量化。如上所述,具有正值的修正频率系数的出现概率高于具有负值的修正频率系数的出现概率。鉴于此,适应量化/逆量化部191通过使针对具有负值的修正频率系数的量化代表值间的间隔宽于针对具有正值的修正频率系数的量化代表值管的间隔,能够高效地对修正频率系数进行加密。
适应量化/逆量化部191通过进一步对修正量化系数乘以预测图像的对应的频率系数的记号,使修正量化系数的记号与预测误差图像的对应的频率系数的记号一致,来作为针对预测误差图像的频率系数的量化系数。而且,适应量化/逆量化部191将各量化系数向量化系数加密部511输出。
另外,适应量化/逆量化部191对修正量化系数进行逆量化来重建修正频率系数,通过对该重建后的修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的多个频率系数。而且,适应量化/逆量化部191将重建后的预测误差图像的多个频率系数向逆变换部20输出。
量化系数加密部511对加密对象宏块内所含的各块的各量化系数进行熵加密。为此,量化系数加密部511具有有效系数信息生成部5111、有效系数位置信息加密部5112、有效系数绝对值信息加密部5113以及有效系数符号信息加密部5114。
有效系数信息生成部5111与第1实施方式涉及的动态图像加密装置1的有效系数信息生成部1921同样地提取出加密对象宏块内的各预测误差图像的量化系数中具有“0”以外的值的量化系数即有效系数。而且,有效系数信息生成部5111将表示有效系数的位置的有效系数位置信息向有效系数位置信息加密部5112输出。另外,有效系数信息生成部5111将表示有效系数的绝对值的有效系数绝对值信息向有效系数绝对值信息加密部5113输出。而且,有效系数信息生成部5111将表示有效系数的记号的有效系数符号信息向有效系数符号信息加密部5114输出。
有效系数位置信息加密部5112与第1实施方式涉及的动态图像加密装置1的有效系数信息生成部1921同样地对有效系数位置信息进行熵加密。例如,有效系数位置信息加密部5112利用霍夫曼加密方式、或者CABAC等算术加密方式之类的熵加密方式,来对有效系数位置信息进行熵加密。
有效系数位置信息加密部5112将熵加密后的有效系数位置信息向未图示的合并部输出。
有效系数绝对值信息加密部5113与第1实施方式涉及的动态图像加密装置1的有效系数绝对值信息加密部1923同样地对有效系数绝对值信息进行熵加密。例如,有效系数绝对值信息加密部5113利用霍夫曼加密方式或者CABAC等算术加密方式之类的熵加密方式来对有效系数绝对值信息进行熵加密。
有效系数绝对值信息加密部5113将熵加密后的有效系数绝对值信息向未图示的合并部输出。
有效系数符号信息加密部5114对有效系数符号信息进行加密。在此,有效系数的记号为正的概率与有效系数的记号为负的概率大致相等。因此,即使对有效系数符号信息也利用熵符号,加密效率也几乎不会提高。鉴于此,有效系数符号信息加密部5114对各有效系数的记号分配表示该记号是正还是负的1位符号。
有效系数符号信息加密部5114将加密后的有效系数符号信息向未图示的合并部输出。
图27以及图28是第5实施方式涉及的动态图像加密处理的动作流程图。动态图像加密装置5按照被预测加密的各个加密对象宏块来执行该动态图像加密处理。其中,动态图像加密装置5在加密对象宏块未被预测加密的情况下,例如按照在MPEG-4AVC/H.264中规定的内部预测加密方式来对该加密对象宏块进行加密。
预测模式判定部11基于加密对象宏块以及图像存储器22中存储的参照图片来决定预测加密模式(步骤S501)。
动态图像加密装置5根据预测加密模式,来生成加密对象宏块内的各块的预测图像(步骤S502)。具体而言,在预测加密模式为内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式为帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测误差图像生成部15、预测图像正交变换部17以及加法器21输出。
另外,预测误差图像生成部15根据加密对象宏块内的块与预测图像间的差值来生成预测误差图像(步骤S503)。而且,预测误差图像生成部15将预测误差图像向预测误差正交变换部16输出。然后,预测误差正交变换部16通过对预测误差图像进行正交变换来算出预测误差图像的多个频率系数(步骤S504)。而且,预测误差正交变换部16将预测误差图像的多个频率系数向频率系数适应加密部51输出。
另一方面,预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的多个频率系数(步骤S505)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S506)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应加密部51的适应量化/逆量化部191输出。
适应量化/逆量化部191的乘法器1911对预测误差图像的各频率系数乘以预测图像的对应的频率的记号来算出修正频率系数(步骤S507)。而且,乘法器1911将各修正频率系数向适应量化/逆量化部的非线性量化部1914输出。
非线性量化部1914对各修正频率系数,求出被决定为针对负修正频率系数的相邻量化代表值间的间隔宽于针对正修正频率系数的相邻量化代表值间的间隔的量化代表值中最接近的量化代表值。然后,非线性量化部1914求出与量化代表值对应的修正量化系数(步骤S508)。而且,从非线性量化部1914输出的修正量化系数被输入给适应量化/逆量化部191的非线性逆量化部1915。另外,从非线性量化部1914输出的修正量化系数按照与预测误差图像的对应的频率的记号一致的方式被乘法器1912乘以预测图像的对应的频率的记号,来算出各量化系数。之后,各量化系数被输入给量化系数加密部511。
如图28所示,量化系数加密部511的有效系数信息生成部5111提取出各量化系数中与具有不为0的绝对值的有效系数的位置、绝对值以及记号相关的信息(步骤S509)。而且,有效系数信息生成部5111将有效系数的位置信息向量化系数加密部511的有效系数位置信息加密部5112输出。另外,有效系数信息生成部5111将有效系数的绝对值信息向量化系数加密部511的有效系数绝对值信息加密部5113输出。而且,有效系数信息生成部5111将有效系数的符号信息向量化系数加密部511的有效系数符号信息加密部5114输出。
有效系数位置信息加密部5112对有效系数的位置信息进行熵加密。另外,有效系数绝对值信息加密部5113对有效系数的绝对值进行熵加密(步骤S510)。有效系数位置信息加密部5112以及有效系数绝对值信息加密部5113分别将熵加密后的有效系数的位置信息以及有效系数的绝对值信息向未图示的合并部输出。
另一方面,有效系数符号信息加密部5114对各有效系数的记号分配1位的符号(步骤S511)。有效系数符号信息加密部5114将表示各有效系数的记号的位向合并部输出。
另外,辅助信息加密部23对活动向量等辅助信息进行加密(步骤S512)。而且,辅助信息加密部23将加密后的辅助信息向合并部输出。
另外,动态图像加密装置5生成为了对之后的宏块或者图片进行加密所利用的参照图片。为此,频率系数适应加密部19的非线性逆量化部1915对各修正量化系数进行逆量化来重建各修正频率系数(步骤S513)。而且,为了与预测误差图像的对应的频率的记号一致,重建后的各修正频率系数被乘法器1913乘以预测图像的对应的频率的记号,然后被输入给逆变换部20。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换来重建预测误差图像(步骤S514)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值,来重建与加密对象宏块内的预测图像以及预测误差图像对应的块(步骤S515)。而且,加法器21通过按照规定的顺序将重建后的块结合,来重建加密对象宏块。并且,加法器21按照规定的加密顺序来依次将重建后的加密对象宏块结合,由此生成参照图片。而且,加法器21将参照图片存储在图像存储器22中。
其中,针对加密对象宏块内的各块执行步骤S502~S515的处理。
然后,动态图像加密装置5结束动态图像加密处理。此外,动态图像加密装置5也可以将步骤S504的处理和S505的处理顺序互换。另外,动态图像加密装置5也可以将步骤S510的处理和S511的处理顺序互换。并且,动态图像加密装置5也可以将步骤S513~S515的处理和步骤S509~S512的处理顺序互换。
如以上说明那样,第5实施方式涉及的动态图像加密装置针对加密对象宏块内的各预测误差图像,在正值与负值之间求出出现概率存在偏差的修正频率系数。而且,该动态图像加密装置能够通过使针对具有正值的修正频率系数的相邻量化代表值间的间隔与针对具有负值的修正频率系数的相邻量化代表值间的间隔不同,来减少出现频度低的具有负值的修正频率系数的信息量。这样,由于该动态图像加密装置能够削减为了对各预测误差图像的频率系数进行加密所需要的信息量,所以能够提高各预测误差图像的频率系数的加密效率。
下面,对第6实施方式涉及的动态图像解密装置进行说明。该第6实施方式涉及的动态图像解密装置对被第5实施方式涉及的动态图像加密装置加密后的动态图像数据进行再生。
图29是第6实施方式涉及的动态图像解密装置的概要构成图。如图29所示,动态图像解密装置6具有频率系数适应解密部61、内部预测部12、活动补偿部13、选择器14、预测图像正交变换部17、判定部18、逆变换部20、加法器21以及图像存储器22。
动态图像解密装置6所具有的这些各部分别作为单独的电路而形成。或者,动态图像解密装置6所具有的这些各部也可以作为与该各部对应的电路被集成后的一个集成电路而安装在动态图像解密装置6中。并且,动态图像解密装置6所具有的这些各部也可以是由在动态图像解密装置6所具有的处理器上执行的计算机程序实现的功能模块。
另外,在图29中,对动态图像解密装置6的各部标注了与图13所示的动态图像解密装置2的对应的各部的参照编号相同的参照编号。
第6实施方式涉及的动态图像解密装置6与第2实施方式涉及的动态图像解密装置2相比,仅频率系数适应解密部61不同。因此,以下说明频率系数适应加密部61。
频率系数适应解密部61对熵加密后的活动向量等辅助信息进行解密。而且,频率系数适应解密部61将各宏块中被帧间预测加密后的宏块的活动参数向活动补偿部13输出。另外,频率系数适应解密部61将表示各宏块中被内部预测加密的宏块的内部预测加密模式的信息向内部预测部12输出。并且,频率系数适应解密部41将解密对象宏块的预测加密模式向选择器14输出。而且,在解密对象宏块被内部预测加密的情况下,内部预测部12根据已经解密的参照块来生成预测图像。另一方面,在解密对象宏块被帧间预测加密的情况下,活动补偿部13基于已经被解密的参照图片来生成预测图像。由内部预测部12或者活动补偿部13生成的预测图像被输入给选择器14,选择器14将该预测图像向预测图像正交变换部17以及加法器21输出。
另外,频率系数适应解密部61是适应解密部的一例,根据被加密后的动态图像数据,来重建解密对象宏块所含的各块的预测误差图像的多个频率系数。
图30是与预测误差图像的多个频率系数的重建相关的第6实施方式涉及的频率系数适应解密部61的概要构成图。频率系数适应解密部61具有量化系数解密部611和适应逆量化部242。
量化系数解密部611重建预测误差图像的各量化系数。为此,量化系数解密部611具有:有效系数位置信息解密部6111、有效系数绝对值信息解密部6112、有效系数符号信息解密部6113以及有效系数信息重建部6114。
有效系数位置信息解密部6111按照由动态图像加密装置5的有效系数位置信息加密部5112利用的熵加密方式,来对被熵加密的有效系数位置信息进行解密。而且,有效系数位置信息解密部6111将解密后的有效系数位置信息向有效系数信息重建部6114输出。
另外,有效系数绝对值信息解密部6112按照由动态图像加密装置5的有效系数绝对值信息加密部5113利用的熵加密方式,来对被熵加密的有效系数绝对值信息进行解密。而且,有效系数绝对值信息解密部6112将解密后的有效系数绝对值信息向有效系数信息重建部6114输出。
有效系数符号信息解密部6113通过参照表示有效系数的记号的位值,来重建表示有效系数的记号的符号信息。而且,有效系数符号信息解密部6113将符号信息向有效系数信息重建部6114输出。
有效系数信息重建部6114通过将各有效系数的绝对值信息以及符号信息组合,来重建各有效系数。而且,有效系数信息重建部6114按照有效系数的位置信息来排列有效系数,通过在有效系数以外的部位插入“0”来重建预测误差图像的多个量化系数。
有效系数信息重建部6114将重建后的预测误差图像的多个量化系数向适应逆量化部242输出。
适应逆量化部242具有与第2实施方式涉及的动态图像解密装置2所具有的适应逆量化部242同样的构成以及功能。即,适应逆量化部242具有乘法器2421、2422和非线性逆量化部2423。
适应逆量化部242基于预测误差图像的量化系数的组,来重建预测误差图像的多个频率系数。适应逆量化部242通过对预测误差图像的各量化系数乘以预测图像的对应的频率系数的记号,来重建修正量化系数。而且,适应逆量化部242通过对修正量化系数,在正值和负值下利用不同的量化刻度的值,按照(8)式来进行逆量化,由此重建各修正频率系数。
或者,在量化代表值间的间隔被设定成根据修正频率系数的绝对值而变化的情况下,适应逆量化部242例如参照表示修正量化系数和量化代表值之间的对应关系的参照表。而且,适应逆量化部242也可以求出与修正量化系数对应的量化代表值,作为被重建的修正频率系数。
并且,适应逆量化部242通过对重建后的各修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的各频率系数。
重建后的各频率系数被输入给逆变换部20。
其中,通过与动态图像加密装置1同样地,由逆变换部20对重建后的各频率系数进行逆正交变换,来重建预测误差图像。而且,加法器21通过对该预测误差图像的各像素的值加上对应的预测图像的像素的值来重建解密对象块。
动态图像解密装置6按每个图片将重建后的宏块按照其加密顺序结合,来重建图片。而且,动态图像解密装置6按照时间顺序配置图片,来重建动态图像数据。动态图像解密装置6输出重建后的动态图像数据。所输出的动态图像数据例如被存储于未图示的存储装置。另外,所输出的动态图像数据被显示在与动态图像解密装置6连接的未图示的显示装置。
图31以及图32是第6实施方式涉及的动态图像解密处理的动作流程图。动态图像解密装置2按各个解密对象宏块执行该动态图像解密处理。
频率系数适应解密部61对被熵加密后的活动向量等辅助信息进行解密(步骤S601)。而且,频率系数适应解密部61对内部预测部12、活动补偿部13以及选择器14输出辅助信息所含的信息中被这些各部使用的预测加密模式、活动向量等信息。然后,动态图像解密装置6根据预测加密模式来生成解密对象宏块内的各块的预测图像(步骤S602)。具体而言,在预测加密模式是内部预测加密模式的情况下,内部预测部12生成预测图像。另一方面,在预测加密模式是帧间预测加密模式的情况下,活动补偿部13生成预测图像。而且,内部预测部12或者活动补偿部13将预测图像向选择器14输出。选择器14将接收到的预测图像向预测图像正交变换部17以及加法器21输出。
预测图像正交变换部17通过对预测图像进行正交变换来算出预测图像的频率系数的组(步骤S603)。而且,预测图像正交变换部17将预测图像的多个频率系数向符号判定部18输出。
符号判定部18判定预测图像的各频率系数的记号(步骤S604)。而且,符号判定部18将表示预测图像的各频率系数的记号的值向频率系数适应解密部61的适应逆量化部242输出。
频率系数适应解密部61的量化系数解密部611的有效系数位置信息解密部6111对有效系数的位置信息进行熵解密。另外,量化系数解密部611的有效系数绝对值信息解密部6112对有效系数的绝对值进行熵解密(步骤S605)。有效系数位置信息解密部6111以及有效系数绝对值信息解密部6112分别将解密后的有效系数的位置信息以及有效系数的绝对值信息向量化系数解密部611的有效系数信息重建部6114输出。
另外,量化系数解密部611的有效系数符号信息解密部6113参照表示有效系数的记号的位来求出有效系数的记号(步骤S606)。而且,有效系数符号信息解密部6113将有效系数的记号向有效系数信息重建部6114输出。
有效系数信息重建部6114基于有效系数的位置信息、绝对值信息以及符号信息来重建预测误差图像的多个量化系数(步骤S607)。而且,有效系数信息重建部6114将重建后的预测误差图像的多个量化系数向适应逆量化部242输出。
如图32所示,适应逆量化部242的乘法器2421通过对预测误差图像的各量化系数乘以预测图像的对应的频率系数的记号,来重建修正量化系数(步骤S608)。而且,乘法器2421将修正量化系数向适应逆量化部242的非线性逆量化部2423输出。
非线性逆量化部2423通过求出被决定为在正值和负值下相邻的量化代表值间的间隔不同的量化代表值中与修正量化系数对应的量化代表值,来对各修正量化系数进行逆量化。由此,非线性逆量化部2423对各修正频率系数进行重建(步骤S609)。而且,非线性逆量化部2423将重建后的各修正频率系数向适应逆量化部242的乘法器2422输出。
乘法器2422通过对重建后的各修正频率系数乘以预测图像的对应的频率系数的记号,来重建预测误差图像的多个频率系数(步骤S610)。从乘法器2422输出的重建后的各频率系数被输入给逆变换部20。
逆变换部20通过对重建后的预测误差图像的多个频率系数进行逆正交变换,来重建预测误差图像(步骤S611)。而且,逆变换部20将重建后的预测误差图像向加法器21输出。加法器21对重建后的预测误差图像的各像素的值加上预测图像的对应的像素的值来重建解密对象块(步骤S612)。而且,加法器21通过按照规定的顺序将重建后的解密对象块结合,来重建解密对象宏块。并且,加法器21通过按照规定的加密顺序将重建后的解密对象宏块依次结合,来重建图片。而且,加法器21输出重建后的图片,并且将该重建后的图片作为参照图片存储在图像存储器22中。
其中,针对解密对象宏块内的各块执行步骤S602~S612的处理。
然后,动态图像解密装置6结束动态图像解密处理。此外,动态图像解密装置6也可以将步骤S605的处理和步骤S606的处理顺序互换。
如以上说明那样,第6实施方式涉及的动态图像解密装置能够对被第5实施方式涉及的动态图像加密装置加密后的动态图像数据进行解密。
此外,本发明并不限于上述实施方式。例如,第1以及第5实施方式涉及的动态图像加密装置所具有的适应量化/逆量化部也可以取代乘法器,而具有符号一致判定部。该符号一致判定部在频率系数、修正频率系数或者量化系数的记号与预测图像的对应的频率系数的记号一致的情况下,将频率系数、修正频率系数或者量化系数的记号设为正。相反,在频率系数、修正频率系数或者量化系数的记号与预测图像的对应的频率系数的记号不一致的情况下,符号一致判定部将频率系数、修正频率系数或者量化系数的记号设为负。同样,第2以及第6实施方式涉及的动态图像解密装置所具有的适应逆量化部也可以取代乘法器,而具有上述那样的符号一致判定部。
图33是执行各实施方式或者其形变例涉及的动态图像加密方法或者动态图像解密方法的计算机的概要构成图。计算机100具有输入装置101、通信接口102、存储器103、便携记录介质驱动装置104、外部存储装置105、处理器106以及输出装置107。
计算机100所具有这些各部经由用于对数据以及控制信号进行传送的总线108而相互连接。
输入装置101例如具有键盘或者鼠标等定点设备。而且,输入装置101响应于用户的操作,生成使动态图像加密处理或者动态图像解密处理开始的操作信号或者选择成为动态图像加密处理的对象的动态图像数据的操作信号等,并将该操作信号向处理器106输出。
通信接口102例如具有用于将计算机100与通信网络连接的接口电路。而且,通信接口102经由通信网络(未图示)从其他设备取得加密对象的动态图像数据或者解密对象被加密后的动态图像数据,并将这些数据转发给处理器106。或者,通信接口102从处理器106接收加密后的动态图像数据或者解密后的动态图像数据,并借助通信网络将这些数据输出到其他设备。
存储器103例如具有易失性或者非易失性半导体存储器电路。而且,存储器103提供在由处理器106执行的动态图像加密处理或者动态图像解密处理中所需要的存储区域。例如,存储器103作为上述各实施方式中的图像存储器而发挥功能。
便携记录介质驱动装置104是用于驱动光记录介质或者存储器卡等可搬运便携记录介质109的驱动装置。而且,便携记录介质驱动装置104例如读入便携记录介质109中存储的用于使计算机执行上述实施方式的任一个涉及的动态图像加密方法或者动态图像解密方法的计算机程序。而且,便携记录介质驱动装置104将该计算机程序转发给处理器106。或者,便携记录介质驱动装置104也可以读入便携记录介质109所存储的加密对象的动态图像数据或者解密对象被加密后的动态图像数据,将这些数据转发给处理器106。并且,便携记录介质驱动装置104也可以从处理器106接收加密后的动态图像数据或者解密后的动态图像数据,并将这些数据写入到便携记录介质109。
外部存储装置105例如是硬盘装置等磁存储装置。而且,外部存储装置105例如存储用于使计算机执行上述实施方式的任一个涉及的动态图像加密方法或者动态图像解密方法的计算机程序。或者,外部存储装置105存储加密对象的动态图像数据或者解密对象被加密后的动态图像数据。
处理器106控制计算机100整体。另外,处理器106将从便携记录介质驱动装置104或者外部存储装置105接收到的用于使计算机执行上述实施方式的任一个涉及的动态图像加密方法或者动态图像解密方法的计算机程序映射到存储器103。而且,处理器106按照该计算机程序来执行动态图像加密方法或者动态图像解密方法。
另外,处理器106从通信接口102或者便携记录介质驱动装置104接收动态图像数据或者被加密后的动态图像数据,使该数据临时存储在存储器103中,或者存储在外部存储装置105中。
并且,处理器106将加密后的动态图像数据或者解密后的动态图像数据向通信接口102、便携记录介质驱动装置104、外部存储装置105或者输出装置107输出。
输出装置107例如具有液晶显示器。而且,输出装置107从处理器106接收解密后的动态图像数据,显示该动态图像数据所含的各图片。
通过在计算机上加以执行来实现上述实施方式或者其变形例涉及的动态图像解密装置以及动态图像加密装置的各部功能的计算机程序也可以被存储在半导体存储器或者光存储介质等存储介质中来发布。
上述的实施方式或者其变形例涉及的动态图像加密装置以及动态图像解密装置被利用于各种用途。例如,该动态图像加密装置以及动态图像解密装置被组装到数码摄像机、视频发送装置、视频接收装置、电视电话系统、计算机或者移动电话机中。例如,在该动态图像解密装置被组装到视频接收装置的情况下,首先由视频发送装置生成加密动态图像数据。然后,该加密动态图像数据与语音信号等和动态图像数据同时取得的其他信号一起被变换成遵从规定通信标准的数据流。该数据流经由与视频发送装置的输出部连接的天线,或者经由通信线路,被传送给设置在远处的视频接收装置。然后,组装有动态图像解密装置的视频接收装置从该数据流中取出加密动态图像数据,并输出给动态图像解密装置。动态图像解密装置对动态图像进行解密并输出。
在此举出的所有例子以及特定用语只是用于帮助读者理解本发明以及本发明人对促进该技术做出的贡献,是出于教授的目的而并不应该被解释成与表示本发明的优良性以及劣等性有关,或是对本说明书的某个例子的构成、其特定的举例以及条件造成的限定。虽然对本发明的实施方式详细地进行了说明,但应该理解成只要不脱离本发明的精神以及范围,就能够进行对其进行各种变更、置换以及修正。
附图标记说明:1、3、5…动态图像解密装置;2、4、6…动态图像解密装置;11…预测模式判定部;12…内部预测部;13…活动补偿部;14…选择器;15…预测误差图像生成部;16…预测误差正交变换部;17…预测图像正交变换部;18…符号判定部;19、31、51…频率系数适应加密部;20…逆变换部;21…加法器;22…图像存储器;23…辅助信息加密部;191…适应量化/逆量化部;1911~1913…乘法器;1914…非线性量化部;1915…非线性逆量化部;192…适应量化系数加密部;1921…有效系数信息生成部;1922…有效系数位置信息加密部;1923…有效系数绝对值信息加密部;1924…排他性逻辑和部;1925…有效系数符号信息预测加密部;24、41、61…频率系数适应解密部;241…适应量化系数解密部;2411…有效系数位置信息解密部;2412…有效系数绝对值信息解密部;2413…有效系数符号信息预测解密部;2414…排他性逻辑和部;2415…有效系数信息重建部;242…适应逆量化部;2421、2422…乘法器;2423…非线性逆量化部;311…量化部;312…逆量化部;411…逆量化部;511…量化系数加密部;5111…有效系数信息生成部;5112…有效系数位置信息加密部;5113…有效系数绝对值信息加密部;5114…有效系数符号信息加密部;611…量化系数解密部;6111…有效系数位置信息解密部;6112…有效系数绝对值信息解密部;6113…有效系数符号信息解密部;6114…有效系数信息重建部;100…计算机;101…输入装置;102…通信接口;103…存储器;104…便携记录介质驱动装置;105…外部存储装置;106…处理器;107…输出装置;108…总线;109…便携记录介质。

Claims (13)

1.一种动态图像加密装置,其特征在于,具有:
预测图像生成部,其根据动态图像数据所含的已经加密的图片或者加密对象图片的已经加密的区域,来生成针对加密对象图片的加密对象块的预测图像;
预测误差图像生成部,其通过在所述加密对象块与所述预测图像间进行差值运算,来生成所述加密对象块的预测误差图像;
预测误差正交变换部,其通过对所述预测误差图像进行正交变换,来算出多个第1频率系数;
预测图像正交变换部,其通过对所述预测图像进行正交变换,来算出多个第2频率系数;
符号判定部,其判定所述多个第2频率系数各自的正负符号;以及
适应加密部,其利用符号一致信息来对所述多个第1频率系数进行加密,其中,所述符号一致信息表示所述多个第1频率系数各自的正负符号、和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致。
2.根据权利要求1所述的动态图像加密装置,其特征在于,
所述适应加密部具有适应量化部,所述适应量化部针对所述多个第1频率系数的每一个算出修正频率系数作为所述符号一致信息,通过求出多个量化代表值中的与该修正频率系数最接近的量化代表值所对应的量化系数来对所述修正频率系数进行量化,并且所述多个量化代表值被设定成越是与出现概率低的所述修正频率系数的值对应的量化代表值,则相邻的量化代表值间的间隔越大,其中,所述修正频率系数根据该第1频率系数的正负符号和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致而具有不同的正负符号,并且具有与该第1频率系数的绝对值相同的绝对值。
3.根据权利要求2所述的动态图像加密装置,其特征在于,
所述适应加密部还具有适应量化系数加密部,所述适应量化系数加密部通过对所述量化系数分配与该量化系数所对应的所述量化代表值的出现概率对应的熵符号,来对所述量化系数进行熵加密。
4.根据权利要求1所述的动态图像加密装置,其特征在于,
所述适应加密部具有适应量化部,所述适应量化部针对所述多个第1频率系数的每一个算出修正频率系数作为所述符号一致信息,在所述第1频率系数的正负符号与所述第2频率系数的正负符号一致的情况下,利用第1量化刻度来对所述修正频率系数进行量化,另一方面,在所述第1频率系数的正负符号与所述第2频率系数的正负符号不一致的情况下,利用比所述第1量化刻度大的第2量化刻度来对所述修正频率系数进行量化,其中,所述修正频率系数根据该第1频率系数的正负符号和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致而具有不同的正负符号,并且具有与该第1频率系数的绝对值相同的绝对值。
5.根据权利要求1所述的动态图像加密装置,其特征在于,
所述适应加密部具有:
量化部,其通过利用规定的量化刻度对所述多个第1频率系数的每一个进行量化,来算出多个量化系数;和
适应量化系数加密部,其算出符号一致预测信息作为所述符号一致信息,并对所述符号一致预测信息进行熵加密,其中,所述符号一致预测信息表示所述多个量化系数中的具有不为0的值的量化系数即有效系数的正负符号、和对所述多个第2频率系数中的与该有效系数相同的频率的分量进行表示的频率系数的正负符号是否一致。
6.一种动态图像解密装置,其特征在于,具有:
预测图像生成部,其根据加密后的动态图像数据所含的已经解密的图片或者解密对象图片的已经解密的区域,来生成针对解密对象图片的解密对象块的预测图像;
预测图像正交变换部,其通过对所述预测图像进行正交变换,来算出多个第2频率系数;
符号判定部,其判定所述多个第2频率系数各自的正负符号;
适应解密部,其利用符号一致信息来对多个第1频率系数进行解密,其中,所述符号一致信息表示通过对所述解密对象块和所述预测图像间的预测误差图像进行正交变换而算出的多个第1频率系数各自的正负符号、和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致,并包含于所述加密后的动态图像数据;
逆变换部,其通过对所述多个第1频率系数进行逆正交变换,来重建所述预测误差图像;以及
加法器,其通过对所述预测误差图像的各像素的值加上所述预测图像的对应的像素的值,来重建所述解密对象块。
7.根据权利要求6所述的动态图像解密装置,其特征在于,
所述适应解密部具有适应量化部,
所述适应量化部针对与所述多个第1频率系数分别对应的多个量化系数算出修正量化系数作为所述符号一致信息,其中,所述修正量化系数根据该量化系数的正负符号、和对所述多个第2频率系数中的与该量化系数相同的频率的分量进行表示的频率系数的正负符号是否一致而具有不同的正负符号,并且具有与该量化系数的绝对值相同的绝对值,
所述适应量化部通过求出多个量化代表值中的与该修正量化系数对应的量化代表值来对所述修正量化系数进行逆量化,并且所述多个量化代表值被设定成越是与出现概率低的所述修正量化系数的值对应的量化代表值,则相邻的量化代表值间的间隔越大。
8.根据权利要求7所述的动态图像解密装置,其特征在于,
所述多个量化系数分别被加密成与该量化系数所对应的所述量化代表值的出现概率对应的熵符号,
所述适应解密部还具有适应量化系数解密部,该适应量化系数解密部通过求出与所述熵符号对应的量化系数,来对所述量化系数进行熵解密。
9.根据权利要求6所述的动态图像解密装置,其特征在于,
所述适应解密部具有适应逆量化部,该适应逆量化部针对与所述多个第1频率系数分别对应的多个量化系数算出修正量化系数作为所述符号一致信息,其中,所述修正量化系数根据该量化系数的正负符号、和对所述多个第2频率系数中的与该量化系数相同的频率的分量进行表示的频率系数的正负符号是否一致而具有不同的正负符号,并且具有与该量化系数的绝对值相同的绝对值,
在所述量化系数的正负符号与所述第2频率系数的正负符号一致的情况下,所述适应逆量化部利用第1量化刻度来对所述修正量化系数进行逆量化,另一方面,在所述量化系数的正负符号与所述第2频率系数的正负符号不一致的情况下,利用比所述第1量化刻度大的第2量化刻度来对所述修正量化系数进行逆量化,由此来对所述多个第1频率系数进行解密。
10.根据权利要求6所述的动态图像解密装置,其特征在于,
所述适应解密部具有:
适应量化系数解密部,其对作为所述符号一致信息的符号一致预测信息进行熵解密,基于该符号一致预测信息来求出有效系数的正负符号从而重建所述多个量化系数,其中,所述符号一致预测信息表示与所述多个第1频率系数分别对应的多个量化系数中的具有不为0的值的量化系数即所述有效系数的正负符号、和对所述多个第2频率系数中的与该有效系数相同的频率的分量进行表示的频率系数的正负符号是否一致;和
逆量化部,其通过利用规定的量化刻度对所述多个量化系数的每一个进行逆量化,来对所述多个第1频率系数进行解密。
11.根据权利要求6所述的动态图像解密装置,其特征在于,
所述适应解密部具有:
适应量化系数解密部,其对作为所述符号一致信息的符号一致预测信息进行熵解密,基于该符号一致预测信息来求出有效系数的正负符号从而重建所述多个量化系数,其中,所述符号一致预测信息表示与所述多个第1频率系数分别对应的多个量化系数中的具有不为0的值的量化系数即所述有效系数的正负符号、和对所述多个第2频率系数中的与该有效系数相同的频率的分量进行表示的频率系数的正负符号是否一致;和
适应逆量化部,其针对所述多个量化系数的每一个算出修正量化系数作为所述符号一致信息,在所述量化系数的正负符号与所述第2频率系数的正负符号一致的情况下,利用第1量化刻度来对所述修正量化系数进行逆量化,另一方面,在所述量化系数的正负符号与所述第2频率系数的正负符号不一致的情况下,利用比所述第1量化刻度大的第2量化刻度来对所述修正量化系数进行逆量化,由此对所述多个第1频率系数进行解密,其中,所述修正量化系数根据该量化系数的正负符号、和对所述多个第2频率系数中的与该量化系数相同的频率的分量进行表示的频率系数的正负符号是否一致而具有不同的正负符号,并且具有与该量化系数的绝对值相同的绝对值。
12.一种动态图像加密方法,其特征在于,包含下述处理:
根据动态图像数据所含的已经加密的图片或者加密对象图片的已经加密的区域,来生成针对加密对象图片的加密对象块的预测图像;
通过在所述加密对象块和所述预测图像间进行差值运算,来生成所述加密对象块的预测误差图像;
通过对所述预测误差图像进行正交变换,来算出多个第1频率系数;
通过对所述预测图像进行正交变换,来算出多个第2频率系数;
判定所述多个第2频率系数各自的正负符号;
利用符号一致信息来对所述多个第1频率系数进行加密,其中,所述符号一致信息表示所述多个第1频率系数各自的正负符号、和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致。
13.一种动态图像解密方法,其特征在于,包含下述处理:
根据加密后的动态图像数据所含的已经解密的图片或者解密对象图片的已经解密的区域,来生成针对解密对象图片的解密对象块的预测图像;
通过对所述预测图像进行正交变换,来算出多个第2频率系数;
判定所述多个第2频率系数各自的正负符号;
利用符号一致信息来对多个第1频率系数进行解密,其中,所述符号一致信息表示通过对所述解密对象块与所述预测图像间的预测误差图像进行正交变换而算出的多个第1频率系数各自的正负符号、和对所述多个第2频率系数中的与该第1频率系数相同的频率的分量进行表示的频率系数的正负符号是否一致,并包含于所述加密后的动态图像数据;
通过对所述多个第1频率系数进行逆正交变换,来重建所述预测误差图像;
通过对所述预测误差图像的各像素的值加上所述预测图像的对应的像素的值,来重建所述解密对象块。
CN201080069302.4A 2010-09-30 2010-09-30 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法 Active CN103141101B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/067135 WO2012042646A1 (ja) 2010-09-30 2010-09-30 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Publications (2)

Publication Number Publication Date
CN103141101A CN103141101A (zh) 2013-06-05
CN103141101B true CN103141101B (zh) 2016-05-11

Family

ID=45892150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080069302.4A Active CN103141101B (zh) 2010-09-30 2010-09-30 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法

Country Status (4)

Country Link
US (1) US9509988B2 (zh)
JP (1) JP5590133B2 (zh)
CN (1) CN103141101B (zh)
WO (1) WO2012042646A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8958604B2 (en) * 2013-03-25 2015-02-17 Schlumberger Technology Corporation LWD real-time borehole image transmission
RU2619886C2 (ru) * 2013-03-26 2017-05-19 Долби Лабораторис Лайсэнзин Корпорейшн Кодирование перцепционно-квантованного видеоконтента в многоуровневом кодировании vdr
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR3014278A1 (fr) * 2013-11-29 2015-06-05 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
DE102014101307A1 (de) * 2014-02-03 2015-08-06 Osram Opto Semiconductors Gmbh Kodierverfahren zur Datenkompression von Leistungsspektren eines optoelektronischen Bauteils und Dekodierverfahren
FR3023112A1 (fr) * 2014-06-27 2016-01-01 Bcom Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
FR3046321B1 (fr) * 2015-12-29 2018-01-26 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes
US10657674B2 (en) * 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
CN106231318B (zh) * 2016-09-30 2020-04-28 浙江宇视科技有限公司 一种基于量化变换系数的视频加扰方法及装置
US10609367B2 (en) * 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
AU2018218182B2 (en) 2017-02-08 2022-12-15 Immersive Robotics Pty Ltd Antenna control for mobile device communication
CN107689950B (zh) 2017-06-23 2019-01-29 平安科技(深圳)有限公司 数据发布方法、装置、服务器和存储介质
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
WO2019100108A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Image compression for digital reality
WO2019150411A1 (ja) * 2018-01-30 2019-08-08 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
WO2019172798A1 (en) * 2018-03-07 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for residual sign prediction in transform domain
CN108460288B (zh) * 2018-04-02 2022-02-08 惠州学院 大数据安全加密方法、装置、存储介质及移动终端
CN109379508B (zh) * 2018-09-18 2019-09-06 湖北工程学院 一种联合加密与压缩的图像保护方法、存储介质
CN112019701B (zh) * 2020-09-08 2021-09-21 中国人民解放军海军航空大学 一种采用非线性低通滤波实现图像加密的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016588A (ja) * 1999-06-28 2001-01-19 Toshikazu Akama 信号処理システム
CN1461527A (zh) * 2001-04-09 2003-12-10 株式会社Ntt都科摩 信号编码方法与装置以及信号解码方法与装置
CN1976458A (zh) * 2005-10-19 2007-06-06 三星电子株式会社 利用层间相关性编码层内标记的方法、及解码方法和设备
CN101268696A (zh) * 2005-09-26 2008-09-17 三星电子株式会社 提高熵编码的性能的方法和设备及使用所述熵编码性能提高方法的视频编码方法和设备
CN101682772A (zh) * 2007-03-14 2010-03-24 日本电信电话株式会社 码量推定方法、装置、其程序和记录介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343120B2 (ja) * 2005-01-21 2009-10-14 ソニー株式会社 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
JP5219089B2 (ja) * 2009-04-30 2013-06-26 株式会社メガチップス 画像データの生成方法
US8675726B2 (en) * 2010-02-18 2014-03-18 Blackberry Limited Method and encoder for constrained soft-decision quantization in data compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016588A (ja) * 1999-06-28 2001-01-19 Toshikazu Akama 信号処理システム
CN1461527A (zh) * 2001-04-09 2003-12-10 株式会社Ntt都科摩 信号编码方法与装置以及信号解码方法与装置
CN101268696A (zh) * 2005-09-26 2008-09-17 三星电子株式会社 提高熵编码的性能的方法和设备及使用所述熵编码性能提高方法的视频编码方法和设备
CN1976458A (zh) * 2005-10-19 2007-06-06 三星电子株式会社 利用层间相关性编码层内标记的方法、及解码方法和设备
CN101682772A (zh) * 2007-03-14 2010-03-24 日本电信电话株式会社 码量推定方法、装置、其程序和记录介质

Also Published As

Publication number Publication date
JP5590133B2 (ja) 2014-09-17
US9509988B2 (en) 2016-11-29
US20130215961A1 (en) 2013-08-22
WO2012042646A1 (ja) 2012-04-05
CN103141101A (zh) 2013-06-05
JPWO2012042646A1 (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
CN103141101B (zh) 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法
US10412393B2 (en) Intra-frame encoding method, intra-frame decoding method, encoder, and decoder
EP3633995A1 (en) Method and device for chroma prediction
CN104247422B (zh) 用于改进帧内预测的新的角度表的方法和装置
RU2628157C1 (ru) Способ декодирования видеосигнала
TWI771679B (zh) 以區塊為基礎之預測技術
US20100086028A1 (en) Video encoding and decoding method and apparatus
CN103270700A (zh) 使用平面表达的增强帧内预测编码
CN105103549A (zh) 根据重要系数的参数的重要系数编码和解码
CN103765897A (zh) 编码方法、解码方法、编码设备以及解码设备
US11451799B2 (en) Transmission bit-rate control in a video encoder
CN105338352A (zh) 一种视频编码中自适应反量化方法及装置
CN109479136A (zh) 用于比特率控制的系统和方法
KR20200092315A (ko) 화상 처리 장치 및 방법
KR100966192B1 (ko) 신호 처리 시스템 및 방법, 신호 처리 장치 및 방법, 및 기록 매체
CN109922340A (zh) 图像编解码方法、装置、系统及存储介质
CN102905125B (zh) 运动图像编码设备和运动图像编码方法
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
CN104509117A (zh) 接收装置、传送装置以及影像传送方法
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
US8559502B2 (en) Method and device for minimizing a quantization error
Kim et al. Implementation of DWT-based adaptive mode selection for LCD overdrive
JP2020150441A (ja) 画像パディング方法、画像パディング装置、及びプログラム
JP6069009B2 (ja) 画像復号装置及び画像復号プログラム
CN115330890B (zh) 基于全局调整和稳定块条件的秘密图像分享方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant