CN1264251A - 图象处理装置和方法以及存储图象处理程序的存储介质 - Google Patents

图象处理装置和方法以及存储图象处理程序的存储介质 Download PDF

Info

Publication number
CN1264251A
CN1264251A CN99122995A CN99122995A CN1264251A CN 1264251 A CN1264251 A CN 1264251A CN 99122995 A CN99122995 A CN 99122995A CN 99122995 A CN99122995 A CN 99122995A CN 1264251 A CN1264251 A CN 1264251A
Authority
CN
China
Prior art keywords
frame
image
data
coding
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN99122995A
Other languages
English (en)
Other versions
CN1231062C (zh
Inventor
前田充
井上裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1264251A publication Critical patent/CN1264251A/zh
Application granted granted Critical
Publication of CN1231062C publication Critical patent/CN1231062C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates

Abstract

公开了一种图象处理装置及其方法,其特征是输入图象数据,生成保密数据以保护所述图象数据,根据所述保密数据控制一编码模式,和利用被控制的所述编码模式编码所述图象数据;以及在其上存储有一图象处理程序的一存储介质。

Description

图象处理装置和方法以及存储 图象处理程序的存储介质
本发明涉及用于保护图象等版权的图象处理。
近来,运动图象编码技术的标准化有了迅速的提高。诸如MPEG-1、MPEG-2、H.261和H.263(这些编码系统作为ISO(国际标准化组织)和ITU(国际电信联盟)的国际标准而被承认)之类的编码标准目前已被建立。另外,在MPEG-4中工作有所进展,MPEG-4是一种新国际标准,预期为下一代通用多媒体编码标准,可用于计算机、广播和通信等许多领域。利用编码技术可使图象数字化,使得运动图象数据的存储和传送得以明显改善。
例如,利用MPEG-4,在特定瞬间的一运动图象情景是诸如“人物”、“小汽车”、“背景”、“音乐”和“视频”之类的这些情景部分的目标的总和,并且对每一目标执行适当的编码处理以对所有的运动图象数据进行有效地编码。
根据诸如MPEG-4等的多目标编码技术,对于一情景的一帧通过组合被编码和被压缩的各个目标来表示。因此,可重复使用不同的MPEG-4数据而从特定的MPEG-4数据得到目标数据,从而可以容易地表示另外的帧。
当推广上述数字编码标准时,涉及商业的内容强列表示准备进行版权保护。也就是,如果这些标准不能令人满意地确保适当的版权保护,则不可能提供可靠的和优良的内容。
对于MPEG-4这是一个严重的问题。这是因为,如上所述,使用MPEG-4能对各个目标的数据进行编码和运算、处理。因此,因为多目标编码系统MPEG-4的使用允许连续地重新使用各个目标,所以它自然要求对由一目标所代表的知识产权提供保护。如果该目标是一个人,他自然寻求对肖象权的保护。
为了保护一部分运动图象的版权,使用一种用来暂时停止该运动图象的译码的方法来防止运动图象的一部分的重现。根据这种方法,当考虑该运动图象的肖象权和版权时,涉及这部分的译码被停止,直至这部分运动图象通过为止,当这部分运动图象通过时恢复对该运动图象的译码。
但是,利用这种方法会出现以下问题。
通常对编码运动图象使用用于使用帧间相关的编码系统。在上述情况中,已知编码系统H.261和H.263以及MPEG-1,2和4基本上沿时间轴涉及前帧或涉及前后两帧,并且执行运动补偿以编码运动图象。
图1示出了由H.261或H.263所提供的数据重现。I*表示用于帧内编码的一帧,和P*示用于帧间编码的一帧。在图1中,时间是指时间流失的方向,并且在保密中,由黑框来表示在其间译码处理被停止的一周期。代码表示按被编码次序排列的屏幕的排列。显示表示按被显示的次序的屏幕排列。
假定对帧P4到P9的被编码数据的译码被停止以提供对一知识产权(即,一版权)的保护(保密)。在数据P3处停止运动图象的译码,并且图象不再被显示直到该译码被恢复为止。因为写到一缓冲器中的编码数据在该相同时间也被停止,所以从P4到P9的编码数据被废弃。因此,当该图象保护时间结束并且该译码被恢复时,原来靠近数据P10的数据P9被废弃,从而数据P10和P10以下的数据不可能被正常地译码。其结果,直到用来执行帧内编码的帧I1被译码,在从P10到P13的间隔内,这些帧中的图象被变劣,或者该译码处理被停止。
MPEG-1,2和4还使用双向运动补偿,因此沿该时间轴的运动预测来自前面和随后的帧。
图2示出了由MPEG-1,2和4所提供的数据重现。B*表示用于双向帧间编码的帧。在图2中,时间是指时间流失的方向,在保密中由黑框来表示在其间译码处被停止的一周期。代码表示按所执行编码次序的屏幕排列。显示表示按被显示次序的屏幕排列。对于帧B,被编码图象的次序不同于原始图象的次序。
假定停止从B10到P3的对编码数据的译码以保护一知识产权(即,一版权)。因为如图1那样,不能正确地执行运动补偿,所以在帧B30和B31,或B40和B41中的图象不能被正确地译码,并且在这些图象中的图象被变劣,或者译码处理被停止。
为了解决上述问题,本发明的一个目的是提供一种用来令人满意地重现图象或用来为了提供该图象的知识产权保护(即,版权)而停止该图象的重现的图象处理装置和方法,并且提供一种在其上存储有一图象处理程序的存储介质。
为了实现上述目的,根据本发明,一种图象处理装置/方法的特征在于输入图象数据,产生保密数据以保护图象数据,根据该保密数据控制编码模式,和使用所控制的编码模式对该图象数据进行编码。
根据本发明的另一方面,提供了一种在其上存储有一图象处理程序的存储介质,该图象处理程序包括:
用于与输入图象数据相关的输入步骤的序列代码;
用于与产生保密数据以保护该图象数据相关的产生步骤的序列代码;
用于与根据该保密数据控制一编码模式相关的编码步骤的序列代码;
用于与使用所控制的编码模式编码该图象数据相关的控制步骤的序列代码。
本发明的其它目的、特征和优点从下面结合附图所作的详细说明可以更为清楚。
图1用来说明当图象被保护时该常规的译码处理(用于包含I和P帧的数据);
图2用来说明与图象被保护时该常规的译码处理(用于包含I、P和B帧的数据);
图3的框图表明了根据本发明第一实施例的一图象处理装置的构成;
图4的框图表明了根据本发明的第一实施例的一保密编码单元的构成;
图5表明了根据本发明第一实施例的保密编码数据;
图6的框图表明了根据本发明第一实施例的一视频编码单元的构成;
图7的框图表明了根据本发明第一实施例的一保密译码单元的构成;
图8的框图表明了根据本发明第一实施例的一视频译码单元的构成;
图9表明了根据本发明第一实施例的译码过程;
图10表明了根据本发明的对相应于一语音和运动图象的被编码数据所提供的保密;
图11表明了根据本发明的对相应于MPEG-4多目标的被编码数据所提供的保密;
图12的框图表明了根据本发明第二实施例的一视频编码单元的构成;
图13A,13B,13C,13D和13E用来说明根据本发明第二实施例的从用于允许保密信息的编码模式到用于禁止保密信息的编码模式的变化;
图14A,14B,14C,14D和14E用来说明根据本发明第二实施例的从用于禁止编码模式的保密信息到用于允许编码模式的保密信息的变化;
图15用来说明根据本发明的第二实施例的译码过程;
图16A,16B,16C,16D和16E用来说明根据本发明第二实施例的从允许编码模式的保密信息到禁止编码模式的保密信息的变化;
图17A,17B,17C,17D,17E和17F用来说明根据本发明第二实施例的从允许编码模式的保密信息到禁止编码模式信息的变化;
图18A,18B,18C,18D和18E用来说明根据本发明第二实施例的从禁止编码模式的保密信息到禁止编码模式的保密信息的变化;
图19的框图表明了根据本发明的第三实施例的一图象处理装置;
图20的框图表明了根据本发明的第三实施例的代码转换单元;
图21的框图表明了根据本发明的第四实施例的代码转换单元;
图22的框图表明了根据本发明的第五实施例的图象处理装置;
图23示出了根据本发明的第五实施例的存储器的内容;
图24的流程示出了对于本发明的第五实施例所执行的图象处理;
图25的流程示出了对于本发明的第六实施例所执行的图象处理;和
图26的流程示出了对于本发明的第六实施例所执行的图象处理。
现在将结合附图详细说明本发明的第一实施例。
图3的框图示出了根据本发明第一实施例的一图象处理装置的构成。
在图3中,保密编码单元1000用于对允许或禁止产生全部或部分运动图象的保密信息编码。视频编码单元1001对运动图象数据编码。
在这个实施例中,将给出使用MPEG-1编码系统对运动图象数据编码的说明。该MPEG-1编码系统本身这里不予说明,因为有关MPEG-1的工作在ISO/IEC11172-2中已给出全部详细说明。另外,为了简化说明起见,这里假定对每一帧的运动图象数据编码,并且假定使用了用于帧内编码的一帧模式和用于使用帧间相关的P帧模式。
多路转换器1002多路转换编码保密数据和编码运动图象以得到运动图象数据。存储装置1003存储被多路转换的图象数据。
通信电路1005由一LAN、一公共线网络、一无线电网络或广播无线电波所构成。通信接口1004和1006与通信电路1005一起交换运动数据。
分离器1007将运动图象数据分离成编码保密数据和编码运动图象数据。保密译码单元1008对编码保密数据译码,并将该译码数据与确认数据相比较以确定是否指示停止或恢复一运动图象的重现。视频译码单元1009对编码的运动图象数据译码,并且重现一运动图象。监视器1010显示重现的运动图象。
现在将说明由这种配置的装置所执行的运动图象数据的处理。
一操作员(未示出)输入被传送到视频编码单元1001的运动图象数据,还输入用于保密编码单元1000的提供知识产权保护(在本实施例中为一版权)开始的时间和该版权保护结束的时间,以及用来解除该保密的与一解除密钥相关的保密信息。
现在将详细说明该保密编码单元1000。
图4是该保密编码单元1000的详细框图。
在图4中,在输入端101输入保密信息。之后,保密设置指示器102使用该保密信息确定帧译码被禁止。保密编码单元103随后对该保密信息编码并且在输出端104输出。根据保密设置指示器102的输出,控制信号发生器105产生一控制信号去控制该视频编码单元1001。定时器106被用来对整个系统的时序进行同步,并且在输出端107输出一控制信号。
现在将说明由这种构成的保密编码单元1000所执行的编码处理。
该保密设置指示器102按照译码禁止指令中所呈现的时间顺序重新排列所接收的保密信息,并且存储该新排列的信息。该保密编码单元103随后对该保密信息编码,并且将所编码的数据通过输出端104输出到多路转换器1002。
现在详细说明该编码保密数据。
图5示出了该编码保密数据的构成。
代码长度码2001表示该代码长度;IP代码码2002表示需用于一知识产权(在本实施例中为一版权)确认的信息;保密开始时间码2003表示开始提供版权保护的时间;和保密结束时间码表示该版权保护结束的时间。应注意的是,如果一运动图象用于保密则希望将所使用的多个代码2002至2004组合分离成多段。
在本实施例中,利用多路转换器1002在运动图象数据的开头部分多路转换该编码保密数据。但是,该多路转换处理的使用并不因此而受限制,该编码保密数据可以时间共享方式与运动图象数据一起被多路复用并传送所得数据。
参见图4,该保密设置指示器102向控制信号发生器105发送开始提供版权保护的时间和结束版权保护的时间。控制信号发生器105将所接收的时间与由定时器106所指明的时间相比较,产生一用来控制提供版权保护的一信号,并且通过输出端107将它输出到视频编码单元1001。
现在来详细说明该视频编码单元1001。
图6是该视频编码单元1001的详细框图。
在图6中,图象数据在一输入端121处被输入,并且帧存储器122被用来存储用于每一帧的图象。减法单元123计算在每一宏块中象素的差。DCT和量化单元124执行一DCT变换和量化一变换系数。之后,结构(texture)编码单元125执行对该量化所得到结果的熵编码。
逆量化和DCT单元126接收一量化变换系数,并执行一逆量化和一逆DCT变换。加法器127对在每一宏块中用于该象素的值相加,并且一参考帧存储器128用于存储帧图象以执行运动补偿。运动补偿单元129根据由帧存储器122和参考帧存储器128所提供的数据计算一运动矢量,并且执行运动补偿。运动补偿编码单元130产生诸如从运动补偿单元129所输出的用于一宏块或运动矢量的编码模式的有关运动补偿的代码。
在端131处输入来自图2中的控制信号发生器的一控制信号。帧模式设置单元133设置一用来编码的帧模式,并且标题编码单元133对一包括一帧模式的标题进行编码。多路转换器134对由结构编码单元125、运动补偿编码单元130和标题编码单元133输出的数据进行多路转换,并且缓冲器135用来暂时存储由该多路转换器134所产生的标题数据。
速率控制器136控制代码量并且调整由DCT和量化单元124所使用的量化系数,并且输出端137向外输出由多路转换器134所产生的数据。
现在将说明由这种构成的视频编码单元1001所执行的编码处理。
在输入端121顺序地输入用于运动图象的图象数据,并且将其存储在帧存储器122中。在输入端131处输入用于对一帧编码的指明保密信息是“允许”或“禁止”的一控制信号。
首先,将对其中不进行保密措施和将“允许”传送到帧模式设置单元132的情况给予说明。
帧模式设置单元132以固定间隔执行帧内编码,并且执行对于另外帧的帧间编码。在这个实施例中,每15帧中一个I帧以I帧模式被编码,而另外14帧是P帧并且以P帧模式被编码。
帧模式设置单元132向运动补偿单元129、帧存储器122和参考帧存储器128传送一控制信号,从而以P帧模式执行运动补偿,或者不以I帧模式执行运动补偿。帧模式设置单元132向标题编码单元133传送一确定的帧模式,并且标题编码单元133根据MPEG-1说明产生用于该标题的编码数据。
在I帧模式中,运动补偿单元129输出一用于每一宏块(即,包含有16×16个象素的块)的0。在P帧模式中,运动补偿单元129查阅帧存储器122和参考帧存储器128去计算与一被编码的宏块相关的运动矢量,并且使用双向运动补偿去预测一被输出的宏块。
在帧存储器122中所存储的用于每一宏块的帧图象数据被传送到减法单元123中。减法单元123利用由运动补偿单元129输出的象素值和宏块的值执行减法程序。减法单元123的减法结果被输出到DCT和量化单元124,执行对该结果的DCT变换。DCT和量化单元124随后使用该量化系数去量化该所得到的值。
由DCT和量化单元124所得到的结果被传送到结构编码单元125中。根据MPEG-1编码说明,结构编码单元125对该宏块的编码模式、量化系数和量化结果进行编码(根据霍夫曼编码的熵编码(可变长度编码)),并且向多路转换器134输出所得到的数据。
由DCT和量化单元124输出的数据被传送到逆量化和IDCT单元126,随后执行一逆DCT变换以得到象素数据或由于运动补偿的误差数据。加法器127随后将误差数据加到由运动补偿单元129所得到的结果上。
由加法器127所得到的象素值被存储在参考帧存储器128中,并且由运动补偿单元129所得到的运动矢量被传送到运动补偿编码单元130中。运动补偿编码单元130对该运动矢量进行编码并且向多路转换器134输出编码运动矢量。
根据MPE6-1,多路转换器134对结构编码单元125、运动补偿编码单元130和标题编码单元133的输出进行多路转换,并且向缓冲器135输出该结果。在缓冲器135中所存储的编码数据通过输出端137被输出。另外,该速率控制器136监视在缓冲器135中存储的代码量,并且控制通过改变DCT和量化单元124的量化系数所产生的代码量。
现在将对其中给予保密和保密信息从允许变为禁止的情况作出说明。
这时,帧模式设置单元132不开始任何特定的操作,并且根据I帧模式和P帧模式的周期正常地设置一模式。因此,当保密信息表示允许时,其它单元以如像它们所做的那样的相同方式执行它们的操作。
现在将对其中该保密被解除和该保密信息从禁止变到允许的情况予以说明。
如像I帧模式那样,帧模式设置单元132指明被解锁的第一帧的帧模式。因此,标题编码单元133输出指明具有一I帧模式的被编码的帧的编码数据。因为运动补偿单元129不被激励,所以不执行运动补偿。对于跟随该I帧的帧,该帧模式根据予先设置的用于I帧和P帧的周期而被设置。
由输出端137输出的用于一运动图象的编码数据与被编码的保密数据一起被多路转换器1002多路转换。
被多路转换的运动图象数据被存储在存储单元1003中,或者通过通信接口1004被传送到通信电路1005中。
现在详细说明对这样得到的运动图象数据进行的译码处理。
如上产生的运动图象数据是从存储单元1003或从通信接口1006接收的。分离器1007将输入运动图象数据分离成编码运动图象数据和编码保密数据。该编码运动图象数据被传送到译码单元1009,而该编码保密数据被传送到保密译码单元1004。
现在详细说明该保密译码单元1008。
图7是用于该保密译码单元1008的详细框图。
在图7中,在输入端151上输入编码保密数据,并且通过保密译码单元152译码以获得确认信息和与用来提供版权保护的时间相关的信息。保密确认单元153分析该确认信息,并且确定译码是被执行还是被禁止。定时器154产生一时间,在该时间正确地重现一运动图象。控制信号发生155使用由保密确认单元153所做出的该确定的结果以产生一用于控制视频译码单元1009的信号。输出端156被用来将由控制信号发生器155所产生的一控制信号传送到视频译码单元1005。
现在将说明由这样构成的保密译码单元1008所执行的译码处理。
在输入端151处输入的编码保密数据由保密译码单元152来译码。在图5所示的各个代码中,代码长度码2001被译码以确定整个编码数据量,而IP代码码2002、保密开始时间码2003和保密结束时间码2004被译码以得到保密时的每一部分信息。
用于确认所需的信息被传送到保密确认单元153,并且如果在此后没有指令由该保密确认单元153发出,则该控制信号发生器通过输出端156向视频译码单元1009输出一控制信号,从而视频译码单元1009将对编码运动图象数据进行译码。
保密确认单元153将由一操作员在工作控制台(未示出)上所输入的确认信息与由保密译码单元152所译码的确认信息进行比较,并且确认译码是否被允许。
如果保密确认单元确定该译码被允许,则它通知该控制信号发生器155允许译码。此时,如果控制信号发生器155已经产生一控制信号以允许视频译码单元1009去译码运动图象数据,则这个控制信号不被改变。
如果保密确认单元153确定译码被禁止,则它向控制信号发生器155输出一禁止译码的信号。控制信号发生器155随后将由定时器154输出的时间与由保密译码单元152输出的信息进行比较并且确定在该时间开始提供适当的版权保护。当提供版权保护的该时间与由定时器154输出的时间相匹配时,一停止运动图象数据译码的信号通过输出端156被输出。另外,控制信号发生器155将确定该版权保护结束的时间的信息与自定时器154所接收的时间相比较。当二个时间相匹配时,一恢复运动图象数据的译码的信号通过输出端156被输出。
因此,视频译码单元1009根据自保密译码单元1008所接收的控制信号对编码运动图象数据进行译码。
现在详细说明视频译码单元1009。
图8是视频译码单元1009的详细框图。
在图8中,在图象数据输入端201处输入编码运动图象数据;在控制信号输入端202处输入来自保密译码单元1008的控制信号;该编码运动图象数据被存储在缓冲器203中。
分离器204从缓冲器203中读取MPEG-1编码数据,并将这些数据分离成表示代码内容的标题信息、用来执行运动补偿的运动补偿代码和通过DCT变换系数编码得到的数据。
对由分离器204所提供的标题信息译码的标题译码单元205通过对各种开始代码、图象的尺寸和各帧的编码模式进行译码获得信息。
运动补偿译码单元206对运动补偿代码、编码模式和各个宏块的运动矢量进行译码,并且得到运动补偿所需的信息。结构译码单元207对代码进行译码以获取用于量化系数的量化数据和DCT变换系数。
逆量化和IDCT单元208接收用于量化系数和DCT变换系数的量化数据,执行用于所接收数据和所得到的数据或运动补偿误差数据的逆量化和逆变换。
加法器209将由运动补偿所得到的结果加到该误差数据。参考帧存储器210用来存储用于运动补偿所需的参考帧。运动补偿单元211根据由运动矢量译码单元206所得到的结果执行用于参考帧存储器210内容的运动补偿。
显示帧存储器212用来在它们被输出之前暂时存储用于被译码帧的运动图象数据。输出端213用来将运动图象数据输出到监视器1010。
现在来说明由这种构成的视频译码单元1009所执行的译码处理。
首先,当在控制信号输入端202处所接收的控制信号指明允许译码时,在图象数据输入端201处所接收的编码运动图象数据被存储在缓冲器203中。当在控制信号输入端202处所接收的控制信号指明禁止译码时,该编码运动图象数据不被存储在缓冲器203中并被废弃。
将首先说明当该控制信号指明译码被允许时所执行的译码处理。
分离器204接收来自缓冲器203的编码数据,并将该编码数据分离成表示代码内容的标题信息、用来执行运动补偿的运动补偿代码和通过译码DCT变换系数所得到的数据。标题译码单元205译码各种开始数据、图象的尺寸和用于各自帧的编码模式以获取数据。
运动补偿译码单元206对由分离器204和用于各自宏块的编码模式及运动矢量所得到的运动补偿代码进行译码,并且获得用于运动补偿所需的信息。对于一P帧,该运动补偿译码单元216将所得到的信息传送到用于运动补偿操作的运动补偿单元211。
结构译码单元207对由分离器204所得到的编码数据译码,并且获得用于量化系数和DCT变换系数的量化数据。被译码的量化数据被传送到逆量化和IDCT单元208,随后得到由于运动补偿的象素数据或误差数据。
加法器209将误差数据加到由运动补偿单元211输出的数据上。如果由运动补偿译码单元206所译码的用于一宏块的编码模式是帧间编码,则运动补偿单元211向加法器209输出一0值。反之,根据所得到的运动误差,运动补偿单元211利用在参考帧存储器210中的参考帧执行运动补偿,并且向加法器209输出参考宏块数据。
由加法器209所得到的象素值存储在参考帧存储器210和显示帧存储器212中。并且在显示帧存储器212中所存储的图象数据通过输出端213输出到监视器1010中以便在那里显示。
现在将说明当控制信号将一指令从允许译码变为禁止译码以指示恢复译码时所执行的译码处理。
在缓冲器203中代码的输入被停止,并且标题译码单元205、运动补偿译码单元206、运动补偿单元211和结构译码单元207的工作也被停止。
另外,参考帧存储器210和显示帧存储器212的更新被禁止,其结果,用于最后帧的被译码的图象数据通过输出端212被输出。因此,在监视器1010中连续显示被允许译码的最后帧。
现在将说明当控制信号将一指令从禁止译码变为允许译码以指示恢复译码时所执行的译码处理。
在缓冲器203中的代码的输入被恢复,并且标题译码单元205被启动。因为第一帧是一I帧,所以结构译码单元207的操作被恢复,并且重新开始参考帧存储器210和显示帧存储器212的更新。各个单元的操作被继续以译码I帧和P帧直至该控制信号再次指示译码被禁止。因此,在监视器1010中的显示被更新,并且恢复运动图象的显示。
因为通过上述选择处理顺序译码被恢复和对第一帧执行帧间编码,所以容易地防止该帧图象的恶化或译码处理的中断。
如图9所示,假定是在编码帧P4和P9之间的间隔内提供版权保护(保密)并且这些帧不可能被保证。在这种情况中,由于直接位于保密被施加点之前的帧3被连续地显示,并且由于直接位于该保密被解除之后的帧点是一I帧,所以能够从直接跟随在保密解除之后的帧开始正确的译码,并且可防止图象的非连续性或图象的恶化。另外,从该保密被解除的时间到该图象实现恢复均不存在延迟(情景跳跃),并且可给用户提供一正常的图象。
在这个实施例中,在译码被禁止的周期期间内输出刚好在译码禁止之前译码的图象。但是,一予置的图象可以予先被存储存储器中,并且可以在上述周期期间被输出。
在这个实施例中当需要时可以改变该存储器构成。用于运动图象的编码系统不限于MPEG-1编码系统;MPEG-2编码系统也可以随被用作为一场的一帧一起被利用,并且可利用H.261或H.263编码系统。
用于编码保密数据的格式,该确认方法和用来指明一部分去接收版权保护的方法并不限于本实施例所述的内容,而另外的格式、另外的确认方法和另外的指明方法也可以使用。例如,如图10所示,除了在图5中的各个代码之外,一A/V标记位2005可以加到是否对一语音或对一运动图象版权保护的信号中。
为了使这个实施例应用于MPEG-4多目标,增加了一目标代码码2006以识别一目标,如图11中所示,并且建立和编码该保密以用于每一目标。配置多个语音编码单元,并且I-VOP被用于编码第一VOP,在那里用于每一目标的保密被解锁,从而可以保证该译码的保密和可防止图象质量的恶化。
另外,在保密被解锁的第一部分,提供组可用于MPEG-1,2的图象标题,或一组可用于MPEG-4的VOP标题。
根据第二实施例的图象处理装置的构成与图1中所示的图象处理装置的构成相同,不同之处仅仅是视频编码单元1001的内部构成和处理。因此,对于第二实施例仅仅说明该视频编码单元1001的构成和工作。
现在将说明由MPEG-1编码系统所编码的运动图象数据的情况。因为MPEG-1编码系统在ISO/IEC 11172-2中已有详细说明,所以这里不再予以介绍。并且为了说明简明起见,是对每一帧的数据编码,并且该编码模式包括沿时间轴用于帧内编码的I帧编码、用于利用帧间校正的P帧模式,以预测来自一前面帧的运动图象。以及沿时间轴用来予示来自前面和随后帧的一运动图象的B帧模式。
现在将详细说明在第二实施例中的视频编码单元1001。
图12示出了用于这个实施例的该视频编码单元1001的详细框图。
在图12中,在输入端301处输入图象数据,并且帧存储器302、303和304被用来存储一用于每一帧的图象。减法单元305计算用于每一宏块的象素单元的值相减的一差值。DCT和量化单元306执行DCT变换并量化一变换系数。结果编码单元307执行对由量化所得结果的熵编码。
逆量化和DCT单元308接收一被量化的变换系数,并且执行一逆量化和逆DCT变换。加法器309将用于每一宏块的象素值相加,并且参考帧存储器310和311用来存储帧图象以执行运动补偿。运动补偿单元312计算来自帧存储器302、303和304以及参考帧存储器310或311中的一个存储器的运动矢量,并且执行运动补偿。
运动补偿编码单元313产生诸如由运动补偿单元312输出的用于一宏块或一运动矢量的一编码模式之类的有关运动补偿的代码。
来自图4中的控制信号发生器的一控制信号在输入端314处被输入,同时帧模式设置单元315设置一用于编码的帧模式和标题编码单元316对一包括有一帧模式的标题编码。多路转换器317对由结构编码单元307、运动补偿编码单元313和标题编码单元316输出的数据进行多路转换。缓冲器318用来暂时存储由多路转换器产生的编码数据。
速率控制器控制代码量,并且调整由DCT和量化单元306所使用的量化系数。在缓冲器318中的数据通过输出端320输出。
现在将说明由这种结构的视频编码单元1001所执行的编码处理。
在输入端301处顺序输入用于运动图象的图象数据并且被存储在帧存储器302中。在输入端314输入一控制信号,该控制信号指明对于一被编码帧该保密信息是指示“允许”还是“禁止”。
首先,将说明在其中不提供保密和在帧模式设置单元315中输入“允许”的情况。
帧模式设置单元315以一固定间隔执行帧内编码,并且对另外帧执行帧间编码。在这个实施例中,每15帧存在有一以I帧模式编码的I帧,另外4帧是以P帧模式编码的P帧,并且剩下的10帧是以B帧模式编码的B帧。一帧周期是由在一P帧和一I帧之间或者在二个P帧之间设置二个B帧所提供的。也就是,该帧的配置为I B B P B B P B B P B B P B B I B B P……,并且在该配置中,在一I帧和下一个I帧之间存在有15个其它帧。
帧图象以帧存储器302、303和304的顺序被输入,即第一帧图象被存储在帧存储器302中,紧接着的帧图象被存储在帧存储器303中和下一个帧图象被存储在帧存储器304中,紧接着的下一个帧图象被存储在帧存储器302中。剩下的帧图象数据随后按顺序被存储。
帧模式设置单元315根据上述帧周期确定帧模式,并且向标题编码单元316输出所选择的帧模式。标题编码单元316根据MPEG-1说明产生编码标题数据。
因为当帧模式设置单元315指明为I帧模式时无需进行运动补偿,所以一控制信号被传送到运动补偿单元312以指明0值的输出,无需执行运动补偿。图象数据从帧存储器302,303或304中的一个帧存储器中被读出,在其中以I帧模式被编码的帧被存储。
当该帧模式设置单元315指明为P帧模式时,将执行运动补偿。图象数据从帧存储器302,303和304中的一个存储器中被读出,在这些存储器中存储了将以P帧模式编码的帧,并且还从其中存储了已经被译码的最后帧图象的参考帧存储器310和311中的一个读出图象数据。这些图象数据被传送到运动补偿单元312用来运动补偿操作。
当帧模式设置单元315指明为B帧模式时,执行运动补偿。图象数据从帧存储器302、303和304中的一个存储器中被读出,在其中以B帧模式被编码的帧被存储,并且还从参考帧存储器310和310两个存储器中被读出。这些图象数据被传送到运动补偿单元312中用来运动补偿操作。这时以B帧模式编码的数据不写入参考帧存储器310和311中。
在I帧模式中,运动补偿单元312输出对于每一宏块(即包括16×16象素的块)的一0值。
在P帧模式中,运动补偿单元312通过参考在其中存储有被编码帧的帧存储器302、303和304中的一个存储器和在其中在编码之前就存储了帧图象的参考帧存储器310或311而获得一运动矢量,并且输出一由运动补偿预测的宏块。
在B帧模式中,运动补偿单元312通过检验在其中存储有被编码帧的帧存储器302、303和304中的一个存储器和参考帧存储器310和311两个存储器而得到一运动矢量,并且输出一由运动补偿予示的宏块。
对于每一宏块,从该帧存储器中读出的帧图象数据被传送到相减单元305中。相减单元305对由运动补偿单元312输出的来自用于该宏块的值的每一象素值相减。由相减单元305得到的结果随后输出到DCT和量化单元306,在那里执行对该结果的DCT变换。DCT和量化单元306使用该量化系数量化所得到的值。
由DCT和量化单元306所得到的结果被传送到结构编码单元307。并且根据MPEG-1编码说明,结构编码单元307对该宏块的编码模式、量化系数和量化结果(根据霍夫曼编码熵编码(可变长度编码))进行编码,并将所得到的数据输出到多路转换器317。
由DCT和量化单元306输出的数据被传送到逆量化和IDCT单元308,随后执行逆DCT变换以得到象素数据或由于运动补偿的误差数据。该误差数据通过加法器309与由运动补偿单元312所得到的结果相加。
在仅仅I帧模式或P帧模式中,由加法器309所得到的象素值被存储在参考帧存储器310中,或存储在其中层经存储了过去已经被编码的图象数据的一参考帧存储器中。
由运动补偿单元312所得到的运动矢量被传送到运动补偿编码单元313中,在那里对该运动矢量编码并且将该编码矢量输出到多路转换器317。
根据MPEG-1格式,多路转换器317多路转换由结构编码单元307、运动补偿编码单元313、标题编码单元316输出的值,并将其结果输出到缓冲器318中。
在缓冲器318中存储的编码数据通过输出端320被输出,同时速率控制器319监视在缓冲器319中存储的代码量并且控制通过改变DCT和量化单元306的量化系数所产生的代码量。
现在将说明在其中该保密被提供和该信息从允许变为禁止的情况。
这时,该帧模式设置单元315利用在指明保密信息从“允许”变为“禁止”之前被处理的帧模式来改变一帧模式。这种状态示于图13A至13E中。
图13A至13E是用来说明当保密信息是从允许变为禁止时该编码模式的变化的图。
在图13A至13E中,I*表示以I帧模式被编码的一帧,P*表示以P帧模式被编码的一帧,和B*表示以B帧模式被编码的一帧。箭头表明由保密信息指明为禁止的位置。
在图13A的例子中,该适当的帧是运动图象数据的头,或者是一组图象的头并且具有1的closed-gop代码(一种包括在MPEG编码数据中的数据集之一的标志位并且它指明在GOP中的一图象可以单独地从其它GOP中被重现),并且在跟随帧I0之后的帧B1处开始禁止译码。这时,即使根据该代码顺序在帧I0处译码被终止,也不会出现译码失败,并且因为不存在呈现帧恶化的帧,所以帧模式不变化。
在图13B的例子中,在跟随帧I0和B1之后的帧B2处开始禁止译码。这时,虽然在该显示顺序中帧P3是在帧B1之后被显示,但按代码顺序帧P3位于帧B1之前,所以而如果帧P3被译码,则它可以在该译码侧被显示。因此,最初以B帧模式被编码的帧B1被改变为以P帧模式编码。并且随后,得到按照图13B中所示变化的代码顺序,并且帧P3不再被参考。即使帧P3是以I帧模式被编码,该帧模式也以相同方式而变化。
在图13C的例子中,译码是在跟随I0、B1和B2之后的帧P3处开始被禁止的。因为如图13B中所示那样帧P3是位于帧B2之前,所以如果P3被译码则它可由译码侧显示。因此,最初是以B帧模式编码的帧B1和B2被改变为以P帧模式被编码。之后,得到按照如图13C所示变化的代码顺序,并且帧P3不再被参考。即使帧P3是以I帧模式被编码,该帧模式也以相同方式改变。
在图13D的例子中,在紧靠帧P3的帧处开始禁止译码。因为帧P3位于帧B1和B2的之前,所以帧B1和B2可以不被译码。所以,最初以B帧模式编码的帧B1和B2被改变为以P帧模式编码。随后得到按照图13D所示变化的代码顺序,并且帧P1和P2被译码而无须用于译码侧的一特定构成。即使帧P3以I帧模式被编码,如图13E所示,该帧模式也以相同方式而改变。
现在说明在其中该保密被解锁和保密信息从禁止变为允许的情况。
此时,当指示保密信息是从“允许”变为“禁止”时该帧模式设置单元315利用在前和在后帧模式改变一帧模式。这种状态示于图14A到14E。
图14A到14E是用来说明当指示的保密信息是从禁止变为允许时编码模式变化的图。
在图14A至14E中,箭头指明在该位置处保密被解除和译码被启动。
在图14A的例子中,适当帧是运动图象数据的头或具有1的closed-gop代码的一组图象的头,并且在跟随帧I0后面的帧B1处开始排行译码。此时,在跟随帧I0的帧B1、B2和P3中出现由于这些帧涉及帧I0而不能正确地被译码的问题。因此,帧B1被改变为以I帧模式编码。随后,得到按照如图14A所示的改变的代码顺序,并且帧B2和P3可被正确地显示而无须用于译码侧的一特定构成。即使帧P3以I帧模式被编码,该帧模式也以相同方式变化。
在图14B的例子中,在跟随帧I0和B1之后的帧B2处开始允许译码。此时,在帧B2和P3中出现由于这些帧涉及帧I0而不能正确地被译码的问题。因此,帧B2变成以I帧模式编码和帧P3变成以P帧模编码。随后,得到按照图14B所示变化的代码顺序,并且帧I2和P3可被正确地显示而无须用于译码侧的特定构成。即使帧P3是以I帧模式被编码,该帧模式也以相同方式变化。
在图14C的例子中,在跟随帧I0、B1和B2之后的帧P3处开始允许译码。此时,在帧P3中会出现由于帧P3涉及帧I0而不能正确地被译码的问题。另外,帧B1和B2位于P3之后,会出现涉及对于这些帧执行译码和显示处理的另外的问题。为了得到对于该代码的正确顺序,帧P3和B1变为以P帧模式编码和帧B2变为以I帧模式编码。然后,得到按照图14C所示变化的代码顺序,并且帧P3可被正确地显示而无须用于译码侧的一特定构成。即使帧P3是以I帧模式编码,该帧模式也以相同方式而变化。
在图14D的例子中,在靠近帧P3的一个帧处开始允许译码。此时,因为在代码顺序中P3位于帧B1和B2之前,所以B1和B2可被译码,从而被编码数据B1和B2必须位于帧P3之前。因此,帧B1和B2是以P帧模式变化,并且跟随帧P3之后的情景是以I帧模式被编码的。之后,得到按照图14D所示变化的代码顺序,并且跟随帧P3之后的各帧可以正常地被显示无须一用于译码侧的特定构成。即使帧P3是以I帧模式被编码,该帧模式也是以相同方式变化的。
或者,如图14E所示,帧B1可参考帧I0和P2而编码,并且帧B2可以以P帧模式编码。此时,靠近帧P3的一个情景是以I帧模式编码的。
这些帧是根据这些编码模式被编码的,并且如果当它涉及保密时没有编码模式的变化,则在编码各帧中使用正常周期。
如像在第一实施例那样,由输出端320输出的编码运动图象数据是通过多路转换器1002与该编码保密数据一起被多路转换的。
因为该译码过程与第一实施例是相同的,所以对此过程将不予以说明。
通过上述选择性的处理顺序,对于译码被禁止或被恢复的一帧来说或对于前面或后面的帧来说,由于保密而该帧模式是变化的,并且根据该保密,不执行运补偿直至发出译码禁止或译码允许指令为止。因此,无须用于译码侧的一特定构成,容易防止在各帧中图象的恶化和译码操作的中断。
如图15所示,假定对于一版权的保护(保密)是用于在编码帧P1和B30之间的一间隔,并且假定这些帧不能被保证。在这种情况中,因为直接位于施加保密之前的帧P11被连续显示,并且因为直接位于该保密被解除之后的帧总是I帧,所以从该保密被解除之后立即处理的帧开始可以执行正确的译码,并且可以防止图象的不连续或图象的恶化。另外,在该保密的解除和图象恢复之间不存在有延迟(情景跳越),并且可向用户提供一正常图象。
在这个实施例中,在译码被禁止之前被译码的图象在译码被禁止的周期期间内被输出。但是,一预置的图象可以预先被存储在一存储器中,并且可在上述周期期间被输出。
该存储器构成可按照本实施例的要求而变化。用于运动图象的编码系统不限于MPEG-1编码系统;由于一个帧被用作一个场,所以也可以使用MPEG-2编码系统,并且还可以使用H.261或H.263编码系统。
另外,即使该GOP的构成的变化为IBBBPBBBPBBBPBBBIBBBPBBBP…当译码被禁止时,帧模式的变化如图16A至16E或图17A至17E所示,并且当译码被恢复时,对于目标帧以及前面和后面帧的帧模式变化如图18A至18E所示,从而根据该保密不执行运动补偿直至发出译码禁止或译码允许指令为止。因此,无须用于译码侧的一特定构成,易于防止在各帧中图象的恶化和译码操作的中断。可使用一任意周期来执行这种处理。
另外,该B帧模式不仅可以变化到P帧模式,还可变化到I帧模式。
图19的框图表明了根据本发明第三实施例的一图象处理装置。
在图19中,存储装置400被用于存储编码运动图象数据。在这个实施例中,为了简化说明起见不使用双向预测编码模式而使用任一个H.261或H.263编码系统作为用来编码运动图象数据的系统。这个实施例可应用MPEG-1或2编码系统而不使用双向预测编码模式(B帧模式)。
保密设置单元401设置用来允许或禁止部分或整个运动图象的重现的保密信息。代码转换单元402根据自保密设置单元401所接收的一指令转换编码运动图象数据。保密编码单元403编码保密信息。多路转换器404对编码保密数据和编码运动图象数据一起进行多路转换,并产生运动图象数据。存储单元405用来存储运动图象数据。
现在将说明通过这种配置的图象处理装置所执行的运动图象处理。
一操作员(未示出)选择存储在存储单元400中的编码运动图象数据,并向保密设置单元401输入用于该编码运动图象数据的版权保护的开始和结束时间以及指出用来解除保密的密钥的保密信息。
保密设置单元401按照译码禁止指令出现的时间顺序重新排列所接收的保密信息,并存储这种排列以备当一个帧被识别为与一个运动图象对应时使用。保密编码单元403对该保密信息编码,并且向多路转换器404输出被编码的保密数据。代码转换单元402转换与相应帧和一前面或后面的帧相关的代码。
现在将详细说明该代码转换单元402。
图20示出了根据第三实施例的代码转换单元402的详细框图。
在图20中,输入端451用来输入编码运动图象数据,分离器452将其分离为标题代码和编码图象数据,该数据是由H.261和H.263编码系统编码的。
标题代码是由表示诸如各种开始代码、图象的尺寸、比特速率和帧模式之类的代码特征的编码信息得到的。编码图象数据是诸如量化数据代码、运动矢量代码或用于一宏块的编码模式之类表示一运动图象的代码。
缓冲器453和454用来暂时存储由分离器452所提供的代码。输入端455用来输入从保密设置单元401所接收的用于每一帧的编码保密数据。保密设置指令单元456确定对于每一帧设置什么保密并且将指令发送到各自单元。标题译码单元457和462对该标题代码译码。
选择器458、459、460和461根据从保密设置指令单元456所接收的指令选择输入/输出数据。标题编码单元463编码标题信息,并且译码单元464译码图象数据以获得一运动图象。编码单元465编码运动图象数据以得到编码图象数据。
多路转换器466对产生的代码进行多路转换以获取H.261或H.263编码数据,并且输出端467输出由多路转换器466所得到的编码运动图象数据。
现在将说明由这种配置的代码转换单元402所执行的编码处理。
在输入端451处顺序地接收运动图象数据,并由分离器452分离成标题代码和编码图象数据。标题代码存储在缓冲器453中,并且编码图象数据存储在缓冲器454中。
存储在缓冲器453中的标题代码由标题译码单元457译码,并且得到用于一帧的编码模式并且输出到保密设置指令单元456。
保密设置指令单元456确定保密是否将被施加给各帧,并且分析沿一时间轴的在该保密开始处在先和在后帧以及在该保密结束处一帧的帧模式。
作为该分析的结果,对于帧模式必须改变的一帧,保密设置指令单元456操作选择器458、459、460和461,从而使该适当的帧通过标题译码单元462、标题编码单元463、译码单元464和编码单元465而被传递。保密设置指令单元456还向标题编码单元463传送一新的帧模式。如果该帧模式无须改变,则通过上述部件传送的输入/输出数据被选择。
首先,说明其中保密不被应用和帧模式不通过保密设置指令单元456被改变的情况。
保密设置指令单元456向选择器458、459、460和461发出指令以通过标题译码单元462、标题编码单元463、译码单元464和编码单元465传送一帧。读出存储在缓冲器453和454中的编码数据以用于每一帧并且输出到多路转换器466中。多路转换器466如同分离器452那样执行一逆操作,并且产生如同被输入那样的相同代码并通过输出端467输出。
现在说明在其中该保密被应用并且指明保密信息从允许变为禁止的情况。
如在第一实施例那样,该帧模式不变化,即,执行与当该保密未施加时所执行的相同的处理。
最后,说明在其中该保密被解除并且指明保密信息从禁止变为允许的情况。
帧模式设置单元304强制地将保密解除之后的第一帧的帧模式设置为I帧模式。如同在第一实施例那样,直至下一I帧的所有帧是以P帧模式编码。
也就是,保密设置指令单元456向选择器458、459、460和461发出指令通过标题译码单元462、标题编码单元463、译码单元464和编码单元465来传送该帧。
详细地说,执行以下的处理。
读取存储在缓冲器453中的编码数据以用于每一帧。标题译码单元462对该标题代码译码,并且通过用与该帧模式相关的信息置换它该标题编码单元463对该译码的标题代码进行编码。由标题编码单元463得到的编码数据随后通过选择器459被输出到多路转换器466。
译码单元464对该图象数据译码,并且重现用于一帧的图象,并且编码单元465以由保密设置指令单元456所指示的帧模式对该帧编码。由编码单元465所得到的编码数据随后通过选择器461输出到多路转换器466。
执行与由分离器452所执行的相反操作的多路转换器466对该编码数据进行多路转换并且通过输出端467输出所得到的数据。随后的处理对应于当所指出的保密数能是允许时所执行的一个处理。
因为,通过上述处理顺序,该编码数据根据保密的状态而被转换,即使保密数据被相加,也很容易防止在译码侧在各帧中的图象的恶化和译码操作的中断。
在本实施例中如必要则存储器结构可以变化。用于运动图象的编码系统不限于H.261或H.263编码系统,也可使用MPEG-1或2编码系统。只要对于每一目标执行相同的处理,就可以利用MPEG-4编码系统。
根据第四实施例的图象处理装置的构成与图19所示的图象处理装置是相同的,不同之处仅是内部构成和一代码转换单元402所执行的处理。因此,对于第四实施例,仅说明该代码转换单元402的构成和工作。在这个实施例中,为了简化说明起见,使用了一双向予示编码模式的MPEG-1编码系统被用作为用于运动图象数据的编码的系统。对于这个实施例,还可应用MPEG-2和4编码系统以及H.261和H.263编码系统。
图21是说明根据第四实施例的代码转换单元402的详细框图。
在图21中,输入端471用来接收编码运动图象数据,并且分离器472将其分离为标题代码和编码图象数据,被数据是由MPEG-1编码系统编码的。
标题代码是诸如各种开始代码、图象的尺寸、比特位率和帧模式之类的由表示代码特征的编码信息所得到的一种代码。编码图象数据是诸如量化数据代码、运动矢量代码、或用于一宏块的编码模式之类表示一运动图象的代码。
缓冲器473和474用来暂时存储由分离器472所得到的代码。输入端475被用来输入自保密设置单元401所接收的用于每一帧的编码保密数据。但密设置指令单元476确定对于每一帧设置什么样的保密和向各个单元发送指令。标题译码单元477和482译码该标题代码。
选择器478、479、480和481根据自保密设置指令单元476所接收的指令选择输入/输出数据。标题编码单元483编码标题信息,和译码单元484译码编码的图象数据以获得一运动图象。并且编码单元485编码运动图象数据以获得编码图象数据。
多路转换器486多路转换所产生的代码以获得MPEG-1编码数据,并且输出端487用来输出由多路转换器486所获得的编码运动图象数据。
帧模式设置单元488利用各自帧的帧模式和由保密设置指令单元476所输出的保密信息设置一帧模式。
现在将说明由这种构成的代码转换单元402所执行的编码处理。
在输入端471处顺序接收运动图象数据,并且由分离器472将其分离为标题代码和编码图象数据。该标题代码被存储在缓冲器473,和编码图象数据被存储在缓冲器474中。
在缓冲器473中存储的标题代码由标题译码单元477译码,并且获得用于一帧的该编码模式并输出到保密设置指令单元476。
保密设置指令单元476确定保密是否被提供给各个帧,并且分析沿一时间轴保密开始处的在前和在后帧以及保密结束处一个帧的帧模式。
如像该分析的结果那样,对于帧模式必须变化的一帧,该保密设置指令单元476操作选择器478、479、480和481,从而使合适的帧通过标题译码单元482、标题编码单元483和译码单元484及编码单元485而被传送。该保密设置指令单元还向标题编码单元483传送一新的帧模式。如果该帧模式没有变化,则输入/输出数据将通过上述所选择的部件而被传送。
首先说明其中该保密未被应用和帧模式通过保密设置指令单元476未被变化的情况。
该保密设置指令单元476向选择器478、479、480和481发送指向以通过标题译码单元482、标题编码单元483、译码单元484和编码单元485传递一帧。另外,保密设置指令单元476不允许该帧模式设置单元488被激励。
在缓冲器473和474中存储的编码数据对于每一帧被读取并被输出到多路转换器486。多路转换器486执行与分离器472相反的操作,产生与被输入相同的代码,并且通过输出端487而输出。
现在将说明其中该保密被应用并且所指明的保密信息从允许变化为禁止的情况。
该帧模式如同第二实施例那样被变化。该帧模式单元488被激励并且根据所提供的保密选择图13A至13D定时中的一个定时作为该定时,并且确定所确定时间前面和随后帧的编码模式。
保密设置指令单元476向选择器478、479、480和481发送指令以通过标题译码器482、标题编码单元483、译码单元484和编码单元485传送该帧。
更详细地说,执行如下的处理。
读取存储在缓冲器473和474中的编码数据以用于每一帧。该标题译码单元482译码该标题代码,并且该标题编码单元483通过置换与该帧每一帧而读取。该标题译码单元482译码该标题代码,并且该标题编码单元483通过置换与该帧模式有关的信息对被译码的标题代码进行编码。利用标题编码单元483所得到的编码数据随后通过选择器479输出到多路转换器486。
该译码单元484对图象数据译码,并且重现用于一帧的图象,并且编码单元485以由保密设置指令单元476所指示的帧模式编码该帧。由编码单元485所得到的编码数据通过选择器481输出到多路转换器486。译码和编码以所指明的帧模式而周期地被执行直至下一I帧到达为止。
多路转换器486执行由分离器472所执行的相反的操作,并且多路转换编码数据并且通过输出端487输出所得到的数据。当指明保密数据被允许相应于它执行以下处理。
最后,说明其中该保密被解除并且所指明的保密信息从禁止变为允许的情况。
该帧模式设置单元488以与第二实施例相同的方式来改变该帧模式。帧模式设置单元488被激励并且在该保密被解除处选择图14A至14D中所示的一个定时作为定时,并且确定所确定时间前面和随后的帧的编码模式。译码和编码以与当该保密被施加时相同的方式被执行,编码数据被多路转换并且所得结果数据通过输出端487而输出。当该保密数据指明允许时执行相应于它的后续处理。
因为根据该保密的状态借助于上述处理顺序该编码数据被转换,所以即使保密数据被相加,也可容易地防止在该译码侧帧中图象的恶化和译码操作的中断。
在本实施例中如果需要可改变该存储器结构。用于运动图象的编码系统不限于MPEG-1编码系统,还可使用MPEG-2编码系统。只要对每一目标执行相同的处理,还可使用MPEG-4编码系统。
图22的框图示出了根据本发明第五实施例的一图象处理装置的构成。
在图22中,中央处理单元(CPU)500提供对整个装置的控制并执行各种处理,存储器501提供操作系统(OS)所需的存储区域,而操作系统是控制装置、软件和计算处理所需的。
总线502与各个单元相连以交换数据和控制信号;存储单元503用来存储运动图象数据;和通信电路504由LAN、公用有线网络、无线网络或广播无线电网络所构成。
通信接口505接收来自通信电路504的运动图象数据。显示帧存储器506用来存储与被显示的运动图象相关的帧数据。监视器507用来显示一重现的运动图象。
图23示出了存储器501的使用和数据存储条件。
在存储器501中所存储的是:OS,用于整个装置的全面控制和用于各种软件程序的操作;系统编码器软件,用来编码用于语音和运动图象的同步控制;保密编码器软件,用来编码数据以保护一版权;运动图象编码器软件,用来编码运动图象数据;和音频编码器软件,用来编码声音。
另外,一图象区域用来存储与运动补偿数据相关的编码图象数据,和一工作区域用来存储在存储器501中所配置的计算参量。
利用上述构成,在该处理开始之前,系统编码器被激励以监视具有声音的运动图象的同步。该运动图象数据包括从存储单元503或通信接口505加载的编码保密数据、编码运动图象数据和编码音频数据,并且被存储在用于存储器501的该工作区域中。在本说明中,运动图象数据使用H.263编码系统编码;但是,也可使用任何其它的执行运动补偿的编码系统。
现在参考图24的流程图对由CPU 500对存储在存储单元503中的编码运动图象数据执行的处理作一说明。
首先,在步骤S01中,运动图象编码器被激励以I帧模式对第一帧编码。在步骤S02,执行一检验以确定是否从存储单元503中接收了运动图象数据。当运动图象数据被接收时,程序控制进入步骤S03。当运动图象数据未被接收时,中止编码处理。
在步骤S03中,保密编码器被激励以确定用于适当运动图象帧的保密信息。当指明保密信息从禁止变为允许(重新开始)时,程序控制进入步骤S04,反之程序控制进入步骤S05。
在步骤S04中,运动图象编码器被激励根据H.263编码系统以P帧模式编码合适运动图象。与用于P帧模式的编码对应,该帧间编码被设置以便每132帧执行一次,同时宏块继续保持在相同位置。所得到的运动图象数据随同该保密信息一起被多路转换,并且所得结果数据被存储在存储器501中的工作区域中。程序控制随后返回到步骤S02中。
在步骤S05中,运动图象编码器被激励根据H.263编码系统以I帧模式编码合适运动图象所得到的运动图象数据与保密信息一起被多路转换,并且所得结果数据被存储在存储器501的工作区域中。程序控制随后返回到步骤S02。
当该编码处理被中止时,在该工作区域中存储的所产生的编码数据被读取并且存储在存储单元503中,或通过通信接口305被传送到通信电路504中。
如上所述,当保密被解除和通过上述有选择的处理顺序启动译码时,该软件可被使用以提供可正确译码数据的部分或全部装置而不会出现图象中断或恶化。
除了由CPU 500对在存储单元503中存储的编码运动图象数据执行的处理之外,根据本发明的第六实施例的图象处理装置的构成和操作与图22中所示的第五实施例的图象处理装置的构成和操作是相同的。因此,将仅仅对该编码处理予以说明。
现在将结合图25和26中的流程图对CPU 500对装在存储单元503中的编码运动图象数据执行的处理予以说明。
首先,在步骤S11中,执行一检验以确定是否自存储单元503接收运动图象数据。如果运动图象数据被接收,则程序控制进入步骤S12。如果运动图象数据未被接收,则中止编码处理。
在步骤S12,保密编码器被激励以确定对适合的运动图象帧提供保密信息。如果指明保密信息被允许,则程序控制进入步骤S13。如果指明保密信息被禁止(停止),则程序控制进入步骤S14。
在步骤S13中,运动图象编码器被激励以I帧模式编码第一帧。此后,根据予先确定的周期对各个帧指定I帧模式、P帧模式和B帧模式,并且编码这些帧。编码数据和保密信息被多路转换并且所得结果数据被存储在存储器501中的工作区域中。程序控制随后返回到步骤S11。
在步骤S14中,执行一检验以确定在该允许条件之下最后帧的帧模式是否是I帧模式。如果最后帧是I帧,则程序控制进入步骤S15。如果最后帧是另外的帧,则程序控制移至步骤S17。
在步骤S15中,执行一检验以确定上述最后帧是否参考I帧而被编码。如果未参考I帧,则程序控制进入步骤S20。如果I帧被参考,则程序控制移至步骤S16。
在步骤S16中,P帧模式被用于编码包括上至最后帧之前的P帧或I帧并且位于上述最后帧之前的I帧之前并且以B帧模式被编码的这些帧。所得到的编码数据与该保密信息一起被多路转换,并将所得结果存储在存储器501中的工作区域中。随后程序控制移至步骤S20。
在步骤S17中,执行一检验以确定在允许条件之下最后帧的帧模式是否是B帧模式。如果最后帧的模式是B帧模式,则程序控制进入步骤S18。如果最后帧的模式是另外的帧模式,则程序控制进入步骤S19。
在步骤S18,P帧模式被用于编码上至上述最后帧之前的P帧或I帧的所有帧,包括在将以B帧模式编码的最后帧之前的B帧。编码数据与保密信息一起被多路转换,并且所得到的结果数据被存储在存储器501中的工作区域中。程序控制随后进入步骤S20。
在步骤S19中,P帧模式被利用以编码上至所述最后帧之前的P帧或I帧的所有帧所有帧直到最后帧之前的P帧或I帧,它们位于上述最后帧之前的P帧之前并且以B帧模式编码。程序控制进入步骤S20。
在步骤S20中,保密编码器被激励以确定用于适当运动图象帧的保密信息。当指定的保密信息从禁止变为允许(重新开始)时,程序控制进入步骤S22,反之程序进入步骤S21。
在步骤S21中,运动编码器软件被激励并且根据予先所确定的周期利用MPEG-2编码系统以各自的帧模式去编码运动图象数据。编码数据与保密信息一起被多路转换,并且所得结果数据被存储在存储器501中的工作区域中。
在步骤S22中,执行一检验以确定在指定保密信息从禁止变为允许之前的最后帧,即加有保密的最后帧,是否以B帧模式被编码。如果B帧模式被利用,程序控制进入步骤S23。如果另外帧模式被利用,则程序控制移至步骤S24。
在步骤S23中,最后帧和延伸至P帧或I帧的该最后帧之前的帧以P帧模式被编码,并且该编码数据与保密信息一起被多路转换。其所得结果数据被存储在存储器510中的工作区域中。随后程序控制进入步骤S26。
在步骤S24中,执行一检验以确定直接于被施加保密的上述最后帧的帧是否以B帧模式被编码。如果B帧模式被利用,则程序控制进入步骤S25。如果另一帧模式被利用,则程序控制进入步骤S26。
在步骤S25中,上至最后帧之前的P帧或I帧的多个帧是以P帧模式被编码的,并且被编码的帧与保密信息一起被多路转换以将所得结果数据存储在存储器501的工作区域中。随后,程序控制进入步骤S26。
在步骤S26中,在所指明的保密信息从禁止变为允许之后紧接的第一帧以I帧模式被编码。该编码数据与保密数据一起被多路转换并且所得到的结果数据被存储在存储器501中的工作区域中。随后程序控制进入步骤S11。
当该编码处理被中止时,这样被产生并被存储在工作区域中的编码数据被读取并被存储在存储单元503中,或者通过通信接口305被传送到通信电路504中。
如上所述,对于由于所指出的保密译码被禁止或恢复的帧和对于在前和后的帧来讲,帧模式是变化的,并且根据该保密不执行运动补偿直至译码禁止或允许指令被发出为止。因此,对于译码侧无须一特定构成,可以容易地防止在这些帧中图象的恶化和译码处理的中断。
本发明可以应用于由多个装置(如主计算机、接口装置、读取器、打印机等)或一单个装置(如一编译码器、一数字摄象机等)所构成的系统中。
以下系统或装置被包括在用来实现本发明的前述目的的本发明的范围内:被装入在一装置或一系统中的与各个部件相连接以激励这些部件的一计算机(CPU或MPU)中用来实施上述实施例的特性的一软件程序代码,并且由在该系统或该装置中的计算机来读取该程序代码。
在这种情况中,该软件程序代码完成上述实施例的功能和程序代码本身的功能,并将该程序代码提供给计算机,即构成本发明的在其上记录这种程序代码的存储介质。
可用来提供这种程序代码的存储介质例如可以是软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡或ROM。
另外,本发明不仅包括当程序代码被读取并由该计算机执行时可以执行前述实施例中的特征的情况,还可包括根据在该程序代码、在计算机中所运行的0S(操作系统)或另外的应用软件程序的指令,该计算机利用该程序代码完成上述实施例中的特征的情况。
另外,本发明包括在其中从一存储介质中读取的程序代码被写在被安置到插入一计算机中的一功能扩展盘上的存储器中,或被写在与一计算机相连的一功能扩展单元中的情况,并且为了实现上述实施例的功能,与一程序代码指令相一致,被安置在该功能扩展盘或功能扩展单元中的CPU执行部分或全部的实际处理。
上述实施例不限于用于编码保密数据的格式、确认方法和用来指明用于提供一版权保护部分的方法,还可以使用其它的格式、其它的确认方法和其它的指明方法。
换句话说,上述实施例的说明仅是用于例证性的说明,而不会对任何方面构成任何限制。
因此,本发明的范围仅由下面的权利要求来确定,它并且受说明书文本的限制,只要在该权利要求范围之内的变化都反映了本发明的真实精神和目的。

Claims (32)

1、一种图象处理装置,包括:
a)用来输入图象数据的输入装置;
b)用来生成保密数据以保护所述图象数据的生成装置;
c)用来利用多个编码模式编码所述图象数据的编码装置;
d)用来根据所述保密数据控制所述编码装置的编码模式的控制装置。
2、如权利要求1的图象处理装置,其中所述多个编码模式是至少一个帧内编码模式和一帧间编码模式。
3、如权利要求2的图象处理装置,其中所述帧间编码模式包括一正向预测编码模式。
4、如权利要求3的图象处理装置,其中所述帧间编码模式包括一双向预测编码模式。
5、如权利要求2的图象处理装置,其中当所述保密数据生成装置将重现禁止变为重现允许时,所述控制装置控制所述编码模式,从而执行在允许重现之后图象数据的帧内编码。
6、如权利要求4的图象处理装置,其中,当通过所述保密数据生成装置将重现允许变为重现禁止时,所述控制装置控制所述编码模式从而至少执行重现被禁止之前的图象数据的正向预测编码。
7、如权利要求2的图象处理装置,其中当通过所述保密生成装置将重现允许变为重现禁止时,所述控制装置控制所述编码模式从而至少执行重现被禁止之前图象数据的帧内编码。
8、如权利要求1的图象处理装置,其中所述图象数据是运动图象数据。
9、如权利要求8的图象处理装置,其中所述编码装置执行遵守MPEG-1的编码处理。
10、如权利要求8的图象处理装置,其中所述编码装置执行遵守MPEG-2的编码处理。
11、如权利要求8的图象处理装置,其中所述编码装置执行遵守H.261的编码处理。
12、如权利要求8的图象处理装置,其中所述编码装置执行遵守H.263的编码处理。
13、如权利要求1的图象处理装置,其中所述编码装置将一图象分离成N个目标其中N为一自然数,并且编码每一目标。
14、如权利要求13的图象处理装置,其中所述控制装置控制对于每一目标的编码处理。
15、如权利要求13的图象处理装置,其中所述保密数据至少包括用来识别所述目标的代码。
16、如权利要求1的图象处理装置,其中所述保密数据至少包括用来识别一版权的代码。
17、如权利要求1的图象处理装置,其中由所述输入装置输入的图象数据是利用多个编码模式编码的图象数据。
18、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据至少包括由帧内编码所得到的数据和由帧间编码所得到的数据。
19、如权利要求18的图象处理装置,其中所述帧间编码是正向预测编码。
20、如权利要求19的图象处理装置,其中所述帧间编码是双向预测编码。
21、如权利要求17的图象处理装置,其中所述编码装置重新编码由所述输入装置输入的图象数据。
22、如权利要求17的图象处理装置,其中所述控制装置使用由所述输入装置输入的图象数据的编码模式以确定是否由所述编码装置执行重新编码处理。
23、如权利要求22的图象处理装置,其中当所述保密数据生成装置将重现禁止被变为重现允许时,所述控制装置允许编码装置对重现被允许之后的图象数据执行帧内编码。
24、如权利要求22的图象处理装置,其中当所述保密数据生成装置将重现允许被变为重现禁止时,所述控制装置允许编码装置对重现被禁止之前的图象数据至少执行正向预测编码。
25、如权利要求22的图象处理装置,其中当所述保密数据生成装置将重现允许被变为重现禁止时,所述控制装置允许编码装置对重现被禁止之前的图象数据至少执行帧内编码。
26、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据是通过将一图象分离成N个目标其中N是一自然数,并且对每一目标编码所得到的数据。
27、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据是遵守H.261的编码数据。
28、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据是遵守H.263的编码数据。
29、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据是遵守MPEG-1的编码数据。
30、如权利要求17的图象处理装置,其中由所述输入装置输入的图象数据是遵守MPEG-2的编码数据。
31、一种图象处理方法,包括步骤:
输入图象数据;
生成保密数据以保密所述图象数据;
根据所述保密数据控制一编码模式;和
利用所述被控制的编码模式编码所述图象数据。
32、一种在其上存储有图象处理程序的计算机可读存储介质,所述图象处理程序包括:
a)用于输入图象数据的输入步骤的代码;
b)用于生成保密数据以保护所述图象数据的生成步骤的代码;
c)用于根据所述保密数据控制一编码模式的编码步骤的代码;和
d)用于利用所述被控制的编码模式编码所述图象数据的控制步骤的代码。
CNB991229959A 1998-12-18 1999-12-17 图像处理装置和方法 Expired - Fee Related CN1231062C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP360772/1998 1998-12-18
JP36077298 1998-12-18
JP109293/1999 1999-04-16
JP10929399A JP3976942B2 (ja) 1998-12-18 1999-04-16 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体

Publications (2)

Publication Number Publication Date
CN1264251A true CN1264251A (zh) 2000-08-23
CN1231062C CN1231062C (zh) 2005-12-07

Family

ID=26449073

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB991229959A Expired - Fee Related CN1231062C (zh) 1998-12-18 1999-12-17 图像处理装置和方法

Country Status (7)

Country Link
US (1) US6965643B1 (zh)
EP (1) EP1014724B1 (zh)
JP (1) JP3976942B2 (zh)
KR (1) KR100386104B1 (zh)
CN (1) CN1231062C (zh)
AT (1) ATE387809T1 (zh)
DE (1) DE69938220T2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177857B2 (en) * 2000-11-24 2007-02-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating distribution content
US20020077984A1 (en) * 2000-12-19 2002-06-20 Mark Ireton Enabling protected digital media to be shared between playback devices
MXPA03003512A (es) 2001-08-31 2003-10-07 Matsushita Electric Ind Co Ltd Metodo de codificacion de imagenes, metodo de decodificacion de imagenes y aparatos de los mismos.
GB0130041D0 (en) 2001-12-14 2002-02-06 Ibm Preparing multimedia content in a distributed data processing system
FR2835386B1 (fr) 2002-01-31 2004-05-28 Daniel Lecomte Dispositif pour la diffusion securisee, l'acces conditionnel, la visualisation controlee, la copie privee et la gestion des droits de contenus audiovisuels de type mpeg-4
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
JP2006035631A (ja) * 2004-07-27 2006-02-09 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム
US8073049B2 (en) * 2007-02-01 2011-12-06 Google Inc. Method of coding a video signal
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8526488B2 (en) 2010-02-09 2013-09-03 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US11265599B2 (en) 2019-06-11 2022-03-01 Nvidia Corporation Re-encoding predicted picture frames in live video stream applications

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353062A (en) 1991-04-25 1994-10-04 Canon Kabushiki Kaisha Method and apparatus for decoding moving images encoded by inter-frame prediction and displaying it
KR950013093A (ko) 1993-10-19 1995-05-17 모리시타 요이찌 스크램블전송장치 및 난수발생장치
JPH0888618A (ja) 1994-07-21 1996-04-02 Matsushita Electric Ind Co Ltd 誤り訂正装置
US5761223A (en) 1994-07-21 1998-06-02 Matsushita Electric Industrial Co., Ltd. Error correcting device
JPH08149462A (ja) 1994-11-24 1996-06-07 Nec Corp 画像パケット符号化装置および復号化装置
JP2842796B2 (ja) 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US5926209A (en) * 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
KR0166923B1 (ko) 1995-09-18 1999-03-20 구자홍 디지탈 방송 시스템의 불법 시청 및 복사 방지방법 및 장치
JPH09116596A (ja) 1995-10-24 1997-05-02 Matsushita Electric Ind Co Ltd 移動通信用動画像データ伝送装置
EP0794487B1 (en) 1996-03-08 2004-06-16 Matsushita Electric Industrial Co., Ltd. Image information processing system and microprocessor for the protected reproduction of AV data
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
US5805700A (en) 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
JP3817312B2 (ja) * 1996-11-29 2006-09-06 キヤノン株式会社 制御方法及び装置と撮像システム及び表示操作装置とのその方法
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
CA2323781C (en) 1998-03-16 2004-06-01 Intertrust Technologies Corporation Methods and apparatus for continuous control and protection of media content
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
US6535919B1 (en) 1998-06-29 2003-03-18 Canon Kabushiki Kaisha Verification of image data

Also Published As

Publication number Publication date
EP1014724B1 (en) 2008-02-27
JP2000236553A (ja) 2000-08-29
DE69938220D1 (de) 2008-04-10
KR20000048237A (ko) 2000-07-25
DE69938220T2 (de) 2009-02-19
US6965643B1 (en) 2005-11-15
JP3976942B2 (ja) 2007-09-19
KR100386104B1 (ko) 2003-06-02
EP1014724A2 (en) 2000-06-28
CN1231062C (zh) 2005-12-07
EP1014724A3 (en) 2001-10-10
ATE387809T1 (de) 2008-03-15

Similar Documents

Publication Publication Date Title
CN1202650C (zh) 图象处理方法
CN1203679C (zh) 用于自动转码编码的视频图象数据的方法和设备
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1075323C (zh) 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置
CN1167275C (zh) 图像处理方法
CN1133328C (zh) 画面编码和解码装置及其方法
CN1227909C (zh) 用于编辑压缩的图象序列的方法
CN1141844C (zh) 移动图像合成系统
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1943246A (zh) 图像解码方法
CN1231062C (zh) 图像处理装置和方法
CN1178501C (zh) 图象处理设备、其方法
CN1138275A (zh) 图形信号编码译码方法和装置及信号记录介质
CN1778110A (zh) 图像解码设备和图像解码方法
CN1537384A (zh) 用于子像素值内插的方法
CN1630374A (zh) 用于前向预测的隔行扫描视频帧的场的预测运动矢量
CN1725844A (zh) 数字媒体流的反向表示
CN1515117A (zh) 修改比特流
CN1241095A (zh) 利用编码历史信息的编码转换系统
CN1197252C (zh) 利用对应象素块的等级信息的变换系数进行图象的编码和译码
CN1278981A (zh) 图像编码装置及图像译码装置
CN1234939A (zh) 减少数据块失真的方法和装置及编码数据的方法和装置
CN1397137A (zh) 数据处理装置
CN1812548A (zh) 记录器及其方法,播放器及其方法,程序和记录介质
CN1319996A (zh) 图像编码和解码设备及其方法、图像记录和图像传送设备

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051207

Termination date: 20161217