CN100369481C - 代码变换方法及其装置 - Google Patents
代码变换方法及其装置 Download PDFInfo
- Publication number
- CN100369481C CN100369481C CNB2004800015410A CN200480001541A CN100369481C CN 100369481 C CN100369481 C CN 100369481C CN B2004800015410 A CNB2004800015410 A CN B2004800015410A CN 200480001541 A CN200480001541 A CN 200480001541A CN 100369481 C CN100369481 C CN 100369481C
- Authority
- CN
- China
- Prior art keywords
- mentioned
- data
- code
- user data
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Abstract
本发明公开了一种代码变换方法及其装置。为了对应用户数据的格式变换,分别变更输入代码中的序列头(sequence header)中的位率值和VBV(Video Buffering Verifier)缓冲器大小值、以及图像头中的VBV延迟值,将其作为中间代码(305~309),并且生成用以从GOP(Group ofPicture)用户数据(307)以外的主要数据来识别它的附加信息(300)。通过使用该附加信息(300)进行VBV缓冲器模拟,在图像用户数据区域中仅将不会导致操作失败的数据量的GOP用户数据多重化,来生成输出代码。
Description
技术领域
本发明涉及一种被压缩编码的多媒体信息的代码变换(codetranslation)的方法及其装置,特别涉及用户数据的格式变换和追加。
背景技术
一般,ISO13818-2作为有关被称为MPEG-2(Moving PictureExperts Group Phase 2)的多媒体信息的压缩编码技术的规格,广为人知。MPEG-2的视频流(video stream)具有阶层结构,从最上位开始依次由序列层、GOP(Group of Pictures)层、图像层、条块(slice)层、大块层及块层构成。向各层的头端插入被称作起始码的4字节长的特殊模式。该起始码,以0x00、0x00、0x01这3字节开始,用其次的1字节表示接着该起始码的数据的种类(0x表示是16进制记载。以下,相同)。例如,序列层、GOP层、图像层、条块层的各起始码的第4字节,分别是0xB3、0xB8、0x00、0xAF。
在MPEG-2中,允许在序列层、GOP层、图像层的各层中设定用户扩张区域,仅通过由0x00、0x00、0x01、0xB2构成的4字节决定用户数据的起始码,就能够对任意的用户扩张区域设置基于独自的用户扩张的任意格式的用户数据。
实际上,在DVD(Digital Versatile Disk)等数字存储媒体、和DVB(Digital Video Broadcasting)等数字放送中,基于MPEG-2来进行每个独自的用户扩张。例如,用于隐藏式字幕(closed caption)的用户数据的规格没有被统一,要求用户数据间的格式变换就是实际的情况。
另外,用于将英语字幕信息等文字信息作为用户数据保存在GOP头中的实时编码技术广为人知(参照日本国特开2001-145067号公报)。
并且,还提出了能够在TS(Transport Stream)间的变换中减少处理量的位率变换装置(代码转换机)(参照日本国特开2001-251616号公报)。
言归正传,用以变换用户数据的格式的最简单的方法,是将一个系统的解码器与另一个系统的编码器连接起来的方法。不过,会对用户数据以外的数据,也就是主要数据进行无用的处理,并且,会成为画质变坏的原因。
即使这样,当仅单纯地变换输入代码中的用户数据的格式,获得输出代码时,若由于该变换引起数据量大幅度地变化,则有可能对比率(rate)控制带来失败。作为决定数据量的容许范围的参数,位率值及VBV(VideoBuffering Verifier)缓冲器大小值被包含在序列头中,VBV延迟值被包含在图像头中,基于这些参数的比率控制有可能会失败。并且,向输入代码追加用户数据作为输出代码时的情况也是一样。
发明内容
本发明的目的在于:提供一种能够在不对比率控制带来失败的情况下,实现用户数据的格式变换和追加的代码变换方法及其装置。
为了达到此目的,本发明是这样的:当接收基于某种规格的输入代码,且变换该输入代码中的设置在用户扩张区域中的用户数据的格式,将其作为输出代码,或者向该输入代码追加用户数据作为输出代码时,在变更决定输入代码中的数据量的容许范围的参数,以便能够对应用户数据的格式变换或者追加后,用规定的格式将参数变更后的输入代码和用户数据多重化,以便根据变更后的参数生成输出代码。
附图的简单说明
图1为示出了本发明所涉及的代码变换装置的结构例的方块图。
图2、图3及图4是图1的代码变换装置中的数据格式图,图2表示输入代码,图3表示中间代码,图4表示输出代码。
图5为示出了图1中的数据解析部的内部结构例的方块图。
图6为示出了图1中的多重化部的内部结构例的方块图。
图7为示出了图6中的主要数据再处理部的内部结构例的方块图。
具体实施方式
以下,参照附图,对代码变换所涉及的本发明的实施例加以详细说明。不过,使问题简单化。首先,输入代码是MPEG-2的视频流,将其变换成规定的格式的输出代码。输入代码具有GOP层的用户扩张区域(GOP用户数据区域),输出代码具有每个图像层的用户扩张区域(图像用户数据区域),例如,用于隐藏式字幕的用户数据分别被设置在这些区域中。并且,1个GOP最大由15帧构成,且在1个GOP中仅具有与若干个先头帧相对应的用户数据。也就是说,并不限定必须具有与每个图像相对应的用户数据。变换前,15帧中只有1帧带有4字节的起始码,变换后,每帧都带有用户数据的4字节的起始码。因此,即使在只考虑起始码的情况下,每秒作为30帧,因变换也会使位率增加(14/15)×30×4×8bps。并且,假设变换后的用户数据的位置不严密。例如,在用以隐藏式字幕的用户数据中,不要求与图像数据完全同步。
有关上述用户数据位置的假设、和与全部帧相对应的用户数据不存在的状况,在隐藏式字幕等现在使用的系统中,是很妥当的假设。
图1示出了本发明所涉及的代码变换装置的结构例。图1的代码变换装置由数据解析部101、数据缓冲器102和多重化部103构成。例如,数据解析部101和多重化部103构成被称为流控制器104的一个LSI,作为数据缓冲器102作用的存储器被连接在该LSI上。数据解析部101,具有如下功能:将输入代码121解析,变更决定该输入代码121中的数据量的容许范围的参数(位率值、VBV缓冲器大小值及VBV延迟值),以便能够对应于用户数据的格式变换,且生成用以从该输入代码121中的用户数据以外的主要数据来识别用户数据的附加信息。数据缓冲器102,是用以暂时将参数变更后的输入代码和附加信息一起保存起来的存储器。122是从数据解析部101向数据缓冲器102的写入地址,123是从数据解析部101向数据缓冲器102的写入数据,124是从数据解析部101向多重化部103通知的写入数据大小。多重化部103,具有如下功能:按照数据缓冲器102中的附加信息以规定的格式将参数变更后的输人代码和用户数据多重化,以便根据变更后的参数来生成输出代码127。125是从多重化部103向数据缓冲器102的读出地址,126是从数据缓冲器102向多重化部103的读出数据。
图2是表示输入代码121的数据格式图,图3是表示保存在数据缓冲器102中的中间代码的数据格式图,图4是表示输出代码127的数据格式图。
在图2中,201是序列头,202是GOP头,203是GOP用户数据,204是图像头,205是图像数据。GOP用户数据203的区域,包含用以隐藏式字幕的用户数据。图2所示的仅是1个图像,实际上,“图像头204+图像数据205”重复相当于图像数目的次数。
在图3所示的中间代码中,305是序列头,306是GOP头,307是GOP用户数据,308是图像头,309是图像数据。分别与图2中的序列头201、GOP头202、GOP用户数据203,图像头204,图像数据205相对应。该中间代码,还包括:用以从图像数据309等主要数据来识别GOP用户数据307的附加信息300。在附加信息300中,301是包含图像大小及图像类型的图像信息,302是用户数据位置,303是用户数据大小,304是图像数据位置。其中,图像信息301中的图像大小表示包含在该处理单位中的图像的全体大小,图像类型表示I(Intra)图像、P(Predictive)图像、B(Bidirectionally predictive)图像这样的不同编码类型。并且,GOP用户数据307的先头位置及大小分别通过用户数据位置302及用户数据大小303表示,图像数据309的先头位置通过图像数据位置304表示。
数据解析部101,将带有图3所示的附加信息300的数据保存在数据缓冲器102中。由于是4字节长度的特殊模式的起始码一定被插入数据之间,因此若是能够随机存取的存储器的话,则能够很简单地形成这样的数据结构。而且,由于设置附加信息300,因此区别GOP用户数据307和其它数据的数据缓冲器存取变得简单。并且,由于具有含图像大小的图像信息301,因此图3的数据结构的最后,也就是下一个附加信息300的开始点,也能够很简单地存取。
位率值及VBV缓冲器大小值决定数据量的上限,VBV延迟值决定CBR(Constant Bit Rate:固定位率)时的数据量的下限。不过,当VBV延迟值是0xffff时,认为是VBR(Variable Bit Rate:可变位率),不受数据量下限的制约。
因此,已通过数据解析部101重新改写了序列头305中的位率值和VBV缓冲器大小值、以及图像头308中的VBV延迟值,以使它们能够与用户数据的格式变换相对应。例如,使位率值增加是因用户数据的格式变换而引起的位率增加预测值的(14/15)×30×4×8bps,将VBV缓冲器大小值变更为在规格中所能容许的最大值,将VBV延迟值设为0xffff而使其为VBR的设定。不过,若用户数据因格式变换而变少的话,则改写后的位率值可以比原来的位率值小。改写后的VBV缓冲器大小值只要大于或等于所预测的最大图像大小就行,并且,可以照原样使用原来的VBV缓冲器大小值。也能够采用放弃VBR的设定,在CBR的状态下重新计算VBV延迟值,进行填入(stuffing)的方法。并且,可以在多重化部103进行这些参数的变更。
多重化部103,按照数据缓冲器102中的附加信息300将GOP用户数据307和那以外的主要数据多重化,以便生成具有图4所示的格式的输出代码127。
在图4中,401是序列头,402是GOP头,403是图像头,404是图像用户数据,405是图像数据。分别与图3中的序列头305、GOP头306、图像头308,GOP用户数据307,图像数据309相对应。图4所示的仅是1个图像,实际上,“图像头403+图像用户数据404+图像数据405”重复相当于图像数目的次数。
以下,参照图5及图6,对数据解析部101及多重化部103的各详细情况加以说明。
图5示出了图1中的数据解析部101的内部结构例。图5的数据解析部101,由第1、第2、第3及第4输入寄存器501、502、503、504;起始码检测部505;用以控制全体的数据解析控制部506和用以附加信息300的插入的选择器507构成。
数据解析部101,以一个字节为单位重复下述步骤1~7。也就是说,在步骤1中取入数据,在步骤2中判定与已输入的3个字节的数据合起来是否是起始码。那时,若能够满足规定条件的话,则进行步骤3的附加信息写入处理。在此处理后,预先使数据写入用的指针增加所规定的大小,作为用以写入下一个图像的附加信息的准备。在步骤4中,根据起始码设定各种标记。在步骤5中,分别变更位率值、VBV缓冲器大小值、VBV延迟值。在步骤6中,使各种计数器增加。在步骤7中,将多重化数据写入数据缓冲器102中。
以下,在说明各步骤的详细情况之前,对数据解析控制部506具有的各种标记、计数器加以说明。首先,PICSIZE是表示为处理单位的图像的大小的计数器,用于比率控制和检测下一个附加信息位置。USER_COUNT是表示用户数据的起始位置的计数器,USERSIZE是表示用户数据的大小的计数器,PICDATA_COUNT是表示图像数据的起始位置的计数器。这4个计数器,分别与图3中的图像信息301中的图像大小、用户数据位置302、用户数据大小303、图像数据位置304对应。SEQHEAD_FLAG、GOPHEAD_FLAG、PICHEAD_FLAG、USER_FLAG及SLICE_FLAG,是分别表示检测出了序列头、GOP头、图像头、用户数据、条块的各起始码的标记。PICTOP_COUNT是表示图像头中的字节数的计数器,在变更VBV延迟值时使用。BP及WP是数据缓冲器102的指针,BP是表示附加信息300的写入位置的第1指针,WP是表示其它数据的写入位置的第2指针。
<步骤1:取入输入数据>
向第4输入寄存器504写入第3输入寄存器503的值。按下述顺序写入值,向第1输入寄存器501写入输入代码121的1个字节数据。
<步骤2:检测起始码>
起始码检测部505,判定第1~第4输入寄存器501~504的4个字节的数据是否与起始码一致,或者全部的字节是否是0x00。
<步骤3:写入附加信息>
整个步骤3,仅在下述情况中的任意一种情况下进行下述处理,它们是:(a)当检测出序列头时,(b)当SEQHEAD_FLAG=0,且检测出GOP头时,(c)当SEQHEAD_FLAG=0、GOPHEAD_FLAG=0且检测出图像头时。
步骤3中的最初动作,是用规定格式将附加信息300写入数据缓冲器102的处理。这里,将PICSIZE、USER_COUNT、USERSIZE、PICDATA_COUNT的各个值写入由第1指针BP所指示的地址。
其次,进行第1及第2指针BP、WP的更新。具体地说,向第1指针BP代入第2指针WP的值,使第2指针WP的值增加附加信息300的大小。通过此动作,向第1指针BP写入下一个图像的附加信息的位置,向第2指针WP写入附加信息的下一个位置。
最后,将各种标记、计数器初始化。具体地说,将PICSIZE、USER_COUNT、USERSIZE、PICDATA COUNT及PICTOP_COUNT全部初始化为0,将SEQHEAD_FLAG、GOPHEAD_FLAG、PICHEAD_FLAG及USER_FLAG全部清零。
<步骤4:标记更新处理>
接受检测出的起始码的结果,将该标记清零,且设定它。具体地说,(1)当检测出序列头时,使SEQHEAD_FLAG=1,GOPHEAD_FLAG=0,PICHEAD_FLAG=0,USER_FLAG=0;(2)当检测出GOP头时,使GOPHEAD_FLAG=1,PICHEAD_FLAG=0,USER_FLAG=0;(3)当检测出图像头时,使PICHEAD_FLAG=1,USER_FLAG=0;(4)当检测出用户数据的起始码时,向USER_FLAG设定GOPHEAD_FLAG的内容;(5)当检测出条块的起始码时,使SEQHEAD_FLAG=0,GOPHEAD_FLAG=0,PICHEAD_FLAG=0,USER_FLAG=0,SLICE_FLAG=1。
<步骤5:数据改写处理>
如上述那样,变更位率值、VBV缓冲器大小值、VBV延迟值。当SEQHEAD_FLAG=1时,PICSIZE表示来自序列头的字节数,能够根据该值判定是否符合位率值、VBV缓冲器大小值。并且,利用PICTOP_COUNT决定VBV延迟值的两个字节,进行改写。
<步骤6:增加计数器>
当第1~第4输入寄存器501~504的值全为0x00时,不执行步骤6和其次的步骤7。也就是,跳过数据写入的步骤7的结果,是被填入的0(主要数据中的冗长数据)被删除。根据规格,即使删除这样的模式(pattern),也不会出现不良影响。
若第1~第4输入寄存器501~504的任意一个为0x00以外的话,则进行下述动作。也就是说,PICSIZE在不受标记的影响下增加。USER_COUNT,仅在USER_FLAG=0且PICHEAD_FLAG=0时增加。USERSIZE,仅在USER_FLAG=1时增加。PICDATA_COUNT,仅在SLICE_FLAG=0时增加。PICTOP_COUNT,仅在PICHEAD_FLAG=1时增加。因此,各种计数器,能够根据起始码的产生而将规定量计数。
<步骤7:写入数据>
若第1~第4输入寄存器501~504的任意一个为0x00以外的话,将第4输入寄存器504的值写入由第2指针WP指定的数据缓冲器102的地址位置,且使第2指针WP增加1。
另外,写入数据大小124,将数据解析控制部106的第1指针BP的值照原样输出。也就是,写入数据大小124,表示最后写入了附加信息300的地址。
若用上述说明的流程向数据缓冲器102写入数据的话,则能够实现图3所示的格式。这里,最重要的点是:数据缓冲器102能够在区别GOP用户数据307的区域、和那以外的主要数据的区域的情况下进行存取。若能够进行这样的区别的话,则也能够利用例如将缓冲器预先设在其它区域中等的其它手法。但是,与使用其它的缓冲器相比,以在单个缓冲器上加上附加信息300的形式来识别数据,缓冲器的利用效率更高。也能够对该附加信息300进一步地附加原来的数据大小等其它信息,且利用它。
图6示出了图1中的多重化部103的内部结构例。图6的多重化部103由下述部构成,它们是:依次输出附加信息的附加信息读出部601,用以保持附加信息的主要附加信息缓冲器602,依次输出主要数据的主要数据读出部603,依次输出用户数据的用户数据读出部604,用以保持在此用户数据读出部604参照的附加信息的用户附加信息缓冲器605,多重化控制部606,以及主要数据再处理部701。主要附加信息缓冲器602,在将主要数据多重化时使用,每将一个图像多重化,就将附加信息删除。而用户附加信息缓冲器605,在将用户数据多重化时使用,仅在完成了将用户数据多重化时,将附加信息删除。621及702是主要数据,622及703是主要数据有效信号,623是用户数据,624是用户数据有效信号,625是帧号,704是大小变更指令。多重化控制部606,通过在恰当的时间将主要数据702、用户数据623、起始码等输出,来输出图4所示的格式的输出代码127。另外,由于写入数据大小124是表示数据解析部101将数据写入到哪儿的,因此具有不会使多重化部103错误地处理没有被写入的数据的功能。以后,对主要数据再处理部701的功能加以说明。
多重化控制部606的大概动作,是:首先,根据主要附加信息缓冲器602的数据来计算能够向各图像层配置的用户数据量,且在依次输出图3中的序列头305、GOP头306、图像头308后,仅以能够配置的数据量,将GOP用户数据307多重化,然后,将图像数据309输出。因此,能够获得图4所示的序列头401、GOP头402、图像头403、图像用户数据404、图像数据405。
这里,虽然因图像用户数据404的配置使变换后的数据量增多,但是所要的用户数据一定能够配置在多个帧中。并且,由于预先计算能够配置的数据量,因此没有因此配置处理而使比率控制失败的现象。由于使位率值增大到比原来的值大,因此没有不可能配置的数据连续的现象。
若更详细地加以说明的话,附加信息读出部601,在内部具有引导指针和图像大小用的计数器,写入地址122比引导指针还大,且当在主要附加信息缓冲器602中有空间时开始动作。最初,利用引导指针从数据缓冲器102读出附加信息300,写入主要附加信息缓冲器602中。其次,利用从图像信息301获得的图像大小的信息,推测出其次的附加信息的位置,使数据缓冲器102的引导指针增加到该位置。主要附加信息缓冲器602,能够保存多组附加信息。
主要数据读出部603,根据被保存在主要附加信息缓冲器602中的附加信息,依次读出主要数据,且将其输出到主要数据再处理部701。详细内容以后再加以说明,主要数据再处理部701,一般将被供给的主要数据621作为主要数据702照原样提供给多重化控制部606。在一个图像的读出结束后,将主要附加信息缓冲器602的该附加信息删除。主要数据读出部603,在有效主要数据621的准备完成后,使主要数据有效信号622为1,通过主要数据再处理部701将完成了准备的事情通知给多重化控制部606。此时,主要数据再处理部701,将被供给的主要数据有效信号622作为主要数据有效信息703照原样提供给多重化控制部606。
用户数据读出部604,将附加信息依次写入用户附加信息缓冲器605,根据此信息,依次仅进行GOP用户数据307的读出。此时,对于用户数据的大小是0的,寻找下一个图像。此用户数据读出部604,在有效用户数据623的准备完成后,使用户数据有效信号624为1,且输出与该用户数据623相对应的帧号625。帧号625,包含:含此数据的图像是从头开始数的第几个信息、和其次被读出的用户数据是从头开始数的第几个字(word)的信息,示出了应该将该用户数据作为第几帧的用户数据配置的信息。
多重化控制部606,等待每个图像的主要数据有效信息703成为1的情况,进行如下动作。最初,决定是否应该向现在的多重化对象图像配置用户数据。也就是说,为了不导致VBV缓冲器失败,一边进行模拟一边决定最合适的用户数据配置图像。
首先,当用户数据有效信号624为0时,不配置用户数据。
在用户数据有效信号624为1,且帧号625等于或小于多重化对象的主要数据的图像号时,尽可能向现在被处理的图像配置。因此,若对现在的图像进行假设已配置了用户数据的缓冲器模拟,没有失败的话,就进行配置。具体地说,计算从主要附加信息缓冲器602得到的图像信息301中的图像大小、以及从用户数据大小303得到的用户数据配置后的图像大小,判断现在的VBV缓冲器占有量是否大于配置此用户数据后的图像大小。
在用户数据有效信号624为1,且帧号625大于多重化对象的主要数据的图像号时,用一个图像为单位,以向现在的图像配置用户数据,或向下一个图像配置用户数据的方式,改变配置的位置,在尽可能的范围内重复进行处理,直到对与帧号625一致的帧进行配置时为止。能够进行这些模拟的条件,是在到该帧为止的附加信息被保存在主要附加信息缓冲器602中时。如果,在主要附加信息缓冲器602中没有包含与帧号625对应的图像附加信息时,不配置用户数据。
在这一连串的处理中,若VBV缓冲器不失败的位置仅是现在的多重化对象图像的话,则向现在的图像配置用户数据。
根据上述判断条件,决定是否配置图像用户数据404。在这里,若被判断为配置的话,则向图像头403的下一个配置用户起始码和图像用户数据404。
另外,由于图像数据309的先头位置,用附加信息300中的图像数据位置304表示,因此能够极简单地进行图像数据405的多重化。最后,根据输出代码127的多重化数据量,计算VBV缓冲器占有量的值。该值在对下一个图像进行多重化时使用。
如上所述,图6的多重化部103,尽可能在帧号625所示的位置进行使图像用户数据404多重化的动作。也就是说,将输出代码127中的主要数据和用户数据的不同步抑制在最小限度。
当帧号625大于多重化对象的主要数据的图像号时,可以在不进行缓冲器模拟,不配置图像用户数据404的情况下进行处理。此时,向是那以后的处理单位的图像进行写入。当使用了此手法时,主要附加信息缓冲器602只要有一个图像就行,能够简化处理。
如上所述,根据本实施例,对于在仅将用户数据的格式进行变换时所产生的数据量的增大问题,通过提高位率值等提高数据量的上限,并且将CBR变更为VBR降低数据量的下限,甚至仅将能够配置的数据量的用户数据插入图像层,来完成代码变换。由于仅将用户数据作为格式变换的对象,因此能够省去对图像数据进行无用的处理,其结果,能够实现代码变换的高速化,且不会产生画质变坏的现象。
那么,当在上述动作中,没有将输出代码127中的主要数据和用户数据的不同步抑制在规定量以内时,主要数据再处理部701发挥变更主要数据的数据量的作用。
图7示出了图6中的主要数据再处理部701的内部结构例。图7的主要数据再处理部701,由I图像解码器801、I图像编码器802、选择器803和大小控制部804构成,只在来自主要数据读出部603的主要数据621是I图像时,大小变更指令704表示出输出代码127的主要数据和用户数据的不同步超过规定量的现象,此时,通过将该主要数据621解码,且将该解码的结果重新编码,来减少主要数据702的数据量。不过,当没有提供大小变更指令704时,通过选择器803选择由主要数据读出部603提供的主要数据621及主要数据有效信号622,来将这些主要数据621及主要数据有效信号622作为主要数据702及主要数据有效信号703照原样提供给多重化控制部606。
这里,特别成为问题的是:由于一帧的数据量较多,因此不能插入用户数据。诸如这样的现象,与P图像及B图像相比,在不参照其它图像的I图像中发生更多。因此,多重化控制部606,监视图像信息301中的图像类型,仅当在VBV缓冲器模拟中判明了在I图像中因用户数据的插入而产生缓冲器失败时,才向大小控制部804提供大小变更指令704。
收到了大小变更指令704的大小控制部804,向I图像编码器802提供大小指定805。I图像编码器802,通过将由I图像解码器801解码的结果重新编码,来生成数据量被减少的主要数据,同时输出主要数据有效信号来代替主要数据有效信号622。选择器803,按照来自大小控制部804的切换信号806,将来自I图像编码器802的主要数据及主要数据有效信号作为主要数据702及主要数据有效信号703提供给多重化控制部606。
不过,几乎不能想像会频繁地发生在这里成为问题的现象。根据本实施例,由于仅在这样的特别情况下用主要数据再处理部701进行重新编码,因此有在基本上不导致处理速度恶化的情况下,抑制不同步的效果。
另外,本发明不仅能够适用于用户数据的格式变换,也能够适用于用户数据的追加。
(实用性)
如上所述,根据本发明所涉及的代码变换方法及其装置,能够在对比率控制不带来失败的情况下,实现用户数据的格式变换和追加,对被压缩编码的多媒体信息的代码变换特别有用。
Claims (13)
1.一种代码变换方法,其特征在于:
接收基于某种规格的输入代码,且变换上述输入代码中的设置在用户扩张区域的用户数据的格式,将其作为输出代码,或者向上述输入代码追加用户数据作为输出代码;
包括:变更决定上述输入代码中的数据量的容许范围的参数,以便能够对应上述用户数据的格式变换或者追加的步骤;以及
用规定的格式将上述参数变更后的输入代码和上述用户数据多重化,以便按照上述变更后的参数,生成上述输出代码的步骤。
2.根据权利要求1所述的代码变换方法,其特征在于:
被变更的上述参数,是多媒体信息的压缩编码中的位率值、VBV缓冲器大小值、VBV延迟值中的至少一种。
3.根据权利要求2所述的代码变换方法,其特征在于:
还包括:让上述位率值只变化因代码变换而发生的位率变化预测值的步骤。
4.根据权利要求2所述的代码变换方法,其特征在于:
还包括:将上述VBV缓冲器大小值变更为在上述规格中所容许的最大值的步骤。
5.根据权利要求2所述的代码变换方法,其特征在于:
还包括:通过变更上述VBV延迟值,来使上述输出代码为可变位率的设定的步骤。
6.根据权利要求1所述的代码变换方法,其特征在于:
在上述多重化步骤之前,还包括:生成用以从上述输入代码中的用户数据以外的主要数据来识别用户数据的附加信息的步骤;
按照上述附加信息,进行上述多重化步骤中的上述输出代码的生成。
7.根据权利要求6所述的代码变换方法,其特征在于:
在上述附加信息生成步骤和上述多重化步骤之间,还包括:将上述输出代码中的主要数据和用户数据之间的不同步差抑制在最低限度的步骤。
8.根据权利要求7所述的代码变换方法,其特征在于:
上述不同步差抑制步骤,通过当上述输出代码中的主要数据和用户数据的不同步差超过规定量时,变更上述主要数据的数据量来实现上述不同步差的抑制。
9.根据权利要求8所述的代码变换方法,其特征在于:
上述不同步差抑制步骤,通过仅将上述主要数据中的特定类型的数据解码的步骤和将该解码的结果重新编码的步骤,来完成变更上述主要数据的数据量,并以此实现上述不同步差的抑制。
10.根据权利要求6所述的代码变换方法,其特征在于:
在上述附加信息生成步骤之后,还包括:将包含在上述主要数据中的冗长数据删除的步骤。
11.一种代码变换装置,接收基于某种规格的输入代码,且变换上述输入代码中的设置在用户扩张区域的用户数据的格式,将其作为输出代码,其特征在于:
包括:解析上述输入代码,变更决定上述输入代码中的数据量的容许范围的参数,以便能够对应上述用户数据的格式变换,且用以生成从上述输入代码中的用户数据以外的主要数据来识别用户数据的附加信息的数据解析部;以及
用以按照上述附加信息以规定的格式将上述参数变更后的输入代码和上述用户数据多重化,以便根据变更后的上述参数生成上述输出代码的多重化部。
12.根据权利要求11所述的代码变换装置,其特征在于:
还包括:用以将上述参数变更后的输入代码和上述附加信息一起暂时保存起来的数据缓冲器。
13.根据权利要求12所述的代码变换装置,其特征在于:
上述数据解析部,具有对上述输入代码中的用户扩张区域依次生成上述附加信息,将其写入上述数据缓冲器的功能;
各附加信息,含有用以确定上述数据缓冲器中的下一个附加信息的位置的位置信息,且上述多重化部在读出上述下一个附加信息时,利用上述位置信息存取上述数据缓冲器中的下一个附加信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP026692/2003 | 2003-02-04 | ||
JP2003026692 | 2003-02-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1717931A CN1717931A (zh) | 2006-01-04 |
CN100369481C true CN100369481C (zh) | 2008-02-13 |
Family
ID=32844152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800015410A Expired - Fee Related CN100369481C (zh) | 2003-02-04 | 2004-02-02 | 代码变换方法及其装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7940799B2 (zh) |
EP (1) | EP1599043A4 (zh) |
JP (1) | JP4676331B2 (zh) |
CN (1) | CN100369481C (zh) |
WO (1) | WO2004071085A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100369481C (zh) * | 2003-02-04 | 2008-02-13 | 松下电器产业株式会社 | 代码变换方法及其装置 |
US20050276548A1 (en) * | 2004-06-10 | 2005-12-15 | Jiang Fu | Transcoding closed captioning data from broadcast DTV onto DVD |
JP4586429B2 (ja) * | 2004-06-11 | 2010-11-24 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに、プログラムおよびプログラム記録媒体 |
KR100983173B1 (ko) | 2007-02-19 | 2010-09-20 | 가부시끼가이샤 도시바 | 데이터 다중화/분리 장치 |
CN107404609B (zh) * | 2011-05-11 | 2020-02-11 | 快图有限公司 | 用于传送阵列照相机图像数据的方法 |
US9294766B2 (en) | 2013-09-09 | 2016-03-22 | Apple Inc. | Chroma quantization in video coding |
US10979747B2 (en) * | 2017-12-21 | 2021-04-13 | Arris Enterprises Llc | Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder |
JP7273250B2 (ja) | 2019-09-17 | 2023-05-12 | ボストン ポーラリメトリックス,インコーポレイティド | 偏光キューを用いた面モデリングのためのシステム及び方法 |
DE112020004813B4 (de) | 2019-10-07 | 2023-02-09 | Boston Polarimetrics, Inc. | System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
CN111290777B (zh) * | 2020-01-23 | 2021-09-17 | 复旦大学 | 一种面向软件代码单元和代码度量的代码变更序列方法 |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
KR20220133973A (ko) | 2020-01-30 | 2022-10-05 | 인트린식 이노베이션 엘엘씨 | 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184198A (ja) * | 1993-12-24 | 1995-07-21 | Toshiba Corp | ビデオ信号圧縮/伸張処理装置 |
EP0708566A2 (en) * | 1994-10-21 | 1996-04-24 | AT&T Corp. | Method for controlling a video data encoder buffer |
CN1195949A (zh) * | 1997-04-04 | 1998-10-14 | 索尼株式会社 | 图像编辑装置和图像编辑方法 |
CN1200220A (zh) * | 1995-06-28 | 1998-11-25 | 通用仪器公司 | 数字电视数据流中用户数据的带宽高效通信 |
CN1244325A (zh) * | 1997-10-03 | 2000-02-09 | 索尼公司 | 编码数据流接合设备和方法及编码数据流生成设备和方法 |
JP2000228772A (ja) * | 1999-02-05 | 2000-08-15 | Hitachi Ltd | 動画データ量削減装置および動画データ量削減プログラムを記憶した記憶媒体 |
US6160847A (en) * | 1998-06-26 | 2000-12-12 | Lsi Logic Corporation | Detection mechanism for video channel underflow in MPEG-2 video decoding |
US6348951B1 (en) * | 1999-02-03 | 2002-02-19 | Lg Electronics, Inc. | Caption display device for digital TV and method thereof |
JP2002218458A (ja) * | 2001-01-12 | 2002-08-02 | Matsushita Electric Ind Co Ltd | 映像再生装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241383A (en) * | 1992-05-13 | 1993-08-31 | Bell Communications Research, Inc. | Pseudo-constant bit rate video coding with quantization parameter adjustment |
US5481543A (en) * | 1993-03-16 | 1996-01-02 | Sony Corporation | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems |
US5576765A (en) * | 1994-03-17 | 1996-11-19 | International Business Machines, Corporation | Video decoder |
US6026232A (en) * | 1995-07-13 | 2000-02-15 | Kabushiki Kaisha Toshiba | Method and system to replace sections of an encoded video bitstream |
US5737019A (en) * | 1996-01-29 | 1998-04-07 | Matsushita Electric Corporation Of America | Method and apparatus for changing resolution by direct DCT mapping |
JPH10224794A (ja) * | 1997-02-10 | 1998-08-21 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像符号化データの階層化方法および装置 |
US6101195A (en) * | 1997-05-28 | 2000-08-08 | Sarnoff Corporation | Timing correction method and apparatus |
US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
US6483543B1 (en) * | 1998-07-27 | 2002-11-19 | Cisco Technology, Inc. | System and method for transcoding multiple channels of compressed video streams using a self-contained data unit |
JP4010066B2 (ja) * | 1998-11-09 | 2007-11-21 | ソニー株式会社 | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 |
US6233226B1 (en) * | 1998-12-14 | 2001-05-15 | Verizon Laboratories Inc. | System and method for analyzing and transmitting video over a switched network |
EP1069774A4 (en) * | 1999-02-05 | 2008-09-17 | Sony Corp | CODING AND DECODING DEVICES AND CORRESPONDING METHODS, ENCODING SYSTEM, AND CORRESPONDING METHOD |
US6658157B1 (en) * | 1999-06-29 | 2003-12-02 | Sony Corporation | Method and apparatus for converting image information |
JP2001145067A (ja) | 1999-11-17 | 2001-05-25 | Nec Ic Microcomput Syst Ltd | リアルタイム符号化装置およびリアルタイム符号化方法 |
JP2001251616A (ja) | 2000-03-02 | 2001-09-14 | Media Glue Corp | 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体 |
CN101035277A (zh) * | 2000-03-13 | 2007-09-12 | 索尼公司 | 产生压缩的代码转换提示元数据的方法和设备 |
JP2001346201A (ja) * | 2000-03-27 | 2001-12-14 | Sony Corp | 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置 |
US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
US6763067B2 (en) * | 2000-10-10 | 2004-07-13 | Sarnoff Corporation | Rate control for bitstream re-encoding |
JP4428680B2 (ja) * | 2000-11-06 | 2010-03-10 | パナソニック株式会社 | 映像信号符号化方法および映像信号符号化装置 |
KR100433516B1 (ko) * | 2000-12-08 | 2004-05-31 | 삼성전자주식회사 | 트랜스코딩 방법 |
JP2002218400A (ja) * | 2001-01-19 | 2002-08-02 | Sony Corp | 画像記録装置及び画像記録方法 |
US7170938B1 (en) * | 2001-08-21 | 2007-01-30 | Cisco Systems Canada Co. | Rate control method for video transcoding |
US20040252758A1 (en) * | 2002-08-14 | 2004-12-16 | Ioannis Katsavounidis | Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder |
JP4007594B2 (ja) * | 2002-09-26 | 2007-11-14 | 株式会社東芝 | 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法 |
CN100369481C (zh) * | 2003-02-04 | 2008-02-13 | 松下电器产业株式会社 | 代码变换方法及其装置 |
US7330509B2 (en) * | 2003-09-12 | 2008-02-12 | International Business Machines Corporation | Method for video transcoding with adaptive frame rate control |
US7778526B2 (en) * | 2004-06-01 | 2010-08-17 | Nero Ag | System and method for maintaining DVD-subpicture streams upon conversion to higher compressed data format |
-
2004
- 2004-02-02 CN CNB2004800015410A patent/CN100369481C/zh not_active Expired - Fee Related
- 2004-02-02 EP EP04707316A patent/EP1599043A4/en not_active Withdrawn
- 2004-02-02 WO PCT/JP2004/001015 patent/WO2004071085A1/ja active Application Filing
- 2004-02-02 US US10/541,221 patent/US7940799B2/en not_active Expired - Fee Related
- 2004-02-02 JP JP2005504818A patent/JP4676331B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184198A (ja) * | 1993-12-24 | 1995-07-21 | Toshiba Corp | ビデオ信号圧縮/伸張処理装置 |
EP0708566A2 (en) * | 1994-10-21 | 1996-04-24 | AT&T Corp. | Method for controlling a video data encoder buffer |
CN1200220A (zh) * | 1995-06-28 | 1998-11-25 | 通用仪器公司 | 数字电视数据流中用户数据的带宽高效通信 |
CN1195949A (zh) * | 1997-04-04 | 1998-10-14 | 索尼株式会社 | 图像编辑装置和图像编辑方法 |
CN1244325A (zh) * | 1997-10-03 | 2000-02-09 | 索尼公司 | 编码数据流接合设备和方法及编码数据流生成设备和方法 |
US6160847A (en) * | 1998-06-26 | 2000-12-12 | Lsi Logic Corporation | Detection mechanism for video channel underflow in MPEG-2 video decoding |
US6348951B1 (en) * | 1999-02-03 | 2002-02-19 | Lg Electronics, Inc. | Caption display device for digital TV and method thereof |
JP2000228772A (ja) * | 1999-02-05 | 2000-08-15 | Hitachi Ltd | 動画データ量削減装置および動画データ量削減プログラムを記憶した記憶媒体 |
JP2002218458A (ja) * | 2001-01-12 | 2002-08-02 | Matsushita Electric Ind Co Ltd | 映像再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US20060153290A1 (en) | 2006-07-13 |
EP1599043A1 (en) | 2005-11-23 |
US7940799B2 (en) | 2011-05-10 |
CN1717931A (zh) | 2006-01-04 |
WO2004071085A1 (ja) | 2004-08-19 |
JPWO2004071085A1 (ja) | 2006-06-01 |
EP1599043A4 (en) | 2011-08-10 |
JP4676331B2 (ja) | 2011-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100369481C (zh) | 代码变换方法及其装置 | |
US6628890B1 (en) | Digital recording/reproduction apparatus | |
JP4538908B2 (ja) | データ変換装置及び方法 | |
US8009741B2 (en) | Command packet system and method supporting improved trick mode performance in video decoding systems | |
KR20030012761A (ko) | 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램 | |
JPH0787444A (ja) | 圧縮符号化データ記録方法 | |
US7974281B2 (en) | Multiplexer and multiplexing method, program, and recording medium | |
US8359413B2 (en) | Data stream buffer control using reference time and decoding time | |
JP2006324848A (ja) | 情報処理装置及び情報処理方法 | |
CN1202059A (zh) | 编码装置和方法、译码装置和方法以及编辑方法 | |
US20020015577A1 (en) | Data distribution apparatus and method, and data distribution system | |
JP2001204032A (ja) | Mpeg復号装置 | |
JPH1079918A (ja) | 画像情報復号化再生装置および画像情報復号化再生方法 | |
JP2000308023A (ja) | データ伝送方法およびデータ伝送装置 | |
JP2003289495A (ja) | 動画像処理装置 | |
US6556626B1 (en) | MPEG decoder, MPEG system decoder and MPEG video decoder | |
JP4145103B2 (ja) | 動画データの再生方法及び再生装置 | |
US6285689B1 (en) | Method and apparatus for verifying multiplexing schedule of digital signals and apparatus for multiplexing digital signals | |
CN101584209B (zh) | 记录设备和记录方法 | |
JP3403865B2 (ja) | ストリーム多重装置およびストリーム多重方法 | |
JP4608831B2 (ja) | データ多重化装置およびデータ多重化方法 | |
JP4122624B2 (ja) | データ受信方法およびデータ受信装置 | |
JPH08186822A (ja) | 画像復号装置 | |
JP2000307647A (ja) | データ受信装置 | |
EP1148723B1 (en) | Special reproduction data generating device, medium, and information aggregate |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080213 Termination date: 20130202 |