CN101141642A - 信息处理装置及方法 - Google Patents
信息处理装置及方法 Download PDFInfo
- Publication number
- CN101141642A CN101141642A CNA2007101458981A CN200710145898A CN101141642A CN 101141642 A CN101141642 A CN 101141642A CN A2007101458981 A CNA2007101458981 A CN A2007101458981A CN 200710145898 A CN200710145898 A CN 200710145898A CN 101141642 A CN101141642 A CN 101141642A
- Authority
- CN
- China
- Prior art keywords
- interval
- recompile
- gop
- junction point
- minimum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明公开了一种信息处理装置及方法,该信息处理装置执行在接合点处将多个编码流接合起来的处理,该装置包括:控制装置,用于确定在多个编码流中要被进行重新编码的区间;解码装置,用于对多个编码流进行解码以产生多个基带信号;以及编码装置,用于对通过在接合点处将由解码装置产生的多个基带信号接合起来而产生的编辑后的基带信号进行编码,以产生编辑后的编码流。控制装置暂时确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间。当不同于第一接合点的第二接合点存在于被暂时确定的第一区间或第一区间之后的预定区间中时,基于第二接合点确定要被进行重新编码的第二区间。
Description
技术领域
本发明涉及信息处理装置和信息处理方法。具体而言,本发明涉及在编辑利用帧间预测压缩的视频数据时适合使用的信息处理装置和信息处理方法。
背景技术
在以MPEG(运动图片编码专家组/运动图片专家组)等为代表的图像压缩系统中,利用帧间预测来对视频信号进行压缩编码以实现高压缩效率。然而在利用帧间预测压缩的图像中,由于预测使帧相互关联,使得难以编辑视频。就是说,当视频材料的视频信号处于压缩状态时,很难将这些视频材料接合(splice)起来。因此,在预期用于编辑视频材料的系统中,一般只利用帧内压缩来执行编码,而不使用帧间预测。
然而,例如在处理具有大量信息的高清晰度视频信号(例如HD(高清晰度)信号)的情况下,只利用帧内压缩的编码会导致较低的压缩效率,因而需要具有高传送率、大存储容量或高处理速率的昂贵系统来传送或堆积大量数据。因此,为了利用廉价的系统来处理具有大量信息的高清晰度视频信号,必须通过使用帧间预测来提高压缩效率。
为了编辑MPEG流,当前采用的技术是,一次性地对编辑点(即接合点)附近的图片进行解码,然后在接合点处将所得到的未被压缩的图像信号接合起来,并且之后再对信号进行编码(例如参见PCT专利公开No.WO99/05864)。
在MPEG中,利用使用I图片、P图片和B图片的双向帧间预测的压缩编码系统被称为“长GOP(Group of Pictures,图片组)压缩系统”。
I图片是帧内编码的图片,即不参考任何其它图片而进行编码的图片。不使用任何其它信息就可以对I图片进行解码。P图片是前向预测的帧间编码图片,即通过与前一(就时间而言)帧(被安排在前向方向上)的差异来表示的前向预测编码图片。B图片是双向预测编码图片,即通过使用前一(就时间而言)图片(被安排在前向方向上)或后续图片(被安排在反向方向上)或前一图片和后续图片两者(被安排在前向和反向方向上)的运动补偿帧间预测来编码的图片。
因为P图片和B图片的数据量比I图片低,所以可以通过增大GOP的长度(即增加构成长GOP的图片数目)来提高视频的压缩率。因此,P和B图片适合用在数字广播、DVD(数字多功能光盘)视频等中。然而,当GOP过长时,具有逐帧精度的编辑控制变得困难,尤其是会引起商业目的编辑中的操作问题。
参考图1,下面将描述在指定接合点处将依照长GOP系统压缩的两个视频数据片段接合起来的编辑过程。
首先,要被编辑的压缩视频数据1和要被编辑的压缩视频数据2中的每一个在接合点附近被部分解码以获得部分未压缩的视频信号1和2。然后,未压缩的视频信号1和2在接合点处被接合起来,并且所得到的信号根据需要在接合点附近被施加效应并被再次编码。然后,所得到的重新编码后的压缩视频数据被与原始压缩视频数据中未被进行解码和重新编码的余下部分(即,原始压缩视频数据中除了已被部分解码的接合点附近的部分以外的其它部分)合并。
与对整个要被编辑的压缩视频数据进行解码,在接合点处将所得到的视频信号接合起来并且再次对整个所得到的视频信号进行编码以获得编辑后的压缩视频数据的方法相比,以上参考图1描述的方法的优点在于可以将由于重新编码所引起的图像质量的下降限制于局部区域并且可以明显缩短编辑过程所需要的时间。
发明内容
在通过上述步骤(对接合点附近的数据进行部分解码,将所得到的压缩视频信号接合起来,对接合后的压缩视频信号进行重新编码并且将所得到的信号与原始压缩视频数据中未被进行解码和重新编码的余下部分合并)执行数据编辑的情况下,必须保持被重新编码的部分和未被进行重新编码的部分之间VBV缓冲区占用率(buffer occupacy)的连续性。
下面将参考图2描述VBV缓冲区占用率的连续性。
为了防止编辑后的压缩视频数据中VBV缓冲区的溢出,必须控制重新编码部分的起始和末端位置的占用率以与原始压缩视频数据中未被进行重新编码的余下部分与重新编码部分合并的位置处的占用率相一致。具体而言,编辑后的压缩视频的重新编码部分(在图中由E指示)中的第一I图片的占用率(在图中由C指示)需要与编辑之前的压缩视频材料1的占用率(在图中由A指示)相一致,而紧接着编辑后的压缩视频的重新编码部分(在图中由E指示)的I图片的占用率(在图中由D指示)需要与编辑之前的压缩视频材料2的占用率(在图中由B指示)相一致。
编辑前的占用率和编辑后的占用率需要在封闭式GOP(closed GOP)的情况下和在非封闭式GOP的开放式GOP(open GOP)的情况下都是一致的。在未保持VBV缓冲区占用率的连续性的情况下,在解码期间解码器中的缓冲区会溢出,这可能造成诸如图片跳跃、凝固等之类的现象。
在节目流(PS)和传输流(TS)中,可以从系统时钟参考(SCR)或节目时钟参考(PCR)以及展示时间戳(PTS)和解码时间戳(DTS)得到每个图片的VBV缓冲区占用率。然而,在基本流(ES)中,则难以得到VBV缓冲区占用率。
在ES中,可以从图片头中的VBV延迟的值得到每个图片的VBV缓冲区占用率。然而,因为图片头中的VBV延迟的参数并不是始终具有准确的值,所以从VBV延迟参数计算出的占用率值可能是不可靠(准确)的。而且,在利用可变比特率(VBR)编码的ES中,VBV延迟具有固定值,因而不可用于获得VBV缓冲区占用率。
如上所述,在ES的情况下难以得到VBV缓冲区占用率。因而,如果在编辑ES时没有正确地完成重新编码以使得保持VBV缓冲区中的连续性,则缓冲区可能会出现上溢或下溢,导致解码视频中诸如图片跳跃、凝固等之类的现象。
例如在用于制作广播节目的系统中,不允许出现视频中的图片跳跃或凝固。然而,当编辑其中没有插入时间戳的ES时,过去是难以保持VBV缓冲区占用率的连续性的。
考虑上述情形设计了本发明,并且本发明在编辑ES时可以保持VBV缓冲区占用率的连续性。
根据本发明的一个实施例,提供了一种信息处理装置,其执行在接合点处将多个编码流接合起来的过程,该装置包括:控制单元;解码单元;以及编码单元。控制单元被配置用于确定在多个编码流中要被进行重新编码的区间。解码单元被配置用于对多个编码流进行解码以产生多个基带信号。编码单元被配置用于对通过在接合点处将由解码单元产生的多个基带信号接合起来而产生的编辑后的基带信号进行编码,以产生编辑后的编码流。控制单元暂时确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间。当不同于第一接合点的第二接合点存在于被暂时确定的第一区间或第一区间之后的预定区间中时,控制单元基于第二接合点确定要被进行重新编码的第二区间。
当第二接合点不存在于暂时确定的第一区间或该第一区间之后的预定区间中时,控制单元可以确定暂时确定的第一区间为要被进行重新编码的第二区间。
编码单元可以依照MPEG长GOP格式执行所述编码,并且所述预定区间可以是与一个GOP相对应的区间。
该信息处理装置还包括:管理单元,用于管理在由编码单元执行的编码中所产生位的数量;以及供应控制单元,用于控制向编码单元供应编码流的操作。
管理单元可以被配置用于确定在所述第二区间中,在由编码单元产生的编辑后的编码流的末端点和编码流中未通过编码单元编码的相应点之间,是否保持了占用率的连续性。当管理单元确定出未保持占用率的连续性时,控制单元可以基于第一操作模式或第二操作模式来确定编码流中要被进行重新编码的区间,在第一操作模式中,还针对被设置为要被进行重新编码的第三区间的第二区间之后的预定区间执行重新编码,在第二操作模式中,再次对第二区间执行编码。
当在第一操作模式中,不同于第一或第二接合点的第三接合点存在于第三区间或第三区间之后的预定区间中时,控制单元可以基于第三接合点确定要被进行重新编码的第四区间。当在第一操作模式中,第三接合点不存在于第三区间或该第三区间之后的预定区间中时,控制单元可以确定第三区间为要被进行重新编码的第四区间。
当在第一操作模式中,第三接合点不存在于第三区间或该第三区间之后的预定区间中时,管理单元可以基于编码流中未通过编码单元编码的相应点的占用率,来管理在编码单元对第四区间执行的编码中所产生位的数量。
在第二操作模式中,当确定出未保持占用率的连续性时,管理单元可以基于前一编码的末端点的占用率,来管理在编码单元对第二区间执行的下一次编码中所产生位的数量。
编码单元可以依照MPEG长GOP格式执行编码,并且所述第三区间可以是与一个GOP相对应的区间。
编码单元可以依照MPEG长GOP格式执行编码,并且当管理单元确定出保持了占用率的连续性时,控制单元可以再将紧接在已被进行重新编码的第二、第三或第四区间之后的GOP中的第一前向参考帧之前的一个或多个帧添加作为要被进行重新编码的第五区间。
编码单元可以依照MPEG长GOP格式执行所述编码,并且控制单元可以将开始于包括第一编码流中的接合点的GOP起始位置(startlocation)并且结束于包括所述第二编码流中的接合点的GOP的末端位置(end location)的区间设置为标准区间,并且基于包括在标准区间中的帧的数目来确定第一区间。
当包括在标准区间中的帧数目M满足N/2≤M≤N时,控制单元可以将标准区间设置为第一区间,其中N是包括在一个标准GOP中的帧数目。
当包括在标准区间中的帧数目M满足0≤M<N/2时,控制单元可以将由标准区间和一个附加的GOP构成的区间设置为第一区间,其中N是包括在一个标准GOP中的帧数目。
当包括在标准区间中的帧数目M满足N+1≤M≤2N-1时,控制单元可以将标准区间划分成多个GOP并将标准区间设置为第一区间,其中N是包括在一个标准GOP中的帧数目。
当包括在标准区间中的帧数目M满足N+1≤M≤2N-1并且在标准区间中在接合点之前的部分中的帧数目A满足A≥N/2时,控制单元可以在接合点处将标准区间划分成两个GOP,其中N是包括在一个标准GOP中的帧数目。
编码单元可以对编辑后的基带信号进行编码以产生编辑后的编码流,从而使得在接合点处被划分的两个GOP中的后者按照显示顺序开始于I2图片。
当包括于在接合点处被划分的两个GOP中的后者中的帧数目R不满足N/2≤R时,控制单元可以将由标准区间和一个附加的GOP构成的区间设置为第一区间,并且当满足N/2≤R时,控制单元可以将标准区间设置为第一区间。
根据本发明的一个实施例,提供了一种在信息处理装置中采用的信息处理方法,所述信息处理装置执行在接合点处将多个编码流接合起来的过程,所述方法包括以下步骤:暂时确定和解码。暂时确定步骤确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间,当不同于第一接合点的第二接合点存在于被暂时确定的第一区间或第一区间之后的预定区间中时,基于第二接合点确定要被进行重新编码的第二区间。解码步骤对包括第一和第二编码流中落在第二区间中的部分的多个编码流进行解码以产生多个基带信号,并且对通过在一个或多个接合点处将多个基带信号接合起来而产生的编辑后的基带信号进行编码以产生编辑后的编码流。
这里使用的术语“网络”指其中至少两个设备被彼此连接以使得信息可以从一个设备传送到另一设备的系统。经网络彼此通信的设备可以是独立的设备或者包含在单个设备中的内部模块。
这里使用的术语“通信”自然包括无线通信和有线通信以及其中在一个部分中进行无线通信而在另一部分中进行有线通信的无线和有线通信的混合。此外,从一个设备到另一设备的通信可以通过有线方式进行,而从后一设备到前一设备的通信以无线的方式进行。
编辑装置可以是独立的装置或包含在记录/再现装置或信息处理装置中的用于执行编辑过程的模块。
如上所述,根据本发明的一个实施例,可以执行编辑过程,并且具体而言,可以基于彼此靠近的多个接合点确定重新编码区间(re-encodingsection)以执行重新编码。
附图说明
图1是用于说明编辑和部分重新编码的图;
图2是用于说明在执行部分重新编码和编辑过程时的VBV缓冲区的图;
图3是示出了编辑装置的结构的框图;
图4到7是用于说明最小重新编码区间的设置的图;
图8是用于说明编码终止过程的图;
图9和10是用于说明重新编码区间的扩展的图;
图11是示出了编辑装置的功能性结构的功能性框图;
图12是示出了控制部分的功能性结构的功能性框图;
图13到15是示出了CPU的处理的流程图;
图16和17是示出了第一最小重新编码区间确定过程的流程图;
图18和20是示出了第二最小重新编码区间确定过程的流程图;
图21是示出了CPU的第一处理的流程图;
图22是用于说明VBV占用率的图;
图23是示出了用于最小重新编码区间的位分配确定过程的流程图;
图24是用于说明VBV占用率的图;
图25是示出了编码终止过程的流程图;
图26是示出了CPU的第二处理的流程图;
图27是示出了设置扩展重新编码区间的第一过程的流程图;
图28是用于说明VBV占用率的图;
图29是示出了设置扩展重新编码区间的第二过程的流程图;
图30是用于说明VBV占用率的图;
图31是示出了个人计算机的结构的框图;以及
图32是用于说明本发明的实施例可应用于的其它装置的结构的图。
具体实施方式
下文中,将参考附图来描述本发明的实施例。
图3是示出了根据本发明的一个实施例的编辑装置1的硬件结构的框图。
中央处理单元(CPU)11被连接到北桥12。例如,CPU 11控制诸如读取存储在硬盘驱动器(HDD)16中的数据之类的过程,并且产生并输出用于控制由CPU 20执行的编辑过程的命令、控制信号等。北桥12被连接到外围组件互连/接口(PCI)总线14。例如,在CPU 11的控制下,北桥12接受经南桥15提供的存储在HDD 16中的数据,并经PCI总线14和PCI桥17将数据提供给存储器18。北桥12还被连接到存储器13,并且接收和发送CPU 11的处理所必需的数据。
存储器13存储CPU 11的处理所必需的数据。南桥15控制向HDD 16写入数据或从HDD 16读取数据的操作。HDD 16存储用于编辑的压缩编码材料。
PCI桥17控制向存储器18写入数据和从存储器18读取数据的操作,并且控制向解码器22到24或流接合器25提供压缩编码数据的操作。另外,PCI桥17控制向PCI总线14和控制总线19发送数据和从PCI总线14和控制总线19接收数据的操作。在PCI桥17的控制下,存储器18存储从HDD 16读取的压缩编码数据(即,用于编辑的材料)和从流接合器25提供的编辑后的压缩编码数据。
根据经由北桥12、PCI总线14、PCI桥17和控制总线19从CPU 11提供的控制信号或命令,CPU 20控制由PCI桥17、解码器22到24、流接合器25、效应开关(effect/switch)26、编码器27和开关29执行的过程。存储器21存储CPU 20的处理所必需的数据。
在CPU 20的控制下,解码器22到24中的每一个对所提供的压缩编码数据(即编码流)进行解码,以输出未被压缩的视频信号(即基带图像信号)。解码器22到24可以作为不包含在编辑装置1中的独立设备而被提供。例如在解码器24作为独立的设备被提供的情况下,解码器24接受所提供的由下面所描述的编辑过程产生的编辑后的压缩视频数据,对数据进行解码并输出。
在CPU 20的控制下,流接合器25将提供的编码流(即压缩视频数据)提供给解码器24,或者将提供的编码流经由PCI桥17提供给存储器18以存储在存储器18中。另外,流接合器25能够接受从编码器27提供的通过编码过程而得到的数据,并将接收到的数据经PCI桥17提供给存储器18以存储在存储器18中。
在CPU 20的控制下,效应开关26选择性地输出从解码器22、解码器23或输入端28提供的未被压缩的视频信号。换句话说,效应开关26在指定帧中合并提供的未压缩视频信号,并根据需要向指定范围施加效应以将所得到的信号提供给编码器27,或者将从输入端28提供的未压缩视频信号提供给编码器27。在CPU 20的控制下,编码器27对提供的未压缩视频信号(即基带信号)进行编码,以产生压缩编码的编码流,并将所产生的压缩编码的编码流提供给流接合器25。
在CPU 20的控制下,开关29将从效应开关26输出的基带图像信号或从流接合器25提供并由解码器24解码的基带图像信号输出到外部设备,例如显示设备。
接下来,下面将描述编辑装置1的操作。
在HDD 16中,存储有根据使用长GOP的开放GOP系统被压缩的多个压缩视频材料数据片段。CPU 11接受从操作输入部件(未示出)输入的用户操作,以接收关于要被编辑的两个流和其中的接合点的信息。
基于表示多个流的接合点和GOP结构的信息,CPU 11确定要被编辑的流中要进行重新编码的区间,所述多个流是压缩编码的压缩视频材料数据。
此时,CPU 11确定作为要被重新编码的最小区间的最小重新编码区间。下面将参考图4到7描述最小重新编码区间的确定。
参考图4,假设包含作为第一编辑材料的流A中的接合点a的GOP的起始位置用α表示,并且包含作为第二编辑材料的流B中的接合点b的GOP的末端位置用β表示,则通过在接合点处将流A和流B接合起来所产生的流C中的标准重新编码区间为包含接合点a和b的开始于α结束于β的区间。
在包括在标准重新编码区间(即,包括接合点a和b的开始于α结束于β的区间)中的帧数目A+B满足N/2≤A+B≤N的情况下,标准重新编码区间被暂时设置为最小重新编码区间,如图4中所示,其中N是包括在一个标准GOP中的帧数目,标准GOP是这些流的基本单元。
在包括在标准重新编码区间(即,包括接合点a和b的开始于α结束于β的区间)中的帧数目A+B满足0≤A+B<N/2的情况下,开始于α结束于γ的区间被暂时设置为最小重新编码区间,如图5中所示,其中N是包括在一个标准GOP中的帧数目,标准GOP是这些流的基本单元。γ是包括流B中的接合点b的GOP的下一个GOP的末端点。
然后,假设包括在下一个GOP中的帧数目为C,确定A+B+C(即,A+B(或包括在标准重新编码区间中的帧数目)与流B中的下一个GOP中的帧数目的和)是否满足N/2≤A+B+C≤N。如果满足N/2≤A+B+C≤N,则开始于α结束于γ的区间作为一个GOP被暂时设置为最小重新编码区间。同时,如果不满足N/2≤A+B+C≤N,即如果N<A+B+C,则开始于α结束于γ的区间被划分成两个或更多个GOP以使得每个GOP满足N/2≤x≤N,并且这两个或更多个GOP被暂时设置为最小重新编码区间。
在最小重新编码区间被划分成多个GOP的情况下,优选的是包括在每个GOP中的帧数目尽可能相等。例如,在最小重新编码区间被划分成两个GOP的情况下,如果帧的总数目A+B+C是偶数,则最小重新编码区间被平均划分,而如果帧的总数目A+B+C是奇数,则最小重新编码区间被划分以使得第二GOP包括的帧数比第一GOP多1,并且这两个GOP被设置为最小重新编码区间。
在开始于α结束于γ的区间中的帧数不能被GOP的数目除尽的情况下,优选的是后面(就时间而言)的GOP中的帧数目比前面(就时间而言)的GOP中的帧数目大。具体而言,例如在开始于α结束于γ的区间中的帧数目为19的情况下,优选的是第一GOP中的帧数目为9而第二GOP中的帧数目为10。这是因为在用于调整编码流中被重新编码的部分和编码流中未被重新编码的部分被合并的部分的占用率的解码和编码过程中,当后面(就时间而言)的GOP中的帧数目大于前面(就时间而言)的GOP中的帧数目时,位分配的灵活度增大。
此外,与尽可能平均地划分帧数目A+B+C不同的是,GOP的划分可以按这样的方式执行,该方式使得GOP具有预定的帧数目。例如,GOP的划分可以被执行以使得构成两个GOP中的前一个(就时间而言)GOP的帧的数目必须为预定数目(例如N/2或大于N/2的最小整数)。优选地,该预定数目被确定以使得每个GOP满足N/2≤x≤N。
具体而言,例如假设N=15。在这种情况下,如果A+B+C=16,则第一GOP和第二GOP中的帧数目可以都为8。如果A+B+C=17,则第一GOP和第二GOP中的帧数目可以分别为8和9。如果A+B+C=18,则第一GOP和第二GOP中的帧数目可以分别为8和10。如果A+B+C=22,则第一GOP和第二GOP中的帧数目可以分别为8和14。就是说,第一GOP中的帧数目可以被固定为预定数目,而改变第二GOP中的帧数目。
在包括在标准重新编码区间(即,包括接合点a和b的开始于α结束于β的区间)中的帧数目A+B满足N+1≤A+B≤2N-1的情况下(其中N是包括在一个标准GOP中的帧数目,标准GOP是这些流的基本单元),参考图6,当标准重新编码区间中的帧数目为偶数时,标准重新编码区间被平均划分成两个GOP,而当标准重新编码区间中的帧数目为奇数时,标准重新编码区间被划分成两个GOP以使得第二GOP包括的帧数比第一GOP多1,并且这两个GOP被暂时设置为最小重新编码区间。
还是在这种情况下,当开始于α结束于β的区间中的帧数目不能被2除尽时,优选的是后面(就时间而言)的GOP中的帧数目大于前面(就时间而言)的GOP中的帧数目。
此外,还是在这种情况下,与尽可能平均地划分帧数目A+B不同的是,GOP的划分可以按这样的方式执行,该方式使得GOP具有预定的帧数目。例如,GOP的划分可以被执行以使得构成这两个GOP中的前一个(就时间而言)GOP的帧的数目必须为预定数目(例如N/2或大于N/2的最小整数)。
此外,可以这样安排以使得在满足N+1≤A+B≤2N-1的情况下,确定是否满足A≥N/2,并且当满足A≥N/2时,GOP之间的边界被设置在接合点处。在这种情况下,接合点之后的后一GOP的头部可以是I2图片,而B0和B1图片被省略。
当GOP在接合点(即图像经历相当大的变化的点)处被划分时,并且当如上所述在显示顺序上在接合点之后的后一GOP的头部是I2图片而B0和B1图片被省略时,可以有利地减少接合点之后的GOP的图像质量的下降。
此外,在N+1≤A+B≤2N-1并且A≥N/2的情况下,如果在被暂时设置的最小重新编码区间中,接合点之后的区间中的帧数目(即帧数目B)较小(例如如果不满足B≥N/2),则流B中的后续GOP可以被添加到被暂时设置的最小重新编码区间中,以使得接合点之后的区间中的帧数目将等于或大于预定数目(例如N/2)。这样防止了在重新编码区间中包括由极少数目的帧构成的GOP。有利的是,这使得容易为接合点之后的区间中的GOP中的每个帧分配适当数量的所产生位,同时保持VBV占用率的连续性。
在满足N+1≤A+B≤2N-1而不满足A≥N/2的情况下,帧数目A+B可以按如上所述的相同方式被尽可能平均地划分成两个GOP,或者可替换地,如上所述,帧数目A+B可以被划分成两个GOP以使得一个GOP具有预定数目的帧,而每个GOP都满足N/2≤x≤N。
通过按上述方式暂时地确定最小重新编码区间,可以防止在设置重新编码区间时保留太短的GOP,从而防止不必要的图像质量的下降。
此外,由于编码可以被执行使得被进行重新编码的区间中的每个GOP将不经历图像质量的下降并且具有尽可能大的GOP长度,所以提高了编码效率,从而实现了允许更好的图像质量的编码。
在下一个接合点存在于被进行重新编码的区间中的情况下,在被编码的GOP中,VBV目标点将改变。此外,在接合点存在于紧接着最小重新编码区间的GOP中的情况下,重新编码区间将继续。
在以下情况下会出现这种情形,例如:当非常短的第二流被插入第一流中时;或者参考图7,当在流A和流B共享接合点ab的同时与另一流X共享的另一接合点d’d被包括在流B中时,例如在包括流B中的接合点b的GOP的末端位置β之前。
例如,参考图7,在另一接合点存在于按上述方式被暂时设置的最小重新编码区间中的情况下,最小重新编码区间被扩展到包括流X中的接合点d的GOP的末端位置δ,所述流X将在接合点d’d处被接合到流B。就是说,最小重新编码区间中在接合点d’d之后的部分使用对应于流X的数据,并且在对最小重新编码区间进行编码过程中的VBV目标值被改变为在包括流X中的接合点d的GOP的末端位置δ中的VBV占用率。
在包括在新设置的最小重新编码区间中的帧数目Z满足0≤Z<N/2的情况下,优选的是流X中的下一个GOP被添加到最小重新编码区间。在这种情况下,很自然地,确定另一接合点是否存在于流X中的下一个GOP或该GOP的下一个GOP中,并且如果另一接合点存在于其中,则新的最小重新编码区间被以类似的方式再次设置。注意,例如当流X中的接合点d接近于流A和流B中的接合点ab,并且另外包括流X中的接合点d的GOP的末端位置δ接近于接合点d’d时,满足0≤Z<N/2。
如上所述,在多个接合点彼此接近的情况下,在设置最小重新编码区间时这些接合点都被考虑。注意,按照以上参考图4到6描述的相同方式确定基于如图7中所示的多个接合点设置的最小重新编码区间(即,当另一接合点存在于暂时设置的最小重新编码区间或下一个GOP中时新设置的最小重新编码区间)是被编码为一个GOP还是多个GOP。还要注意,在新设置的最小重新编码区间被编码为多个GOP的情况下,划分GOP的方式与以上参考图4到6所描述的方式相同。
然后,CPU 11执行在接合点处将多个流(即,用于编辑的材料)接合到一个流中的过程,同时保持VBV缓冲区模型的VBV占用率的连续性。
具体而言,在对最小重新编码区间执行重新编码所必需的流(例如流A和流B)在接合点ab处被接合起来的情况下,CPU 11产生控制信号以使得:流A中包括在最小重新编码区间中并且结束于接合点a的部分将被提供给解码器22;流B中包括在最小重新编码区间中并且开始于接合点b的部分(在流B中位于接合点b之前的部分包括对接合点b之后的部分进行解码所必需的帧的情况下,则还包括那个帧)将被提供给解码器23;并且效应开关26将在接合点处将这两个部分接合起来并在必要时对它们施加效应。CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19将所产生的控制信号发送给CPU 20。
在用于显示重新编码区间和在重新编码区间之前和之后的部分的指令已被发出的情况下,由于CPU 11控制向存储器18提供多个流(即,用于形成被编辑数据的材料)中与重新编码区间(在重新编码区间以外的任意帧是对重新编码区间进行解码或编码所必需的情况下,还包括那个帧)相对应的部分的操作,因此CPU 20控制包括第一接合点的编码流中在最小重新编码区间之前的部分的数据以经由流接合器25提供给解码器24并且随后经由开关29被输出到外部显示设备等,并且还控制编辑后的部分的基带图像数据以经由开关29从效应开关26输出到外部显示设备等。
在对最小重新编码区间进行重新编码时对所产生位的数量的调整以失败结束的情况下(即,当在接合时未保持在经历了重新编码的区间和未经历重新编码的区间之间VBV占用率的连续性时),编辑装置1能够再次对最小重新编码区间执行重新编码,即执行所谓的重试操作。此时,编辑装置1能够基于之前对最小重新编码区间执行的编码的在先结果来再次对最小重新编码区间执行重新编码。
这样可以尽可能大地减小被进行重新编码的区间,同时保持VBV占用率的连续性。这减少了可能由于重新编码而经历图像质量的下降的区域的出现。
同时,当即时性很重要时(例如当编辑后的图像应当被实时地显示时)重试操作(即,再次编码的操作)有时可能不能满足用户的要求。
这样,当在接合时对VBV占用率的调整以失败结束时,编辑装置1不仅能够执行所谓的重试操作(即,再次编码的操作),而且能够扩展要被进行重新编码的重新编码区间。因而,用于装置内部的编码器、解码器和执行合并操作的开关器(例如,图3中的效应开关26)只需要执行一次诸如速度调整之类的复杂操作,这使得实现方式变得简单。当即时性很重要时,例如当编辑后的图像应当被实时地显示时,适合使用这种处理。
首先,执行以上参考图4到7所描述的对最小重新编码区间的重新编码(即,解码和编码)。CPU 11允许从HDD 16中读出多个编码流(即,用于编辑的材料)并且经由南桥15、北桥12、PCI总线14和PCI桥17提供给存储器18。然后,CPU 11控制流A和流B中的最小重新编码区间的数据被分别提供给编码器22和编码器23并在其中被编码,被接合在一起,并且在必要时在效应开关26中被施加效应,以及被提供给编码器27的操作。
这里,CPU 20将在最小重新编码区间的头部(例如包括流A(即,第一编辑材料)中的接合点a的GOP的头部)的原始VBV占用率视为重新编码过程中VBV占用率的起始值。另外,CPU 20将编辑材料中与最小重新编码区间的末端点相对应的相应部分处的VBV占用率视为在重新编码结束时VBV占用率的目标值。具体而言,在最小持续编码区间的末端是点β的情况下,如图8中所示,在下一个GOP的头部的I2图片(在图中由a指示)的VBV占用率被视为在重新编码结束时VBV占用率的第一目标值。
然后,CPU 20使用调整所产生位的数量的任意方法来控制重新编码,以使得对最小重新编码区间的编码将结束于大于VBV占用率的第一目标值的VBV占用率的值。
然后,如果VBV占用率的实际值大于在对最小重新编码区间的编码结束时VBV占用率的目标值,则可以利用零填充来使VBV占用率连续,并且可以在这个点处终止操作以得到重新编码的结果。
在成功地使VBV占用率的实际值大于VBV占用率的第一目标值的情况下,一直到(但不包括)下一个GOP中的第一个(按编码顺序)P图片(即,图8中由b指示的图片)的帧被提供给流接合器25和解码器23,并且被提供给解码器23的这些帧在其中被解码并且之后经由效应开关26被提供给编码器27,并且在编码器27中被编码。
此时,下一个GOP中的第一个(按编码顺序)P图片(即,图8中由b指示的图片)处的VBV占用率被设置为第二目标值,并且在I图片(即,图8中由a指示的图片)的位数量被视为原始流B中相应的I图片的位数量的情况下,从下一个GOP的头部一直到(但不包括)第一个P图片(即,图8中由b指示的图片)的帧(IBB或IB)经历使用调整所产生位的数量的任意方法执行的重新编码过程,以使得在P图片处VBV占用率将是连续的(即,VBV占用率将大于第二目标值)。
如果根据需要使用零填充成功地使得在目标P图片处VBV占用率连续,则CPU20用原始流B中相应的I图片的位来代替I图片的位以形成编码的结果,并且完成接合操作。
同时,在目标P图片处没有成功地使得VBV占用率连续的情况下,CPU 20利用与结束于图8中的点β的重新编码区间相对应的编码结果完成接合操作,其中在GOP之间的边界处VBV占用率是连续的。换句话说,考虑在结束于图8中的点β的重新编码区间之后并且在下一个GOP中的第一个(按编码顺序)P图片之前的帧(例如,开始于图8中由a指示的图片并且在由b指示的图片之前的帧范围),包括在原始流中并且被提供给流接合器25的帧被用作受到编辑的压缩图像数据,而不是重新编码后的压缩图像数据。
当接合操作已完成时,CPU 20向CPU 11提供用于停止向解码器22或解码器23提供流的控制信号。在用于只显示重新编码区间的指令已被发出的情况下,CPU 11停止向存储器18传送编码流中在上一个接合点之后的部分。同时,在用于显示在重新编码区间之前和之后的部分的指令已被发出的情况下,CPU 11继续向存储器18传送编码流中在上一个接合点之后的部分。在CPU 20的控制下,在从效应开关26输出的基带图像数据的编辑后的部分被经由开关29输出到外部显示设备等之后,编码流中在上一个接合点之后的部分被经由流接合器25提供给解码器24,并且被经由开关29输出到外部显示设备等。
另一方面,在对最小重新编码区间的编码结束时占用率的值低于VBV占用率的目标值的情况下,不可能利用零填充来使VBV占用率连续;因此,CPU 20控制编辑装置1的相关部分,以使得重新编码过程将基于之前对最小重新编码区间执行的编码的在先结果再次对最小重新编码区间执行,即将执行上述重试操作,或者利用后面要描述的调整所产生位的数量的方法,重新编码将利用下一个GOP作为编码的附加对象进行继续。
在对最小重新编码区间的重新编码过程被重试的情况下,CPU 20基于之前对最小重新编码区间执行的第一编码过程的在先结果,确定在最小重新编码区间中的位分配。这样做可以防止在第二次重新编码中在对最小重新编码区间的编码结束时,占用率变得低于VBV占用率的目标值。执行上述过程的操作模式将被称为“两次通过(two-pass)编码模式”。
同时,与执行重试操作不同的是,在当对最小重新编码区间的编码结束时占用率低于VBV占用率的目标值时重新编码的对象被扩展到下一个GOP的情况下,CPU 20将紧接着最小重新编码区间的GOP设置为扩展重新编码区间,如图9中所示,并且利用调整所产生位的数量的任意方法对其执行重新编码,同时设置所产生位的目标数量,以使得对扩展重新编码区间的编码将结束于大于VBV占用率的目标值的VBV占用率值。在重新编码区间已被扩展到扩展重新编码区间的情况下,在对扩展重新编码区间的重新编码结束时,扩展重新编码区间之后的GOP的头部(图中由γ指示)的VBV占用率被设置为VBV占用率的目标值。
然后,在作为对直到图9中所示的点γ的区间执行重新编码的结果,VBV占用率的实际值变得大于VBV占用率的目标值的情况下,重新编码按上述相同的方式执行,同时将后面的GOP中的第一个(按编码顺序)P图片(即图8中由b指示的图片)的VBV占用率设置为目标值。同时,在作为对直到图9中所示的点γ的区间执行重新编码的结果,VBV占用率的实际值没有变得大于VBV占用率的目标值的情况下,扩展重新编码区间之后的GOP被设置为下一个扩展重新编码区间,并且在重新编码区间已被扩展到扩展重新编码区间的情况下,在对扩展重新编码区间的重新编码结束时,后面的GOP的头部(图中由γ+指示)的VBV占用率被设置为VBV占用率的目标值。执行上述过程的操作模式将被称为“扩展重新编码区间设置模式”。
注意,在最小重新编码区间或扩展重新编码区间之后的GOP中第一个(按编码顺序)P图片之前没有安排B图片的情况下,接合操作完成于这样的编码结果,其中在GOP之间的边界处VBV占用率是连续的。还要注意,参考图9,例如在第一接合点处流A和流B被接合起来的情况下,如果流A中的接合点a是GOP的头部(按显示顺序),则最小重新编码区间的头部可以被设置在流B中的接合点b处。
简言之,在编辑装置1中在最小重新编码区间的末端(即,最小重新编码区间的末端和后面的GOP的头部之间的边界)没有成功地使VBV占用率连续的情况下,或者基于第一次重新编码的在先结果来再次对最小重新编码区间执行重新编码,或者将编码区间扩展到下一个GOP的末端以将下一个GOP设置为扩展重新编码区间,并且扩展重新编码区间一直被扩展,直到VBV占用率达到连续为止。然后,在成功地使得在重新编码区间的末端VBV占用率连续的情况下,原始位被用于紧接着重新编码区间的GOP中的I图片,同时一直到(但不包括)紧接着重新编码区间的GOP中的第一个P图片的帧被重新编码。然后,在成功地使得在P图片处VBV占用率连续的情况下,就在这个P图片之前终止重新编码。同时,在没有成功地使得在P图片处VBV占用率连续的情况下,在重新编码区间的末端终止重新编码。
此外,在下一个接合点存在于扩展重新编码区间的末端之前的情况下,在被编码的GOP中,VBV目标点将改变。此外,在接合点存在于紧接着扩展重新编码区间的GOP中的情况下,重新编码区间将继续。
例如,参考图10,在另一接合点存在于扩展重新编码区间中的情况下,扩展重新编码区间被扩展到包括流X中的接合点d的GOP的末端位置δ,流X在接合点d’d处被接合到流B。就是说,扩展重新编码区间中在接合点d’d之后的部分使用对应于流X的数据,并且在对扩展重新编码区间的编码过程中VBV目标值被改变为在包括流X中的接合点d的GOP的末端位置δ处的VBV占用率。
如上所述,在扩展重新编码区间已被设置的情况下,检测新的接合点是否存在于该区间中或者存在于紧接着该区间的GOP中,并且当新的接合点存在于其中时,这些接合点被考虑以再次设置扩展重新编码区间。
注意,在图10中,已基于多个接合点设置的扩展重新编码区间可以总是作为一个GOP被编码。可替换地,可以基于包括在新设置的扩展重新编码区间中的帧数目,确定扩展重新编码区间应当作为多个GOP被编码,还是扩展重新编码区间可以按以上参考图4到6描述的相同方式被划分成多个GOP。
具体而言,包括在新设置的扩展重新编码区间中的帧数目Z可能较小,例如在流B中的接合点d’接近于最小重新编码区间的末端点β并且包括流X中的接合点d的GOP的末端位置δ接近于接合点d’d的情况下。当对较短的区间执行编码过程时,很有可能在其末端点处将不保持VBV占用率的连续性,并且流X中的下一个GOP将被设置为附加的扩展重新编码区间。
这样,在包括在新设置的最小重新编码区间中的帧数目Z满足0≤Z<N/2的情况下,流X中的下一个GOP可以被添加到这个最小重新编码区间中。这不会导致重新编码区间被扩展的程度的明显变化,但是会增加在那个部分中所产生位的数量的灵活性。因此,即使当包括非常难以编码的帧时,也可以有利地防止图像质量的急剧下降。自然地,此时,确定另一接合点是否存在于流X中的下一个GOP中或者存在于紧接着该GOP的GOP中,并且当另一接合点存在于其中时,按上述方式再次设置扩展重新编码区间。
简言之,编辑装置1具有作为接合时的操作模式的两种操作模式:其中执行重试操作的两次通过编码模式,和其中扩展要被进行重新编码的区间的扩展重新编码区间设置模式。在这两种操作模式中,在多个接合点存在于被进行重新编码的区间(即,最小重新编码区间和/或扩展重新编码区间)和紧接着该区间的GOP中的情况下,基于这些接合点设置要被进行重新编码的区间,并且设置该区间的末端点处的VBV目标值。在编辑装置1中,例如基于编辑装置1的结构或设置、用户操作输入等设置操作模式,并且基于所设置的操作模式来执行处理。
在两次通过编码模式中,只对包括包含接合点的GOP的最小重新编码区间执行重新编码,同时保持VBV占用率的连续性;因此,编辑后的流中可能由于重新编码而经历图像质量的下降的部分可以被限制到最小。因此,当希望将图像质量的下降减少到最小而不希望实时地再现编辑结果以用于检查时,可以按两次通过编码模式来适当地执行编辑。
同时,在扩展重新编码区间设置模式中,即使当没有成功地使得VBV占用率的实际值大于由包括接合点的GOP构成的最小重新编码区间中的VBV占用率的目标值时,也不执行重试操作。因此,其实现方式与执行重试操作的模式相比更容易。此外,在扩展重新编码区间设置模式中,可以几乎实时地再现/输出编辑的结果,这在执行重试操作的模式中是难以实现的。因此,当需要几乎实时地再现/输出编辑结果时,按扩展重新编码区间设置模式适当地执行编辑。
接下来,图11是示出了图3的编辑装置1的示例性功能性结构的框图。在图11中,具有图3中的相应部件的部件被分配与图3中相同的标号,并且适当地省略了对它们的描述。
编辑装置1由控制部分101、获取部分102、包括解码器22和解码器23的解码器103以及编码器27组成。
控制部分101对应于CPU 11和CPU 20,并且控制编辑装置1的每个部件。在控制部分101的控制下,获取部分102从HDD 16或存储器18获取压缩视频材料数据,并将压缩视频材料数据中与重新编码区间相对应的部分提供给包括解码器22和解码器23的解码器103。注意,其中存储有压缩视频材料数据的HDD 16或存储器18可以被包含在获取部分102中。还要注意,获取部分102可以从连接到编辑装置1的另一设备获取压缩视频材料数据。获取部分102还根据需要获取压缩视频材料数据中不与重新编码区间相对应的部分,并按照该部分将被接合到重新编码区间的顺序输出该部分(到图3中的流接合器25)以产生编辑后的图像。
解码器103对从获取部分102提供的压缩视频材料数据进行解码,并将所得到的未压缩视频信号提供给编码器27。注意,如图11中所示的编辑装置1包含两个解码器22和23作为用于对压缩视频材料数据进行解码的解码器,并且包含解码器24作为用于对编辑后的流进行解码的解码器。但是,包含在编辑装置1中的解码器数目可以是一个、两个或三个以上。
更具体地,控制部分101的功能如图12中所示。
就是说,控制部分101被定义为将CPU 11可执行的功能和CPU 20可执行的功能合并的单元。CPU 11包括操作输入获取部分131、重新编码区间确定部分132、操作模式决定部分133、流发送控制部分134和参数发送部分135,而CPU 20包括流获取控制部分151、参数获取部分152、解码控制部分153、编码控制部分154和操作模式确定部分155。
操作输入获取部分131接受用户的操作输入以获取与用户操作相对应的信息,例如关于要被编辑的流和接合点的信息,并将所获取的信息提供给重新编码区间确定部分132或流发送控制部分134。另外,当操作输入获取部分131接受了来自用户的用于设置或改变操作模式的操作输入时,操作输入获取部分131将关于操作模式的操作输入的内容提供给操作模式决定部分133。
基于从操作输入获取部分131提供的关于要被编辑的流和接合点的信息,重新编码区间确定部分132首先确定最小重新编码区间。重新编码区间确定部分132将表示所确定的最小重新编码区间的信息提供给参数发送部分135和流发送控制部分134。在操作模式是扩展重新编码区间设置模式并且没有从编码控制部分154接收到用于停止提供流的请求的情况下,即在作为对最小重新编码区间执行的重新编码过程的结果,VBV占用率变得低于目标值,并且因此提出了用于将下一个GOP设置为扩展重新编码区间的请求的情况下,重新编码区间确定部分132确定是否有任何接合点存在于下一个GOP中,再基于这个确定的结果确定扩展重新编码区间,并将表示扩展重新编码区间的信息提供给135和流发送控制部分134。
基于从操作输入获取部分131提供的用户的操作输入或编辑装置1的设置,操作模式决定部分133决定操作模式,并将所决定的操作模式提供给重新编码区间确定部分132和操作模式确定部分155。
基于从重新编码区间确定部分132提供的表示最小重新编码区间或扩展重新编码区间的信息,参数发送部分135将对流进行重新编码所必需的各种类型的参数提供给参数获取部分152。
基于从操作输入获取部分131和重新编码区间确定部分132提供的信息,流发送控制部分134控制获取部分102,以使得要被编辑的流中已被设置为重新编码区间的部分将被发送给解码器22或解码器23。另外,流发送控制部分134根据需要控制获取部分102,以使得要被编辑的流中未被设置为重新编码区间的部分也将被获取以接合到被重新编码的部分。另外,基于从操作输入获取部分131提供的信息,流发送控制部分134向流获取控制部分151提供用于执行与用户操作相对应的处理的控制信号,所述处理例如编辑、存储或显示流。
基于从流发送控制部分134提供的控制信号,流获取控制部分151控制要被编辑的流的获取。另外,流获取控制部分151控制解码控制部分153,以对要被编辑的流中应当被重新编码的部分进行解码,并且还控制编码控制部分154以对其进行编码。
基于操作模式确定部分155所确定的操作模式,解码控制部分153控制对流的解码。参数获取部分152从参数发送部分135获取对流进行重新编码所必需的各种类型的参数,并将所获取的参数提供给编码控制部分154。
基于操作模式确定部分155所确定的操作模式,编码控制部分154利用从参数获取部分152提供的参数控制对流的重新编码。在操作模式是两次通过编码模式并且作为对最小重新编码区间执行重新编码过程的结果,VBV占用率已变得低于目标值的情况下,编码控制部分154从编码器27获取作为第一编码过程的结果而得到的各种类型的参数(例如所产生位的数量的在先结果),并且利用所获取的参数来确定用于第二编码过程的位分配。另外,在操作模式是扩展重新编码区间设置模式并且作为对最小重新编码区间执行重新编码过程的结果,VBV占用率已变得低于目标值的情况下,编码控制部分154不向重新编码区间确定部分132提供用于停止流供应的请求,而是提出用于设置扩展重新编码区间的请求,以使得扩展重新编码区间将被设置。
基于操作模式决定部分133所决定的操作编码模式,操作模式确定部分155确定该操作模式是两次通过编码模式还是扩展重新编码区间设置模式,并将确定的结果提供给解码控制部分153和编码控制部分154。
接下来,参考图13到15的流程图,下面将描述CPU 11的处理。
在步骤S1,CPU 11接受表示多个流的GOP结构和接合点的信息的输入,所述多个流是压缩编码的压缩视频材料数据。另外,在显示重新编码区间之前和之后的部分的指令已被发出的情况下,CPU 11产生用于控制编辑装置1的相关部件的控制信号,以使得流中与第一接合点之前的部分相对应的在最小重新编码区间之前的部分的数据将经由流接合器25被提供给解码器24,并且将经由开关29被输出到外部显示设备等,并且CPU 11将所产生的控制信号经由北桥12、PCI总线14、PCI桥17和控制总线19发送给CPU 20。
在步骤S2,执行下面参考图16和17或图18到20描述的最小重新编码区间确定过程,使得如以上参考图4到7所述的确定最小重新编码区间。
在步骤S3,CPU 11确定在步骤S2是否已确定了最小重新编码区间。如果在步骤S3确定出最小重新编码区间还没有被确定,则该过程结束。
如果在步骤S3确定出最小重新编码区间已被确定,则在步骤S4,CPU 11获取对最小重新编码区间执行重新编码过程所必需的参数。
例如,在流A和流B在第一接合点处被接合起来而流B和流C在第二接合点处被接合起来的情况下,对最小重新编码区间执行重新编码过程所必需的参数包括:表示流A中的第一接合点的位置的信息,例如被安排在包括流A中的第一接合点的GOP之前的GOP的数目;表示在包括流A中的第一接合点的GOP中的第一接合点的位置的信息;表示流B中的第一接合点的位置的信息,例如从包括第一接合点的GOP到流B的末端所安排的GOP的数目;表示包括流B中的第一接合点的GOP中的第一接合点的位置的信息;表示流B中的第二接合点的位置的信息,例如被安排在包括流B中的第二接合点的GOP之前的GOP的数目;表示在包括流B中的第二接合点的GOP中的第二接合点的位置的信息;表示流C中的第二接合点的位置的信息,例如从包括第二接合点的GOP到流C的末端所安排的GOP的数目;表示在包括流C中的第二接合点的GOP中的第二接合点的位置的信息;与最小重新编码区间的起始位置相对应的VBV值;与最小重新编码区间的末端位置相对应的帧的VBV值(即,最小重新编码区间中的VBV目标值);以及表示效应是否应当被施加或效应的类型的信息。
在步骤S5,CPU 11获取针对最小重新编码区间的编码终止过程所必需的参数。编码终止过程指对一直到紧接着最小重新编码区间的GOP中的第一个P图片的第一若干个帧执行的重新编码过程,以及基于这个重新编码过程的结果产生编辑后的流C的过程,如上面参考图8所描述的。
针对最小重新编码区间的编码终止过程所必需的参数的示例包括:相关GOP中的VBV目标值;在紧接着相关GOP的下一个GOP中的第一个P图片中的VBV值;在紧接着相关GOP的下一个GOP中I图片的所产生位的数量;被安排在紧接着相关GOP的下一个GOP中的第一个P图片之前的B图片的数目;被安排在紧接着GOP的下一个GOP中的第一个P图片之前的B图片中的量化矩阵。
在步骤S6,CPU 11控制向解码器22和解码器23发送对最小重新编码区间执行重新编码过程所必需的流的操作。具体而言,在流A和流B在第一接合点处被接合起来而流B和流C在第二接合点处被接合起来的情况下,CPU 11产生用于控制编辑装置1的相关部件的控制信号,以使得:流A中开始于最小重新编码区间的起始位置并结束于第一接合点的部分将被提供给解码器22;流B中开始于第一接合点并结束于第二接合点的部分将被提供给解码器23;流C中在第二接合点之后的部分将被提供给解码器22(注意,就流A、B和C中的每一个而言,在对最小重新编码区间进行解码所必需的任何帧存在于该区间之外的情况下,该帧也将被提供给解码器22和23中相应的一个解码器);并且流A到C中的这些部分将在接合点处被接合起来,并且根据需要通过效应开关26施加效应。然后,CPU11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送所产生的控制信号。
在步骤S7,CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送对最小重新编码区间执行重新编码过程所必需的参数和编码终止过程所必需的参数。
在步骤S8,CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送控制信号,该控制信号用于控制开关29以使得最小重新编码区间中要被输出/显示的流将被输入到编码器27。
在步骤S9,CPU 11确定操作模式是否为两次通过编码模式。如果在步骤S9确定出操作模式是两次通过编码模式,则控制进行到步骤S19,步骤S19将在后面描述。
如果在步骤S9确定出操作模式不是两次通过编码模式,即意味着操作模式是扩展重新编码区间设置模式,则在步骤S10 CPU 11暂时将下一个GOP设置为扩展重新编码区间。
在步骤S11,CPU 11确定下一个接合点是否存在于在步骤S10暂时设置的扩展重新编码区间或紧接着扩展重新编码区间的GOP中。
如果在步骤S11确定出下一个接合点存在于其中,则在步骤S12,CPU 11基于在接合点处被接合起来的流中在接合点之后的部分设置扩展重新编码区间,如上面参考图10描述的。
如果在步骤S11确定出下一个接合点没有存在于其中,则在步骤S13,CPU将暂时设置的扩展重新编码区间设置为接下来要被重新编码的扩展重新编码区间。
在步骤S12或步骤S13的过程之后,在步骤S14,CPU 11获取对接下来要被重新编码的扩展重新编码区间执行重新编码过程所必需的参数。
在步骤S15,CPU 11获取针对接下来要被重新编码的扩展重新编码区间的编码终止过程所必需的参数。
在步骤S16,CPU 11控制向解码器23发送在流中的最小重新编码区间之后的GOP的操作,该GOP是对接下来要被重新编码的扩展重新编码区间执行重新编码过程所必需的。
在步骤S17,CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送对接下来要被重新编码的扩展重新编码区间执行重新编码过程所必需的参数以及编码终止过程所必需的参数。
在步骤S18,CPU 11确定是否已经由控制总线19、PCI桥17、PCI总线14和北桥12从CPU 20接收到用于停止向解码器22或解码器23供应流的请求。
具体而言,如果在对最小重新编码区间的重新编码过程中,对最小重新编码部分的编码已结束于大于VBV占用率的目标值的VBV占用率值,则CPU 20向CPU 11发送用于停止向解码器22或解码器23提供流的请求。
如果在步骤S18确定出没有从CPU 20接收到用于停止向解码器22或解码器23提供流的请求,即如果确定出在对最小重新编码区间的重新编码过程中,对最小重新编码部分的编码没有结束于大于VBV占用率的目标值的VBV占用率值,则控制返回到步骤S10,并且后续过程被重复。如果在步骤S18中确定出已从CPU 20接收到用于停止向解码器22或解码器23提供流的请求,则控制进行到步骤S22,步骤S22将在后面描述。
如果在步骤S9确定出操作模式是两次通过操作模式,则在步骤S19,CPU 11控制向解码器22和解码器23发送对最小重新编码区间执行重新编码过程所必需的流的操作。具体而言,CPU 11产生用于控制编辑装置1的相关部件的控制信号,以使得对最小重新编码区间执行重新编码过程所必需的流将被提供给解码器22或解码器23,并且在接合点处被接合起来,并且根据需要由效应开关26施加效应。然后,CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送所产生的控制信号。
在步骤S20,CPU 11经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送对最小重新编码区间执行重新编码过程所必需的参数以及编码终止过程所必需的参数。
在步骤S21,CPU 11确定是否经由北桥12、PCI总线14、PCI桥17和控制总线19从CPU 20接收到对最小重新编码区间的编码已经成功的通知。如果在步骤S21确定出没有接收到对最小重新编码区间的编码已经成功的通知,则控制返回到步骤S19,并且后续过程被重复。
如果在步骤S18确定出已从CPU 20接收到用于停止向解码器22和解码器23供应流的请求,或者如果在步骤S21确定出已接收到对最小重新编码区间的编码已经成功的通知,则在步骤S22,CPU 11确定在最后的重新编码区间之后的帧中,是否有任何B图片被安排为紧接着I图片。如果在步骤S22确定出没有B图片紧接着I图片,即如果确定出P图片紧接着I图片,则控制进行到步骤S25,步骤S25将在后面描述。
如果在步骤S22确定出有任何B图片紧接着I图片,则在步骤S23,CPU 11确定在最后的重新编码区间之后的I图片、一个或多个B图片和P图片(即图8中从由a指示的帧到由b指示的帧的多个帧)是否已从HDD16中读出并且被经由南桥15、北桥12、PCI总线14和PCI桥17提供给存储器18。如果在步骤S23确定出I图片、一个或多个B图片和P图片已被提供给存储器18,则控制进行到步骤S25,步骤S25将在后面描述。
如果在步骤S23确定出I图片、一个或多个B图片和P图片没有被提供给存储器18,则在步骤S24,CPU 11控制向解码器23提供在最后的重新编码区间之后的I图片、一个或多个B图片和P图片的操作。
如果在步骤S22确定出没有B图片紧接着I图片,即如果确定出P图片紧接着I图片,或者在步骤S23确定出I图片、一个或多个B图片和P图片已被提供给存储器18,或者在步骤S24的过程之后,在步骤S25,CPU 11产生控制信号,该控制信号用于控制编辑装置1的相关部件以使得在重新编码区间以外要被输出/显示的流将被经由流接合器25提供给解码器24并且由解码器24进行解码,并且被提供给外部显示设备等,并且CPU 11将所产生的控制信号经由北桥12、PCI总线14、PCI桥17和控制总线19发送到CPU 20。然后,该过程结束。
根据以上过程,CPU 11确定最小重新编码区间;经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送对最小重新编码区间的重新编码过程和编码终止过程所必需的参数;并且控制经由北桥12、PCI总线14和PCI桥17向存储器18和解码器23(或者根据需要是解码器22)提供与重新编码区间相对应的流的操作。
另外,在两次通过编码模式中,CPU 11进行各种控制,以使得对最小重新编码区间的重新编码将被重复执行,直到作为对最小重新编码区间执行重新编码的结果,VBV占用率变连续为止;因此,可以将重新编码区间限制到最小,同时满足对VBV的约束条件。因而,可以防止图像质量的下降。
此外,在扩展重新编码设置模式中,在作为对最小重新编码区间执行重新编码的结果,VBV占用率没有变得连续的情况下,CPU 11重复设置扩展重新编码区间,直到VBV占用率变连续为止。这使得可以实时地输出/显示编辑的结果,并且在满足对VBV的约束条件的同时执行编辑过程。
此外,CPU 11确定在设置扩展重新编码区间时,是否有新的接合点存在于该区间或者紧接着该区间的GOP中,并且当有新的接合点存在于其中时,CPU 11基于该接合点设置扩展重新编码区间。
此外,在扩展重新编码区间设置模式中,CPU 11能够预先经由北桥12、PCI总线14、PCI桥17和控制总线19向CPU 20发送对接下来要被重新编码的扩展重新编码区间执行重新编码过程所必需的参数以及编码终止过程所必需的参数,并且在重新编码区间被扩展的情况下,还将随后将被进行重新编码的流经由北桥12、PCI总线14和PCI桥17提供给存储器18,并且随后将其提供给解码器23(或者根据需要是解码器22)。因此,即使当重新编码区间被扩展并且扩展重新编码区间被设置时,编辑装置1也不会有延迟或者在处理中停止。因此,编辑装置1能够连续地再现/输出编辑后的图像。
接下来,将参考图16和17的流程图描述作为图13中的步骤S2所执行的过程的第一示例的最小重新编码区间确定过程1。
在步骤S41,CPU 11基于要被编辑的每个流中的接合点的位置信息,按照以上参考图4所描述的方式确定标准重新编码区间。就是说,假设包括流A(其在接合点ab处被接合到流B)中的接合点a的GOP的起始位置由α指示,并且包括流B中的接合点b的GOP的末端位置由β指示,则包括接合点a和b的开始于位置α且结束于位置β的区间被设置为流C中的标准重新编码区间,流C是通过在接合点处将流A和流B接合起来而产生的。
在步骤S42,CPU 11确定包括在标准重新编码区间中的帧数目A+B是否满足N/2≤A+B≤N,其中N是一个标准GOP中的帧数目。
如果在步骤S42确定出帧数目A+B满足N/2≤A+B≤N,则在步骤S43,CPU 11暂时地将标准重新编码区间作为一个GOP设置为最小重新编码区间。然后,控制进行到图17中的步骤S51。
如果在步骤S42确定出帧数目A+B不满足N/2≤A+B≤N,则在步骤S44,CPU 11确定包括在标准重新编码区间中的帧数目A+B是否满足N+1≤A+B≤2N-1,其中N是一个标准GOP中的帧数目。
如果在步骤S44确定出帧数目A+B满足N+1≤A+B≤2N-1,则在步骤S45,CPU 11将标准重新编码区间划分成两个GOP并且按以上参考图6所描述的方式将这两个GOP设置为最小重新编码区间。更具体地说,在包括在标准重新编码区间中的帧数目为偶数的情况下,标准重新编码区间被平均划分成两个GOP,而在包括在标准重新编码区间中的帧数目为奇数的情况下,标准重新编码区间被划分成两个GOP以使得第二GOP包括的帧数比第一GOP多1。然后,控制进行到图17中的步骤S51。
此时,在帧数目A+B不能被除尽的情况下,优选的是后面(就时间而言)的GOP中的帧数目比前面(就时间而言)的GOP中的帧数目大。这是因为在用于调整编码流中被重新编码的部分和编码流中未被重新编码的部分被合并的部分的占用率的解码和编码过程中,当后面(就时间而言)的GOP中的帧数目大于前面(就时间而言)的GOP中的帧数目时,位分配的灵活度增大。
如果在步骤S44确定出帧数目A+B不满足N/2≤A+B≤2N-1,则在步骤S46,CPU 11确定包括在标准重新编码区间中的帧数目A+B是否满足0≤A+B<N/2,其中N是一个标准GOP中的帧数目。
如果在步骤S46确定出帧数目A+B不满足0≤A+B<N/2,则帧数目A+B等于或大于N/2,因此在步骤S47,CPU 11执行错误处理。然后,控制返回到图13中的步骤S2,并且进行到步骤S3。
如果在步骤S46确定出帧数目A+B满足0≤A+B<N/2,则在步骤S48,CPU 11确定包括在标准重新编码区间中的帧数目A+B和流B中的下一个GOP中的帧数目的总和A+B+C是否满足N/2≤A+B+C≤N。
如果在步骤S48确定出A+B+C不满足N/2≤A+B+C≤N,即如果N<A+B+C,则在步骤S49,CPU 11将由标准重新编码区间和流B中的下一个GOP构成的区间划分成两个或更多个GOP以使得每个GOP满足N/2≤x≤N,并且按以上参考图5所描述的方式暂时将这两个或更多个GOP设置为最小重新编码区间。此时,优选的是包括在这两个或更多个GOP中的每一个GOP中的帧数目尽可能相等。例如,在上述区间被划分成两个GOP的情况下,如果帧的总数目A+B+C是偶数,则该区间被平均划分,而如果帧的总数目A+B+C是奇数,则该区间被划分以使得第二GOP包括的帧数比第一GOP多1,并且这两个GOP被设置为最小重新编码区间。
此时,在帧数目A+B+C不能被除尽的情况下,优选的是后面(就时间而言)的GOP中的帧数目比前面(就时间而言)的GOP中的帧数目大。这是因为在用于调整编码流中被重新编码的部分和编码流中未被重新编码的部分被合并的部分的占用率的解码和编码过程中,当后面(就时间而言)的GOP中的帧数目大于前面(就时间而言)的GOP中的帧数目时,位分配的灵活度增大。
此外,与尽可能平均地划分帧数目A+B+C不同的是,GOP的划分可以按这样的方式执行,该方式使得GOP具有预定的帧数目。例如,GOP的划分可以执行使得构成两个GOP中的前一个(就时间而言)GOP的帧的数目必须为预定数目(例如N/2或大于N/2的最小整数)。优选地,该预定数目被确定以使得每个GOP将满足N/2≤x≤N。
在步骤S49的过程之后,控制进行到图17中的步骤S51。
如果在步骤S48确定出A+B+C满足N/2≤A+B+C≤N,则在步骤S50,CPU 11暂时地将由标准重新编码区间和流B中的下一个GOP构成的区间作为一个GOP设置为最小重新编码区间。
在步骤S43、步骤S45、步骤S49或步骤S50的过程之后,在步骤S51,CPU 11确定是否有在设置最小重新编码区间时未被考虑的任何接合点存在于暂时设置的最小重新编码区间或紧接着暂时设置的最小重新编码区间的GOP中。
如果在步骤S51确定出这样的接合点不存在于其中,则在步骤S52,CPU 11将暂时设置的最小重新编码区间设置为最小重新编码区间。然后,控制返回到图13中的步骤S2,并且进行到步骤S3。
如果在步骤S51确定出这样的接合点存在于其中,则在步骤S53,CPU 11按以上参考图7所描述的方式在考虑所有的接合点的同时再次暂时地设置最小重新编码区间。
在步骤S54,CPU 11确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足N/2≤Z≤N,其中N是一个标准GOP中的帧数目。
如果在步骤S54确定出帧数目Z满足N/2≤Z≤N,则在步骤S55,CPU 11暂时地将暂时设置的最小重新编码区间作为一个GOP设置为最小重新编码区间。然后,控制返回到步骤S51,并且后续过程被重复。
如果在步骤S54确定出帧数目Z不满足N/2≤Z≤N,则在步骤S56,CPU 11确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足N+1≤Z≤2N-1,其中N是一个标准GOP中的帧数目。
如果在步骤S56确定出帧数目Z满足N+1≤Z≤2N-1,则在步骤S57,CPU 11将暂时设置的最小重新编码区间划分成两个GOP并且暂时将这两个GOP设置为最小重新编码区间。更具体地说,在包括在暂时设置的最小重新编码区间中的帧数目为偶数的情况下,暂时设置的最小重新编码区间被平均划分成两个GOP,而在包括在暂时设置的最小重新编码区间中的帧数目为奇数的情况下,暂时设置的最小重新编码区间被划分成两个GOP以使得第二GOP包括的帧数比第一GOP多1。然后,控制返回到步骤S51,并且后续过程被重复。
如果在步骤S56确定出帧数目Z不满足N+1≤Z≤2N-1,则在步骤S58,CPU 11确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足0≤Z<N,其中N是一个标准GOP中的帧数目。
如果在步骤S58确定出帧数目Z不满足0≤Z<N,则在步骤S59,CPU 11执行错误处理。然后,控制返回到图13中的步骤S2,并且进行到步骤S3。
如果在步骤S58确定出帧数目Z满足0≤Z<N,则在步骤S60,CPU11确定包括在暂时设置的最小重新编码区间中的帧数目Z和下一个GOP中的帧数目的总和Z’是否满足N/2≤Z’≤N。
如果在步骤S60确定出Z’满足N/2≤Z’≤N,则在步骤S61,CPU 11暂时将由暂时设置的最小重新编码区间和下一个GOP构成的区间作为一个GOP设置为最小重新编码区间。然后,控制返回到步骤S51,并且后续过程被重复。
如果在步骤S60确定出Z’不满足N/2≤Z’≤N,则在步骤S62,CPU11将由暂时设置的最小重新编码区间和下一个GOP构成的区间划分成两个或更多个GOP以使得每个GOP满足N/2≤x≤N,并且暂时将这两个或更多个GOP设置为最小重新编码区间。然后,控制返回到步骤S51,并且后续过程被重复。
上述过程使得即使当存在与最小重新编码区间的设置有关的多个接合点时,也可以根据这多个接合点适当地设置最小重新编码区间,并且因此可以防止留下过短的GOP,从而防止不必要的图像质量下降。此外,因为可以执行编码以使得被进行重新编码的区间中的每个GOP都具有尽可能大的GOP长度,所以获得了最大的编码效率,从而实现了具有更好的图像质量的编码。
注意,在步骤S45或步骤S57的过程中,包括在标准重新编码区间或暂时设置的最小重新编码区间中的帧数目可以不必如上所述的尽可能平均地被划分。与尽可能平均地划分帧数目A+B或Z不同的是,GOP的划分可以按这样的方式执行,该方式使得GOP具有预定的帧数目。
接下来,将参考图18到20的流程图描述作为图13中的步骤S2所执行的过程的第二示例的最小重新编码区间确定过程2。
在步骤S71到S74,执行与图16中的步骤S41到S44的过程基本相同的过程。
具体而言,CPU 11基于要被编辑的每个流中的接合点的位置信息,按照以上参考图4所描述的方式确定标准重新编码区间。然后,如果确定出包括在标准重新编码区间中的帧数目A+B满足N/2≤A+B≤N,其中N是一个标准GOP中的帧数目,则CPU 11暂时地将标准重新编码区间作为一个GOP设置为最小重新编码区间。
同时,如果确定出帧数目A+B不满足N/2≤A+B≤N,则确定包括在标准重新编码区间中的帧数目A+B是否满足N+1≤A+B≤2N-1,其中N是一个标准GOP中的帧数目。如果确定出帧数目A+B不满足N+1≤A+B≤2N-1,则控制进行到步骤S77,步骤S77将在后面描述。
如果确定出帧数目A+B满足N+1≤A+B≤2N-1,则在步骤S75,CPU 11确定包括在标准重新编码区间中并且在接合点之前的帧数目A是否满足A≥N/2。如果在步骤S75确定出满足A≥N/2,则控制进行到步骤S82,步骤S82将在后面描述。
如果在步骤S75确定出不满足A≥N/2,则在步骤S76,CPU 11基于帧数目A+B将标准重新编码区间划分为两个GOP以使得一个GOP具有预定的帧数目,并暂时将这两个GOP设置为最小重新编码区间。然后,控制进行到图20中的步骤S90。
此时,例如GOP的划分可以执行以使得构成这两个GOP中的前一个(就时间而言)GOP的帧数目必然为预定数目(例如N/2或大于N/2的最小整数)。具体而言,例如假设N=15。在这种情况下,如果A+B=16,则第一GOP和第二GOP中的帧数目可以都为8。如果A+B=17,则第一GOP和第二GOP中的帧数目可以分别为8和9。如果A+B=18,则第一GOP和第二GOP中的帧数目可以分别为8和10。如果A+B=22,则第一GOP和第二GOP中的帧数目可以分别为8和14。就是说,第一GOP中的帧数目可以被固定为预定数目,而改变第二GOP中的帧数目。
如上所述,前一个(就时间而言)GOP中的帧数目可以被固定为不会使重新编码很难的预定值,而后一个GOP中的帧数目被设置为较大的值。这是优选的,因为在用于调整编码流中被重新编码的部分和编码流中未被重新编码的部分被合并的部分的占用率的解码和编码过程中,当后面(就时间而言)的GOP中的帧数目大于前面(就时间而言)的GOP中的帧数目时,位分配的灵活度增大。
如果在步骤S74确定出帧数目A+B不满足N+1≤A+B≤2N-1,则在步骤S77到S81执行与图16中的步骤S46到S50的过程基本相同的过程。
具体而言,确定包括在标准重新编码区间中的帧数目A+B是否满足0≤A+B<N/2,其中N是一个标准GOP中的帧数目。如果确定出帧数目A+B不满足0≤A+B<N/2,则帧数目A+B等于或大于N/2,因此执行错误处理,并且控制返回到图13中的步骤S2,并且进行到步骤S3。如果确定出帧数目A+B满足0≤A+B<N/2,则确定包括在标准重新编码区间中的帧数目A+B和流B中的下一个GOP中的帧数目的总和A+B+C是否满足N/2≤A+B+C≤N。
如果确定出A+B+C不满足N/2≤A+B+C≤N,即如果N<A+B+C,则由标准重新编码区间和流B中的下一个GOP构成的区间被划分成两个或更多个GOP以使得每个GOP满足N/2≤x≤N,并且按以上参考图5所描述的方式,这两个或更多个GOP被暂时设置为最小重新编码区间。然后,控制进行到图20中的步骤S90。此时,GOP可以被划分以使得帧数目A+B+C被尽可能平均地分配,或者可替换地,可以基于预定的帧数目执行GOP的划分以使得每个GOP满足N/2≤x≤N,如上所述。
如果确定出A+B+C满足N/2≤A+B+C≤N,则由标准重新编码区间和流B中的下一个GOP构成的区间被作为一个GOP暂时设置为最小重新编码区间,并且控制进行到图20中的步骤S90。
如果在步骤S75确定出满足A≥N/2,则在步骤S82,CPU 11确定当接合点被设置为GOP之间的边界时,包括在标准重新编码区间中并且在接合点之后的GOP中的帧数目是否满足N/2≤B。
如果在步骤S82确定出在标准重新编码区间中的后一GOP中的帧数目B满足N/2≤B,则在步骤S83,CPU 11在接合点处将标准重新编码区间划分成两个GOP,并且暂时地将这两个GOP设置为最小重新编码区间。然后,控制进行到图20中的步骤S90。
注意,在执行步骤S83的过程的情况下,在以上参考图13描述的CPU 11的处理的步骤S7中,作为重新编码所必需的参数,CPU 11将指示I2图片被安排在包括在最小重新编码区间中并且在接合点之后的GOP的头部(按显示顺序)(换句话说就是B0和B1图片被省略)的信息经由北桥12、PCI总线14、PCI桥17和控制总线19发送给CPU 20。
如果在步骤S82确定出在标准重新编码区间中的后一GOP中的帧数目B不满足N/2≤B,则在步骤S84,CPU 11确定当接合点被设置为GOP之间的边界时,在标准重新编码区间中的后一GOP中的帧数目B和在流B中的下一个GOP中的帧数目C的总和B+C是否满足N/2≤B+C≤N。
如果在步骤S84确定出满足N/2≤B+C≤N,则在步骤S85,CPU暂时将由标准重新编码区间和流B中的下一个GOP构成的区间设置为最小重新编码区间,该区间中在接合点之前的部分被设置为第一GOP并且该区间中在接合点之后的部分被设置为第二GOP。然后,控制进行到图20中的步骤S90。
如果在步骤S84确定出不满足N/2≤B+C≤N,则在步骤S86,CPU11确定B+C是否满足N/2>B+C。
如果在步骤S86确定出不满足N/2>B+C,即意味着B+C>N/2,则在步骤S87,CPU 11将由标准重新编码区间和流B中的下一个GOP构成的区间划分成三个GOP,以使得该区间中在接合点之前的部分被设置为第一GOP,并且该区间中在接合点之后的部分(即,由B+C个帧构成的部分)被划分成被设置为第二和第三GOP的两个GOP,并且CPU 11暂时将这三个GOP设置为最小重新编码区间。然后,控制进行到图20中的步骤S90。
如果在步骤S86确定出满足N/2>B+C,则在步骤S88,CPU 11确定在另外包括流B中的下一个GOP的上述区间中的帧数目是否等于或大于N/2。如果在步骤S88确定出在这种被扩展的区间中的帧数目小于N/2,则步骤S88的过程被重复,直到确定出在被另外扩展的区间中的帧数目等于或大于N/2为止。
如果在步骤S88确定出在这种被扩展的区间中的帧数目等于或大于N/2,则在步骤S89,CPU 11暂时将由标准重新编码区间和被添加到该区间的流B中的多个GOP构成的区间设置为最小重新编码区间,以使得该区间中在接合点之前的部分被设置为第一GOP并且该区间中在接合点之后的部分被设置为第二GOP。然后,控制进行到图20中的步骤S90。
在步骤S73、步骤S76、步骤S80、步骤S81、步骤S83、步骤S85、步骤S87或步骤S89的过程之后,在步骤S90到S101执行与步骤S51到S62的过程基本相同的过程。
具体而言,确定是否有在设置最小重新编码区间时未被考虑的任何接合点存在于暂时设置的最小重新编码区间或紧接着暂时设置的最小重新编码区间的GOP中。如果确定出这样的接合点不存在于其中,则该暂时设置的最小重新编码区间被设置为最小重新编码区间,并且控制返回到图13中的步骤S2,并且进行到步骤S3。
如果确定出这样的接合点存在于其中,则按以上参考图7所描述的方式在考虑所有的接合点的同时再次暂时地设置最小重新编码区间。然后,确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足N/2≤Z≤N,其中N是一个标准GOP中的帧数目。如果确定出帧数目Z满足N/2≤Z≤N,则在步骤S94,CPU 11暂时地将暂时设置的最小重新编码区间作为一个GOP设置为最小重新编码区间。然后,控制返回到步骤S90,并且后续过程被重复。
同时,如果确定出帧数目Z不满足N/2≤Z≤N,则确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足N+1≤Z≤2N-1,其中N是一个标准GOP中的帧数目。如果确定出帧数目Z满足N+1≤Z≤2N-1,则暂时设置的最小重新编码区间被划分成两个GOP并且这两个GOP被暂时设置为最小重新编码区间。更具体地说,在包括在暂时设置的最小重新编码区间中的帧数目为偶数的情况下,暂时设置的最小重新编码区间被平均划分成两个GOP,而在包括在暂时设置的最小重新编码区间中的帧数目为奇数的情况下,暂时设置的最小重新编码区间被划分成两个GOP以使得第二GOP包括的帧数比第一GOP多1。然后,控制返回到步骤S90,并且后续过程被重复。
如果确定出帧数目Z不满足N+1≤Z≤2N-1,则确定包括在暂时设置的最小重新编码区间中的帧数目Z是否满足0≤Z<N,其中N是一个标准GOP中的帧数目。如果确定出帧数目Z不满足0≤Z<N,则在步骤S98,CPU 11执行错误处理。然后,控制返回到图13中的步骤S2,并且进行到步骤S3。
如果确定出帧数目Z满足0≤Z<N,则确定包括在暂时设置的最小重新编码区间中的帧数目Z和下一个GOP中的帧数目的总和Z’是否满足N/2≤Z’≤N。如果确定出Z’满足N/2≤Z’≤N,则由暂时设置的最小重新编码区间和下一个GOP构成的区间被作为一个GOP暂时设置为最小重新编码区间。然后,控制返回到步骤S90,并且后续过程被重复。
同时,如果确定出Z’不满足N/2≤Z’≤N,则由暂时设置的最小重新编码区间和下一个GOP构成的区间被划分成两个或更多个GOP以使得每个GOP满足N/2≤x≤N,并且这两个或更多个GOP被暂时设置为最小重新编码区间。然后,控制返回到步骤S90,并且后续过程被重复。
上述过程使得即使当存在与最小重新编码区间的设置有关的多个接合点时,也可以根据这多个接合点适当地设置最小重新编码区间,并且基于构成GOP的帧数目和接合点的位置提供了防止不必要的图像质量下降的GOP结构。这唤起了对具有更好图像质量的编码的期待。
注意,在前述描述中,在步骤S76或步骤S96的过程中,帧数目A+B被尽可能平均地划分,或者GOP的划分以这样的方式执行,该方式使得GOP具有预定的帧数目。然而,这里包括在标准重新编码区间中的帧数目可以被尽可能平均地划分。
还要注意,在前述描述中,在以上过程中,在最小重新编码区间被暂时确定之后,确定是否有任何其它接合点存在于暂时确定的最小重新编码区间或下一个GOP中,并且如果有任何其它接合点存在于其中,则最小重新编码区间被再次设置。然而,可替换地,例如可以这样安排:标准重新编码区间被暂时确定,并且确定是否有任何其它接合点存在于暂时确定的标准重新编码区间中,如果有任何其它接合点存在于其中,则标准重新编码区间被再次设置。在这种情况下,基于新设置的标准重新编码区间暂时确定最小重新编码区间,并且确定是否有任何其它接合点存在于暂时确定的最小重新编码区间或下一个GOP中,并且如果有任何其它接合点存在于其中,则最小重新编码区间被再次设置。
接下来,将参考图21的流程图描述在两次通过编码模式中CPU 20所执行的处理1。
在步骤S111,CPU 20获取对最小重新编码区间执行重新编码过程所必需的参数以及编码终止过程所必需的参数,这些参数已在图13中的步骤S7由CPU 11发送。
在步骤S112,CPU 20获取最小重新编码区间的VBV起始值V1和VBV目标值V2。
在步骤S113,执行下面将参考图23描述的针对最小重新编码区间的位分配确定过程。
在步骤S114,CPU 20开始控制最小重新编码区间的解码和编码以及基于所确定的位分配在接合点处的接合。例如,假设流A和流B在接合点处被接合在一起。在这种情况下,基于经由北桥12、PCI总线14、PCI桥17和控制总线19从CPU 11发送的控制信号,CPU 20控制PCI桥17、流接合器25、解码器24和开关29的操作,以使得流A中在最小重新编码区间之前的部分的数据将被经由流接合器25提供给解码器24,并且被经由开关29输出到外部显示设备等。CPU 20还控制PCI桥17、解码器22、解码器23、效应开关26、编码器27和开关29的操作,以使得流A中最小重新编码区间的数据将被提供给解码器22并在其中被解码。CPU 20还控制操作以使得流B中在接合点b之后的部分(在流B中位于接合点b之前的部分包括对接合点b之后的部分进行解码所必需的帧的情况下,则还包括那个帧)将被提供给解码器23,并且解码后的流将在接合点处被接合起来并且根据需要由效应开关26施加效应。之后,解码后的流将被经由开关29输出到外部显示设备等,并通过编码器27编码。
在步骤S115,CPU 20确定对最小重新编码区间的重新编码是否已完成。如果确定出对最小重新编码区间的重新编码还没有完成,则步骤S115的过程被重复,直到确定出对最小重新编码区间的重新编码已完成为止。
如果在步骤S115确定出对最小重新编码区间的重新编码已完成,则在步骤S116,CPU 20确定最小重新编码区间的重新编码末端点的VBV值是否与VBV目标值相一致。
例如,在步骤S112,获取如图22中所示的最小重新编码区间的VBV起始值V1和VBV目标值V2。然后,确定重新编码末端点的VBV值是否大于VBV目标值V2。
如果在步骤S116确定出重新编码末端点的VBV值与VBV目标值不一致,则在步骤S117,CPU 20获取作为实际编码的结果的VBV末端点和在最小重新编码区间中所产生位的总数G,作为与对最小重新编码区间执行的重新编码过程有关的参数。作为实际编码的结果的VBV末端点在图22中用V3表示。
在步骤S118,CPU 20得到VBV目标值与VBV末端值之间的差。
具体而言,参考图22,基于最小重新编码区间中的VBV起始值V1和VBV目标值V2、作为实际编码的结果的VBV末端点V3和最小重新编码区间中所产生位的总数G,CPU 20将V2-V3设置为VBV缓冲区的增大量的安全值。
在步骤S119,基于在步骤S118得到的VBV目标值和VBV末端值之间的差,CPU 20重新计算所产生位的数量,并且控制返回到步骤S114,并且后续过程被重复。
具体而言,在考虑VBV缓冲区的增大量V2-V3对最小重新编码区间再次编码的情况下,CPU 20利用G′=G-(V2-V3)-Δ来计算TM5中所产生位的目标值。这里,Δ表示考虑图像质量的情况下在每个设备中要考虑的余量(margin)。
如果在步骤S116确定出重新编码末端点处的VBV值与VBV目标值相一致,即如果确定出已保持了占用率的连续性,则在步骤S120执行下面将参考图25描述的编码终止过程,并且该过程结束。
根据以上过程,确定在重新编码区间的末端点处的VBV值是否与VBV目标值相一致,并且当其与VBV目标值不一致时,基于第一次编码的结果再次执行对最小重新编码区间的重新编码。因此,在第二次编码中,很可能位分配将被确定使得作为重新编码过程的结果,在重新编码区间的末端点处的VBV值将与VBV目标值相一致。
注意,这里假设在步骤S113执行下面将参考图23描述的针对最小重新编码区间的位分配确定过程以确定位分配。但是,可以利用任何方法来确定位分配,只要结合VBV目标值V2确定针对最小重新编码区间的位分配即可。
还要注意,这里假设当作为对最小重新编码区间的第一重新编码过程的结果,没有达到VBV目标值时,最小重新编码区间被再次重新编码。但是,在最小重新编码区间由多个GOP构成的情况下,与对所有GOP的重新编码不同的是,可以利用已改变的位分配对仅仅最后一个或多个GOP再次进行重新编码。
接下来,将参考图23的流程图描述在图21中的步骤S113执行的针对最小重新编码区间的位分配确定过程。
在步骤S131,基于在步骤S112获取的最小重新编码区间中的VBV起始值V1和VBV目标值V2,CPU 20计算V2-V1。
在步骤S132,CPU 20假设普通图像(average image)经过最小重新编码区间连续,并且计算在那种情况下所产生位的数量G。
具体而言,当从VBV起始点到VBV目标点对包括接合点的最小重新编码区间进行编码时,不存在与对这个区间的编码过程有关的在先结果,因此,没有基础可用于推断在最小重新编码区间的末端点处VBV占用率将达到的值。因此,难以推断在编码末端点处的VBV末端点。因此,参考图24,CPU 20假设包括在最小重新编码区间中的图片代表普通图像,即VBV末端点将是V1,并且计算在那种情况下所产生位的数量G。
然后,在步骤S133,考虑V2-V1作为VBV的增大量,CPU 20计算在最小重新编码区间中所产生位的数量。
具体而言,当假设包括在最小重新编码区间中的图片代表普通图像时,CPU 20基于在步骤S112获取的最小重新编码区间中的VBV起始值V1和VBV目标值V2,获得如图24中所示的V2-V1作为VBV的增大量。然后,CPU 20在计算TM5中所产生位的目标值时得到G′=G-(V2-V1)-Δ。这里,Δ表示考虑图像质量的情况下在每个设备中要考虑的余量。
然后,在步骤S134,基于在步骤S133得到的所产生位的数量,CPU20确定针对最小重新编码区间的位分配,并且控制返回到图21中的步骤S113,并且进行到步骤S114。
根据以上过程,确定了在对最小重新编码区间的第一次重新编码中所产生位的数量的分配。因而,不管V2-V1的值是正还是负,与假设包括在最小重新编码区间中的图片代表普通图像时相比,在计算TM5中所产生位的目标值时,为G值指派了更合适的所产生位的数量。这使得可以减少图像质量的下降,同时防止缓冲区下溢。
接下来,将参考图25的流程图描述在图21中的步骤S120执行的编码终止过程。
在步骤S141,在对下一个GOP编码之前,CPU 20设置下一个GOP中的B图片中的量化矩阵。
在步骤S142,CPU 20执行对从I图片一直到(但不包括)下一个P图片的区间的重新编码。
在步骤S143,CPU 20将VBV目标值设置为紧挨着下一个GOP的第一个P图片之前的帧的VBV值,并且确定重新编码末端点的VBV值是否与VBV目标值相一致。此时,利用原始流(例如,如图4中所示的流B等)中I图片的位的数量来执行关于重新编码末端点的VBV值是否与VBV目标值相一致的确定。
如果在步骤S143确定出重新编码末端点的VBV值与VBV目标值一致,即如果确定出已保持占用率的连续性,则在步骤S144,CPU 20结束重新编码并且控制编辑装置1的相关部件,以使得一直到(但不包括)这个GOP中的第一个P图片的重新编码后的图片将被用于编辑后的图像,从而利用原始流(例如,如图4中所示的流B等)中的I图片代替I图片。然后,控制返回到图21中的步骤S120,并且该过程结束。
如果在步骤S143确定出重新编码末端点的VBV值与VBV目标值不一致,则在步骤S145,CPU 20结束重新编码。CPU还执行采用一直到前一GOP的重新编码后的图片的过程,即采用安排在被提供给流接合器25的原始流B中的第一个P图片之前的一个或多个B图片用于编辑后的图像的过程(换句话说,放弃在步骤S142执行的对从I图片一直到(但不包括)下一个P图片的区间的重新编码的结果)。然后,控制返回到图21中的步骤S120,并且该过程结束。
根据以上过程,在GOP之间的边界处VBV变为连续的情况下,被进行重新编码的区间被扩展到紧挨着下一个P图片之前的帧,并且重新编码被控制使得在被进行重新编码的那个区间的末端点处VBV将是连续的。然后,当在下一个P图片处VBV变为连续的时,安排在下一个GOP中的第一个P图片之前的B图片被添加作为编辑后的数据。
接下来,将参考图26的流程图描述在扩展重新编码区间设置模式中CPU 20的处理2。
在步骤S151,CPU 20获取对最小重新编码区间执行重新编码过程所必需的参数以及编码终止过程所必需的参数,这些参数已在图13中的步骤S7由CPU 11发送。
在步骤S152,CPU 20获取最小重新编码区间中的VBV起始值V1和VBV目标值V2。
在步骤S153,执行上面已参考图23描述的针对最小重新编码区间的位分配确定过程。
在步骤S154,CPU 20开始控制最小重新编码区间的解码和编码以及基于所确定的位分配在接合点处的接合。例如,假设流A和流B在接合点处被接合在一起。在这种情况下,基于经由北桥12、PCI总线14、PCI桥17和控制总线19从CPU 11发送的控制信号,CPU 20控制PCI桥17、流接合器25、解码器24和开关29的操作,以使得流A中在最小重新编码区间之前的部分的数据将被经由流接合器25提供给解码器24,并且被经由开关29输出到外部显示设备等。CPU 20还控制PCI桥17、解码器22、解码器23、效应开关26、编码器27和开关29的操作,以使得流A中最小重新编码区间的数据将被提供给解码器22并在其中被解码。CPU控制操作以使得流B中在接合点b之后的部分(在流B中位于接合点b之前的部分包括对接合点b之后的部分进行解码所必需的帧的情况下,则还包括那个帧)将被提供给解码器23,并且解码后的流将在接合点处被接合起来并且根据需要由效应开关26施加效应。之后,解码后的流将被经由开关29输出到外部显示设备等,并通过编码器27编码。
在步骤S155,CPU 20获取对扩展重新编码区间执行的重新编码过程所必需的参数和编码终止过程所必需的参数,这些参数在图14中的步骤S17已由CPU 11发送。
在步骤S156,CPU 20获取扩展重新编码区间的VBV起始值V1’和VBV目标值V2’。
在步骤S157,CPU 20确定对当前被设置的重新编码区间(例如在步骤S157的过程的第一迭代中,为最小重新编码区间;而在步骤S157的过程的后续迭代中,为扩展重新编码区间)的重新编码是否已经完成。如果在步骤S157确定出对当前被设置的区间的重新编码还没有完成,则步骤S157的过程被重复,直到确定出对当前被设置的区间的重新编码已完成为止。
如果在步骤S157确定出对当前被设置的区间的重新编码已完成,则在步骤S158,CPU 20确定重新编码末端点的VBV值是否与VBV目标值相一致。
如果在步骤S158确定出重新编码末端点的VBV值与VBV目标值不一致,则在步骤S159执行下面将参考图27或图29描述的设置扩展重新编码区间的过程。
在步骤S160,CPU 20基于在步骤S159确定的针对下一个扩展重新编码区间的位分配,控制对接下来要被重新编码的扩展重新编码区间的解码和编码的开始。然后,控制返回到步骤S155,并且后续过程被重复。
如果在步骤S158确定出重新编码末端点的VBV值与VBV目标值一致,即如果确定出已保持占用率的连续性,则在步骤S161执行以上参考图25描述的编码终止过程,并且该过程结束。
根据以上过程,确定在重新编码区间的末端点处的VBV值是否与VBV目标值相一致,并且当其与VBV目标值不一致时,重新编码区间被扩展,而不是重试重新编码。因而,例如当在编辑时编辑后的图像被实时地显示时,提高了响应度。
此外,因为在针对前一重新编码区间的过程完成之前获取对接下来要被重新编码的扩展重新编码区间的重新编码所必需的信息,所以即使当重新编码区间被扩展时,该过程也不会有延迟。
接下来,将参考图27的流程图描述作为在图26中的步骤S159执行的过程的第一示例的设置扩展重新编码区间的过程1。
在设置扩展重新编码区间的过程1中,不管是否有接合点存在于当前扩展重新编码区间或下一个GOP中,都执行相同的过程。
在步骤S181,CPU 20基于在步骤S156已获取的扩展重新编码区间中的VBV起始值V1’和VBV目标值V2’计算V2’-V1’。
在步骤S182,CPU 20假设普通图像经过扩展重新编码区间连续,并且计算在那种情况下所产生位的数量G。
具体而言,按照与最小重新编码区间的情况相同的方式,在假设包括在扩展重新编码区间中的图片代表普通图像,即重新编码末端点的VBV值将是V1’的情况下,CPU 20基于所产生位的数量G在考虑VBV缓冲区的增大量的情况下计算所产生位的数量G’。
然后,在步骤S183,CPU 20在考虑V2’-V1’作为VBV的增大量的情况下计算在扩展重新编码区间中所产生位的数量。
具体而言,在假设包括在扩展重新编码区间中的图片代表普通图像的情况下,CPU 20基于在步骤S156获取的扩展重新编码区间中的VBV起始值V1’和VBV目标值V2’,获得V2’-V1’(即,如图28中所示的V2’-V1’)作为VBV的增大量。然后,CPU 20在计算TM5中所产生位的目标值时得到G’=G-(V2’-V1’)-Δ。这里,Δ表示考虑图像质量的情况下在每个设备中要考虑的余量。
在步骤S184,基于在图26中的步骤S155获取的对接下来要被编码的扩展重新编码区间执行的重新编码过程所必需的参数和编码终止过程所必需的参数,以及在步骤S183得到的扩展重新编码区间中所产生位的数量G’,CPU 20确定位分配并且执行用于扩展重新编码区间的重新编码的设置。然后,控制返回到图26中的步骤S159,并且进行到步骤S160。
根据以上过程,实现扩展重新编码区间中的位数量的分配。
这里,在没有接合点存在于扩展重新编码区间中的情况下,从原始VBV起始点到原始VBV目标点,存在对原始流B中在接合点之后的部分进行编码的在先编码结果。因而,当没有接合点存在于扩展重新编码区间中时,优选的是这个在先编码结果被用于计算所产生位的数量。例如,通过使量化比原始编码的在先编码结果的情况下更粗,可以实现这样的位分配,其使得缓冲区占用率从扩展重新编码区间的起始点(其具有比原始VBV起始点更低的VBV占用率值)移到原始VBV目标点。另一方面,当接合点存在于扩展重新编码区间中时,原始编码流的在先编码结果不能被使用。
接下来,将参考图29的流程图描述作为在图26中的步骤S159执行的过程的第二示例的设置扩展重新编码区间的过程2。
与设置扩展重新编码区间的过程1相反,在设置扩展重新编码区间的过程2中,取决于是否有任何接合点存在于当前扩展重新编码区间或下一个GOP中,执行不同的过程。
在步骤S201,CPU 20确定是否有任何接合点存在于紧接在前一重新编码区间的末端点之后的两个GOP中,这两个GOP即被暂时设置在扩展重新编码区间中的GOP和其紧接着的下一个GOP。换句话说,CPU 20确定扩展重新编码区间是否已基于接合点被再次设置。如果在步骤S201确定出没有接合点存在于其中,则控制进行到步骤S203,步骤S203将在下面描述。
如果在步骤S201确定出有任何接合点存在于其中,则在步骤S202,CPU 20获取与已基于接合点被新设置的扩展重新编码区间有关的参数。然后,控制进行到步骤S207,步骤S207将在下面描述。
如果在步骤S201确定出没有接合点存在于其中,则在步骤S203,CPU 20经由北桥12、PCI总线14、PCI桥17和控制总线19从CPU 11获取扩展重新编码区间中的原始VBV起始点的缓冲区占用率的值V4。
具体而言,参考图30,假设与扩展重新编码区间相对应的原始GOP中的VBV起始点的缓冲区占用率为V4,原始GOP即在作为编辑材料的编码流中在接合点之后的相应区间。还假设在重新编码时的VBV起始点(即,在紧挨着扩展重新编码区间之前的区间中的重新编码末端点)的缓冲区占用率为V1’。还假设作为扩展重新编码区间的GOP的VBV目标点为V2’。然后,当对原始流中与扩展重新编码区间相对应的相应GOP进行编码时,存在这样的在先结果,即缓冲区占用率已从V4变到V2’。在该过程中,这个在先的编码结果被用于设置位分配。
在步骤S204,CPU 20基于在步骤S156获取的扩展重新编码区间的VBV起始值V1’和在步骤S203获取的扩展重新编码区间中的原始VBV起始点的缓冲区占用率值V4计算V4-V1’。
在步骤S205,与图27中的步骤S132的过程类似,CPU 20假设普通图像经过扩展重新编码区间连续,并且计算在那种情况下所产生位的数量G。
然后,在步骤S206,CPU 20在考虑V4-V1’作为VBV的增大量的情况下计算扩展重新编码区间中所产生位的数量。
具体而言,基于作为对原始流(即作为编辑材料的流B)中与扩展重新编码区间相对应的相应GOP的编码的结果,缓冲区占用率已从V4变为V2’的在先结果,CPU 20获得V4-V1’(即,如图30中所示的V4-V1’)作为VBV的增大量。然后,CPU 20在计算TM5中所产生位的目标值时计算G”=G-(V4-V1’)-Δ。这里,Δ表示考虑图像质量的情况下在每个设备中要考虑的余量。
在步骤S202或步骤S206的过程之后,基于在图26中的步骤S155获取的对接下来要被编码的扩展重新编码区间执行的重新编码过程所必需的参数和编码终止过程所必需的参数,以及在步骤S206计算得到的扩展重新编码区间中所产生位的数量G”,CPU 20确定位分配并且在步骤S207执行用于扩展重新编码区间的重新编码的设置。然后,控制返回到图26中的步骤S159,并且进行到步骤S160。
根据以上过程,在扩展重新编码区间没有基于接合点被再次设置的情况下,即在扩展重新编码区间仅由单个流构成的情况下,利用扩展重新编码区间中的原始VBV值确定针对扩展重新编码区间的所产生位的数量的分配。因而,不管V4-V1’的值是正还是负,与假设包括在最小重新编码区间中的图片代表普通图像时相比,在计算TM5中所产生位的目标值时,为G值指派了更合适的所产生位的数量。这使得可以减少图像质量的下降,同时防止缓冲区下溢。
同时,在扩展重新编码区间被基于接合点再次设置的情况下,即在扩展重新编码区间由多个流构成的情况下,基于与基于接合点而新设置的扩展重新编码区间有关的参数执行对扩展重新编码区间的设置,所述参数例如扩展重新编码区间的末端点的VBV占用率。
前述描述涉及MPEG被用作编解码系统的示例性情况。然而,应当理解本发明也可应用于涉及帧相关的编解码过程的情况和根据缓冲区模型执行编解码过程的情况。例如,本发明可应用于AVC(高级视频编码)/H.264等。
上述一系列过程可以用软件来实现。在这种情况下,构成该软件的程序被从存储介质安装到具有专用硬件配置的计算机或者当各种程序被安装在其中时能够执行各种功能的通用个人计算机等等中。在这种情况下,例如以上参考图3描述的编辑装置1由如图31中所示的个人计算机301构成。
在图31中,中央处理单元(CPU)311根据存储在只读存储器(ROM)312中的程序或者从存储部分318装载到随机访问存储器(RAM)313的程序执行各种过程。在RAM 313中,还根据需要存储CPU 311执行各种过程所必需的数据等。
CPU 311、ROM 312和RAM 313被经由总线314彼此连接。输入/输出接口315也被连接到总线314。
与输入/输出接口315相连接的有:由键盘或鼠标等构成的输入部分316;由显示器或扬声器等构成的输出部分317;由硬盘等构成的存储部分318;和由调制解调器或终端适配器等构成的通信部分319。通信部分319经由网络(包括因特网)执行通信过程。
驱动器320也根据需要被连接到输入/输出接口315。磁盘331、光盘332、磁光盘333或半导体存储器334等被适当地安装在驱动器320上,并且从中读取的计算机程序根据需要被安装到存储部分318中。
在所述一系列过程用软件来实现的情况下,构成该软件的程序被从网络或存储介质安装到具有专用硬件配置的计算机或者当各种程序被安装在其中时能够执行各种功能的通用个人计算机等等中。
参考图31,这个存储介质可以由其中存储有程序的封装介质构成,该封装介质与装置体相独立以将程序提供给用户。封装介质的示例包括磁盘331(包括柔性盘)、光盘332(包括CD-ROM(紧致盘只读存储器)和DVD(数字多功能光盘))、磁光盘333(包括MD(迷你盘)(注册商标))和半导体存储器334。另外,该存储介质也可以由存储程序的ROM312、包含在存储部分318中的硬盘等构成,所述ROM 312和硬盘等被包含在装置体内,从而被提供给用户。
注意,由存储在存储介质中的程序实现并且在本说明书中所描述的这些步骤可以按照描述的顺序自然地按时间先后顺序执行,但不是必须按时间先后顺序来执行。一些步骤可以彼此并行地或独立地执行。
注意,在上述实施例中,编辑装置1包含解码器和编码器。然而,本发明也可应用于解码器和编码器作为相互独立的设备被提供的情况。例如,如图32中所示,对流数据进行解码并将其转换成基带信号的解码装置371和对基带信号进行编码并将其转换成流数据的编码装置372可以作为相互独立的设备被提供。
在这种情况下,解码装置371不仅能够对作为视频材料的压缩编码数据进行解码并将其提供给编码装置372,还能够接受被提供的根据本发明通过部分编码和编辑由编码装置372产生的编辑后的压缩编码数据,并对编辑后的压缩编码数据进行解码以将其转换为基带信号。由转换得到的基带信号(即编辑后的流)例如被提供给指定的显示设备以进行显示,或者被输出到另一设备以被执行必要的过程。
还要注意,本发明也可应用于解码器22到24不完全对被提供的压缩编码数据进行解码并且相应的编码器27对未完全解码的数据的相关部分进行部分编码的情况。
例如,在解码器22到24只执行对VLC码的解码和反向量化而不执行反向DCT变换的情况下,编码器27执行量化和可变长度编码,而不执行DCT变换。很自然,本发明也可应用于执行这种部分编码(即,从中间阶段进行编码)的编码器。
此外,注意本发明也可应用于编码器27对由解码器22到24完全解码的基带信号编码到中间阶段的情况(例如,编码器27执行DCT变换和量化但不执行可变长度编码的情况)。本发明还可应用于由于解码器22到24没有完全对数据进行解码(例如解码器22到24只执行了对VLC码的解码和反向量化,而没有执行反向DCT变换),所以已被编码到中间阶段的数据被编码器27编码到另一中间阶段(例如,执行量化,而不执行可变长度编码)的情况。
还要注意,本发明也可应用于如图32中所示的解码装置371不完全对被提供的流数据进行解码,并且相应的编码装置372对未完全解码的数据的相关部分进行部分编码的情况。
例如,在解码装置371只执行对VLC码的解码和反向量化而不执行反向DCT变换的情况下,编码装置372执行量化和可变长度编码,而不执行DCT变换。很自然,本发明也可应用于执行这种部分解码(即解码到中间阶段)的解码装置371的解码过程和执行这种部分编码(即从中间阶段开始编码)的编码装置372的编码过程。
还要注意,本发明也可应用于编码装置372对由解码装置371完全解码的基带信号编码到中间阶段的情况(例如,编码装置372执行DCT变换和量化,但不执行可变长度编码)。本发明还可应用于由于解码装置371没有完全对数据进行解码(例如解码装置371只执行了对VLC码的解码和反向量化,而没有执行反向DCT变换),所以已被编码到中间阶段的数据被编码装置372编码到另一中间阶段(例如,执行量化,而不执行可变长度编码)的情况。
还要注意,本发明也可应用于包括执行这种部分解码(即执行解码过程中的一些步骤)的解码装置371和执行这种部分编码(即执行编码过程中的一些步骤)的编码装置372的码转换器381。例如,当使用执行诸如接合之类的编辑的编辑装置382(即,具有可由上述编辑装置1中的流接合器25和效应开关26执行的功能的编辑装置)时,使用码转换器381。
还要注意,在上述实施例中,CPU 11和CPU 20作为相独立的单元被提供。然而,CPU 11和CPU 20可以作为控制整个编辑装置1的单个CPU被提供。类似地,在上述实施例中,存储器13和存储器21作为相独立的单元被提供。然而,存储器13和存储器21可以作为编辑装置1中的单个存储器被提供。
还要注意,在上述实施例中,HDD 16、解码器22到24、流接合器25、效应开关26、编码器27、输入端28和开关29被经由桥和总线彼此连接以形成作为集成单元的编辑装置。然而,本发明不受这样的限制。可替换地,例如这些组件中的一些可以被提供在编辑装置之外并且以有线或无线的方式彼此连接。这些组件可以按照其它各种连接模式彼此连接。
还要注意,在上述实施例中,假设用于编辑的压缩材料被存储在HDD中。然而,本发明不受这样的限制。本发明也可应用于利用存储在各种存储介质中的要被用于编辑的材料来执行编辑过程的情况,所述存储介质例如光盘、磁光盘、半导体存储器、磁盘等。
还要注意,上述实施例中的解码器22到24、流接合器25、效应开关26、编码器27、输入端28和开关29不必被安装在同一扩充卡(例如PCI卡、PCI-Express卡等)上,而是例如可以被安装在相独立的多个扩充卡上(当由于诸如PCI-Express之类的技术使得卡之间的传递速率较高时)。
本领域技术人员应当理解,取决于设计需要和其它因素可以进行各种修改、合并、从合并和更改,只要在所附权利要求及其等同物的范围内即可。
本发明包含与2006年9月5日向日本专利局提交的日本专利申请JP2006-240254有关的主题,该申请的全部内容都通过引用结合于此。
Claims (19)
1.一种信息处理装置,其执行在接合点处将多个编码流接合起来的过程,所述装置包括:
控制装置,用于确定在所述多个编码流中要被进行重新编码的区间;
解码装置,用于对所述多个编码流进行解码以产生多个基带信号;以及
编码装置,用于对通过在所述接合点处将由所述解码装置产生的多个基带信号接合起来而产生的编辑后的基带信号进行编码,以产生编辑后的编码流,其中
所述控制装置暂时确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间,并且
当不同于所述第一接合点的第二接合点存在于所述暂时确定的第一区间或所述第一区间之后的预定区间中时,基于所述第二接合点确定要被进行重新编码的第二区间。
2.根据权利要求1所述的信息处理装置,其中当所述第二接合点不存在于所述暂时确定的第一区间或该第一区间之后的所述预定区间中时,所述控制装置确定所述暂时确定的第一区间为所述要被进行重新编码的第二区间。
3.根据权利要求1所述的信息处理装置,其中
所述编码装置依照MPEG长GOP格式执行所述编码,并且
所述预定区间是与一个GOP相对应的区间。
4.根据权利要求1所述的信息处理装置,还包括:
管理装置,用于管理在由所述编码装置执行的编码中所产生位的数量;以及
供应控制装置,用于控制向所述解码装置供应所述编码流的操作。
5.根据权利要求4所述的信息处理装置,其中
所述管理装置确定在所述第二区间中,在由所述编码装置产生的所述编辑后的编码流的末端点和所述编码流中未通过所述编码装置编码的相应点之间,是否保持了占用率的连续性,并且
当所述管理装置确定出未保持占用率的连续性时,所述控制装置基于第一操作模式或第二操作模式来确定在所述编码流中要被进行重新编码的区间,在所述第一操作模式中,还针对被设置为要被进行重新编码的第三区间的所述第二区间之后的预定区间执行重新编码,在所述第二操作模式中,再次对所述第二区间执行编码。
6.根据权利要求5所述的信息处理装置,其中
当在所述第一操作模式中,不同于所述第一或第二接合点的第三接合点存在于所述第三区间或所述第三区间之后的预定区间中时,所述控制装置基于所述第三接合点确定要被进行重新编码的第四区间,并且
当在所述第一操作模式中,所述第三接合点不存在于所述第三区间或所述第三区间之后的所述预定区间中时,所述控制装置确定所述第三区间为所述要被进行重新编码的第四区间。
7.根据权利要求6所述的信息处理装置,其中当在所述第一操作模式中,所述第三接合点不存在于所述第三区间或所述第三区间之后的所述预定区间中时,所述管理装置基于所述编码流中未通过所述编码装置编码的相应点的占用率,来管理在所述编码装置对所述第四区间执行的编码中所产生位的数量。
8.根据权利要求5所述的信息处理装置,其中在所述第二操作模式中,当确定出未保持占用率的连续性时,所述管理装置基于前一编码的末端点的占用率,来管理在所述编码装置对所述第二区间执行的下一次编码中所产生位的数量。
9.根据权利要求5所述的信息处理装置,其中
所述编码装置依照MPEG长GOP格式执行所述编码,并且
所述第三区间是与一个GOP相对应的区间。
10.根据权利要求1所述的信息处理装置,其中
所述编码装置依照MPEG长GOP格式执行所述编码,并且
当所述管理装置确定出保持了占用率的连续性时,所述控制装置再将紧接在已被进行重新编码的所述第二、第三或第四区间之后的GOP中的第一前向参考帧之前的一个或多个帧添加作为要被进行重新编码的第五区间。
11.根据权利要求1所述的信息处理装置,其中
所述编码装置依照MPEG长GOP格式执行所述编码,并且
所述控制装置将开始于包括所述第一编码流中的所述接合点的GOP起始位置并且结束于包括所述第二编码流中的所述接合点的GOP的末端位置的区间设置为标准区间,并且基于包括在所述标准区间中的帧的数目来确定所述第一区间。
12.根据权利要求11所述的信息处理装置,其中当包括在所述标准区间中的帧数目M满足N/2≤M≤N时,所述控制装置将所述标准区间设置为所述第一区间,其中N是包括在一个标准GOP中的帧数目。
13.根据权利要求11所述的信息处理装置,其中当包括在所述标准区间中的帧数目M满足0≤M<N/2时,所述控制装置将由所述标准区间和一个附加的GOP构成的区间设置为所述第一区间,其中N是包括在一个标准GOP中的帧数目。
14.根据权利要求11所述的信息处理装置,其中当包括在所述标准区间中的帧数目M满足N+1≤M≤2N-1时,所述控制装置将所述标准区间划分成多个GOP并将所述标准区间设置为所述第一区间,其中N是包括在一个标准GOP中的帧数目。
15.根据权利要求11所述的信息处理装置,其中当包括在所述标准区间中的帧数目M满足N+1≤M≤2N-1并且在所述标准区间中在所述接合点之前的部分中的帧数目A满足A≥N/2时,所述控制装置在所述接合点处将所述标准区间划分成两个GOP,其中N是包括在一个标准GOP中的帧数目。
16.根据权利要求15所述的信息处理装置,其中所述编码装置对所述编辑后的基带信号进行编码以产生所述编辑后的编码流,从而使得在所述接合点处被划分的所述两个GOP中的后者按照显示顺序开始于I2图片。
17.根据权利要求15所述的信息处理装置,其中当包括于在所述接合点处被划分的所述两个GOP中的后者中的帧数目R不满足N/2≤R时,所述控制装置将由所述标准区间和一个附加的GOP构成的区间设置为所述第一区间,并且当满足N/2≤R时,所述控制装置将所述标准区间设置为所述第一区间。
18.一种在信息处理装置中采用的信息处理方法,所述信息处理装置执行在接合点处将多个编码流接合起来的过程,所述方法包括以下步骤:
暂时确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间;
当不同于所述第一接合点的第二接合点存在于所述暂时确定的第一区间或所述第一区间之后的预定区间中时,基于所述第二接合点确定要被进行重新编码的第二区间;以及
对包括所述第一和第二编码流中落在所述第二区间中的部分的所述多个编码流进行解码以产生多个基带信号,并且对通过在所述一个或多个接合点处将所述多个基带信号接合起来而产生的编辑后的基带信号进行编码以产生编辑后的编码流。
19.一种信息处理装置,其执行在接合点处将多个编码流接合起来的过程,所述装置包括:
控制器,其被配置为确定在所述多个编码流中要被进行重新编码的区间;
解码器,其被配置为对所述多个编码流进行解码以产生多个基带信号;以及
编码器,其被配置为对通过在所述接合点处将由所述解码器产生的多个基带信号接合起来而产生的编辑后的基带信号进行编码,以产生编辑后的编码流,其中
所述控制器暂时确定要在第一接合点处被接合起来的第一编码流和第二编码流中要被进行重新编码的第一区间,并且
当不同于所述第一接合点的第二接合点存在于所述暂时确定的第一区间或所述第一区间之后的预定区间中时,基于所述第二接合点确定要被进行重新编码的第二区间。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006240254 | 2006-09-05 | ||
JP2006-240254 | 2006-09-05 | ||
JP2006240254A JP4221676B2 (ja) | 2006-09-05 | 2006-09-05 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101141642A true CN101141642A (zh) | 2008-03-12 |
CN101141642B CN101141642B (zh) | 2011-01-19 |
Family
ID=39151498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101458981A Expired - Fee Related CN101141642B (zh) | 2006-09-05 | 2007-09-05 | 信息处理装置及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8817887B2 (zh) |
JP (1) | JP4221676B2 (zh) |
CN (1) | CN101141642B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102271255A (zh) * | 2011-08-09 | 2011-12-07 | 清华大学 | 双拼立体视频编码的运动估计方法和装置 |
CN104091607A (zh) * | 2014-06-13 | 2014-10-08 | 北京奇艺世纪科技有限公司 | 一种基于ios设备的视频编辑方法及装置 |
CN109154921A (zh) * | 2016-05-26 | 2019-01-04 | 索尼半导体解决方案公司 | 处理设备、图像传感器和系统 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7714838B2 (en) * | 2006-04-27 | 2010-05-11 | Research In Motion Limited | Handheld electronic device having hidden sound openings offset from an audio source |
JP4264582B2 (ja) * | 2006-06-13 | 2009-05-20 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP4229149B2 (ja) * | 2006-07-13 | 2009-02-25 | ソニー株式会社 | ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム |
US8873932B2 (en) * | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
US20090100482A1 (en) * | 2007-10-16 | 2009-04-16 | Rodriguez Arturo A | Conveyance of Concatenation Properties and Picture Orderness in a Video Stream |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US8416859B2 (en) * | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
US20080253449A1 (en) * | 2007-04-13 | 2008-10-16 | Yoji Shimizu | Information apparatus and method |
US8804845B2 (en) * | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US8958486B2 (en) * | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
JP2009077105A (ja) * | 2007-09-20 | 2009-04-09 | Sony Corp | 編集装置および編集方法、プログラム、並びに記録媒体 |
US8432804B2 (en) * | 2007-11-29 | 2013-04-30 | Hewlett-Packard Development Company, L.P. | Transmitting video streams |
US8416858B2 (en) * | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
JP5050159B2 (ja) * | 2008-03-05 | 2012-10-17 | 株式会社メガチップス | エンコーダ |
WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8699578B2 (en) * | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8705631B2 (en) * | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
EP2297964A4 (en) * | 2008-06-25 | 2017-01-18 | Cisco Technology, Inc. | Support for blocking trick mode operations |
WO2010021665A1 (en) * | 2008-08-20 | 2010-02-25 | Thomson Licensing | Hypothetical reference decoder |
US8259814B2 (en) * | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
WO2010096767A1 (en) * | 2009-02-20 | 2010-08-26 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
CN102497554B (zh) * | 2011-12-16 | 2014-04-16 | 杭州士兰微电子股份有限公司 | 章节到帧的划分方法 |
JP5891975B2 (ja) | 2012-07-02 | 2016-03-23 | 富士通株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 |
US10264272B2 (en) * | 2013-10-15 | 2019-04-16 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US9530451B2 (en) * | 2013-11-27 | 2016-12-27 | Adobe Systems Incorporated | Reducing network bandwidth usage in a distributed video editing system |
GB2525590A (en) * | 2014-04-23 | 2015-11-04 | Starfish Technologies Ltd | Digital media splicing system and method |
KR102467738B1 (ko) | 2015-03-04 | 2022-11-17 | 소니그룹주식회사 | 송신 장치, 송신 방법, 수신 장치, 및 수신 방법 |
JP2016201774A (ja) * | 2015-04-14 | 2016-12-01 | 株式会社日立国際電気 | ビデオサーバーシステムおよび画像連結方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
JP3713715B2 (ja) * | 1994-08-12 | 2005-11-09 | ソニー株式会社 | ビデオ信号編集装置 |
JP3309656B2 (ja) * | 1995-08-18 | 2002-07-29 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
TW332293B (en) * | 1996-04-23 | 1998-05-21 | Matsushita Electric Ind Co Ltd | Editing control apparatus and editing control method |
US6137834A (en) * | 1996-05-29 | 2000-10-24 | Sarnoff Corporation | Method and apparatus for splicing compressed information streams |
JP4416845B2 (ja) | 1996-09-30 | 2010-02-17 | ソニー株式会社 | 符号化装置及びその方法、および、記録装置及びその方法 |
KR100555164B1 (ko) | 1997-07-25 | 2006-03-03 | 소니 가부시끼 가이샤 | 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법 |
WO1999018720A1 (en) * | 1997-10-03 | 1999-04-15 | Sony Corporation | Encoded stream splicing device and method, and an encoded stream generating device and method |
US6301428B1 (en) * | 1997-12-09 | 2001-10-09 | Lsi Logic Corporation | Compressed video editor with transition buffer matcher |
JP3305999B2 (ja) * | 1997-12-26 | 2002-07-24 | 日本ビクター株式会社 | 画像圧縮ストリーム編集装置及びその方法 |
EP0982726A4 (en) * | 1998-01-19 | 2003-06-04 | Sony Corp | CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD |
US6414998B1 (en) * | 1998-01-27 | 2002-07-02 | Sony Corporation | Method and apparatus for inserting an image material |
JPH11289541A (ja) | 1998-02-06 | 1999-10-19 | Sony Corp | 動画像符号化方法、動画像符号化装置及び記録媒体 |
CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
JPH11341435A (ja) * | 1998-05-22 | 1999-12-10 | Sony Corp | 編集方法および編集装置 |
EP1069774A4 (en) * | 1999-02-05 | 2008-09-17 | Sony Corp | CODING AND DECODING DEVICES AND CORRESPONDING METHODS, ENCODING SYSTEM, AND CORRESPONDING METHOD |
GB9908809D0 (en) | 1999-04-16 | 1999-06-09 | Sony Uk Ltd | Signal processor |
JP4487374B2 (ja) | 1999-06-01 | 2010-06-23 | ソニー株式会社 | 符号化装置及び符号化方法並びに多重化装置及び多重化方法 |
GB2353655B (en) * | 1999-08-26 | 2003-07-23 | Sony Uk Ltd | Signal processor |
GB2353653B (en) * | 1999-08-26 | 2003-12-31 | Sony Uk Ltd | Signal processor |
JP2003052040A (ja) | 2001-05-30 | 2003-02-21 | Victor Co Of Japan Ltd | Mpegデータ再生装置 |
JP3748234B2 (ja) | 2001-05-30 | 2006-02-22 | 日本ビクター株式会社 | Mpegデータ記録方法 |
JP4715060B2 (ja) | 2001-08-20 | 2011-07-06 | 阪神化成工業株式会社 | 合成樹脂製容器 |
US7340527B2 (en) * | 2002-05-09 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Content distribution system that distributes line of stream data generated by splicing plurality of pieces of stream data |
JP2006054530A (ja) | 2004-08-10 | 2006-02-23 | Victor Co Of Japan Ltd | Mpeg画像データ記録装置及びmpeg画像データ記録方法 |
JP4221667B2 (ja) | 2004-08-25 | 2009-02-12 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US8295347B2 (en) | 2004-08-25 | 2012-10-23 | Sony Corporation | Information processing apparatus and information processing method, recording medium, and program |
JP4174728B2 (ja) * | 2004-08-25 | 2008-11-05 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
JP4333522B2 (ja) | 2004-08-25 | 2009-09-16 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US7643513B2 (en) * | 2005-11-30 | 2010-01-05 | Broadcom Corporation | Method and system for audio and video transport |
-
2006
- 2006-09-05 JP JP2006240254A patent/JP4221676B2/ja not_active Expired - Fee Related
-
2007
- 2007-08-30 US US11/897,337 patent/US8817887B2/en not_active Expired - Fee Related
- 2007-09-05 CN CN2007101458981A patent/CN101141642B/zh not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102271255A (zh) * | 2011-08-09 | 2011-12-07 | 清华大学 | 双拼立体视频编码的运动估计方法和装置 |
CN104091607A (zh) * | 2014-06-13 | 2014-10-08 | 北京奇艺世纪科技有限公司 | 一种基于ios设备的视频编辑方法及装置 |
CN104091607B (zh) * | 2014-06-13 | 2017-04-12 | 北京奇艺世纪科技有限公司 | 一种基于ios设备的视频编辑方法及装置 |
CN109154921A (zh) * | 2016-05-26 | 2019-01-04 | 索尼半导体解决方案公司 | 处理设备、图像传感器和系统 |
CN109154921B (zh) * | 2016-05-26 | 2023-01-31 | 索尼半导体解决方案公司 | 处理设备、图像传感器和系统 |
Also Published As
Publication number | Publication date |
---|---|
US20080056383A1 (en) | 2008-03-06 |
JP2008066847A (ja) | 2008-03-21 |
US8817887B2 (en) | 2014-08-26 |
CN101141642B (zh) | 2011-01-19 |
JP4221676B2 (ja) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101141642B (zh) | 信息处理装置及方法 | |
CN101052127B (zh) | 信息处理装置和信息处理方法 | |
TWI390988B (zh) | 資訊處理裝置及資訊處理方法 | |
US7539347B2 (en) | Information processing apparatus and information processing method, recording medium, and program | |
CN100553343C (zh) | 图像编码设备、画面编码方法和图像编辑设备 | |
US8542746B2 (en) | Decoding control apparatus which decodes the fewest pictures (although not displayed) prior to an edit point | |
CN1937777B (zh) | 信息处理装置和方法 | |
JP4577357B2 (ja) | 符号化装置及び方法、並びにプログラム | |
US20060045188A1 (en) | Information processing apparatus and information processing method, recording medium, and program | |
JP2002320228A (ja) | 信号処理装置 | |
CN101330623A (zh) | 运动图像编码装置 | |
JP5088215B2 (ja) | 情報処理システム及び情報処理方法、並びにプログラム | |
CN100385952C (zh) | 图像及信息处理的装置和方法、及信息处理系统 | |
JP5682331B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN101964200B (zh) | 编辑装置、编辑方法和程序 | |
JP4333522B2 (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
JP2008066846A (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
US7933494B2 (en) | Recording apparatus and method, and program | |
JP2008066852A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP2010283750A (ja) | 画像編集装置およびその制御方法およびプログラム | |
JP2007074467A (ja) | 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110119 Termination date: 20150905 |
|
EXPY | Termination of patent right or utility model |