CN100539670C - 已编码a/v序列的编辑 - Google Patents
已编码a/v序列的编辑 Download PDFInfo
- Publication number
- CN100539670C CN100539670C CNB038065185A CN03806518A CN100539670C CN 100539670 C CN100539670 C CN 100539670C CN B038065185 A CNB038065185 A CN B038065185A CN 03806518 A CN03806518 A CN 03806518A CN 100539670 C CN100539670 C CN 100539670C
- Authority
- CN
- China
- Prior art keywords
- frame
- sequence
- motion vector
- edit
- recompile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 1
- 239000012634 fragment Substances 0.000 description 14
- 230000001419 dependent effect Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种数据处理装置(800)具有:一输入端(810),用于接收一第一和第二基于帧的A/V数据序列。一处理器(830)编辑所述两个序列以形成一第三结合序列。所谓的“I帧”进行与该序列中的任何其它帧无关的帧内编码。“P帧”被关于一个在前参考帧编码,而“B帧”被关于一个在前和一个随后参考帧编码。帧的参考编码是基于帧中的运动向量进行的,所述运动向量指示所参考的帧中的相似宏块。所述处理器识别直到并且包括第一编辑点的第一序列中的帧和识别开始于第二编辑点的第二序列中的帧,所述各帧已经丢去了一个参考帧。处理器(830)通过仅从原始B帧的运动向量导出重新编码帧的运动向量而将每个识别的B帧重新编码成相应的重新编码帧。
Description
技术领域
本发明涉及一种用于对基于帧的编码音频/视频(A/V)数据进行编辑的方法和装置,尤其是用于但不局限于,对根据MPEG-2标准编码的音频/视频数据进行编辑的方法和装置。对至少两个基于帧的A/V数据序列进行结合,以基于第一帧序列的帧和第二序列中的帧形成一个第三组合序列,所述第一帧序列的帧直到并且包括所述第一序列中的一第一编辑点,所述第二序列中的帧起始于所述第二序列中的一第二编辑点并且包括该第二编辑点。对所述第一和第二序列中的每一个进行编码,使得多个帧(之后称作“I-帧”)被与该序列中的任何其它帧无关的帧内编码,而,多个帧(此后称作“P-帧”)关于该序列的一个前面的参考帧而被分别编码,而剩下的帧(此后称作“B-帧”)关于该序列的一个前面的和一个随后的参考帧被分别编码,参考帧为I-帧或P-帧,并且帧的参考编码是基于帧中的运动向量进行的,所述运动向量指示所涉及的帧中的相似的宏块。
背景技术
MPEG是视频信号压缩标准,其是通过国际标准化组织(ISO)的运动图像专家组(“MPEG”)建立的。MPEG是将多个已知的数据压缩技术整合到一个单一系统中的多级算法。这些已知的数据压缩技术包括运动补偿预测编码、离散余弦变换(“DCT”)、自适应量化和可变长度编码(“VLC”)。MPEG的主要目的是消除通常存在于空间域(在视频帧内)以及时间域(帧间)中的冗余,从而允许帧内压缩和交错音频。MPEG-1在ISO/IEC11172中定义,MPEG-2在ISO/IEC13818中定义。
有两种基本形式的视频信号:隔行扫描信号和非隔行扫描信号。隔行扫描信号为其中每个电视帧由被称作为奇数场和偶数场的两个场组成的电视系统中所使用的技术。每个场通过从一侧到另一侧和从上倒下扫描整个图像。然而,一个(例如奇数)场的水平扫描线被定位在另一个(例如偶数)场的水平扫描线的中间。隔行扫描信号典型的被用于广播电视(“TV”)和高清晰电视(“HDTV”)中。非隔行扫描信号典型的被用在计算机中。MPEG-1协议趋于在压缩/解压缩非隔行扫描视频信号中使用,而MPEG-2协议趋于在压缩/解压缩隔行TV和HDTV信号中使用,以及用于非交叉信号,例如DVD上的电影。
在可以根据任何一个MPEG协议对传统的视频信号进行压缩之前,首先必须使视频信号数字化。数字化过程产生数字视频数据,该数据指定了视频图像中的特定位置处的视频图像的亮度和颜色,所述各个特定位置被称作像素(像素元)。每个像素与在以垂直列和水平行布置的坐标系阵列中定位的坐标相关联。每个像素的坐标通过垂直列与水平行的交叉点定义。在将每个视频帧转换成数字视频数据帧的过程中,构成一个未数字化视频帧的两个交叉场的扫描线相间错杂在一个单一数字数据矩阵中。数字视频数据的相间错杂使得奇数场中的扫描线的像素在数字视频数据帧中具有奇数行坐标。类似的,数字视频数据的相间错杂使得偶数场中的扫描线的像素在数字视频数据帧中具有偶数行坐标。
参照图1,MPEG-1和MPBG-2各自将通常为连续出现的帧的视频输入信号分割成帧序列或帧组(“GOF”)10,也称作图像组(“GOP”)。各个GOF10中的帧被编码成特定的格式。已编码数据的各个帧被分割成片段12,其例如表示十六个图像线14。每个片段12被分割成宏块16,其中每一个表示例如16×16的像素矩阵。每个宏块16被分割成多个块(例如6个块),其包括与亮度数据有关的若干个块18和与色度数据有关的若干个块20。MPEG-2协议对亮度和色度数据独立的进行编码,并且然后将该编码的视频数据结合成一个压缩视频流。每个亮度块涉及像素21的各个8×8矩阵。每个色度块包括与由宏块16表示的整个16×16像素矩阵有关的8×8数据矩阵。在视频数据被编码之后,所述视频数据然后根据MPEG协议被压缩、缓冲、调制并最终传送给解码器。该MPEG协议典型地包括多个层,每一个都具有各自的标题信息。名义上每个标题包括一开始码、与各个层相关的数据和用于加入标题信息的预备码(provision)。每个宏块中的6个块的例子为一种可能性(称作4:2:0格式)。MPEG-2还给出了其它可能性,例如每宏块具有12个块。
通常有三种不同的编码格式可适用于视频数据。帧内编码产生一“I”块,其指明了编码完全依赖于数据宏块16所处的视频帧中的信息的数据块。帧间编码可产生一“P”块或一“B”块。“P”块指出了这样的数据块,其中编码依赖于基于以前视频帧(I帧或P帧,此后一起称作为“参考帧”)中发现的信息块的预测。“B”块为这样的数据块,其中编码依赖于基于至多两个周围视频帧,也就是视频数据的前面的参考帧和/或随后的参考帧中的数据块的预测。原则上,在两个参考帧(I帧或P帧)中间,若干个帧可被编码为B帧。然而,如果在其间有多个帧,则与参考帧的时间差将趋于增加(并且因此B帧的编码尺寸增加),实际上,MPEG编码以这样一种方式来使用:在参考帧中间仅使用了两个B帧,其中每一个依赖于相同的两个周围参考帧,如图1中的附图标记10下所示的。为了消除帧间冗余,针对P帧和B帧估测运动目标在视频图像中的位移,并且被编码成表示从帧到帧的这种运动的运动向量。I帧为其中所有块被帧间编码的帧。P帧为其中块被帧间编码成P块的帧。B帧为其中块被帧间编码为B块的帧。如果没有有效的编码,则帧间编码对于帧的所有块是可能的,某些块可被帧间编码为P块甚或是I块。类似的,P帧的某些块可被编码为I块。不同帧类型之间的相关性也在图2中示出。图2A表示P帧220依赖于一个在前的参考帧210(P帧或I帧)。图2B表示B帧250依赖于一个在前参考帧230和一个随后参考帧240。
随着能够对这种数据进行操作的数字编码A/V和数据处理设备的可利用性的增加,对A/V片段的无缝连接的需要也增加,在所述A/V片段中一个帧序列的末端和下一个帧序列的开始之间的过渡可通过解码器被平滑处理。对A/V序列的无缝连接的应用是众多的,其中有些特定的家庭应用,包括家庭电影的编辑和商业广告打断的去除以及在所记录的广播材料中的其它不连续情况的去除。另外的例子包括子画面的视频序列背景(计算机产生的图像);该技术的一个示例应用将是在MPEG编码视频序列之前运行的动画特性。
如对于MPEG所述的,帧间编码获得了有效的编码,但当需要以无缝的方式连接两个或多个A/V片段以形成一个结合片段时,将出现问题。该问题特定的出现在P或B帧已经被接收到该结合序列中的情况下,但是它所依赖的一个帧并未接入到所述结合的序列中。WO00/00981中介绍了一种对编码A/V序列进行帧精确编辑的数据处理装置和方法,其中跨接第一和第二帧序列的片段中的帧通过对原始帧进行完全重新编码来产生。该跨接片段包括已经丢去参考帧的所有帧。所述方法和装置特别的适应于光存储视频序列,并且依赖于使用专用硬件编码器。在传统数据处理设备例如PC上使用该技术,使用主要基于软件的编码器将花费相当多的时间并妨碍用户编辑例如家庭录像。
发明内容
本发明的目的是提供一种用于编辑已编码A/V序列的改进的数据处理装置和编辑已编码A/V序列的改进的方法。尤其是,本发明的目的是允许基于软件的视频编辑。
为了实现本发明的目的,所述用于编辑的数据处理装置包括一输入端,用于接收所述第一和第二帧序列;用于识别的装置,该装置用于识别直到并且包括第一编辑点的第一序列中的帧和识别开始于第二编辑点的第二序列中的帧,所述第一序列中的帧被关于第一编辑点之后的一参考帧编码,所述第二序列中的帧被关于第二编辑点之前的一参考帧编码;和一重新编码器,用于通过仅从原始B帧的运动向量为每个识别的B帧导出重新编码帧的相关联的运动向量而对每个识别的B型帧(此后也称作“原始B帧”)进行重新编码。
与传统的A/V数据的编码不同,本发明者已经意识到:对于视频编辑,原始编码帧是可用的,并且可在一定程度上再次使用其中的编码数据。尤其是,可再次使用运动向量,从而避免了运动向量的完全再计算,其包括运动估计,这样的完全再计算在计算资源方面需要较高的成本。
如在从属权利要求2中所述的,如果第一序列中的两个(或多个)B帧已经丢去了一个随后参考帧,则除了最后B帧之外的所有帧仅仅依靠当前在先的参考帧而被重新编码为单侧B帧。B帧关于在前参考帧的运动向量仍然能被使用。关于随后参考帧的运动向量不能再被使用。平均起来这将导致帧的尺寸的增加。如果对于合理数量的宏块,出现了关于先前的参考帧(指示合理的匹配)的运动向量,则所述尺寸将与P帧的尺寸相同,所述P帧也仅关于一个在前帧被编码。如果对于先前参考帧并未出现多个运动向量,则必须对多个宏块进行帧内编码。那么结果得到的尺寸将与I帧的尺寸更加接近。平均来说,尺寸增加将是慢化的。由于对于传统的MPEG编码只有几个帧需要重新编码,所以结果产生的尺寸(和比特率)增加一般将落在公差范围内,既然MPEG-2采用可变比特率编码,所以对于比特率的暂时增加一般有足够的空间。
如在从属权利要求3中所述的,第一序列的最后识别B帧仅仅依靠先前的参考帧而被重新编码为P帧。关于先前的I帧或P帧的现有运动向量被再次使用。
如在权利要求4中所述的,作为一个可选择方案或如在从属权利要求8中所述的,优选的,除了仅仅依靠先前参考帧将B帧重新编码为单侧B帧之外,新产生的P帧(也)被用作参考帧。关于P帧的运动向量可以基于关于随后参考帧已经被使用的运动向量。这些运动向量能够对B帧进行有效编码。特别的,如果关于先前参考帧的一个高比例运动向量也能被使用,则可使B帧的编码尺寸非常接近于通过完全再编码所能获得的尺寸。
如在从属权利要求5中所述的,运动向量的方向被保持相同,但其长度被减小以补偿时间上(在时间上)较靠近的新参考帧。
如在从属权利要求6中所述的,根据新参考帧在时间上是较靠近的比例而适应所述长度。这对于图像是一个良好的近似值,其中所述对象在所述帧序列的整个期间以基本恒定的速度和方向移动。
如从属权利要求7中所述的,沿原始运动向量的长度执行查找。这允许找出其中在所涉及的帧序列期间对象的速度发生变化、但方向基本保持相同的良好匹配。
如在从属权利要求9中所述的,在已经接收的第二序列的帧中,一新的参考帧被定位,其为P帧或I帧。在被定位的第一参考帧为P帧的情况下,该帧被重新编码为I帧。这确保在所述结合的序列的第二部分中出现一适当的参考帧,其为原始I帧或新产生的I帧。
如在从属权利要求9中所述的,第二序列中的其它识别B帧现在关于新产生的I帧或原始I帧被重新编码为单侧B帧,类似曾经出现的情形。现有的运动向量能够以未修改的形式被再次使用。
本发明的这些和其它方面通过此后所述的实施例将是显而易见的,并且它们将通过这些实施例来说明。
附图说明
在附图中:
图1表示现有技术的MPEG-2编码;
图2表示MPEG-2的帧间编码;
图3表示帧的显示序列和相应的传输序列;
图4表示直到并且包括外点(第一编辑点)的第一序列的重新编码;
图5表示对于不同外点的第一序列的重新编码;
图6表示开始于并且包括内点(第二编辑点)的第二序列的重新编码;
图7表示对于不同内点的第二序列的重新编码;
图8表示根据本发明的数据处理装置的框图。
具体实施方式
图3A表示根据MPEG-2编码的典型帧序列。虽然下述说明将集中在这种编码上,但本领城技术人员将意识到本发明可适用于其它A/V编码标准。图3A还示出帧之间的相关性。通过B帧的前向相关性引起的传送如图3A所示的序列中的帧将具有这样的效果:接收的B帧只有在随后的参考帧已经被接收(和解码)之后才能被解码。为了避免在解码过程中必须“跳过”所述序列,帧通常不是以图3A的显示序列的方式来存储或传送,而是以图3B中所示的相应传输序列的方式来存储或传送的。在该传输序列中,参考帧在依赖于它们的B帧之前传送。这意味着帧能够以他们被接收的顺序来解码。应该意识到解码的在前参考帧的显示被延迟直到依赖于它的B帧已经被显示。
根据本发明的数据处理装置结合第一序列的帧与第二序列的帧,所述第一序列的帧达到并且包括第一编辑点(外点),所述第二序列的帧开始于第二编辑点(内点)。如所意识到的,第二序列(内序列)的帧实际上可被减去与第一序列的帧相同的序列。例如,所述编辑实际上涉及从一家庭录像中除去一个或多个帧。由于帧对编辑点的相依性,需要对某些帧进行重新编码。根据本发明,所述重新编码再次使用现有的运动向量。在重新编码过程中将不会发生新的运动估计,结果能够进行快速的重新编码。因此,从第一序列中接收的帧将在重新编码过程中不会关于第二序列的帧被预测,反之亦然。所以,在两个片段之间将不会建立编码相关性。因此重新编码被限制到片段本身。图4和5表示第一序列的量新编码的例子。图6和7表示第二序列的重新编码的例子。该结合的序列简单地为第一序列的重新编码片段与第二序列的重新编码片段的序接。
图4表示对第一序列进行重新编码,其中外点为帧B6。这意味着直到并且包括B6的所有帧被表示在编辑(结合)的序列中,而其后跟随B6的所有帧(以显示的顺序)未表示在该结合的序列中。在该例子中,B6依赖于P5和P8。根据本发明,B6被重新编码为P帧,表示为P* 6。如图所示,P* 6仅关于P5被编码。通过P5被编码预测的初始B6帧的运动向量能被完全再次用在P* 6帧中。不需要计算另外的运动向量。尤其是,不需要运动估计。由于P8将不被表示在结合的序列中,所以对于P8,B6的运动向量不能再被使用。结果,平均起来P* 6中更多的宏块将需要被编码为内宏块,于是对于B6也会发生这样的情况。这将增加B6的尺寸(降低了编码效率),但是不会使用具有耗时运动估计的完全重新编码。图4C表示图4B的序列,但现在表示的是传输序列的形式。
图5表示对第一序列进行重新编码,其中外点为帧B7。在该例子中,帧B6和B7都关于P5以及P8被预测。P8未被接收。根据本发明,已经丢去一个参考帧的B帧的最后一个被重新编码为P帧。在该情况下,B7单独地根据P5被重新编码为帧P* 7。该重新编码与对图4的B6所述的相同。已经丢去一参考帧(在该情况下仅是B6)的所有其它B帧被重新编码为单侧B帧,该单侧B帧是关于剩下的参考帧(也就是在前的参考帧)被编码的。如图5B所示,B6被重新编码为单侧B*6帧,该单侧B* 6帧通过P5进行预测。B6的运动向量被再次使用。对于P8,B6的运动向量不能再被使用。因此,B* 6中更多的宏块需要被编码为内宏块,于是对于B6也会发生这样的情况。
图5D表示一个优选实施例,其中运动向量被产生用于从重新编码的帧P* 7预测重新编码的帧B* 6。实质上,在通过B7预测的原始帧B6中并未出现运动向量。然而,通过P8预测的B6的运动向量能被再次用于该目的。采用图5A的例子和传统的A/V编码,其中帧以固定的时间间隔位于所述序列中,则帧B6和P8之间的时间是帧B6和B7之间的时间的两倍。假定对象的运动在时间间隔B6至P8之间基本上是恒定的,则将运动向量的长度等分就给出了运动向量的合理估计以用于从P* 7预测B*6。优选地,这些运动向量还另外用于通过P5预测B* 6的运动向量。在后者的情况下,这使得B* 6产生一个规则双侧B帧。图5的例子说明MPEG-2的一般情形,其中两个B帧位于参考帧之间。本领域技术人员能够容易的将这一技术应用于在参考帧之间有多于两个B帧的情形。在这样一种更加普遍的情况下,需要用其校正运动向量的长度的因数被给定为:(B*帧和P*帧之间的帧数+1)/(原始B帧和其随后参考帧之间的帧数+1)。
在另一个优选实施例中,通过用0和1之间的一个系数改变从P8预测B6的原始运动向量的长度可增加从P*7预测B*6的运动向量匹配精度。优选地,以该间隔执行二分查找,所述间隔开始于0.5(其对于恒定运动无论如何也是一个好的匹配)。使用该查找技术,对于其中运动方向在所涉及的时间间隔期间基本保持恒定的对象来说,可发现良好的匹配。
图6表示对第二序列进行重新编码,其中内点为帧p8。这意味着开始于p8的所有帧都表现在被编辑(结合)的序列中,但在p8之前(以显示顺序)连续出现的所有帧不被表示在所述结合序列中。根据本发明,从内点开始,第一参考帧被定位,所述第一参考帧为I帧或P帧。如果这个帧为I帧,则它被未修改地接收在该结合的序列中。如果该帧为P帧,则它被重新编码为I帧,也就是所有宏块被重新编码为内块。在图6的例子中,第一参考帧为p8。所以,p8被重新编码为i* 8。帧b9和b10为已经取决于参考帧p8的B帧。运动向量能被接收。因此,b9和b10不需要被重新编码。图6B以显示的顺序示出结果得到的重新编码帧。图6C以传输的顺序示出该相同的序列。
图7给出了对第二序列进行重新编码的第二个例子,其中内点为b6。从内点开始,第一参考帧为帧p8。同样如针对图6所述的,p8被重新编码为i* 8。接着,第二序列的所有B帧被识别它们已经丢去了一个参考帧,所述参考帧为内点b6之前的I帧或P帧。在该例子中,b6和b7就是这种B帧。该识别的B帧被重新编码为单侧B帧。对先前参考帧的参照被消除。留下的随后参考帧的相关性被保持。在该例子中,余下的随后参考帧p8被重新编码为帧I* 8。所以,b6和b7根据i* 8都分别被重新编码为帧b* 6和b* 7。
图8表示根据本发明的数据处理系统的框图。该数据处理系统800可在PC上实行。该系统800具有一输入端810,用于接收第一和第二A/V帧序列。一处理器830对该A/V帧进行处理。特别的,如果以模拟格式提供该帧,则可使用另外的A/V硬件860,其例如以模拟视频取样器的形式。A/V硬件860可采用PC视频卡的形式。如果还未以适当的数字格式例如MPEG-2对帧进行编码,则所述处理器可首先以期望格式对帧进行重新编码。对期望格式的初始编码或重新编码通常适用于整个序列并且不需要用户交互作用。同样该操作可发生在后台或不被注意,不象视频编辑,其通常要求精神集中的用户交互作用以精确确定内外点。这使得实时性能在编辑过程中变得更加重要。该序列被存储在后台存储器840中,例如硬盘,或快速光学子系统。虽然图8表示A/V流流过处理器830,实际上适当的通信系统,例如PCI和IDE/SCSI可被用于直接将该A/V流从输入端810传送至存储器840。对于编辑,所述处理器需要关于编辑那个序列和内外点的信息。优选地,用户通过用户接口,例如鼠标和键盘以交互的方式来提供这种信息,其中显示器提供了关于可利用流的用户信息,并且如果需要,还提供帧在流中的精确位置。如前所述,通过除去或拷贝选择的场景,用户实际上可以只编辑一个流,例如家庭录像。为了说明的目的,这也被看作对相同的A/V序列进行两次处理,一次是作为内流(第二序列),另一次是作为外流(第一序列)。在根据本发明的系统中,两个序列可被单独地处理,其中结合(编辑)的序列通过序接两个片段来形成。一般,该结合的序列也将存储在后台存储器840中。典型地它可通过输出820提供。在需要的情况下,使用A/V I/O硬件860可进行格式转换,例如转换成适当的模拟格式。
如上所述,为了编辑,处理器830确定第一和第二序列的片段需要被接收在结合的序列(直到并且包括外点的第一序列的所有帧和开始于内点的第二序列的所有帧)中。接着,B帧被识别已经丢去了一个参考帧。通过再次使用现有的运动向量对这些帧进行重新编码。如上面已经介绍的,根据本发明不需要运动估计。如所表示的,某些宏块需要被重新编码为内宏块。帧内编码(以及帧间编码)是已知的并且本领域技术人员将能够执行那些操作。使用专门的硬件可进行重新编码。然而,为此目的,在适当程序的控制下优选使用处理器830。程序也可以存储在后台存储器840中,并且在操作过程中,可将程序加载到前台存储器850,例如RAM存储器。相同的主存储器850也可以用于暂时存储正被重新编码的序列(或一部分)。如上面对于优选实施例所介绍的,该系统也可用于重新估计运动向量的长度。本领域技术人员的知识完全能够进行优选的二分查找并查找宏块的最佳匹配。所涉及的运动向量的最佳长度的估计优选的由适当程序控制下的处理器830执行。如果需要,也可以使用另外的硬件。
应该注意上述实施例仅是对本发明的示意性说明,而非限制,在不脱离后附权利要求的范围的情况下,本领域技术人员将能够设计许多可替换实施例。在权利要求中,至于括号中的任何参考标记将不构成对权利要求的限制。单词“包括”和“包含”并不排除权利要求中所列的之外的其它的元件或步骤的出现。本发明可利用包括若干个不同的元件的硬件来实现,也可以由适当编程的计算机来实现。在列举了若干装置的系统权利要求中,这些装置中的若干个可由一个和相同项的硬件来包括。计算机程序产品可存储/分布在适当的介质上,例如光存储介质,但也可以通过其它形式被分布,例如通过互联网或无线通信系统来分布。
Claims (8)
1.一种数据处理装置(800),用于根据直到并且包括第一序列中的第一编辑点的第一序列的帧和开始于并且包括第二序列中的第二编辑点的第二序列中的帧,编辑至少两个基于帧的A/V数据序列以形成第三组合序列,其中对第一和第二序列中的每一个进行编码,使得多个帧不参考该序列中的任何其它帧被帧内编码,此后称之为“I帧”,多个帧被分别参考该序列中的一个在前参考帧编码,此后称之为“P帧”,并且剩下的帧被分别参考该序列的一个在前和一个随后参考帧编码,此后称之为“B帧”,所述参考帧为I帧或P帧,并且帧的参考编码是基于帧中的运动向量进行的,所述运动向量指示所参考的帧中的相似宏块,
该数据处理装置包括:
输入端(810),用于接收所述第一和第二序列的帧;
用于识别的装置(830),该用于识别的装置用于识别直到并且包括第一编辑点的第一序列中的帧和识别开始于第二编辑点的第二序列中的帧,所述第一序列中的帧被关于第一编辑点之后的参考帧编码,所述第二序列中的帧被关于第二编辑点之前的参考帧编码;和
重新编码器(830),用于通过对于每个识别的B帧仅从原始B帧的运动向量导出相应的重新编码帧的运动向量而将每个识别的B帧重新编码成相应的重新编码帧,其中所述识别的B帧此后被称为“原始B帧”,
该数据处理装置其特征在于,
所述重新编码器被设置成参考先前帧将第一序列的在顺序上最后一个识别B帧重新编码为P帧,此后称之为“P*帧”,所述先前帧为I帧或P帧并且在顺序上是最近的,
所述重新编码器被设置成参考所述P*帧将除所述在顺序上最后一个识别B帧之外的所识别的第一序列的B帧重新编码为B帧,此后称之为“B*帧”,其中所述B*帧关于所述P*帧的运动向量是从相应的原始B帧关于参考帧的运动向量导出的,所述参考帧并非为所述组合序列的一部分。
2.如权利要求1所述的数据处理装置,其中所述B*帧的运动向量的方向与相应的原始B帧的各个相应运动向量相同,所述B*帧的运动向量的长度与相应的原始B帧的各个相应运动向量的长度成比例。
3.如权利要求2所述的数据处理装置,其中所述比例给定为:(B*帧和P*帧中间的帧数+1)/(原始B帧和其随后参考帧中间的帧数+1)。
4.如权利要求2所述的数据处理装置,其中所述数据处理装置包括比例估算器,用于通过使用0和1之间的因子迭代地按比例缩放原始B帧的各个相应运动向量的长度来估算所述比例直到发现满足预定标准的相应宏块的匹配。
5.如权利要求1所述的数据处理装置,其中所述重新编码器被设置成参考在前参考帧对除所述在顺序上最后一个识别B帧之外的所识别的第一序列的B帧进行重新编码。
6.如权利要求1所述的数据处理装置,其中所述重新编码器被设置成在第二编辑点开始连续扫描第二序列以查找I帧或P帧;并且如果P帧被首先检测到,则将该检测的P帧重新编码为I帧,此后称之为“I*帧”。
7.如权利要求6所述的数据处理装置,其中所述重新编码器被设置成将第二序列中的每个识别B帧重新编码为单侧B帧,其中如果P帧被首先检测到,则所述单侧B帧依赖于I*帧,或者如果I帧被首先检测到,则所述单侧B帧依赖于I帧。
8.一种数据处理方法,用于根据直到并且包括第一序列中的第一编辑点的第一序列的帧和开始于并且包括第二序列中的第二编辑点的第二序列中的帧,编辑至少两个基于帧的A/V数据序列以形成第三组合序列,其中对第一和第二序列中的每一个进行编码,使得多个帧不参考该序列中的任何其它帧被帧内编码,此后称之为“I帧”,多个帧被分别参考该序列中的一个在前参考帧编码,此后称之为“P帧”,并且剩下的帧被分别参考该序列的一个在前和一个随后参考帧编码,此后称之为“B帧”,所述参考帧为I帧或P帧,并且帧的参考编码是基于帧中的运动向量进行的,所述运动向量指示所参考的帧中的相似宏块,
该方法包括:
接收所述第一和第二序列的帧;
识别直到并且包括第一编辑点的第一序列中的帧和识别开始于第二编辑点的第二序列中的帧,所述第一序列中的帧被关于第一编辑点之后的参考帧编码,所述第二序列中的帧被关于第二编辑点之前的参考帧编码;和
通过对于每个识别的B帧仅从原始B帧的运动向量导出相应的重新编码帧的运动向量而将每个识别的B帧重新编码成相应的重新编码帧,其中所述识别的B帧此后被称为“原始B帧”,
该方法其特征在于,
参考先前帧将第一序列的在顺序上最后一个识别B帧重新编码为P帧,此后称之为“P*帧”,所述先前帧为I帧或P帧并且在顺序上是最近的,
参考所述P*帧将除所述在顺序上最后一个识别B帧之外的所识别的第一序列的B帧重新编码为B帧,此后称之为“B*帧”,其中所述B*帧关于所述P*帧的运动向量是从相应的原始B帧关于参考帧的运动向量导出的,所述参考帧不是所述组合序列的一部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02076108.6 | 2002-03-21 | ||
EP02076108 | 2002-03-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1643608A CN1643608A (zh) | 2005-07-20 |
CN100539670C true CN100539670C (zh) | 2009-09-09 |
Family
ID=28051800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB038065185A Expired - Fee Related CN100539670C (zh) | 2002-03-21 | 2003-02-17 | 已编码a/v序列的编辑 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20050141613A1 (zh) |
EP (1) | EP1490874A1 (zh) |
JP (1) | JP4310195B2 (zh) |
KR (1) | KR20040094441A (zh) |
CN (1) | CN100539670C (zh) |
AU (1) | AU2003206043A1 (zh) |
TW (1) | TW200305146A (zh) |
WO (1) | WO2003081594A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1744553A4 (en) * | 2004-03-15 | 2010-09-29 | Sharp Kk | RECORDER / PLAYBACK / editing |
US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
US9355681B2 (en) * | 2007-01-12 | 2016-05-31 | Activevideo Networks, Inc. | MPEG objects and systems and methods for using MPEG objects |
US9826197B2 (en) * | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
JP5257319B2 (ja) * | 2009-10-09 | 2013-08-07 | 株式会社Jvcケンウッド | 画像符号化装置及び画像符号化方法 |
WO2012051528A2 (en) | 2010-10-14 | 2012-04-19 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
EP2695388B1 (en) | 2011-04-07 | 2017-06-07 | ActiveVideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
US9396757B2 (en) | 2011-06-21 | 2016-07-19 | Nokia Technologies Oy | Video remixing system |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
US20150085915A1 (en) * | 2013-09-25 | 2015-03-26 | Jay C.-C. Kuo | Method and system for automatically encoding video with uniform throughput |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2353653B (en) * | 1999-08-26 | 2003-12-31 | Sony Uk Ltd | Signal processor |
-
2003
- 2003-02-17 CN CNB038065185A patent/CN100539670C/zh not_active Expired - Fee Related
- 2003-02-17 KR KR10-2004-7014773A patent/KR20040094441A/ko not_active Application Discontinuation
- 2003-02-17 US US10/507,994 patent/US20050141613A1/en not_active Abandoned
- 2003-02-17 JP JP2003579224A patent/JP4310195B2/ja not_active Expired - Fee Related
- 2003-02-17 AU AU2003206043A patent/AU2003206043A1/en not_active Abandoned
- 2003-02-17 EP EP03702926A patent/EP1490874A1/en not_active Withdrawn
- 2003-02-17 WO PCT/IB2003/000659 patent/WO2003081594A1/en active Application Filing
- 2003-03-18 TW TW092105903A patent/TW200305146A/zh unknown
Non-Patent Citations (4)
Title |
---|
Compressed domain MPEG-2 video editin. KAI,WANG,ET,AL.2000 IEEE INTERNATIONAL CONFERENCE ON NEW YORK. 2000 |
Compressed domain MPEG-2 video editin. KAI,WANG,ET,AL.2000 IEEE INTERNATIONAL CONFERENCE ON NEW YORK. 2000 * |
SPLICING MPEG VIDEO STREAMS IN THECOMPRESSED DOMAIN. WEE S J ET AL.IEEE WORKSHOP ON MULTIMEDIA SIGNAL. 1997 |
SPLICING MPEG VIDEO STREAMS IN THECOMPRESSED DOMAIN. WEE S J ET AL.IEEE WORKSHOP ON MULTIMEDIA SIGNAL. 1997 * |
Also Published As
Publication number | Publication date |
---|---|
CN1643608A (zh) | 2005-07-20 |
TW200305146A (en) | 2003-10-16 |
AU2003206043A1 (en) | 2003-10-08 |
EP1490874A1 (en) | 2004-12-29 |
KR20040094441A (ko) | 2004-11-09 |
JP2005521311A (ja) | 2005-07-14 |
JP4310195B2 (ja) | 2009-08-05 |
US20050141613A1 (en) | 2005-06-30 |
WO2003081594A1 (en) | 2003-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100539670C (zh) | 已编码a/v序列的编辑 | |
JP4625411B2 (ja) | 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体 | |
US10142654B2 (en) | Method for encoding/decoding video by oblong intra prediction | |
CN101889447B (zh) | 扩展avc标准以与视频串行地对高分辨率数字静止画面编码 | |
CN100568970C (zh) | 用于发信号通知和解码视频流中的有效入口点的方法 | |
KR101811090B1 (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
NO342829B1 (no) | Datamaskinlesbart lagringsmedium og apparat for koding av et flertall av videobilder ved bruk av en rekkefølgeverdi | |
CN100555332C (zh) | 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置 | |
CN1240092A (zh) | 视频编码 | |
CN101715138A (zh) | 对具有多个图像的图像序列进行编码的方法及设备 | |
JPH08111870A (ja) | 画像情報の再符号化方法及び装置 | |
CN1134084A (zh) | 用在图象编码系统中的改进的运动补偿装置 | |
US20050089232A1 (en) | Method of video compression that accommodates scene changes | |
CN101888545B (zh) | 一种低码率信源压缩编码方法 | |
JPH06225279A (ja) | 符号化方法、復号化方法、符号化装置及び復号化装置 | |
JPH09121359A (ja) | 画像符号化方法および画像復号化方法 | |
JPH07184213A (ja) | テレビジョン画像を送信するデバイス、受信するデバイス、ビデオレコーダおよびテレビジョン画像が記録されている記録媒体 | |
WO2009122925A1 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
JPH1084545A (ja) | ディジタルビデオ信号の符号化方法及び装置 | |
KR100734141B1 (ko) | 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치 | |
JP3902698B2 (ja) | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 | |
CN102577130B (zh) | 从第一mpeg流到第二mpeg流的代码转换器 | |
JP6872412B2 (ja) | 映像符号化装置及びプログラム | |
JP2005159832A (ja) | 信号処理装置 | |
Miura et al. | A simple compression method using movion vector of video encoder in the destributed system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090909 Termination date: 20100217 |