CN1182248A - 处理数字编码图像的方法及装置和译码图像缓冲存储装置 - Google Patents

处理数字编码图像的方法及装置和译码图像缓冲存储装置 Download PDF

Info

Publication number
CN1182248A
CN1182248A CN97121173A CN97121173A CN1182248A CN 1182248 A CN1182248 A CN 1182248A CN 97121173 A CN97121173 A CN 97121173A CN 97121173 A CN97121173 A CN 97121173A CN 1182248 A CN1182248 A CN 1182248A
Authority
CN
China
Prior art keywords
image
frame type
coding
scenery
information item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN97121173A
Other languages
English (en)
Inventor
卡斯藤·赫佩尔
尤·里曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of CN1182248A publication Critical patent/CN1182248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525Magneto-optical [MO] discs
    • G11B2220/2529Mini-discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575DVD-RAMs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/90Tape-like record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种后处理图像序列中的数字编码图像的方法,该方法尤其用于编辑处理。在该方法中,原始图像资料以编码形式出现。为了精确处理起见,首先译码图像。在处理之后重新编码新的图像序列。在这种情况下,如此来控制相关的新的编码操作,即使用与起初编码图像时所用的帧类型(I,B,P)相同的帧类型。为此,提出了即使在景物切换之后也尽可能迅速地实现这一目的的具体方法。此外,还提出了实现该方法的装置和缓冲存储译码图像的装置。

Description

处理数字编码图像的方法 及装置和译码图像 缓冲存储装置
本发明涉及处理图像序列中的数字编码图像的方法及实现该方法的装置以及在这种方法中用于缓冲存储译码图像的装置。
本发明基于处理图像序列中的数字编码图像的方法,图像序列中的每一图像已按照若干种帧类型中的一种帧类型进行了编码。对于未来的数字电视广播(DVB=数字视频广播)及有关的交互通信业务,必须利用合适的编码装置大大地减少视频数据的数据量。为了能够通过已有信道发送更多的节目,或者为了在已有窄带传输通道中传送运动图像序列,大大地减少视频数据的数据量是必要的。为此目的所提供的一种编码方法是在ISO/IEC 13818-2中提出的标准化建议,这一标准化建议被通称为MPEG-2(运动图像专家组)。
为了在编码期间获得最大可能的压缩比,在MPEG建议中把输入图像组合成为组(所谓GOP=Group ofPictures(图像组))。各个图像在该组内被不同地编码。根据MPEG-2,建议一个组应当由一个内部编码帧(I图像)、多个单向编码帧(P图像)以及多个双向编码图像(B图像)组成。传送该组内一个帧所需的数据率依赖于有关的帧类型(I,P,B)。一个图像组内最大的相对数据量被分配给I图像。它们包含在译码器中进行完全再现所需的全部数据。相反地,根据I图像或P图像(通常根据先前I或P图像)预测P图像。另一方面,基本上根据已再现的I或P图像计算(内插)B图像。因此必须传送的B图像的数据量很小。相关“图像组”内存在完整的I图像是再现一个组的全部图像所必不可少的。
虽然上述把帧分类成为不同的帧类型能够获得非常高的编码效率,但造成了不同的帧类型对传输错误有不同程度的敏感度。因此,B图像内的传输或再现错误被限制在所述图像本身内,而错误的I和P图像会影响到整个“图像组”(GOP)。在目前MPEG-2的每GOP 12帧的参数选择的情况下,这种影响的持续时间可长达半秒。
这种分类的另一种效果在编码图像资料的译码期间显现出来。在演播室或在家庭内经常需要根据多个已有的部分序列编辑新的图像序列。这种编辑可能涉及到景物切换,但还可意味着两个或更多的视频景物之间的特殊效果混合。但是,任何特殊效果混合都具有这样的先决条件,即因为数据压缩形式的后处理是不可能的,所以编码图像资料必须首先被译码。这里把平滑转换作为特殊效果混合的一个例子。由于在编码图像资料的后处理期间实际上不应利用不同的方法来处理景物切换和特殊效果混合,所以通常对编码图像资料统一进行后处理。如果需要重新使用按照这种方式产生的视频资料来进行数字传输或记录,就必须重新编码图像资料。在这种编码过程中,很可能新的“图像组”(GOP)将不相当于先前选择的“图像组”,结果就是图像质量会下降。
Hedtke R.和Schnoll,M.发表在《Fernseh-und Kino-Tochnik(电视和电影技术)》1996年50卷7期367-373页上的论文“MPEG-2编码的视频序列的编辑处理”公开了在编码视频资料的后处理期间尽可能地保持原始编码序列的技术。在序列的切换位置处编码一新的“图像组”。
本发明的目的是进一步改进编码图像资料的后处理,尤其是仍然遵照新图像序列的可允许的数据率。这一目的在本发明中是利用以下特征来实现的。处理图像序列中的数字编码图像的方法,图像序列中的每一图像已按照若干种帧类型中的一种帧类型进行了编码,图像被译码并在译码形式上、尤其在它们的编辑或它们的图像内容方面发生变化,图像随后被重新进行编码,在图像的重新编码中最好使用与原始编码所用帧类型相同的帧类型,在重新编码操作中使用相同的帧类型依赖于是否后面或前面进行了景物切换或是否在特定个数的图像内已进行了景物切换,在重新编码操作中使用相同的帧类型还依赖于是否后面或前面在特定个数的图像内已进行了内部编码。
根据本发明,在图像的原始编码期间使用过的帧类型最好在该处理之后对该图像的重新编码期间仍然被使用。但是,同一帧类型的使用不仅依赖于景物切换信息项,还依赖于后续或先前的图像是否在特定数目的图像内进行了内部编码。这样做的效果就是多个I图像不是迅速地一个接一个出现并且不会超过可允许的数据率。就是说,如果过多的I图像一个接一个地出现,则编码单元就必须例如使量化变粗,以便不超过数据率。这样就会额外地影响到图像质量。本发明防止了图像质量的这种降低。
在检测到不久之前对图像进行了内部编码的情况下,如果在编码操作期间使用单向编码帧类型(P图像)而不是使用已被信号化的内部编码帧类型将是有益的。
如果帧类型被如此地信号化将是非常有益的,即帧类型信息项在译码图像的缓冲存储期间也被伴随地存储在例如硬盘或磁带记录器上。这一信息项于是可永久地供以后的评估使用。在随后的编码过程中,如果该信息项与相应的图像并行地被读出并被用来控制编码操作则将是有益的。
如果在一些图像之后执行切换的这些图像的情形中另外存储切换信息项也是有益的。因为通常不能根据完全不同景物的先前图像非常好地预测在一景物切换之后的一景物的第一幅图像,所以提供这种信息项是有益的。这样做的结果是在景物切换之后的第一幅图像必是内部编码图像(I图像)。其它图像于是能够参看这一图像,并能够根据这一图像推导其它图像。因此,如果使在重新编码操作期间帧类型信息的使用依赖于是否在特定数目的图像之后接着执行景物切换将是有益的。如果是这样,就必然可根据当前图像序列本身对该图像序列作出断定。就是说,B图像帧类型的待编码图像不再被允许参看后面的图像,这是因为毕竟执行了景物的切换的缘故。同样地,因为对I图像帧类型的图像进行编码将会使编码装置中的缓冲存储器溢出,所以不应再编码I图像帧类型的图像。这是因为必须在景物切换之后对I图像帧类型的图像进行编码的缘故。
有助于避免上述问题的有利措施如下。如果后面将在特定个数的图像之后进行景物切换,并且帧类型信息项规定当前图像为内部编码图像,就把该当前图像编码为单向编码图像。如果后面将在特定个数的图像之后进行景物切换,并且帧类型信息项规定当前图像为双向编码图像,就把该当前图像编码为单向编码图像或具有单向编码宏块的双向编码图像。如果前面已在特定个数的图像之内进行了景物切换,并且帧类型信息项规定当前图像为单向编码图像,就把该当前图像编码为内部编码图像。如果前面已在特定个数的图像之内进行了景物切换,并且帧类型信息项规定当前图像为双向编码图像,就根据随后将要被显示的图像把该当前图像编码为单向编码图像,或根据随后将要被显示的图像把该当前图像编码为具有单向编码宏块的双向编码图像。如果前面已在特定个数的图像之内进行了内部编码,并且帧类型信息项规定当前图像为内部编码图像,就把该当前图像编码为单向编码图像。如果后面将在特定个数的图像之内进行内部编码,并且帧类型信息项规定当前图像为内部编码图像,就把该当前图像编码为单向编码图像。
实现该方法的装置的有利措施如下。该装置包括:译码单元,译码图像序列中的编码图像,每一图像利用若干种帧类型之一进行编码;处理单元,尤其在译码图像的编码或图像内容方面对译码图像进行处理;编码单元,重新编码被处理图像;存储器,缓冲存储译码的被处理图像;控制装置,如此地在重新编码期间控制编码单元,即在重新编码期间最好使用与起初编码所用的帧类型相同的帧类型,该装置还包括可以存储图像序列中的图像的各个原始帧类型的存储装置,另一存储装置可以存储规定在哪幅图像之后进行景物的切换的切换信息项。
用作译码图像的缓冲存储的装置包括存储装置,能够把帧类型信息项与每一译码图像一道进行存储,该帧类型信息项规定起初编码图像所根据的帧类型。还包括另一存储装置,能够存储规定在哪幅图像之后进行景物切换的切换信息项。该装置在上述方法中被使用。
本发明的例示性实施例用附图来表示,并在以下描述中进行更详细的说明。
附图中:
图1表示可在家庭内使用的图像处理系统的概要;
图2表示置顶盒的粗略方框图;
图3表示图像处理装置的粗略方框图;
图4表示记录装置的粗略方框图;
图5表示在图像处理装置中的处理所用的程序的流程图;
图6表示不同景物切换的4个例子;
图7表示在演播室内使用的图像处理系统的概要;
图8表示在硬盘上存储译码图像的数据格式;
图9表示存储译码图像的视频数据的磁带的划分。
本发明可应用于家庭和专业演播室。首先利用供家庭用的例子来说明本发明。在图1中以概要的方式说明供家庭用的例子。在图1中,标号10表示适合于以已知方式传送电视节目的宽带电缆。宽带电缆10与置顶盒11连接。置顶盒11用来接收数字编码的视频和音频数据。电视接收机12按照普通方式与置顶盒11连接。所述电视接收机按照普通方式再现在置顶盒中被数字译码的数据。置顶盒11还与图像处理装置13连接。图像处理装置13在当前情况下主要是一个人计算机。记录装置14也与图像处理装置13连接。例如可把数字录像机用作记录装置14。只要数字视盘机也适合于写入数字视盘,也可以用作记录装置14。
图2用方框图更详细地说明置顶盒的结构。标号20表示RF(射频)接收部分。RF接收部分20包括用于数字被调输入信号的调谐器和解调器电路。包含所获得的数字数据的位流出现在RF接收部分20的输出端处。该位流被传送给存取控制单元22。该单元按照已知的方式判断置顶盒的用户是否被允许译码所接收的数据。位流然后通过总线传送给译码单元21。对于该例示性实施例,假定译码器21是MPEG-2译码器。这种译码器已见于已有技术。有关其详情例如也可参看以上已提及的MPEG-2标准。被译码数据然后传送给RF传输部分23。在所述RF传输部分中执行符合例如PAL、SECAM或NTSC这样的电视标准的RF调制。RF信号传送给输出端27。电视接收机可按照普通方式与该输出端27连接。注意有关音频信号的进一步处理所需的处理级在图2中未示出,这样做可简化方框图。
解调数字数据也通过上述总线传送给接口24。出现在接口24的数据可利用相应的外部总线26来拾取。出现在接口24的数据按照MPEG-2标准进行编码,但它们以后仍必须被译码,以便于进一步的处理。
以下参看图3的方框图更详细地说明图像处理装置13的结构。标号35表示另一接口。数字编码数据可通过这一接口馈送给该处理装置。因此这一接口起到通过接口24把置顶盒接至处理装置13的作用。按照MPEG-2标准编码的数字数据于是通过该接口35馈送给处理装置13。这些数据通过另一总线34传送给该处理装置的各个部件。标号30表示硬盘驱动器。标号31表示一算术单元,这是通常设置在个人计算机内的那种功能很强的算术单元。标号32表示译码单元。这也是MPEG-2译码器。相反地,标号33表示编码装置。这是MPEG-2标准所描述的MPEG-2编码器。译码单元和编码单元可设计成个人计算机的插卡。但是,如果个人计算机的算术单元31功能特别强,则在每种情况下编码单元和译码单元也可以用软件来实现。当然,在这种情况下,作为插入模块的这两个单元可省略。关于这一点还应指明不必在实时条件下执行译码操作和编码操作,以下将更详细地描述这两种操作。由于待处理图像可以缓冲存储在硬盘驱动器30上,所以可以获得较长的时间来处理各个图像。编码数据不必直接传送给电视接收机。
所谓控制单元38和37分别示于译码单元和编码单元中。这些控制单元的作用是控制编码和译码操作。这也将在以下详述。最后,标号36表示另一接口。这一接口36用来输出数字编码数据。利用这一接口建立图像处理装置13至记录装置14的连接。
以下参看图4更详细地描述记录装置14的结构。在图4中,标号42表示输入接口。它的作用是连接图像处理装置13和记录装置14。总线44也与接口42连接。接收的数据可通过所述总线传送给记录装置14的其它部件。标号41表示磁带驱动机构。经接口42接收的数据可例如以数字形式存储在盒式磁带上。已有技术也公开了这种数字录像机。DVC装置(DVC=数字摄录像机)是其中的一个例子。标号40表示记录装置的控制单元。而标号45表示译码单元。如上所述,存储在磁带驱动机构41的盒式磁带上的数据以编码形式出现,可在译码单元45中被译码。这也是一MPEG-2译码器。如此获得的数字数据再馈送给RF传输部分46。按照电视制式之一产生电视信号,并可经输出端47拾取这些电视信号。标号43表示输出接口。输出接口43用来输出存储在盒式磁带上的数据。因此,这些数据仍以编码形式出现,可通过该输出接口43再馈送给图像处理装置13,以便例如进行后续处理。
以下更详细地说明图像处理装置13的功能。图像处理装置13的作用是对接收或甚至记录的图像资料进行后处理。先决条件是该图像资料以按照MPEG-2标准编码的形式出现。为此,在图1中选择了与图像处理装置13连接的置顶盒11的实例。能够按照MPEG-2标准以数字方式记录图像的家用摄像机目前尚未出现。但是,可以设想这种摄像机将很快面市。那时,这种摄像机也将作为处理装置13的信号源。按照MPEG-2标准记录的图像的编码各不相同。上述内部编码图像、单向编码图像和双向编码图像都是可允许的。图像后处理的一特定实例是编辑处理。在这种情况下,本发明使切换能够在任何所希望的图像边界上进行。如上所述,在处理之后,经常这样地将图像混合在一起,使得在编辑处理之后,先前选择的帧类型序列对于新的图像序列不再有效。为此,图像处理装置13内的编码单元就不能够容易地利用与可用于原始图像资料的相应图像的帧类型相同的帧类型编码图像。现在参看图6更详细地描述可以对图像处理装置13内的编码单元33进行控制、以便尽可能地为编码操作保持原始帧类型的方法。在图5中被表示为流程图的相关控制程序被编码单元33内的控制单元37执行。
标号50表示控制程序的程序开始。在询问51中判断目前要被编码的图像的帧类型是否是内部编码图像。关于这一点,编码单元33测定在处理操作后被相伴地存储在硬盘30上的附加信息项。以下将更详细地讨论有关的数据格式。如果在询问51中确认该图像的原始帧类型相应于I图像,然后就在询问52中判断是否随后在当前图像之后3幅连续图像内进行了景物切换。编码单元33可同样从硬盘驱动器30中取得这一信息项。如果没有后续的景物切换,就在询问53中判断是否以前已在3幅连续图像内把图像编码成为了内部编码图像。这一信息项也存储在编码装置本身内。如果也不是真的,就在程序步骤60中把目前要被编码的图像编码成为内部编码图像。然后在程序步骤61中结束程序。
如果在询问52中确认随后在3幅连续图像内进行了景物切换,程序就转移到程序步骤54而不是转移到询问53。在程序步骤54中规定当前待编码图像要被编码成为单向编码图像。在这一程序步骤之后,同样在程序步骤61中结束程序。在步骤54中确认把P图像帧类型作为新的帧类型进行编码来代替过去被确认的以前I图像帧类型是根据如下事实作出的:假定已开发的译码装置能够用容量尽可能最小的缓冲存储器来完成任务。具体而言,两幅内部编码图像的瞬时出现会造成缓冲器溢出。防范措施是译码装置采用较粗的量化,减少到达的数据,但这样做造成图像质量的下降。
如果在询问51中确认当前待编码图像的帧类型不相应于内部编码图像,就在询问55中判断当前图像的帧类型是否相应于单向编码图像(P图像)。如果是,就在询问56中判断是否在当前图像之前3幅连续图像内进行了景物切换。这一信息可同样在编码单元中得到。如果没有进行景物切换,程序就转移到程序步骤54,在该步骤中规定当前待编码图像要被重新编码成为单向编码图像。程序然后也在程序步骤61中结束。另一方面,如果在询问56中确认以前在3幅图像内进行了景物切换,程序就转移到程序步骤60,在该程序步骤中规定把当前图像编码成为内部编码图像。程序然后同样在程序步骤61中结束。相对于原始帧类型改变帧类型的作法在这种情况下是基于这样的认识的,即在景物切换之后需要传送内部编码图像。具体地说,只有内部编码图像才不包含运动矢量,因此可以与先前或后续图像完全无关地被译码。
如果在询问55中确认当前图像的帧类型也不相应于P图像,就自动地确定涉及到双向编码图像(B图像)。为此,立即在询问57中判断是否随后在接着的两幅图像内进行了景物切换。如果是,就在程序步骤58中规定把当前待编码图像编码成为双向编码图像,但只使用单向编码宏块,这是MPEG-2标准允许的。确切地说,只允许根据以前的P或I图像来预测宏块。这样做就保证了在景物切换之前的最后B图像仍然可被任何译码器正确地进行处理。
如果在询问57中确认随后没有进行景物切换,就在询问62中判断是否在一幅或两幅图像前已进行了景物切换。如果确实如此,就在程序步骤59中规定将只编码单向编码宏块,允许根据后续图像(I或P图像)完成预测。这样做同样保证了景物切换之后的第一幅图像可被任何译码器正确地进行译码。如果在询问62中没有发现任何景物变化,就最后在程序步骤63中规定把当前图像编码成为双向图像,允许沿两个方向进行预测。程序同样在程序步骤58、59和63之后以程序步骤61结束。关于该程序还要指出的是该程序是为GOP内常用的图像序列(即这样的图像组IBBPBBPBBPBB……)而设计的。对于其它序列,必须对该程序作相应的修改。此外,还应懂得程序是根据图像被显示的顺序执行询问的。因为编码顺序不总是与显示顺序一致,所以时问序列可以不相同。
图6更详细地示出4种不同的景物切换。示出了每种情况下的图像被显示顺序。在图6a中,前两行表示原始图像资料的连续图像,并在这两行的每一行中规定了对各个图像进行编码最初所用的帧类型。两幅双向类型的图像后分别是P图像或I图像。下标表示在每种情况下涉及到哪一个原始图像序列。图6a的第3行规定了在所希望的新图像序列中哪些图像一个接着一个地出现。可清楚地看出起初只出现第二原始图像序列中的图像,然后在用垂直线标记的景物切换之后,只有第一原始图像序列中的图像出现。看到第二原始图像序列中的图像在它们的帧类型没有改变的情况下被编码。相反地,在景物切换后,发生了变化,即帧类型(P图像)的第一幅图像在新图像序列中被编码成为I图像。这相应于图5的程序步骤60。发生变化的图像各用圆圈来着重表示。
图6b表示不同的图像序列。可看出不仅P图像帧类型的图像被变换为I图像,而且随后的I图像同样地被变换为P图像。这一变换相应于程序步骤54。所有其它图像的帧类型保持不变。图6c表示因随后进行景物切换而把I图像变换为P图像的情况。这一变换相应于图5中紧跟在询问52之后的程序步骤54。
图6d表示在景物切换前I图像被变换为P图像、P图像随后被变换为I图像以及因此I图像被变换为P图像的情况。由图6可清楚地看出大多数图像的帧类型在重新编码期间保持不变这一事实。
图8表示图像被存储在硬盘驱动器上时的数据格式。标号90表示图像开始代码的数字字段。标号91表示存储标识号ID的数据字段。标号92表示存储各个图像的帧类型FT的数据字段。另一数据字段93可用来保持规定在该图像后是否接着进行景物切换的信息项SC。各视频数据则被存储在另一数据字段94内。后面还有用于纠错码CRC的数据字段95和用于结束代码END(结束)的数据字段96。数据字段94内的视频数据是非编码形式的视频数据,即像素数据。
以下描述表示本发明在专业领域的应用的一示范性实施例。因此以下描述的部件都是专业设备,它们中的一些现在已在专业演播室中使用。在图7中,标号70表示接收天线。卫星接收天线是其中的一个例子。原始图像资料、例如外国记者记录的图像资料以编码形式被该接收天线接收。对于该示范性实施例,同样也假定图像资料已按照MPEG-2标准进行了编码。标号71表示卫星接收机。该卫星接收机的结构详细地示于图7。卫星接收机71的相应于图2置顶盒11的部件的那些部件具有相同的标号,因此不必对它们再进行详细描述。卫星接收机71与置顶盒11不同的是具有一估算单元72,该估算单元72与译码单元21连接,从译码单元21中拾取与帧类型有关的信息,分别要被译码的图像按照帧类型进行了编码。该信息项可从译码单元21得到。译码单元21有专用于该信息项的输出端。在估算单元72中,在图像持续期间的每一种情况下存储该信息项并将其以模拟形式输出给输出端74。符合电视标准之一的电视信号在卫星接收机71的输出端73处出现。
标号75表示数字录像机。这是所谓的D1标准录像机,用来记录非编码形式的数字视频数据。当然,输出端73和74处的模拟信号必须在该录像机中预先被数字化。但是,如果卫星接收机71的数据已以数字形式传送给输出端,这种变换就也可以被省略。原始图像资料于是以数字形式存储在一条或多条磁带上。普通的效果控制台78在演播室中可用来对该图像资料进行后处理。这同样需要图像处理装置。因此不仅能够进行景物切换,而且能够获得更进一步的效果,例如交叉衰落效果、特技处理等。数字D1录像机75通过链路76和77与效果控制台78连接。控制单元80与效果控制台78连接。该控制单元可以是市场上买得到的个人计算机。利用该控制单元80设定和监视效果。在对一序列进行了处理之后,相关视频数据通过进一步的链路76和77传送给第二个D1录像机。在这种情况下,数字视频数据再次通过链路76传送给D1录像机,有关图像的原始帧类型的信息和任选的在该图像之后进行景物切换的信息都通过链路77传送给D1录像机。通过链路77传送的信息项被重新记录在从盒式磁带的音频轨迹上。这样就获得了被处理的图像资料,并可在以后及时广播它们。图7中的标号81表示编码装置。这是一演播室用MPEG-2编码器。同样利用控制单元80对该演播室用编码器81进行控制。为此可同样提供一个人计算机。记录的被处理图像资料以数字形式传送给演播室用编码装置81。利用控制装置80可如此地控制编码装置81,使得编码装置81按照图5的流程图对数字视频盒式磁带的音频轨迹上的附加数据进行处理,这些数据通过链路77进行传送。不必在此再对该流程图进行说明。编码数字数据然后通过输出导线82输出。它们在其它处理级中被按照普通方式进行处理,最后被传送给发射机。
关于原始帧类型以及还有任选切换信息的辅助数据的记录请参看图9。图9以图的形式表示D1录像机内的轨迹结构。标号100表示一音频轨迹。数字形式的图像的帧类型信息项FT存储在该音频轨迹中。只要视频数据仍存储在有关的倾斜轨迹内,就可以定期地重复该信息项。标号101表示第二条音频轨迹。景物切换信息项SC存储在该轨迹上。不是每一图像都有该信息项,只是在其后进行景物切换的那些图像才有该信息项。如上所述,该信息项由效果控制台68确定并被传送给连接的D1录像机。只要视频数据仍被包含在该图像的录像带的相应倾斜轨迹上,就可以定期地重复该信息项。图像的倾斜轨迹用标号102来表示。该图像的相关视频数据存储在该轨迹内。如以上参看图8所描述的那样,此处也存储了开始代码START(开始)、标识号ID、视频数据DATD(数据)、校验码CRC和结束代码END(结束)。另外标号103表示同步轨迹。该轨迹存储同步信息SYNC,该同步信息有助于对图像的视频数据进行检索。
本发明不受上述示范性实施例的限制。这些示范性实施例的改进和变化应当被认为在本发明的范围之内。因此,例如可以把图5程序步骤58和59中规定为帧类型选择双向帧类型和同时规定只有单向编码宏块被允许使用的做法改变为在这两个程序步骤中规定只有单向帧类型(P图像)被允许作为帧类型。在询问52中判断是否在随后的3幅图像内进行了景物切换的询问条件是与这一事实相关联的:即对于符合MPEG-2标准的GOP,在每种情况下,两幅B图像后应是P或I图像。当然,在修改的程序中还应考虑其它的可能性。例如,还可以把是否在3幅接连的图像内进行了景物切换的询问改成其它数目,例如在2幅或甚至4幅接连的图像内。数目“4”应当在所关心的问题是两幅I图像不应彼此靠得太近的那些情况下使用,即在询问52和56中。数目“2”应当在涉及到景物切换的那些情况下使用,即在询问57和62中。
另外的改进涉及到在示范性实施例中使用的MPEG-2编码。显然在此还可以使用不同类型的编码。MPEG-1是其中的一个例子。其它改进涉及到记录装置14和图7示范性实施例中的记录装置75。例如还可以使用也设计成写入视盘的视盘重放装置来代替这些记录装置。作为一个例子,在此可以使用具有相应设计的小光盘重放装置或DVD重放装置。
还有,硬盘上的或在图像处理装置的易失存储器内的文件也适合作为FT和SC信息的存储体。于是这一文件应同样包含相应的帧号或相关的时间码。另一种可能是把FT和SC信息与硬盘上的各图像存储在一文件内。因此,FT和SC信息不是非得被存储在磁带或视盘上不可。

Claims (14)

1.一种处理图像序列中的数字编码图像的方法,图像序列中的每一图像已按照若干种帧类型中的一种帧类型(I,B,P)进行了编码,图像被译码并在译码形式上、尤其在它们的编辑或它们的图像内容方面发生变化,图像随后被重新进行编码,在图像的重新编码中最好使用与原始编码所用帧类型相同的帧类型,在重新编码操作中使用相同的帧类型依赖于是否后面或前面进行了景物切换或是否在特定个数的图像内已进行了景物切换,该方法的特征在于在重新编码操作中使用相同的帧类型还依赖于是否后面或前面在特定个数的图像内已进行了内部编码。
2.如权利要求1所述的方法,在该方法中,译码图像在存储器、尤其在硬盘(30)或在磁带记录器(75)中被进行缓冲存储,还存储起初编码图像所根据的帧类型信息项(FT)。
3.如权利要求2所述的方法,在该方法中,帧类型信息项(FT)在重新编码图像期间被读出并被用来控制该编码操作。
4.如权利要求1至3中任一权利要求所述的方法,在该方法中,图像按照以下帧类型之一进行编码:内部编码图像(I)、单向编码图像(P)或双向编码图像(B)。
5.如权利要求1至4中任一权利要求所述的方法,在该方法中,还存储切换信息项(SC),该切换信息项(SC)规定在哪幅图像之后进行景物切换。
6.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果后面将在特定个数的图像之后进行景物切换,并且帧类型信息项(FT)规定当前图像为内部编码图像(I),就把该当前图像编码为单向编码图像(P)。
7.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果后面将在特定个数的图像之后进行景物切换,并且帧类型信息项(FT)规定当前图像为双向编码图像(B),就把该当前图像编码为单向编码图像(P)或具有单向编码宏块的双向编码图像(B)。
8.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果前面已在特定个数的图像之内进行了景物切换,并且帧类型信息项(FT)规定当前图像为单向编码图像(P),就把该当前图像编码为内部编码图像(I)。
9.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果前面已在特定个数的图像之内进行了景物切换,并且帧类型信息项(FT)规定当前图像为双向编码图像(B),就根据随后将要被显示的图像把该当前图像编码为单向编码图像(P),或根据随后将要被显示的图像把该当前图像编码为具有单向编码宏块的双向编码图像(B)。
10.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果前面已在特定个数的图像之内进行了内部编码,并且帧类型信息项(FT)规定当前图像为内部编码图像(I),就把该当前图像编码为单向编码图像(P)。
11.如权利要求1至5中任一权利要求所述的方法,在该方法中,如果后面将在特定个数的图像之内进行内部编码,并且帧类型信息项(FT)规定当前图像为内部编码图像(I),就把该当前图像编码为单向编码图像(P)。
12.实现前述任一权利要求的方法的装置,包括:译码单元(32),译码图像序列中的编码图像,每一图像利用若干种帧类型(I、P、B)之一进行编码;处理单元(31),尤其在译码图像的编码或图像内容方面对译码图像进行处理;编码单元(33),重新编码被处理图像;存储器(30),缓冲存储译码的被处理图像;控制装置(37),如此地在重新编码期间控制编码单元,即在重新编码期间最好使用与起初编码所用的帧类型相同的帧类型,该装置的特征在于还包括存储装置(92),可以存储图像序列中的图像的各个原始帧类型,还在于包括另一存储装置(93),可以存储规定在哪幅图像之后进行景物的切换的切换信息项。
13.以权利要求1至11中任一权利要求所述的方法缓冲存储译码图像的装置,其特征在于包括存储装置(100),该存储装置(100)能够把帧类型信息项(FT)与每一译码图像一道进行存储,该帧类型信息项(FT)规定起初编码图像所根据的帧类型(FT)。
14.如权利要求13的装置,在该装置中还包括存储装置(101),该存储装置(101)能够存储规定在哪幅图像之后进行景物切换的切换信息项(SC)。
CN97121173A 1996-10-26 1997-10-24 处理数字编码图像的方法及装置和译码图像缓冲存储装置 Pending CN1182248A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19644650A DE19644650A1 (de) 1996-10-26 1996-10-26 Verfahren zur Bearbeitung von digital codierten Bildern einer Bildsequenz sowie Vorrichtung zur Durchführung des Verfahrens und Vorrichtung zur Zwischenspeicherung von decodierten Bildern
DE19644650.3 1996-10-26

Publications (1)

Publication Number Publication Date
CN1182248A true CN1182248A (zh) 1998-05-20

Family

ID=7810148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97121173A Pending CN1182248A (zh) 1996-10-26 1997-10-24 处理数字编码图像的方法及装置和译码图像缓冲存储装置

Country Status (4)

Country Link
EP (1) EP0838952A3 (zh)
JP (1) JPH10145740A (zh)
CN (1) CN1182248A (zh)
DE (1) DE19644650A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686184A (zh) * 2013-11-18 2014-03-26 深圳市云宙多媒体技术有限公司 一种转码中帧类别的调整方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19806913A1 (de) * 1998-02-19 1999-08-26 Cit Alcatel Verfahren zum Generieren einer Einsprungstelle in einen Bilddatenstrom und Vorrichtung zur Durchführung des Verfahrens
JP2002538645A (ja) * 1999-02-25 2002-11-12 アプライド マジック インコーポレイテッド テレビジョン、セットトップ・ボックスなどに統合された非直線マルチメディア編集システム
KR100669896B1 (ko) * 1999-11-10 2007-01-18 톰슨 라이센싱 Dvd 레코더를 위한 페이딩 특징
CN100377589C (zh) * 2005-04-07 2008-03-26 北京北大方正电子有限公司 一种视频文件快速生成的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3415685A1 (de) * 1984-04-27 1985-11-07 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt Verfahren zur szenenwechselerkennung in filmen und videoaufzeichnungen sowie zur ueberwachung von objekten mittels videokameras
JPH0851628A (ja) * 1994-08-05 1996-02-20 Kokusai Electric Co Ltd 動画像処理装置及びその制御方法及び動画像伝送システム
JP2882294B2 (ja) * 1994-11-14 1999-04-12 松下電器産業株式会社 映像信号符号化装置
US5561714A (en) * 1994-12-12 1996-10-01 Tektronix, Inc. Scrambling system for serial digital video
JP2823809B2 (ja) * 1995-01-26 1998-11-11 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像復号化方法及び画像復号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686184A (zh) * 2013-11-18 2014-03-26 深圳市云宙多媒体技术有限公司 一种转码中帧类别的调整方法和系统
CN103686184B (zh) * 2013-11-18 2017-05-17 深圳市云宙多媒体技术有限公司 一种转码中帧类别的调整方法和系统

Also Published As

Publication number Publication date
JPH10145740A (ja) 1998-05-29
EP0838952A2 (en) 1998-04-29
DE19644650A1 (de) 1998-04-30
EP0838952A3 (en) 2002-12-11

Similar Documents

Publication Publication Date Title
CN1060904C (zh) 图象处理装置及其方法
JP4196640B2 (ja) データ変換方法
KR100222012B1 (ko) 화상 데이타 편집 장치
US7313184B2 (en) Video data compression apparatus and method of same
EP0627853B1 (en) Picture reproduction apparatus and picture decoding apparatus
EP0664650A1 (en) Decoding method and apparatus
CN1726552A (zh) 对mpeg-2压缩视频产生编辑效果
EP0644691A2 (en) Compressed television signal recording and reproducing apparatus
CA2652187A1 (en) Video contents editing apparatus, controller and method
US6882687B2 (en) Compressed image data reproducing apparatus and method thereof
JP2776212B2 (ja) 符号記録装置
KR100539996B1 (ko) 데이터 기록 장치와 데이터 기록 방법 및 데이터 편집 장치와데이터 편집 방법
CN1182248A (zh) 处理数字编码图像的方法及装置和译码图像缓冲存储装置
EP0750430B1 (en) Recording and reproducing video data
KR100187349B1 (ko) 압축텔레비전신호기록재생장치
CN1193874A (zh) 数字信号再现方法和设备
EP0616467B1 (en) Video signal recording apparatus
CA2451997C (en) Modifying video signals by converting non-intra pictures
US7020382B2 (en) Modifying video by inserting shadow intra pictures
CN101193321B (zh) 编码设备、解码设备、记录设备、音频/视频数据传送系统
CA2206454A1 (en) Method and apparatus for coding digital video signals
US20040156619A1 (en) Recording and reproducing apparatus
US8149679B2 (en) Recording/reproducing device and method, recording medium, and program
US20020110367A1 (en) Recording device with a still picture record mode
JP3370659B1 (ja) 再生装置および再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication