CN102957911A - 视频处理装置及视频处理方法 - Google Patents

视频处理装置及视频处理方法 Download PDF

Info

Publication number
CN102957911A
CN102957911A CN2012102771391A CN201210277139A CN102957911A CN 102957911 A CN102957911 A CN 102957911A CN 2012102771391 A CN2012102771391 A CN 2012102771391A CN 201210277139 A CN201210277139 A CN 201210277139A CN 102957911 A CN102957911 A CN 102957911A
Authority
CN
China
Prior art keywords
frame
frames
picture
zone
coding region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102771391A
Other languages
English (en)
Inventor
陈威任
游雅惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/210,287 external-priority patent/US20110299591A1/en
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102957911A publication Critical patent/CN102957911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频处理装置。视频处理装置包括：解码器、控制器及显示设备。解码器是用来解码比特流，其中比特流包括多个帧，且各帧被分割为多个区域。控制器耦接至解码器，用以决定在多个帧中的当前帧的各区域是否为画面内编码区域、或是参考多个帧中可用的先前解码参考帧的区域的画面间编码区域。显示设备耦接至控制器，其中当该当前帧中的所有区域是画面内编码区域或参考可用的先前解码参考帧的区域的画面间编码区域，显示设备播放该多个帧中的该当前帧。通过本发明所提供的视频处理方法与视频处理装置可大幅减少切换频道及播放正确解码的帧之间的时间。

Description

视频处理装置及视频处理方法
技术领域
本发明是关于视频处理，更具体的，是关于能够在参考帧缺失时显示视频串流的视频处理装置及方法。
背景技术
视频系统实现了多种功能以方便的存储、处理或传输视频数据。例如，MPEG1/2/4和H.26x等视频编码标准用于实施视频数据压缩和解压缩，以提高存储容量和传输带宽。这些视频编码标准对具有一系列视频帧的视频数据采用基于块（block）的压缩，基于较前的视频帧对较后的视频帧进行编码。具体而言，视频数据压缩是通过减少帧之间的时间冗余（temporal redundancies）和单一帧内部的空间冗余（spatial redundancies）来实现的。同时还可实施例如离散余弦切换(DCT)和运动补偿等压缩技术，以产生具有相对较高压缩率的标准兼容(compliant)比特流。因此，比特流可以有效率且标准化的方式进行传输和存储。
但由于视频编码标准的特性，当压缩或传输期间比特流引入不希望或不可复原的错误时，由于较前的视频帧缺少(absent)或不可用，较后的视频帧可能解码错误。典型情况下，参考该缺少或不可用的较前视频帧进行编码的较后视频帧会被跳过不显示。这种不希望的帧跳过显示可引起突发场景变化或场景移动不连续，导致使用者观看体验不佳。
因此，需要一种用于视频处理装置的视频处理方法，能够在参考帧缺少或不可用的情况下处理并且平滑显示视频帧。
发明内容
藉此，本申请提供一种视频处理方法与视频处理装置。
本发明提供一种视频处理方法。该方法包括下列步骤：解码比特流，其中比特流包括多个帧，且各帧被分割为多个区域；决定在多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中可用的先前解码参考帧的区域的画面间编码区域；以及当该当前帧中的所有区域是画面内编码区域或参考可用的先前解码参考帧的区域的画面间编码区域，播放当前帧。
本发明更提供一种视频处理装置，包括：解码器，用以解码比特流，其中比特流包括多个帧，且该多个帧中每一个被分割为多个区域；控制器，耦接至解码器，用以决定当前帧的各区域是否为画面内编码区域或是参考该多个帧中可用的先前解码参考帧的区域的画面间编码区域；以及显示设备，耦接至控制器，其中当该当前帧中的所有区域是为画面内编码区域或参考可用的先前解码参考帧的区域的画面间编码区域，显示设备播放当前帧。
本发明另提供一种视频处理方法，包括：解码比特流，其中比特流包括多个帧，且每一帧被分割为多个区域；决定在多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中先前解码参考帧的可用的区域的画面间编码区域；以及当该当前帧中的所有区域是画面内编码区域或参考先前解码参考帧的可用的区域的画面间编码区域时，播放当前帧。
本发明又提供一种视频处理装置，包括：解码器，用以解码比特流，其中比特流包括多个帧，且每一帧被分割为多个区域；控制器，耦接至解码器，用以决定在多个帧中的当前帧的各区域是否为画面内编码区域或是参考多个帧中先前解码参考帧的可用的区域的画面间编码区域；以及显示设备，耦接至控制器，其中当该当前帧中的所有区域是画面内编码区域或参考该先前解码参考帧的可用的区域的画面间编码区域时，显示设备显示该当前帧。
通过本发明所提供的视频处理方法与视频处理装置可大幅减少切换频道及播放正确解码的帧之间的时间。
附图说明
图1是依据本发明一个实施方式的视频处理装置10的方块示意图。
图2A是解码顺序下GOP的示意图。
图2B是显示顺序下GOP的示意图。
图3是依据本发明一实施方式中缺少参考帧时处理比特流108的示意图。
图4是依据本发明另一实施方式中缺少参考帧时处理比特流408的示意图。
图5是显示依据本发明一实施方式的视频处理方法50的流程图。
图6是显示依据本发明另一实施方式的视频处理方法60的流程图。
图7A是显示在ITU-T H.264比特流中的多个参考帧的示意图
图7B是显示依据本发明实施方式中的在ITU-T H.264比特流中的当前帧的像素屏蔽的示意图。
图7C是显示依据本发明另一实施方式中在ITU-T H.264比特流中具有多个参考帧的当前帧的像素屏蔽值的示意图。
图8是显示依据本发明又一实施方式的视频处理方法80的流程图。
具体实施方式
在说明书及后续的申请专利范围当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及后续的申请专利范围并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的“包括”和“包含”是开放式的用语，故应解释成“包含但不限定于”。以外，“耦接”一词在此是包含任何直接及间接的电气连接手段。间接的电气连接手段包括通过其他装置进行连接。
图1是视频处理装置10的一个实施方式的方块示意图。如图1所示，视频处理装置10包含解码器102、控制器104和显示设备106。解码器102接收比特流108并解码。如图2A、2B所示，根据其中一个实施方式，比特流108是具有多个画面组(Group Of Pictures,GOP)的MPEG编码比特流。
图2A是解码顺序下GOP的示意图，图2B是显示顺序下GOP的示意图。
参考图2A、2B，有两组GOP：GOP0和GOP1。每个GOP包含帧序列，例如GOP0以画面内编码帧（I帧）I0开始，随后排列预测编码帧（P帧）P0、P1和双向预测编码帧（B帧）B0、B1、B2、B3。画面内编码帧I帧编码时不参考其它帧。预测编码帧P帧时间参考(temporal reference)先前的I帧或P帧进行编码。通常，I帧和P帧称为参考帧，用于定义解码顺序下的未来（较后的）帧。双向预测编码帧B帧参考同一GOP内先前和之后的I帧和P帧进行编码。请注意，对于如图2A所示解码顺序下的当前GOP1，其中的第一个B帧B4（B4紧随当前GOP的第一个I帧I1）也可以参考先前的GOP0中的一些帧。此时，GOP1的标头(header)中会使用旗标Close_GOP，指示B帧的编码前向参考(forwardreference)了先前GOP0的帧。进一步，每一帧（例如I帧I0）分为多个切片(slice)，例如切片Sn。每个切片包含多个宏块(MacroBlock,MB)。每个MB表示一组像素，例如8x8、8x16、16x8、16x16块。8x8块可再划分(sub-partition)为4x4、4x8或8x4大小的块。
如图2A、2B所示，比特流108的解码顺序不同于显示顺序。图2A中，GOP0、GOP1由图1解码器102解码的解码顺序是“I0,P0,B0,B1,P1,B2,B3,I1,B4,B5,P2,B6,B7”，而图2B中，GOP0、GOP1由图1显示器106显示的顺序是“I0,B0,B1,P0,B2,B3,P1,B4,B5,I1,B6,B7,P2”。如上所述，解码P帧或B帧可能需要较前的参考帧解码时所导出的已解码数据。当P帧或B帧所参考的较前参考帧缺少或无效时，较后的P帧或B帧就不能解码。
图3是缺少参考帧时处理比特流108的一个实施方式的示意图。参考图1、3，假设由于缺少GOP0而缺少P帧P1。一个实施方式中，在切换新频道时，与新频道关联的GOP0不一定能被解码器102接收到，从而使P帧P1缺少。另一实施方式中，若GOP0存储在存储媒体（例如盘片）的缺陷区，GOP0也可能对解码器102不可用，导致缺少P帧P1。
如图3箭头302、304所示，耦接于解码器102的控制器104随后确定GOP1的两个B帧B4、B5中是否有宏块(MB)前向参考了先前的GOP0。在一些实施方式中，两个B帧B4、B5可能对标志(logo)或关键帧很重要。
依据上述可知，在图2A所示的解码顺序下，由于要显示的两个B帧B4、B5紧随I帧I1之后，可直接用旗标Close_GOP确定B帧B4、B5是否为画面内编码或者是否只利用后向参考帧进行编码。但由于旗标Close_GOP可在编码过程后发生的任意编辑期间(editing period)设定，可能造成旗标Close_GOP使用不可信。
因此，控制器104也可不使用旗标Close_GOP，而是根据在B帧B4、B5编码中的特定信息来指示所用参考帧，以确定B帧B4、B5是否参考GOP0的P帧P1。例如，特定信息可以是用于指示所用参考帧的运动向量信息。
若控制器104确定较后的GOP1中两个B帧B4、B5没有MB前向参考较前的GOP0（例如参考P帧P1），则耦接控制器104的显示设备106显示可正确解码的两个B帧B4、B5。
否则，控制器104对于参考了缺少的前向参考帧P1的两个B帧B4、B5跳过不显示，因此显示器106可避免显示错误解码的B帧B4、B5。
图4是缺少参考帧时另一实施方式处理比特流408的示意图。
典型的，当用户开始切换频道时，图1所示解码器102直到识别出下一个I帧或下一个GOP边界才能开始解码比特流408。但参考图4，若缺少I帧I0（图未示）的当前GOP0数据量较大，等待下一I帧（即I1）或下一GOP边界（即GOP1）的时间也相应较长，因此大大增加了频道切换时间或延迟。进一步，当切换频道时，欲观看的频道显示黑色或呈现扭曲帧（解码器102错误解码的帧）直到下一I帧I1可用，破坏了使用者的视频观看体验。
因此，根据本发明的一个实施方式，在接收下一I帧I1之前，控制器104可利用当前GOP0的一些有用信息来消除上述缺陷。
更具体的，如图4所示，切换频道时解码器102开始接收与欲观看频道相关联的新比特流408。请注意，假设与欲观看频道相关联的新比特流408缺少GOP0在P帧P52之前的帧。
在运作中，控制器104确定当前要显示的帧（例如GOP0的P帧P52）是否有MB前向参考了缺少的帧，例如GOP0的P帧P51。
若控制器104确定P帧P52中没有MB前向参考缺少的P帧P51（也就是说，P帧P52的所有MB都是画面内编码），显示设备106就显示P帧P52，用户切换频道时可无延迟的观看正确解码的P帧P52。
另外，若确定P帧P52的一部分MB参考缺少的P帧P51（如箭头402所示），就确定其余MB R1为画面内编码。由于前向参考了缺少的P帧P51，P帧P52的画面间编码MB可能解码错误。但P帧P52的画面内编码MB R1可正确解码。控制器104确定P帧P52后续的P帧P53中的画面内编码MB R2。另外，如箭头404所示，解码P帧P53可能需要画面内编码MB R1解码中导出的一些MB信息。类似的，控制器104确定紧随P帧P53其后的P帧P54中的画面内编码MB R3和画面间编码MB。详细而言，解码画面内编码MB R1和R2所导出的MB信息获取后进行整合，以解码P帧P54中的画面间编码MB。所以，从P帧P54的画面内编码MB R3和画面间编码MB所导出的MB信息对解码器102都是可用的，从而建立(establish)所需帧（即P帧P54）空间对应(spatiallycorresponded)的MB。
在图4的实施方式中，控制器104根据分别来自P帧P52、P53、P54的画面内编码MB R1、R2、R3获取所需P帧P54的MB信息，从而建立所需P帧P54。进一步，获取画面内编码MB R1、R2、R3导出的MB信息并进行整合，以解码P帧P53、P54的其他画面间编码MB。建立所需帧空间对应MB的过程重复进行，直到获取到所需P帧P54全部MB的MB信息。请注意，P帧P52、P53、P54是同一GOP内的接续帧。因此，显示设备106显示所需P帧P54而非下一I帧I1，由此减小了切换频道的延迟。注意到本发明的一个实施方式中，显示设备106可显示所需P帧P54的一部分，在所需P帧P54中只有该部分MB是根据上述运作方法和设计需要来获得的。所以，并不必须重复该运作直到获取到所需帧的所有MB。
进一步，请注意上述实施方式可应用至基于MB的任何解码方式。
图5是视频处理方法50一个实施方式的流程图，视频处理方法50由图1所示的视频处理装置10实施。
视频处理方法50开始时，解码器102接收并解码比特流108（步骤S502）。比特流108包含多个GOP，每个GOP包含帧序列，如图2A、2B所示。接着，确定要显示的当前GOP的当前帧是否有MB前向参考了先前GOP的帧（步骤S504）。例如，控制器104确定GOP1的B帧B4是否有MB前向参考了GOP0中缺少的P帧P1，如图3箭头302所示。请注意，确定过程已经在图3实施方式中详细描述，此处不再重复。
若当前帧没有MB前向参考了先前GOP的缺少帧，则显示设备106显示当前GOP的当前帧（步骤S506）。例如图3所示，若GOP1的B帧B4编码只后向参考I帧I1，显示设备106则显示正确解码的B帧B4。另外，若当前GOP的当前帧（例如GOP1的B帧B4）有MB前向参考了先前GOP的缺少帧（例如GOP0的缺少P帧P1，如图3箭头302所示），则跳过或丢弃当前帧，不显示在显示设备106（步骤S508）。
图6是另一实施方式视频处理方法60的流程图，视频处理方法60由图1所示的视频处理装置10实施。
视频处理方法60开始时，解码器102接收并解码比特流108（步骤S602）。在此示例实施方式中，比特流108包含多个GOP，每个GOP包含帧序列，如图2A、2B所示。
接着，确定要显示的当前GOP的当前帧是否有MB前向参考了当前GOP的先前帧（步骤S604）。如图4箭头402所示，控制器104确定GOP0的P帧P52是否参考了GOP0中缺少的P帧P51。
若当前GOP的当前帧没有MB前向参考了当前GOP的先前帧，则当前帧可能由画面内编码MB组成。此外例如，若当前帧是P帧，且其中没有MB前向参考了当前GOP的先前帧，则该P帧可正确地被解码。由于当前帧的所有画面内编码MB都可用，显示设备106就显示当前帧（步骤S610）。
否则，若当前GOP的当前帧有MB前向参考了当前GOP的先前帧，则确定当前帧至少部分由画面间编码MB组成。参考图4，当前P帧P52具有画面内编码MB R1。另外，当前P帧P52的其余MB是前向参考缺少的P帧P51进行画面间编码。此时，控制器104根据当前帧的画面内编码MB获取所需帧的MB信息，从而建立所需帧。更具体的，控制器104获取并整合分别来自一组接续帧（例如P帧P52、P53、P54）的MB信息，以获得所需帧的完整MB信息（也就是获取所需帧所有MB的MB信息），从而建立所需帧（步骤S612）。请注意，建立所需帧的过程已在第1、4图的实施方式中描述过，此处为简洁省略进一步描述。最后，所需帧显示在显示设备106（步骤S614）。
在另一实施方式中，视频处理装置10更可将视讯流解码为不同的编解码格式(例如：MPEG1/2/4、ITU-T H.264等等，但不限于此)。相较于MPEG2格式的细微度是建立在帧层级(frame level)，ITU-T H.264格式的细微度(granularity)是可建立在切片层级(slice level)。在一个实施方式中，当比特流708(如第7B、7C图所示)是ITU-T H.264格式，在比特流708中的多个帧的每一者可分割为多个区域、宏块或切片，例如是I切片(画面内编码切片)、P切片(预测编码切片)及B切片(双向预测编码切片)等等，其中各个P切片及B切片具有其参考列表(例如P切片的参考列表0、B切片的参考列表0及1)用以进行帧间预测(inter-frameprediction)。ITU-T H.264标准更支持实时解码更新帧(instantaneous decodingrefresh frame,IDR帧)，其中该IDR帧是为I帧的一种。当IDR帧出现在比特流708中，其表示这是一个新编码的比特流的开始点，且在该IDR帧被解码后，所有的参考帧均立即被标示为“未用于参考(unused for reference)”。换句话说，在ITU-T H.264比特流中的IDR帧是类似于MPEG2比特流中的Close_GOP旗标。然而，当用户切换实时DTV频道，在短时间内可能不会接收到IDR帧或是I帧，且在部分ITU-T H.264比特流中也没有IDR帧。一般来说，有两种传统方法来解决此问题。在第一种方法中，可设定过期时间(timeout period)以强制控制器104输出视频。在第二种方法中，不输出视频直到找到具有正确参考列表的帧(意即在参考列表中的所有参考帧均可用(available)或是已正确解码)。因此，这两个传统方法无法大幅减少切换DTV频道及输出视频之间的时间。
图7A是显示在ITU-T H.264比特流中的多个参考帧的示意图。举例来说，帧710是为当前帧(current frame)，且帧711、712、713及714是为先前解码帧(previously decoded frames)以供当前帧710参考(意即帧711～714为先前解码参考帧)。更详细而言，预测编码切片(P切片)或双向预测编码切片(B切片)可具有一个以上的参考帧。P切片720是前向参考(forward reference)先前编码帧712中的P切片723，且B切片721是分别前向参考先前编码帧711及714中的P切片722及724。
图7B是显示依据本发明实施方式中的在ITU-T H.264比特流中的当前帧的像素屏蔽(pixel mask)的示意图。图7B所示的比特流包含帧715、716…735。如图7B所示，各P帧是可分割为多个区域，其中各区域是具有可变区块尺寸(variable block size)，例如是区块(例如尺寸为16x8、8x16、8x4或4x8)、宏块(例如尺寸为16x16、8x8或4x4)、切片或帧。使用像素屏蔽值(例如1位旗标)来标示当前帧中的各区域，藉以代表该区域的参考状态(reference status)。举例来说，区域730及733是为P切片，并且参考缺少的帧716(不可用的帧、或不正确地解码的帧)，且区域731及732是为画面内编码切片(例如I切片)。然而，当使用者在帧716及717之间开始切换DTV频道，在DTV频道改变后的当前帧(例如帧717)并无法参考在DTV频道切换前的先前解码帧。
图7C是显示依据本发明另一实施方式中在一ITU-T H.264比特流中具有多个参考帧的当前帧的像素屏蔽值。由于ITU-T H.264标准是支持「多参考帧的移动补偿(multiple reference frame motion compensation)」，P切片及B切片是参考多个先前解码帧以作为其参考帧。举例来说，如图7C所示，在帧743中的区域734是为参考先前解码帧740、741及742的B切片。然而，因DTV频道切换的缘故而假设帧740及741缺少(absent)。在另一实施方式中，当由一个DTV频道切换至另一新DTV频道时，与先前DTV频道有关的帧不被解码器102所接收，因此会造成帧740及741缺少。在另一实施方式中，若当前帧为帧742，且先前解码帧740及741是存储于存储媒体(例如：磁盘)中的缺陷区域(defectivearea)，对于解码器102来说，先前解码帧740及741变成不可用(unavailable)，即帧740及741会变成缺少(absent)。更详细而言，下一IDR帧的等待时间会很长，因此会大幅增加切换频道的时间或延迟。更进一步而言，当切换另一DTV频道时，欲观赏的DTV频道会显示黑色或呈现扭曲的帧(即错误地由解码器102所解码产生)，直到下一IDR帧或I帧可用为止。
在另一实施方式中，当切换另一DTV频道时，当前帧(例如帧742)中的各像素屏蔽值被初始化为0。当一个区域是画面内编码区块或切片、或是参考先前帧中具有像素屏蔽值1(即可用，例如画面内编码或参考可用的宏块/切片/帧从而可正确地解码)的另一区域的画面间编码区域时，该区域的像素屏蔽值被标示为1。否则该区域的像素屏蔽值是保持为0。像素屏蔽值1是表示该区域是处于“已备妥(ready)”状态，因为该区域是为画面内编码宏块/切片、或是参考具有“已备妥”状态(即可用)的相关宏块/切片/帧的一画面间编码区域。相对而言，像素屏蔽值0是表示该区域是处于“未备妥”状态(即不可用，例如参考不可用的宏块/切片/帧)，因为该区域是为参考具有“未备妥”状态的其他宏块/切片的一画面间编码宏块/切片。在一个实施方式中，请参考图7B，在帧717中的区域732是画面内编码切片，且其未参考不同于区域732的其他切片，因此区域732的像素屏蔽值是由解码器102更新为1。更进一步而言，区域730是参考帧716，帧716是在切换至一个新频道前的先前解码帧，因此帧716对于区域730来说是不可使用的参考帧或是不可用的帧。因此，区域730的像素屏蔽值是保持在0。
在处理完当前帧中的各分割区域后，可取得各分割区域的像素屏蔽值(例如：参考状态)，因此控制器104是可决定是否要播放当前帧。在一个实施方式中，当当前帧中的所有像素屏蔽值均被标示为“已备妥”(即：像素屏蔽值为1)时，解码器102是传送当前帧至控制器104，且控制器104开始在显示设备106上播放当前帧。相对而言，当当前帧中的任一像素屏蔽值被标示为“未备妥”(即像素屏蔽值为0)时，控制器104会忽略并且不显示当前帧，因此显示设备106不会播放错误解码的当前帧。总结来说，解码器102永远解码当前帧，且控制器104是依据当前帧的像素屏蔽值来决定是否要播放当前帧。
在另一实施方式中，各分割区域是具有其参考列表(例如P切片的参考列表0、B切片的参考列表0及1)。解码器102更决定当前帧中的各切片中在参考列表里面的所有参考帧是否可用，且当当前帧中的参考列表里面的所有参考帧均可用时，控制器104开始播放当前帧。举例来说，图7C中帧744及745的参考列表中的所有参考帧均可用，且控制器104开始播放帧744及745。
图8是显示依据本发明另一实施方式中依据图1中的视频处理装置10所执行的视频处理方法80的流程图。
当视频处理装置10开始执行视频处理方法80，解码器102是接收并解码比特流708。比特流708是包括多个帧，且在该多个帧中的当前帧是被分割为多个区域(步骤S802)，如第7B及7C图所示。接着，各区域均被指派像素屏蔽值0，用以表示其参考状态，即所有区域在一开始均处于“未备妥”状态(步骤S804)。更进一步而言，解码器102决定目前处理的区域是否为画面内编码区域或是参考具有“已备妥”状态(即像素屏蔽值为1)的相关区域的画面间编码区域(步骤S806)。若该区域是为画面内编码区域或是参考具有已备妥状态的画面间编码区域，解码器102是将该区域的像素屏蔽值更新为1(步骤S808)。否则，解码器102是将该区域的像素屏蔽值保持在0(步骤S810)。在执行完步骤S808或S810之后，解码器102是决定当前帧中的所有区域是否已处理完毕(步骤S812)。若所有区域尚未处理完毕，解码器102是回到步骤S806。若所有区域已处理完毕，解码器102更检查当前帧中的所有像素屏蔽值是否被标示为1(步骤S814)。若是，控制器104是在显示设备106上播放解码后的当前帧(步骤S816)。若否，解码后的当前帧会被忽略，并且控制器104也不会在显示设备106上播放解码后的当前帧(步骤S818)。需注意的是，当在切换DTV频道后没有找到IDR帧或是I帧，通过本发明所提供的视频处理方法80可大幅减少切换DTV频道及播放正确解码的帧之间的时间。
在另一实施方式中，当视频处理装置10开始执行视频处理方法时，解码器102决定目前处理的区域是否为画面内编码区域或是参考可用的先前解码帧中的区域的画面间编码区域。若该区域是为画面内编码区域或是参考可用的先前解码帧中的区域的画面间编码区域，解码器102是将该区域的像素屏蔽值更新为1。否则，解码器102是将该区域的像素屏蔽值保持在0。
以上所述仅为本发明的较佳实施方式，凡依本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (20)

1.一种视频处理方法，包括：
解码比特流，其中该比特流包括多个帧，且每一帧被分割为多个区域；
决定在该多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中可用的先前解码参考帧的区域的一画面间编码区域；以及
当该当前帧中的所有区域是为该画面内编码区域或参考可用的该先前解码参考帧的区域的该画面间编码区域时，播放该当前帧。
2.根据权利要求1所述的视频处理方法，其特征在于，在该决定步骤之前，该视频处理方法更包括：
将该当前帧中的各区域的像素屏蔽值指派为0。
3.根据权利要求2所述的视频处理方法，其特征在于，该决定步骤更包括：
当该当前帧中的各区域是该画面内编码区域或参考该多个帧中可用的该先前解码参考帧的该画面间编码区域时，将该区域的该像素屏蔽值更新为1。
4.根据权利要求1所述的视频处理方法，其特征在于，更包括：
当该当前帧具有参考该多个帧中的该先前解码参考帧的区域且该先前解码参考帧缺少时，忽略该多个帧中的该当前帧的播放。
5.根据权利要求4所述的视频处理方法，其特征在于，各区域是画面内编码切片、画面间编码切片、或在该画面内编码切片或该画面间编码切片中的区块。
6.根据权利要求1所述的视频处理方法，其特征在于，当该多个区域是该多个画面间编码区域时，各区域包括具有至少一个参考帧的至少一个参考列表，且该方法更包括：
当该当前帧中的所有画面间编码区域的该多个参考列表中的该多个参考帧均为可用时，播放该多个帧中的该当前帧。
7.根据权利要求1所述的视频处理方法，其特征在于，该比特流是ITU-TH.264编码比特流。
8.一种视频处理装置，包括：
解码器，用以解码比特流，其中该比特流包括多个帧，且该多个帧中的每一个被分割为多个区域；
控制器，耦接至该解码器，用以决定在该多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中可用的先前解码参考帧的区域的画面间编码区域；以及
显示设备，耦接至该控制器，其中当该当前帧中的所有区域是该等画面内编码区域或参考可用的该先前解码参考帧的区域的该画面间编码区域时，该显示设备显示该多个帧中的该当前帧。
9.根据权利要求8所述的视频处理装置，其特征在于，在该控制器决定在该多个帧中的该当前帧的各区域是否为该画面内编码区域或是参考该多个帧中可用的该先前解码参考帧的区域的该画面间编码区域之前，该控制器更将该区域的像素屏蔽值指派为0。
10.根据权利要求9所述的视频处理装置，其特征在于，当该当前帧中的各区域是该画面内编码区域或参考该多个帧中可用的该先前解码参考帧的该画面间编码区域时，该控制器更将该区域的该像素屏蔽值更新为1。
11.根据权利要求10所述的视频处理装置，其特征在于，当该当前帧具有参考该多个帧中的该先前解码参考帧的区域且该先前解码参考帧缺少时，该控制器更忽略该多个帧中的该当前帧的播放。
12.根据权利要求11所述的视频处理装置，其特征在于，各区域是画面内编码切片、画面间编码切片、或在该画面内编码切片或该画面间编码切片中的区块。
13.根据权利要求8所述的视频处理装置，其特征在于，当该多个区域是该等画面间编码区域时，各区域是包括具有至少一个参考帧的至少一个参考列表，其中当该当前帧中的所有画面间编码区域的该多个参考列表中的该多个参考帧均为可用时，该控制器更控制该显示设备显示该等帧中的该当前帧。
14.根据权利要求8所述的视频处理装置，其特征在于，该比特流是ITU-TH.264编码比特流。
15.一种视频处理方法，包括：
解码比特流，其中该比特流包括多个帧，且每一帧被分割为多个区域；
决定在该多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中先前解码参考帧的可用的区域的画面间编码区域；以及
当该当前帧中的所有区域是该画面内编码区域或参考该先前解码参考帧的可用的区域的该画面间编码区域时，播放该当前帧。
16.根据权利要求15所述的视频处理方法，其特征在于，更包括：
当该当前帧具有参考该多个帧中的该先前解码参考帧的该区域且该先前解码参考帧的该区域不可用时，忽略该多个帧中的该当前帧的播放。
17.根据权利要求15所述的视频处理方法，其特征在于，该比特流是ITU-TH.264编码比特流。
18.一种视频处理装置，包括：
解码器，用以解码比特流，其中该比特流包括多个帧，且该多个帧中的每一個被分割为多个区域；
控制器，耦接至该解码器，用以决定在该多个帧中的当前帧的各区域是否为画面内编码区域或是参考该多个帧中先前解码参考帧的可用的区域的画面间编码区域；以及
显示设备，耦接至该控制器，其中当该当前帧中的所有区域是画面内编码区域或参考该先前解码参考帧的可用的区域的画面间编码区域时，该显示设备显示该当前帧。
19.根据权利要求18所述的视频处理装置，其特征在于，当该当前帧具有参考该多个帧中的该先前解码参考帧的区域且该先前解码参考帧的该区域不可用时，该控制器更忽略该等帧中的该当前帧的播放。
20.根据权利要求18所述的视频处理装置，其特征在于，该比特流是ITU-TH.264编码比特流。
CN2012102771391A 2011-08-15 2012-08-06 视频处理装置及视频处理方法 Pending CN102957911A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/210,287 US20110299591A1 (en) 2009-09-21 2011-08-15 Video processing apparatus and method
US13/210,287 2011-08-15

Publications (1)

Publication Number Publication Date
CN102957911A true CN102957911A (zh) 2013-03-06

Family

ID=44509036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102771391A Pending CN102957911A (zh) 2011-08-15 2012-08-06 视频处理装置及视频处理方法

Country Status (3)

Country Link
EP (1) EP2560386A1 (zh)
CN (1) CN102957911A (zh)
TW (1) TW201308993A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919812A (zh) * 2013-11-25 2015-09-16 华为技术有限公司 处理视频的设备和方法
CN107925759A (zh) * 2015-06-05 2018-04-17 英迪股份有限公司 用于编码和解码帧内预测的方法和设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538137B2 (en) 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
CN101310535A (zh) * 2005-09-27 2008-11-19 高通股份有限公司 用于渐进式信道切换的方法和设备
CN101375535A (zh) * 2005-12-29 2009-02-25 诺基亚公司 调谐时间减少
CN102025982A (zh) * 2009-09-21 2011-04-20 联发科技股份有限公司 视频处理装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337244B2 (ja) * 2000-07-25 2009-09-30 ソニー株式会社 Ｍｐｅｇ画像ストリームのデコード装置およびデコード方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
CN101310535A (zh) * 2005-09-27 2008-11-19 高通股份有限公司 用于渐进式信道切换的方法和设备
CN101375535A (zh) * 2005-12-29 2009-02-25 诺基亚公司 调谐时间减少
CN102025982A (zh) * 2009-09-21 2011-04-20 联发科技股份有限公司 视频处理装置及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919812A (zh) * 2013-11-25 2015-09-16 华为技术有限公司 处理视频的设备和方法
CN104919812B (zh) * 2013-11-25 2018-03-06 华为技术有限公司 处理视频的设备和方法
CN107925759A (zh) * 2015-06-05 2018-04-17 英迪股份有限公司 用于编码和解码帧内预测的方法和设备
CN107925759B (zh) * 2015-06-05 2022-06-03 杜比实验室特许公司 用于编码和解码帧内预测的方法和设备
US11368675B2 (en) 2015-06-05 2022-06-21 Dolby Laboratories Licensing Corporation Method and device for encoding and decoding intra-frame prediction

Also Published As

Publication number Publication date
EP2560386A1 (en) 2013-02-20
TW201308993A (zh) 2013-02-16

Similar Documents

Publication Publication Date Title
JP4534935B2 (ja) トランスコーダ、記録装置及びトランスコード方法
CN104902274A (zh) 视频处理装置及方法
EP1549064B1 (en) Signaling valid entry points in a video stream
JP2004254327A (ja) 画像符号化方法および画像復号化方法
CN101605255A (zh) 一种视频编解码的方法及装置
US8054887B2 (en) Method and apparatus for encoding a picture sequence using predicted and non-predicted pictures which each include multiple macroblocks
EP1713280A2 (en) Scalable video coding
CN101663892A (zh) 数字多媒体信道切换
CN102438139A (zh) 本地宏块信息缓冲器
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
KR19990007312A (ko) 디지털 신호 부호화 방법 및 장치, 신호 기록 매체 및 신호 전송 방법
KR20020065311A (ko) 동화상 데이터의 기록 재생방법 및 장치
CN102957911A (zh) 视频处理装置及视频处理方法
KR100289856B1 (ko) 화상 신호 재생 방법 및 화상 신호 재생 장치
CN102256115B (zh) 数字视频录像机在低带宽条件下的视频监控方法及其装置
JP2008301335A (ja) 映像信号切替装置
Pettersson et al. Dependent random access point pictures in HEVC
EP1096804A2 (en) Video decoding method, video decoding apparatus, and program storage media
TW201440500A (zh) 影像處理裝置及方法
JP2003087668A (ja) デジタル放送受信方法およびデジタル放送受信装置
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
JP5240230B2 (ja) トランスコーダ、記録装置及びトランスコード方法
US20110299591A1 (en) Video processing apparatus and method
JP2004064746A (ja) 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置
JP2002057986A (ja) 復号装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130306