CN103907351B - 参考画面标记 - Google Patents

参考画面标记 Download PDF

Info

Publication number
CN103907351B
CN103907351B CN201280052405.9A CN201280052405A CN103907351B CN 103907351 B CN103907351 B CN 103907351B CN 201280052405 A CN201280052405 A CN 201280052405A CN 103907351 B CN103907351 B CN 103907351B
Authority
CN
China
Prior art keywords
reference picture
picture
decoded
buffering area
poc values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280052405.9A
Other languages
English (en)
Other versions
CN103907351A (zh
Inventor
乔纳坦·萨缪尔森
理卡尔德·肖伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson Co ltd
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47190107&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103907351(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103907351A publication Critical patent/CN103907351A/zh
Application granted granted Critical
Publication of CN103907351B publication Critical patent/CN103907351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的目的是实现改进的参考画面处理。这是通过当接收到参考画面集合的信息时，在确定应当如何对解码画面缓冲区中的参考画面进行标记时，通过考虑解码画面缓冲区中的参考画面是长期参考画面还是短期参考画面来实现的。取决于参考画面作为短期画面还是作为长期画面被包括在当前画面的RPS中，参考画面在解码画面缓冲区(DPB)中被标记为“用于短期参考”或“用于长期参考”。

Description

参考画面标记
技术领域
本发明的实施例涉及用于管理参考画面的编码器和解码器及其方法，所述参考画面用于对视频序列的画面的编码表示进行解码。
背景技术
高效视频编码(HEVC)是联合协作小组-视频编码(JCT-VC)当前正在开发的新的视频编码标准。JCT-VC是移动画面专家组(MPEG)和国际电信联盟-电信标准部(ITU-T)之间的协作项目。当前，已经定义了包括多个新工具的HEVC模型(HM)，并且HEVC模型(HM)比H.264/高级视频编码(AVC)更高效。
HEVC中的画面被划分为一片或更多片，其中，每一片是画面的独立可解码部分。这意味着，如果缺少一片(例如在传输期间丢失)，仍可以对该画面的其他片进行正确解码。为了使片独立，它们不互相依赖。不需要相同画面的另一片的比特流要素对特定片的任意要素进行解码。
每片包含片首部，片首部独立地提供可以对该片独立地进行解码的所有必需数据。在片首部中存在的数据要素的一个示例是片地址，片地址用于使解码器知道该片的空间位置。另一示例是缓冲区描述(还被称为参考画面集合)，缓冲区描述包含当对画面进行解码时要使用哪个参考画面的信息。然而，这些仅是片首部中数据要素的示例。
HEVC具有用于处理参考画面的机制。参考画面是用于当前画面解码的先前已解码的画面。解码画面缓冲区(DPB)包含解码器已解码的画面。HEVC中的参考画面是解码画面缓冲区(DPB)中通过被标记为“用于参考”而可用于参考的画面。在DPB中还可能存在被标记为“不可用于参考”的画面，这些画面不可用于参考，因此不是参考画面。
HEVC使用参考画面的绝对信令。绝对信令是通过发信号通知在解码器处保存哪些参考画面来实现的。该信令是在缓冲区描述(还被称为参考画面集合(RPS))中显式地针对每个画面或通过使用对序列参数集合(SPS)的参考来完成的。RPS还包含哪些画面可用于由当前画面参考的指示。指示当前画面要使用的参考画面被包括在解码器的参考列表中。然后，参考画面列表被用在当前画面的当前片的解码处理中。
RPS中的每个参考画面被标识为短期画面或长期画面。在RPS中通过发送两个分离的集合(一个集合具有所有短期参考画面，一个集合具有所有长期参考画面)来发信号通知参考画面是短期参考画面还是长期参考画面的信息。备选设计将是发送单个集合并针对每个要素利用标志指示其是长期参考画面还是短期参考画面。
在HEVC中使用画面顺序计数(POC)来定义画面输出顺序(或显示顺序)，并还对参考画面进行标识。针对RPS中的每个参考画面发信号通知用于导出POC的语法要素。对于短期参考画面，RPS中的POC值必须与该RPS中的POC值所指代的参考画面的片首部中所发信号通知的POC值完全相同。对于长期参考画面，存在两个选项：RPS中的POC值与该RPS中的POC值所指代的参考画面的片首部中所发信号通知的POC值完全相同，或RPS中的POC值是使得参考画面可被唯一地标识的该RPS中的POC值所指代的参考画面的片首部中所发信号通知的POC值的较短表示(亦称为画面顺序计数值的最低有效位或POC_LSB)。仅当在DPB中仅存在具有特定POC LSB的一个画面时允许后者。对于长期参考画面，术语“对应于”用于表示使用上述两个选项中任意一个选项的参考画面的标识。
当最初提议在HEVC中包括缓冲区描述时，提案包括标记处理，执行该标记处理使得：在当前画面的解码之前，在DPB中但在RPS中不包括的参考画面被标记为“不用于参考”。输出处理也是在当前画面的解码之前执行的。
发明内容
本发明的目的是实现改进的参考画面处理。这是通过当接收到参考画面集合的信息时，在确定应当如何对解码画面缓冲区中的参考画面进行标记时，通过考虑解码画面缓冲区中的参考画面是长期参考画面还是短期参考画面来实现的。取决于参考画面作为短期画面还是作为长期画面被包括在当前画面的RPS中，参考画面在解码画面缓冲区(DPB)中被标记为“用于短期参考”或“用于长期参考”。
根据实施例的第一方面，提供了一种由解码器执行的用于管理参考画面的方法，所述参考画面用于对视频序列的画面的编码表示进行解码。在所述方法中，对从编码器接收的参考画面集合进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的参考画面的信息。对参考画面集合中所指示的POC值进行解码，并确定所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面。如果所述参考画面集合中所指示的所述POC值对应于长期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，将所述长期参考画面保存在解码画面缓冲区中作为长期参考画面，
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将解码画面缓冲区中的短期参考画面标记为长期参考画面，并将其保存在解码画面缓冲区中；
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述短期参考画面保存在所述解码画面缓冲区中作为短期参考画面。
根据实施例的第二方面，提供了一种解码器，用于管理参考画面，所述参考画面用于对视频序列的画面的编码表示进行解码。所述解码器被配置为：对从编码器接收的参考画面集合进行解码并对所述参考画面集合中指示的POC值进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息。所述解码器包括：处理器，被配置为确定所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面。此外，所述处理器被配置为：当在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面时，并且当所述参考画面集合中所指示的所述POC值对应于长期参考画面时，将所述长期参考画面保存在解码画面缓冲区中作为长期参考画面。所述处理器还被配置为：当在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面时，并且当所述参考画面集合中所指示的所述POC值对应于长期参考画面时，将所述解码画面缓冲区中的所述短期参考画面标记为长期参考画面，并将其保存在解码画面缓冲区中。所述处理器还被配置为：当在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面时，并且当所述参考画面集合中所指示的所述POC值对应于短期参考画面时，将所述短期参考画面保存在所述解码画面缓冲区中作为短期参考画面。
根据实施例的第三方面，提供了一种由编码器执行的用于管理参考画面的方法，所述参考画面用于对视频序列的画面的编码表示进行编码。在所述方法中，指派POC值，其中，选择所述POC值使得解码器能够执行以下步骤：
-对从编码器接收的参考画面集合进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息：
-对所述参考画面集合中所指示的画面顺序计数POC值进行解码，以及
-确定所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面，
如果所述参考画面集合中所指示的所述POC值对应于长期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，将所述长期参考画面保存在解码画面缓冲区中作为长期参考画面，
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将解码画面缓冲区中的短期参考画面标记为长期参考画面，并将其保存在解码画面缓冲区中；
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述短期参考画面保存在所述解码画面缓冲区中作为短期参考画面，以及
-将所指派的POC值包括在要发送到解码器的参考画面集合中，其中，参考画面集合包括要保存在所述解码器的解码画面缓冲区中的所述参考画面的信息。
根据实施例的第四方面，提供了一种编码器，用于管理参考画面，所述参考画面用于对视频序列的画面的编码表示进行编码。所述编码器包括：用于指派POC值的处理器，其中，选择所述POC值使得解码器能够执行以下步骤：
-对从编码器接收的参考画面集合进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息：
-对所述参考画面集合中所指示的POC值进行解码，以及
-确定所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面，
如果所述参考画面集合中所指示的所述POC值对应于长期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，将所述长期参考画面保存(206)在解码画面缓冲区中作为长期参考画面，
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将解码画面缓冲区中的短期参考画面标记(207)为长期参考画面，并将其保存在解码画面缓冲区中；
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面：
如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述短期参考画面保存(208)在所述解码画面缓冲区中作为短期参考画面；
并且所述处理器还被配置为：将所指派的POC值包括在要发送到解码器的参考画面集合中，其中，所述参考画面集合包括要保存在所述解码器的解码画面缓冲区中的所述参考画面的信息。
实施例的优点是：当执行所述画面标记处理时考虑解码画面缓冲区中的参考画面是长期参考画面还是短期参考画面，提高了用于检测错误比特流的可能性，因此对例如易错网络中的检错是有用的。
附图说明
图1示意性地示出了根据本发明的实施例的参考画面处理。
图2是示出了根据本发明的实施例的解码器中的方法的流程图。
图3示出了本发明实施例的上下文中的编码器。
图4示出了根据本发明实施例的解码器。
图5是示出了根据本发明的实施例的编码器中的方法的流程图。
具体实施方式
参考图1，编码器300通过将参考画面的POC包括在参考画面集合(RPS)101中，来通知解码器400将哪些参考画面用于特殊画面的解码。针对每个画面，在特定画面的片首部中或在其他控制信息中发送RPS。解码器400将解码画面存储在解码画面缓冲区(DPB)103中，并将DPB的画面标记为用于参考或不用于参考。在HEVC中，标记是在当前画面的解码之前执行的。
参考画面被包括在RPS101中作为短期(st)参考画面或长期(lt)参考画面，并且根据实施例，存在以下约束：一旦被作为长期画面包括在PRS中的画面不能随后被作为短期画面包括在DPB中或被转换为短期画面。因此，取决于参考画面作为短期画面还是长期画面被包括在当前画面的RPS中，参考画面在解码画面缓冲区(DPB)中被标记为“用于短期参考”或“用于长期参考”。
DPB中被标记为用于参考的各个画面的POC被插入参考画面列表105a、105b(例如表示为RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll)中。长期参考画面的POC被插入RefPicSetLtCurr或RefPicSetLtFoll中，而短期参考画面的POC被插入RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFol l中
从那些列表105a、105b中的参考画面的POC中，解码器400构建最终参考画面列表107，该列表107包含解码器应当用于解码的参考画面的POC。通过以下示例阐述根据实施例的此过程。
此外，应当注意的是，尽管在解码器的上下文中解释实施例，实施例还适用于编码器，因为编码器模仿解码器的行为以确保准确地按照解码画面应当的形式创建解码画面。编码器决定将哪些POC值分配给其编码的每个画面，并且编码器决定哪些旧画面其想要保存为参考画面，哪些画面应当是短期画面，以及哪些画面应当是长期画面。虽然这样说，编码器坚守旧决定，如果画面先前被标记为长期画面，则该画面不能被标记为短期画面，被标记为不用于参考的画面不能在任意未来画面中用于参考，等等。
在编码器中，执行在图5的流程图中阐述的以下步骤：
501.编码器选择针对当前画面的POC。因此，编码器选择向解码器发信号通知哪个POC值来标识当前画面。编码器可以选择只要不会使比特流与任意比特流需求(例如POC应当代表输出顺序)相冲突的任意POC值。这意味着，编码器必须指派POC值使得解码器可以根据本发明实施例进行工作。除了POC之外，编码器还向解码器发送RPS语法以控制要使用哪些参考画面以及哪些画面应当是短期画面而哪些画面应当是长期画面。
502.编码器对包括当前画面使用的或紧跟在当前画面之后的画面可能使用的所有短期参考画面和长期参考画面的POC的RPS进行编码。
503.使用RPS所指示的参考画面对画面进行编码。
因此，提供了一种用于管理参考画面的编码器，该参考画面用于对视频序列的画面的编码表示进行编码。该编码器包括用于指派POC值的处理器，使得解码器能够执行以下步骤
-对从编码器接收的参考画面集合进行解码201，其中，参考画面集合包括要保存在解码画面缓冲区中的参考画面的信息：
-对参考画面集合中所指示的画面顺序计数POC值进行解码202，以及
-确定203参考画面集合中所指示的POC值对应于短期参考画面还是长期参考画面，
如果所述参考画面集合中所指示的所述POC值对应于长期参考画面：
-如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的长期参考画面，则将长期参考画面保存206在解码画面缓冲区中作为长期参考画面，
-如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面，则将解码画面缓冲区中的短期参考画面标记207为长期参考画面，并将其保存在解码画面缓冲区中，
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面：
-如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面，则将短期参考画面保存208在解码画面缓冲区中作为短期参考画面，并且处理器还被配置为：将所指派的POC值包括在要发送到解码器的参考画面集合中，其中，参考画面集合包括要保存在解码器的解码画面缓冲区中的参考画面的信息。
在解码器中，执行根据本发明实施例的以下步骤：
1.现在转到图2的流程图，解码器接收到当前画面以及例如在片首部中针对该画面的RPS，并在对画面进行解码之前对当前画面的RPS201进行解码。优选地，在处理DPB中的短期参考画面之前处理DPB中的长期参考画面，以标记DPB中的参考画面，以便避免一个参考画面作为短期参考画面和长期参考画面两者被包括在参考画面列表中。
2.对RPS的每个参考画面的POC进行解码202，并且执行以下步骤：
a)如果在RPS中包括参考画面的POC作为具有POC y的长期参考画面203，并且在DPB中存在被标记为“用于长期参考”205的具有该POC y的参考画面，则将该画面保存206在DPB中，标记为“用于长期参考”。
b)如果在RPS中包括参考画面的POC作为长期参考画面203，并且在DPB中存在被标记为“用于长期参考”的具有该POC的画面，则将该画面保存在DPB中但标记为“用于长期参考”207。根据实施例，在步骤207(如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相等的POC值的短期参考画面，则将解码画面缓冲区中的短期参考画面标记为长期参考画面，并将其保存在解码画面缓冲区中)之前执行步骤206(如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相等的POC值的长期参考画面，则将长期参考画面保存在解码画面缓冲区中作为长期参考画面)。即，执行步骤206，并且如果不满足步骤206的条件，则执行步骤207。
即，if(在DPB中存在具有与PocLtCurr[i]相等的
pic_order_cnt_lsb的长期参考画面picX)
RefPicSetLtCurr[i]＝picX
else if(在DPB中存在具有与PocLtCurr[i]相等的
pic_order_cnt_lsb的短期参考画面picY)
RefPicSetLtCurr[i]＝picY
其中，pic_order_cnt_lsb是POC值，PocLtCurr[i]是RPS中长期参考画面的列表，并且RefPicSetLtCurr[i]是包含长期参考画面的参考画面列表。
否则，如果在RPS中包括参考画面的POC作为短期参考画面203，并且如果在DPB中存在被标记为“用于长期参考”的具有该POC的画面，则将该画面保存208在DPB中，标记为“用于短期参考”。
即，for(i＝0；i<NumPocStCurrBefore；i++)
if(在DPB中存在具有与PocStCurrBefore[i]相等的
PicOrderCntVal的短期参考画面picX)
RefPicSetStCurrBefore[i]＝picX
el se
RefPicSetStCurrBefore[i]＝″无参考画面″
其中，PicOrderCntVal是POC值，PocStCurrBefore[i]是RPS中长期参考画面的列表，并且RefPicSetStCurrBefore[i]是包含长期参考画面的参考画面列表。
RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中包括的所有参考画面已经被标记为“用于短期参考”。
3.在RPS中未包括的DPB中的所有画面被标记为“不用于参考”。即，在RefPicSetLtCurr、RefPicSetLtFol l、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中未包括的解码画面缓冲区中的所有参考画面被标记为“不用于参考”。
4.在解码器处创建参考画面列表，参考画面列表包含来自RefPi cSetLtCurr、RefPicSetLtFol l、RefPicSetStCurrBefore、RefPi cSetS tCurrAfter或RefPi cSetStFoll的参考画面。使用参考画面列表中的参考画面对当前画面进行解码。
根据实施例，用于规划解码器中所执行的步骤的另一方式是：
1.解码器(在对当前画面进行解码之前)对当前画面的RPS进行解码。
2.如果在RPS中存在发信号通知的具有POC＝X的长期参考画面，并且DPB中不存在被标记为“用于长期参考”的具有POC＝X的画面，并且在DPB中存在被标记为“用于短期参考”的具有POC＝X的画面，则将该画面标记为“用于长期参考”。
3.将在RPS中未包括的DPB中的所有画面的POC标记为“不用于参考”。
4.对当前画面进行解码。
5.将当前画面标记为“用于短期参考”。因此在对每个解码画面进行解码之后，立即将该解码的画面标记为短期参考画面。如果所解码的画面应当是长期参考画面，则在下一画面中将其标记为长期参考画面。于是，画面实际上将不会用作短期画面，因为标记(在本情况下是标记为长期画面)发生在下一画面的实际画面解码之前。
取决于其他语法要素(即used_by_curr_pic标志)，可以将在RPS中但在DPB中不具有被标记为“用于短期参考”或“用于长期参考”的对应画面的画面的POC推断为丢失画面。
根据实施例，如图2的流程图所示，提供了由解码器执行的用于管理参考画面的方法，所述参考画面用于对视频序列比特流的画面的编码表示进行解码。
对从编码器接收的参考画面集合进行解码201，其中，参考画面集合包括要保存在解码画面缓冲区中的参考画面的信息。对参考画面集合中所指示的POC值进行解码202，并确定203参考画面集合中所指示的POC值对应于短期参考画面还是长期参考画面。如果参考画面集合中所指示的POC值对应于长期参考画面203，如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的长期参考画面205，则将长期参考画面保存206在解码画面缓冲区中作为长期参考画面。
如果参考画面集合中所指示的POC值对应于长期参考画面203，如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面205，则在解码画面缓冲区中将短期参考画面标记207为长期参考画面，并将其保存在解码画面缓冲区中。
如果参考画面集合中所指示的POC值对应于短期参考画面203，如果在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面，则将短期参考画面保存208在解码画面缓冲区中作为短期参考画面。
长期参考画面和短期参考画面除仅具有其在DPB中被不同地标记(相应地，“用于长期参考”和“用于短期参考”)的区别之外，长期参考画面和短期参考画面是相同类型的画面。具有此标记的原因是：
1)能够更高效地发信号通知它们(可以利用可变长度码对短期画面进行编码，而可以利用固定长度码对长期参考画面进行编码)。
2)在解码处理中对它们进行不同的处理(例如可以以运动向量缩放对来自短期画面的运动向量进行缩放，而不对来自长期画面的运动向量进行缩放)。
短期和长期之间的POC步长中不必存在明显区别，即可以与当前画面接近到仅1个POC步长。然而，一个备选是确定与当前画面相比，长期画面必须具有负的DiffPOC，即在输出顺序上在当前画面之前。
根据实施例的方法可以通过利用计算机程序代码装置进行编码的计算机程序产品来实现，当处理器装载并执行计算机程序产品时，执行根据实施例的方法。
还提供了利用指令进行编码的计算机可读存储介质，当处理器装载并执行指令时，执行根据实施例的方法。
在一个备选中，存在以下限制：必须发信号通知在DPB中已经存在多于特定时段(优选地以POC步长来表达)的参考画面作为缓冲区描述中的长期画面。
在一个备选中，存在以下限制：如果与当前画面相比已经显示(输出)的参考画面的DiffPOC()是正的，则不能将该参考画面作为短期参考画面包括在当前画面的缓冲区描述中。
在一个备选中，存在针对每个画面例如在片首部中发送的语法要素(例如标志或id)，该语法要素用于指示当前画面是否可以用作长期画面。优选地，存在以下限制：画面A可以仅指示当对A进行解码时，如果在DPB中不存在具有相同POC的长期参考画面，则画面A可以用于长期参考。在另一备选中，参考画面列表构建允许具有相同POC的两个画面，其中，一个画面是长期画面，而另一画面是短期画面。优选地，在参考画面列表中，短期画面在长期画面之前。
本发明实施例可应用于任意合适的视频编解码器，该视频编解码器包括根据实施例的编码器和/或解码器。
如上所述，上述机制在编码器以及解码器两者中完成。编码器和解码器分别包括被配置为执行根据上述实施例的功能的处理器。此外，编码器和解码器分别包括用于存储例如PRS、解码画面以及诸如参考画面列表中的参考画面等的其他画面信息的存储器。存储器还可以包括指令，在处理器上执行该指令使得处理器可以执行根据实施例的步骤。
图3示意性地示出了本发明实施例的上下文中的编码器。
因此，提供了一种编码器，包括一个或更多个处理器和例如一个或更多个存储器，该编码器被配置为执行根据实施例的方法。
图3是示出了编码器300的一些组件的示意图。编码器包括处理器302。处理器302可以是合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)、专用集成电路等中一个或更多个的任意组合，处理器302能够执行存储在一个或更多个存储器301中的计算机程序中所包含的软件指令。
因此，在图3中示出了编码器300，编码器300被配置为：使用参考画面对多个画面的视频序列的当前画面的表示进行编码。编码器包括：处理器302，被配置为针对当前画面指派POC值，其中，指派该POC值使得解码器能够执行根据本发明实施例的方法。处理器302被配置为将所指派的POC值包括在要发送到解码器的参考画面集合中，其中，参考画面集合包括要保存在解码器的解码画面缓冲区中的参考画面的信息。因此，编码器被配置为对由当前画面使用的或可以由紧跟在当前画面之后的画面使用的所有短期参考画面和长期参考画面的RPS进行编码，并使用RPS中包括的参考画面的全部或子集来对当前画面进行编码。
图4示意性地示出了根据本发明实施例的解码器。
因此，提供了一种解码器，包括一个或更多个处理器和例如一个或更多个存储器，该编码器被配置为执行根据实施例的方法。
图4是示出了解码器400的一些组件的示意图。解码器包括处理器402。处理器402可以是合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)、专用集成电路等中一个或更多个的任意组合，处理器402能够执行存储在一个或更多个存储器401中的计算机程序中所包含的软件指令。
根据一个实施例，提供了一种用于管理参考画面的解码器400，参考画面用于对视频序列的画面的编码表示进行解码。所述解码器被配置为：对从编码器接收的参考画面集合进行解码并对所述参考画面集合中指示的POC值进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息。解码器包括：处理器402，被配置为确定参考画面集合中所指示的POC值对应于短期参考画面还是长期参考画面。处理器402被配置为：当在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的长期参考画面时，并且当参考画面集合中所指示的POC值对应于长期参考画面时，将长期参考画面保存在解码画面缓冲区中作为长期参考画面。处理器402还被配置为：当在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面时，并且当参考画面集合中所指示的POC值对应于长期参考画面时，将解码画面缓冲区中的短期参考画面标记为长期参考画面，并将其保存在解码画面缓冲区中。此外，处理器402还被配置为：当在解码画面缓冲区中存在具有与参考画面集合中所指示的POC值相对应的POC值的短期参考画面时，并且当参考画面集合中所指示的POC值对应于短期参考画面时，将短期参考画面保存在解码画面缓冲区中作为短期参考画面。
根据实施例，处理器被配置为：通过在POC值对应于长期参考画面的情况下确定参考画面集合中所指示的POC值是否被包括在列表PocLtCurr或PocLtFoll之一中，或者在POC值对应于短期参考画面的情况下确定参考画面集合中所指示的POC值是否被包括在列表PocStCurrBefore、PocStCurrAfter或PocStFoll之一中，来确定参考画面集合中所指示的POC值对应于短期参考画面还是长期参考画面。
此外，可以在短期参考画面之前处理参考画面集合中的长期参考画面，以标记解码画面缓冲区中的参考画面。
编码器可以是HEVC编码器，解码器可以是HEVC解码器，但实施例不限于HEVC。编码器和解码器可以分别实现在移动设备中或实现在任意类型的视频摄相机和/或显示器中。

Claims (2)

1.一种由高效视频编码HEVC解码器执行的用于管理参考画面的方法，所述参考画面用于对视频序列的画面的编码表示进行解码，所述方法包括：
从编码器接收视频序列的图像的编码表示；
对连同所述编码表示接收的参考画面集合进行解码(201)，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息，所述参考画面用于对接收的编码表示进行解码：
对所述参考画面集合中所指示的画面顺序计数POC值进行解码(202)，以及
确定(203)所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面，
如果所述参考画面集合中所指示的所述POC值对应于长期参考画面：
确定所述解码画面缓冲区中是否存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，则将所述长期参考画面保存(206)在解码画面缓冲区中作为长期参考画面，否则
确定所述解码画面缓冲区中是否存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述解码画面缓冲区中的所述短期参考画面标记(207)为长期参考画面并将其保存在解码画面缓冲区中，
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面：
确定所述解码画面缓冲区中是否存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述短期参考画面保存(208)在所述解码画面缓冲区中作为短期参考画面；其中，一旦被作为长期画面包括在RPS中的参考画面不能随后被作为短期画面包括在解码画面缓冲器中，而且解码画面缓冲区中未包括在参考画面集合中的所有画面被标记为“不用于参考”。
2.一种用于管理参考画面的高效视频编码HEVC解码器(400)，所述参考画面用于对视频序列的画面的编码表示进行解码，所述解码器被配置为：从编码器接收视频序列的图像的编码表示；对连同所述编码表示接收的参考画面集合进行解码，其中，所述参考画面集合包括要保存在解码画面缓冲区中的所述参考画面的信息，所述参考画面用于对接收的编码表示进行解码，所述参考画面用于对接收的编码表示进行解码；以及对所述参考画面集合中指示的POC值进行解码；
所述解码器包括：处理器(402)，被配置为确定所述参考画面集合中所指示的所述POC值对应于短期参考画面还是长期参考画面，
所述处理器(402)被配置为：
如果所述参考画面集合中所指示的所述POC值对应于长期参考画面，确定所述解码画面缓冲区中是否存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的长期参考画面，则将所述长期参考画面保存在解码画面缓冲区中作为长期参考画面；否则，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，将所述解码画面缓冲区中的所述短期参考画面标记为长期参考画面并将其保存在解码画面缓冲区中；
如果所述参考画面集合中所指示的所述POC值对应于短期参考画面，确定所述解码画面缓冲区中是否存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，如果在所述解码画面缓冲区中存在具有与所述参考画面集合中所指示的所述POC值相对应的POC值的短期参考画面，则将所述短期参考画面保存在所述解码画面缓冲区中作为短期参考画面；以及
不将一旦被作为长期画面包括在RPS中的参考画面随后作为短期画面包括在解码画面缓冲器中，而且将解码画面缓冲区中未包括在参考画面集合中的所有画面标记为“不用于参考”。
CN201280052405.9A 2011-10-24 2012-10-23 参考画面标记 Active CN103907351B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161550646P 2011-10-24 2011-10-24
US61/550,646 2011-10-24
PCT/SE2012/051140 WO2013062470A1 (en) 2011-10-24 2012-10-23 Reference picture marking

Publications (2)

Publication Number Publication Date
CN103907351A CN103907351A (zh) 2014-07-02
CN103907351B true CN103907351B (zh) 2017-06-13

Family

ID=47190107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280052405.9A Active CN103907351B (zh) 2011-10-24 2012-10-23 参考画面标记

Country Status (7)

Country Link
US (5) US9277219B2 (zh)
EP (1) EP2772052A1 (zh)
JP (1) JP6017574B2 (zh)
KR (1) KR101639495B1 (zh)
CN (1) CN103907351B (zh)
WO (1) WO2013062470A1 (zh)
ZA (1) ZA201401570B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
KR102177831B1 (ko) * 2013-04-05 2020-11-11 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
KR102077900B1 (ko) * 2013-04-17 2020-02-14 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN104243988B (zh) * 2013-06-14 2019-11-12 浙江大学 视频编解码方法及装置、传输视频码流的方法
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9894357B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
WO2015016578A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015034216A1 (ko) * 2013-09-03 2015-03-12 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150033576A (ko) * 2013-09-24 2015-04-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060642A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046742A (ko) 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060614A1 (ko) 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060641A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2016195460A1 (ko) * 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
US20170006303A1 (en) * 2015-06-30 2017-01-05 Intel Corporation Method and system of adaptive reference frame caching for video coding
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
US11595652B2 (en) 2019-01-28 2023-02-28 Op Solutions, Llc Explicit signaling of extended long term reference picture retention
US10555002B2 (en) * 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
EP3918801A4 (en) * 2019-01-28 2022-06-15 OP Solutions, LLC ONLINE AND OFFLINE CHOICE OF EXTENDED LONG-TERM REFERENCE IMAGE STORAGE

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816180A (zh) * 2007-08-06 2010-08-25 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077567A1 (en) * 2002-03-14 2003-09-18 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US8768079B2 (en) * 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816180A (zh) * 2007-08-06 2010-08-25 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Absolute signaling of reference pictures》，Document: JCTVC-F493;Rickard Sj&ouml;berg, Jonatan Samuelsson;《Joint Collaborative Team on Video Coding (JCT-VC)》;20110722;全文 *
WD5: Working Draft 5 of High-Efficiency Video Coding，Document: JCTVC-G1103_d6(v9);Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20120119;第8.2.2节 *

Also Published As

Publication number Publication date
US9277219B2 (en) 2016-03-01
JP6017574B2 (ja) 2016-11-02
US9706218B2 (en) 2017-07-11
US20140079119A1 (en) 2014-03-20
US20170289562A1 (en) 2017-10-05
US11968385B2 (en) 2024-04-23
US10708613B2 (en) 2020-07-07
KR20140083041A (ko) 2014-07-03
KR101639495B1 (ko) 2016-07-22
US20200296402A1 (en) 2020-09-17
US11528496B2 (en) 2022-12-13
JP2014533006A (ja) 2014-12-08
EP2772052A1 (en) 2014-09-03
US20230089432A1 (en) 2023-03-23
ZA201401570B (en) 2015-11-25
US20160134885A1 (en) 2016-05-12
CN103907351A (zh) 2014-07-02
WO2013062470A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
CN103907351B (zh) 参考画面标记
US11418809B2 (en) Signaling of state information for a decoded picture buffer and reference picture lists
US10116953B2 (en) Decoding a picture based on a reference picture set on an electronic device
US8693793B2 (en) Reducing reference picture set signal overhead on an electronic device
JP2015501098A5 (zh)
KR20140120302A (ko) 참조영상 리스트 처리
US8805098B2 (en) Inter reference picture set signaling and prediction on an electronic device
JP2010516098A (ja) マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてエラー隠蔽を行う方法および装置
JP5273816B2 (ja) 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
WO2013109179A1 (en) Output of decoded reference pictures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20181113

Address after: Dublin, Ireland

Patentee after: Velos Media, LLC

Address before: Delaware

Patentee before: Ericsson Co.,Ltd.

Effective date of registration: 20181113

Address after: Delaware

Patentee after: Ericsson Co.,Ltd.

Address before: Stockholm

Patentee before: Telefonaktiebolaget LM Ericsson (publ)

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220112

Address after: Stockholm, SWE

Patentee after: Telefonaktiebolaget LM Ericsson (publ)

Address before: Delaware

Patentee before: Ericsson Co.,Ltd.

Effective date of registration: 20220112

Address after: Delaware

Patentee after: Ericsson Co.,Ltd.

Address before: Irish Dublin

Patentee before: Velos Media, LLC

TR01 Transfer of patent right