CN107071481A - 一种视频编码解码方法及装置 - Google Patents

一种视频编码解码方法及装置 Download PDF

Info

Publication number
CN107071481A
CN107071481A CN201611144455.6A CN201611144455A CN107071481A CN 107071481 A CN107071481 A CN 107071481A CN 201611144455 A CN201611144455 A CN 201611144455A CN 107071481 A CN107071481 A CN 107071481A
Authority
CN
China
Prior art keywords
picture
sampled
block
reconstruction
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201611144455.6A
Other languages
English (en)
Inventor
林鸿志
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/289,092 external-priority patent/US20170026659A1/en
Priority claimed from US15/354,162 external-priority patent/US20170105006A1/en
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107071481A publication Critical patent/CN107071481A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频编码解码装置以及方法，装置包含接收当前输入图片的电路；如果当前输入图片指定为主图片：将当前输入图片降采样为当前降采样的图片的电路；以及使用帧内模式或帧间模式编码当前降采样的图片，其中当当前降采样的图片的块使用帧间模式编码时，当前降采样的图片仅仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片的电路；以及如果当前输入图片指定为从图片：通过仅仅使用来自由升采样一个或多个以前重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据，为当前输入图片的帧间编码的块生成一个或多个参考块的电路。本发明可以减少使用主从预测结构的编码系统的编码复杂性和比特率。

Description

一种视频编码解码方法及装置
【技术领域】
本发明涉及编解码。特别地，本发明涉及一种视频编码解码方法及装置。
【背景技术】
视频数据要求很多存储空间以储存或较宽带宽以发送。随着增长的高分辨率和更高帧率，如果视频数据以未压缩的形式被储存或发送，则存储器或传送带宽要求将会更大。因此，视频数据通常使用视频编码技术以压缩格式储存或发送。使用更新的视频压缩格式，例如，H.264/AVC、VP8、VP9以及新兴的HEVC(高效率视频编码)标准，编码效率有所改进。为了保持易管理的复杂性，图像通常分割为块，例如，宏块(MB)或编码单元(CU)以应用视频编码。视频编码标准通常基于块采用自适应帧间/帧内预测。
图1A图示包含环处理的示范性自适应帧间/帧内视频编码系统。对于帧间预测，运动估计112和运动补偿113用于基于来自其它图片的视频数据为输入图片111提供预测数据。开关114选择帧内预测或帧间预测数据，且选择的预测数据应用到加法器116以形成预测错误，也称为残值。当选择帧内预测时，帧内预测决定单元115将从一组帧内模式选择帧内模式。帧内预测子将由帧内预测单元117生成。预测错误然后由后接量化(Q)120的转换(T)118处理。转换和量化的残值然后由熵编码器122编码以包含于对应于压缩的视频数据的视频比特流。当使用帧间预测模式，参考图片需要在编码器端重建并用作一个或多个其它图片的参考数据。因此，解码功能也包含于由虚线框140表示的编码器侧，其中转换和量化的残值由逆量化(IQ)124和逆转换(IT)126处理以修复残值。残值然后使用加法器128加回到预测数据136以重建视频数据。重建的视频数据由环滤波器130处理以在重建的数据储存于解码的图片缓冲器(DPB)134且拥有其它图片的预测之前减少重建的数据的编码伪迹。
图1B图示基于帧间/帧内预测的视频解码器的示范性系统框图。在解码器侧，视频比特流150首先由熵解码单元152处理以修复编码的符号。储存于DPB 134的重建的和环滤波的图片将被输出以用于显示器154。
对于自适应帧间/帧内预测视频编码系统，因为各种原因，一些图片以帧内预测模式编码。例如，帧内预测模式可以周期性地使用以减轻由于帧间预测模式编码的图片的传送或解码错误导致的错误传播。对于帧内编码的图片，其通常导致更高比特率。对于帧间预测，每个图片可以编码为P图片或B图片。对于P图片，编码的图片可以由以前的图片使用作为参考图片。另一方面，B图片可不由任何其它图片参考以用于编码目的。
基于自适应帧间/帧内预测的视频编码可以以各种分辨率应用于现有的视频数据。近年来，虚拟现实(VR)应用的360度视频成为一种被编码的新的类型的视频来源。360度VR视频涉及使用多个相机俘获场景以覆盖全景，例如，360度视场。360度VR照相机通常使用一组相机，用于俘获360度视场。然而，典型地两个或者更多相机用于拟真照相机。在每个俘获的时间实例，360度环境由多个相机俘获且由多个图像储存。然后，在相同俘获时间实例中的那些图像被拼接以在每个时间实例形成360度VR图像的极高的分辨率。连续的360度VR图像由此收集以形成360度VR视频。对于360度VR视频，大量视频数据需要被压缩用于有效的传送或存储。因此，高效视频编码技术，例如，HEVC已经用于VR视频压缩。典型地，具有类似编码质量，编码比特率与图片分辨率成比例。因此，编码极高分辨率的360度VR视频导致具有可接受视觉质量的视频比特流的高比特率。随着增加图片分辨率的趋势，高效率编码技术非常期望保持视频比特率易于管理。此外，当高分辨率和360度VR视频一起使用时，比特率对于由于大量生成的数据的传送或存储变为更重要的问题。因此，高效率视频编码对于360度VR应用非常需要。
【发明内容】
有鉴于此，本发明提供一种使用具有主从预测结构的帧间编码模式的视频编码解码装置以及方法。
本发明提供一种使用具有主从预测结构的帧间编码模式的视频编码方法，方法包含接收当前输入图片；如果当前输入图片指定为主图片：将当前输入图片降采样为当前降采样的图片；以及使用帧内模式或帧间模式编码当前降采样的图片，其中当当前降采样的图片的块使用帧间模式编码时，当前降采样的图片仅仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及如果当前输入图片指定为从图片：通过仅仅使用来自由升采样一个或多个以前重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据，为当前输入图片的帧间编码的块生成一个或多个参考块。
本发明还提供一种使用具有主从预测结构的帧间编码模式的视频编码装置，所述装置包含接收当前输入图片的电路；如果当前输入图片指定为主图片：将当前输入图片降采样为当前降采样的图片的电路；以及使用帧内模式或帧间模式编码当前降采样的图片，其中当当前降采样的图片的块使用帧间模式编码时，当前降采样的图片仅仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片的电路；以及如果当前输入图片指定为从图片：通过仅仅使用来自由升采样一个或多个以前重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据，为当前输入图片的帧间编码的块生成一个或多个参考块的电路，其中一个或多个区域小于或等于一个或多个升采样的图片。
本发明还提供一种使用具有主从预测结构的帧间编码模式的视频解码方法，所述方法包含接收包含编码的数据的视频比特流用于当前输入图片；如果当前输入图片指定为主图片：当当前重建的降采样的图片的块使用帧间模式编码时，从视频比特流重建当前重建的降采样的图片，其中重建所述当前重建的降采样的图片使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及如果当前输入图片指定为从图片：通过仅仅使用由升采样一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据重建以帧间模式编码的当前输入图片中的当前重建的块，其中一个或多个区域小于或等于一个或多个升采样的图片。
本发明还提供一种使用具有主从预测结构的帧间编码模式的视频解码装置，装置包含接收包含编码的数据的视频比特流用于当前输入图片的电路；如果当前输入图片指定为主图片：当当前重建的降采样的图片的块使用帧间模式编码时，从视频比特流重建当前重建的降采样的图片的电路，其中重建当前重建的降采样的图片使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及如果当前输入图片指定为从图片：通过仅仅使用由升采样一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据重建以帧间模式编码的当前输入图片中的当前重建的块的电路，其中一个或多个区域小于或等于一个或多个升采样的图片。
本发明可以减少使用主从预测结构的编码系统的编码复杂性和比特率。
【附图说明】
图1A图示包含环处理的示范性自适应帧间/帧内视频编码系统。
图1B图示基于帧间/帧内预测的视频解码器的示范性系统框图。
图2图示使用帧间/帧内预测的视频编码系统的主从预测结构的示例。
图3图示根据本发明的实施例的具有空间改变尺寸的低复杂性主从预测结构的示例。
图4图示根据本发明的另一实施例的具有空间改尺寸的低复杂性主从预测结构的示例。
图5A图示根据本发明的实施例的包含低复杂性主从预测结构的视频编码系统的示例。
图5B图示根据本发明的实施例的包含低复杂性主从预测结构的视频解码系统的示例。
图6图示修改的MVP派生的示例，其中在水平和垂直方向上降采样因子是2。
图7图示根据本发明的一个实施例的包含低复杂性预测结构的视频编码器的示范性流程图。
图8图示根据本发明的一个实施例的包含低复杂性预测结构的视频解码器的示范性流程图。
【具体实施方式】
以下描述包含实施本发明的最佳模式。此描述是为了说明本发明的一般原理，且不应该看作限制。本发明的范围最好由参考所附的权利要求确定。
图2图示使用帧间/帧内预测的视频编码系统的主从预测结构的示例。以显示顺序被编码的图片是M0，S0，…，S4，M1，S5，…，S9，和M2。图片M0是帧内编码。图片M1对应于使用M0作为参考图片的P图片。图片M2对应于使用M1作为参考图片的P图片。另一方面，图片S0，…，S4是使用M0和M1作为参考图片的B图片。图片S5，…，S9是使用M1和M2作为参考图片的B图片。在本公开中，由一个或多个其它图片参考的图片称为主图片，没有由任何其它图片参考的图片称为从图片。例如，在图2中，图片M0，M1和M2是主图片以及图片S0，…，S9是从图片。
由于主图片将由一个或多个其它图片使用作为参考图片，主图片需要储存于编码器和解码器，以便他们被其它图片用作参考图片。在图2示出的示例中，图片M0和M1需要被储存以用于图片S0，…，S4的编码和解码。在S0，…，S4被编码或解码后，图片M0可以从DPB移除。因此，两个解码的图片需要储存于DPB。对于高分辨率图片，主图片的大小可能非常大。不仅是其要求较大尺寸的解码图片缓冲器用于储存的参考图片，其也在编码过程中要求更多的编码比特以及在解码过程中要求更多的计算。期望开发一种技术以减少编码比特率和要求的计算的处理功率。
如上所述，如图2所示的主从预测结构关注从图片的复杂性和比特率减小。对于从图片，复杂性减少多于50％。而且，如果从图片部分被发送则比特率减少约50％。在前述方法中，主图片在编码器侧总是以全分辨率编码且在解码器侧以全分辨率解码。因此，复杂性和关联的比特率对于主图片是相当高的。因此，具有空间改变尺寸的低复杂性主从预测结构在本发明中揭示。本发明的实施例将主图片的降采样版本编码以实现低比特率传送以及低复杂性处理，因为主图片以降采样版本进行编码。然而，升采样的重建主图片用作参考图片用于从图片的帧间预测也用于显示。
图3图示根据本发明的实施例的具有空间改变尺寸的低复杂性主从预测结构的示例。视频来源的图片呈现顺序是M0，S0，…，S4，M1，S5，…，S9以及M2。根据本发明的实施例，主图片被降采样和编码。此示例的编码顺序是m0，m1，S0，…，S4，m2，S5，…，S9，其中m0，m1，和m2分别是M0，M1，和M2的降采样版本。在降采样后，降采样图片m0，m1，和m2被编码。图3中的示例显示降采样的图片m0是帧内编码，而降采样的图片m1是使用降采样的图片m0作为参考图片来编码为P图片，以及m2是使用降采样的图片m1作为参考图片来编码为P图片。对于编码从图片，编码的降采样的主图片被升采样到全尺寸图片(即，M′0，M′1和M′2)并由从图片用作参考图片。在一个实施例中，从图片编码可通过仅仅使用来自生成的一个或多个升采样的图片的一个或多个区域的像素数据生成一个或多个参考块用于从图片的帧间编码的块。一个或多个区域可以小于或等于一个或多个升采样的图片。从图片S0，…，S4使用M’0和M’1作为参考图片，其中图片M’0用于前向预测且图片M’1用于后向预测。解码顺序与编码顺序相同。类似地，从图片S5，…，S9使用图片M’1和M’2作为参考图片，其中图片M’1用于前向预测以及图片M’2用于后向预测。解码的图片的显示顺序是M’0，S0，…，S4，M’1，S5，…，S9和M’2。
图4图示根据本发明的另一实施例的具有空间改尺寸的低复杂性主从预测结构的示例。图4中的示例显示降采样的图片m0是帧内编码的，降采样的图片m2是使用降采样的图片m0作为参考图片编码为P图片，以及m1使用m0和m2作为参考图片编码为B图片。对于编码从图片，编码的降采样主图片被升采样到全尺寸图片(即，M’0，M’1和M’2)，且由从图片用作参考图片。从图片S0，…，S4仍然使用M’0和M’1作为参考图片。类似地，从图片S5，…，S9仍然使用图片M’1和M’2作为参考图片。然而，由于在此示例中M1在M2之后编码，主图片的编码顺序需要修改。因此，编码顺序是m0，m2，m1，S0，…，S4以及S5，…，S9。解码的图片的显示顺序与之前相同，即，M’0，S0，…，S4，M’1，S5，…，S9和M’2。
图5A图示根据本发明的实施例的包含低复杂性主从预测结构的视频编码系统的示例。系统基于图1A中的编码器。降采样单元510加入到编码段以在主图片被编码时对主图片执行降采样。开关512用于在从图片(即，位置“S”)和主图片(即，位置“M”)之间选择。当开关512位于“M”位置时，降采样的主图片(即，“m”)提供至编码器输入。当开关512位于“S”位置时，原始从图片提供至编码器输入。在重建环中，重建的降采样主图片m储存于解码图片缓冲器(DPB)134。当当前编码的图片对应于主图片时，开关522设置到位置“M”以便从DPB134获取一个或多个降采样的主图片并用作参考图片。当当前编码的图片对应于从图片，开关522设置到位置“S”以便从DPB 134获取一个或多个降采样的主图片，且然后在降采样的主图片用作参考图片前使用升采样单元520进行升采样。
对于主图片编码，图片可以编码为I/P/B-图片，并用作参考图片用于从图片编码。对于由降采样单元510执行的降采样，可以在图片宽度(即，水平)方向和图片高度(即，垂直)方向选择降采样率dw和dH。例如，对于水平和垂直方向上的2:1降采样，dw和dH可以是2。然而，也可在水平和垂直方向使用不同的降采样率。降采样的主图片(即，图片m)的编码将仅仅使用降采样的主图片(即，m图片)作为参考图片。对于从图片编码，重建的降采样的主图片(即，m图片)被升采样到全分辨率图片(即，M’图片)且用作参考图片。因此，重建的m图片和升采样的M’图片需要储存于DPB 134。换句话说，需要存储空间用于升采样的M’图片，其没有明确显示于图5A。根据本发明的实施例，原始DPB 134，升采样单元520以及要求的用于升采样的M’图片的存储空间可以看作修改的DPB。
对于从图片编码，从图片可以编码为I/P/B图片，但不被任何其他图片参考。在编码器侧，不需要重建从图片，因为没有重建的从图片由其他图片用作参考图片。不需要在DPB 134储存重建的从图片。
图5B图示根据本发明的实施例的包含低复杂性主从预测结构的视频解码系统的示例。系统基于图1B中的编码器。当当前编码的图片对应于主图片时，开关532设置到位置“M，”以便从DPB 134获取一个或多个降采样的主图片作为参考图片。当当前编码的图片对应于从图片，开关532设置到位置“S，”以便从DPB 134获取一个或多个降采样的主图片，并在降采样的主图片用作参考图片之前使用升采样单元530进行升采样。
根据本发明的实施例，对于解码器，原始DPB 134，升采样单元530和要求的用于升采样的M’图片的存储空间可以看做修改的DPB。对于主图片解码，解码过程总使用完全发送的比特流，且主图片总是被完全解码。而且，重建的降采样的图片(即，m图片)被升采样并储存于DPB由从图片用作参考图片。而且，升采样的图片(即，M图片)输出用于显示。
对于从图片解码，局部比特流可以被发送并用于解码。对于360度VR应用，用户可指示数据服务器(例如编码器)关于即将看见的图片的部分(例如，视口区域)，以便数据服务器将仅发送与视口(viewport)区域关联的局部比特流。而且，从图片可以部分地解码用于视口区域。如上所述，从图片使用升采样的M’图片作为参考图片来解码。
当运动向量预测(MVP)用于从图片时，从图片的空间分辨率和与用于派生运动向量的图片(即，m图片)关联的空间分辨率是不同的。因此，需要保护降采样的图片的块和从图片的块之间的对应。
MVP是广泛用于许多高级编码标准例如H.264和HEVC(高效视频编码)的编码工具。为了减少与编码当前块的运动向量关联的比特率，运动向量预测也简称为MVP，用于派生由当前编码块使用的运动向量预测子。MVP候选列表从空间和/或时间相邻块生成用于帧间预测模式和跳过/直接(也称为合并)模式。对于帧间预测模式，当前MV和MVP之间的一个或两个运动向量差别(MVD)被发送/编码，其比编码直接由于当前MV和MVP之间的相关的当前MV更有效。当前块和参考块之间的预测残值也被发送/编码用于帧间预测模式。对于跳过/合并模式，运动信息从相邻块得到。对于合并模式，预测残值被发送。然而，对于跳过模式，预测残值不被发送并设置为零。对于跳过模式，残值通常非常小以便可以跳过残值。
对于包含低复杂性预测结构的编码系统，MVP可需要修改。例如，当跳过模式(在P型主图片，如图3所示)用于H.264编码标准时，不需要修改MVP派生。此外，用于B图片中的直接模式包含两个类型，包含空间直接模式和时间直接模式。对于空间直接模式，不需要修改MVP，因为MVP是从其空间相邻块获得。当使用时间直接模式时，MVP需要被修改，因为MVP是从同位时间相邻块确定的。如果同位时间相邻块的运动向量指向列表1中的参考图片，则前向MVP(MVforward)和后向MVP(MVbackward)是根据图片距离修改如下：
在以上式子中，POCcur对应于当前图片的图片顺序计数，POCList0对应于列表0参考图片的图片顺序计数以及POCList1对应于列表1参考图片的图片顺序计数。
为当前块选择与在第一列表中的第一以前重建的降采样的图片中同位块关联的候选运动向量，其中所述候选运动向量从第二列表中第二以前的重建的降采样的图片中的对应块指向所述同位块，以及其中所述第一列表和所述第二列表对应于属于包含列表0和列表1的集合的两个不同列表；通过缩放所述候选运动向量派生前向运动向量和后向运动向量；使用所述前向运动向量在所述第二列表中所述第二以前的重建的降采样的图片的第一升采样的图片定位第一参考块，以及使用所述后向运动向量在所述第一列表中所述第一以前的重建的降采样的图片的第二升采样的图片中定位第二参考块；以及使用所述第一参考块作为前向预测子以及使用所述第二参考块作为后向预测子以双向预测模式编码所述当前块。
所述前向运动向量用对应于第一距离和第二距离的第一比率的第一比例因子缩放所述候选运动向量来派生，其中所述第一距离对应于当前输入图片的图片顺序计数和所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第一差值，以及所述第二距离对应于所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数与所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第二差值；以及所述后向运动向量用对应于第三距离和第二距离之间的第二比率的第二比例因子缩放所述候选运动向量派生，其中所述第三距离对应于所述当前输入图片的图片顺序计数与所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数之间的第三差值。
当所述当前输入图片中的当前块继承了与所述以前的重建的降采样的图片中的同位块关联的目标运动向量时，与所述同位块的升采样的块同位的所有块共享所述目标运动向量。
图6图示修改的MVP派生的示例，其中在水平和垂直方向上降采样因子是2。重建的m图片610的块由升采样因子2进行升采样以形成M’图片620的块。M’图片620的升采样的块然后用作参考块用于图片630的块的编码或解码。如图6所示，图片m中每个块覆盖升采样的图片M’中的4个块。因此，从图片的块A，B，G和H的同位块是块a，从图的块C，D，I和J的同位块是块b，以及从图片的块E，F，K和L的同位块是块c。即，从图片的四个相邻块具有主图片的相同的同位块。如式子(1)和(2)中所示的MVP派生应用于图片m中每个块的所有对应同位块。例如，块的运动向量(即，参考图片列表1的同位块)用于块A，B，G和H的前向和后向运动向量预测子的派生。
图7图示根据本发明的一个实施例的包含低复杂性预测结构的视频编码器的示范性流程图。根据此方法，在步骤710中，接收当前输入图片。在步骤720中，执行当前输入图片是否指定为主图片或从图片的决定。指定图片类型(即，主或从图片，以及I-，P-或B-图片)通常是编码器的功能。编码器可根据预定义顺序或任何其他已知方法指定主/从图片。如果当前输入图片指定为主图片，执行步骤730和740。如果当前输入图片指定为从图片，执行步骤750。在步骤730中，当前输入图片降采样到当前降采样的图片(即，图片m)。在步骤740中，当前降采样的图片使用帧内模式或帧间模式来编码，其中当当前降采样的图片的块是帧间编码时，当前降采样的图片仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片。在步骤750中，当前输入图片的帧间编码的块的一个或多个参考块仅使用来自由升采样一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据生成，其中上述一个或多个区域小于或等于一个或多个升采样的图片。
图8图示根据本发明的一个实施例的包含低复杂性预测结构的视频解码器的示范性流程图。根据此方法，在步骤810中，接收当前输入图片的包含编码的数据的视频比特流。在步骤820中，执行当前输入图片是否指定为主图片或从图片的决定。在一些情况下，解码器能够根据预定义的顺序确定是否为主图片或从图片。在其它情况中，解码器可根据比特流中的信息确定当前输入图片是否是主图片或从图片。如果当前输入图片指定为主图片，执行步骤830。如果当前输入图片指定为从图片，执行步骤840。在步骤830，当前重建的降采样的图片从视频比特流重建，其中当当前重建的降采样的图片的块被帧间编码时，重建当前重建的降采样的图片使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片。在步骤840，以帧间模式编码的当前输入图片的当前重建的块通过仅使用由升采样一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据重建，其中上述一个或多个区域小于或等于一个或多个升采样的图片。
以上显示的流程图旨在说明使用包含备选转换的转换编码的图像/视频编码的示例。本领域的技术人员可以修改每个步骤、再安排步骤、拆分步骤或结合步骤以在不背离本发明的精神来实践本发明。
呈现以上描述以使本领域的普通技术人员按本文的特定应用和其要求所提供的来实践本发明。描述的实施例的各种修改对于本领域的技术人员而言是表观的，且本文定义的一般原理可以应用于其它实施例。因此，本发明不旨在限制为显示和描述的特定实施例，但需符合本文揭示的原理和新颖特征的最广范围。在以上详细描述中，说明各种具体细节以便提供本发明的全面理解。然而，本领域技术人员需理解本发明可以被实践。
本发明的实施例如上所述可以实施于各种硬件、软件代码或其组合。例如，本发明的实施例可以是集成到视频压缩芯片的电路或集成到视频压缩软件的程序代码以执行本文描述的方法。本发明的实施例还可以是在数字信号处理器(DSP)执行的程序代码以执行本文描述的方法。本发明还可涉及多个由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的功能。这些处理器可以配置为通过执行定义本发明实施的特定方法的机器可读软件代码或固件代码执行根据本发明的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或样式来开发。软件代码还可为不同的目标平台编译。然而，用于编码以执行根据本发明的任务的软件代码的不同的编码格式、风格和语言以及其他装置将不背离本发明的精神和范围。
本发明可以在不背离其精神和实质特性的情况下以其他形式实施。描述的示例在各方面仅仅考虑为说明性的并非限制性的。本发明的范围因此由所附的权利要求而不是上文的描述指示。落入权利要求的等效的意义和范围的所有改变在其范围内。

Claims (23)

1.一种视频编码方法，所述方法使用具有主从预测结构的帧间编码模式,包含：
接收当前输入图片；
如果所述当前输入图片指定为主图片：
将所述当前输入图片降采样为当前降采样的图片；以及
使用帧内模式或帧间模式编码所述当前降采样的图片，其中当所述当前降采样的图片的块使用所述帧间模式编码时，所述当前降采样的图片仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及
如果所述当前输入图片指定为从图片：
通过仅使用来自由升采样所述一个或多个以前重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据，为所述当前输入图片的帧间编码的块生成一个或多个参考块，其中所述一个或多个区域小于或等于所述一个或多个升采样的图片。
2.如权利要求1所述的视频编码方法，其特征在于，所述降采样的图片由至少一个从图片用作一个第二参考图片用于编码。
3.如权利要求1所述的视频编码方法，其特征在于，对应于指定为所述从图片的所述当前输入图片的重建的图片不用作任何参考图片用于编码。
4.如权利要求1所述的视频编码方法，其特征在于，仅重建的降采样的图片以及所述一个或多个升采样的图片储存于解码图片缓冲器，且没有重建的从图片储存于所述解码图片缓冲器。
5.如权利要求1所述的视频编码方法，其特征在于，所述降采样的当前输入图片使用水平降采样因子和垂直降采样因子。
6.如权利要求1所述的视频编码方法，其特征在于，编码所述当前输入图片包含：
为当前块选择与在第一列表中的第一以前重建的降采样的图片中同位块关联的候选运动向量，其中所述候选运动向量从第二列表中第二以前的重建的降采样的图片中的对应块指向所述同位块，以及其中所述第一列表和所述第二列表对应于属于包含列表0和列表1的集合的两个不同列表；
通过缩放所述候选运动向量派生前向运动向量和后向运动向量；
使用所述前向运动向量在所述第二列表中所述第二以前的重建的降采样的图片的第一升采样的图片定位第一参考块，以及使用所述后向运动向量在所述第一列表中所述第一以前的重建的降采样的图片的第二升采样的图片中定位第二参考块；以及
使用所述第一参考块作为前向预测子以及使用所述第二参考块作为后向预测子以双向预测模式编码所述当前块。
7.如权利要求6所述的视频编码方法，其特征在于，所述前向运动向量用对应于第一距离和第二距离的第一比率的第一比例因子缩放所述候选运动向量来派生，其中所述第一距离对应于当前输入图片的图片顺序计数和所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第一差值，以及所述第二距离对应于所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数与所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第二差值；以及
所述后向运动向量用对应于第三距离和第二距离之间的第二比率的第二比例因子缩放所述候选运动向量派生，其中所述第三距离对应于所述当前输入图片的图片顺序计数与所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数之间的第三差值。
8.如权利要求1所述的视频编码方法，其特征在于，当所述当前输入图片中的当前块继承了与所述以前的重建的降采样的图片中的同位块关联的目标运动向量时，与所述同位块的升采样的块同位的所有块共享所述目标运动向量。
9.如权利要求1所述的视频编码方法，其特征在于，在编码器侧使用重建单元重建的图片被所述从图片略过且仅应用于所述主图片。
10.如权利要求1所述的视频编码方法，其特征在于，给定主图片以所述帧间模式编码为一个B图片以及所述给定主图片由至少一个从图片参考。
11.一种视频编码装置，所述装置使用具有主从预测结构的帧间编码模式,包含：
接收当前输入图片的电路；
如果所述当前输入图片指定为主图片：
将所述当前输入图片降采样为当前降采样的图片的电路；以及
使用帧内模式或帧间模式编码所述当前降采样的图片的电路，其中当所述当前降采样的图片的块使用所述帧间模式编码时，所述当前降采样的图片仅仅使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及
如果所述当前输入图片指定为从图片：
通过仅使用来自由升采样所述一个或多个以前重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据，为所述当前输入图片的帧间编码的块生成一个或多个参考块的电路，其中所述一个或多个区域小于或等于所述一个或多个升采样的图片。
12.一种视频解码方法，所述方法使用具有主从预测结构的帧间编码模式,包含：
接收包含编码的数据的视频比特流用于当前输入图片；
如果所述当前输入图片指定为主图片：
当所述当前重建的降采样的图片的块使用帧间模式编码时，从所述视频比特流重建当前重建的降采样的图片，其中所述重建所述当前重建的降采样的图片使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及
如果所述当前输入图片指定为从图片：
通过仅使用由升采样所述一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据重建以帧间模式编码的所述当前输入图片中的当前重建的块，其中所述一个或多个区域小于或等于所述一个或多个升采样的图片。
13.如权利要求11所述的视频解码方法，其特征在于，降采样的图片由至少一个从图片用作第二参考图片用于解码。
14.如权利要求11所述的视频解码方法，其特征在于，对应于指定为所述从图片的所述当前输入图片的重建的图片不用作任何参考图片用于解码。
15.如权利要求11所述的视频解码方法，其特征在于，对于主图片解码，重建的降采样的图片以及所述一个或多个升采样的图片储存于解码图片缓冲器。
16.如权利要求11所述的视频解码方法，其特征在于，降采样所述当前输入图片使用水平降采样因子和垂直降采样因子。
17.如权利要求11所述的视频解码方法，其特征在于，重建所述当前重建的块包含：
为当前块确定与第一列表中第一以前的重建的降采样的图片的同位块关联的候选运动向量，其中所述候选运动向量从第二列表中第二以前的重建的降采样的图片中的对应块指向所述同位块，且其中所述第一列表和所述第二列表对应于属于包含列表0和列表1的集合的两个不同列表；
通过缩放所述候选运动向量派生前向运动向量和后向运动向量；
使用所述前向运动向量在所述第二列表中所述第二以前的重建的降采样的图片的第一升采样的图片定位第一参考块，以及使用所述后向运动向量在所述第一列表中所述第一以前的重建的降采样的图片的第二升采样的图片定位第二参考块；以及
使用所述第一参考块作为前向预测子以及使用所述第二参考块作为后向预测子以双向预测模式解码所述当前块。
18.如权利要求11所述的视频解码方法，其特征在于，所述前向运动向量由对应于第一距离和第二距离的第一比率的第一比例因子缩放所述运动向量派生，其中所述第一距离对应于当前输入图片的图片顺序计数和所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第一差值，以及所述第二距离对应于所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数与所述第二列表中所述第二以前的重建的降采样的图片的图片顺序计数之间的第二差值；以及
所述后向运动向量用对应于第三距离和第二距离之间的第二比率的第二比例因子缩放所述候选运动向量派生，其中所述第三距离对应于所述当前输入图片的图片顺序计数与所述第一列表中所述第一以前的重建的降采样的图片的图片顺序计数之间的第三差值。
19.如权利要求11所述的视频解码方法，其特征在于，当所述当前输入图片中的当前块继承了与所述以前的重建的降采样的图片中的同位块关联的目标运动向量时，与所述同位块的升采样的块同位的所有块共享所述目标运动向量。
20.如权利要求11所述的视频解码方法，其特征在于，在收到来自编码器侧的指示时，与一个或多个从图片关联的比特流仅部分地发送到所述解码器侧。
21.如权利要求11所述的视频解码方法，其特征在于，所述从图片仅部分地重建，其中仅重建用户即将观看的所述从图片的部分。
22.如权利要求11所述的视频解码方法，其特征在于，给定主图片以所述帧间模式编码为一个B图片以及所述给定主图片由至少一个从图片参考。
23.一种视频解码装置，所述装置使用具有主从预测结构的帧间编码模式，包含：
接收包含编码的数据的视频比特流用于当前输入图片的电路；
如果所述当前输入图片指定为主图片：
当所述当前重建的降采样的图片的块使用帧间模式编码时，从所述视频比特流重建当前重建的降采样的图片的电路，其中所述重建所述当前重建的降采样的图片使用一个或多个以前的重建的降采样的图片作为一个或多个第一参考图片；以及
如果所述当前输入图片指定为从图片：
通过仅使用由升采样所述一个或多个以前的重建的降采样的图片生成的一个或多个升采样的图片中一个或多个区域的像素数据重建以帧间模式编码的所述当前输入图片中的当前重建的块的电路，其中所述一个或多个区域小于或等于所述一个或多个升采样的图片。
CN201611144455.6A 2015-12-14 2016-12-13 一种视频编码解码方法及装置 Withdrawn CN107071481A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562266763P 2015-12-14 2015-12-14
US62/266,763 2015-12-14
US15/289,092 2016-10-07
US15/289,092 US20170026659A1 (en) 2015-10-13 2016-10-07 Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US15/354,162 US20170105006A1 (en) 2015-10-13 2016-11-17 Method and Apparatus for Video Coding Using Master-Slave Prediction Structure
US15/354,162 2016-11-17

Publications (1)

Publication Number Publication Date
CN107071481A true CN107071481A (zh) 2017-08-18

Family

ID=59619262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611144455.6A Withdrawn CN107071481A (zh) 2015-12-14 2016-12-13 一种视频编码解码方法及装置

Country Status (1)

Country Link
CN (1) CN107071481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363611A (zh) * 2019-06-07 2022-04-15 北京达佳互联信息技术有限公司 用于视频编码的方法和计算设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934544B1 (en) * 2011-10-17 2015-01-13 Google Inc. Efficient motion estimation in hierarchical structure
CN104756499A (zh) * 2012-10-25 2015-07-01 高通股份有限公司 用于视频译码的参考图片状态

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934544B1 (en) * 2011-10-17 2015-01-13 Google Inc. Efficient motion estimation in hierarchical structure
CN104756499A (zh) * 2012-10-25 2015-07-01 高通股份有限公司 用于视频译码的参考图片状态

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SALIH DIKBAS等: "《Fast Motion Estimation with Interpolation-Free Sub-Sample Accuracy》", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363611A (zh) * 2019-06-07 2022-04-15 北京达佳互联信息技术有限公司 用于视频编码的方法和计算设备

Similar Documents

Publication Publication Date Title
TWI711299B (zh) 利用部分成本計算的視頻解碼方法和裝置
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
TWI572196B (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
TW202027508A (zh) 對以歷史為基礎之運動向量預測器之改良
US9277220B2 (en) Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes
CN110741640B (zh) 用于视频代码化中的运动补偿预测的光流估计
CN104704835B (zh) 视频编码中运动信息管理的装置与方法
CN112005551B (zh) 一种视频图像预测方法及装置
JP2019146255A (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
US10506249B2 (en) Segmentation-based parameterized motion models
JP2016514378A (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
JP7164710B2 (ja) ビデオ復号化方法及びビデオ・デコーダ
CN102239693A (zh) 运动图像解码方法和运动图像编码方法
US11805259B2 (en) Non-affine blocks predicted from affine motion
CN111010571A (zh) 组合仿射Merge候选的生成和使用
US20110090963A1 (en) Method and apparatus for zoom motion estimation
JP2011061302A (ja) 動画像符号化装置
CN115136597A (zh) 空域-时域运动矢量预测
JP2022525943A (ja) オプティカルフローベースのビデオフレーム間予測
CN105103553B (zh) 用于对视频信息译码的设备与方法以及非暂时性计算机可读媒体
CN110679151A (zh) 使用参数化运动模型的视频代码化
CN106063268B (zh) 转码方法、转码设备以及信息存储介质
CN107071481A (zh) 一种视频编码解码方法及装置
EP3926953A1 (en) Inter-frame prediction method and related device
CN116195253A (zh) 帧内块复制编解码中的块矢量处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170818