CN113225558A - 平滑定向和dc帧内预测 - Google Patents

平滑定向和dc帧内预测 Download PDF

Info

Publication number
CN113225558A
CN113225558A CN202110155990.6A CN202110155990A CN113225558A CN 113225558 A CN113225558 A CN 113225558A CN 202110155990 A CN202110155990 A CN 202110155990A CN 113225558 A CN113225558 A CN 113225558A
Authority
CN
China
Prior art keywords
pixel
prediction
block
data
direction vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110155990.6A
Other languages
English (en)
Other versions
CN113225558B (zh
Inventor
国玫
辛军
吴锡荣
A·图拉皮斯
K·拉帕卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202410779080.9A priority Critical patent/CN118540484A/zh
Publication of CN113225558A publication Critical patent/CN113225558A/zh
Application granted granted Critical
Publication of CN113225558B publication Critical patent/CN113225558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及平滑定向和DC帧内预测。公开了一种用于获得用于帧内编码视频以及组合的帧间编码视频和帧内编码视频的预测像素块的技术。在第一方面，该技术可以包括当分配给预测矢量的预测方向矢量指向笛卡尔平面的象限I或III时，通过以下方式获得预测像素块的像素位置的值，从先前解码的像素数据的两个区域中的像素值获得像素位置的值，该先前解码的像素数据的两个区域通过将预测方向矢量通过像素位置在两个相反方向上延伸而被截取。当预测方向矢量指向笛卡尔平面的象限II时，从由预测方向矢量通过像素位置截取的一个区域中的像素值以及来自由与预测方向矢量正交的矢量截取的第二区域的像素值获得像素位置的值。

Description

平滑定向和DC帧内预测
相关申请的交叉引用
本申请要求于2020年2月5日提交的美国临时申请第62/970,359号和于2020年3月30日提交的美国申请第16/834,693号的优先权。
背景技术
本公开涉及数字图像编码、具有帧内预测的图像编码以及具有组合的帧间预测和帧内预测的视频编码。
传统的图像和视频编码方案通常采用诸如预测、计算来自预测的残差、残差的变换和量化、回路滤波和熵编码的技术以产生压缩比特流。预测可以若干模式发生。在帧内编码模式中，相对于来自已被编码的公共帧的图像数据，对输入数据进行差分编码。先前编码的数据可被解码，并且因此可用作预测源。帧间编码模式相对于先前编码的数据对输入数据进行差分编码，并且对来自其他帧的图像数据进行解码。帧内编码和帧间编码两者均用于许多普遍的编码协议中。
附图说明
图1示出了图像递送系统的示例性简化框图。
图2是根据本公开的一个方面的编码终端的功能框图。
图3是根据本公开的一个方面的解码终端的功能框图。
图4示出了适合与本公开的一个方面一起使用的示例性帧。
图5示出了适合与本公开的一个方面一起使用的用于帧内预测的示例性定向模式。
图6示出了根据本公开的一个方面的一种方法。
图7至图12示出了根据本公开的各方面的适用于图6的方法的示例性使用案例。
图13至图15示出了根据本公开的各方面的预测像素块推导技术。
图16示出了根据本公开的另一方面的一种方法。
图17是根据本公开的一个方面的编码系统的示例性功能框图。
图18是示例性解码系统的示例性功能框图。
图19示出了根据本公开的一个方面的一种方法。
图20至图21示出了根据本公开的各方面的适用于图19的方法的示例性使用案例。
具体实施方式
本公开的各方面提供了用于使用空间(即，帧内)预测方法获得预测像素块的改进技术，该空间预测方法用于对图像和/或视频数据进行编码。这些技术可以包括当分配给预测矢量的预测方向矢量指向笛卡尔平面的象限I或III时，通过以下方式获得预测像素块的像素位置的值，从先前解码的像素数据的两个区域中的像素值获得像素位置的值，该先前解码的像素数据通过将预测方向矢量通过像素位置在两个相反方向上延伸而被截取。当预测方向矢量指向笛卡尔平面的象限II时，从由预测方向矢量通过像素位置截取的一个区域中的像素值，以及来自由与预测方向矢量正交的矢量截取的第二区域的像素值获得像素位置的值。可参考所获得的预测像素块对输入像素块进行差分编码。在一个方面，该空间预测方法可以与用于多假设预测模式的帧间预测方法组合。
在另一方面，预测像素块的像素值可以从预测像素块的预测DC值和至少一个源像素获得，所述至少一个源像素选自先前解码的像素数据最靠近像素位置的区域。例如，对于像素块中最靠近预测像素块的顶边缘的位置，源像素可以被选择为公共列中的先前解码的像素数据的最底行中的像素作为像素位置。并且，对于预测像素块中最靠近预测像素块的左边缘的位置，源像素可以被选择为公共行中的先前解码的像素数据的最右列中的像素作为像素位置。可参考所获得的预测像素块对输入像素块进行差分编码。
图1示出了根据本公开的一个方面的视频递送系统100的简化框图。系统100可包括经由网络互连的多个终端110、120。终端110、120可编码视频数据以用于经由网络传输给其对应终端。因此，第一终端110可本地捕获视频数据，对视频数据进行编码并经由信道将经编码的视频数据传输至对应终端120。接收终端120可接收经编码的视频数据，对其解码，并将其本地呈现，例如在终端120处的显示器上。如果在视频数据的双向交换中接合终端，则终端120可本地捕获视频数据，对视频数据进行编码并经由另一信道将经编码的视频数据传输至对应终端110。接收终端110可接收从终端120传输的经编码的视频数据，对其解码，并且例如在其自己的显示器上本地呈现。本文所述的过程可操作帧画面和交错的场画面两者的编码，但为简单起见，本讨论将描述在整体帧的上下文中的技术。
视频编码系统100可在多种应用中使用。在第一应用中，终端110、120可支持编码视频的实时双向交换以在它们之间建立视频会议会话。在另一应用中，终端110可编码预先产生的视频(例如电视或电影节目)并存储经编码的视频用于递送给一个或者经常递送给多个进行下载的客户端(例如，终端120)。因此，正在编码的视频可以是实时的或预先产生的，并且终端110可以充当媒体服务器，根据一到一或一到多分发模型来递送经编码的视频。出于本论述的目的，除非另外指明，视频的类型和视频发布方案是无关紧要的。
在图1中，终端110、120被分别例示为个人计算机和智能电话，但本公开的原理并不限于此。本公开的各方面还应用于各种类型的计算机(台式计算机、膝上型计算机和平板电脑)、计算机服务器、媒体播放器、专用视频会议装备和/或专用视频编码装备。本文所述的许多技术和系统，诸如视频编码系统100的终端110和120，可以对静态图像以及视频进行操作。
网络130表示在终端110、120之间传递已编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非另外指明，否则网络的体系结构和拓扑结构对本发明的操作是无关紧要的。
图2是示出了根据本公开的一个方面的编码终端200的部件的功能框图。编码终端可包括视频源210、图像处理器220、编码系统230和发射器240。视频源210可供应要编码的视频。视频源210可被提供为捕获本地环境的图像数据的相机，存储来自一些其他来源的视频的存储设备，或藉以接收源视频数据的网络连接。图像处理器220可对要编码的视频执行信号调节操作以准备用于编码的视频数据。例如，预处理器220可改变源视频的帧速率，帧分辨率，和/或其他特性。图像处理器220还可对源视频执行滤波操作。
编码系统230可对视频执行编码操作以减小其带宽。通常，编码系统230利用源视频内的时间和/或空间冗余。例如，编码系统230可执行运动补偿预测编码，其中视频帧或场画面被解析为子单元(为方便起见称为“像素块”)，并且各个像素块相对于预测像素块进行差分编码，所述预测像素块来源于先前编码的视频数据。给定像素块可根据多种预测编码模式中的任一种来编码，诸如：
·帧内编码，其中输入像素块相对于共同帧的先前编码/解码数据差分编码；
·单预测帧间编码，其中输入像素块相对于先前编码/解码的帧的数据差分编码；和
·多假设运动补偿预测编码，其中输入像素块经由时间和/或空间预测使用来自两个或更多个来源的先前解码的数据预测性地编码。
预测编码模式可与其他编码技术(诸如变换跳过编码、降低分辨率更新(RRU)编码、预测源的缩放、调色板编码等等)协作使用。
编码系统230可包括向前编码器232、解码器233、回路滤波器234、画面缓冲器235和预测器236。编码器232可使用由预测器236提供的预测像素块数据将差分编码技术应用于输入像素块。解码器233可将编码器232所应用的差分编码技术反转为被指定为参考帧的编码帧的子集。回路滤波器234可将滤波技术应用于由解码器233生成的重构参考帧。画面存储库235可存储用于预测操作的重构参考帧。预测器236可以选择预测模式和参考，然后从存储在画面存储库中的参考帧内获得输入像素块的预测数据。当选择帧内模式编码时，预测器236可从当前帧选择预测参考。当选择多假设编码时，预测器236可以组合来自当前帧和/或其他参考帧内的多个预测参考。
发射器240可通过信道将经编码的视频数据传输至解码终端。
图3是示出了根据本公开的一个方面的解码终端300的部件的功能框图。解码终端可包括用于接收来自信道的经编码的视频数据的接收器310、解码经编码数据的视频解码系统320、后处理器330，以及消耗输出视频数据的视频宿340。
接收器310可从网络接收数据流，并且可将数据流的分量路由至终端300内的适当单元。虽然图2和图3示出了用于视频编码和解码的功能单元，但是终端110、120(图1)通常将包括用于与视频相关联的音频数据的编码/解码系统，以及可能包括其他处理单元(未示出)。因此，接收器310可解析来自数据流的其他元素的经编码的视频数据并将其路由至视频解码器320。
视频解码系统320可执行反转由编码系统230执行的编码操作的解码操作。视频解码器可包括解码器322、回路滤波器324、画面缓冲器326和预测器328。解码器322可将编码器232所应用的差分编码技术反转为逐像素块工作的编码帧。回路滤波器324可将滤波技术应用于由解码器322生成的重构帧数据。例如，回路滤波器324可执行各种滤波操作(例如，去块、去振铃滤波、样本自适应偏移处理等等)。滤波的帧数据可从解码系统输出。参考画面缓冲器326可存储用于预测操作的重构参考帧。预测器328可根据在编码视频数据中提供的预测参考数据，从由参考画面缓冲器存储的当前帧和/或参考帧内获得输入像素块的预测数据。
后处理器330可执行操作来调节用于显示的重构视频数据。例如，后处理器330可执行各种滤波操作(例如，去块、去振铃滤波等)，这可模糊由编码/解码过程生成的输出视频中的视觉伪影。后处理器330还可改变重构视频的分辨率、帧速率、色彩空间等以使其符合视频宿340的要求。
视频宿340表示解码终端中可消耗重构视频的各种硬件和/或软件部件。视频宿340通常可包括可呈现重构视频的一个或多个显示设备。另选地，视频宿340可由存储重构视频以供稍后使用的存储器系统来表示。视频宿340还可包括根据应用程序中提供的控件来处理重构视频数据的一个或多个应用程序。在一些方面，视频宿可表示传输系统，该传输系统将重构视频传输至与解码终端分开的另一设备上的显示器；例如，笔记本计算机生成的重构视频可被传输到大型平板显示器以用于观看。
对编码终端和解码终端(图2和图3)的上述讨论示出了执行来编码和解码终端之间在单一方向上的视频或静止图像数据的操作，诸如从终端110至终端120(图1)。在将在终端110、120之间执行视频双向交换的应用中，每个终端110、120将具有与编码终端(图2)相关联的功能单元以及每个终端110、120将具有与解码终端(图3)相关联的功能单元。实际上，在某些应用中，终端110、120可在单个方向上交换编码视频的多个流，在这种情况下，单个终端(例如终端110)将具有其中提供的编码终端(图2)的多个实例。此类具体实施完全符合本讨论。
图4示出了可由如图2中的编码终端200编码的示例性帧400。帧400被示出为已根据递归四叉树分割过程被解析成像素块，这在例如ITU-TH.265/HEVC、AV1和VVC(通用视频编码)编码协议中是常见的。在该方案中，帧400首先被解析成最大编码单元(LCU1-LCUN)(在一些情况下称为“LCU”或编码树单元“CTU”)的阵列。可基于LCU内的图像内容的分析将每个LCU进一步解析成编码单元(“CU”)。在该示例中，LCU1被示出为已被解析成四个编码单元，每个编码单元占据LCU1区域的1/4。同样，可以基于CU的图像内容将CU解析成更小的CU。例如，图4示出了被解析成四个其他编码单元CU6-CU9的编码单元CU5。划分过程可根据需要继续，从而将CU划分成四个较小CU的阵列，直到编码，直到预处理器220从图像内容确定不需要进一步划分，或者直到编码单元以编码系统230所支持的最小编码单元尺寸生成。向前编码器230可对从其生成的编码单元执行视频编码，从而将它们视为像素块，如本文所述。
本公开的原理还可应用于从其他分割协议生成的像素块。例如，根据ITU-TH.261、H.262/MPEG-2、H.263、H.264/AVC、H.265/HEVC、VVC和AV1编码协议操作的编码系统230将帧划分为宏块并进一步划分为块。可以根据本文讨论的技术将宏块/CTU和/或块编码为像素块。
图4示出了应用于帧400的光栅扫描编码操作的示例。编码系统230通常以光栅扫描顺序对编码流水线中的像素块进行编码。如应用于图4所示的像素块，编码系统230可首先编码LCU1，这涉及对LCU1内包含的所有编码单元CU1-CU4进行编码。编码系统230可前进到LCU2，对LCU2内的所有CU进行编码。在图4所示的示例中，LCU2包含十个具有不同尺寸的CU。编码系统前进到LCU3，该LCU3被示出为未被解析成更小的CU。此后，编码系统230前进到LCU4并对其内包含的所有CU进行编码。
在该示例中，在编码过程达到LCU5时，来自LCU1至LCU4的所有编码单元将已被编码系统230编码。编码系统230将已经从LCU1至LCU4生成编码单元的解码表示。因此，来自LCU5的输入像素块PBin可参考从LCU(LCU1至LCU4)中的任一者生成的解码图像内容进行预测编码。来自LCU1-LCU4的空间区域中的解码像素数据将可用于获得对应于PBin的预测像素块。
可在解码器处执行类似的操作。解码系统320(图3)可以与编码系统230生成的编码视频数据相同的光栅扫描顺序对编码视频数据进行解码。因此，到解码系统320解码输入像素块PBin的编码表示时，解码系统320将已经具有来自LCU(LCU1至LCU4)的解码内容。来自LCU1-LCU4的空间区域中的解码像素数据将可用于获得对应于PBin的预测像素块。
图5表示由HEVC用于预测内编码像素块的图像内容的候选角度预测方向。本公开的各方面利用由HEVC编码器选择的角度预测方向以在帧内编码期间获得预测像素块的图像内容。HEVC支持用于帧内预测的33个定向模式。其他编码协议支持其他定向模式；例如，AV1编码协议支持56个定向模式。
图6示出了根据本公开的一个方面的一种方法600。方法600可以获得预测像素块中的每个位置x，y的像素值，并且可以在应用于本文讨论的编码系统(图2、图17)和解码系统(图3、图18)两者中的预测器中找到应用。方法600可通过确定预测方向指向笛卡尔平面的哪个象限来开始(框610)。当前像素块的预测方向可由像素块的预测模式来识别。例如，参见图5中描绘的HEVC预测模式的预测方向。使用当前预测块的左上角作为笛卡尔平面的原点，当预测方向指向象限I(指向右上方)或象限III(指向左下方)时，则通过将预测方向通过像素x，y在相反方向上延伸来选择两个位置(框620)。例如，参见图7和图8以用于选择指向象限I或III的预测方向的位置A和B。另选地，如果预测方向指向象限II(指向左上方)，则通过将预测方向通过像素x，y仅在一个方向上延伸来选择第一位置(框630)，并且通过在与预测方向正交的方向上从沿预测方向的某处延伸来选择第二位置(框640)。例如，参见图11至图12以用于选择指向象限II的预测方向的位置A和C。
在选择两个位置之后，如果解码像素数据在任一位置处不可用，则可将具有不可用数据的位置调整到解码像素数据可用的最近位置(框650)。预测像素块中位置x，y处的像素的预测P(x，y)从两个位置处或附近的像素数据获得(框660)。
图7至图12示出了方法600在示例性使用案例中的应用。例如，图7示出了指向象限I(指向右上方)的预测方向矢量PDV。PDV通过像素位置x，y延伸以在指定为A和B的两个区域中与解码像素数据相交。在该示例中，位置x，y处的像素的值可从区域A和B中的解码像素数据获得。图7至图12中的交叉阴影面积可指示先前解码的像素数据可用的区域，并且可用作位置x，y处的像素的预测源。
图8示出了指向象限III(指向左下方)的另一个预测方向矢量PDV。PDV通过像素位置x，y延伸以在指定为A和B的两个区域中与解码像素数据相交。在该示例中，位置x，y处的像素的值可从区域A和B中的解码像素数据获得。该示例示出了在与图7的预测PDV相反的方向(例如，180°偏移)上延伸的预测方向矢量PDV。
图9示出了一种使用案例，其中预测方向矢量PDV指向象限II(指向左上方)并与上相邻块相交。PDV通过像素位置x，y延伸，以仅在一个指定为A的区域中与解码像素数据相交。这里，框630-640(图6)的操作将被触发。方法600将根据正交于延伸通过像素位置x，y的预测方向矢量PDV延伸的第二预测矢量OPV来选择解码像素数据的第二区域C。如所讨论的，正交预测矢量OPV可以延伸通过沿着预测方向矢量PDV紧邻预测像素块的边缘的像素位置(指定为B)，或者，如图10所示，正交预测矢量OPV可以通过位置x，y延伸。在图9和图10的情况下，区域C可位于左相邻区域中。
图11示出了另一种使用案例，其中预测方向矢量PDV指向象限II(指向左上方)并与左相邻块相交。PDV通过像素位置x，y延伸，以仅在一个指定为A的区域中与解码像素数据相交。这里，框630-640(图6)的操作将被触发。方法600将根据正交于延伸通过像素位置x，y的预测方向矢量PDV延伸的第二预测矢量OPV来选择解码像素数据的第二区域C。如所讨论的，正交预测矢量OPV可以延伸通过沿着预测方向矢量PDV紧邻预测像素块的边缘的像素位置(指定为B)，或者，如图12所示，正交预测矢量OPV可以通过位置x，y延伸。在图11和图12的情况下，区域C可位于上相邻区域中。
一旦选择了两个源区域，就可通过组合来自源区域的像素值来执行位置x，y处的像素值的获得。获得能够以多种方式进行。首先，可通过源区域中的像素值的加权平均值来计算像素值，该加权平均值具有以下形式：
P(x,y)＝w*Preg1+(1-w)*Preg2，其中
Preg1,Preg2是从两个源区域提取的像素值，并且权重w根据相应源区域与像素位置x，y的相对距离来设置。任选地，权重w可根据其他因素来设置，包括源区域中的像素值的空间方差(其可指示边缘的存在、遮挡或建议像素区域在计算中应或多或少地加权的其他图像内容)和/或源区域中的像素值的时间方差。
在实施过程中，区域A、B和/或C(图7至图12)可表示解码像素数据可用的区域的边缘处的像素内容。也就是说，当源像素区域位于预测像素块上方时，可以从紧邻预测像素块的顶边缘上方的一行像素获取像素数据。类似地，当源像素区域位于预测像素块左侧时，可以从紧邻预测像素块最左边缘左侧的一列像素获取像素数据。实际上，并不总是发生预测方向矢量PDV或正交预测矢量OPV将与像素源行或像素源列内的像素位置相交；在此类情况下，像素值可从相邻像素值内插到源行或源列内的非整数位置处。
另选地，源像素区域的值可从解码像素数据可用的图像内容的二维区域获得。方法600可将沿解码像素数据边缘的预定数量的解码像素值识别为源像素区域，在该预定数量的解码像素值处，预测方向矢量PDV或正交预测矢量OPV截取解码像素数据。从解码的像素值中，可以根据插值技术诸如双三次、样条、三次、图像修复方法等获得源预测值。
在本公开的另一方面，位置x，y处的像素值的预测可以从预测块的预测DC值和与像素块相邻的像素获得。可通过预测像素块的DC预测值的加权平均值并从相邻区域中的参考像素计算预测值，该预测值具有以下形式：
PPred(x,y)＝w*pred_DC+(1-w)*PSrc，其中pred_DC表示由帧内编码预测选择确定的预测像素块的DC预测值，PSrc表示来自源区域的像素值，并且w表示应用于这些值的权重。该技术可应用于在本文讨论的编码系统(图2、图17)和解码系统(图3、图18)两者中应用的预测器。
预测DC值是根据若干编码协议生成的，所述编码协议诸如为MPEG2、H.263、H.264/AVC、HEVC、VVC和AV1编码协议。可根据下文所述的技术选择源区域。
在图13和图14所示的第一方面，可根据像素与可从先前编码过程获得的解码像素数据的接近度来选择源区域。例如，像素可以位于预测像素块的最顶部N行中，这将像素的位置(x，y)放置在沿预测像素块的顶边缘可用的解码像素数据的预定距离内。在这种情况下，源像素数据(在图13中指定为A)可被选择为沿着解码像素数据最下边缘并且在公共列内的像素，以作为像素x，y。
在另一个示例中，如图14所示，像素可以在预测像素块的左边缘的M列内，这将像素的位置(x，y)放置在沿着预测像素块的左边缘可用的解码像素数据的预定距离内。在这种情况下，源像素数据(在图14中指定为B)可被选择为沿着解码像素数据最右边缘并且在公共行内的像素，以作为像素x，y。
在图13和图14的情况下，可根据像素与其源像素A或B的距离来选择权重，视情况而定。例如，随着像素与其源像素的距离增加，权重值增加，这导致DC预测值的贡献在预测值PPred(x，y)的计算中增加。另选地，权重可根据预测像素块内的像素位置和/或相邻像素来预定义。
如图15所示，针对均在预测像素块的最顶边缘和最左侧边缘两者的预定距离内的像素，本公开的各方面可将图13和图14所示的技术集成在一起。在这种情况下，位置x，y处的预测像素值可计算为：
PPred(x,y)＝(1-(w1+w2))*predDC+w1*PSrc1+w2*PSrc2，其中
PSrc1和PSrc2分别表示来自像素的列和行的解码源像素，并且权重w1和w2根据从源像素到被预测的像素的相应距离来设置。
在实施过程中，视频编码系统的设计者可设置阈值N和M以适应他们的单独的应用需求。对于落在由N和/或M阈值表示的区域之外的像素位置，可以应用DC预测，或者可以根据替代预测技术进行预测，诸如上面在图6至图12中阐述的那些。
在实施过程中，源像素数据可以在用于预测像素块数据的获得之前被滤波。通常，用于对来自其的源像素数据进行解码的数据进行编码的帧内编码模式可确定应用于源像素数据上的滤波强度。在一个方面，可包括源预测数据的活动作为确定要应用于源像素数据的滤波强度的因素。
图16示出了根据本公开的一个方面的一种方法1600。方法1600可以应用于源像素数据，例如沿着预测像素块的最上边缘或预测像素块的最左边缘，以估计在获得预测像素块的像素值之前要应用于源像素数据的滤波类型。方法1600可通过评估源区域中的像素数据的活动(框1610)并将源像素区域分类为平滑或不平滑(框1620)来开始。在一个方面，可基于用于对源区域进行编码的预测模式来确定源区域平滑。例如，如果用“平滑模式”(或HEVC中的平面模式)、“平滑V模式”、“平滑H模式”(如AV1中那样)或本文所公开的任何平滑定向/DC预测方法(图6至图15)的预测模式对源区域进行编码，然后可确定源区域是平滑的(框1620)，并且如果使用其他预测模式，则可确定源区域不是平滑的。
基于平滑度估计，方法1600可将源区域的最大梯度与该区域内的平均梯度的两个缩放表示中的一者进行比较(框1630、1640)。当区域被分类为平滑时，方法1600可将最大梯度与平均梯度的第一缩放表示进行比较(框1630)。当最大梯度小于平均梯度的缩放表示时，可以相对高的强度对源区域应用滤波(框1650)；例如，在可能基于AV1规范的未来标准或编解码器中，可使用1型滤波。如果在框(1630)处，最大梯度超过平均梯度的缩放表示，则可以相对适度的强度对源区域应用滤波(框1660)；在可能基于AV1规范的未来标准或编解码器中，可使用0型滤波。在一个方面，1型滤波可比0型滤波更强。
当区域未被分类为平滑时，方法1600可将最大梯度与平均梯度的第二缩放表示进行比较(框1640)。当最大梯度小于平均梯度的第二缩放表示时，可以相对适度的滤波强度对源区域应用滤波(框1660)；当最大梯度超过平均梯度的缩放表示时，则可省略滤波(框1670)。
在一个方面，梯度计算可在源像素区域的行或列内的每个像素位置处单独执行。对于区域中的每个源像素R(i)，梯度值G(i)可计算为：
Gi＝|2*R(i)-R(i-1)-R(i+1)|，
其中根据具体情况，R(i-1)和R(i+1)为与源行或源列内的像素R(i)相邻的像素。
在一个方面，可以根据许多替代技术来计算确定框1630和1640中的滤波类型的测试。例如，可使用不同的滤波长度来确定梯度。另外，梯度可在各种方向上测量，包括水平方向、竖直方向和对角方向。此外，可在每个像素处考虑多个梯度，以及多个阈值测试。
图17是根据本公开的一个方面的编码系统1700的功能框图。系统1700可以对视频源提供的输入像素块进行编码。系统1700可包括像素块编码器1710、像素块解码器1720、回路滤波器系统1730、参考画面缓冲器1740、预测器1750、控制器1760和语法单元1770。预测器1750可生成供像素块编码器1710和像素块解码器1720使用的预测像素块。预测像素块可以从存储在参考画面缓冲器1740中的先前解码的图像数据获得。在输入像素块要通过帧内编码或组合的帧间和帧内编码来进行编码的情况下，预测像素块可以通过上文公开的技术获得。
像素块编码器1710可通过预测编码技术对输入像素块进行编码，并将经编码的像素块数据呈现给语法单元1770。像素块解码器1720可解码经编码的像素块数据，由此产生解码像素块数据。回路滤波器1730可对重构帧执行一个或多个滤波操作。参考画面缓冲器1740可存储经滤波的帧，在此其可用作稍后接收的像素块的预测源。语法单元1770可组合来自符合管理编码协议的经编码的像素块数据的数据流。
像素块编码器1710可包括减法器1712、变换单元1714、量化器1716和熵编码器1718。像素块编码器1710可在减法器1712处接受输入像素块。减法器1712可接收来自预测器1750的预测像素块，并由此生成表示输入像素块与预测像素块之间的差异的像素残差阵列。变换单元1714可以对从减法器1712输出的样本数据应用变换，以将数据从像素域转换到变换系数域。量化器1716可对由变换单元1714输出的变换系数执行量化。量化器1716可为均匀或非均匀量化器。熵编码器1718可通过例如通过可变长度码字或使用上下文自适应二进制算术编码器对输出进行无损编码来减小系数量化器的输出带宽。
变换单元1714可以在控制器1760所确定的多种变换模式中操作。例如，变换单元1714可以应用离散余弦变换(DCT)、离散正弦变换(DST)、阿达马变换、哈尔变换、多贝西小波变换等。在一个方面，控制器1760可以选择变换单元1714要应用的编码模式，可以相应地配置变换单元1714，并且可以显式地或隐式地在经编码的视频数据中发信号通知编码模式。所选择的编码模式可被包括在经编码的像素块数据的数据流中并被传输到解码器(未示出)。
量化器1716可以根据控制器1760所提供的量化参数来操作。在一个方面，量化参数QP可以作为多值量化参数被应用于变换系数，多值量化参数例如在变换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。量化参数可被包括在经编码的像素块数据的数据流中并被传输到解码器(未示出)。
熵编码器1718如其名称所暗示的，可以执行从量化器1716输出的数据的熵编码。例如，熵编码器1718可执行运行长度编码、霍夫曼编码、哥伦布编码、上下文自适应二进制算术编码等等。熵编码器1718还可以对各种编码参数进行熵编码，诸如量化参数QP、重采样参数、预测参数或解块参数。
像素块解码器1720可反转像素块编码器1710的编码操作，并且可对与像素块编码器1710具有相同形状和尺寸的块进行操作。例如，像素块解码器1720可以包括去量化器1722、逆变换单元1724和加法器1726。像素块解码器1720可从量化器1716的输出获取其输入数据。尽管允许，像素块解码器1720不必执行熵编码数据的熵解码，因为熵编码是无损事件。去量化器1722可反转像素块编码器1710的量化器1716的操作。去量化器1722可执行均匀或非均匀去量化。类似地，逆变换单元1724可以反转变换单元1714的操作。去量化器1722和逆变换单元1724可以使用与像素块编码器1710中其对应部件相同的量化参数和变换模式。量化操作可能将在各个方面截断数据，并且因此，在与被呈现给像素块编码器1710中的量化器1716的数据相比时，去量化器1722所恢复的数据很可能将具有编码误差。
加法器1726可以反转减法器1712所执行的操作。它可以接收与减法器1712在生成残差信号中所使用相同的来自预测器1750的预测像素块。加法器1726可以将预测像素块添加到逆变换单元1724所输出的重构残差值，并且可以输出重构的像素块数据。
回路滤波器1730可以对由像素块解码器1720生成的经解码画面数据执行各种滤波操作。也就是说，回路滤波器1730可以重新组装来自从像素块解码器1720获得的解码像素块的解码帧数据，并且对重新组装的帧应用滤波操作，诸如解块滤波和/或SAO滤波。因此，回路滤波器1730可跨像素块边界执行滤波。
参考画面存储库1740可以存储经滤波的帧数据以供在其他像素块的后续预测中使用。可使不同类型的预测数据可供预测器1750使用以用于不同预测模式。例如，对于输入像素块，帧内预测器从相同帧的先前解码的数据获得预测参考，该输入像素块定位在该相同帧中。就像素块的光栅扫描排序而言，参考画面存储库1740可以在当前正在编码的块的上方和左侧存储先前解码的像素块，因此参考画面存储库1740可以存储来自当前块上方的块的先前解码的参考行，并且可以在当前块的左侧存储先前解码的参考列。因此，参考画面存储库1740可以存储在编码时每个帧的经解码的像素块数据。对于相同的输入像素块，帧间预测器可采用来自先前编码和解码帧的预测参考，所述帧被指定为参考帧。因此，参考画面缓冲器1740可以存储这些经解码的参考帧。
预测器1750可以从一个或多个参考图像数据源执行帧间或帧内预测。预测参考是先前解码的图像，并且可以包括当前像素块上方的参考行和当前像素块左侧的参考列。在DC预测模式的情况下，预测参考可以包括先前解码像素块的平均值或来自先前解码像素块的DC值。就帧间预测而言，预测参考还可以包括来自先前解码帧的图像数据。
在一个方面，预测器1750可操作于与块编码器1710和块解码器1720不同类型的块上。预测画面存储库(未示出)可收集由预测器1750输出的多个预测块，以供像素块编码器1710和解码器1720使用。这可使得编码器1710和解码器1720能够对帧内与预测器1750所预测的不同形状、尺寸或偏移的块进行操作。
控制器1760可以控制编码系统1700的整个操作。控制器1760可以为预测器1750选择操作参数，包括预测模式和/或预测方向、用于预测的参考源和用于平滑预测的加权。其他预测参数可以包括λ、量化偏移、待测试的模式、搜索窗口、失真策略等，用于帧间或帧内预测。与本讨论相关，当这些操作参数被选择并且需要存在于编码的比特流中时，控制器1760可以将那些参数提供给熵编码器1718或语法单元1770，其可以包括表示由系统1700输出的编码视频数据的数据流中的那些参数的数据。控制器1760还可以为像素块编码器1710和解码器1720选择参数，诸如量化参数，并且可以包括识别为编码数据的每个部分选择的参数的元数据。另外，控制器1760可控制回路滤波器1730的操作的其他方面。
在操作期间，控制器1760可基于每个像素块或基于较大粒度(例如，每帧，每片，每个LCU、CU或另一个区域)以图像数据的不同粒度(图像数据的不同部分尺寸)来修改操作参数，诸如量化参数、预测参数和解块参数。在一个方面，解块滤波参数可以在经编码的帧内以每像素为基础进行修改。类似地，语法单元1770输出的压缩比特流可以包括语法分级结构中不同级别的操作参数的指示，诸如对应于像素块、帧、片段、LCU/CTU、CU或压缩比特流的另一部分的语法级别。
图18是根据本公开的一个方面的解码系统1800的功能框图。解码系统1800可包括语法单元1810，像素块解码器1820，回路滤波器1830，参考画面缓冲器1840，预测器1850，和控制器1860。语法单元1810可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1860，而表示编码像素块的数据(图17的像素块编码器1710输出的数据)可被提供给像素块解码器1820。预测器1850可根据在经编码的视频数据中提供的编码参数数据来从参考画面缓冲器1840中可用的参考数据生成预测像素块。在编码像素块通过帧内编码或组合的帧间和帧内编码来进行编码的情况下，预测像素块可以通过上文公开的技术获得。预测块可以被提供给像素块解码器1820。
像素块解码器1820可反转由像素块编码器1710应用的编码操作(图17)。回路滤波器1830可以收集由像素块解码器1820输出的像素块，将它们组装成重构帧，并且对重构帧进行滤波。可使用与由编码器的回路滤波器1730(图17)应用的技术相同的技术来执行滤波。经滤波的重构帧可从解码系统1800输出以用于进一步处理。被指定用作参考数据的经滤波的重构帧也可以存储在参考画面缓冲器1840中，以供预测器1850稍后使用。
像素块解码器1820可包括熵解码器1822、去量化器1824、逆变换单元1826和加法器1828。熵解码器1822可执行熵解码以反转由熵编码器1718执行的过程(图17)。去量化器1824可反转像素块编码器1710的量化器1816的操作(图17)。类似地，逆变换单元1826可以反转变换单元1714的操作(图17)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式。因为量化可能截断数据，所以当与呈现给编码器的像素块编码器1710的输入像素块进行比较时，由去量化器1824恢复的像素块很可能具有编码误差(图17)。
加法器1828可反转减法器1710所执行的操作(图17)。它可以接收来自预测器1850的预测像素块，该预测像素块由经编码的视频数据流中的预测参考所确定。加法器1828可以将预测像素块加到由逆变换单元1826输出的重构残差值，并且可以输出重构像素块数据。
回路滤波器1830可对由经编码的视频数据标识的恢复像素块数据执行各种滤波操作。这样，回路滤波器1830的操作模拟编码器1700的对应回路滤波器1730的操作(图17)。
参考画面缓冲器1840可以存储经滤波的帧数据以供在其他像素块的后续预测中使用。参考画面缓冲器1840可以存储整个解码的参考帧，并且其可以存储部分解码的帧，因为其被解码以用于帧内预测，诸如上文关于编码器1700的参考画面存储库1740所述(图17)。
控制器1860可以控制编码系统1800的整个操作。控制器1860可以基于在经编码的视频数据流中接收的参数来设定编码系统1800的各个元件的操作参数。与本讨论相关，除了用于像素块解码器1820和回路滤波器1830的其他参数之外，这些操作参数还可包括用于预测器1850的参数。一方面，可以由语法单元1810从压缩比特流中提取指示这些操作参数的信息。在另一方面，可以从明确编码的语法元素诸如预测模式推断操作参数诸如预测参考。如所讨论的，操作参数可以以图像数据的各种粒度变化，并且可以例如基于每个像素块、每帧、每片、每LCU/CU或基于视频的部分的画面类型以各种级别的压缩比特流语法进行传送和提取。
图19示出了根据本公开的一个方面的一种方法1900。方法1900可以获得预测像素块中的每个位置x，y的像素值，并且可以在应用于本文讨论的编码系统(图2、图17)和解码系统(图3、图18)两者中的预测器中找到应用。方法1900可以通过将预测方向矢量通过像素位置x，y延伸而开始(框1910)。方法1900可确定解码像素数据有多少区域与延伸矢量相交(框1920)，一个或两个。如果延伸矢量与解码像素数据的两个区域相交，则方法1900可从两个区域中的解码像素数据获得位置x，y处的像素值(框1930)。
如果延伸矢量仅与解码像素数据的一个区域相交，则方法1900可延伸与预测方向矢量正交的第二矢量(框1940)。该方法可以从与预测矢量相交的解码像素数据的第一区域以及从与正交预测矢量相交的第二方向获得位置x，y处的像素值(框1950)。
图20和图21示出了方法1900在示例性使用案例中的应用。图20示出了使用案例，其中通过像素位置x，y延伸的预测方向矢量PDV仅在一个区域中与经解码的像素数据相交，该区域被指定为A。在该示例中，经解码的像素数据在区域B中不可用，这发生在正在开发的参考像素块下方的空间区域处。在该示例中，框1940-1950(图19)的操作将被触发，并且方法1900将根据正交于第一预测方向矢量PDV绘制的第二矢量OPV来选择解码像素数据的第二区域C。在该示例中，正交预测矢量OPV与预测方向矢量正交，并且延伸通过位置B，该位置B表示与正在获得的预测像素块的边缘相邻的像素数据区域。位置x，y处的像素值将从区域A和C中可用的解码的像素数据获得。
图21示出了另一个使用案例，其中通过像素位置x，y延伸的预测方向矢量PDV仅在一个区域中与经解码的像素数据相交，该区域被指定为A。同样，经解码的像素数据在区域B中不可用，这发生在正在开发的参考像素块下方的空间区域处。因此，框1940-1950(图19)的操作将被触发，并且方法1900将根据正交于第一预测方向矢量PDV绘制的第二矢量OPV来选择解码像素数据的第二区域C。在该示例中，正交预测矢量OPV与预测方向矢量正交，并且通过像素位置x，y延伸。位置x，y处的像素值将从区域A和C中可用的解码的像素数据获得。
视频编码器和解码器可以多种方式通过信道来交换视频。它们可以经由通信和/或计算机网络彼此通信，如图1所示。在其他应用中，视频编码器可以将视频数据输出给存储设备，诸如电、磁和/或光学存储介质，所述存储设备可以在稍后某个时候被提供给解码器。在此类应用中，解码器可以从存储设备检索所编码的视频数据并对其进行解码。
前述讨论已在包含编码器和/或解码器的端子的上下文中描述了本公开的实施方案的操作。这些部件常常作为电子设备来提供。它们可嵌入集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地，它们可嵌入到在个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们在操作系统控制下被读取到处理器并且被执行。类似地，解码器可实施在集成电路诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中，或者它们可实施在个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器存储并执行的计算机程序中。解码器常常被封装在消费电子设备中，诸如游戏系统、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用中，诸如视频游戏、基于浏览器的媒体播放器等。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合系统。
本文具体示出和/或描述了本公开的若干实施方案。然而，应当理解的是，在不脱离本公开的实质和预期范围的情况下，本公开的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (21)

1.一种图像编码方法，包括：
获得用于预测编码的预测像素块，其中根据以下各项获得所述预测像素块的至少一个像素位置的值：
当分配给所述预测像素块的预测方向矢量指向笛卡尔平面的象限I或III时，从先前解码的像素数据的两个区域中的像素值获得所述像素位置的值，所述先前解码的像素数据的两个区域通过将所述预测方向矢量通过所述像素位置在两个相反方向上延伸而被截取，
当所述预测方向矢量指向所述笛卡尔平面的象限II时，从由所述预测方向矢量通过所述像素位置而截取的一个区域中的像素值以及来自由与所述预测方向矢量正交的矢量截取的第二区域的像素值获得所述像素位置的值；以及
参考所述预测像素块对输入像素块进行差分编码。
2.一种图像解码方法，包括：
获得用于预测编码的预测像素块，其中根据以下各项获得所述预测像素块的至少一个像素位置的值：
当分配给所述预测像素块的预测方向矢量指向笛卡尔平面的象限I或III时，从先前解码的像素数据的两个区域中的像素值获得所述像素位置的值，所述先前解码的像素数据的两个区域通过将所述预测方向矢量通过所述像素位置在两个相反方向上延伸而被截取，
当所述预测方向矢量指向所述笛卡尔平面的象限II时，从由所述预测方向矢量通过所述像素位置截取的一个区域中的像素值以及来自由与所述预测方向矢量正交的矢量截取的第二区域的像素值获得所述像素位置的值；以及
参考所述预测像素块对经编码的像素块进行差分解码。
3.根据权利要求1或2所述的方法，其中所述区域中的至少一个区域是邻接所述预测像素块的边缘的一行先前解码的像素数据。
4.根据权利要求1或2所述的方法，其中所述区域中的至少一个区域是邻接所述预测像素块的边缘的一列先前解码的像素数据。
5.根据权利要求1或2所述的方法，其中所述区域中的至少一个区域是邻接所述预测像素块的边缘的先前解码的像素数据的二维阵列。
6.根据权利要求1或2所述的方法，其中所述正交矢量通过所述像素位置延伸。
7.根据权利要求1或2所述的方法，其中所述正交矢量从所述预测方向矢量截取所述预测像素块的边缘的位置处延伸。
8.一种存储程序指令的计算机可读介质，所述程序指令在由处理设备执行时使得所述处理设备执行图像解码方法，所述方法包括：
获得用于预测编码的预测像素块，其中根据以下各项获得所述预测像素块的至少一个像素位置的值：
当分配给所述预测像素块的预测方向矢量指向笛卡尔平面的象限I或III时，从先前解码的像素数据的两个区域中的像素值获得所述像素位置的值，所述先前解码的像素数据的两个区域通过将所述预测方向矢量通过所述像素位置在两个相反方向上延伸而被截取，
当所述预测方向矢量指向所述笛卡尔平面的象限II时，从由所述预测方向矢量通过所述像素位置截取的一个区域中的像素值以及来自由与所述预测方向矢量正交的矢量截取的第二区域的像素值获得所述像素位置的值；以及
参考所述预测像素块对经编码的像素块进行差分解码。
9.一种解码系统，包括：
视频解码器，所述视频解码器具有针对经编码的像素块的输入、针对预测像素块的输入和针对经解码的像素块的输出，
参考画面缓冲器，所述参考画面缓冲器用于存储从所述经解码的像素块组装的经解码的数据，和
预测器，所述预测器针对要通过帧内编码进行编码的像素块生成预测像素块，其中所述预测像素块具有根据以下各项获得的所述预测像素块的至少一个像素位置的值：
当分配给所述预测像素块的预测方向矢量指向笛卡尔平面的象限I或III时，从先前解码的像素数据的两个区域中的像素值获得所述像素位置的值，所述先前解码的像素数据的两个区域通过将所述预测方向矢量通过所述像素位置在两个相反方向上延伸而被截取，
当所述预测方向矢量指向所述笛卡尔平面的象限II时，从由所述预测方向矢量通过所述像素位置截取的一个区域中的像素值以及来自由与所述预测方向矢量正交的矢量截取的第二区域的像素值获得所述像素位置的值。
10.一种图像编码方法，包括：
获得用于预测编码的预测像素块，其中所述预测像素块的至少一个像素位置的值从所述预测像素块的预测DC值和至少一个源像素获得，所述至少一个源像素选自先前解码的像素数据中最靠近所述像素位置的区域，
参考所述预测像素块对输入像素块进行差分编码。
11.根据权利要求10所述的方法，其中，当所述像素位置在距所述预测像素块的顶边缘为第一阈值距离内时，所述源像素被选择为在先前解码的像素数据的最底行中且在与所述像素位置公共的列中的像素。
12.根据权利要求10所述的方法，其中，当所述像素位置在距所述预测像素块的左边缘为第二阈值距离内时，所述源像素被选择为在先前解码的像素数据的最右列中且在与所述像素位置公共的行中的像素。
13.根据权利要求10所述的方法，其中，当所述像素位置在距所述预测像素块的顶行和所述预测像素块的最左列两者为阈值距离内时，所述一个像素位置的所述值从先前解码的像素数据的最底行中且在与所述像素位置公共的列中的第一源像素以及在先前解码的像素数据的最右列中且在与所述像素位置公共的行中的第二源像素获得。
14.根据权利要求10所述的方法，其中根据所述像素位置与所述源像素的位置之间的距离对所述预测DC值和所述源像素的相对贡献进行加权。
15.一种图像解码方法，包括：
获得用于预测编码的预测像素块，其中所述预测像素块的至少一个像素位置的值从所述预测像素块的预测DC值和至少一个源像素获得，所述至少一个源像素选自先前解码的像素数据中最靠近所述像素位置的区域，
参考所述预测像素块对编码像素块进行预测性地解码。
16.根据权利要求15所述的方法，其中，当所述像素位置在距所述预测像素块的顶边缘为第一阈值距离内时，所述源像素被选择为在先前解码的像素数据的最底行中且在与所述像素位置公共的列中的像素。
17.根据权利要求15所述的方法，其中，当所述像素位置在距所述预测像素块的左边缘为第二阈值距离内时，所述源像素被选择为在先前解码的像素数据的最右列中且在与所述像素位置公共的行中的像素。
18.根据权利要求15所述的方法，其中，当所述像素位置在距所述预测像素块的顶行和所述预测像素块的最左列两者为阈值距离内时，所述一个像素位置的所述值从在先前解码的像素数据的最底行中且在与所述像素位置公共的列中的第一源像素以及在先前解码的像素数据的最右列中且在与所述像素位置公共的行中的第二源像素获得。
19.根据权利要求15所述的方法，其中根据所述像素位置与所述源像素的位置之间的距离对所述预测DC值和所述源像素的相对贡献进行加权。
20.一种存储程序指令的计算机可读介质，所述程序指令在由处理设备执行时使得所述处理设备执行图像解码方法，所述方法包括：
获得用于预测编码的预测像素块，其中所述预测像素块的至少一个像素位置的值从所述预测像素块的预测DC值和至少一个源像素获得，所述至少一个源像素选自先前解码的像素数据中最靠近所述像素位置的区域，
参考所述预测像素块对经编码的像素块进行预测性地解码。
21.一种解码系统，包括：
视频解码器，所述视频解码器具有针对经编码的像素块的输入、针对预测像素块的输入和针对经解码的像素块的输出，
参考画面缓冲器，所述参考画面缓冲器用于存储从所述经解码的像素块组装的经解码的数据，和
预测器，所述预测器针对要通过帧内编码进行编码的像素块生成预测像素块，其中所述预测像素块具有从所述预测像素块的预测DC值和至少一个源像素获得的所述预测像素块的至少一个像素位置的值，所述至少一个源像素选自先前解码的像素数据中最靠近所述像素位置的区域。
CN202110155990.6A 2020-02-05 2021-02-04 平滑定向和dc帧内预测 Active CN113225558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410779080.9A CN118540484A (zh) 2020-02-05 2021-02-04 平滑定向和dc帧内预测

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062970359P 2020-02-05 2020-02-05
US62/970,359 2020-02-05
US16/834,693 2020-03-30
US16/834,693 US11388419B2 (en) 2020-02-05 2020-03-30 Smoothed directional and DC intra prediction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410779080.9A Division CN118540484A (zh) 2020-02-05 2021-02-04 平滑定向和dc帧内预测

Publications (2)

Publication Number Publication Date
CN113225558A true CN113225558A (zh) 2021-08-06
CN113225558B CN113225558B (zh) 2024-07-05

Family

ID=77062983

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410779080.9A Pending CN118540484A (zh) 2020-02-05 2021-02-04 平滑定向和dc帧内预测
CN202110155990.6A Active CN113225558B (zh) 2020-02-05 2021-02-04 平滑定向和dc帧内预测

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410779080.9A Pending CN118540484A (zh) 2020-02-05 2021-02-04 平滑定向和dc帧内预测

Country Status (2)

Country Link
US (2) US11388419B2 (zh)
CN (2) CN118540484A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023023197A1 (en) * 2021-08-19 2023-02-23 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774727A (zh) * 2003-04-15 2006-05-17 诺基亚有限公司 为像素确定覆盖掩模
CN102301720A (zh) * 2009-01-29 2011-12-28 松下电器产业株式会社 图像编码方法以及图像解码方法
CN103563370A (zh) * 2011-05-27 2014-02-05 思科技术公司 用于图像运动预测的方法、装置及计算机程序产品
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
CN110072112A (zh) * 2019-03-12 2019-07-30 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772459B1 (ko) 2010-05-17 2017-08-30 엘지전자 주식회사 신규한 인트라 예측 모드
PT3457689T (pt) 2010-05-25 2020-10-15 Lg Electronics Inc Novo modo de previsão planar
EP2658263B1 (en) 2010-12-22 2022-12-14 LG Electronics Inc. Intra prediction method and apparatus using the method
US9300964B2 (en) 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
CN107852506A (zh) * 2015-05-12 2018-03-27 三星电子株式会社 用于执行帧内预测的图像解码方法及其装置以及用于执行帧内预测的图像编码方法及其装置
US10542264B2 (en) * 2017-04-04 2020-01-21 Arris Enterprises Llc Memory reduction implementation for weighted angular prediction
CN111034196B (zh) * 2017-08-21 2023-11-17 韩国电子通信研究院 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
WO2019172676A1 (ko) * 2018-03-08 2019-09-12 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774727A (zh) * 2003-04-15 2006-05-17 诺基亚有限公司 为像素确定覆盖掩模
CN102301720A (zh) * 2009-01-29 2011-12-28 松下电器产业株式会社 图像编码方法以及图像解码方法
CN103563370A (zh) * 2011-05-27 2014-02-05 思科技术公司 用于图像运动预测的方法、装置及计算机程序产品
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
CN110072112A (zh) * 2019-03-12 2019-07-30 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置

Also Published As

Publication number Publication date
US20220303554A1 (en) 2022-09-22
CN118540484A (zh) 2024-08-23
US20210243451A1 (en) 2021-08-05
CN113225558B (zh) 2024-07-05
US11388419B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
US10419757B2 (en) Cross-component filter
US11539974B2 (en) Multidimensional quantization techniques for video coding/decoding systems
EP3417615B1 (en) Merging filters for multiple classes of blocks for video coding
US20180091812A1 (en) Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN113497937A (zh) 图像编码方法、图像解码方法及相关装置
CN113243106B (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
US20220303554A1 (en) Smoothed directional and dc intra prediction
US20180176564A1 (en) Nonlinear local activity for adaptive quantization
US11758133B2 (en) Flexible block partitioning structures for image/video compression and processing
US20060222065A1 (en) System and method for improving video data compression by varying quantization bits based on region within picture
US20240171742A1 (en) Multidimensional quantization techniques for video coding/decoding systems
CN110784719B (zh) 在视频注释的存在下视频数据的高效编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant