CN110140356B - 使用广角帧内预测的视频和图像编码 - Google Patents
使用广角帧内预测的视频和图像编码 Download PDFInfo
- Publication number
- CN110140356B CN110140356B CN201780082060.4A CN201780082060A CN110140356B CN 110140356 B CN110140356 B CN 110140356B CN 201780082060 A CN201780082060 A CN 201780082060A CN 110140356 B CN110140356 B CN 110140356B
- Authority
- CN
- China
- Prior art keywords
- image block
- prediction
- angle
- intra
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000004590 computer program Methods 0.000 claims abstract description 28
- 238000006073 displacement reaction Methods 0.000 claims description 79
- 230000001154 acute effect Effects 0.000 claims description 13
- 239000010410 layer Substances 0.000 description 33
- 239000000523 sample Substances 0.000 description 29
- 239000013598 vector Substances 0.000 description 22
- 239000013074 reference sample Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种用于解码的方法,包括:接收包括编码图像数据的比特流,在计算机存储器中从比特流形成具有用于图片内方向性预测的参考像素值的参考像素集合,在形成预测像素值时,使用一个或多个选定参考像素(410,420)的值,通过图片内方向性预测来预测预测图像块(P)中的像素值,其中选定参考像素是(410,420)相对于预测像素从预测方向中选择的,并且其中参考像素(410)与预测像素之间的预测方向可以是与左上方向形成钝角的广角预测方向,对多个像素重复像素预测以形成预测图像块,并且使用预测图像块(P)从比特流解码图像块以获取解码图像块。提供了用于解码的相应方法以及用于相同目的的解码器、编码器、计算机程序产品、以及信号。
Description
技术领域
本申请中描述的各种实施例涉及基于方向性帧内预测的图像和/或视频编码。在不同方面,描述了用于在图像和视频编码中使用方向性帧内预测的方法、装置、系统和计算机程序产品、以及用于其的信号或数据结构。
背景技术
本部分旨在提供权利要求中记载的本发明的背景或上下文。本文中的描述可以包括可以实现的概念,但不一定是先前已经构思或实现的概念。因此,除非本文中另有说明,否则本部分中描述的内容不是本申请中的说明书和权利要求的现有技术,并且不因包括在本部分中而被认为是现有技术。
方向性帧内预测通过在要预测的块内定向地外推边界样本,基于块周围的解码样本来生成预测样本块(即,像素值)。该预测的块可以用作编码图像块的基础,并且预测的块与原始块之间的预测误差可以被编码,而不是直接编码原始块。通常,预测越好,图像的编码越高效。经帧内编码的图像通常是最大编码的图像,例如,与经帧间编码的图像相比。
因此,需要一种改进图像和视频的基于方向性帧内预测的编码的解决方案。
发明内容
现在已经发明了一种改进的方法和实现该方法的技术设备,通过该方法和技术设备可以缓解上述问题。本发明的各个方面包括一种方法、装置、服务器、客户端和包括存储在其中的计算机程序的计算机可读介质,其特征在于独立权利要求中所述的内容。在从属权利要求中公开了本发明的各种实施例。
本文中提供了用于使用广角预测方向的图片内方向性预测的方法、装置、系统、计算机程序产品和信号。广角表示从中获取对要预测的像素的参考的方向与左上方向(在“上”和“左”方向中间的方向)形成钝角。这种广角预测模式(即,方向)可以作为选定的模式被直接编码到比特流。使用中的广角方向、它们的数目和精确方向以及它们的概率可以由要预测的块的形状确定。广角模式可以通过其翻转模式对应于传统的窄角模式。这种翻转模式可以与主窄角模式相反,基本上相反,或者成角度但稍微相反。可以选择使用哪种主模式和广角模式。
根据第一方面,提供了一种用于解码的方法,该方法包括:接收包括经编码的图像数据的比特流;在计算机存储器中从比特流形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值;通过在形成预测像素值时使用一个或多个选定的参考像素的值,通过图片内方向性预测来在预测所预测的图像块中的像素值,其中选定的参考像素是相对于预测像素从预测方向中选择的,并且预测方向是与预测像素的左上方向形成钝角的广角预测方向;对多个像素重复像素预测,以形成所预测的图像块;以及在从比特流解码图像块时使用所预测的图像块,以获取经解码的图像块。
所预测的图像块可以具有形状。该方法可以包括从比特流确定形状。该方法可以包括:基于形状,确定要在图片内方向性预测中使用的方向性预测模式;在预测像素值时,从方向性预测模式中选择预测方向。该方法可以包括:确定要在图片内方向性预测中使用的预测模式,基于形状,确定可能的预测模式,从比特流解码指示符,该指示符指示预测方向是否是可能的预测模式之一;以及从可能的预测模式中选择预测方向。该方法可以包括:确定要在图片内方向性预测中使用的方向性预测模式,从比特流解码方向指示符,从主方向和广角方向中选择用于预测像素值的预测方向,主方向和广角方向与方向指示符相关联。该方法可以包括:从比特流解码预测方向选择指示符,以及使用预测方向选择指示符从法线方向和广角方向中选择用于预测像素值的预测方向。该方法可以包括:基于形状,从主方向和广角方向中选择用于预测像素值的预测方向。主方向可以与广角方向相关联,以使得主方向和广角方向是基本上相反的方向。主方向可以与广角方向相关联,以使得主方向和广角方向不是基本上相反的方向,并且主方向和广角方向在左上方向的相对侧。可以存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。该方法可以包括:确定要在图片内方向性预测中使用的预测模式,从比特流中解码方向指示符,形成所预测的预测方向以用于使用形状来预测在法线方向与广角方向之间的像素值,法线方向和广角方向与方向指示符相关联,以及基于所预测的预测方向选择预测方向。
根据第二方面,提供了一种用于编码的方法,包括:接收要被编码的图像数据;在计算机存储器中从图像数据形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值;通过在形成预测像素值时,使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测预测图像块中的像素值,其中选定的参考像素是相对于所预测的像素从预测方向中选择的,并且预测方向是与所预测的像素的左上方向形成钝角的广角预测方向;对多个像素重复像素预测,以形成所预测的图像块;在将图像块编码成比特流时使用所预测的图像块。用于编码的方法可以包括与用于解码的方法类似的特征,以作为如编号示例中描述的编码方法的一部分。
根据第三方面,提供了一种解码器,其被布置为执行如编号示例中描述的用于解码的方法。
根据第四方面,提供了一种编码器,其被布置为执行如编号示例中描述的用于编码的方法。
根据第五方面,提供了一种如编号示例中描述的用于解码的系统。
根据第六方面,提供了一种如编号示例中描述的用于编码的系统。
根据第七方面,提供了一种如编号示例中描述的用于解码的计算机程序产品。
根据第八方面,提供了一种如编号示例中描述的用于编码的计算机程序产品。
根据第九方面,提供了一种如编号示例中描述的在非瞬态计算机可读介质上体现的信号。
附图说明
在下文中,将参考附图更加详细地描述本发明的各种实施例,在附图中:
图1a和1b示出了用于图像或视频编码和解码的系统和设备;
图2a和2b示出了编码器和解码器的框图;
图3a、3b、3c和3d示出了图像的方向性帧内预测;
图4a、4b、4c和4d示出了图像的广角方向性帧内预测;
图5a、5b、5c、5d和5e示出了广角方向性帧内预测模式;以及
图6a、6b、6c和6d示出了采用广角方向性帧内预测的编码和解码的流程图。
具体实施方式
在下文中,将在视频编码和解码的上下文中描述本发明的若干实施例。然而,应当注意,本发明不限于视频编码和解码,而是可用于静态图像编码和解码、以及图像和视频格式之间的转换(转码)。实际上,不同的实施例在需要用于图像或视频编码或解码的方向性帧内预测的任何环境中得到应用。
图1a和1b示出了根据示例的用于图像和/或视频编码和/或传输的系统和设备。在图1a中,不同的设备可以经由固定网络110或移动通信网络120连接,固定网络110是诸如互联网或局域网,通信网络120是诸如全球移动通信系统(GSM)网络、第3代(3G)网络、第3.5代(3.5G)网络、第4代(4G)网络、第5代(5G)网络、无线局域网(WLAN)、或其他现代和未来网络。不同的网络通过通信接口180彼此连接。网络包括用以处理数据的诸如路由器和交换机等网络元件,以及为了向不同设备提供到网络的接入的诸如基站130和131等通信接口,并且基站130、131本身经由固定连接176或无线连接177被连接到移动网络120。
可以存在连接到网络的多个服务器,并且在图1a的示例中示出了用于提供用于图像或视频访问或流传输的网络服务并且连接到固定网络110的服务器140、用于处理(例如,编码或转码)图像/视频数据并且连接到固定网络110的服务器141、以及用于提供网络服务(例如,图像/视频共享服务)并且连接到移动网络120的服务器142。上述设备中的一些(例如,计算机140、141、142)可以使得它们与驻留在固定或无线网络110中的通信元件构成互联网。
还有很多终端用户设备,诸如移动电话和智能电话151、互联网接入设备(互联网平板电脑)150、各种尺寸和格式的个人计算机160、电视和其他观看设备161、视频解码器和播放器162、以及摄像机163和其他编码器。这些设备150、151、160、161、162和163也可以由多个部件组成。各种设备可以经由通信连接被连接到网络110和120,通信连接诸如是到互联网的固定连接170、171、172和180、到互联网110的无线连接173、到移动网络120的固定连接175、以及到移动网络120的无线连接178、179和182等。连接171-182通过通信连接的各个端处的通信接口来实现。根据本文中给出的示例,各种设备可以创建、变换、发送、接收、解码和显示图像和视频。
图1b示出了用于编码和解码(以及转码,即,以不同格式解码和编码)图像或视频数据的设备。如图1b所示,服务器140包含存储器145,一个或多个处理器146、147,以及驻留在存储器145中用于实现例如编码和/或解码功能的计算机程序代码148。不同的服务器141、142可以包含至少这些相同的元件,以利用与各个服务器相关的功能。类似地,终端用户设备151包含存储器152,至少一个处理器153和156,以及驻留在存储器152中用于实现例如编码或解码来自设备相机的图像数据的计算机程序代码154。终端用户设备可以具有一个或多个相机155和159以用于捕获图像数据,例如包括多个帧或静态图像的视频流。终端用户设备还可以包含一个、两个或更多个麦克风157和158以用于捕获声音。不同的终端用户设备150、160可以包含至少这些相同的元件以利用与各个设备相关的功能。终端用户设备还可以包括屏幕以用于查看图形用户界面。终端用户设备和服务器还可以包括在一个模块中实现的用于与其他设备通信的各种通信模块或通信功能。
各种终端用户设备和服务器可以采用通信设备或者具有通信能力的其他设备的形式。例如,设备可以是玩具、诸如厨房机器等家用电器、娱乐设备(TV、音乐/媒体设备)、或者甚至建筑物的部分、衣服、车辆或者可以彼此通信的任何其他设备。
需要理解的是,不同的实施例允许在不同的元件中执行不同的部件。例如,接收和变换图像数据(图像或视频)可以完全在一个用户设备(如150、151或160)中执行,或者在一个服务器设备140、141或142中执行,或者跨多个用户设备150、151、160执行,或者跨多个网络设备140、141、142执行,或者跨用户设备150、151、160和网络设备140、141、142两者执行。例如,图像数据(图像或视频)可以被形成并且存储在一个设备中,图像数据的编码可以在另一设备中发生,并且解码可以在第三设备(例如,服务器)中执行。用于执行功能的相关软件可以驻留在一个设备上或者分布在若干设备上,如上所述,例如使得设备形成所谓的云。
不同的实施例可以实现为在移动设备上并且可选地在服务器上运行的软件。移动电话可以至少配备有存储器、处理器、显示器、小键盘、运动检测器硬件和诸如2G、3G、WLAN等通信装置。不同的设备可以具有类似触摸屏(单点触摸或多点触摸)的硬件和用于定位的装置,例如网络定位或全球定位系统(GPS)模块。设备上可能存在各种应用,诸如日历应用、联系人应用、地图应用、消息应用、浏览器应用、图片库应用、视频播放器应用以及用于办公和/或私人使用的各种其他应用。设备可以具有用于与其他设备通信的各种通信模块。
视频编解码器包括将输入视频转换为适合于存储/传输的压缩表示的编码器和可以将经压缩的视频表示解压缩回可视形式的解码器。通常,编码器丢弃原始视频序列中的一些信息,以便以更紧凑的形式(即,以较低的比特率)表示视频。
典型的混合视频编解码器(例如,ITU-T H.263和H.264)按照两个阶段对视频信息进行编码。首先,例如,由运动补偿装置(找到并且指示与被编码的块紧密相对应的先前编码的视频帧之一中的区域)或者由空间装置(使用要以指定方式编码的块周围的像素值)预测某个图片区域(或“块”)中的像素值。其次,编码预测误差,即预测的像素块与原始的像素块之间的差异。这通常通过使用指定变换(例如,离散余弦变换(DCT)或其变体)来变换像素值的差异,量化系数并且对经量化的系数进行熵编码来实现。通过改变量化过程的保真度,编码器可以控制像素表示的准确度(图片质量)与所得到的经编码的视频表示的大小(文件大小或传输比特率)之间的平衡。
图2a中使出了编码器及其执行的编码方法。在图2a中,要编码的图像In是编码器的输入。输入图像可以是静态图像或视频信号的帧。形成图像块的预测表示P'n,以使得可以从输入图像数据中减去它以获取预测误差信号Dn。使用变换T和量化Q对预测误差信号进行编码。通过逆量化Q-1和逆变换T-1获取经重构的预测误差信号D'n,并且使用经重构的预测误差信号D'n形成初步重构图像I'n。取决于模式(模式选择MS),可以通过帧内预测Pintra或帧间预测Pinter来获取图像块的预测表示P'n。在帧间预测中,滤波F和参考帧存储器RFM用于根据需要存储最终的重构图像R'n。参考帧存储器中的图像对应于由解码器作为解码过程的结果而最终获取的图像。经变换和量化的预测误差以及模式选择和其他编码参数由熵编码器E进行熵编码。所得到的比特流可以被存储或者传输,并且随后由解码器进行解码。
如图2a中的编码器可以包括解码器,该解码器对经编码的图像数据进行解码,以使得经解码的图像数据可以用在预测过程中。经解码的图像数据被存储在缓冲器中,例如,参考图片缓冲器。当编码器通过使用预测对输入视频数据进行编码时,使用来自缓冲器的缓冲的经解码的数据。编码器还可以使用输入视频数据作为预测的基础以用于更快的操作,但是这种方法由于解码器使用经编码和经解码的视频数据(这与由编码器使用的输入视频数据不同)作为预测基础的事实而引入编码误差。
在诸如HEVC[1]等一些视频编解码器中,视频图像被分成覆盖图片的区域的编码单元(CU)。CU包括定义CU内的样本的预测过程的一个或多个预测单元(PU)以及定义上述CU中的样本的预测误差编码过程的一个或多个变换单元(TU)。CU通常包括方形或矩形样本块,该样本块具有可以从预定义的一组可能的CU大小中选择的大小。具有最大允许大小的CU通常被命名为LCU(最大编码单元)或者CTU(编码树单元),并且视频图片被分成非重叠CTU。CTU可以被进一步分割成较小CU的组合,例如,通过递归地分割CTU和结果CU。每个得到的CU通常具有至少一个PU和与之相关联的至少一个TU。每个PU和TU可以被进一步分割成较小的PU和TU,以分别增加预测过程和预测误差编码过程的粒度。每个PU具有与其相关联的预测信息,该预测信息定义将对该PU内的像素应用何种类型的预测(例如,用于帧间预测PU的运动向量信息和用于帧内预测PU的帧内预测方向性信息)。类似地,每个TU与描述用于上述TU内的样本的预测误差解码过程的信息(包括例如DCT系数信息)相关联。通常在CU级用信号通知是否对每个CU应用预测误差编码。在没有与CU相关联的预测误差残差的情况下,可以认为没有用于上述CU的TU。通常,在比特流中用信号通知将图像划分为CU以及将CU划分为PU和TU,从而允许解码器再现这些单元的预期的结构。
帧间预测(也可以称为时间预测、运动补偿或运动补偿预测)减少了时间冗余。在帧间预测中,预测源是先前解码的图片。帧内预测利用相同图片内的相邻像素有可能相关的事实。帧内预测可以在空间域或变换域中执行,即,可以预测样本值或变换系数。帧内预测通常在帧内编码中被利用,其中不应用帧间预测。
编码过程的一个结果是一组编码参数,诸如,运动矢量和经量化的变换系数。如果首先从空间或时间上相邻的参数来预测很多参数,则可以更有效地对它们进行熵编码。例如,可以从空间上相邻的运动矢量预测运动矢量,并且可以仅编码相对于运动矢量预测器的差异。在编码一个或多个静态图像的情况下,输出可以被称为图像比特流,而在编码视频的情况下,输出可以被称为视频比特流。
解码器通过应用与编码器类似的预测装置以形成像素块的预测表示(使用由编码器创建并且存储在压缩表示中的运动信息或空间信息)和预测误差解码装置(在空间像素域中恢复经量化的预测误差信号的预测误差编码的逆操作)来重构输出视频。在应用预测装置和预测误差解码装置之后,解码器对预测和预测误差信号(像素值)求和以形成输出视频帧。解码器(和编码器)还可以应用附加的滤波装置以在传递输出视频以用于显示和/或将其存储为预测参考以用于视频序列中的将至帧之前改善输出视频的质量。
在图2b中示出了解码器及其执行的解码方法。在图2b中,由熵解码器E-1对输入比特流进行解码,以获取预测误差信号和解码模式信息。通过逆量化Q-1和逆变换T-1对预测误差进行解码,以获取经重构的预测误差信号D'n。取决于模式,像素预测利用帧内或帧间预测P来获取图像块的预测表示P'n。参考帧存储器RFM用于存储较早解码的图像。根据经重构的预测误差信号D'n和图像块的预测表示P'n,获取初步重构的图像I'n。该初步重构的图像I'n可以用于帧内预测,并且通过滤波F获取最终重构的图像R'n。输出的最终重构的图像R'n可以被存储在参考图片存储器RFM中,并且可以显示给用户。
分别用于H.264/AVC和H.265编码器的输入以及H.264/AVC和H.265解码器的输出的基本单元是图片。图片可以是帧或字段。帧包括亮度样本和对应的色度样本的矩阵。字段是帧的一组替代样本行,并且当源信号被交织时,可以用作编码器输入。在H.264/AVC和H.265中,宏块是16×16亮度样本块和对应的色度样本块。例如,在4:2:0采样模式中,宏块每个色度分量包含一个8×8色度样本块。在H.264/AVC和H.265中,图片被划分为一个或多个切片组,并且切片组包含一个或多个切片。在H.264/AVC和H.265中,切片包括整数个块。
相反,或者除了利用样本值预测和变换编码来指示经编码的样本值的方法之外,可以使用基于调色板的编码。基于调色板的编码是指一族的方法,该族方法定义了调色板,即一组颜色和相关联的索引,并且编码单元内的每个样本的值通过在调色板中指示其索引而被表示。基于调色板的编码可以在具有相对少量颜色的编码单元(诸如,表示计算机屏幕内容的图像区域,如文本或简单图形)中实现良好的编码效率。为了提高调色板编码的编码效率,可以使用不同种类的调色板索引预测方法,或者可以对调色板索引进行行程编码以能够有效地表示更大的同质图像区域。此外,在CU包含不在CU内重现的样本值的情况下,可以利用转义编码。经转义编码的样本在不参考任何调色板索引的情况下被传输。相反,它们的值是针对每个经转义编码的样本被单独指示的。
在典型的视频编解码器中,利用与每个运动补偿图像块相关联的运动矢量来指示运动信息。这些运动矢量中的每个表示要编码(在编码器侧)或要解码(在解码器侧)的图片中的图像块的位移和在先前编码或解码的图片之一中的预测源块。为了有效地表示运动矢量,通常相对于块特定的预测运动矢量有区别地编码这些运动矢量。在典型的视频编解码器中,以预定义的方式,例如,计算相邻块的经编码或解码的运动矢量的中值,来创建预测的运动矢量。用以创建运动矢量预测的另一方式是从时间参考图片中的相邻块和/或共同定位的块生成候选预测的列表,并且用信号通知所选择的候选来作为运动矢量预测器。除了预测运动矢量值之外,还可以预测先前编码/解码的图片的参考索引。参考索引通常从时间参考图片中的相邻块和/或共同定位的块来预测。此外,典型的高效率视频编解码器采用附加的运动信息编码/解码机制,通常称为合并模式,其中在不经任何修改/校正的情况下预测和使用所有运动场信息,该运动场信息包括每个可用参考图片列表的运动矢量和对应的参考图片索引。类似地,使用时间参考图片中的相邻块和/或共同定位的块的运动场信息来执行运动场信息的预测,并且在填充有可用的相邻/共同定位的块的运动场信息的运动场候选列表中用信号通知所使用的运动场信息。
通常,视频编解码器支持来自一个源图像(单向预测)和两个源(双向预测)的运动补偿预测。在单向预测的情况下,应用单个运动向量,而在双向预测的情况下,用信号通知两个运动向量,并且对来自两个源的运动补偿预测进行平均以产生最终样本预测。在加权预测的情况下,可以调整两个预测的相对权重,或者可以将用信号通知的偏移添加到预测信号。
除了对帧间图片预测应用运动补偿之外,可以将类似的方法应用于帧内图片预测。在这种情况下,位移矢量指示可以从同一图片中复制样本块以形成要编码或解码的块的预测的位置。这种帧内块复制方法可以基本上在帧内存在重复结构(诸如,文本或其他图形)的情况下提高编码效率。
在典型的视频编解码器中,首先用变换内核(如DCT)对运动补偿或帧内预测之后的预测残差进行变换,然后对其进行编码。这样做的原因在于,通常在残差之间仍然存在一些相关性,并且在很多情况下,变换可以帮助减少这种相关性并且提供更有效的编码。
典型的视频编码器利用拉格朗日成本函数来找到最佳编码模式,例如,所期望的宏块模式和相关联的运动矢量。这种成本函数使用加权因子λ将由于有损编码方法引起的(精确的或估计的)图像失真与在图像区域中表示像素值所需要的(精确的或估计的)信息量联系在一起:
C=D+λR,(等式1)
其中C是要最小化的拉格朗日成本,D是考虑到模式和运动矢量的图像失真(例如,均方误差),以及R是表示用以在解码器中重构图像块所需要的数据所需的比特数(包括用于表示候选运动矢量的数据量)。
可伸缩的视频编码是指如下编码结构,其中一个比特流可以包含以不同比特率、分辨率或帧速率的内容的多个表示。在这些情况下,接收器可以根据其特性(例如,与显示设备最匹配的分辨率)提取所期望的表示。或者,服务器或网络元件可以根据例如接收器的网络特性或处理能力来提取要传输到接收器的比特流的部分。可伸缩的比特流通常包括提供可用的最低质量视频的“基础层”和一个或多个增强层,在与较低层一起被接收和解码时,该一个或多个增强层增强视频质量。为了提高增强层的编码效率,该层的编码表示通常取决于较低层。例如,可以从较低层预测增强层的运动和模式信息。类似地,较低层的像素数据可以用于创建针对增强层的预测。
用于质量可伸缩性(也称为信噪比或SNR)和/或空间可伸缩性的可伸缩视频编解码器可以如下实现。对于基础层,使用传统的不可伸缩的视频编码器和解码器。基础层的经重构/经解码的图片被包括在用于增强层的参考图片缓冲器中。在H.264/AVC、HEVC和使用用于帧间预测的(一个或多个)参考图片列表的类似编解码器中,基础层解码的图片可以被插入到(一个或多个)参考图片列表中以用于编码/解码增强层图片,这类似于增强层的经解码的参考图片。因此,编码器可以选择基础层参考图片作为帧间预测参考,并且通常利用经编码的比特流中的参考图片索引来指示其使用。解码器从比特流(例如,从参考图片索引)解码基础层图片被用作增强层的帧间预测参考。当经解码的基础层图片用作增强层的预测参考时,将其称为层间参考图片。
除了质量可伸缩性之外,还存在以下可伸缩性模式:
·空间可伸缩性:基础层图片以低于增强层图片的分辨率被编码。
·比特深度可伸缩性:基础层图片以低于增强层图片(例如,10或12比特)的比特深度(例如,8比特)被编码。
·色度格式可伸缩性:增强层图片提供高于基础层图片(例如,4:2:0格式)的色度保真度(例如,以4:4:4色度格式编码)。
在所有上述可伸缩性情况下,基础层信息可以用于编码增强层以最小化附加的比特率开销。
可伸缩性可以通过两种基本方式来启用:引入用于从可伸缩DE表示的较低层执行对像素值或语法的预测的新编码模式,或者将较低层图片放置到较高层的参考图片缓冲器(经解码的图片缓冲器DPB)。第一种方法更为灵活,因此在大多数情况下可以提供更好的编码效率。然而,第二种基于参考帧的可伸缩性方法可以非常有效地实现,其对单层编解码器的改变最小,同时仍然实现大部分可用的编码效率增益。基本上,基于参考帧的可伸缩性编解码器可以通过对所有层使用相同的硬件或软件,仅通过外部手段来负责DPB管理来实现。
为了能够利用并行处理,可以将图像分成独立可编码和可解码的图像片段(切片或分片)。切片通常是指由以默认编码或解码顺序处理的特定数目的基本编码单元构成的图像片段,而分片通常是指已经被定义为矩形图像区域的图像片段,这些图像片段至少在一定程度上作为单独的帧被处理。
在传统的方向性帧内预测中,可用方向的集合被限制在从块上方-45到+45度和从块左侧-45到+45度的范围内。从右上对角线延伸到左下对角线的180度范围很好地作用于传统的方形帧内预测块。例如,H.264/AVC和H.265/HEVC视频编码标准使用传统的空间帧内预测,其利用方形预测块和范围从块上方-45到+45度和从块左侧-45到+45度的帧内预测方向。
图3a描绘了在H.265/HEVC视频编码标准中使用的帧内预测方向的集合。用于从左边界的水平预测和用于从上边界的竖直预测的数值的范围是从-32到+32,并且以1/32样本准确度定义了每个样本距离的投影差异。换言之,要用于方向性帧内预测的参考像素或像素可以根据与用于预测的边界的水平距离或竖直距离以及所使用的帧内预测方向来确定。例如,值+32对应于预测样本与参考样本之间的每个样本单元的+32/32参考位置偏差(即,使用+45度预测角度)。作为另一示例,水平预测中的值-17表示距离(竖直)边界4个像素的像素相对于要预测的像素的参考位置为-68/32。这表示参考像素位置在从要预测的像素所在的水平向上的第2像素与第3像素之间,并且预测像素的值可以作为第2像素值和第3像素值的加权平均值而被获取为(28*a2+4*a3)/32。通常,帧内预测方向用于确定用于预测的像素或参考像素。然后,使用参考像素或像素来确定预测像素值,例如,通过参考像素值的加权平均值。紧邻块边界(或块边界的延伸)的像素可以用作参考像素。替代地或另外地,可以使用更远离块边界的像素。
图3b示出了预测块内的每个样本在预测过程中利用相同预测方向的方法。在图3b中,圆形像素表示预测样本块,并且黑色方块表示参考样本行。此外,图3b示出了具有固定预测方向的第一和第二行样本的预测投影。如上所述,计算与直接在顶部的参考样本的偏移,使得对于第一行预测样本,偏移为d,对于第二行,偏移为2d,依此类推。
图3c示出了应用根据待预测的样本行距参考行的距离而改变的帧内预测方向。在图3c中,基于距参考样本的竖直距离来评估预测投影。第一、第二、第三和第四行的偏移是d1、d1+d2、d1+d2+d3和d1+d2+d3+d4,其中偏移增加d1、d2、d3和d4的大小不同,例如增加或减小大小。换言之,要预测的块内的预测方向可以改变。例如,可以给出要预测的第一行的预测方向,并且可以从该第一预测方向计算其他行的预测方向。
图3d示出了在块级别应用的相同的方法。预测像素值的每个4×4预测块具有基于块的位置而计算的不同预测方向。第一行块上的块可以使用块上方的参考样本,而第一行块下面的块可以使用紧接在它们上方的块内的样本作为用于预测的参考。每个块将具有其各自的预测方向,该预测方向是基于每个块相对于彼此的位置(或者相对于定义的原点)而确定的。因此,预测方向可以在块之间改变,并且要预测的第一行像素的偏移在这里是d1、d2、d3和d4。
如先前所述,可以使用加权平均来从参考像素值获取预测像素值。除了一行参考像素之外,可以使用多于一行参考像素。预测过程的目的可以被理解为提供一致的平滑的预测块,以使得可以有效地编码剩余的预测误差信号。实际上,编码器可以尝试用不同的预测方向对块进行编码,并且选择提供最佳编码效率的预测方向。
可用的方向性预测方向(也称为方向性预测模式)可以被理解为形成方向性预测模式集合。例如,在H.265/HEVC视频编码标准中使用的方向性帧内预测方向集合或方向性帧内预测模式集合是用于水平预测的-32、-26、-21、-17、-13、-9、-5、-2、0、+2、+5、+9、+13、+17、+21、+26和+32以及用于竖直预测的-32、-26、-21、-17、-13,-9、-5、-2、0、+2、+5、+9、+13、+17、+21、+26和+32。方向-32对于水平预测方向和竖直预测方向是一致的。水平预测中的方向+32与图3a中的+32竖直预测方向完全相反。也可以使用其他组的预测方向。例如,联合探索测试模型4(JEM4)支持帧内预测方向的角度范围与H.265/HEVC相同的矩形(方形和非方形)预测块,但是在H.265/HEVC方向之间引入了更多预测方向。
如图3a中所示,用于预测的左上方向可以理解为从要预测的方形块的中心到块的左上角的45度方向。左上方向可以更一般地理解为朝向水平(左)方向与竖直(向上)方向之间的左上方的45度方向。该左上方向可以用作参考,并且例如图3a中的所有预测方向与该左上方向形成零度角、锐角(小于90度)或直角(90度)。在图3a中,角度示出了水平预测方向(从参考样本到块的左侧进行的预测),并且角度β示出了竖直预测方向(从块上方的参考样本进行的预测)。图3a中的虚线指示水平和竖直边界或边界的延伸、以及相对于左上方向的直角(90度)线。小图中的数字对应于用于预测方向的大图的数字。根据较小图的符号的图也在后面的图中使用。
然而,在非方形块的情况下,特别是如果预测块的水平尺寸与竖直尺寸之间的比率很大,则在此已经注意到,图3a中的这种预测方向的选择可能是次优的。在非方形预测块的情况下,例如图3a的方向性在0与+45度之间(在直接竖直与从右上方向的45度预测之间以及在直接水平与从左下方向的45度预测之间)的一些传统的帧内预测模式可能具有大量有效参考样本块未直接连接到块的任何边界。已经注意到,在这些情况下,可以通过将预测方向“翻转”或旋转180度并且使用块的另一边界(上边界而不是左边界或者左边界而不是上边界)上的参考样本来生成具有相似方向性结构但预测样本与原始样本之间的相关性更高的预测样本块。实际上,这导致使用相对于竖直和水平预测延伸超出传统-45到+45角度范围(即,从左上方向超过-90到90度)的预测方向集合。为了进一步增强由新的帧内预测方向提供的编码效率,本文还描述了这些广角帧内预测方向如何在比特流中用信号通知或者被组合在一起以产生双向预测的帧内块。
本文提供了一种视频/图像编码器,其具有从水平或竖直方向延伸超过传统45度角的帧内预测方向集合,换言之,从左上方向延伸到钝角(广角预测)。可用的预测模式(方向)可以基于预测单元的形状来选择,例如,来自预测单元的较窄方向的陡峭角度被翻转以使用广角预测方向。首先指示块的总体方向性的模式信息可以在比特流中被编码(这可以用于预测后续预测单元的方向性)。在总体预测方向性之后可以检查该方向性的两个相反方向是否都可用作预测模式,并且如果检查指示两者都可用,则指示使用两个相反方向中的哪个方向。基于块的形状或尺寸,主方向和广角方向可以具有不同的概率。
在下文中,描述了广角预测,即,通过使用相对于来自要预测的像素的左上方向的钝角的参考样本进行的预测。图4a示出了具有待预测的块P、可以用作预测过程的参考的已经重构的区域R、以及尚未处理的不可用区域U的图像。
图4b示出了块的左边界和上边界上的参考样本。已经解码的参考样本用实心圆圈示出。不可用的参考样本用空心圆圈示出。这些不可用的参考样本尚未被解码/处理,或者它们可能超出图像边缘。这种不可用的参考样本可以通过在相同边界上用最接近的可用参考样本填充来获取,即,从诸如最接近的可用参考样本等可用参考样本复制值。如果预测方向在从左上方向的直角内,则水平方向和竖直方向上所需的参考样本的数目是w+h+1。这是因为在竖直预测中,与直接在上部的最大偏移等于块的高度h(具有45度右上预测方向),并且块的宽度是w,并且水平预测遵循相同的逻辑。始终需要左上角像素。
图4c示出了非方形预测块,并且示出了针对块的最右边样本的水平+45度预测(长箭头)和针对块的最右边样本的竖直+45度预测(短箭头)。可以看出,只有一个不可用的参考像素(最低的像素)。
图4d示出了非方形预测块、以及水平预测、及其翻转模式(广角模式),其中水平预测具有0到+45度之间的角度(即,与左上方向成锐角)(长箭头),并且翻转模式具有大于+45度(即,与左上方向成钝角)的竖直角度(短箭头)。可以看出,在顶行上使用附加参考样本410(或多于一个附加参考样本,用图案化的黑色填充来标记)以实现从广角方向(短箭头)的预测。在这种广角、即钝角方向性帧内预测中,对于矩形非方形块,可能存在如下优点:用于广角预测的参考像素(图4d中最右边的像素410)更靠近要预测的块的大多数像素并且因此与锐角方向上的主参考样本(图4d中从底部起的第三个参考像素420)相比可以提供与要预测的像素更好的相关性。
当使用传统角度(图3a中从-32到+32的方向)时,可以使用例如最多w+h个“上部和右上角”参考样本,加上一个左上角样本。在广角模式的情况下,需要的比这更多。可以检查上部w+h个样本之外的样本的可用性,并且将它们用作参考样本。或者,这样的“遥远的”参考样本可以被认为是不可用的,并且通过使用已经被标记为可用的最接近的参考样本,可以对它们使用填充(复制)值。
图5a描绘了方向性帧内预测模式(方向)集合。具有相关联的广角模式520、522、525、527(分别)的原始模式510、512、515、517用圆点标记,并且相应的广角模式用方点标记。这种主模式和广角模式可以被理解为形成所谓的广角方向性帧内预测对,这里的对是(510、520)、(512、522)、(515、525)和(517、527)。这些对可以具有相关联的总体方向性,例如,由锐角模式表示,诸如用于对(510、520)的+21。此外,+45度水平和竖直模式(在图5a中列出的+32样本位移)可以表示为主模式-广角模式对,以指定总体方向性(为+32)以及进一步地启用两个方向中的哪个方向,而不是两个单独模式的传统表示。
图5b、5c、5d和5e示出了相关联的广角模式的一些示例。在图5b中,左侧示出了主(锐角)模式530的直接相对“翻转的”广角模式540。通过从180度中减去主模式角度,可以从主模式530获取广角模式540相对于左上方向的角度。也就是说,如果主模式角度为α,角度α为锐角,则广角模式相对于左上方向的角度为180°-α。如图5b中的右边所示,广角模式542可以不与相应的主窄角(锐角)模式532直接相对,但是替代地它可以是大致相反或相反,但不是直接相对。换言之,广角模式可以是这样的:它具有与左上方向(图5b中的强调方向)形成钝角的方向,并且相对于左上方向位于主模式的相对侧。
如图5c所示(左图),主(窄角)模式与广角模式之间的对应关系可以不是形成一对。例如,可以存在两个主模式(窄角模式)550、552,它们具有相同的相关联的广角模式560。这可以通过减少不同模式的数目来提高编码效率。而且,这可以允许选择更接近预测块的参考像素。同样地,可以存在与主窄角模式555相关联的多于一个广角模式565、567。这可以提高编码效率,因为具有相关联的广角模式的主模式较少。
图5d示出了方向性预测广角模式集合的概念。广角模式集合已经用方形标记,并且包括一组广角模式580、582、584。这些广角模式可以与用圆圈标记的主模式570、572、574相关联。这样的广角模式集合可以在比特流中传送。可以在比特流中定义和传送很多广角模式集合。用于编码和解码的广角模式集合可以与广角模式集合指示符一起在比特流中传送。这样的指示符可以放置在例如图片标题或切片标题中,或者放置在从图片或切片引用的参数集合中。
图5e示出了可以使用的一个或多个广角模式集合。例如,模式590、591和592可以在一个广角模式集合中,并且模式595、596、597可以在另一广角模式集合中。在编码和解码时,还可以使用这样的模式集合,使得要使用的模式集合直接在比特流中被传送,并且来自模式集合的模式在比特流中被传送。
根据本发明操作的视频或图像解码器或编码器可以包括具有与预测模式集合的角度超过传统的+45度极限的空间帧内预测方向。虽然这在某种程度上可以有益于传统的方形预测块,但是发现它对于非方形矩形预测块特别有用。这是由于发现一些传统的预测方向在被应用于块的较窄侧的方向时倾向于使大部分参考样本与预测块的边界断开。然而,具有相似方向性的纹理结构可以通过近似反方向(通过将预测方向精确地或大致地“翻转”或旋转180度)来生成。通过执行该操作,大多数参考样本变为预测块的更接近的邻居并且提供统计上更好的预测,并且因此观察到编码效率增益。
可以通过传统的帧内模式编码装置对具有相对于直接水平或直接竖直直接预测超过+45度的方向性的广角预测模式进行编码。也就是说,可以将这些添加到可用预测模式的列表中,可以将单独的模式编号分配给这些模式中的每个模式,并且当经解码的帧内预测模式是指广角模式时,帧内预测过程从所指示的方向执行样本预测。在非方形预测块的情况下,可以有利地修改该过程,并且可以将块的形状视为解码过程的一部分。这样做的一种可能性是仅对于块具有其较大尺寸的主方向包括方向性超过+45度的广角模式。例如,如果预测块的宽度是16个样本并且预测块的高度是4个样本,则方向性帧内预测模式集合可以被定义为包括具有从-45到+45度的角度的窄角水平模式、具有从-45到+45度的角度的窄角度竖直模式和具有大于+45度的角度的一个或多个广角竖直模式(例如,如图5e中所示)。广角模式的数目和方向性还可以取决于块的形状。例如,如果宽度和高度的比率是2:1,则可用模式列表中可以包括一定数目的广角方向,并且如果比率为4:1,则该列表中可以包括另外数目的广角方向。类似地,预测块的形状可以定义在块的可用帧内预测模式的列表中包括多少方向性在-45到+45度之间的窄角模式,例如,以使得块越长,包括越多的广角模式。本文中已经注意到,在要预测的是非方形块的情况下,通过选择广角(钝角)方向可以提供比由锐角预测方向提供的预测更可靠的预测。
指示广角模式的一种可能性是允许对于所有块大小具有从-45度到+45度范围的角度的传统的窄角帧内预测方向集合,并且取决于块形状来决定哪些窄角模式具有与它们相关联的附加“翻转”广角模式(诸如,在图5d中)。以这种方式,解码器可以首先解码定义块的总体方向性的窄角预测模式,并且如果该模式指示具有相关联的广角模式的模式,则它还可以解码附加标识符“使用广角模式而不是主模式”,定义了模式应当被解释为窄角传统模式还是广角翻转模式。这种方法是方便的,因为窄角模式可以用于预测结果预测模式的模式,因为它定义了样本预测过程针对块生成的纹理的方向性。在简单地将具有超过+45度的角度的广角方向作为独立模式添加到预测模式列表的情况下,所得到的模式列表将具有生成相同方向性但具有不同参考样本的成对模式。这可能使预测后续块的方向性的工作不太可靠。
作为替代实施方式,可用于预测块的帧内预测模式的数目可以保持恒定,但解码器可以根据预测块的形状而不同地解释所指示的模式编号。例如,取决于块的形状,与预测模式相关联的一些方向可以被“翻转”到精确或大致180度(参见图5b)。例如,参考图5a,如果预测块的宽度大于预测块的高度,则可以将具有相关联的位移参数+21和+26的水平窄角预测重新解释为具有位移参数+48和+39的竖直广角模式(因为可以预期,由于预测块距其上部参考样本与距其左侧参考样本的相对距离更小,所以竖直预测操作更好)。类似地,如果预测块的宽度小于预测块的高度,则具有相关联的位移参数+21和+26的竖直窄角预测可以被重新解释为具有位移参数+48和+39的水平广角模式。这些预测方向的选择作为示例而被提供,并且在实践中,可以选择具有不同窄角和翻转广角位移参数的不同数目的模式作为广角候选。
作为替代实施方式,可用于预测块的帧内预测模式的数目可以保持恒定,但是模式的熵编码和解码可以基于预测块的形状或尺寸来改变。例如,算术解码器可以使用不同的上下文来解码不同主方向性的预测方向。解码器可以首先从比特流读取所使用的是水平主方向还是竖直主方向的指示,并且基于块的主预测方向和形状来切换不同的上下文模式。或者,在使用最可能的模式预测的方法的情况下,即具有定义选定的预测模式是否在优先模式之中的语法元素的情况下,可以基于块的形状来进行优先模式列表的构建。例如,如果预测块的宽度大于其高度,则可以在集合中在水平候选之前或代替水平候选包括竖直候选模式,并且如果块的宽度小于其高度,则可以在列表中在竖直候选之前或代替竖直候选包括水平模式。
换言之,关于块形状的信息可以影响使用多少个广角方向性预测模式,使用哪些广角方向性预测模式,使用哪些广角方向性预测模式集合,不同模式的概率是什么,等等。这种使用关于块形状的信息的方式可以提高编码效率,因为不是所有信息都需要被显式地编码,或者可以为更可能的参数值分配更短的码字。
基于块形状来选择最可能的模式的方法也可以与传统的窄角图片内方向性预测一起使用。
可以以限定的准确度通过使用原始模式的反转(inverse)从原始窄角模式的位移参数计算“经翻转的”广角位移参数(参见图5b的左图)。例如,在1/32样本精确位移参数的情况下,可以利用整数算法从原始窄角位移参数dN计算广角位移参数dW,如下:
inverseAngle(dN)=(256*32)/dN
dW=32*inverseAngle(dN)>>8
其中>>表示移位运算(这可以对应于计算1024/dN的结果,取决于计算架构,适当地截位或舍入)。以这种方式定义“经翻转的”广角位移参数具有在最后计算dW时避免与可能不是2的幂的参数的除法运算的优点。以这种方式,可以预先计算inverseAngle(dN)(反转角度dN)的中间值并且将其存储在存储器缓冲器中,以在需要由编码器或解码器评估dW时使用。dW也可以以不同方式定义。例如,它不需要具有dN的线性或反转依赖性,但是可以启发式地被找到并且根据dN的值在编码器和相应的解码器中被设置为相等的值。
替代实施方式可以具有与单个窄角模式相关联的多个广角模式,或者与单个广角模式相关联的多于一个窄角模式(参见图5c)。编码器和解码器还可以通过组合窄角模式和相关联的广角翻转模式的样本预测以便创建双预测样本来生成预测。这可以例如通过基于它们与参考样本的距离对预测样本进行加权或者通过其他方法来实现。同样对于双预测的情况或者更一般地在单预测的情况下,可以存在广角模式的偏移指示,以便调整该广角模式来更好地匹配块的期望的纹理结构。
传统的-45到+45度窄角预测需要作为远离预测块的左上角的块宽度加上块高度的最大值的参考样本(如图2b和2c中所示)。在广角预测超过+45度的情况下,可能需要更远的一些参考样本。一种可能性是使用填充(复制最接近的可用参考样本的值)以生成距块的左上角坐标的距离比块宽度+高度更远的参考样本。另一种可能性是使用具有与窄角参考样本范围所使用的相似的可用性条件的已经处理的样本。
为了进一步提高所预测的块的质量,可以在利用广角帧内模式的样本预测之前(例如,对于参考样本)或之后执行滤波和其他调整操作(例如,对预测块的边或内部部分进行滤波)。
视频或图像解码器可以被配置为在相对于主预测方向具有-45度到+45度之间的角度的窄角方向性帧内预测模式与相对于主预测方向具有大于+45度的角度的广角模式之间进行选择,主预测方向是直接水平方向或直接竖直方向。
具有大于或等于+45度角度的一个或多个广角预测模式的可用性取决于预测块的形状。
视频或图像解码器可以解码预测模式标识符,检查经解码的模式是否具有可用的相关联的“翻转”模式(广角模式),并且基于该检查来解码第二标识符,以确定是要使用原始预测方向还是其反方向。
原始(主)预测方向可以主要使用来自块的第一边界的样本和第一预测样本位移参数,并且广角预测方向可以使用来自块的第二边界的样本和第二预测样本位移参数(参见图3b),块的第一边界与块的第二边界不同,并且第一预测样本位移参数与第二预测样本位移参数相同或不同。
可用帧内预测模式集合可以取决于预测块的形状(即,在矩形块结构的情况下,预测块的宽度和高度)。
具有特定标识符的方向性帧内预测模式可以被解释为:如果块的宽度大于块的高度,则具有第一角度,而如果块的宽度小于块的高度,则具有第二角度,第一角度与第二角度不同。
可以存在第一帧内预测模式,其相对于直接水平或直接竖直的主方向具有-45度和+45度之间的角度,其具有相应的广角模式,该广角模式相对于与第一帧内预测模式的主方向不同的另一主方向具有至少+45度的角度。
用于帧内预测模式的熵解码的上下文选择可以取决于块的形状。例如,二进制算术解码器可以根据块是否是方形的块而对模式标识符使用不同的预期概率:假定方形块的向上方向和向左方向的概率大致相等,但是如果块不是方形,则偏置长边的方向。实际上,这提高了编码效率,因为较短的码字用于更可能被编码的符号。
编码器和解码器可以基于块的形状来标识用于预测块的最可能的模式集合,并且编码/解码标识符以指示选定的模式是否是最可能的模式之一。
编码器和解码器可以基于块的形状来标识用于预测块的最可能的模式集合,并且编码/解码标识符以指示上述最可能的模式中的哪个模式是为块选择的模式。
所提出的方法和设备可以提高方向性帧内预测的准确性。当在可用预测模式列表中具有带有相反方向性的方向性预测模式时,还为这种情况提供了有效的信令机制。
在图6a中,示出了解码方法的流程图。在阶段610中,可以从所接收的用于图片内方向性预测的比特流形成参考像素。在阶段612中,可以预测像素值以获取所预测的块。如前所述,可以使用广角预测方向来执行预测。在阶段614中,在从比特流解码图像块时,可以使用所获取的广角帧内预测块。可以从比特流解码预测误差信号并且将其添加到所预测的图像块,以获取经解码的图像块。
在图6b中,示出了编码方法的流程图。在阶段616中,可以从要被编码的图像数据形成参考像素。这些参考像素可以用在随后的图片内方向性预测中。在阶段618中,可以使用广角预测方向来预测像素值以获取所预测的块,如先前所述。在阶段619中,在将图像块编码成比特流时,可以使用广角帧内预测的块。可以从要被编码的图像块中减去所预测的块,以获取预测误差信号。误差信号以及用于图片内方向性预测的参数和指示符可以被编码到比特流中。
在图6c中,示出了解码方法的流程图。在阶段620中,可以从所接收的用于图片内方向性预测的比特流形成参考像素。在阶段622中,可以从比特流确定要被预测的块的形状。在阶段624中,可以基于形状确定使用中的方向性预测模式。在阶段626中,可以确定所使用的方向性预测模式是否在由形状确定的可能的模式中。在阶段630中,可以从比特流接收模式选择指示符。在阶段634中,可以在主模式与主模式的翻转模式之间选择要使用的模式。在阶段636中,可以基于块的形状来选择要使用的模式。在阶段638中,可以基于块的形状在预测模式中选择要使用的模式。在阶段640中,可以预测像素值以获取所预测的块。如前所述,可以使用广角预测方向来执行预测。在阶段642中,在从比特流解码图像块时,可以使用所获取的广角帧内预测的块。可以从比特流解码预测误差信号并且将其添加到所预测的图像块,以获取经解码的图像块。在图6c的方法中,各阶段可以采用与图中绘制的不同的顺序。可以执行个别阶段,也可以省略个别阶段。可以组合不同的阶段,或者可以将不同的阶段视为替代。
在图6d中,示出了编码方法的流程图。在阶段660中,可以从要被编码的图像数据形成参考像素。这些参考像素可以用在随后的图片内方向性预测中。在阶段662中,可以确定要预测的块的形状,使得它可以用在随后的方向性预测中。在阶段664中,可以基于形状来确定使用中的方向性预测模式。在阶段667中,可以确定所使用的方向性预测模式是否处于由形状确定的可能的模式中。在阶段670中,可以将模式选择指示符编码到比特流中。在阶段672中,可以在主模式与主模式的翻转模式之间选择要使用的模式。在阶段674中,可以基于块的形状来选择要使用的模式。在阶段676中,可以基于块的形状在预测模式中选择要使用的模式。在阶段680中,可以使用广角预测方向来预测像素值,以获取所预测的块,如先前所述。在阶段682中,在将图像块编码成比特流时,可以使用广角帧内预测的块。可以从要被编码的图像块中减去所预测的块,以获取预测误差信号。误差信号以及用于图片内方向性预测的参数和指示符可以被编码到比特流中。在图6d的方法中,各阶段可以采用与图中绘制的不同的顺序。可以执行个别阶段,也可以省略个别阶段。可以组合不同的阶段,或者可以将不同的阶段视为替代。
在下文中,给出了经编号的示例。
1.一种方法,包括:
-接收包括经编码的图像数据的比特流,
-在计算机存储器中从所述比特流形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值,
-通过在形成所预测的像素值时使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值,其中所述选定的参考像素是相对于所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-对多个像素重复像素预测,以形成所预测的图像块,
-在从所述比特流解码图像块时使用所述所预测的图像块,以获取经解码的图像块。
2.根据示例1所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-从所述比特流确定所述形状,
-基于所述形状,确定要在所述图片内方向性预测中使用的方向性预测模式,
-在预测所述像素值时,从方向性预测模式中选择所述预测方向。
3.根据示例1或2所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-从所述比特流确定所述形状,
-确定要在所述图片内方向性预测中使用的预测模式,
-基于形状,确定可能的预测模式,
-从所述比特流解码指示符,该指示符指示所述预测方向是否是所述可能的预测模式之一,以及
-从所述可能的预测模式中选择所述预测方向。
4.根据示例1、2或3所述的方法,包括:
-确定要在所述图片内方向性预测中使用的方向性预测模式,
-从所述比特流中解码方向指示符,
-从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向,所述主方向和广角方向与所述方向指示符相关联。
5.根据示例4所述的方法,包括:
-从所述比特流解码预测方向选择指示符,以及
-使用所述预测方向选择指示符从所述法线方向和所述广角方向中选择用于所述预测所述像素值的所述预测方向。
6.根据示例4所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-从所述比特流确定所述形状,
-基于所述形状从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向。
7.根据示例4至6中任一项所述的方法,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向是基本上相反的方向。
8.根据示例4至6中任一项所述的方法,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向不是基本上相反的方向并且所述主方向和所述广角方向位于所述左上方向的相对侧。
9.根据示例4至8中任一项所述的方法,其中存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。
10.根据示例1至9中任一项所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-从所述比特流确定所述形状,
-确定要在所述图片内方向性预测中使用的预测模式,
-从所述比特流解码方向指示符,
-形成所预测的预测方向以用于使用所述形状来进行所述预测在法线方向与广角方向之间的所述像素值,所述法线方向和广角方向与所述方向指示符相关联,以及
-基于所述所预测的预测方向选择所述预测方向。
11.一种方法,包括:
-接收要被编码的图像数据,
-在计算机存储器中从图像数据形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值,
-通过在形成所预测的像素值时使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值,其中选定的参考像素是相对于所预测的像素从预测方向中选择的,并且预测方向是与所预测的像素的左上方向形成钝角的广角预测方向,
-对多个像素重复像素预测,以形成所预测的图像块,
-使用所述所预测的图像块将图像块编码成比特流。
12.根据示例11所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-基于所述形状,确定要在所述图片内方向性预测中使用的方向性预测模式,
-在预测所述像素值时,从方向性预测模式中选择所述预测方向。
13.根据示例11或12所述的方法,其中所述所预测的图像块具有形状,所述方法包括:
-确定要在所述图片内方向性预测中使用的预测模式,
-基于所述形状,确定可能的预测模式,
-从所述可能的预测模式中选择所述预测方向,以及
-将指示符编码到所述比特流中,该指示符指示所述预测方向是否是所述可能的预测模式之一。
14.根据示例11、12或13所述的方法,包括:
-确定要在所述图片内方向性预测中使用的方向性预测模式,
-从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向,所述主方向和广角方向与所述方向指示符相关联,以及
-将方向指示符编码到所述比特流中。
15.根据示例14所述的方法,包括:
-使用所述预测方向选择指示符从所述法线方向和所述广角方向中选择用于所述预测所述像素值的所述预测方向,以及
-将预测方向选择指示符编码到所述比特流中。
16.根据示例14所述的方法,其中所述经解码的图像块具有形状,所述方法包括:
-基于所述形状从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向。
17.根据示例14至16中任一项所述的方法,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向是基本上相反的方向。
18.根据示例14至16中任一项所述的方法,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向不是基本上相反的方向并且所述主方向和所述广角方向位于所述左上方向的相对侧。
19.根据示例14至18中任一项所述的方法,其中存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。
20.根据示例11至19中任一项所述的方法,其中所述经解码的图像块具有形状,所述方法包括:
-确定要在所述图片内方向性预测中使用的预测模式,
-形成所预测的预测方向以用于使用所述形状来进行所述预测在法线方向与广角方向之间的所述像素值,所述法线方向和广角方向与方向指示符相关联,以及
-基于所述所预测的预测方向选择所述预测方向,以及
-将方向指示符编码到所述比特流中。
21.一种装置,包括至少一个处理器、包括计算机程序代码的存储器,所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行:
-接收包括经编码的图像数据的比特流,
-在计算机存储器中从所述比特流形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值,
-在形成所预测的像素值时,使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-对多个像素重复像素预测,以形成所预测的图像块,
-在从所述比特流解码图像块时使用所述所预测的图像块以获取经解码的图像块。
22.根据示例21所述的装置,其中所述所预测的图像块具有形状,所述装置包括用以使得所述装置执行以下项的计算机程序代码:
-从所述比特流确定所述形状,
-基于形状,确定要在所述图片内方向性预测中使用的方向性预测模式,
-在预测像素值时,从方向性预测模式中选择所述预测方向。
23.根据示例21或22所述的装置,其中所述所预测的图像块具有形状,所述装置包括用以使得所述装置执行以下项的计算机程序代码:
-从所述比特流确定所述形状,
-确定要在所述图片内方向性预测中使用的预测模式,
-基于所述形状,确定可能的预测模式,
-从所述比特流解码指示符,该指示符指示所述预测方向是否是所述可能的预测模式之一,以及
-从所述可能的预测模式中选择所述预测方向。
24.根据示例21、22或23所述的装置,包括用以使得所述装置执行以下项的计算机程序代码:
-确定要在所述图片内方向性预测中使用的方向性预测模式,
-从所述比特流解码方向指示符,
-从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向,所述主方向和广角方向与所述方向指示符相关联。
25.根据示例24所述的装置,包括用以使得所述装置执行以下项的计算机程序代码:
-从所述比特流解码预测方向选择指示符,以及
-使用所述预测方向选择指示符从所述法线方向和所述广角方向中选择用于所述预测所述像素值的所述预测方向。
26.根据示例24所述的装置,其中所述所预测的图像块具有形状,所述装置包括用以使得所述装置执行以下项的计算机程序代码:
-从所述比特流确定所述形状,
-基于所述形状从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向。
27.根据示例24至26中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向是基本上相反的方向。
28.根据示例24至26中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向不是基本上相反的方向并且所述主方向和所述广角方向位于所述左上方向的相对侧。
29.根据示例24至28中任一项所述的装置,其中存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。
30.根据示例21至29中任一项所述的装置,其中所述所预测的图像块具有形状,所述装置包括用以使得所述装置执行以下项的计算机程序代码:
-确定要在所述图片内方向性预测中使用的预测模式,
-形成所预测的预测方向以用于使用所述形状来进行所述预测在法线方向与广角方向之间的所述像素值,所述法线方向和广角方向与方向指示符相关联,
-基于所述所预测的预测方向来选择所述预测方向,以及
-将所述方向指示符编码到所述比特流中。
31.一种系统,包括至少一个处理器、包括计算机程序代码的存储器,所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述系统至少执行以下项:
-接收包括经编码的图像数据的比特流,
-在计算机存储器中从所述比特流形成参考像素集合,该参考像素集合具有用于图片内方向性预测的参考像素值,
-通过在形成预测像素值时使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-对多个像素重复像素预测,以形成所预测的图像块,
-在从比特流解码图像块时使用所述所预测的图像块,以获取经解码的图像块。
32.一种系统,包括至少一个处理器、包括计算机程序代码的存储器,所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述系统至少执行以下项:
-接收要编码的图像数据,
-在计算机存储器中从图像数据形成参考像素集合,该参考像素结合具有用于图片内方向性预测的参考像素值,
-通过在形成预测像素值时,使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在将图像块编码成比特流时使用所述所预测的图像块。
33.一种装置,包括:
-用于接收包括经编码的图像数据的比特流的装置,
-用于在计算机存储器中从所述比特流形成参考像素集合的装置,该参考像素集合具有用于图片内方向性预测的参考像素值,
-用于通过在形成预测像素值时,使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值的装置,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-用于对多个像素重复所述像素预测,以形成所预测的图像块的装置,
-用于在从比特流解码图像块时使用所述所预测的图像块以获取经解码的图像块的装置。
34.根据示例33所述的装置,其中所述所预测的图像块具有形状,所述装置包括:
-用于从所述比特流确定所述形状的装置,
-用于基于所述形状,确定要在图片内方向性预测中使用的方向性预测模式的装置,
-用于在预测所述像素值时从所述方向性预测模式中选择所述预测方向的装置。
35.根据示例33或34所述的装置,其中所述预测图像块具有形状,所述装置包括:
-用于从所述比特流确定所述形状的装置,
-用于确定要在所述图片内方向性预测中使用的预测模式的装置,
-用于基于所述形状,确定可能的预测模式的装置,
-用于从所述比特流中解码指示符的装置,所述指示符指示所述预测方向是否是所述可能的预测模式之一,以及
-用于从所述可能的预测模式中选择所述预测方向的装置。
36.根据示例33、34或35所述的装置,包括:
-用于确定要在图片内方向性预测中使用的方向性预测模式的装置,
-用于从所述比特流解码方向指示符的装置,
-用于从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向的装置,所述主方向和广角方向与所述方向指示符相关联。
37.根据示例36所述的装置,包括:
-用于从所述比特流解码预测方向选择指示符的装置,以及
-用于使用所述预测方向选择指示符从所述法线方向和所述广角方向中选择用于所述预测所述像素值的所述预测方向的装置。
38.根据示例36所述的装置,其中所述所预测的图像块具有形状,所述装置包括:
-用于从所述比特流确定所述形状的装置,
-用于基于所述形状从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向的装置。
39.根据示例36至38中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向是基本上相反的方向。
40.根据示例36至38中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向不是基本上相反的方向并且所述主方向和所述广角方向位于所述左上方向的相对侧。
41.根据示例36至40中任一项所述的装置,其中存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。
42.根据示例33至41中任一项所述的装置,其中所述所预测的图像块具有形状,所述装置包括:
-用于从所述比特流确定所述形状的装置,
-用于确定要在所述图片内方向性预测中使用的预测模式的装置,
-用于从所述比特流解码方向指示符的装置,
-用于形成预测的预测方向以用于使用所述形状来进行所述预测在法线方向与广角方向之间的所述像素值的装置,所述法线方向和广角方向与所述方向指示符相关联,以及
-用于基于所述预测的预测方向选择所述预测方向的装置。
43.一种装置,包括:
-用于接收要被编码的图像数据的装置,
-用于在计算机存储器中从所述图像数据形成参考像素集合的装置,该参考像素集合具有用于图片内方向性预测的参考像素值,
-用于通过在形成预测像素值时,使用一个或多个选定的参考像素的值,通过图片内方向性预测来预测所预测的图像块中的像素值的装置,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,
-用于对多个像素重复所述像素预测,以形成所预测的图像块的装置,
-用于使用所述所预测的图像块将图像块编码成比特流的装置。
44.根据示例43所述的装置,其中所述所预测的图像块具有形状,所述装置包括:
-用于基于所述形状确定要在所述图片内方向性预测中使用的方向性预测模式的装置,
-用于在预测像素值时从方向性预测模式中选择所述预测方向的装置。
45.根据示例43或44所述的装置,其中所述所预测的图像块具有形状,所述装置包括:
-用于确定要在所述图片内方向性预测中使用的预测模式的装置,
-用于基于所述形状,确定可能的预测模式的装置,
-用于从所述可能的预测模式中选择所述预测方向的装置,以及
-用于将指示符编码到所述比特流中的装置,该指示符指示所述预测方向是否是所述可能的预测模式之一。
46.根据实施例43、44或45所述的装置,包括:
-用于确定要在所述图片内方向性预测中使用的方向性预测模式的装置,
-用于从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向的装置,所述主方向和广角方向与所述方向指示符相关联,以及
-用于将方向指示符编码到所述比特流中的装置。
47.根据示例46所述的装置,包括:
-用于使用所述预测方向选择指示符从所述法线方向和所述广角方向中选择用于所述预测所述像素值的所述预测方向的装置,以及
-用于将预测方向选择指示符编码到所述比特流中的装置。
48.根据示例46所述的装置,其中所述解码图像块具有形状,所述装置包括:
-用于基于所述形状从主方向和广角方向中选择用于所述预测所述像素值的所述预测方向的装置。
49.根据实施例46至48中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向是基本上相反的方向。
50.根据示例46至48中任一项所述的装置,其中所述主方向与所述广角方向相关联,以使得所述主方向和所述广角方向不是基本上相反的方向并且所述主方向和所述广角方向位于所述左上方向的相对侧。
51.根据示例46至50中任一项所述的装置,其中存在与一个主方向相关联的多于一个广角方向,或者多于一个主方向具有相同的相关联的广角方向,或者存在与一个主方向相关联的多于一个广角方向并且多于一个主方向具有相同的相关联的广角方向。
52.根据示例43至51中任一项所述的装置,其中所述经解码的图像块具有形状,所述装置包括:
-用于确定要在图片内方向性预测中使用的预测模式的装置,
-用于形成所预测的预测方向以用于使用所述形状来进行所述预测在法线方向与广角方向之间的所述像素值的装置,所述法线方向和广角方向与方向指示符相关联,以及
-用于基于所述所预测的预测方向选择所述预测方向的装置,以及
-用于将方向指示符编码到所述比特流中的装置。
53.一种在非瞬态计算机可读介质上体现的比特流信号,所述信号被布置为,当在解码器上被解码时,使得所述解码器从所述比特流信号中解码图像数据,所述信号包括通过使用图片内方向性预测形成的编码预测误差信号,其中通过在形成所预测的像素值时使用一个或多个选定的参考像素的值,通过图片内方向性预测在所预测的图像块中形成所预测的像素值,其中所述选定的参考像素是相对于所述所预测的像素从预测方向中选择的,并且所述预测方向是与所述所预测的像素的左上方向形成钝角的广角预测方向,所述比特流信号被布置为使得所述解码器将预测方向选择为用于解码所述比特流的广角预测方向。
54.一种在非瞬态计算机可读介质上体现的比特流信号,所述信号被布置为,当在解码器上被解码时使得所述解码器从所述比特流信号中解码图像数据,所述信号包括用于确定要解码的图像块的形状的信息,所述解码使用预测方向采用图片内方向性预测,可能的预测模式与所述形状相关联,并且所述比特流包括指示所述预测方向是否是与所述形状相关联的所述可能的预测模式之一的指示符,以使得所述解码器选择用于解码所述比特流的预测方向。
本发明的各种实施例可以借助于驻留在存储器中并且使得相关装置实现本发明的计算机程序代码来实现。例如,设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码、以及当运行计算机程序代码时使得该设备执行实施例的特征的处理器。再进一步地,诸如服务器等网络设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码、以及当运行计算机程序代码时使得该网络设备执行实施例的特征的处理器。
显然,本发明不仅仅限于以上呈现的实施例,而是可以在所附权利要求的范围内进行修改。
Claims (14)
1.一种用于图像解码的方法,包括:
-接收包括经编码的图像数据的比特流,
-从所述比特流确定用于图像块的帧内预测模式,
-从所述比特流确定所述图像块的宽度和高度,
-通过解释所述帧内预测模式,确定方向性帧内预测的位移参数,其中所述解释包括:
比较所述图像块的宽度和高度;
如果所述图像块的宽度大于所述图像块的高度,则将具有第一位移参数的至少一个水平窄角帧内预测模式解释为具有第二位移参数的竖直广角帧内预测模式,其中所述第二位移参数大于所述第一位移参数;并且
如果所述图像块的宽度小于所述图像块的高度,则将具有第三位移参数的至少一个竖直窄角帧内预测模式解释为具有第四位移参数的水平广角帧内预测模式,其中所述第四位移参数大于所述第三位移参数;
-使用所确定的位移参数来预测所预测的图像块中的像素值,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在从所述比特流中解码图像块时使用所预测的所述图像块,以获取经解码的图像块,
其中,所述广角表示从中获取对要预测的像素的参考的方向与左上方向形成钝角,所述窄角表示从中获取对要预测的像素的参考的方向与左上方向形成锐角。
2.根据权利要求1所述的方法,还包括在所述图像块的高度大于所述图像块的宽度的情况下,选择具有对应于相对于直接水平方向超过+45度的方向性的位移参数的水平广角帧内预测方向。
3.根据权利要求1所述的方法,还包括,在所述图像块的宽度大于所述图像块的高度的情况下,选择具有对应于相对于直接竖直方向超过+45度的方向性的位移参数的竖直广角帧内预测方向。
4.根据权利要求3所述的方法,还包括:
确定多个帧内预测模式;以及
通过根据所述图像块的宽度和高度解释所述帧内预测模式,为来自所述多个帧内预测模式的相应的帧内预测模式,确定用于帧内预测的相应的位移参数,以及
其中所述图像块越长,多个广角帧内预测模式越多,并且所述图像块越短,所述多个广角帧内预测模式越少。
5.一种用于图像编码的方法,包括:
-接收包括要被编码的图像数据的比特流,
-从所述比特流确定用于图像块的帧内预测模式,
-从所述比特流确定所述图像块的宽度和高度,
-通过解释所述帧内预测模式,确定方向性帧内预测的位移参数,其中所述解释包括:
比较所述图像块的宽度和高度;
如果所述图像块的宽度大于所述图像块的高度,则将具有第一位移参数的至少一个水平窄角帧内预测模式解释为具有第二位移参数的竖直广角帧内预测模式,其中所述第二位移参数大于所述第一位移参数;并且
如果所述图像块的宽度小于所述图像块的高度,则将具有第三位移参数的至少一个竖直窄角帧内预测模式解释为具有第四位移参数的水平广角帧内预测模式,其中所述第四位移参数大于所述第三位移参数;
-使用所确定的位移参数来预测所预测的图像块中的像素值,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在从比特流编码图像块时使用所预测的所述图像块,以获得编码的图像块,
其中,所述广角表示从中获取对要预测的像素的参考的方向与左上方向形成钝角,所述窄角表示从中获取对要预测的像素的参考的方向与左上方向形成锐角。
6.根据权利要求5所述的方法,还包括:
在所述图像块的宽度大于所述图像块的高度的情况下,选择具有对应于相对于直接竖直方向超过+45度的方向性的位移参数的竖直广角帧内预测方向;以及
在所述图像块的高度大于所述图像块的宽度的情况下,选择具有对应于相对于直接水平方向超过+45度的方向性的位移参数的水平广角帧内预测方向。
7.根据权利要求5所述的方法,还包括:
确定多个帧内预测模式;以及
通过根据所述图像块的宽度和高度解释所述帧内预测模式,为来自所述多个帧内预测模式的相应的帧内预测模式,确定用于帧内预测的相应的位移参数,以及
其中所述图像块越长,多个广角帧内预测模式越多,并且所述图像块越短,所述多个广角帧内预测模式越少。
8.一种装置,包括至少一个处理器、包括计算机程序代码的存储器,所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下项:
-接收包括经编码的图像数据的比特流,
-从所述比特流确定用于图像块的帧内预测模式,
-从所述比特流确定所述图像块的宽度和高度,
-通过解释所述帧内预测模式,确定方向性帧内预测的位移参数,其中所述解释包括:
比较所述图像块的宽度和高度;
如果所述图像块的宽度大于所述图像块的高度,则将具有第一位移参数的至少一个水平窄角帧内预测模式解释为具有第二位移参数的竖直广角帧内预测模式,其中所述第二位移参数大于所述第一位移参数;并且
如果所述图像块的宽度小于所述图像块的高度,则将具有第三位移参数的至少一个竖直窄角帧内预测模式解释为具有第四位移参数的水平广角帧内预测模式,其中所述第四位移参数大于所述第三位移参数;
-使用所确定的位移参数来预测所预测的图像块中的像素值,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在从所述比特流解码图像块时使用所预测的所述图像块,以获取经解码的图像块,
其中,所述广角表示从中获取对要预测的像素的参考的方向与左上方向形成钝角,所述窄角表示从中获取对要预测的像素的参考的方向与左上方向形成锐角。
9.根据权利要求8所述的装置,还被使得执行:在所述图像块的宽度大于所述图像块的高度的情况下,选择具有对应于相对于直接竖直方向超过+45度的方向性的位移参数的竖直广角帧内预测方向。
10.根据权利要求8所述的装置,还被使得执行:在所述图像块的高度大于所述图像块的宽度的情况下,选择具有对应于相对于直接水平方向超过+45度的方向性的位移参数的水平广角帧内预测方向。
11.根据权利要求8所述的装置,还被使得执行:
确定多个帧内预测模式;以及
通过根据所述图像块的宽度和高度解释所述帧内预测模式,为来自所述多个帧内预测模式的相应的帧内预测模式,确定用于帧内预测的相应的位移参数,以及
其中所述图像块越长,多个广角帧内预测模式越多,并且所述图像块越短,所述多个广角帧内预测模式越少。
12.一种装置,包括至少一个处理器、包括计算机程序代码的存储器,所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下项:
-接收包括要被编码的图像数据的比特流,
-从所述比特流确定用于图像块的帧内预测模式,
-从所述比特流确定所述图像块的宽度和高度,
-通过解释所述帧内预测模式,确定方向性帧内预测的位移参数,其中所述解释包括:
比较所述图像块的宽度和高度;
如果所述图像块的宽度大于所述图像块的高度,则将具有第一位移参数的至少一个水平窄角帧内预测模式解释为具有第二位移参数的竖直广角帧内预测模式,其中所述第二位移参数大于所述第一位移参数;并且
如果所述图像块的宽度小于所述图像块的高度,则将具有第三位移参数的至少一个竖直窄角帧内预测模式解释为具有第四位移参数的水平广角帧内预测模式,其中所述第四位移参数大于所述第三位移参数;
-使用所确定的位移参数来预测所预测的图像块中的像素值,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在从所述比特流编码图像块时使用所预测的所述图像块,以获得编码的图像块,
其中,所述广角表示从中获取对要预测的像素的参考的方向与左上方向形成钝角,所述窄角表示从中获取对要预测的像素的参考的方向与左上方向形成锐角。
13.根据权利要求11所述的装置,其中所述装置还被使得执行:
在所述图像块的宽度大于所述图像块的高度的情况下,选择具有对应于相对于直接竖直方向超过+45度的方向性的位移参数的竖直广角帧内预测方向;以及
在所述图像块的高度大于所述图像块的宽度的情况下,选择具有对应于相对于直接水平方向超过+45度的方向性的位移参数的水平广角帧内预测方向。
14.一种非瞬态计算机可读介质,存储有计算机程序代码,所述计算机程序代码在执行时,被配置为:
-接收包括经编码的图像数据的比特流,
-从所述比特流确定用于图像块的帧内预测模式,
-从所述比特流确定所述图像块的宽度和高度,
-通过解释所述帧内预测模式,确定方向性帧内预测的位移参数,其中所述解释包括:
比较所述图像块的宽度和高度;
如果所述图像块的宽度大于所述图像块的高度,则将具有第一位移参数的至少一个水平窄角帧内预测模式解释为具有第二位移参数的竖直广角帧内预测模式,其中所述第二位移参数大于所述第一位移参数;并且
如果所述图像块的宽度小于所述图像块的高度,则将具有第三位移参数的至少一个竖直窄角帧内预测模式解释为具有第四位移参数的水平广角帧内预测模式,其中所述第四位移参数大于所述第三位移参数;
-使用所确定的位移参数来预测所预测的图像块中的像素值,
-对多个像素重复所述像素预测,以形成所预测的图像块,
-在从所述比特流中解码图像块时使用所预测的所述图像块,以获取经解码的图像块,
其中,所述广角表示从中获取对要预测的像素的参考的方向与左上方向形成钝角,所述窄角表示从中获取对要预测的像素的参考的方向与左上方向形成锐角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311356271.6A CN117640953A (zh) | 2017-01-03 | 2017-12-29 | 使用广角帧内预测的视频和图像编码 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20175006 | 2017-01-03 | ||
FI20175006A FI20175006A1 (en) | 2017-01-03 | 2017-01-03 | Video and image coding using wide-angle intra-prediction |
PCT/FI2017/050950 WO2018127624A1 (en) | 2017-01-03 | 2017-12-29 | Video and image coding with wide-angle intra prediction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311356271.6A Division CN117640953A (zh) | 2017-01-03 | 2017-12-29 | 使用广角帧内预测的视频和图像编码 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110140356A CN110140356A (zh) | 2019-08-16 |
CN110140356B true CN110140356B (zh) | 2023-10-27 |
Family
ID=62789367
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780082060.4A Active CN110140356B (zh) | 2017-01-03 | 2017-12-29 | 使用广角帧内预测的视频和图像编码 |
CN202311356271.6A Pending CN117640953A (zh) | 2017-01-03 | 2017-12-29 | 使用广角帧内预测的视频和图像编码 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311356271.6A Pending CN117640953A (zh) | 2017-01-03 | 2017-12-29 | 使用广角帧内预测的视频和图像编码 |
Country Status (13)
Country | Link |
---|---|
US (1) | US11044467B2 (zh) |
EP (3) | EP4093028A1 (zh) |
JP (3) | JP6913755B2 (zh) |
KR (2) | KR102360648B1 (zh) |
CN (2) | CN110140356B (zh) |
AU (1) | AU2017391028B2 (zh) |
BR (1) | BR112019013797A2 (zh) |
CA (2) | CA3048115C (zh) |
FI (1) | FI20175006A1 (zh) |
PH (1) | PH12019501445A1 (zh) |
RU (1) | RU2732996C1 (zh) |
WO (1) | WO2018127624A1 (zh) |
ZA (1) | ZA201904958B (zh) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109155851A (zh) | 2016-05-02 | 2019-01-04 | 汉阳大学校产学协力团 | 利用画面内预测的影像编码、解码方法及装置 |
US10764587B2 (en) * | 2017-06-30 | 2020-09-01 | Qualcomm Incorporated | Intra prediction in video coding |
JP6956543B2 (ja) * | 2017-07-03 | 2021-11-02 | 日本放送協会 | 決定装置、符号化装置、復号装置及びプログラム |
JP2019041165A (ja) | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
JP7043616B2 (ja) | 2017-10-24 | 2022-03-29 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | ビデオ信号処理方法及び装置 |
JP7165192B2 (ja) * | 2017-11-17 | 2022-11-02 | 鴻穎創新有限公司 | 調整済みイントラモードリストに基づいてビデオデータを符号化するための装置および方法 |
KR20240125065A (ko) * | 2017-12-08 | 2024-08-19 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 이미지 인코딩 장치, 이미지 디코딩 장치, 이미지 인코딩 방법 및 이미지 디코딩 방법 |
KR101842178B1 (ko) * | 2018-01-19 | 2018-05-14 | 광성(주) | 선박용 황산화물 저감장치 및 선박용 황산화물 저감장치의 운전방법 |
US10841578B2 (en) * | 2018-02-12 | 2020-11-17 | Tencent America LLC | Method and apparatus for using an intra prediction coding tool for intra prediction of non-square blocks in video compression |
CN117834858A (zh) * | 2018-04-24 | 2024-04-05 | 三星电子株式会社 | 视频编码方法和装置以及视频解码方法和装置 |
US11856184B2 (en) | 2018-05-14 | 2023-12-26 | Interdigital Vc Holdings, Inc. | Block shape adaptive intra prediction directions for quadtree-binary tree |
US11509889B2 (en) | 2018-06-27 | 2022-11-22 | Kt Corporation | Method and apparatus for processing video signal |
EP3815359B1 (en) * | 2018-06-27 | 2024-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Contour mode prediction |
CA3102546A1 (en) | 2018-06-27 | 2020-01-02 | Kt Corporation | Method and apparatus for processing video signal |
US10284844B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
US10567752B2 (en) | 2018-07-02 | 2020-02-18 | Tencent America LLC | Method and apparatus for intra prediction for non-square blocks in video compression |
US10284860B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
US11128872B2 (en) | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
JP2021531677A (ja) * | 2018-07-16 | 2021-11-18 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 広角イントラ予測と位置依存イントラ予測の組み合わせ |
KR102553341B1 (ko) * | 2018-08-12 | 2023-07-06 | 엘지전자 주식회사 | 영상 신호를 처리하기 위한 방법 및 장치 |
BR112021004890A2 (pt) * | 2018-09-13 | 2021-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. | intrapredições ponderadas lineares afins |
MX2021002968A (es) * | 2018-09-19 | 2021-05-12 | Fujitsu Ltd | Aparato de codificacion de video, metodo de codificacion de video, programa de codificacion de video, aparato de decodificacion de video, metodo de decodificacion de video y programa de decodificacion de video. |
JP7323014B2 (ja) * | 2018-09-19 | 2023-08-08 | 富士通株式会社 | 映像復号方法 |
US20220124337A1 (en) * | 2018-09-21 | 2022-04-21 | Interdigital Vc Holdings, Inc. | Harmonization of intra transform coding and wide angle intra prediction |
US10469845B1 (en) * | 2018-09-21 | 2019-11-05 | Tencent America, Llc | Method and apparatus for intra mode coding |
WO2020072249A1 (en) * | 2018-10-01 | 2020-04-09 | Interdigital Vc Holdings, Inc. | Directions for wide angle intra prediction |
US20200112728A1 (en) * | 2018-10-03 | 2020-04-09 | Qualcomm Incorporated | Wide-angle intra prediction for video coding |
NZ776204A (en) * | 2018-11-14 | 2023-02-24 | Huawei Tech Co Ltd | Method and apparatus for intra prediction |
US11109023B2 (en) * | 2018-11-27 | 2021-08-31 | Tencent America LLC | Intra mode selection in intra prediction |
CN112956191A (zh) | 2019-01-02 | 2021-06-11 | Oppo广东移动通信有限公司 | 帧内预测方法及装置、计算机可读存储介质 |
WO2020140219A1 (zh) * | 2019-01-02 | 2020-07-09 | Oppo广东移动通信有限公司 | 帧内预测方法、装置及计算机存储介质 |
CN113545090A (zh) * | 2019-02-01 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 用于帧内子分区编解码模式的方法和设备 |
US11533506B2 (en) * | 2019-02-08 | 2022-12-20 | Tencent America LLC | Method and apparatus for video coding |
US11425374B2 (en) * | 2019-03-12 | 2022-08-23 | FG Innovation Company Limited | Device and method for coding video data |
WO2020216255A1 (en) * | 2019-04-25 | 2020-10-29 | Mediatek Inc. | Method and apparatus of encoding or decoding with mode dependent intra smoothing filter in intra prediction |
JP7030246B2 (ja) | 2019-06-25 | 2022-03-04 | 日本放送協会 | イントラ予測装置、画像復号装置、及びプログラム |
KR20220032634A (ko) * | 2019-08-06 | 2022-03-15 | 에이치에프아이 이노베이션 인크. | 인트라 예측 모드 매핑을 사용하여 비디오 데이터를 인코딩 또는 디코딩하는 방법 및 장치 |
EP4026322A4 (en) * | 2019-09-07 | 2024-01-03 | Beijing Dajia Internet Information Technology Co., Ltd. | PREDICTIVE MODE SIGNALING IN VIDEO CODING |
GB201913403D0 (en) * | 2019-09-17 | 2019-10-30 | Canon Kk | Method and apparatus for encoding and decoding a video stream with subpictures |
CN113439440A (zh) | 2019-12-19 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
JP2020182247A (ja) * | 2020-07-30 | 2020-11-05 | 富士通株式会社 | 画像符号化方法及び画像復号方法 |
JP2020182248A (ja) * | 2020-07-30 | 2020-11-05 | 富士通株式会社 | 画像復号方法及び画像符号化方法 |
JP2020182249A (ja) * | 2020-07-30 | 2020-11-05 | 富士通株式会社 | 画像符号化装置及び画像復号装置 |
US11432006B2 (en) * | 2020-08-14 | 2022-08-30 | Tencent America LLC | Chroma mode video coding |
CN111988627B (zh) * | 2020-08-19 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 一种视频编解码方法及设备 |
WO2023044617A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳市大疆创新科技有限公司 | 编解码方法及装置 |
CN116320428A (zh) * | 2021-12-20 | 2023-06-23 | 维沃移动通信有限公司 | 帧间预测方法及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013160277A1 (en) * | 2012-04-27 | 2013-10-31 | Canon Kabushiki Kaisha | A method, device, computer program, and information storage means for encoding and decoding an image comprising blocks of pixels |
JP2015211265A (ja) * | 2014-04-24 | 2015-11-24 | 富士通株式会社 | 画像符号化方法、画像符号化装置および画像符号化プログラム |
CN105230021A (zh) * | 2014-03-04 | 2016-01-06 | 微软技术许可有限责任公司 | 屏幕内容的词典编码和解码 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003279015A1 (en) * | 2002-09-27 | 2004-04-19 | Videosoft, Inc. | Real-time video coding/decoding |
EP1696679B1 (en) * | 2003-12-10 | 2015-08-26 | NEC Corporation | Projector color correcting method |
WO2008084817A1 (ja) * | 2007-01-09 | 2008-07-17 | Kabushiki Kaisha Toshiba | 画像符号化と復号化の方法及び装置 |
KR101379255B1 (ko) * | 2007-04-06 | 2014-03-28 | 삼성전자주식회사 | 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치 |
JPWO2009001793A1 (ja) | 2007-06-26 | 2010-08-26 | 株式会社東芝 | 画像符号化と画像復号化の方法及び装置 |
US8619857B2 (en) | 2010-04-09 | 2013-12-31 | Sharp Laboratories Of America, Inc. | Methods and systems for intra prediction |
KR101739987B1 (ko) * | 2010-12-28 | 2017-05-26 | 에스케이 텔레콤주식회사 | 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치 |
CN102595118B (zh) * | 2011-01-14 | 2015-04-08 | 华为技术有限公司 | 一种编解码中的预测方法和预测器 |
JP2013012995A (ja) * | 2011-06-30 | 2013-01-17 | Sony Corp | 画像処理装置および方法 |
US9787982B2 (en) * | 2011-09-12 | 2017-10-10 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
JP6135239B2 (ja) * | 2012-05-18 | 2017-05-31 | 株式会社リコー | 画像処理装置、画像処理プログラム、画像処理方法 |
JP5885604B2 (ja) * | 2012-07-06 | 2016-03-15 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
KR101650532B1 (ko) * | 2012-09-28 | 2016-08-23 | 니폰 덴신 덴와 가부시끼가이샤 | 인트라 예측 부호화 방법, 인트라 예측 복호 방법, 인트라 예측 부호화 장치, 인트라 예측 복호 장치, 이들의 프로그램 및 프로그램을 기록한 기록매체 |
GB2508339A (en) * | 2012-11-22 | 2014-06-04 | Sony Corp | Manipulation of transform coefficient blocks in high-efficiency video coding (HEVC) |
US20140286413A1 (en) * | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Disabling sign data hiding in video coding |
EP2936816B1 (en) | 2013-04-09 | 2020-04-29 | MediaTek Singapore Pte Ltd. | Method and apparatus for non-square intra mode coding |
MX2018011198A (es) | 2016-03-16 | 2019-05-20 | Mediatek Inc | Metodo y aparato de procesamiento de datos de video con tamaño restringido de bloque en codificacion de video. |
CN113810705B (zh) * | 2016-04-29 | 2024-05-10 | 世宗大学校产学协力团 | 用于对图像信号进行编码和解码的方法和装置 |
US20170374369A1 (en) | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
-
2017
- 2017-01-03 FI FI20175006A patent/FI20175006A1/en not_active Application Discontinuation
- 2017-12-29 JP JP2019535877A patent/JP6913755B2/ja active Active
- 2017-12-29 CA CA3048115A patent/CA3048115C/en active Active
- 2017-12-29 EP EP22172762.1A patent/EP4093028A1/en active Pending
- 2017-12-29 CN CN201780082060.4A patent/CN110140356B/zh active Active
- 2017-12-29 EP EP24173329.4A patent/EP4383704A3/en active Pending
- 2017-12-29 KR KR1020217028664A patent/KR102360648B1/ko active IP Right Grant
- 2017-12-29 KR KR1020197022716A patent/KR102301656B1/ko active IP Right Grant
- 2017-12-29 CA CA3131100A patent/CA3131100A1/en active Pending
- 2017-12-29 EP EP17890511.3A patent/EP3566450A4/en active Pending
- 2017-12-29 US US16/473,785 patent/US11044467B2/en active Active
- 2017-12-29 CN CN202311356271.6A patent/CN117640953A/zh active Pending
- 2017-12-29 AU AU2017391028A patent/AU2017391028B2/en active Active
- 2017-12-29 WO PCT/FI2017/050950 patent/WO2018127624A1/en active Application Filing
- 2017-12-29 BR BR112019013797A patent/BR112019013797A2/pt unknown
- 2017-12-29 RU RU2019122721A patent/RU2732996C1/ru active
-
2019
- 2019-06-21 PH PH12019501445A patent/PH12019501445A1/en unknown
- 2019-07-29 ZA ZA2019/04958A patent/ZA201904958B/en unknown
-
2021
- 2021-07-12 JP JP2021114685A patent/JP7258958B2/ja active Active
-
2023
- 2023-04-05 JP JP2023061164A patent/JP2023082179A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013160277A1 (en) * | 2012-04-27 | 2013-10-31 | Canon Kabushiki Kaisha | A method, device, computer program, and information storage means for encoding and decoding an image comprising blocks of pixels |
CN105230021A (zh) * | 2014-03-04 | 2016-01-06 | 微软技术许可有限责任公司 | 屏幕内容的词典编码和解码 |
JP2015211265A (ja) * | 2014-04-24 | 2015-11-24 | 富士通株式会社 | 画像符号化方法、画像符号化装置および画像符号化プログラム |
Non-Patent Citations (1)
Title |
---|
《Block shape dependent intra mode coding》;Vadim Seregin 等;《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1 /SC 29/WG 11,JVET-D0114》;20161014;第2.2节 * |
Also Published As
Publication number | Publication date |
---|---|
US11044467B2 (en) | 2021-06-22 |
AU2017391028B2 (en) | 2022-05-12 |
JP2023082179A (ja) | 2023-06-13 |
CN110140356A (zh) | 2019-08-16 |
JP2020503785A (ja) | 2020-01-30 |
EP4383704A3 (en) | 2024-08-21 |
FI20175006A1 (en) | 2019-02-15 |
EP4093028A1 (en) | 2022-11-23 |
JP2021184606A (ja) | 2021-12-02 |
CA3131100A1 (en) | 2018-07-12 |
AU2017391028A1 (en) | 2019-07-18 |
KR20210116673A (ko) | 2021-09-27 |
PH12019501445A1 (en) | 2020-02-10 |
EP3566450A4 (en) | 2020-08-26 |
EP4383704A2 (en) | 2024-06-12 |
US20190356909A1 (en) | 2019-11-21 |
CA3048115C (en) | 2021-11-09 |
FI20175006A (fi) | 2018-07-04 |
CN117640953A (zh) | 2024-03-01 |
KR102360648B1 (ko) | 2022-02-09 |
JP6913755B2 (ja) | 2021-08-04 |
RU2732996C1 (ru) | 2020-09-28 |
CA3048115A1 (en) | 2018-07-12 |
ZA201904958B (en) | 2021-02-24 |
KR102301656B1 (ko) | 2021-09-15 |
KR20190102251A (ko) | 2019-09-03 |
BR112019013797A2 (pt) | 2020-01-21 |
JP7258958B2 (ja) | 2023-04-17 |
EP3566450A1 (en) | 2019-11-13 |
WO2018127624A1 (en) | 2018-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110140356B (zh) | 使用广角帧内预测的视频和图像编码 | |
CN116723315B (zh) | 视频解码的方法和装置、视频编码的方法和装置及存储介质 | |
CN111869212B (zh) | 视频解码方法、装置和可读介质 | |
CN108293136B (zh) | 编码360度全景视频的方法、装置和计算机可读存储介质 | |
CN112235572B (zh) | 视频解码方法和装置以及计算机设备和存储介质 | |
KR101937522B1 (ko) | Shvc 에서 리샘플링 프로세스의 조건적 호출 | |
KR102188488B1 (ko) | 스케일러블 비디오 코딩을 위한 예측 모드 정보 업샘플링 | |
JP2021530906A (ja) | 広角イントラ予測を伴う位置依存イントラ予測組み合わせ | |
KR102301450B1 (ko) | 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법 | |
US20140009574A1 (en) | Apparatus, a method and a computer program for video coding and decoding | |
TWI535273B (zh) | 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體 | |
WO2017093604A1 (en) | A method, an apparatus and a computer program product for encoding and decoding video | |
WO2017178696A1 (en) | An apparatus and a computer program product for video encoding and decoding, and a method for the same | |
KR20150007205A (ko) | 영상의 복호화 방법 및 이를 이용하는 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |