CN114902663A - 用于编码视频数据的设备和方法 - Google Patents

用于编码视频数据的设备和方法 Download PDF

Info

Publication number
CN114902663A
CN114902663A CN202080088003.9A CN202080088003A CN114902663A CN 114902663 A CN114902663 A CN 114902663A CN 202080088003 A CN202080088003 A CN 202080088003A CN 114902663 A CN114902663 A CN 114902663A
Authority
CN
China
Prior art keywords
block
ratio
threshold
equal
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088003.9A
Other languages
English (en)
Inventor
杨雨樵
邓智友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FG Innovation Co Ltd
Original Assignee
FG Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FG Innovation Co Ltd filed Critical FG Innovation Co Ltd
Publication of CN114902663A publication Critical patent/CN114902663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种通过电子设备对比特流进行解码的方法。比特流的图像帧被接收,并具有块宽度和块高度的块单元从接收到的图像帧来确定。所述电子设备基于所述块宽度与所述块高度之间的比较,确定几何分割模式是否针对所述块单元被禁用。当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块。当针对所述块单元禁用所述几何分割模式时,通过基于不同于所述几何分割模式的预测模式来预测所述块单元以生成预测块。所述块单元基于所述预测块而被重建。

Description

用于编码视频数据的设备和方法
相关申请的交叉引用
本公开主张于2019年12月30日提交的名称为“Adjustment of Part itionCandidates for Geometric Partition Prediction”(在下文称为“‘228临时案”)的序列号为62/955228的临时美国专利申请的权益和优先权。‘228临时案的公开内容特此以引用方式完全并入本公开中。
技术领域
本公开总体上涉及视频编码,且具体而言,涉及用于基于图像帧中的块单元的宽度与高度之间的比值来判断是否通过几何分割模式来预测块单元的技术。
背景技术
几何分割模式是视频编码方法中的编码工具。在几何分割模式中,编码器可选择多个合并候选者中的两个以用于预测图像帧中的块单元,并将两个合并索引提供到比特流中,以供解码器辨识所选择的合并候选者。
当几何分割模式被应用于块单元时,编码器和解码器可以沿着分割线分割图像帧中的块单元以生成多个子块。子块中的一些可基于所述两个合并候选者中的仅一个来预测,且子块中的另一些可基于所述两个合并候选者中的两个来预测。因此,当编码器尝试包括用于预测块单元的几何分割模式的多个预测模式时,编码器需要从包括几何结果的多个候选结果中选择块单元的预测结果。
然而,对于编码器而言,在几何分割模式中预测块单元以通过从多个候选线选择分割线及从多个合并候选者选择两个合并候选者以生成几何结果太复杂。因此,为了减少编码过程的复杂性,编码器限制用于预测块单元的几何分割模式的使用可能很重要。解码器还需要知道如何确定几何分割模式被禁用。
发明内容
本公开针对一种用于基于块单元的宽度与高度之间的比较来判断是否对所述块单元应用所述几何分割模式的设备和方法。
在本公开的第一方面中,提供了一种用于对比特流进行解码的方法和用于执行所述方法的电子设备。所述方法包括:接收所述比特流的图像帧;从接收到的所述图像帧确定具有块宽度和块高度的块单元;基于所述块宽度与所述块高度之间的比较,判断几何分割模式是否针对所述块单元被禁用,其中,当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块;当针对所述块单元禁用所述几何分割模式时,通过基于不同于所述几何分割模式的预测模式来预测所述块单元以生成预测块;以及基于所述预测块来重建所述块单元。
在本公开的第二方面中,提供了一种用于对比特流进行解码的方法和用于执行所述方法的电子设备。接收所述比特流的图像帧;从接收到的所述图像帧确定具有块宽度和块高度的块单元;确定所述块宽度与所述块高度之间的比较;当所述比较指示所述块宽度与所述块高度之间的比值大于或等于阈值时,通过基于不同于几何分割模式的第一预测模式来预测所述块单元以生成预测块,其中,当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块;以及基于所述预测块来重建所述块单元。
附图说明
从以下详细公开和对应的附图可最好地理解本公开的各方面。不同特征不是按比例绘制的,并且为了讨论清楚起见,可任意增大或减小各种特征的大小。
图1示出了根据本公开的示例性实施方式的配置为对视频数据进行编码和解码的系统的框图。
图2示出了根据本公开的示例性实施方式的在图1中示出的第二电子设备的解码器模块的框图。
图3示出了根据本公开的示例性实施方式的用于通过电子设备对视频数据进行编码和解码的方法的流程图。
图4A至图4C是根据本公开的示例性实施方式的具有不同块大小的块单元的示意图。
图5A和图5B是根据本公开的示例性实施方式的具有基于分割线分离的不同子块的块单元的示意图。
图6示出了根据本公开的示例性实施方式的在图1中示出的第一电子设备的编码器模块的框图。
具体实施方式
以下公开包括与本公开中的示例性实施方式相关的具体信息。附图和相应的详细公开针对示例性实施方式。然而,本公开并不仅限于这些示例性实施方式。本领域技术人员将想到本公开的其他变形和实施方式。
除非另有说明,否则附图中相同或相应的元件可由相同或相应的参考指示符来表示。附图和说明通常未按比例绘制,并且不旨在对应于实际相对尺寸。
出于一致性和易于理解的目的,相似的特征在示例性附图中由参考指示符标识(但在一些示例中未示出)。然而,不同实施方式中的特征可在其他方面有所不同,并且不应狭窄地局限于附图中所示的内容。
本公开使用的短语“在一个实施方式中,”或“在一些实施方式中,”可各自指代相同或不同实施方式中的一者或多者。术语“耦合”被定义为连接,不论是直接连接还是通过中间部件间接连接,并且不一定限于物理连接。术语“包括”意指“包括但不一定限于”;其具体指示在如此描述的组合、组、系列和等效物中的开放式包括或成员身份。
出于解释和非限制的目的,阐述了诸如功能实体、技术、协议和标准等具体细节以提供对所公开技术的理解。在其他示例中,省略对公知的方法、技术、系统和架构的详细公开,以免不必要的细节使公开不清楚。
本领域技术人员将立即认识到在本公开描述的任何编码功能或算法可由硬件、软件或软件和硬件的组合来实施。所描述的功能可对应于模块,这些模块是软件、硬件、固件或其任何组合。
软件实施方式可包括程序,该程序具有存储在诸如存储器或其他类型的存储设备的计算机可读介质上的计算机可执行指令。例如,具有通信处理能力的一个或多个微处理器或通用计算机可使用可执行指令予以编程,并执行所描述的功能或算法。
这些微处理器或通用计算机可由专用集成电路(ASIC:Applications SpecificIntegrated Circuitry)、可编程逻辑阵列和/或使用一个或多个数字信号处理器(DSP:Digital Signal Processor)形成。虽然公开的若干实施方式是面向在计算机硬件上安装和执行的软件,但是作为固件或硬件或硬件与软件的组合实施的替代实施方式也完全在本公开的范围内。计算机可读介质包括但不限于随机存取存储器(RAM:Random AccessMemory)、只读存储器(ROM:Read Only Memory)、可擦除可编程只读存储器(EPROM:Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM:Electrically Erasable Programmable Read-Only Memory)、闪存、光盘只读存储器(CD-ROM:Compact Disc Read-Only Memory)、盒式磁带、磁带、磁盘存储器或能够存储计算机可读指令的任何其他等效介质。
图1示出了根据本公开的示例性实施方式的配置为对视频数据进行编码和解码的系统的框图。系统100包括第一电子设备110、第二电子设备120和通信介质130。
第一电子设备110可为源设备,其包括配置为编码视频数据且将经编码的视频数据传输到通信介质130的任何设备。第二电子设备120可为目的地设备,其包括配置为经由通信介质130接收经编码的视频数据且解码经编码的视频数据的任何设备。
在至少一个实施方式中,第一电子设备110可经由通信介质130与第二电子设备120有线或无线地通信。第一电子设备110可包括源模块112、编码器模块114和第一接口116。第二电子设备120可包括显示模块122、解码器模块124和第二接口126。第一电子设备110可以是视频编码器,并且第二电子设备120可以是视频解码器。
在至少一个实施方式中,第一电子设备110和/或第二电子设备120可为移动电话、平板计算机、桌上型计算机、笔记本或其他电子设备。图1示出了第一电子设备110和第二电子设备120的一个示例。第一电子设备110和第二电子设备120可包括比图示更多或更少的组件,或具有各种图示的组件的不同配置。
在至少一个实施方式中,源模块112可包括用以捕捉新视频的视频捕捉设备、用以存储先前捕捉的视频的视频存档和/或用以从视频内容提供者接收视频的视频馈送接口。源模块112可生成基于计算机图形的数据作为源视频,或生成实时视频、存档视频和计算机生成的视频的组合作为源视频。视频捕捉设备可为电荷耦合设备(CCD:Charge-CoupledDevice)图像传感器、互补金属氧化物半导体(CMOS:Complementary Metal-Oxide-Semiconductor)图像传感器或相机。
在至少一个实施方式中,编码器模块114和解码器模块124可以各自被实现为各种合适的编码器/解码器电路中的任何一种,诸如一个或多个微处理器、中央处理单元(CPU:Central Processing Unit)、图形处理单元(GPU:Graphic Processing Unit)、片上系统(SoC:System on Chip)、数字信号处理器(DSP:Digital Signal Processor)、专用集成电路(ASIC:Application Specific Integrated Circuit)、现场可编程门阵列(FPGA:FieldProgrammable Gate Array)、离散逻辑、软件、硬件、固件或其任意组合。当部分地以软件实施时,设备可将具有用于软件的指令的程序存储在合适的非暂时性计算机可读介质中,且使用一或多个处理器执行硬件中的指令以执行所公开的方法。在至少一个实施方式中,编码器模块114和解码器模块124中的每一者可被包括于一个或多个编码器或解码器中,编码器或解码器中的任一者可集成为设备中的组合编码器/解码器(CODEC)的一部分。
在至少一个实施方式中,第一接口116和第二接口126可以利用定制的协议或遵循现有标准或实际标准,包括但不限于以太网、IEEE 802.11或IEEE 802.15系列、无线USB或电信标准,包括但不限于全球移动通信系统(GSM:Global System for MobileCommunication)、码分多址2000(CDMA:Code Division Multiple Access 2000)、时分同步码分多址(TD-SCDMA:Time Division Synchronous Code Division Multiple Access)、全球微波互联接入(WiMAX:Worldwide Interoperability for Microwave Access)、第三代合作伙伴计划长期演进(3GPP-LTE:Third Generation Partnership Project Long-TermEvolution)或时分LTE(TD-LTE:Time-Division LTE)。在至少一个实施方式中,第一接口116和第二接口126可各自包括配置为以经由通信介质130传输和/或存储兼容视频比特流和经由通信介质130接收兼容视频比特流的任何设备。
在至少一个实施方式中,第一接口116和第二接口126可以包括计算机系统接口,该计算机系统接口使得兼容视频比特流能够被存储在存储设备上或者从存储设备接收。
例如,第一接口116和第二接口126可包括支持外围组件互连(PCI:PeripheralComponent Interconnect)和高速外围组件互连(PCIe:Peripheral ComponentInterconnect Express)总线协议、专有总线协议、通用串行总线(USB:Universal SerialBus)协议、12C或可用于互连对等设备的任何其他逻辑和物理结构的芯片组。
在至少一个实施方式中,显示模块122可包括使用液晶显示器(LCD:LiquidCrystal Display)技术、等离子体显示技术、有机发光二极管(OLED:Organic LightEmitting Diode)显示技术或发光聚合物显示器(LPD:Light Emitting Polymer Display)技术的显示器,以及在其他实施方式中使用的其他显示技术。显示模块122可包括高清晰度显示器或超高清晰度显示器。
图2示出了根据本公开的示例性实施方式的在图1中示出的第二电子设备120的解码器模块124的框图。解码器模块124包括熵解码器(例如,熵解码单元2241)、预测处理器(例如,预测处理单元2242)、逆量化/逆变换处理器(例如,逆量化/逆变换单元2243)、求和器(例如,求和器2244)、滤波器(例如,滤波单元2245)和经解码图片缓冲器(例如,经解码图片缓冲器2246)。预测处理单元2242进一步包括帧内预测处理器(例如,帧内预测单元22421)和帧间预测处理器(例如,帧间预测单元22422)。解码器模块124接收比特流并对该比特流进行解码以输出经解码视频。
熵解码单元2241可以从图1中的第二接口126接收包括多个语法元素的比特流,并且对比特流执行解析操作以从比特流提取语法元素。作为解析操作的一部分,熵解码单元2241可以对比特流进行熵解码以生成经量化的变换系数、量化参数、变换数据、运动矢量、帧内模式、分割信息以及其他语法信息。
在至少一个实施方式中,熵解码单元2241可执行上下文自适应可变长度编码(CAVLC:Context Adaptive Variable Length Coding)、上下文自适应二进制算术编码(CABAC:Context Adaptive Vinary Arithmetic Coding)、基于语法的上下文自适应二进制算术编码(SBAC:Syntax-based Context-adaptive Binary Arithmetic coding)、概率区间分割熵(PIPE:Probability Interval Partitioning Entropy)编码或另一熵编码技术以生成量化的变换系数。在至少一个实施方式中,熵解码单元2241可以将量化的变换系数、量化参数和变换数据提供给逆量化/逆变换单元2243,并且将运动矢量、帧内模式、分割信息和其他语法信息提供给预测处理单元2242。
在至少一个实施方式中,预测处理单元2242可从熵解码单元2241接收语法元素,例如运动矢量、帧内模式、分割信息和其他语法信息。预测处理单元2242可接收包括分割信息的语法元素,并且根据分割信息划分图像帧。
在至少一个实施方式中,根据分割信息,每个图像帧可以被划分成至少一个图像块。该至少一个图像块可包括用于重建多个亮度样本的亮度块以及用于重建多个色度样本的至少一个色度块。该亮度块和至少一个色度块可以被进一步划分以生成宏块、编码树单元(CTU:Coding Tree Unit)、编码块(CB:Coding Block)、其子分割和/或另一等效的编码单元。
在至少一个实施方式中,在解码处理期间,预测处理单元2242可以接收预测的数据,其包括图像帧中的特定一个图像帧的当前图像块的帧内模式或运动矢量。当前图像块可以是特定图像帧中的亮度块或色度块之一。
在至少一个实施方式中,帧内预测单元22421可基于与帧内模式相关的语法元素,相对于与当前块单元相同的帧中的一个或多个相邻块执行当前块单元的帧内预测编码,以便生成预测块。帧内模式可指定选自当前帧内的相邻块的参考样本的位置。在至少一个实施方式中,当色度分量由预测处理单元2242重建时,帧内预测单元22421可以基于当前块单元的多个亮度分量来重建当前块单元的多个色度分量。
在至少一个实施方式中,在当前块的亮度分量被由预测处理单元2242重建时,帧内预测单元22421可以基于当前块单元的多个亮度分量来重建当前块单元的多个色度分量。
在至少一个实施方式中,帧间预测单元22422可基于与运动矢量相关的语法元素对一或多个参考图像块中的一或多个块执行当前块单元的帧间预测编码,以便生成预测块。
在至少一个实施方式中,运动矢量可指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。参考块单元是被确定为与当前块单元紧密匹配的块。
在至少一个实施方式中,帧间预测单元22422可以接收存储在经解码图片缓冲器2246中的参考图像块,并且基于接收到的参考图像块重建当前块单元。
在至少一个实施方式中,逆量化/逆变换单元2243可应用逆量化和逆变换以在像素域中重建残余块。逆量化/逆变换单元2243可将逆量化应用于残余经量化的变换系数以生成残余变换系数,且接着将逆变换应用于残余变换系数以生成像素域中的残余块。
在至少一个实施方式中,逆变换可通过变换过程(例如,离散余弦变换(DCT:discrete cosine transform)、离散正弦变换(DST:discrete sine transform)、自适应多重变换(AMT:adaptive multiple transform)、模式相关的不可分离二次变换(MDNSST:mode-dependent non-separable secondary transform)、超立方体归根变换(HyGT:hypercube-givens transform)、信号相关变换、卡洛南-洛维变换(KLT:Karhunen-Loévetransform)、小波变换、整数变换、子带变换或概念上类似的变换)来反向应用。
在至少一个实施方式中,逆变换可将残余信息从变换域(例如,频域)转换回到像素域。在至少一个实施方式中,可通过调整量化参数来修改逆量化的程度。求和器2244将残余块添加到来自预测处理单元2242的预测块中,以生成重建块。
在至少一个实施方式中,求和器2244将重建的残余块添加到从预测处理单元2242提供的预测块中,以生成重建块。
在至少一个实施方式中,滤波单元2245可以包括解块滤波器、样本自适应偏移(SAO:sample adaptive offset)滤波器、双边滤波器和/或自适应环路滤波器(ALF:adaptive loop filter),以将块效应从重建块中去除。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外,还可使用额外滤波器(环路内或环路后)。为了简洁起见,这些滤波器未明确说明,但可对求和器2244的输出进行滤波。
滤波单元2245可以在滤波单元2245对特定图像帧的重建块进行滤波处理之后,将解码后的视频输出到显示模块122或其他视频接收单元。
在至少一个实施方式中,经解码图片缓冲器2246可以是参考图片存储器,其存储供预测处理单元2242用于对比特流(以帧间编码模式)进行解码的参考块。经解码图片缓冲器2246可由多种存储器设备中的任一者形成,例如动态随机存取存储器(DRAM:dynamicrandom-access memory),包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻RAM(RRAM),或其他类型的存储器设备。
在至少一个实施方式中,经解码图片缓冲器2246可与解码器模块124的其他组件一起在芯片上,或相对于那些组件在芯片外。
图3示出了根据本公开的示例性实施方式的用于通过电子设备对视频数据进行编码和解码的方法300的流程图。方法300仅是示例,因为存在执行该方法的各种方式。
用于解码比特流和重建块单元的方法300可以使用图1和图2中示出的配置执行,并且关于方法300参考这些图的各个元素。在图3中示出的每个框可以表示执行的一个或多个处理、方法、或者子例程。
图3中的框的顺序仅是说明性的并且可以改变。在不脱离本公开的情况下,可以添加额外的框或者可以使用更少的框。
在框310,解码器模块124接收视频数据的图像帧。视频数据可为比特流。
参照图1和图2,第二电子设备120可以经由第二接口126从诸如第一电子设备110的编码器或者其他视频提供者接收比特流。第二接口126可以向解码器模块124提供比特流。
在至少一个实施方式中,熵解码单元2241可以解码比特流以确定图像帧的多个预测指示和多个分割指示,并且解码器模块124可以进一步基于预测指示和分割指示重建图像帧。预测指示和分割指示可以包括多个标志和多个索引。
在框320,解码器模块124从接收到的视频数据中确定具有块宽度和块高度的块单元。进一步参照图1和图2,解码器模块124可以根据包括在比特流中的分割指示分割图像帧以确定块单元。例如,解码器模块124可分割图像帧以生成多个编码树单元,且可进一步分割编码树单元中的一者以根据分割指示(例如,基于视频编码标准)确定块单元。
图4A至图4C是根据本公开的示例性实施方式的具有不同块大小的块单元的示意图。在至少一个实施方式中,块单元的块大小可以包括块高度Hb和块宽度Wb。例如,块单元410的块大小包括块高度H410和块宽度W410,块单元430的块大小包括块高度H430和块宽度W430,块单元450的块大小包括块高度H450和块宽度W450。在实施方式中,块高度H410可以等于块宽度W410,块宽度W430可以等于8×H430并且块高度H450可以等于4×W450。
在框330,解码器模块124确定块宽度与块高度之间的比较。进一步参照图1和图2,解码器模块124可以基于不等式确定块宽度与块高度之间的比较。
例如,块宽度Wb与块高度Hb之间的比值R可以大于或等于阈值T(即,R≥T)。在一个实施方式中,宽度Wb与块高度Hb之间的比值R可以小于阈值T(即,R<T)。在另一实施方式中,宽度Wb与块高度Hb之间的比值R可以大于阈值T(即,R>T)。在其他实施方式中,宽度Wb与块高度Hb之间的比值R可以小于或等于阈值T(即,R≤T)。
在至少一个实施方式中,解码器模块124可以确定基于块宽度Wb和块高度Hb计算的比率参数RP。在至少一个实施方式中,第一比率参数RP1可以基于除法来计算。在一个实施方式中,当块宽度Wb大于或等于块高度Hb时,第一比率参数RP1可以通过将块宽度Wb除以块高度Hb(即,RP1=Wb/Hb)来计算。当块宽度Wb小于块高度Hb时,第一比率参数RP1可以通过将块高度Hb除以块宽度Wb(即,RP1=Hb/Wb)来计算。在其他实施方式中,当块宽度Wb大于块高度Hb时,第一比率参数RP1可以通过将块宽度Wb除以块高度Hb来计算。因此,当块宽度Wb小于或等于块高度Hb时,第一比率参数RP1可以通过将块高度Hb除以块宽度Wb来计算。
在至少一个实施方式中,第二比率参数RP2可以基于块宽度Wb和块高度Hb通过对数等式来计算。在实施方式中,通过不同公式计算的第一比率参数RP1和第二比率参数RP2中的一个可被设置为块单元的比率参数RP。在至少一个实施方式中,第二比率参数RP2可以等于通过从块宽度的以2为底的对数中减去块高度的以2为底的对数所生成的差值的绝对值(即,RP2=abs(log2 Wb–log2 Hb))。换言之,第二比率参数RP2可以等于商值的以2为底的对数的绝对值,并且通过将块宽度Wb除以块高度Hb或者将块高度Hb除以块宽度Wb来生成商值(即,RP2=abs(log2Wb–log2 Hb)=abs(log2(Wb/Hb))=abs(log2(Hb/Wb)))。第一比率参数RP1可以等于2的第二比率参数RP2次幂。
在至少一个实施方式中,解码器模块124可以将比率参数RP与比率阈值RT进行比较。当比率参数RP大于比率阈值RT时,解码器模块124可以确定该比较指示比值R大于阈值T。当比率参数RP等于比率阈值RT时,解码器模块124可以确定该比较指示比值R等于阈值T。当比率参数RP小于比率阈值RT时,解码器模块124可以确定该比较指示比值R小于阈值T。
在至少一个实施方式中,当第一比率参数RP1被设定为比率参数RP时,解码器模块124可以比较比率参数RP与第一比率阈值RT1。在一个实施方式中,当第一比率参数RP1大于或等于第一比率阈值RT1时,解码器模块124可以确定该比较指示比值R大于或等于阈值T。当第一比率参数RP1小于第一比率阈值RT1时,解码器模块124可以确定该比较指示比值R小于阈值T。在其他实施方式中,当第一比率参数RP1小于或等于第一比率阈值RT1时,解码器模块124可以确定该比较指示比值R小于或等于阈值T。在至少一个实施方式中,第一比率阈值RT1可以是正整数。
在至少一个实施方式中,第一比率阈值RT1可等于2的n次幂,n为正整数。第一比例阈值RT1可被预设为1、2、4或8。例如,当第一比率阈值RT1等于8时,块单元410的第一比率参数RP1等于1,并且块单元450的第一比率参数RP1=H450/W450等于4小于第一比率阈值RT1。当第一比率阈值RT1等于8时,块单元430的第一比率参数RP1=W430/H430等于8不小于第一比率阈值RT1。
在至少一个实施方式中,当第二比率参数RP2被设定为比率参数RP时,解码器模块124可以比较比率参数RP与第二比率阈值RT2。当第二比率参数RP2大于或等于第二比率阈值RT2时,解码器模块124可确定该比较指示比值R大于或等于阈值T。当第二比率参数RP2小于第二比率阈值RT2时,解码器模块124可以确定该比较指示比值R小于阈值T。在其他实施方式中,当第二比率参数RP2小于或等于第二比率阈值RT2时,解码器模块124可以确定该比较指示比值R小于或等于阈值T。
在至少一个实施方式中,第二比率阈值RT2可以是正整数。第二比率阈值RT2可被预设为1、2、3或4。例如,当第二比率阈值RT2等于3时,块单元410的第二比率参数RP2等于0,并且块单元450的第二比率参数RP2等于2小于第二比率阈值RT2。当第二比率阈值RT2等于3时,块单元430的的第二比率参数RP2等于3不小于第二比率阈值RT2。
在至少一个实施方式中,第一比率阈值RT1可以等于2的第二比率阈值RT2次幂,因为第一比率参数RP1等于2的第二比率参数RP2次幂。因此,当解码器模块124将比较从第一不等式RP1<RT1变为第二不等式RP2<RT2时,比较的结果可能不变。
在至少一个实施方式中,当解码器模块124确定块宽度Wb与块高度Hb之间的比较时,解码器模块124可以将块宽度Wb与从块高度Hb生成的第一放大值N1进行比较并且将块高度Hb与从块宽度Wb生成的第二放大值N2进行比较。第一放大值N1可以通过将块高度Hb乘以阈值T来计算,并且第二放大值N2可以通过将块宽度Wb乘以阈值T来计算(即,N1=T×Hb和N2=T×Wb)。
在至少一个实施方式中,当块宽度Wb小于第一放大值N1并且块高度Hb小于第二放大值N2时,解码器模块124可以确定该比较指示比值R小于阈值T。当块宽度Wb大于或等于第一放大值N1时,解码器模块124可以确定该比较指示比值R大于或等于阈值T。当块高度Hb大于或等于第一放大值N2时,解码器模块124可以确定该比较指示比值R大于或等于阈值T。
在至少一个实施方式中,当解码器模块124基于第一放大值N1和第二放大值N2确定比较时,阈值T可以等于第一比率阈值RT1。解码器模块124可以基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定该比较。
在至少一个实施方式中,第一比率阈值RT1可以被预设为1、2、4或8。因此,当解码器模块124基于第一放大值N1和第二放大值N2确定比较时,阈值T可以被预设为1、2、4或8。在至少一个实施方式中,当块宽度Wb大于块高度Hb时,第一除法值Hb/Wb可以小于1。因此,第一除法值Hb/Wb也小于该阈值T,并且当该块宽度Wb大于该块高度Hb时,该第四不等式Hb<RT1×Wb为真。
换言之,当块宽度Wb大于块高度Hb时,比较可仅受第三不等式Wb<RT1×Hb的影响。因此,当块宽度Wb大于块高度Hb时,基于第一不等式RP1=Wb/Hb<RT1确定的比较与基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定的比较相同。
在另一实施方式中,当块宽度Wb小于块高度Hb时,第二除法值Wb/Hb可以小于1。因此,当块宽度Wb小于块高度Hb并且阈值T被预设为1、2、4或8时,第二除法值Wb/Hb也小于阈值T并且第三不等式Wb<RT1×Hb为真。
换言之,当块宽度Wb小于块高度Hb时,比较可仅受第四不等式Hb<RT1×Wb的影响。因此,当块宽度Wb小于块高度Hb时,基于第一不等式RP1=Hb/Wb<RT1确定的比较与基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定的比较相同。
在其他实施方式中,当块宽度Wb等于块高度Hb时,第一分割值和第二分割值可以等于1。因此,当块宽度Wb等于块高度Hb并且阈值T被预设为2、4或8时,第一除法值和第二除法值小于阈值T并且第三不等式和第四不等式为真。因此,当块宽度Wb等于块高度Hb并且阈值T被预设为2、4或8时,基于第一不等式RP1=Hb/Wb<RT1确定的比较与基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定的比较相同。
在框340,解码器模块124基于比较,判断几何分割模式是否针对块单元被禁用。当解码器模块124确定针对块单元禁用几何分割模式时,方法300可前进到框350。当解码器模块124确定针对块单元启用几何分割模式时,该方法可前进到框360。
进一步参照图1和图2,当比较指示块宽度Wb与块高度Hb之间的比值R大于或等于阈值T时,解码器模块124可以确定针对块单元禁用几何分割模式。当所述比较指示块宽度Wb与块高度Hb之间的比值R小于阈值T时,解码器模块124可以确定针对块单元启用几何分割模式。
在至少一个实施方式中,解码器模块124可确定块宽度与块高度之间的比较,以限制几何分割模式的使用。当块单元太窄时,不同相邻分割线的预测结果可能彼此相似。当块单元太窄时,块单元可沿水平方向或垂直方向进一步划分,以生成分别要被预测的两个块单元。
因此,当块单元太窄时,可禁用几何分割模式。例如,当块宽度大于或等于块高度的T倍,或块高度大于或等于块宽度的T倍时,可禁用几何分割模式。在至少一个实施方式中,阈值T可以等于2、4或8。
在至少一个实施方式中,当解码器模块124确定第一比率参数RP1大于或等于第一比率阈值RT1时,可针对块单元禁用几何分割模式。当解码器模块124确定第一比率参数RP1小于第一比率阈值RT1时,可针对块单元启用几何分割模式。
例如,第一比率阈值RT1可等于8。因此,当块单元的第一比率参数RP1大于或等于8时,可针对块单元禁用几何分割模式。
在一般的几何分割模式中,块宽度Wb和块高度Hb大于或等于8。因此,当第一比率阈值RT1等于8时,可不对具有64×8或8×64的块大小的块单元应用几何分割模式。当第一比率阈值RT1等于4时,可不对具有64×8、64×16、32×8、8×64、16×64或8×32的块大小的块单元应用几何分割模式。
在至少一个实施方式中,当解码器模块124确定第二比率参数RP2大于或等于第二比率阈值RT2时,可针对块单元禁用几何分割模式。当解码器模块124确定第二比率参数RP2小于第二比率阈值RT2时,可针对块单元启用几何分割模式。
例如,当第二比率阈值RT2等于3时,可不对具有64×8或8×64的块大小的块单元应用几何分割模式。当第二比率阈值RT2等于2时,可不对具有64×8、64×16、32×8、8×64、16×64或8×32的块大小的块单元应用几何分割模式。
在至少一个实施方式中,当解码器模块124确定块宽度Wb大于或等于第一放大值N1时,可针对块单元禁用几何分割模式。在另一实施方式中,当解码器模块124确定块高度Hb大于或等于第二放大值N2时,可针对块单元禁用几何分割模式。当解码器模块124确定块宽度Wb小于第一放大值N1且块高度Hb小于第二放大值N2时,可针对块单元启用几何分割模式。
例如,当阈值T等于8时,可不对具有64×8或8×64的块大小的块单元应用几何分割模式。换言之,当块宽度Wb大于或等于第一放大值8×Hb或者块高度Hb大于或等于第二放大值8×Wb时,可以不对具有64×8或8×64的块大小的块单元应用几何分割模式。当块宽度Wb大于或等于第一放大值4×Hb或者块高度Hb大于或等于第二放大值4×Wb时,可以不对具有64×8、64×16、32×8、8×64、16×64或8×32的块大小的块单元应用几何分割模式。
在框350,解码器模块124通过使用不同于几何分割模式的第一预测模式来预测块单元以生成预测块。进一步参照图1和图2,解码器模块124可以选择第一预测模式并且基于第一预测模式预测块单元,以在针对块单元禁用几何分割模式时生成预测块。当比较指示块宽度Wb与块高度Hb之间的比值R大于或等于阈值T时,解码器模块124可以基于第一预测模式预测块单元以生成预测块。
在至少一个实施方式中,第一预测模式可选自多个选项模式。选项模式中的每一者不同于几何分割模式。
在至少一个实施方式中,可通过第一合并索引确定用于选择第一预测模式的选项模式。因此,第一预测模式可以是基于第一合并索引而选择的选项模式中的一者。
在实施方式中,第一合并索引可指示包括在合并候选者列表中的第一预测模式。在至少一个实施方式中,选项模式可以是从与块单元相邻的多个相邻块的多个空间运动预测模式、多个并置块的多个时间运动预测模式、存储在先进先出(FIFO:first-in-first-out)表中的基于历史的运动预测模式、多个成对平均运动预测模式及零运动模式中确定的合并候选者列表中的多个合并候选者模式。
在至少一个实施方式中,第一预测模式可指示具有第一参考帧和第一参考矢量V0的第一运动信息。第一参考帧可以从多个参考列表中选择。在至少一个实施方式中,第一运动信息可包括用于确定参考列表中的一者以选择第一参考帧的第一列表标志。在至少一个实施方式中,可基于第一参考矢量V0和第一参考帧来预测块单元中的多个块分量。
在框360,解码器模块124通过使用从包括几何分割模式的多个候选模式中选择的第二预测模式来预测块单元以生成所预测块。进一步参照图1和图2,解码器模块124可以选择第二预测模式并且基于第二预测模式预测块单元,以在针对块单元启用几何分割模式时生成预测块。当比较指示比值R小于阈值T时,解码器模块124可以基于第二预测模式预测块单元以生成预测块。
在至少一个实施方式中,第二预测模式可选自候选模式。在实施方式中,候选模式可包括几何分割模式。在一个实施方式中,候选模式可包括选项模式和几何分割模式。
在至少一个实施方式中,当几何分割模式被应用于块单元以用于预测块单元时,解码器模块124可从比特流确定块单元的分割索引、第二合并索引和第三合并索引。图5A和图5B是根据本公开的示例性实施方式的具有基于分割线分离的不同子块的块单元的示意图。解码器模块124可基于从分割索引确定的分割线511划分块单元510以生成第一子块512、第二子块514及第三子块516。
在至少一个实施方式中,分割索引可指示块单元510的分割线511。在至少一个实施方式中,分割索引可指示分割角度索引和分割距离索引。分割角度索引可指示分割线的分割角度,分割距离索引可指示分割线与块单元的中心点之间的分割距离。
因此,解码器模块124可基于分割角度和由分割索引指示的分割距离确定分割线。比特流可直接包括分割角度索引和分割距离索引。
在至少一个实施方式中,解码器模块124可基于通过第二合并索引和第三合并索引从合并候选者模式确定的第二运动信息和第三运动信息来预测多个子块512、514和516。在至少一个实施方式中,由第二合并索引指示的第二运动信息可以是包括在合并候选列表中的合并候选模式中的一个,并且由第三合并索引指示的第三运动信息也可以是包括在合并候选列表中的合并候选模式中的一个。在至少一个实施方式中,第二运动信息可以指示第二参考帧和第二参考矢量V1,并且第三运动信息可以指示第三参考帧和第三参考矢量V2。
第二参考帧和第三参考帧可以从多个参考列表中选择。在一个实施方式中,第二参考帧和第三参考帧可以选自参考列表中的同一个中。在其他实施方式中,第二参考帧和第三参考帧可以选自不同的参考列表。在至少一个实施方式中,当参考列表的数量可等于2时,参考列表可被设置为L0和L1。
在至少一个实施方式中,第二运动信息可包括用于选择第二参考帧的第二列表标志,且第三运动信息可包括用于选择第三运动信息的第三列表标志。在至少一个实施方式中,当第二列表标志等于第三列表标志时,第二参考帧和第三参考帧可选自相同的参考列表。当第二列表标志与第三列表标志不同时,第二参考帧和第三参考帧可选自不同的参考列表。
在至少一个实施方式中,第一子块512中的多个第一子块分量可基于第二参考矢量V1和第二参考帧来预测。第二子块514中的多个第二子块分量可基于第三参考矢量V2和第三参考帧来预测。另外,第三子块516中的多个第三子块分量可以基于第二参考矢量V1、第三参考矢量V2、第二参考帧和第三参考帧来预测。第三子块516中的第三子块分量可以通过推导出基于第二参考矢量V1和第二参考帧确定的多个第一参考样本以及基于第三参考矢量V2和第三参考帧确定的多个第二参考样本,并且基于多个混合权重合并第二参考样本和第三参考样本来预测。在至少一个实施方式中,混合权重可基于分割线511与第三预测区域516中的第三子块分量之间的多个分量距离来推导出。
在框370,解码器模块124基于预测块来重建块单元。进一步参照图1和图2,解码器模块124可以从块单元的比特流确定多个残余分量,并且将残余分量添加到预测块中以重建块单元。解码器模块222可以重建图像帧中的所有其他块单元,以便重建图像帧和视频。
图6示出了根据本公开的示例性实施方式的在图1中示出的第一电子设备的编码器模块114的框图。编码器模块114可包括预测处理器(例如,预测处理单元6141)、至少第一求和器(例如,第一求和器6142)和第二求和器(例如,第二求和器6145)、变换/量化处理器(例如,变换/量化单元6143)、逆量化/逆变换处理器(例如,逆量化/逆变换单元6144)、滤波器(例如,滤波单元6146)、经解码图片缓冲器(例如,经解码图片缓冲器6147)和熵编码器(例如,熵编码单元6148)。编码器模块114的预测处理单元6141可以进一步包括分割处理器(例如,分割单元61411)、帧内预测处理器(例如,帧内预测单元61412)、以及帧间预测处理器(例如,帧间预测单元61413)。
编码器模块114可以接收源视频并且对源视频进行编码以输出比特流。编码器模块114可以接收包括多个图像帧的源视频,然后根据编码结构来划分图像帧。每个图像帧可以被划分成至少一个图像块。
至少一个图像块可包括具有多个亮度样本的亮度块和具有多个色度样本的至少一个色度块。该亮度块和至少一个色度块可以被进一步划分以生成宏块、编码树单元(CTU:Coding Tree Unit)、编码块(CB:Coding Block)、其子分割和/或另一等效的编码单元。
在至少一个实施方式中,编码器模块114可以执行源视频的额外子分割。应注意,所公开的实施方式总体上可应用于视频编码,而不管在编码之前和/或期间源视频是如何分割的。
在至少一个实施方式中,在编码过程期间,预测处理单元6141可接收图像帧中的特定一个图像帧的当前图像块。当前图像块可以是特定图像帧中的亮度块或色度块之一。
分割单元61411可将当前图像块划分为多个块单元。帧内预测单元61412可相对于与当前块单元相同的帧中的一个或多个相邻块执行当前块单元的帧内预测编码,以便提供空间预测。帧间预测单元61413可相对于一个或多个参考图像块中的一个或多个块执行当前块单元的帧间预测编码,以提供时间预测。
在至少一个实施方式中,预测处理单元6141可基于模式选择方法(例如,成本函数)选择由帧内预测单元61412和帧间预测单元61413生成的编码结果中的一个。模式选择方法可以是率失真优化(RDO:rate-distortion optimization)过程。
预测处理单元6141可确定选择的编码结果且将对应于选择的编码结果的预测块提供到第一求和器6142以用于生成残余块,且提供到第二求和器6145以用于重建经编码的块单元。预测处理单元6141可进一步将语法元素(例如,运动矢量、帧内模式指示符、分割信息和其他语法信息)提供到熵编码单元6148。
在至少一个实施方式中,帧内预测单元61412可对当前块单元进行帧内预测。帧内预测单元61412可以确定针对与当前块单元相邻的重建样本的帧内预测模式,以便对当前块单元进行编码。
在至少一个实施方式中,帧内预测单元61412可使用各种帧内预测模式对当前块单元进行编码。帧内预测单元61412或预测处理单元6141可从所选择的模式中选择适当的帧内预测模式。帧内预测单元61412可使用跨分量预测模式对当前块单元进行编码,以基于当前块单元的亮度分量来预测当前块单元的两个色度分量中的一个。帧内预测单元61412可基于当前块单元的两个色度分量中的第二个来预测当前块单元的两个色度分量中的第一个。
在至少一个实施方式中,作为由帧内预测单元61412执行的帧内预测的替代方案,帧间预测单元61413可对当前块单元进行帧间预测。帧间预测单元61413可执行运动估计以估计用于生成运动矢量的当前块单元的运动。
运动矢量可指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。帧间预测单元61413可接收存储在经解码图片缓冲器6147中的至少一个参考图像块,且基于接收到的参考图像块来估计运动以生成运动矢量。
在至少一个实施方式中,第一求和器6142可通过从原始当前块单元减去由预测处理单元6141确定的预测块来生成残余块。第一求和器6142可表示执行该减法的一个或多个组件。
在至少一个实施方式中,变换/量化单元6143可将变换应用于残余块以便生成残余变换系数,且接着量化该残余变换系数以进一步减小比特率。变换可以是DCT、DST、AMT、MDNSST、HyGT、信号相关变换、KLT、小波变换、整数变换、子带变换或概念上类似的变换中的一个。
在至少一个实施方式中,变换可将残余信息从像素值域转换到变换域,例如频域。可通过调整量化参数来修改量化程度。
在至少一个实施方式中,变换/量化单元6143可执行包括经量化的变换系数的矩阵的扫描。可替代地,熵编码单元6148可执行扫描。
在至少一个实施方式中,熵编码单元6148可从预测处理单元6141和变换/量化单元6143接收包括量化参数、变换数据、运动矢量、帧内模式、分割信息和其他语法信息的多个语法元素。熵编码单元6148可将语法元素编码成比特流。
在至少一个实施方式中,熵编码单元6148可通过执行CAVLC、CABAC、SBAC、PIPE编码或另一熵编码技术来对经量化变换系数进行熵编码以生成经编码的比特流。经编码的比特流可以被传输到另一个设备(即,图1中的第二电子设备120)或者被存档以用于之后的传输或者检索。
在至少一个实施方式中,逆量化/逆变换单元6144可应用逆量化和逆变换来重建像素域中的残余块以供之后用作参考块。第二求和器6145可将经重建的残余块添加到从预测处理单元6141提供的预测块,以便生成用于存储在经解码图片缓冲器6147中的经重建的块。
在至少一个实施方式中,滤波单元6146可包括解块滤波器、SAO滤波器、双边滤波器和/或ALF,以从经重建的块移除块假影。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外,可使用额外滤波器(环路内或环路后)。为了简洁起见,未说明这些滤波器,且可对第二求和器6145的输出进行滤波。
在至少一个实施方式中,经解码图片缓冲器6147可为参考图片存储器,其存储供编码器模块114用于以诸如帧内或帧间编码模式来编码视频的参考块。经解码图片缓冲器6147可包括多种存储器设备,诸如DRAM(包括SDRAM、MRAM、RRAM)或其他类型的存储器设备。经解码图片缓冲器6147可与编码器模块114的其他组件一起在芯片上,或相对于那些组件在芯片外。
在至少一个实施方式中,如图3所示,编码器模块114可以执行用于对视频进行编码并且重建块单元的方法300。可以使用在图1和图8中示出的配置执行方法300,并且关于方法300参考这些图的各种元件。在图3中示出的每个框可以表示执行的一个或多个处理、方法、或者子例程。
图3中的框的顺序仅是说明性的并且可以改变。在不脱离本公开的情况下,可以添加额外的框或者可以使用更少的框。
在框310,编码器模块114接收视频数据的图像帧。视频数据可以是视频。参照图1和图6,第一电子设备110可以经由源模块112接收视频。编码器模块114可以从视频中确定图像帧。
在框320,编码器模块114从接收到的视频数据中确定具有块宽度和块高度的块单元。参照图1和图6,编码器模块114可以分割图像帧以确定块单元。在至少一个实施方式中,第一电子设备110的预测处理单元6141可经由分割单元61411从视频确定块单元,且编码器模块114可基于分割单元61411的分割结果将多个分割指示提供到比特流中。在实施方式中,编码器模块114可以分割图像帧以生成多个编码树单元,并且可以进一步分割编码树单元中的一个以(例如,基于视频编码标准)确定块单元。参照图4A至图4C,块高度H410等于块宽度W410,块宽度W430等于8×H430并且块高度H450等于4×W450。
在框330,编码器模块114确定块宽度与块高度之间的比较。参照图1和图6,编码器模块114可以基于不等式确定块宽度与块高度之间的比较。例如,块宽度Wb与块高度Hb之间的比值R大于或等于阈值T(即,R≥T)。宽度Wb与块高度Hb之间的比值R可以小于阈值T(即,R<T)。
在至少一个实施方式中,编码器模块114可以确定基于块宽度Wb和块高度Hb计算的比率参数RP。在至少一个实施方式中,第一比率参数RP1可以通过除法基于块宽度Wb和块高度Hb来计算。在一个实施方式中,当块宽度Wb大于或等于块高度Hb时,第一比率参数RP1可以通过将块宽度Wb除以块高度Hb(即,RP1=Wb/Hb)来计算。在实施方式中,当块宽度Wb小于块高度Hb时,第一比率参数RP1可以通过将块高度Hb除以块宽度Wb(即,RP1=Hb/Wb)来计算。
在至少一个实施方式中,第二比率参数RP2可以基于块宽度Wb和块高度Hb通过对数等式来计算。在实施方式中,通过不同公式计算的第一比率参数RP1和第二比率参数RP2中的一个可被设置为块单元的比率参数RP。在至少一个实施方式中,第二比率参数RP2可以等于通过从块宽度的基数为2的对数中减去块高度的基数为2的对数所生成的差值的绝对值(即,RP2=abs(log2 Wb–log2 Hb))。在实施方式中,第一比率参数RP1可以等于2的第二比率参数RP2次幂。
在至少一个实施方式中,编码器模块114可以将比率参数RP与比率阈值RT进行比较。在实施方式中,当比率参数RP大于或等于比率阈值RT时,编码器模块114可以确定该比较指示比值R大于或等于阈值T。当比率参数RP小于比率阈值RT时,编码器模块114可以确定该比较指示比值R小于阈值T。
在至少一个实施方式中,当第一比率参数RP1被设定为比率参数RP时,编码器模块114可以比较比率参数RP与第一比率阈值RT1。在至少一个实施方式中,当第二比率参数RP2被设定为比率参数RP时,编码器模块114可以比较比率参数RP与第二比率阈值RT2。
在一个实施方式中,当第一比率参数RP1大于或等于第一比率阈值RT1或者第二比率参数RP2大于或等于第二比率阈值RT2时,编码器模块114可以确定该比较指示比值R大于或等于阈值T。当第一比率参数RP1小于第一比率阈值RT1或者第二比率参数RP2小于第二比率阈值RT2时,编码器模块114可以确定该比较指示比值R小于阈值T。
在至少一个实施方式中,第一比率阈值RT1和第二比率阈值RT2可以是正整数。在至少一个实施方式中,第一比率阈值RT1可等于2的n次幂,n为正整数。第一比例阈值RT1可预先设置为1、2、4或8,第二比例阈值RT2可预先设置为1、2、3或4。
在至少一个实施方式中,第一比率阈值RT1可以等于2的第二比率阈值RT2次幂,因为第一比率参数RP1等于2的第二比率参数RP2次幂。因此,在编码器模块114将比较从第一不等式RP1<RT1变为第二不等式RP2<RT2时,比较的结果可能不变。
在至少一个实施方式中,当编码器模块114确定块宽度Wb和块高度Hb之间的比较时,编码器模块114可以将块宽度Wb与通过将块高度Hb乘以阈值T计算出的第一放大值N1进行比较,并且将块高度Hb与通过将块宽度Wb乘以阈值T计算出的第二放大值N2进行比较。
在至少一个实施方式中,当块宽度Wb小于第一放大值N1并且块高度Hb小于第二放大值N2时,编码器模块114可以确定该比较指示比值R小于阈值T。在另一个实施方式中,当块宽度Wb大于或等于第一放大值N1或者块高度Hb大于或等于第二放大值N2时,编码器模块114可以确定该比较指示比值R大于或等于阈值T。
在至少一个实施方式中,当编码器模块114基于第一放大值N1和第二放大值N2确定比较时,阈值T可以等于第一比率阈值RT1。编码器模块114可以基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定该比较。
在至少一个实施方式中,当块宽度Wb大于块高度Hb时,基于第一不等式RP1=Wb/Hb<RT1确定的比较可以与基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定的比较相同。当块宽度Wb小于块高度Hb时,基于第一不等式RP1=Hb/Wb<RT1确定的比较也可以与基于第三不等式Wb<N1=RT1×Hb和第四不等式Hb<N2=RT1×Wb确定的比较相同。
在框340,编码器模块114基于比较,判断几何分割模式是否针对块单元被禁用。当编码器模块114确定针对块单元禁用几何分割模式时,方法300可前进到框350。当编码器模块114确定针对块单元启用几何分割模式时,该方法可前进到框360。
进一步参照图1和图6,当比较指示比值R大于或等于阈值T时,编码器模块114可确定针对块单元禁用几何分割模式。当比较指示比值R小于阈值T时,编码器模块114可确定针对块单元启用几何分割模式。
在框350,编码器模块114通过使用不同于几何分割模式的第一预测模式来预测块单元以生成预测块。进一步参照图1和图6,编码器模块114可以生成由帧内预测单元61412和帧间预测单元61413生成的多个编码结果。然后,编码器模块114可以基于模式选择方法(例如,成本函数)来选择编码结果中的一个。模式选择方法可以是率失真优化(RDO)过程。
在至少一个实施方式中,当针对块单元禁用几何分割模式时,编码器模块114可从多个选项模式中选择第一预测模式。在实施方式中,当比较指示比值R大于或等于阈值T时,编码器模块114可以基于第一预测模式预测块单元以生成预测块。选项模式中的每一者不同于几何分割模式。在至少一个实施方式中,选项模式可在合并候选者列表中包括多个合并候选者模式。
在框360,编码器模块114通过使用从包括几何分割模式的多个候选模式中选择的第二预测模式来预测块单元以生成所预测块。进一步参照图1和图6,编码器模块114可以生成由帧内预测单元61412和帧间预测单元61413生成的编码结果。然后,编码器模块114可以基于模式选择方法来选择编码结果中的一个。
在至少一个实施方式中,当针对块单元启用几何分割模式时,编码器模块114可从多个候选模式中选择第二预测模式。在实施方式中,当比较指示比值R小于阈值T时,编码器模块114可以基于第二预测模式预测块单元以生成预测块。在至少一个实施方式中,候选模式可包括选项模式和几何分割模式。
在框370,编码器模块114基于预测块来重建块单元。在至少一个实施方式中,块单元可以包括多个块元素。在实施方式中,每个块元素可以是像素元素。进一步参照图1和图2,编码器模块114可以通过从块元素中减去预测块来确定多个残余分量,并且提供包括与残余分量相对应的多个系数的比特流。编码器模块114可以基于系数返回残余分量,并且将返回的残余分量添加到预测块中以生成经重建的块单元。
所公开的实施方式在所有方面都应被认为是说明性的而非限制性的。还应当理解的是,虽然本公开不限于具体公开的实施方式,但在不脱离本公开的范围的情况下,许多重排、修改和替换是可能的。

Claims (20)

1.一种通过电子设备对比特流进行解码的方法,所述方法包括:
接收所述比特流的图像帧;
从接收到的所述图像帧确定具有块宽度和块高度的块单元;
基于所述块宽度与所述块高度之间的比较,判断几何分割模式是否针对所述块单元被禁用,其中,当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块;
当针对所述块单元禁用所述几何分割模式时,通过基于不同于所述几何分割模式的预测模式来预测所述块单元以生成预测块;以及
基于所述预测块来重建所述块单元。
2.根据权利要求1所述的方法,进一步包括:
当所述比较指示所述块宽度与所述块高度之间的比值大于或等于阈值时,确定针对所述块单元所述几何分割模式被禁用;以及
当所述比较指示所述比值小于所述阈值时,确定不禁用所述几何分割模式。
3.根据权利要求2所述的方法,进一步包括:
确定基于所述块宽度和所述块高度生成的比率参数;
将所述比率参数与比率阈值进行比较;
当所述比率参数大于或等于所述比率阈值时,确定所述比较指示所述比值大于或等于所述阈值;以及
当所述比率参数小于所述比率阈值时,确定所述比较指示所述比值小于所述阈值。
4.根据权利要求3所述的方法,其特征在于,
当所述块宽度大于所述块高度时,所述比率参数通过将所述块宽度除以所述块高度来确定;以及
当所述块高度大于或等于所述块宽度时,所述比率参数通过将所述块高度除以所述块宽度来确定。
5.根据权利要求3所述的方法,其特征在于,
所述比率参数等于差值的绝对值,所述差值通过从所述块宽度的以2为底的对数减去所述块高度的以2为底的对数而生成。
6.根据权利要求2所述的方法,进一步包括:
将所述块宽度与通过将所述块高度乘以所述阈值而生成的第一放大值进行比较;
将所述块高度与通过将所述块宽度乘以所述阈值而生成的第二放大值进行比较;
当所述块宽度小于所述第一放大值并且所述块高度小于所述第二放大值时,确定所述比较指示所述比值小于所述阈值;
当所述块宽度大于或等于所述第一放大值时,确定所述比较指示所述比值大于或等于所述阈值;以及
当所述块高度大于或等于所述第二放大值时,确定所述比较指示所述比值大于或等于所述阈值。
7.根据权利要求1所述的方法,进一步包括:
当所述块单元通过所述几何分割模式来预测时,确定所述块单元的分割索引、第一合并索引和第二合并索引;
基于所述分割索引划分所述块单元以生成第一子块和第二子块;以及
通过基于所述第一合并索引从多个合并候选者中选择的第一合并模式来预测所述第一子块,且通过基于所述第二合并索引从所述多个合并候选者中选择的第二合并模式来预测所述第二子块,以生成所述所预测块。
8.一种通过电子设备对比特流进行解码的方法,所述方法包括:
接收所述比特流的图像帧;
从接收到的所述图像帧确定具有块宽度和块高度的块单元;
确定所述块宽度与所述块高度之间的比较;
当所述比较指示所述块宽度与所述块高度之间的比值大于或等于阈值时,通过基于不同于几何分割模式的第一预测模式来预测所述块单元以生成预测块,其中,当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块;以及
基于所述预测块来重建所述块单元。
9.根据权利要求8所述的方法,进一步包括:
确定基于所述块宽度和所述块高度生成的比率参数;
将所述比率参数与比率阈值进行比较;以及
当所述比率参数大于或等于所述比率阈值时,确定所述比较指示所述比值大于或等于所述阈值。
10.根据权利要求9所述的方法,其特征在于,
当所述块宽度大于所述块高度时,所述比率参数通过将所述块宽度除以所述块高度来确定;以及
当所述块高度大于或等于所述块宽度时,所述比率参数通过将所述块高度除以所述块宽度来确定。
11.根据权利要求9所述的方法,其特征在于,
所述比率参数等于差值的绝对值,所述差值通过从所述块宽度的以2为底的对数减去所述块高度的以2为底的对数而生成。
12.根据权利要求9所述的方法,进一步包括:
当所述比率参数小于所述比率阈值时,确定所述比较指示所述比值小于所述阈值;以及
当所述比较指示所述比值小于所述阈值时,通过基于从包括所述几何分割模式的多个候选模式中选择的第二预测模式预测所述块单元来生成所述预测块。
13.根据权利要求8所述的方法,进一步包括:
将所述块宽度与通过将所述块高度乘以所述阈值而生成的第一放大值进行比较;
将所述块高度与通过将所述块宽度乘以所述阈值而生成的第二放大值进行比较;
当所述块宽度大于或等于所述第一放大值时,确定所述比较指示所述比值大于或等于所述阈值;以及
当所述块高度大于或等于所述第二放大值时,确定所述比较指示所述比值大于或等于所述阈值。
14.根据权利要求13所述的方法,进一步包括:
当所述块宽度小于所述第一放大值并且所述块高度小于所述第二放大值时,确定所述比较指示所述比值小于所述阈值;以及
当所述比较表示所述比值小于所述阈值时,通过使用从包括所述几何分割模式的多个候选模式中选择的第二预测模式来预测所述块单元以生成所述预测块。
15.一种用于对比特流进行解码的电子设备,所述电子设备包括:
至少一个处理器;以及
存储器,其耦接至所述至少一个处理器并且存储程序,当所述程序由所述至少一个处理器执行时,所述程序使所述至少一个处理器:
接收所述比特流的图像帧;
从接收到的所述图像帧确定具有块宽度和块高度的块单元;
确定所述块宽度与所述块高度之间的比较;
当所述比较指示所述块宽度与所述块高度之间的比值大于或等于阈值时,通过基于不同于几何分割模式的第一预测模式来预测所述块单元以生成预测块,其中,当针对所述块单元应用所述几何分割模式时,所述块单元被划分以生成由所述块单元的不同合并候选者预测的多个子块;以及
基于所述预测块来重建所述块单元。
16.根据权利要求15所述的电子设备,其特征在于,所述程序在由所述至少一个处理器执行时进一步使所述至少一个处理器:
确定基于所述块宽度和所述块高度生成的比率参数;
将所述比率参数与比率阈值进行比较;以及
当所述比率参数大于或等于所述比率阈值时,确定所述比较指示所述比值大于或等于所述阈值。
17.根据权利要求16所述的电子设备,其特征在于,
当所述块宽度大于所述块高度时,所述比率参数通过将所述块宽度除以所述块高度来确定;以及
当所述块高度大于或等于所述块宽度时,所述比率参数通过将所述块高度除以所述块宽度来确定。
18.根据权利要求16所述的电子设备,其特征在于,
所述比率参数等于差值的绝对值,所述差值通过从所述块宽度的以2为底的对数减去所述块高度的以2为底的对数而生成。
19.根据权利要求16所述的电子设备,其特征在于,所述程序在由所述至少一个处理器执行时进一步使所述至少一个处理器:
当所述比率参数小于所述比率阈值时,确定所述比较指示所述比值小于所述阈值;以及
当所述比较表示所述比值小于所述阈值时,通过基于从包括所述几何分割模式的多个候选模式中选择的第二预测模式预测所述块单元来生成所述预测块。
20.根据权利要求15所述的电子设备,其特征在于,所述程序在由所述至少一个处理器执行时进一步使所述至少一个处理器:
将所述块宽度与通过将所述块高度乘以所述阈值而生成的第一放大值进行比较;
将所述块高度与通过将所述块宽度乘以所述阈值而生成的第二放大值进行比较;
当所述块宽度大于或等于所述第一放大值时,确定所述比较指示所述比值大于或等于所述阈值;
当所述块高度大于或等于所述第二放大值时,确定所述比较指示所述比值大于或等于所述阈;
当所述块宽度小于所述第一放大值并且所述块高度小于所述第二放大值时,确定所述比较指示所述比值小于所述阈值;以及
当所述比较指示所述比值小于所述阈值时,通过基于从包括所述几何分割模式的多个候选模式中选择的第二预测模式预测所述块单元来生成所述预测块。
CN202080088003.9A 2019-12-30 2020-12-30 用于编码视频数据的设备和方法 Pending CN114902663A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962955228P 2019-12-30 2019-12-30
US62/955228 2019-12-30
PCT/CN2020/141275 WO2021136349A1 (en) 2019-12-30 2020-12-30 Device and method for coding video data

Publications (1)

Publication Number Publication Date
CN114902663A true CN114902663A (zh) 2022-08-12

Family

ID=76545708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088003.9A Pending CN114902663A (zh) 2019-12-30 2020-12-30 用于编码视频数据的设备和方法

Country Status (7)

Country Link
US (3) US11284078B2 (zh)
EP (1) EP4055826A4 (zh)
JP (1) JP7499854B2 (zh)
KR (1) KR20220113533A (zh)
CN (1) CN114902663A (zh)
MX (1) MX2022007973A (zh)
WO (1) WO2021136349A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113924774A (zh) * 2019-05-10 2022-01-11 北京达佳互联信息技术有限公司 用于利用三角形预测进行视频编解码的方法和装置
MX2022004267A (es) * 2019-10-10 2022-07-04 Beijing Dajia Internet Information Tech Co Ltd Métodos y aparatos para codificación de vídeo que usan partición triangular.

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519005B2 (en) * 1999-04-30 2003-02-11 Koninklijke Philips Electronics N.V. Method of concurrent multiple-mode motion estimation for digital video
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP2009545920A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
KR101680951B1 (ko) * 2007-04-12 2016-11-29 톰슨 라이센싱 비디오 인코더에서 고속으로 기하학적 모드를 결정하기 위한 방법들 및 장치
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
JP5422168B2 (ja) * 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
ES2711614T3 (es) * 2010-05-04 2019-05-06 Lg Electronics Inc Método y aparato para procesar una señal de vídeo
JP2012023597A (ja) 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
WO2013057877A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
KR102179383B1 (ko) 2013-08-09 2020-11-16 삼성전자주식회사 병합 모드 결정 방법 및 장치
US10863186B2 (en) 2016-08-26 2020-12-08 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
CN110832863B (zh) * 2017-06-30 2023-01-06 华为技术有限公司 用于处理视频序列帧的编码器、解码器、计算机程序和计算机程序产品
CN117478880A (zh) 2017-10-16 2024-01-30 数字洞察力有限公司 用于将图像编码/解码的方法和存储比特流的记录介质
WO2019151279A1 (ja) 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN116456080A (zh) 2018-04-16 2023-07-18 联发科技股份有限公司 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
US11695967B2 (en) * 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
PL3869800T3 (pl) 2018-11-08 2024-05-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób kodowania/dekodowania sygnału obrazu i urządzenie do tego
EP3918794A4 (en) * 2019-01-28 2022-04-20 OP Solutions, LLC INTER PREDICTION IN A GEOMETRIC PARTITIONING WITH AN ADAPTIVE NUMBER OF REGIONS
JP2022538969A (ja) * 2019-06-24 2022-09-07 アリババ グループ ホウルディング リミテッド 映像コード化における動きフィールド記憶のための方法及び装置
CN117499625A (zh) 2019-09-01 2024-02-02 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
JP7453374B2 (ja) 2019-11-30 2024-03-19 北京字節跳動網絡技術有限公司 幾何学的分割を用いた簡易インター予測
WO2021129694A1 (en) * 2019-12-24 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. High level syntax for inter prediction with geometric partitioning

Also Published As

Publication number Publication date
WO2021136349A1 (en) 2021-07-08
EP4055826A4 (en) 2023-11-22
US20210203931A1 (en) 2021-07-01
JP2023501726A (ja) 2023-01-18
US11284078B2 (en) 2022-03-22
US20220166978A1 (en) 2022-05-26
EP4055826A1 (en) 2022-09-14
KR20220113533A (ko) 2022-08-12
US20240089432A1 (en) 2024-03-14
MX2022007973A (es) 2022-07-05
JP7499854B2 (ja) 2024-06-14

Similar Documents

Publication Publication Date Title
CN112602322B (zh) 编码视频数据的装置和方法
WO2019210840A1 (en) Device and method for coding video data based on different reference sets in linear model prediction
US11405648B2 (en) Device and method for coding video data
CN111316640B (zh) 基于调整的帧内模式列表以编码视频数据的设备及方法
US20240089432A1 (en) Device and method for coding video data for geometric partitioning mode
CN112369026A (zh) 用于基于一个或多个参考线编码视频数据的设备和方法
US11051029B2 (en) Device and method for coding video data
JP7345573B2 (ja) 動画像データをコーディングする装置及び方法
US11272179B2 (en) Device and method for coding video data
WO2022105721A1 (en) Device and method for coding video data
WO2022095918A1 (en) Device and method for coding video data
EP4207758A1 (en) Device and method for decoding video data
CN115550643A (zh) 用于编码视频数据的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination