CN111587574B - 图像编码系统中基于cclm预测对图像解码的方法及其设备 - Google Patents

图像编码系统中基于cclm预测对图像解码的方法及其设备 Download PDF

Info

Publication number
CN111587574B
CN111587574B CN201980007279.7A CN201980007279A CN111587574B CN 111587574 B CN111587574 B CN 111587574B CN 201980007279 A CN201980007279 A CN 201980007279A CN 111587574 B CN111587574 B CN 111587574B
Authority
CN
China
Prior art keywords
samples
cclm
chroma block
block
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980007279.7A
Other languages
English (en)
Other versions
CN111587574A (zh
Inventor
崔璋元
许镇
金昇焕
柳先美
李翎
崔情娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310616013.0A priority Critical patent/CN116939201A/zh
Priority to CN202310619566.1A priority patent/CN116916016A/zh
Publication of CN111587574A publication Critical patent/CN111587574A/zh
Application granted granted Critical
Publication of CN111587574B publication Critical patent/CN111587574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Communication Control (AREA)

Abstract

根据本文档的由解码设备执行的用于对图像进行解码的方法包括以下步骤:以预测模式信息为基础推导多个跨分量线性模型(CCLM)预测模式之一作为本色度块的CCLM预测模式;以本色度块的CCLM预测模式、本色度块的尺寸以及特定值为基础,推导本色度块的相邻色度样本的样本数目;推导样本数目的相邻色度样本;以相邻色度样本和下采样的相邻亮度样本为基础计算CCLM参数;以及以CCLM参数和下采样的相邻亮度样本为基础,推导本色度块的预测样本,其中特定值被推导为2。

Description

图像编码系统中基于CCLM预测对图像解码的方法及其设备
技术领域
本发明涉及视频编码技术,尤其涉及一种在视频编码系统中基于CCLM预测的视频解码方法及装置。
背景技术
近来,在各种领域中,对诸如HD(高清)图像和UHD(超高清)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量,所以相对于传统图像数据,待传输的信息或比特的量增加。因此,当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时,其传输成本和存储成本增加。
因此,需要用于有效地发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开提供了一种用于提高图像编码效率的方法及设备。
本公开还提供了一种用于提高帧内预测效率的方法及设备。
本公开还提供了一种基于跨分量线性模型(CCLM)的用于提高帧内预测效率的方法及设备。
本公开还提供了包括多个CCLM预测模式的CCLM预测的有效编码和解码方法,以及用于执行编码和解码方法的设备。
本公开还提供了一种用于选择用于推导多个CCLM预测模式的线性模型参数的相邻样本的方法及设备。
技术方案
根据本公开的一个实施方式,提供了一种由解码设备执行的视频解码方法。该方法包括:获得包括当前色度块的预测模式信息的视频信息;推导多个跨分量线性模型(CCLM)预测模式之一作为当前色度块的CCLM预测模式;基于当前色度块的CCLM预测模式、当前色度块的尺寸、以及特定值,推导当前色度块的相邻色度样本的样本数目;推导样本数目的相邻色度样本;推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本,其中,相邻亮度样本对应于相邻色度样本;基于相邻色度样本和下采样的相邻亮度样本计算CCLM参数;基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及基于预测样本生成当前色度块的重构样本,其中,特定值被推导为2。
根据本公开的另一实施方式,提供了一种用于执行视频解码的解码设备。该解码装置包括:熵解码器,其用于获得包括当前色度块的预测模式信息的视频信息;预测器,其用于推导多个跨分量线性模型(CCLM)预测模式之一作为当前色度块的CCLM预测模式,基于当前色度块的CCLM预测模式、当前色度块的尺寸、以及特定值,推导当前色度块的相邻色度样本的样本数目,推导样本数目的相邻色度样本,推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本,其中,相邻亮度样本对应于相邻色度样本,基于相邻色度样本和下采样的相邻亮度样本计算CCLM参数,基于CCLM参数和下采样的亮度样本推导当前色度块的预测样本;以及减法器,其用于基于预测样本生成当前色度块的重构样本,其中,特定值被推导为2。
根据本公开的又一实施方式,提供了一种由编码设备执行的视频编码方法。该方法包括:确定多个跨分量线性模型(CCLM)预测模式当中的CCLM预测模式;基于当前色度块的CCLM预测模式、当前色度块的尺寸、以及特定值,推导当前色度块的相邻色度样本的样本数目;推导样本数目的相邻色度样本;推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本,其中,相邻亮度样本对应于相邻色度样本;基于相邻色度样本和下采样的相邻亮度样本,计算CCLM参数;基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及对包括当前色度块的预测模式信息的视频信息进行编码,其中,特定值被推导为2。
根据本公开的又一实施方式,提供了一种视频编码设备。该编码设备包括:预测器,其用于确定多个跨分量线性模型(CCLM)预测模式当中的CCLM预测模式,基于当前色度块的CCLM预测模式、当前色度块的尺寸和特定值来推导当前色度块的相邻色度样本的样本数目,推导样本数目的相邻色度样本,推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本,其中,相邻亮度样本对应于相邻色度样本,基于相邻色度样本和下采样的相邻亮度样本推导CCLM参数,基于CCLM参数和下采样的亮度样本推导当前色度块的预测样本;以及熵编码器,其用于对包括当前色度块的预测模式信息的视频信息进行编码,其中,特定值推导为2。
有益效果
根据本公开,能够提高整体图像/视频压缩效率。
根据本公开,能够提高帧内预测的效率。
根据本公开,能够通过基于CCLM执行帧内预测来提高图像编码效率。
根据本公开,能够提高基于包括多个LM模式的CCLM(即,多方向线性模型(MDLM))的帧内预测的效率。
根据本公开,为了推导用于在具有大尺寸的色度块中执行的多方向线性模型(MDLM)的线性模型参数而选择的相邻样本的数目被限制为特定数目,并且因此,能够降低帧内预测复杂度。
附图说明
图1简要例示了可应用本公开的实施方式的视频/图像编码装置的示例。
图2是例示了可以应用本文档的实施方式的视频/图像编码设备的配置的示意图。
图3是例示了可以应用本文档的实施方式的视频/图像解码设备的配置的示意图。
图4例示了65个预测方向的方向内模式。
图5是用于描述根据实施方式的推导当前色度块的帧内预测模式的处理的图。
图6例示了用于上述CCLM预测的参数计算的2N个参考样本。
图7例示了LM_A(Linear Model_Above)模式和LM_L(Linear Model_Left)模式。
图8a和图8b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。
图9a和图9b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。
图10a和图10b是用于描述基于根据以上描述的本实施方式的方法1推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图11a和图11b是用于描述基于根据以上描述的本实施方式的方法2推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图12a和图12b是用于描述基于根据以上描述的本实施方式的方法3推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图13a和图13b是用于描述基于根据以上描述的本实施方式的方法4推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图14a和图14b是用于描述基于根据以上描述的本实施方式的方法1推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图15a和图15b是用于描述基于根据以上描述的本实施方式的方法2推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图16a和图16b是用于描述基于根据以上描述的本实施方式的方法3推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图17例示了选择色度块的相邻参考样本的示例。
图18a至图18c例示了通过现有的子采样推导的相邻参考样本和通过根据本实施方式的子采样推导的相邻参考样本。
图19示出了使用利用上述式6的子采样来执行CCLM预测的示例。
图20a和图20b是用于描述基于根据以上描述的本实施方式的方法1推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图21a和图21b是用于描述基于根据以上描述的本实施方式的方法2推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图22a和图22b是用于描述基于根据以上描述的本实施方式的方法3推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图23是用于描述基于根据以上描述的本实施方式的方法4推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
图24示意性地例示了根据本公开的编码设备的视频编码方法。
图25示意性地例示了根据本公开的执行图像编码方法的编码设备。
图26示意性地例示了根据本公开的解码设备的视频解码方法。
图27示意性地例示了根据本公开的用于执行视频解码方法的解码设备。
图28例示了应用了本公开的内容流系统的结构图。
具体实施方式
本公开可以以各种形式修改,并且将在附图中描述和例示其特定实施方式。然而,实施方式并非旨在限制本公开。在以下描述中使用的术语仅用于描述特定实施方式,并非旨在限制本公开。只要清楚地以不同的方式理解,单数的表达包括复数的表达。诸如“包括”和“具有”之类的术语旨在表示存在以下描述中使用的特征、数目、步骤、操作、元件、组件或其组合,因此应理解的为不排除存在或添加一个或更多个不同的特征、数目、步骤、操作、元件、组件或其组合的可能性。
此外,在本公开中描述的附图中的元件是为了方便地解释不同的特定功能而独立地绘制的,并不意味着这些元件由独立的硬件或独立的软件来体现。例如,可以将元件中的两个或更多个元件组合以形成单个元件,或者可以将一个元件划分为多个元件。其中组合元件和/或划分元件的实施方式属于本公开,而没有脱离本公开的概念。
在下文中,将参照附图详细描述本公开的实施方式。另外,在整个附图中,相似的附图标记用于指示相似的元件,并且将省略对相似元件的相同描述。
图1简要例示了可应用本公开的实施方式的视频/图像编码装置的示例。
参照图1,视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式向接收装置发送编码视频/图像信息或数据。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备,并且解码设备可以称为视频/图像解码设备。发送器可以包括在编码设备中。接收器可以包括在解码设备中。渲染器可以包括显示器,并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板电脑和智能电话,并且可以(电子地)生成视频/图像。例如,可以通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程,以实现压缩和编码效率。编码数据(编码视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式向接收装置的接收器发送以比特流形式输出的编码后的图像/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件,并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流,并向解码设备发送接收到的比特流。
解码设备可以通过执行与编码设备的操作相对应的诸如反量化、逆变换和预测之类的一系列过程,来对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。经渲染的视频/图像可以通过显示器显示。
本文档涉及视频/图像编码。例如,本文档中公开的方法/实施方式可以应用于在多功能视频编码(VVC)、EVC(基本视频编码)标准、AOMedia Video 1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267、或H.268等)中公开的方法。
本文档呈现了视频/图像编码的各种实施方式,并且除非另外提及,否则实施方式可以彼此组合地执行。
在本文档中,视频可以是指一段时间上的一系列图像。图片通常是指在特定时间区域表示一幅图像的单位,而条带(slice)/切片(tile)是在编码中组成图片的一部分的单位。条带/切片可以包括一个或更多个编码树单元(CTU)。一幅图片可以包括一个或更多个条带/切片。一幅图片可以包括一个或更多个切片组。一个切片组可以包括一个或更多个切片。砖块(brick)可以表示图片中切片内CTU行的矩形区域。一个切片可以分割为多个砖块,每个砖块包括切片内的一个或更多个CTU行。没有分割为多个砖块的切片也可以称为砖块。砖块扫描是对其中CTU在砖块的CTU光栅扫描中连续排序的图片进行分割的CTU的特定顺序排序,切片内的砖块在切片的砖块的光栅扫描中是连续排列的,并且图片中的切片在图片的切片的光栅扫描中是连续排序的。切片是图片中特定切片列和特定切片行内的CTU的矩形区域。切片列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。切片行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。切片扫描是指对其中CTU在切片的CTU光栅扫描中是连续排序的图片进行分割的CTU的特定顺序排序,而图片中的切片在图片的切片的光栅扫描中是连续排序的。条带包括可以唯一地包含在单个NAL单元中的图片的整数个砖块。条带可以包括多个完整的切片,或者仅一个切片的完整砖块的连续序列。切片组和条带在该文件中可以互换使用。例如,在本文档中,切片组/切片组头可以被称为条带/条带头。
像素或画素可以表示组成一幅图片(或图像)的最小单位。另外,“样本”可以用作与像素相对应的术语。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可以与诸如块或区域之类的术语互换使用。在一般情况下,M×N块可以包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本文档中,术语“/”和“、”应解释为指示“和/或”。例如,表述“A/B”可以表示“A和/或B”。此外,“A、B”可以表示“A和/或B”。此外,“A/B/C”可以表示“A、B和/或C中的至少一个”。另外,“A/B/C”可以表示“A、B和/或C中的至少一个”。
此外,在本文档中,术语“或”应解释为指示“和/或”。例如,表述“A或B”可包括1)仅A,2)仅B,和/或3)A和B两者。换句话说,本文中的术语“或”应解释为指示“附加地或另选地。”
图2是例示了可以应用本文档的实施方式的视频/图像编码设备的配置的示意图。在下文中,视频编码设备可以包括图像编码设备。
参照图2,编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式,图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如,编码器芯片组或处理器)构成。另外,存储器270可以包括解码图片缓冲器(DPB)或者可以由数字存储介质构成。硬件组件还可以包括作为内部/外部组件的存储器270。
图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割到一个或更多个处理器中。例如,处理器可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如,一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,随后可以应用二叉树结构和/或三元结构。另选地,可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本文档的编码过程。在这种情况下,可以根据图像特性基于编码效率将最大编码单元用作最终编码单元,或者如果需要,可以将编码单元递归地分割为深度更深的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里,编码过程可以包括预测、变换和重构的过程,这将在后面描述。作为另一示例,处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下,可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下,单元可以与诸如块或区域之类的术语互换使用。在一般情况下,M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值,可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一幅图片(或图像)相对应的术语。
在编码设备200中,从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列),以生成残差信号(残差块、残差样本阵列)并且所生成的残差信号被发送到变换器232。在这种情况下,如图所示,在编码器200中用于从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以称为减法器231。预测器可以对要处理的块(在下文中称为当前块)执行预测,并生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为基础来确定是应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所述,预测器可以生成与预测有关的、诸如预测模式信息之类的各种信息,并向熵编码器240发送所生成的信息。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考的样本可以位于当前块的附近,或者可以远离当前块。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度,定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而,这仅是示例,依据设置,可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。这里,为了减少在帧间预测模式下发送的运动信息的量,可以基于相邻块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以称为并置参考块、共位CU(colCU)等,并且包括时间相邻块的参考图片可以称为并置图片(colPic)。例如,帧间预测器221可以基于相邻块来配置运动信息候选列表,并且生成指示使用哪个候选来推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可以将相邻块的运动信息用作当前块的运动信息。在跳过模式下,与合并模式不同,可能无法发送残差信号。在运动矢量预测(MVP)模式的情况下,可以将相邻块的运动矢量用作运动矢量预测子,并且可以通过发信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于以下描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测二者。这可以称为帧间帧内组合预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为参考块是在当前图片中推导出的。即,IBC可以使用本文中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里,GBT表示当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外,变换处理可以应用于具有相同尺寸的正方形像素块,或者可以应用于具有可变尺寸而非正方形的块。
量化器233可以对变换系数进行量化,并且将它们发送给熵编码器240,并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维矢量形式,并且基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法,诸如,例如指数哥伦布(Golomb)、上下文自适应变长编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如,语法元素的值等)一起或分开地进行编码。可以以比特流的形式以NAL(网络抽象层)为单位发送或存储编码信息(例如,编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可包括一般约束信息。在本文档中,从编码设备向解码设备发送/发信号通知的信息和/或语法元素可以包括在视频/图片信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送,或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码设备200的内部/外部元件,另选地,发送器可以包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如,可以通过利用反量化器234和逆变换器235对量化变换系数应用反量化和逆变换,来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(诸如应用了跳过模式的情况),则可以将预测块用作重构块。加法器250可以称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中要处理的下一块的帧内预测,并且可以通过如下所述的滤波用于下一图片的帧间预测。
此外,在图片编码和/或重构期间,可以应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过对重构信号应用滤波来改善主观/客观图像质量。例如,滤波器260可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器270(具体地,存储器270的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息,并且将生成的信息发送给熵编码器240,如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。
发送给存储器270的修改后的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时,可以避免编码设备200与解码设备之间的预测不匹配,并且可以提高编码效率。
存储器270的DPB可以存储用作帧间预测器221中的参考图片的修改后的重构图片。存储器270可以存储从中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器221,并且用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器222。
图3是例示了可以应用本文档的实施方式的视频/图像解码设备的配置的示意图。
参照图3,解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括反量化器321和逆变换器322。根据实施方式,熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如,解码器芯片组或处理器)构成。另外,存储器360可以包括解码图片缓冲器(DPB),或者可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入了包括视频/图像信息的比特流时,解码设备300可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如,解码设备300可以基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可以使用在编码设备中应用的处理器来执行解码。因此,解码的处理器例如可以是编码单元,并且可以根据四叉树结构、二叉树结构和/或三叉树结构,从编码树单元或最大编码单元对编码单元进行分割。可以从编码单元推导一个或更多个变换单元。可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以接收以比特流形式从图2的编码设备输出的信号,并且可以通过熵解码器310对接收到的信号进行解码。例如,熵解码器310可以解析比特流,以推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对图片进行解码。本文中稍后描述的发信号通知的/接收的信息和/或语法元素可以通过解码过程被解码,并从比特流中获取。例如,熵解码器310基于诸如指数哥伦布编码、CAVLC或CABAC之类的编码方法对比特流中的信息进行解码,并输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin(位),使用解码目标语法元素信息、解码目标块的解码信息或在先前级中解码的符号/bin的信息来确定上下文模型,并通过根据所确定的上下文模型预测bin的出现概率来对该bin进行算术解码,并且生成与每个语法元素的值相对应的符号。在这种情况下,在确定上下文模型之后,CABAC熵解码方法可以通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中与预测有关的信息可以提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中对其执行了熵解码的残差值(也就是说,量化变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外,由熵解码器310解码的信息当中关于滤波的信息可以提供给滤波器350。此外,用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。此外,根据本文档的解码设备可以称为视频/图像/图片解码设备,并且解码设备可以分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可以对量化变换系数进行反量化并且输出变换系数。反量化器321可以以二维块的形式重新布置量化变换系数。在这种情况下,可以基于在编码设备中执行的系数扫描顺序来执行重新布置。反量化器321可以通过使用量化参数(例如,量化步长信息)对量化变换系数执行反量化,并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测,并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测,并且可以确定具体的帧内/帧间预测模式。
预测器320可以基于以下描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测。这可以称为帧间和帧内组合预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为在当前图片中推导参考块。即,IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考的样本可以位于当前块的附近,或者可以远离当前块。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式中发送的运动信息的量,可以基于相邻块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。例如,帧间预测器332可以基于相邻块来配置运动信息候选列表,并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(例如当应用跳过模式时),则可以将预测块用作重构块。
加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测,可以通过如下所述的滤波输出,或者可以用于下一图片的帧间预测。
此外,在图片解码处理中可以应用具有色度缩放的亮度映射(LMCS)。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器360(具体地,存储器360的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储器360的DPB中存储的(修改后的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器260,以作为空间相邻块的运动信息或时间相邻块的运动信息来利用。存储器360可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器331。
在本公开中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者分别被应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。相同的内容也可以应用于帧间预测器332和帧内预测器331。
此外,如上所述,在执行视频编码时,执行预测以提高压缩效率。因此,可以生成包括当前块(即,编码目标块)的预测样本的预测块。在这种情况下,预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被相同地推导。编码设备可以通过向解码设备信号发送关于原始块和预测块之间的残差的残差信息而不是原始块本身的原始样本值,来提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块,可以通过将残差块和预测块相加来生成包括重构样本的重构块,并且可以生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如,编码设备可以推导原始块和预测块之间的残差块,可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数,可以通过对变换系数执行量化过程来推导量化变换系数,并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下,残差信息可以包括诸如量化变换系数的值信息、位置信息、变换方案、变换核和量化参数之类的信息。解码设备可以基于残差信息执行反量化/逆变换过程,并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。编码设备还可以通过对量化变换系数执行反量化/逆变换来推导残差块,以作为后续图片的帧间预测的参考,并且可以基于残差块来生成重构图片。
图4例示了65个预测方向的方向内模式。
参照图4,可以基于具有左上对角线预测方向的帧内预测模式#34,对具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式进行分类。图3中的H和V分别表示水平方向性和垂直方向性,并且从-32至32的数字表示样本网格位置上的1/32单位的位移。帧内预测模式#2至#33具有水平方向性,并且帧内预测模式#34至#66具有垂直方向性。帧内预测模式#18和帧内预测模式#50分别表示水平帧内预测模式和垂直帧内预测模式。帧内预测模式#2可以称为左下对角线帧内预测模式,帧内预测模式#34可以称为左上对角线帧内预测模式,并且帧内预测模式#66可以称为右上对角线帧内预测模式。
图5是用于描述根据实施方式的推导当前色度块的帧内预测模式的过程的图。
在本公开中,“色度块”、“色度图像”等可以表示彩度块、彩度图像等的相同含义,并且因此,可以共同使用色度(chroma)和彩度(chrominance)。同样,“亮度块”、“亮度图像”等可以表示光亮度块、光亮度图像等的相同含义,因此,可以共同使用亮度(luma)和光亮度(luminance)。
在本公开中,“当前色度块”可以表示作为当前编码单元的当前块的色度分量块,并且“当前亮度块”可以表示作为当前编码单元的当前块的亮度分量块。因此,当前亮度块和当前色度块彼此对应。但是,当前亮度块和当前色度块的块格式和块编号并不总是相同,而是可以依据情况而不同。在一些情况下,当前色度块可以对应于当前亮度区域,并且在这种情况下,当前亮度区域可以包括至少一个亮度块。
在本公开中,“参考样本模板”可以表示与当前色度块相邻的用于预测当前色度块的参考样本的集合。参考样本模板可以是预定义的,或者可以从编码设备200向解码设备300信号通知参考样本模板的信息。
参照图5,在作为当前色度块的4×4块附近的带有阴影线的样本的集合表示参考样本模板。如图5所示,参考样本模板包括一行的参考样本,但是与该参考样本模板相对应的亮度区域中的参考样本区域包括两行。
在实施方式中,当在联合视频探索小组(JVET)中使用的联合探索TEST模型(JEM)中执行色度图像的帧内编码时,可以使用跨分量线性模型(CCLM)。CCLM是基于重构的亮度图像的像素值来预测色度图像的像素值的方法,该方法基于色度图像和亮度图像之间的高相关性的特性。
Cb和Cr色度图像的CCLM预测可以基于下式。
[式1]
PredC(i,j)=α·Rec′L(i,j)+β
这里,predc(i,j)表示要预测的Cb或Cr色度图像,RecL'(i,j)表示调整为色度块大小的要重构的亮度图像,并且(i,j)表示像素的坐标。在4:2:0彩色格式中,由于亮度图像的尺寸是色度图像的尺寸的两倍,因此应通过下采样生成色度块大小的RecL',并因此在色度图像predc(i,j)中使用的亮度图像的像素还可以使用除RecL(2i,2j)之外的相邻像素。predc(i,j)可以表示为下采样的亮度样本。另外,α和β可以称为线性模型或CCLM参数。具体地,α可以称为缩放因子,并且β可以称为偏移。可以在编码设备中生成指示CCLM预测是否被应用于当前块的预测模式信息,并且将其发送给解码设备,并且可以以相同方式基于相邻的重构样本(或模板),在编码设备和解码设备中计算CCLM参数。
此外,例如,可以通过使用如下式中表示的6个相邻像素来推导predc(i,j)。
[式2]
Rec′L(i,j)
=(2×RecL(2i,2j)+2×RecL(2i,2j+1)+RecL(2i-1,2j)+RecL(2i+1,2j)+RecL(2i-1,2j+1)
此外,如图3的阴影区域所示,α和β表示Cb或Cr色度块相邻模板与亮度块相邻模板之间的平均值的互相关性以及平均值之差,并且α和β由下式3表示。
[式3]
Figure BDA0002568492540000171
这里,tL表示与当前色度图像相对应的亮度块的相邻参考样本,tC表示当前对其应用编码的当前色度块的相邻参考样本,(i,j)表示像素的位置。另外,M(A)是指A个像素的平均。
此外,可以如下选择上述用于CCLM预测的参数(例如,α和β)计算的样本。
–在当前色度块是N×N大小的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对(亮度和色度)。
–在当前色度块是N×M大小或M×N大小(这里,N<=M)的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对。此外,由于M大于N(例如,M=2N或3N等),因此在M个样本中,可以通过子采样来选择N个样本对。
另选地,在基于多个CCLM模式执行CCLM预测的情况下,即,在应用多方向线性模型(MDLM)的情况下,可以如下选择用于参数计算的样本。
–在当前色度块是应用了现有CCLM预测(即,线性模型_左顶(Linear Model_LeftTop:LM_LT)模式)的N×N大小的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对(亮度和色度)。在此,LM_LT模式也可以称为线性模型_左上(Linear Model_Left Above:LM_LA)模式。
–在当前色度块是应用了LM_LT模式的N×M大小或M×N大小(这里,N<=M)的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对。此外,由于M大于N(例如,M=2N或3N等),所以在M个样本中,可以通过子采样来选择N个样本对。
–在当前色度块是应用了除了LM_LT模式之外的MDLM(即,CCLM预测模式)的N×M的色度块的情况下,可以向当前色度块应用线性模型_顶(Linear Model_Top:LM_T)模式,并且可以选择总共2N个上相邻参考样本对。在此,LM_T模式也可以称为线性模型_上(LinearModel_Above:LM_A)模式。
–在当前色度块是应用了除LM_LT之外的MDLM(即,CCLM预测模式)的M×N的色度块的情况下,可以向当前色度块应用线性模型_左(Linear Model_Left:LM_L)模式,并且可以选择总共2N个左相邻参考样本对。
此外,MDLM可以表示基于从多个CCLM预测模式中选择的CCLM预测模式执行的CCLM预测。多个CCLM预测模式可以包括LM_L模式、LM_T模式和LM_LT模式。LM_T模式可以表示仅使用当前块的顶参考样本执行CCLM的CCLM预测模式,并且LM_L模式可以表示仅使用当前块的左参考样本执行CCLM的CCLM预测模式。另外,LM_LT模式可以表示像现有CCLM预测一样使用当前块的顶参考样本和左参考样本来执行CCLM的CCLM预测模式。下面将描述MDLM的详细描述。
图6例示了用于上述CCLM预测的参数计算的2N个参考样本。参照图6,示出了针对CCLM预测的参数计算所推导的2N个参考样本对。2N个参考样本对可以包括与当前色度块相邻的2N个参考样本和与当前亮度块相邻的2N个参考样本。
如上所述,可以推导2N个样本对,并且在使用利用上述样本对的式3来计算CCLM参数α和β的情况下,可能需要下表1中所呈现数目的运算。
[表1]
运算 运算量
乘法 2N+5
求和 8N-1
除法 2
例如,参照上表1,在4×4大小的色度块的情况下,可以需要21个乘法运算和31个加法运算来计算CCLM参数,在32×32大小的色度块的情况下,可以需要133个乘法运算和255个加法运算来计算CCLM参数。也就是说,随着色度块的尺寸增加,用于计算CCLM参数所需的运算量迅速增加,这可以与硬件实现中的延迟问题直接相关联。具体地,由于在解码设备中应该通过计算前馈(calculation eve)来推导CCLM参数,因此运算量可以与解码设备的硬件实现中的延迟问题和实现成本的增加有关。
此外,在VTM 3.0中,可以通过使用两个亮度和色度样本对的变化倾向来计算CCLM参数,以减少计算α和β时的乘法运算和加法运算。例如,可以通过下式来计算CCLM参数。
[式4]
Figure BDA0002568492540000191
在此,(xA,yA)可以表示在当前块的用于计算CCLM参数的相邻参考样本当中的亮度值最小的亮度样本yA和与该亮度样本是一对的色度样本xA的样本值,并且(xB,yB)可以表示在当前块的用于计算CCLM参数的相邻参考样本当中的亮度值最大的亮度样本yB和与该亮度样本是一对的色度样本xB的样本值。即,换句话说,yA可以表示在当前块的相邻参考样本当中的亮度值最小的亮度样本,xA可以表示与亮度样本yA是一对的色度样本,yB可以表示在当前块的相邻参考样本当中的亮度值最大的亮度样本,并且xB可以表示与亮度样本yB是一对的色度样本。
[表2]
Figure BDA0002568492540000192
以上表2例示了通过简化计算方法推导的CCLM参数。
当使用上式计算CCLM参数时,与现有方法相比优点在于:可以显著减少乘法运算和加法运算的量,但是由于应在当前块的相邻亮度样本当中确定最小值和最大值,因此添加了比较运算。即,为了确定2N个相邻样本中的样本最小值和最大值,需要4N次比较运算,并且比较运算的添加可能引起硬件实现中的延迟。
此外,在执行CCLM预测时,可以执行在VTM 3.0中采用的多方向LM(MDLM)。
图7例示了LM_A(线性模型_上)模式和LM_L(线性模型_左)模式。编码设备和解码设备可以执行添加了LM_A模式和LM_L模式的CCLM预测。LM_A模式可以表示通过仅使用当前块的顶参考样本来执行CCLM的CCLM预测模式。在这种情况下,如图7所示,可以基于现有CCLM预测中的顶参考样本向右侧扩展两倍的顶参考样本来执行CCLM预测。LM_A模式也可以称为线性模型_顶(LM_T)模式。此外,LM_L模式可以表示通过仅使用当前块的左参考样本来执行CCLM的CCLM预测模式。在这种情况下,如图7所示,可以基于现有CCLM预测中的左参考样本向底侧扩展两倍的左参考样本来执行CCLM预测。此外,基于现有CCLM预测(即,当前块的顶参考样本和左参考样本)执行CCLM预测的模式可以表示为LM_LA模式或LM_LT模式。可以通过使用上述两个亮度和色度样本对的变化倾向来计算包括多个CCLM预测模式的MDLM中的参数α和β。因此,在计算用于MDLM的参数时需要许多比较运算,并且比较运算的添加可以导致硬件实现中的延迟。具体地,在通过使用上述2N个样本对的式4来计算CCLM参数α和β的情况下,需要4N次比较运算。即,在4×4色度块的情况下,需要16个比较运算来计算CCLM参数,并且在32×32色度块的情况下,需要128个比较运算来计算CCLM参数。即,随着色度块的尺寸增加,用于计算CCLM参数所需的运算量迅速增加,这可以与硬件实现中的延迟问题直接相关联。具体地,由于在解码设备中需要通过计算前馈来推导CCLM参数,所以比较运算的添加可以与解码设备的硬件实现中的延迟问题和实现成本的增加相关联。
因此,需要一种减少延迟的方法,因此,本公开提出了用于降低用于推导CCLM参数的运算复杂度并由此降低了硬件成本以及解码过程的复杂度和时间的实施方式。
本实施方式可以减少用于推导CCLM参数的运算复杂度,并且由此可以减少硬件成本以及解码过程的复杂度和时间。
作为示例,为了解决如上所述的CCLM参数运算量随着色度块尺寸增加而增加的问题,可以提出这样一种实施方式:用于在配置了如下所述的相邻样本选择上限Nth之后,通过选择色度块相邻像素来计算CCLM参数。Nth也可以表示为最大相邻样本数目。例如,Nth可以设置为2、4、8或16。
根据本实施方式的CCLM参数计算过程可以如下。
–在当前色度块是N×N尺寸的色度块,并且Nth>=N的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对。
–在当前色度块是N×N尺寸的色度块,并且Nth<N的情况下,可以选择当前色度块的总共2*Nth个(Nth个水平和Nth个垂直)相邻参考样本对。
–在当前色度块是N×M尺寸或M×N尺寸(这里,N<=M)的色度块并且Nth>=N的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对。由于M大于N(例如,M=2N或3N,等等),所以在M个样本当中,可以通过子采样来选择N个样本对。
–在当前色度块是N×M尺寸或M×N尺寸(这里,N<=M)的色度块并且Nth<N的情况下,可以选择当前色度块的总共2*Nth个(Nth个水平,Nth个垂直)相邻参考样本对。由于M大于N(例如,M=2N或3N,等等),因此在M个样本当中,可以通过子采样选择Nth个样本对。
如上所述,根据本实施方式,可以通过设置作为所选择的相邻样本数目的最大数目Nth来限制用于CCLM参数计算的相邻参考样本数目,并且由此,甚至在大尺寸的色度块中,也可以通过相对少的计算来计算CCLM参数。
另外,在将Nth设置为相对小的数目(例如,4或8)的情况下,在CCLM参数计算的硬件实现中,可以避免最坏情况的运算(例如,32×32尺寸的色度块),并且因此,与最坏的情况相比,可以减少所需的硬件门数目,并且由此,还具有降低硬件实现成本的效果。
例如,在Nth为2、4和8的情况下,关于色度块尺寸的CCLM参数计算量可以表示为下表。
[表3]
Figure BDA0002568492540000211
此外,在编码设备和解码设备中,Nth可以被推导为预定值,而无需发送表示Nth的附加信息。另选地,可以以编码单元(CU)、条带、图片或序列为单位发送表示Nth的附加信息,并且可以基于表示Nth的附加信息来推导Nth。表示Nth的附加信息可以在编码设备中生成并且被编码,并且可以被发送给解码设备或发信号通知给解码设备。在下文中,发送或用信号通知值Nth可以表示从编码设备向解码设备发送或用信号通知表示Nth的信息。
例如,在以CU为单位发送表示Nth的附加信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,如下所述,可以提出一种方法来解析语法元素cclm_reduced_sample_flag并执行CCLM参数计算过程。cclm_reduced_sample_flag可以表示CCLM缩减样本标志的语法元素。
–在cclm_reduced_sample_flag为0(假)的情况下,通过现有CCLM相邻样本选择方法来执行CCLM参数计算。
–在cclm_reduced_sample_flag为1(真)的情况下,将Nth设置为2,并通过上述本实施方式中提出的相邻样本选择方法来执行CCLM参数计算。
另选地,在以条带、图片或序列为单位发送表示Nth的附加信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的附加信息来解码Nth值。表示Nth的附加信息可以在编码设备中被编码并且被包括在比特流中,然后被发送。
例如,通过条带报头发信号通知的附加信息可以表示为下表。
[表4]
Figure BDA0002568492540000221
cclm_reduced_sample_num可以表示表示Nth的附加信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的附加信息可以表示为下表。
[表5]
Figure BDA0002568492540000222
另选地,例如,通过序列参数集(SPS)发信号通知的附加信息可以表示为下表。
[表6]
Figure BDA0002568492540000223
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_num值(即,通过对cclm_reduced_sample_num进行解码而推导的值)所推导的Nth值。
[表7]
cclm_reduced_sample_num Nth
0 2
1 4
2 8
3 16
例如,参照上表7,可以基于cclm_reduced_sample_num推导Nth。在cclm_reduced_sample_num值为0的情况下,Nth可以被推导为2,在cclm_reduced_sample_num值为1的情况下,Nth可以被推导为4,在cclm_reduced_sample_num值为2的情况下,Nth可以被推导为8,并且在cclm_reduced_sample_num值为3的情况下,Nth可以被推导为16。
此外,在以CU、条带、图片或序列为单位发送表示Nth的附加信息的情况下,编码设备可以如下确定Nth值,并且发送表示Nth值的代表Nth的附加信息。
-在以CU为单位发送表示Nth附加信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并且向解码设备发送所确定的方法的信息。
1)在当通过现有CCLM参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当Nth被设置为2并且通过本实施方式中提出的CCLM参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
-另选地,在以条带、图片或序列为单位发送表示Nth的附加信息的情况下,编码设备可以添加如上述表4、表5或表6所呈现的高阶语法(HLS)并发送表示Nth的附加信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置Nth值。
1)例如,在输入图像为HD质量或更高的情况下,编码设备可以设置为Nth=8,并且在输入图像为HD质量或更低的情况下,编码设备可以设置为Nth=4。
2)在需要高质量的图像编码的情况下,编码设备可以设置为Nth=8,并且在需要正常质量的图像编码的情况下,编码设备可以设置为Nth=2。
此外,如上述表3所示,当使用在本实施方式中提出的方法时,表明即使块尺寸增加,CCLM参数计算所需的运算量也不增加。作为示例,在当前色度块尺寸为32×32的情况下,通过本实施方式中提出的方法(例如,设置为:Nth=4),CCLM参数计算所需的运算量可以减少为86%。
下表可以表示在Nth为2的情况下的实验结果数据。
[表8]
Figure BDA0002568492540000241
另外,下表可以表示在Nth为4的情况下的实验结果数据。
[表9]
Figure BDA0002568492540000242
另外,下表可以表示在Nth为8的情况下的实验结果数据。
[表10]
Figure BDA0002568492540000243
另外,下表可以表示在Nth为16的情况下的实验结果数据。
[表11]
Figure BDA0002568492540000251
以上表8至表11可以表示在Nth分别为2、4、8和16的情况下的编码效率和运算复杂度。
参照上表8至表11,表明即使在减少了CCLM参数计算所需的运算量的情况下,编码效率也没有显著改变。例如,参照表9,在Nth设置为4(Nth=4)的情况下,每个分量的编码效率是:Y为0.04%,Cb为0.12%并且Cr为0.07%,这表明与没有设置Nth的情况相比编码效率没有显著改变,并且编码和解码的复杂度分别降低了97%和95%。
另外,参照表10和表11,在CCLM参数计算所需的运算量减少的情况下(即,Nth=8或16),表明编码效率变得更好,并且编码和解码的复杂度降低。
在本实施方式中提出的方法可以用于CCLM模式,该CCLM模式是用于色度分量的帧内预测模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
图8a和图8b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。
参照图8a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S800)。例如,可以如图8b所示的本实施方式那样计算CCLM参数。
图8b可以例示计算CCLM参数的特定实施方式。例如,参照图8b,编码设备/解码设备可以针对当前色度块设置Nth(步骤S805)。Nth可以是预定值或基于Nth的附加信息而推导出。Nth可以设置为2、4、8或16。
随后,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S810)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以确定作为当前块的宽度的N是否大于Nth(步骤S815)。
在N大于Nth的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S820)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。
此外,在N不大于Nth的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N个相邻样本作为用于CCLM参数计算的参考样本(步骤S830)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。
此外,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S835)。在此,M可以表示大于N的值(N<M)。
随后,编码设备/解码设备确定N是否大于Nth(步骤S840)。
在N大于Nth的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S845)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。
此外,在N不大于Nth的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N个相邻样本作为用于CCLM参数计算的参考样本(步骤S850)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。
再次参照图8a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S860)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
此外,在本公开中,在推导CCLM参数时,可以提出与减少用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。
作为示例,为了解决如上所述的CCLM参数运算量随色度块尺寸增加而增加的问题,可以提出这样的实施方式:用于通过将相邻样本选择上限Nth自适应地配置为当前色度块的块尺寸并基于所配置的Nth选择当前色度块的相邻像素,来计算CCLM参数。Nth也可以表示为最大相邻样本数目。
例如,可以如下地按照当前色度块的块尺寸自适应地配置Nth
–在N×M尺寸或M×N尺寸(这里,N<=M)的当前色度块中N<=TH的情况下,配置为:Nth=2。
–在N×M尺寸或M×N尺寸(这里,N<=M)的当前色度块中N>TH的情况下,配置为:Nth=4。
在这种情况下,例如,依据阈值TH,可以如下地选择用于计算CCLM参数的参考样本。
例如,在TH为4(TH=4)的情况下,并且在当前色度块的N为2或4的情况下,使用块侧的两个样本对,并且可以计算CCLM参数;而在N为8、16或32的情况下,使用块侧的四个样本对,并且可以计算CCLM参数。
此外,例如,在TH为8(TH=8)的情况下,使用块侧的两个样本对,并且可以计算CCLM参数,而在N为16或32的情况下,使用块侧的四个样本对,并且可以计算CCLM参数。
如上所述,根据本实施方式,Nth被自适应地配置为当前色度块的块尺寸,可以选择针对块尺寸而优化的样本数目。
例如,根据现有CCLM参考样本选择方法和本实施方式的用于CCLM参数计算的运算量可以如下表来表示。
[表12]
Figure BDA0002568492540000271
这里,N可以表示当前块的宽度和高度的最小值。参照上表12,在使用本实施方式中提出的CCLM参考样本选择方法的情况下,即使在块尺寸增加的情况下,CCLM参数计算所需的运算量也不会增加。
此外,在编码设备和解码设备中,TH可以被推导为预定值,而无需发送表示TH的附加信息。另选地,可以以编码单元(CU)、条带、图片或序列为单位发送表示TH的附加信息,并且可以基于表示TH的附加信息来推导TH。表示TH的附加信息可以表示TH的值。
例如,在以CU为单位发送表示TH的附加信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,如下所述,可以提出一种方法来解析语法元素cclm_reduced_sample_flag并执行CCLM参数计算过程。cclm_reduced_sample_flag可以代表CCLM缩减样本标志的语法元素。
–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为Nth=4,并且通过上述图8中提出的本实施方式的相邻样本选择方法来执行CCLM参数计算。
–在cclm_reduced_sample_flag为1(真)的情况下,配置为TH=4,并通过上述本实施方式中提出的相邻样本选择方法执行CCLM参数计算。
另选地,在以条带、图片或序列为单位发送表示TH的附加信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的附加信息来对TH值进行解码。
例如,通过条带报头发信号通知的附加信息可以如下表来表示。
[表13]
Figure BDA0002568492540000281
cclm_reduced_sample_threshold可以表示表示TH的附加信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的附加信息可以表示为下表。
[表14]
Figure BDA0002568492540000282
另选地,例如,通过序列参数集(SPS)发信号通知的附加信息可以表示为下表。
[表15]
Figure BDA0002568492540000283
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_num值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)推导的TH值。
[表16]
cclm_reduced_sample_threshold TH
0 4
1 8
例如,参照上表16,可以基于cclm_reduced_sample_threshold推导TH。在cclm_reduced_sample_threshold值为0的情况下,TH可以推导为4,以及在cclm_reduced_sample_threshold值为1的情况下,TH可以推导为8。
此外,在TH在编码设备和解码设备中被推导为预定值而无需发送单独的附加信息的情况下,编码设备可以基于预定的TH值,如上述本实施方式那样执行用于CCLM预测的CCLM参数计算。
另选地,编码设备可以确定是否使用阈值TH,并且可以如下地向解码设备发送表示是否使用TH的信息和表示TH值的附加信息。
-在以CU为单位发送表示是否使用TH的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。
1)在当针对所有块将Nth设置为4并且通过上述图8中提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当TH被设置为4并且通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
-另选地,在以条带、图片或序列为单位发送表示是否使用TH的信息的情况下,编码设备可以添加如上述表13、表14或表15所呈现的高阶语法(HLS),并发送表示是否使用TH的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置TH的使用。
1)例如,在输入图像为HD质量或更高的情况下,编码设备可以设置为TH=8,并且在输入图像为HD质量或更低的情况下,编码设备可以设置为TH=4。
2)在需要高质量的图像编码的情况下,编码设备可以设置为TH=8,并且在需要正常质量的图像编码的情况下,编码设备可以设置为TH=4。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
图9a和图9b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。
参照图9a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S900)。例如,可以如图9b所示的本实施方式那样计算CCLM参数。
图9b可以例示计算CCLM参数的特定实施方式。例如,参照图9b,编码设备/解码设备可以针对当前色度块设置TH(步骤S905)。TH可以是预定值或基于TH的附加信息而推导出。TH可以设置为4或8。
随后,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S910)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以确定作为当前块的宽度的N是否大于TH(步骤S915)。
在N大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S920)。在此,Nth可以为4。即,在N大于TH的情况下,Nth可以为4。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S925)。
此外,在N不大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S930)。也就是说,在N不大于TH的情况下,Nth可以为2。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S925)。
此外,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S935)。在此,M可以表示大于N的值(N<M)。
随后,编码设备/解码设备确定N是否大于TH(步骤S940)。
在N大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S945)。在此,Nth可以为4。即,在N大于TH的情况下,Nth可以为4。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S925)。
另外,在N不大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S950)。在此,Nth可以为2。即,在N不大于TH的情况下,Nth可以为2。随后,编码设备/解码设备可以基于所选择的参考样本推导用于CCLM预测的参数α和β(步骤S925)。
再次参照图9a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S960)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
此外,在本公开中,在推导CCLM参数时,可以提出与降低用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。
具体地,为了解决如上所述的CCLM参数运算量随色度块尺寸增加而增加的问题,本实施方式提出了一种自适应地配置像素选择上限Nth的方法。另外,在N=2的情况下(这里,N是色度块的宽度和高度当中的较小值),为了防止在针对2×2尺寸的色度块的CCLM预测中发生的最坏情况的运算(在CTU内的所有色度块被划分为2×2尺寸后,对所有色度块执行CCLM预测的情况),本实施方式提出了自适应地配置Nth的方法,并且由此,在最坏情况下用于CCLM参数计算的运算量可以减少大约40%。
例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
-本实施方式中的方法1(提出的方法1)
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,Nth可以设置为4(Nth=4)。
另选地,例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法2(提出的方法2)
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=8的情况下,则Nth可以设置为4(Nth=4)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>8的情况下,Nth可以设置为8(Nth=8)。
另选地,例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法3(提出的方法3)
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,Nth可以设置为2(Nth=2)。
另选地,例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法4(提出的方法4)
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,Nth可以设置为4(Nth=4)。
在本实施方式中的上述方法1至方法4可以将最坏情况的复杂度降低大约40%,并且由于Nth可以被自适应地应用于每个色度块尺寸,所以可以使编码损失最小化。另外,例如,由于方法2可以以可变方式应用最大至8的Nth,因此其可以适于高质量图像编码。由于方法3和方法4可以将Nth减少至4或2,因此可以显著降低CCLM复杂度,并且可以适于低图像质量或中等图像质量。
如在方法1至方法4中所述,根据本实施方式,可以按照块尺寸自适应地配置Nth,并且由此,可以选择用于推导优化的CCLM参数的参考样本数目。
编码设备/解码设备可以设置用于相邻样本选择的上限Nth,然后如上所述通过选择色度块相邻样本来计算CCLM参数。
在应用上述本实施方式的情况下根据色度块尺寸的CCLM参数计算量可以表示为下表。
[表17]
Figure BDA0002568492540000331
如在上表17中所示,在使用本实施方式中提出的方法的情况下,表明即使块尺寸增加,CCLM参数计算所需的运算量也没有增加。
此外,根据本实施方式,在无需发送附加信息的情况下,可以在编码设备和解码设备中使用允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法和表示Nth值的信息。
例如,在以CU为单位使用表示是否使用所提出的方法的信息的情况下,在当前色度块的帧内预测模式是CCLM模式时(即,在CCLM预测被应用于当前色度块的情况下),可以解析cclm_reduced_sample_flag,并且可以如下地执行上述本实施方式。
–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为Nth=4,并且通过上述图8中提出的本实施方式的相邻样本选择方法来执行CCLM参数计算。
–在cclm_reduced_sample_flag为1(真)的情况下,通过上述本实施方式的方法3执行CCLM参数计算。
另选地,在以条带、图片或序列为单位发送表示所应用方法的信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的信息选择方法1至方法4中的方法,并且基于所选方法,可以计算CCLM参数。
例如,通过条带报头发信号通知的表示所应用方法的信息可以表示为下表。
[表18]
Figure BDA0002568492540000332
cclm_reduced_sample_threshold可以表示表示所应用方法的信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表19]
Figure BDA0002568492540000341
另选地,例如,通过序列参数集(SPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表20]
Figure BDA0002568492540000342
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_threshold值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所选择的方法。
[表21]
cclm_reduced_sample_threshold 提出的方法
0 1(Nth=1,2,4)
1 2(Nth=1,2,4,8)
2 3(Nth=1,2)
3 4(Nth=1,4)
参照表21,在cclm_reduced_sample_threshold值为0的情况下,可以选择方法1作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为1的情况下,可以选择方法2作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为2的情况下,可以选择方法3作为应用于当前色度块的方法,以及在cclm_reduced_sample_threshold值为3的情况下,可以选择方法4作为应用于当前色度块的方法。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来推导重构图像。
此外,在以CU、条带、图片和序列为单位发送表示所述方法之一的信息的情况下,编码设备可以如下地确定方法1至方法4中的一种并且向解码设备发送信息。
-在以CU为单位发送表示是否应用上述本实施方式的方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。
1)在当针对所有块将Nth设置为4并且通过上述图8中提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当配置为应用方法3并且通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
–另选地,在以条带、图片或序列为单位发送表示是否应用上述本实施方式的方法的信息的情况下,编码设备可以添加如上述表18、表19或表20中所呈现的高阶语法(HLS),并发送表示所述方法当中的一个方法的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置所述方法当中被应用的方法。
1)例如,在输入图像为HD质量或更高的情况下,编码设备可以应用方法2(Nth=1、2、4或8),并且在输入图像为HD质量或更低的情况下,编码设备可以应用方法1(Nth=1、2或4)。
2)在需要高质量的图像编码的情况下,编码设备可以应用方法2(Nth=1,2,4或8),并且在需要正常质量的图像编码的情况下,编码设备可以应用方法4(Nth=1或4)。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
图10a和图10b是用于描述基于根据上述本实施方式的方法1所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图10a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1000)。例如,可以如图10b所示的本实施方式那样计算CCLM参数。
图10b可以例示计算CCLM参数的特定实施方式。例如,参照图10b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1005)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1010),并确定N是否小于2(N<2)(步骤S1015)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1020)。编码设备/解码设备确定N是否小于2(步骤S1015)。在此,M表示大于N的值(N<M)。
在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1025)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1030)。
此外,在N不小于2的情况下,编码设备/解码设备可以确定N是否为4以下(N<=4)(步骤S1035)。
在N为4以下的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1040)。在此,Nth可以为2。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1030)。
另选地,在N大于4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1045)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1030)。
再次参照图10a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S1050)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图11a和图11b是用于描述基于根据上述本实施方式的方法2所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图11a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1100)。例如,可以如图11b所示的本实施方式那样计算CCLM参数。
图11b可以例示计算CCLM参数的特定实施方式。例如,参照图11b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1105)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1110),并确定N是否小于2(N<2)(步骤S1115)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1120)。编码设备/解码设备确定N是否小于2(步骤S1115)。在此,M表示大于N的值(N<M)。
在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1125)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1130)。
此外,在N不小于2的情况下,编码设备/解码设备可以确定N是否为4以下(N<=4)(步骤S1135)。
在N为4以下的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1140)。在此,Nth可以为2。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1130)。
此外,在N大于4的情况下,编码设备/解码设备可以确定N是否为8以下(N<=8)(步骤S1145)。
在N为8以下的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1150)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1130)。
另选地,在N大于8的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1155)。在此,Nth可以为8(Nth=8)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1130)。
再次参照图11a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S1160)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图12a和图12b是用于描述基于根据上述本实施方式的方法3所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图12a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1200)。例如,可以如图12b所示的本实施方式那样计算CCLM参数。
图12b可以例示计算CCLM参数的特定实施方式。例如,参照图12b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1205)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1210),并确定N是否小于2(N<2)(步骤S1215)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1220)。编码设备/解码设备确定N是否小于2(步骤S1215)。在此,M表示大于N的值(N<M)。
在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1225)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1230)。
此外,在N不小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1235)。在此,Nth可以为2。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1230)。
再次参照图12a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S1240)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图13a和图13b是用于描述基于根据上述本实施方式的方法4所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图13a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1300)。例如,可以如图13b所示的本实施方式那样计算CCLM参数。
图13b可以例示计算CCLM参数的特定实施方式。例如,参照图13b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1305)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1310),并确定N是否小于2(N<2)(步骤S1315)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1320)。编码设备/解码设备确定N是否小于2(步骤S1315)。在此,M表示大于N的值(N<M)。
在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1325)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1330)。
此外,在N不小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1335)。在此,Nth可以为4。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1330)。
再次参照图13a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S1340)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
此外,在本公开中,在推导CCLM参数时,可以提出与降低用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。
具体地,为了解决如上所述的CCLM参数运算量随着色度块尺寸增加而增加的问题,本实施方式提出了一种自适应地配置像素选择上限Nth的方法。
例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法1(提出的方法1)
–在当前色度块是2×2尺寸的色度块的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<M)的当前色度块中N=2的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,Nth可以设置为4(Nth=4)。
另选地,例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法2(提出的方法2)
–在当前色度块是2×2尺寸的色度块的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<M)的当前色度块中N=2的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,Nth可以设置为4(Nth=4)。
另选地,例如,根据本实施方式,可以如下地按照块尺寸自适应地配置Nth
–本实施方式中的方法3(提出的方法3)
–在当前色度块是2×2尺寸的色度块的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸(这里,例如,N<M)的当前色度块中N=2的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,Nth可以设置为4(Nth=4)。
–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,Nth可以设置为8(Nth=8)。
在本实施方式中的上述方法1至方法3可以将当前色度块为2×2的情况下的最坏情况的复杂度降低大约40%,并且由于Nth可以被自适应地应用于每个色度块尺寸,因此编码损失可以最小化。另外,例如,由于在N>2的情况下方法1和方法3可以将Nth应用于4,因此可以适合于高质量图像编码。由于即使在N=4的情况下,方法2仍可以将Nth减少至2,因此可以显著降低CCLM复杂度,并且可以适于低图像质量或中等图像质量。
如在方法1至方法3中所述,根据本实施方式,可以按照块尺寸自适应地配置Nth,并且由此,可以选择用于推导优化的CCLM参数的参考样本数目。
编码设备/解码设备可以设置用于相邻样本选择的上限Nth,然后如上所述通过选择色度块相邻样本来计算CCLM参数。
在应用上述本实施方式的情况下,根据色度块尺寸的CCLM参数计算量可以表示为下表。
[表22]
Figure BDA0002568492540000411
如在上表22中所示,在使用本实施方式中提出的方法的情况下,表明即使块尺寸增加,CCLM参数计算所需的运算量也没有增加。
此外,根据本实施方式,在无需发送附加信息的情况下,可以在编码设备和解码设备中使用允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法和表示Nth值的信息。
例如,在以CU为单位使用表示是否使用所提出的方法的信息的情况下,在当前色度块的帧内预测模式是CCLM模式时(即,在CCLM预测被应用于当前色度块的情况下),可以解析cclm_reduced_sample_flag,并且可以如下地执行上述本实施方式。
–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为Nth=2,并且通过上述图8中提出的本实施方式的相邻样本选择方法来执行CCLM参数计算。
–在cclm_reduced_sample_flag为1(真)的情况下,通过上述本实施方式的方法1执行CCLM参数计算。
另选地,在以条带、图片或序列为单位发送表示所应用方法的信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的信息来选择方法1至方法3中的方法,并且基于所选方法,可以计算CCLM参数。
例如,通过条带报头发信号通知的表示所应用方法的信息可以表示为下表。
[表23]
Figure BDA0002568492540000421
cclm_reduced_sample_threshold可以表示表示所应用方法的信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表24]
Figure BDA0002568492540000422
另选地,例如,通过序列参数集(SPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表25]
Figure BDA0002568492540000423
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_threshold值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所选择的方法。
[表26]
cclm_reduced_sample_threshold 提出的方法
0 未应用
1 1(Nth=1,2,4)
2 2(Nth=1,2,2,4)
3 3(Nth=1,2,4,8)
参照表26,在cclm_reduced_sample_threshold值为0的情况下,上述本实施方式的方法可以不应用于当前色度块,在cclm_reduced_sample_threshold值为1的情况下,可以选择方法1作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为2的情况下,可以选择方法2作为应用于当前色度块的方法,并且在cclm_reduced_sample_threshold值为3的情况下,可以选择方法3作为应用于当前色度块的方法。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来推导重构图像。
此外,在以CU、条带、图片和序列为单位发送表示方法之一的信息的情况下,编码设备可以如下地确定方法1至方法3中的一种并且向解码设备发送信息。
-在以CU为单位发送表示是否应用上述本实施方式的方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。
1)在当针对所有块Nth被设置为2并且通过上述图8中提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当配置了应用方法1并通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
–另选地,在以条带、图片或序列为单位发送表示是否应用上述本实施方式的方法的信息的情况下,编码设备可以添加如上述表23、表24或表25中所呈现的高阶语法(HLS),并发送表示所述方法当中的一种方法的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置所述方法当中被应用的方法。
1)例如,在输入图像为HD质量或更高的情况下,编码设备可以应用方法3(Nth=1、2、4或8),并且在输入图像为HD质量或更低的情况下,编码设备可以应用方法1(Nth=1、2或4)。
2)在需要高质量的图像编码的情况下,编码设备可以应用方法3(Nth=1、2、4或8),在需要正常质量的图像编码的情况下,编码设备可以应用方法2(Nth=1、2、2或4)或方法1(Nth=1、2或4)。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
图14a和图14b是用于描述基于根据上述本实施方式的方法1所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图14a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1400)。例如,可以如图14b所示的本实施方式那样计算CCLM参数。
图14b可以例示计算CCLM参数的特定实施方式。例如,参照图14b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1405)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1410),并确定当前色度块的尺寸是否为2×2(步骤S1415)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1420)。编码设备/解码设备确定当前色度块的尺寸是否为2×2(步骤S1415)。在此,M表示大于N的值(N<M)。
在当前色度块的尺寸是2×2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1425)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1430)。
此外,在当前色度块的尺寸不是2×2的情况下,编码设备/解码设备确定N是否为2(N==2)(步骤S1435)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1440)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1430)。
另选地,在N不为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1445)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1430)。
再次参照图14a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S1450)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图15a和图15b是用于描述基于根据上述本实施方式的方法2所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图15a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1500)。例如,可以如图15b所示的本实施方式那样计算CCLM参数。
图15b可以例示计算CCLM参数的特定实施方式。例如,参照图15b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1505)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1510),并确定当前色度块的尺寸是否为2×2(步骤S1515)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1520)。编码设备/解码设备确定当前色度块的尺寸是否为2×2(步骤S1515)。在此,M表示大于N的值(N<M)。
在当前色度块的尺寸为2×2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1525)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1530)。
此外,在当前色度块的尺寸不是2×2的情况下,编码设备/解码设备确定N是否为2(N==2)(步骤S1535)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1540)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1530)。
此外,在N不为2的情况下,编码设备/解码设备可以确定N是否为4(N==4)(步骤S1545)。
在N为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1550)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1530)。
另选地,在N不为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1555)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1530)。
再次参照图15a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S1560)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图16a和图16b是用于描述基于根据上述本实施方式的方法3所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。
参照图16a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1600)。例如,可以如图16b所示的本实施方式那样计算CCLM参数。
图16b可以例示计算CCLM参数的特定实施方式。例如,参照图16b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1605)。
在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1610),并确定当前色度块的尺寸是否为2×2(步骤S1615)。
另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1620)。编码设备/解码设备确定当前色度块的尺寸是否为2×2(步骤S1615)。在此,M表示大于N的值(N<M)。
在当前色度块的尺寸为2×2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1625)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1630)。
此外,在当前色度块的尺寸不是2×2的情况下,编码设备/解码设备确定N是否为2(N==2)(步骤S1635)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1640)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1630)。
此外,在N不为2的情况下,编码设备/解码设备可以确定N是否为4(N==4)(步骤S1645)。
在N为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1650)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1630)。
另选地,在N不为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2Nth个相邻样本作为用于CCLM参数计算的参考样本(步骤S1655)。在此,Nth可以为8(Nth=8)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1630)。
再次参照图16a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测并生成当前色度块的预测样本(步骤S1660)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
此外,在推导用于CCLM参数计算的相邻参考样本中需要子采样的情况下,本公开提出了一种更有效地选择子采样样本的实施方式。
图17例示了选择色度块的相邻参考样本的示例。
参照图17的(a),在2×2尺寸(N=2)的色度块中,可以基于4个相邻参考样本来计算用于色度块的CCLM参数α和β。相邻参考样本可以包括亮度块的4个相邻参考样本和色度块的4个相邻参考样本。另外,类似于上述本实施方式,在将用于2×2尺寸的色度块的Nth设置为1(Nth=1)的情况下,参照图17的(b),可以基于2个相邻参考样本来计算用于色度块的CCLM参数α和β。然而,如图17所示,在使用被子采样一半的相邻参考样本的情况下,由于相邻参考样本在当前色度块的右上侧拥挤,因此出现了以下问题:在CCLM参数计算中未考虑相邻参考样本的多样性,这可能是CCLM参数精度劣化的原因。
图18a至图18c例示了通过现有的子采样所推导的相邻参考样本和通过根据本实施方式的子采样推导的相邻参考样本。
如图18a和图18b所示,通过根据本实施方式的子采样优先选择远离当前色度块的左上侧的相邻样本,在CCLM参数计算中可以选择更多样的采样值。
另外,如图18c所示,本实施方式提出了即使对于如n×2尺寸或2×n尺寸的非正方形色度块也优先选择远离左上侧的一侧的子采样。由此,可以在CCLM参数计算中选择更多样的样本值,并且由此可以提高CCLM参数计算的准确性。
此外,可以基于下式来执行现有的子采样。
[式5]
Idx_w=(x*width)/subsample_num
Idx_h=(y*height)/subsample_num
在此,Idx_w可以表示通过子采样推导出的与顶当前色度块相邻的相邻参考样本(或相邻参考样本的位置),Idx_h可以表示通过子采样推导出的与左当前色度块相邻的相邻参考样本(或相邻参考样本的位置)。此外,width可以表示当前色度块的宽度,height可以表示当前色度块的高度。另外,subsample_num可以表示通过子采样推导出的相邻参考样本的数目(与一侧相邻的相邻参考样本的数目)。
例如,可以如下执行基于上式5所执行的子采样。
上式5中的x是变量,并且可以在子采样之后从0增加到当前色度块的顶相邻参考样本的参考样本数目。作为示例,在宽度为16的当前色度块中选择2个顶相邻参考样本的情况下,式5的width为16,并且x可以从0到1变化。此外,由于Subsample_num为2,所以可以选择0和8作为Idx_w值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从顶相邻参考样本当中选择x坐标为0的顶相邻参考样本和x坐标为8的顶相邻参考样本。
上式5中的y是变量,并且在子采样之后可以从0增加到当前色度块的左相邻参考样本的参考样本数目。作为示例,在高度为32的当前色度块中选择了4个左相邻参考样本的情况下,式5中的height为32,并且y可以从0到3变化。另外,由于Subsample_num为4,所以可以选择0、8、16和24作为Idx_h值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从左相邻参考样本当中选择y坐标为0的左相邻参考样本、y坐标为8的左相邻参考样本、y坐标为16的左相邻参考样本和y坐标为24的左相邻参考样本。
参照上式5,可以通过子采样选择当前色度块的仅左上角附近的样本。
因此,根据本实施方式,可以基于与上式5不同的式来执行子采样。例如,可以基于下式来执行在本实施方式中提出的子采样。
[式6]
Idx_w=width-1-(x*width)/subsample_num_width
Idx_h=height-1-(y*height)/subsample_num_height
这里,subsample_num_width可以表示通过子采样所推导的顶相邻参考样本数目,并且subsample_num_height可以表示通过子采样所推导的左相邻参考样本数目。
另外,x是变量,并且可以在子采样之后从0增加到当前色度块的顶相邻参考样本的参考样本数目。此外,y是变量,并且可以在子采样之后从0增加到当前色度块的左相邻参考样本的参考样本数目。
例如,参照上式6,在宽度为16的当前色度块中选择两个顶相邻参考样本的情况下,式6中的width为16,并且x可以从0到1变化。另外,由于subsample_num_width为2,所以可以选择15和7作为Idx_w值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从顶相邻参考样本当中选择x坐标为15的顶相邻参考样本和x坐标为7的顶相邻参考样本。即,在当前色度块的顶相邻参考样本当中,可以选择远离当前色度块的左上侧的顶相邻参考样本。
另外,例如,参照上式6,在高度为32的当前色度块中选择4个左相邻参考样本的情况下,式6中的height为32,并且y可以从0至3变化。此外,由于subsample_num_height为4,所以可以选择31、23、15和7作为Idx_h值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样在左相邻参考样本当中选择y坐标为31的左相邻参考样本、y坐标为23的左相邻参考样本、y个坐标为15的左相邻参考样本、以及y坐标为7的左相邻参考样本。
此外,可以基于当前色度块的尺寸来推导以上式6的subsample_num_width和subsample_num_height。例如,可以如下表中所示地推导subsample_num_width和subsample_num_height。
[表27]
色度块尺寸 (subsample_num_width,subsample_num_height)
2×2,2×N,N×2(N>2) (2,2)
4×4,4×N,N×4(N>4) (4,4)
8×8,8×N,N×8(N>8) (8,8)
16×16,16×N,N×16(N>16) (16,16)
32×32,32×N,N×32(N>32) (32,32)
64×64 (64,64)
参照表27,可以根据当前色度块的宽度和高度当中的短边,对与长边相邻的相邻参考样本执行子采样。即,从与长边相邻的相邻参考样本当中选择的相邻参考样本的数目可以被推导为当前色度块的宽度和高度当中的较小值。例如,可以将其推导为subsample_num_width=subsample_num_height=min(width,height)。
另选地,例如,在推导出Nth的情况下,可以基于Nth推导subsample_num_width和subsample_num_height。例如,可以基于Nth,如下表中所示地推导subsample_num_width和subsample_num_height。
[表28]
Figure BDA0002568492540000501
在此,min(A,B)可以表示A和B当中的较小值。
另选地,例如,基于预定的查找表(LUT),可以执行子采样以根据当前色度块的形状推导最佳数目的相邻参考样本。例如,可以如下表所示地推导LUT。
[表29]
色度块尺寸 (subsample_num_width,subsample_num_height)
2×2,2×4,2×8,2×16,2×32 (2,2),(2,2),(2,6),(2,14),(2,30)
4×2,8×2,16×2,32×2 (2,2),(6,2),(14,2),(30,2)
4×4,4×8,4×16,4×32 (4,4),(4,4),(4,12),(4,28)
8×4,16×4,32×4 (4,4),(12,4),(28,4)
8×8,8×16,8×32 (8,8),(8,8),(8,24)
16×8,32×8 (8,8),(24,8)
16×16,16×32 (16,16),(16,16)
32×16 (16,16)
32×32 (32,32)
参照上表29,与上述子采样相比,可以增加所选数目的相邻参考样本,并且由此可以以更高精度计算CCLM参数。在上述示例中用于推导6个相邻参考样本的子采样中,可以在用于推导8个相邻参考样本的子采样当中选择前6个位置(idx_w或idx_h),并且在用于推导12或14个相邻参考样本的子采样中,可以在用于推导16个相邻参考样本的子采样当中选择前12个或14个位置。另外,在用于推导24或28个相邻参考样本的子采样中,可以在用于推导32个相邻参考样本的子采样当中选择前24或28个位置。
另选地,为了防止硬件复杂度的增加,可以执行用于推导简化数目的相邻参考样本的子采样。例如,可以如下表所示地推导LUT。
[表30]
色度块尺寸 (subsample_num_width,subsample_num_height)
2×2,2×4,2×8,2×16,2×32 (2,2),(2,2),(2,6),(2,6),(2,6)
4×2,8×2,16×2,32×2 (2,2),(6,2),(6,2),(6,2)
4×4,4×8,4×16,4×32 (4,4),(4,4),(2,6),(2,6)
8×4,16×4,32×4 (4,4),(6,2),(6,2)
8×8,8×16,8×32 (4,4),(4,4),(2,6)
16×8,32×8 (4,4),(6,2)
16×16,16×32 (4,4),(4,4)
32×16 (4,4)
32×32 (4,4)
参照上表30,subsample_num_width和subsample_num_height之和的最大值设置为8。由此,可以降低硬件复杂度,并且可以有效地计算CCLM参数。
在上述示例中用于推导6个相邻参考样本的子采样中,可以在用于推导8个相邻参考样本的子采样当中选择前6个位置(idx_w或idx_h)。
根据所提出的方法,在无需发送附加信息的情况下,可以使用编码器或解码器中的允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法或值。
在执行使用如上述表29和表30所呈现的LUT的子采样的情况下,编码设备和解码设备可以使用在表(即,LUT)中确定的subsample_num_width和subsample_num_height数目,并且在使用Nth的情况下,可以基于Nth值来确定subsample_num_width和subsample_num_height。另外,在其它情况下,可以使用如表28推导的值作为默认的subsample_num_width和subsample_num_height数目。
此外,在以CU为单位发送所提出的方法(即,发送表示是否应用使用上述式6的子采样的信息)的情况下,在当前色度块的帧内预测模式为CCLM模式时,解码设备通过如下地解析cclm_subsample_flag来执行CCLM预测的方法。
–在cclm_subsample_flag为0(假)的情况下,通过现有的子采样方法(基于上述式5的子采样)执行相邻参考样本选择和CCLM参数计算。
–在cclm_subsample_flag为1(真)的情况下,通过提出的子采样方法(基于上述式6的子采样)执行相邻参考样本选择和CCLM参数计算。
在以条带、图片和序列为单位来发送表示是否使用所提出方法的信息的情况下,可以通过如下的高阶语法(HLS)来发送该信息。解码设备可以基于该信息选择执行的子采样方法。
例如,通过条带报头发信号通知的表示是否使用所提出方法的信息可以表示为下表。
[表31]
Figure BDA0002568492540000521
cclm_reduced_sample_flag可以表示代表是否使用所提出方法的信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的表示是否使用所提出方法的信息可以表示为下表。
[表32]
Figure BDA0002568492540000522
另选地,例如,通过序列参数集(SPS)发信号通知的表示是否使用所提出方法的信息可以表示为下表。
[表33]
Figure BDA0002568492540000523
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_flag值(即,通过对cclm_reduced_sample_flag进行解码所推导的值)所选择的方法。
[表34]
cclm_subsample_flag 提出的方法
0 未应用(使用式5)
1 应用(使用式6)
参照表34,在cclm_reduced_sample_flag值是0的情况下,可以执行使用式5的子采样,并且在cclm_reduced_sample_flag值是1的情况下,可以执行使用式6的子采样。
此外,在编码设备和解码设备中使用预定值而不发送附加信息的情况下,编码设备可以按照与解码设备相同的方式执行上述实施方式,并基于所选择的相邻参考样本执行CCLM参数计算。
另选地,在以CU、条带、图片和序列为单位发送表示是否应用所提出的子采样方法的信息的情况下,编码设备可以确定是否应用所提出的子采样方法,然后向解码设备发送所确定的方法的信息。
在以CU为单位发送表示是否应用所提出的子采样方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,编码设备可以通过RDO确定以下两种情况当中编码效率好的一方,并向解码设备发送表示相应情况的值的信息。
1)在当通过现有的子采样(基于上述式5的子采样)执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当通过所提出的子采样(基于上述式6的子采样)执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
–在以条带、图片或序列为单位发送表示是否应用所提出的子采样方法的信息的情况下,编码设备可以添加如上述表31、表32或表33所呈现的高阶语法(HLS),并发送该信息。
图19示出了使用利用如上所述的式6的子采样来执行CCLM预测的示例。
参照图19,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1900)。
具体地,编码设备/解码设备可以确定是否需要对当前色度块的相邻样本进行子采样(步骤S1905)。
例如,为了推导当前色度块的CCLM参数,在选择比当前色度块的宽度更少数目的顶相邻样本的情况下,需要对当前色度块的顶相邻样本执行子采样。另外,例如,为了推导当前色度块的CCLM参数,在选择了比当前色度块的高度更少数目的顶相邻样本的情况下,需要对当前色度块的左相邻样本执行子采样。
在需要子采样的情况下,编码设备/解码设备可以通过对相邻样本执行使用式6的子采样,来选择特定数目的相邻样本(步骤S1910)。随后,编码设备/解码设备可以基于所选择的相邻样本来计算当前色度块的CCLM参数(步骤S1915)。
在不需要子采样的情况下,编码设备/解码设备可以不执行子采样,而是选择当前色度块的相邻样本(步骤S1920)。随后,编码设备/解码设备可以基于所选择的相邻样本来计算当前色度块的CCLM参数(步骤S1915)。
在推导出CCLM参数的情况下,编码设备/解码设备可以通过基于CCLM参数对当前色度块执行CCLM预测来生成当前色度块的预测样本(步骤S1925)。
此外,在本公开中,在推导CCLM参数时,可以提出与减少用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。
为了解决如上所述的CCLM参数运算量随着色度块尺寸的增加而增加的问题,本实施方式提出了一种自适应地配置像素选择上限Nth的方法。Nth也可以称为最大相邻样本数目。
此外,在N=2的情况下(这里,N是色度块的宽度和高度当中的较小值),为了防止在针对2×2尺寸的色度块的CCLM预测中发生的最坏情况的运算(在CTU中的所有色度块被划分为2×2尺寸之后,针对所有色度块执行CCLM预测的情况),本实施方式提出了一种自适应地配置Nth的方法,并且由此,在最坏情况下的用于CCLM参数计算的运算量可以减少大约50%。
例如,根据本实施方式,可以如下按照块尺寸自适应地配置Nth
–本实施方式中的方法1(提出的方法1)
–在N×M尺寸或M×N尺寸的当前色度块中N=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸的当前色度块中N=4的情况下,Nth可以设置为2(Nth=2)。
–在N×M尺寸或M×N尺寸的当前色度块中N>4的情况下,Nth可以设置为4(Nth=4)。
另选地,例如,根据本实施方式,可以如下按照块尺寸自适应地配置Nth
–本实施方式中的方法2(提出的方法2)
–在N×M尺寸或M×N尺寸的当前色度块中N=2的情况下,Nth可以设置为1(Nth=1)。
–在N×M尺寸或M×N尺寸的当前色度块中N=4的情况下,Nth可以设置为2(Nth=2)。
另选地,例如,根据本实施方式,可以如下按照块尺寸自适应地配置Nth
–本实施方式中的方法3(提出的方法3)
–在N×M尺寸或M×N尺寸的当前色度块中N>4的情况下,Nth可以设置为4(Nth=4)。
另选地,例如,根据本实施方式,可以如下按照块尺寸自适应地配置Nth
–本实施方式中的方法4(提出的方法4)
–在N×M尺寸或M×N尺寸的当前色度块中N>2的情况,Nth可以设置为2(Nth=2)。
在本实施方式中,N=2的情况可以表示用于CCLM参数计算的相邻样本数目为4(即,2N)的情况,并且Nth=1的情况可以表示仅2(即,2Nth)个相邻样本用于CCLM参数计算的情况。此外,N=4的情况可以表示用于CCLM参数计算的相邻样本数目为8(即,2N)的情况,并且Nth=2的情况可以表示仅4(即,2Nth)个相邻样本用于CCLM参数计算的情况。
因此,根据上述方法1,在4个相邻样本可以用于CCLM预测的情况下(例如,现有CCLM预测模式(即,LM_LA模式)被应用于2×N尺寸或N×2尺寸的色度块的情况、LM_A模式被应用于2×N尺寸的色度块的情况、以及LM_L模式被应用于N×2尺寸的色度块的情况),通过仅使用一半的相邻样本来计算CCLM参数,并且因此,在最坏的情况下,比较运算的数目可以减少到一半。另外,即使在8个相邻样本可以用于CCLM预测的情况下(例如,现有CCLM预测模式(即,LM_LA模式)被应用于4×N尺寸或N×4尺寸的色度块的情况、LM_A模式被应用于4×N尺寸的色度块的情况、以及LM_L模式被应用于N×4尺寸的色度块的情况),通过仅使用一半的相邻样本来计算CCLM参数,可以显著减少比较运算的数目。此外,即使对于使用更多相邻样本的情况,也仅使用最多8个相邻样本,并且可以执行CCLM参数计算。
此外,根据以上方法2,在4个相邻样本可以用于CCLM预测的情况下(例如,现有CCLM预测模式(即,LM_LA模式)被应用于2×N尺寸或N×2尺寸的色度块的情况、LM_A模式被应用于2×N尺寸的色度块的情况、以及LM_L模式被应用于N×2尺寸的色度块的情况),通过仅使用一半的相邻样本来计算CCLM参数,并且因此,在最坏的情况下,比较运算的数目可以减少到一半。此外,即使对于使用更多相邻样本的情况,也仅使用最多4个相邻样本,并且可以执行CCLM参数计算。
此外,根据以上方法3,仅使用最多8个相邻样本,并且可以执行CCLM参数计算,并且根据以上方法4,仅使用最多4个相邻样本,并且可以执行CCLM参数计算。即,根据方法4,在所有色度块中可以使用4个相邻块来计算CCLM参数。
本实施方式中的上述方法1至方法4可以将N=2的情况的最坏情况下的比较运算减少大约50%,并且由于Nth可以自适应地应用于每个色度块尺寸,因此编码损失可以最小化。
如在方法1至方法4中所述,根据本实施方式,可以按照块尺寸自适应地配置Nth,并且由此,可以选择用于推导优化的CCLM参数的参考样本数目。
编码设备/解码设备可以设置用于相邻样本选择的上限Nth,然后如上所述通过选择色度块相邻样本来计算CCLM参数。
在应用上述本实施方式的情况下根据色度块尺寸的CCLM参数计算量可以表示为下表。
[表35]
Figure BDA0002568492540000561
如以上表35所示,在使用本实施方式中提出的方法的情况下,表明即使块尺寸增加,CCLM参数计算所需的运算量也没有增加。
此外,根据本实施方式,在无需发送附加信息的情况下,可以在编码设备和解码设备中使用允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法以及表示Nth值的信息。
例如,在以CU为单位发送表示是否使用所提出方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式时(即,在CCLM预测被应用于当前色度块的情况下),可以解析cclm_reduced_sample_flag,并且可以如下执行上述本实施方式。
–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为Nth=4,并且通过上述图8中提出的本实施方式的相邻样本选择方法来执行CCLM参数计算。
–在cclm_reduced_sample_flag为1(真)的情况下,通过上述本实施方式的方法2执行CCLM参数计算。
另选地,在以条带、图片或序列为单位发送表示所应用方法的信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的信息来选择方法1至方法4当中的方法,并且基于所选择的方法,可以计算CCLM参数。
例如,通过条带报头发信号通知的表示所应用方法的信息可以表示为下表。
[表36]
Figure BDA0002568492540000571
cclm_reduced_sample_threshold可以表示代表所应用方法的信息的语法元素。
另选地,例如,通过图片参数集(PPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表37]
Figure BDA0002568492540000572
另选地,例如,通过序列参数集(SPS)发信号通知的表示所应用方法的信息可以表示为下表。
[表38]
Figure BDA0002568492540000581
可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_threshold值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所选择的方法。
[表39]
cclm_reduced_sample_threshold 提出的方法
0 1(Nth=1,2,4)
1 2(Nth=1,2)
2 3(Nth=4)
3 4(Nth=2)
参照表39,在cclm_reduced_sample_threshold值为0的情况下,可以选择方法1作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为1的情况下,可以选择方法2作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为2的情况下,可以选择方法3作为应用于当前色度块的方法,并且在cclm_reduced_sample_threshold值为3的情况下,可以选择方法4作为当前色度块的方法。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式(LM_T模式、LM_T模式或LM_LT模式),并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
此外,上述实施方式中提出的方法1和方法2的实验结果数据可以如下。
下表可以表示方法1的实验结果数据。
[表40]
Figure BDA0002568492540000591
另外,下表可以表示方法2的实验结果数据。
[表41]
Figure BDA0002568492540000592
表40和表41可以表示应用了方法1和方法2的编码效率和运算复杂度。在该实验中,锚点是VTM3.0rc1,并且这是全部帧内实验结果。
参照表40,当应用方法1时,尽管减少了CCLM参数计算运算量(Nth=1、2和4),但没有编码损失,而是可以获得少许性能增益(例如,性能增益是:Y为0.02%,Cb为0.12%,Cr为0.17%)。此外,参照表40,表明编码和解码的复杂度分别降低至99%和96%。
另外,参照表41,当应用方法2时,尽管减少了CCLM参数计算运算量(Nth=1和2),但是编码效率与现有CCLM预测的编码效率没有区别,并且表明编码复杂度和解码复杂度分别降低至99%和96%。
此外,在以CU、条带、图片和序列为单位发送表示方法之一的信息的情况下,编码设备可以确定方法1至方法4中的一个方法,并如下地向解码设备发送该信息。
-在以CU为单位发送表示是否应用了上述本实施方式的方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式时(即,在CCLM预测(LM_T模式、LM_T模式或LM_LT模式)被应用于当前色度块的情况下),编码设备可以通过RDO确定以下两种情况当中编码效率好的一方,并向解码设备发送所确定的方法的信息。
1)在当针对所有块将Nth设置为4并且通过上述图8中提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。
2)在当配置了应用方法2并且通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。
–另选地,在以条带、图片或序列为单位发送表示是否应用上述本实施方式的方法的信息的情况下,编码设备可以添加如上述表36、表37或表38中呈现的高阶语法(HLS),并且发送表示所述方法当中的一种方法的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置所述方法当中被应用的方法。
1)例如,在输入图像是HD质量或更高的情况下,编码设备可以应用方法1(Nth=1,2或4),并且在输入图像是HD质量或更低的情况下,编码方法可以应用方法2(Nth=1或2)。
2)在需要高质量的图像编码的情况下,编码设备可以应用方法3(Nth=4),并且在需要正常质量的图像编码的情况下,编码设备可以应用方法4(Nth=2)。
在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式(LM_T模式、LM_T模式或LM_LT模式),并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。
图20a和图20b是用于描述基于根据上述本实施方式的方法1所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。CCLM预测可以表示现有CCLM预测,即,基于LM_LT模式执行的CCLM预测或基于LM_T模式执行的CCLM预测。
参照图20a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S2000)。例如,可以如图20b所示的本实施方式那样计算CCLM参数。
图20b可以例示了计算CCLM参数的特定实施方式。例如,参照图20b,编码设备/解码设备可以基于当前色度块的形状和当前色度块的CCLM预测模式来设置N(步骤S2005)。在LM_LT模式被应用于当前色度块的情况下,当前色度块的宽度和高度当中的较小值可以被设置为N。此外,例如,在当前色度块是宽度大于高度的非正方形块并且LM_T模式被应用于当前色度块的情况下,当前色度块的宽度可以被设置为N。此外,例如,在当前色度块是高度大于宽度的非正方形块并且LM_L模式被应用于当前色度块的情况下,当前色度块的高度可以设置为N。
随后,编码设备/解码设备可以确定N是否为2(N=2)(步骤S2010)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2个(即,2Nth个)相邻样本作为用于CCLM参数计算的参考样本(步骤S2015)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2020)。
此外,在N不为2的情况下,编码设备/解码设备可以确定N是否为4(N=4)(步骤S2025)。
在N为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的4(即,2Nth)个相邻样本作为用于CCLM参数计算的参考样本(步骤S2030)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2020)。
另选地,在N不为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的8(即,2Nth)个相邻样本作为CCLM参数计算的参考样本(步骤S2035)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2020)。
再次参照图20a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S2040)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图21a和图21b是用于描述基于根据上述本实施方式的方法2所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。CCLM预测可以表示现有的CCLM预测,即,基于LM_LT模式执行的CCLM预测或基于LM_T模式执行的CCLM预测。
参照图21a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S2100)。例如,可以如图21b所示的本实施方式那样计算CCLM参数。
图21b可以例示计算CCLM参数的特定实施方式。例如,参照图21b,编码设备/解码设备可以基于当前色度块的形状和当前色度块的CCLM预测模式来设置N(步骤S2105)。在LM_LT模式被应用于当前色度块的情况下,当前色度块的宽度和高度当中的较小值可以被设置为N。此外,例如,在当前色度块是宽度大于高度的非正方形块并且LM_T模式被应用于当前色度块的情况下,当前色度块的宽度可以被设置为N。另外,例如,在当前色度块是高度大于宽度的非正方形块并且LM_L模式被应用于当前色度块的情况下,当前色度块的高度可以被设置为N。
随后,编码设备/解码设备可以确定N是否为2(N=2)(步骤S2110)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2(即,2Nth)个相邻样本作为用于CCLM参数计算的参考样本(步骤S2115)。在此,Nth可以为1(Nth=1)。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2120)。
此外,在N不为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的4(即,2Nth)个相邻样本作为用于CCLM参数计算的参考样本(步骤S2125)。在此,Nth可以为2(Nth=2)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2120)。
再次参照图21a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S2130)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成用于当前色度块的预测样本。
图22a和图22b是用于描述基于根据上述本实施方式的方法3所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。CCLM预测可以表示现有的CCLM预测,即,基于LM_LT模式执行的CCLM预测或基于LM_T模式执行的CCLM预测。
参照图22a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S2200)。例如,可以如图22b所示的本实施方式那样计算CCLM参数。
图22b可以例示计算CCLM参数的特定实施方式。例如,参照图22b,编码设备/解码设备可以基于当前色度块的形状和当前色度块的CCLM预测模式来设置N(步骤S2205)。在LM_LT模式被应用于当前色度块的情况下,当前色度块的宽度和高度当中的较小值可以设置为N。此外,例如,在当前色度块是宽度大于高度的非正方形块并且LM_T模式被应用于当前色度块的情况下,当前色度块的宽度可以设置为N。另外,例如,在当前色度块是高度大于宽度的非正方形块并且LM_L模式被应用于当前色度块的情况下,当前色度块的高度可以设置为N。
随后,编码设备/解码设备可以确定N是否为2(N=2)(步骤S2210)。
在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的4个相邻样本作为用于CCLM参数计算的参考样本(步骤S2215)。即,可以使用参考行中的参考样本来计算CCLM参数。
编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2220)。
此外,在N不为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的8(即,2Nth)个相邻样本作为用于CCLM参数计算的参考样本(步骤S2225)。在此,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2220)。
再次参照图22a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S2230)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图23是用于描述基于根据上述本实施方式的方法4所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。CCLM预测可以表示现有的CCLM预测,即,基于LM_LT模式执行的CCLM预测或基于LM_T模式执行的CCLM预测。
参照图23,编码设备/解码设备可以计算当前块的CCLM参数(步骤S2300)。
例如,编码设备/解码设备可以选择与当前块相邻的参考行中的4(即,2Nth)个相邻样本作为用于CCLM参数计算的参考样本(步骤S2305)。在此,Nth可以为2(Nth=2)。或者,Nth可以为4(Nth=4)。随后,编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S2310)。
在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S2320)。例如,编码设备/解码设备可以基于计算出的参数和其中针对当前色度块的当前亮度块的重构样本的上述式1来生成当前色度块的预测样本。
图24示意性地例示了根据本公开的编码设备的视频编码方法。图24所示的方法可以由图2所示的编码设备执行。在特定示例中,图24的步骤S2400至S2460可以由编码设备的预测器执行,并且步骤S2470可以由编码设备的熵编码器执行。另外,尽管附图中未示出,但是基于当前色度块的原始样本和预测样本推导当前色度块的残差样本的处理可以由编码设备的减法器执行,基于残差样本和当前色度块的预测样本来推导当前色度块的重构样本的处理可以由编码设备的加法器执行,基于残差样本生成当前色度块的残差的信息的处理可以由编码设备的变换器执行,并且对残差的信息进行编码的处理可以由编码设备的熵编码器执行。
编码设备确定多个跨分量线性模型(CCLM)预测模式当中的当前色度块的CCLM预测模式(步骤S2400)。例如,编码设备可以基于速率失真成本(RD成本;或RDO)来确定当前色度块的帧内预测模式。在此,可以基于绝对差之和(SAD)来推导RD成本。编码设备可以基于RD成本将CCLM预测模式之一确定为当前色度块的帧内预测模式。即,编码设备可以基于RD成本来确定CCLM预测模式当中的当前色度块的CCLM预测模式。
另外,编码设备可以对表示当前色度块的帧内预测模式的预测模式信息进行编码,并且可以通过比特流用信号通知预测模式信息。表示当前色度块的预测模式信息的语法元素可以是intra_chroma_pred_mode。视频信息可以包括预测模式信息。
此外,编码设备可以对指示当前色度块的CCLM预测模式的索引信息进行编码,并且通过比特流来发信号通知索引信息。预测模式信息可以包括指示跨分量线性模型(CCLM)预测模式当中的、当前色度块的CCLM预测模式的索引信息。这里,CCLM预测模式可以包括左顶LM模式、顶LM模式和左LM模式。左顶LM模式可以表示上述的LM_LT模式,左LM模式可以表示上述的LM_L模式,并且顶LM模式可以表示上述的LM_T模式。另外,编码设备可以对表示CCLM预测是否应用于当前色度块的标志进行编码,并通过比特流发信号通知该标志。预测模式信息可以包括表示CCLM预测是否应用于当前色度块的标志。例如,在CCLM预测被应用于当前色度块的情况下,由索引信息指示的CCLM预测模式可以推导为当前色度块的CCLM预测模式。
编码设备基于当前色度块的CCLM预测模式、当前色度块的尺寸和特定值,推导当前色度块的相邻色度样本的样本数目(步骤S2410)。
在此,在当前色度块的CCLM预测模式为左LM模式的情况下,相邻色度样本可以仅包括当前色度块的左相邻色度样本。另外,在当前色度块的CCLM预测模式是顶LM模式的情况下,相邻色度样本可以仅包括当前色度块的顶相邻色度样本。此外,在当前色度块的CCLM预测模式是左顶LM模式的情况下,相邻色度样本可以包括当前色度块的左相邻色度样本和顶相邻色度样本。
例如,在当前色度块的CCLM预测模式是左LM模式的情况下,编码设备可以基于当前色度块的高度以及特定值来推导样本数目。
作为示例,编码设备可以通过将高度的两倍和特定值的两倍进行比较来推导相邻色度样本的样本数目。例如,在当前色度块的高度的两倍大于特定值的两倍的情况下,样本数目可以推导为特定值的两倍。此外,例如,在当前色度块的高度的两倍为特定值的两倍或更小的情况下,样本数目可以推导为高度的两倍。
另外,例如,在当前色度块的CCLM预测模式是顶LM模式的情况下,编码设备可以基于当前色度块的宽度以及特定值来推导样本数目。
作为示例,编码设备可以通过将宽度的两倍和特定值的两倍进行比较来推导相邻色度样本的样本数目。例如,在当前色度块的宽度的两倍大于特定值的两倍的情况下,样本数目可以推导为特定值的两倍。此外,例如,在当前色度块的宽度的两倍为特定值的两倍或更小的情况下,样本数目可以推导为宽度的两倍。
另外,例如,在当前色度块的CCLM预测模式为左LM模式的情况下,编码设备可以通过将宽度和高度与特定值进行比较来推导顶相邻色度样本和左相邻色度样本的样本数目。
例如,在当前色度块的宽度和高度大于特定值的情况下,样本数目可以推导为特定值。
此外,例如,在当前色度块的宽度和高度为特定值或更小的情况下,样本数目可以被推导为宽度和高度中的一个值。作为示例,样本数目可以推导为宽度和高度中的较小值。
此外,可以推导特定值以推导当前色度块的CCLM参数。这里,特定值可以被称为相邻样本数目上限或最大相邻样本数目。作为示例,特定值可以推导为2。或者,特定值可以推导为4、8或16。
另外,例如,特定值可以推导为预定值。即,特定值可以推导为在编码设备和解码设备之间允诺的值。换句话说,特定值可以推导为针对应用CCLM模式的当前色度块的预定值。
另选地,例如,编码设备可以对表示特定值的信息进行编码并且通过位图发信号通知表示特定值的信息。视频信息可以包括表示特定值的信息。可以以编码单元(CU)为单位发信号通知表示特定值的信息。或者,可以以条带报头、图片参数集(PPS)或序列参数集(SPS)为单位发信号通知表示特定值的信息。即,可以通过条带报头、图片参数集(PPS)或序列参数集(SPS)来发信号通知表示特定值的信息。
另选地,例如,编码设备可以对表示是否基于特定值来推导相邻参考样本的数目的标志信息进行编码,并且通过位图发信号通知标志信息。视频信息可以包括标志信息,该标志信息表示是否基于特定值来推导相邻参考样本的数目。在标志信息值为1的情况下,标志信息可以表示基于特定值来推导相邻参考样本的数目,并且在标志信息值为0的情况下,标志信息可以表示不基于特定值来推导相邻参考样本的数目。在标志信息值为1的情况下,预测相关信息可以包括表示特定值的信息,并且可以基于表示特定值的信息来推导特定值。可以以编码单元(CU)为单位发信号通知标志信息和/或表示特定值的信息。或者,可以以条带报头、图片参数集(PPS)或序列参数集(SPS)为单位发信号通知标志信息和/或表示特定值的信息。即,可以用条带报头、PPS或SPS来信号通知标志信息和/或表示特定值的信息。
另选地,例如,可以基于当前色度块的尺寸来推导特定值。
作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为8的情况下,特定值可以推导为4;以及在当前色度块的宽度和高度当中的较小值大于8的情况下,特定值可以推导为8。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;以及在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为2。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;以及在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为4;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为1;以及在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2。
另外,作为示例,在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为2。
另外,作为示例,可以基于当前块的宽度和高度当中的较小值是否大于特定阈值来推导特定值。例如,在当前块的宽度和高度当中的较小值大于特定阈值的情况下,特定阈值可以推导为4;在当前块的宽度和高度当中的较小值是特定阈值或更小的情况下,特定阈值可以推导为2。特定阈值可以推导为预定值。即,特定阈值可以推导为在编码设备和解码设备之间允诺的值。另选地,例如,编码设备可以对包括预测相关信息的视频信息进行编码,并且预测相关信息可以包括表示特定阈值的信息。在这种情况下,可以基于表示特定阈值的信息来推导特定阈值。例如,推导的特定阈值可以是4或8。
编码设备可以推导样本数目的相邻色度样本(步骤S2420)。编码设备可以推导样本数目的相邻色度样本。
例如,在当前色度块的CCLM预测模式是左顶LM模式的情况下,编码设备可以推导样本数目的左相邻色度样本和样本数目的顶相邻色度样本。具体地,在当前色度块的尺寸为N×M的情况下,编码设备可以推导N个顶相邻色差样本当中的样本数目的顶相邻色度样本,并推导N个左相邻色度样本当中的样本数目的左相邻色度样本。在此,N可以等于或小于M。
另外,例如,在当前色度块的CCLM预测模式是顶LM模式的情况下,编码设备可以推导样本数目的顶相邻色度样本。具体地,在当前色度块的尺寸为N×M的情况下,编码设备可以推导2N个顶相邻色度样本当中的样本数目的顶相邻色度样本。在此,N可以等于或小于M。
另外,例如,在当前色度块的CCLM预测模式是左LM模式的情况下,编码设备可以推导样本数目的左相邻色度样本。具体地,在当前色度块的尺寸是M×N的情况下,编码设备可以推导2N个左相邻色度样本当中的样本数目的左相邻色度样本。在此,N可以等于或小于M。
编码设备可以推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本(步骤S2430)。在此,相邻亮度样本可以对应于相邻色度样本。例如,下采样的相邻亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本和当前亮度块的与左相邻色度样本相对应的下采样的左相邻亮度样本。
也就是说,例如,相邻亮度样本可以包括样本数目的与顶相邻色度样本相对应的下采样的顶相邻亮度样本和样本数目的与左相邻色度样本相对应的下采样的左相邻亮度样本。
另选地,例如,下采样的相邻亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本。即,例如,相邻亮度样本可以包括样本数目的与顶相邻色度样本相对应的下采样的顶相邻亮度样本。
另选地,例如,下采样的相邻亮度样本可以包括当前亮度块的与左相邻色度样本相对应的下采样的左相邻亮度样本。即,例如,相邻亮度样本可以包括样本数目的与左相邻色度样本相对应的下采样的左相邻亮度样本。
编码设备基于相邻色度样本和下采样的相邻亮度样本来推导CCLM参数(步骤S2440)。编码设备可以基于相邻色度样本和下采样的相邻亮度样本来推导CCLM参数。例如,可以基于上述式3来推导CCLM参数。另选地,例如,可以基于上述式4来推导CCLM参数。
编码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(步骤S2450)。编码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。编码设备可以将按照CCLM参数推导的CCLM应用于自采样的亮度样本,并生成当前色度块的预测样本。即,编码设备可以基于CCLM参数来执行CCLM预测,并且生成当前色度块的预测样本。例如,可以基于上述式1推导预测样本。
编码设备对包括当前色度块的预测模式信息的视频信息进行编码(步骤S2460)。编码设备可以对包括当前色度块的预测模式信息的视频信息进行编码并且通过比特流发信号通知。预测模式信息可以包括表示CCLM预测是否应用于当前色度块的标志。此外,预测模式信息可以包括表示当前色度块的CCLM预测模式的索引信息。
另外,例如,视频信息可以包括表示特定值的信息。另外,例如,视频信息可以包括表示特定值的信息。另外,例如,视频信息可以包括表示是否基于特定值来推导相邻参考样本的数目的标志信息。
此外,尽管附图中未示出,但是编码设备可以基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本,基于残差样本生成当前色度块的残差的信息,以及对残差的信息进行编码。视频信息可以包括残差的信息。另外,编码设备可以基于当前色度块的预测样本和残差样本来生成当前色度块的重构样本。
此外,比特流可以通过网络或(数字)存储介质发送给解码设备。在此,网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。
图25示意性地例示了根据本公开的执行图像编码方法的编码设备。图24所示的方法可以由图25所示的编码设备执行。在特定示例中,编码设备的预测器可以执行图24的步骤S2400至S2450,并且编码设备的熵编码器可以执行图24的步骤S2460。另外,尽管图中未示出,但是基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本的处理可以由图25所示的编码设备的减法器执行,基于当前色度块的残差样本和预测样本来推导当前色度块的重构样本的处理可以由图25中所示的编码设备的加法器来执行,基于残差样本来生成当前色度块的残差的信息的处理可以由图25所示的编码设备的变换器执行,以及针对残差的信息进行编码的处理可以由图17所示的编码设备的熵编码器来执行。
图26示意性地例示了根据本公开的解码设备的视频解码方法。图26所示的方法可以由图3所示的解码设备执行。在特定示例中,图26的步骤S2600可以由解码设备的熵解码器执行,并且步骤S2610至S2650可以由解码设备的预测器执行,并且步骤S1860可以由解码设备的加法器执行。另外,尽管图中未示出,但是通过比特流获取当前块的残差的信息的处理可以由解码设备的熵解码器执行,以及基于残差信息推导当前块的残差样本的处理可以由解码设备的逆变换器执行。
解码设备获得包括当前色度块的预测模式信息的信息(步骤S2600)。解码设备可以接收包括当前色度块的预测模式信息的视频信息。预测模式信息可以表示当前色度块的帧内预测模式。另外,表示当前色度块的预测模式信息的语法元素可以是intra_chroma_pred_mode。视频信息可以包括预测模式信息。
此外,预测模式信息可以包括指示跨分量线性模型(CCLM)预测模式当中的当前色度块的CCLM预测模式的索引信息。CCLM预测模式可以包括左顶LM模式、顶LM模式和左LM模式。左顶LM模式可以表示上述的LM_LT模式,左LM模式可以表示上述的LM_L模式,并且顶LM模式可以表示上述的LM_T模式。另外,预测模式信息可以包括表示CCLM预测是否应用于当前色度块的标志。例如,在CCLM预测应用于当前色度块的情况下,由索引信息指示的CCLM预测模式可以推导为当前色度块的CCLM预测模式。
解码设备可以基于预测模式信息将多个CCLM预测模式之一推导为当前色度块的CCLM预测模式(步骤S2610)。解码设备基于预测模式信息,推导当前色度帧内预测模式的帧内预测模式。例如,预测模式信息可以表示当前色度块的CCLM预测模式。例如,可以基于索引信息来推导当前色度块的CCLM预测模式。在多个CCLM预测模式当中,由索引信息所指示的CCLM预测模式可以推导为当前色度块的CCLM预测模式。
解码设备基于当前色度块的CCLM预测模式、当前色度块的尺寸和特定值,推导当前色度块的相邻色度样本的样本数目(步骤S2620)。
在此,在当前色度块的CCLM预测模式为左LM模式的情况下,相邻色度样本可以仅包括当前色度块的左相邻色度样本。另外,在当前色度块的CCLM预测模式是顶LM模式的情况下,相邻色度样本可以仅包括当前色度块的顶相邻色度样本。此外,在当前色度块的CCLM预测模式是左顶LM模式的情况下,相邻色度样本可以包括当前色度块的左相邻色度样本和顶相邻色度样本。
例如,在当前色度块的CCLM预测模式是左LM模式的情况下,解码设备可以基于当前色度块的高度以及特定值来推导样本数目。
作为示例,解码设备可以通过将高度的两倍和特定值的两倍进行比较来推导相邻色度样本的样本数目。例如,在当前色度块的高度的两倍大于特定值的两倍的情况下,样本数目可以推导为特定值的两倍。此外,例如,在当前色度块的高度的两倍为特定值的两倍或更小的情况下,样本数目可以推导为高度的两倍。
另外,例如,在当前色度块的CCLM预测模式是顶LM模式的情况下,解码设备可以基于当前色度块的宽度和特定值来推导样本数目。
作为示例,解码设备可以通过将宽度的两倍和特定值的两倍进行比较来推导相邻色度样本的样本数目。例如,在当前色度块的宽度的两倍大于特定值的两倍的情况下,样本数目可以推导为特定值的两倍。此外,例如,在当前色度块的宽度的两倍为特定值的两倍或更小的情况下,样本数目可以推导为宽度的两倍。
另外,例如,在当前色度块的CCLM预测模式是左LM模式的情况下,解码设备可以通过对宽度和高度与特定值进行比较来推导顶相邻色度样本和左相邻色度样本的样本数目。
例如,在当前色度块的宽度和高度大于特定值的情况下,样本数目可以推导为特定值。
此外,例如,在当前色度块的宽度和高度为特定值或更小的情况下,样本数目可以推导为宽度和高度中的一个值。作为示例,样本数目可以推导为宽度和高度中的较小值。
此外,可以推导特定值以用于推导当前色度块的CCLM参数。这里,特定值可以被称为相邻样本数目上限或最大相邻样本数目。作为示例,特定值可以推导为2。或者,特定值可以推导为4、8或16。
另外,例如,特定值可以推导为预定值。即,特定值可以推导为在编码设备和解码设备之间允诺的值。换句话说,特定值可以推导为应用了CCLM模式的当前色度块的预定值。
另选地,例如,解码设备可以通过比特流获得预测有关信息。换句话说,视频信息可以包括表示特定值的信息,并且特定值可以基于表示特定值的信息来推导。可以以编码单元(CU)为单位发信号通知表示特定值的信息。或者,可以以条带报头、图片参数集(PPS)或序列参数集(SPS)为单位发信号通知表示特定值的信息。即,可以用条带报头、图片参数集(PPS)或序列参数集(SPS)来发信号通知表示特定值的信息。
另选地,例如,解码设备可以通过比特流获得表示是否基于特定值来推导相邻参考样本的数目的标志信息。换句话说,视频信息可以包括表示是否基于特定值来推导相邻参考样本的数目的标志信息,并且在标志信息值为1的情况下,视频信息可以包括表示特定值的信息,并且可以基于表示特定值的信息来推导特定值。此外,在标志信息值为0的情况下,标志信息可以表示未基于特定值推导相邻参考样本的数目。可以以编码单元(CU)为单位发信号通知标志信息和/或表示特定值的信息。或者,可以以条带报头、图片参数集(PPS)或序列参数集(SPS)为单位发信号通知标志信息和/或表示特定值的信息。即,可以用条带报头、PPS或SPS发信号通知标志信息和/或表示特定值的信息。
另选地,例如,可以基于当前色度块的尺寸来推导特定值。
例如,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4时,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为8的情况下,特定值可以推导为4;以及在当前色度块的宽度和高度当中的较小值大于8的情况下,特定值可以推导为8。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1,以及在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为2。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2或更小的情况下,特定值可以推导为1,并且在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的尺寸为2×2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为2;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为4;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为1;在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2;以及在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值为2的情况下,特定值可以推导为1;以及在当前色度块的宽度和高度当中的较小值为4的情况下,特定值可以推导为2。
另外,作为示例,在当前色度块的宽度和高度当中的较小值大于4的情况下,特定值可以推导为4。
另外,作为示例,在当前色度块的宽度和高度当中的较小值大于2的情况下,特定值可以推导为2。
另外,作为示例,可以基于当前块的宽度和高度当中的较小值是否大于特定阈值来推导特定值。例如,在当前块的宽度和高度当中的较小值大于特定阈值的情况下,特定阈值可以推导为4;在当前块的宽度和高度当中的较小值为特定阈值或更小的情况下,特定阈值可以推导为2。特定阈值可以推导为预定值。即,特定阈值可以推导为在编码设备和解码设备之间允诺的值。另选地,例如,视频信息可以包括表示特定阈值的信息。在这种情况下,可以基于表示特定阈值的信息来推导特定阈值。例如,推导出的特定阈值可以为4或8。
解码设备可以推导样本数目的相邻色度样本(步骤S2630)。解码设备可以推导样本数目的相邻色度样本。
例如,在当前色度块的CCLM预测模式是左顶LM模式的情况下,解码设备可以推导样本数目的左相邻色度样本和样本数目的顶相邻色度样本。具体地,在当前色度块的尺寸为N×M的情况下,编码设备可以推导N个顶相邻色度样本当中的样本数目的顶相邻色度样本,并且推导N个左相邻色度样本当中的样本数目的左相邻色度样本。在此,N可以等于或小于M。
另外,例如,在当前色度块的CCLM预测模式是顶LM模式的情况下,解码设备可以推导样本数目的顶相邻色度样本。具体地,在当前色度块的尺寸为N×M的情况下,解码设备可以推导2N个顶相邻色度样本中的样本数目的顶相邻色度样本。在此,N可以等于或小于M。
另外,例如,在当前色度块的CCLM预测模式是左LM模式的情况下,解码设备可以推导样本数目的左相邻色度样本。具体地,在当前色度块的尺寸是M×N的情况下,解码设备可以推导2N个左相邻色度样本中的样本数目的左相邻色度样本。在此,N可以等于或小于M。
解码设备可以推导当前亮度块的下采样的相邻亮度样本和下采样的亮度样本(步骤S2640)。在此,相邻亮度样本可以对应于相邻色度样本。例如,下采样的相邻亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本和当前亮度块的与左相邻色度样本相对应的下采样的左相相邻亮度样本。
也就是说,例如,相邻亮度样本可以包括样本数目的与顶相邻色度样本相对应的下采样的顶相邻亮度样本和样本数目的与左相邻色度样本相对应的下采样的左相邻亮度样本。
另选地,例如,下采样的相邻亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本。即,例如,相邻亮度样本可以包括样本数目的与顶相邻色度样本相对应的下采样的顶相邻亮度样本。
另选地,例如,下采样的相邻亮度样本可以包括当前亮度块的与左相邻色度样本相对应的下采样的左相邻亮度样本。即,例如,相邻亮度样本可以包括样本数目的与左相邻色度样本相对应的下采样的左相邻亮度样本。
解码设备基于相邻色度样本和下采样的相邻亮度样本推导CCLM参数(步骤S2650)。解码设备可以基于相邻色度样本和下采样的相邻亮度样本来推导CCLM参数。例如,可以基于上述式3推导CCLM参数。另选地,例如,可以基于上述式4来推导CCLM参数。
解码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(步骤S2660)。解码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。解码设备可以将由CCLM参数推导出的CCLM应用于自采样的亮度样本,并生成当前色度块的预测样本。即,解码设备可以基于CCLM参数来执行CCLM预测,并且生成当前色度块的预测样本。例如,可以基于上述式1来推导预测样本。
解码设备基于预测样本生成当前色度块的重构样本(步骤S2670)。解码设备可以基于预测样本来生成重构样本。例如,解码设备可以从比特流接收当前色度块的残差的信息。残差的信息可以包括(色度)残差样本的变换系数。解码设备可以基于残差信息来推导当前色度块的残差样本(或残差样本阵列)。在这种情况下,解码设备可以基于预测样本和残差样本来生成重构样本。解码设备可以基于重构样本来推导重构块或重构图片。随后,如上所述,解码设备可以将诸如解块滤波和/或SAO处理之类的环路滤波过程应用于重构图片,以改善主观/客观图像质量。
图27示意性地例示了根据本公开的用于执行视频解码方法的解码设备。图26所示的方法可以由图27所示的解码设备执行。在特定示例中,图27的解码设备的熵解码器可以执行图26的步骤S2600,图27的解码设备的预测器可以执行图26的步骤S2610至S2660,并且图27的解码设备的加法器可以执行图26的步骤S2670。另外,尽管图中未示出,但是可以由解码设备的熵解码器来执行通过比特流获取当前块的残差的信息的处理,以及可以由图27的解码设备的逆变换器执行基于残差信息推导当前块的残差样本的处理。
根据上述本公开,基于CCLM执行帧内预测,并且可以提高视频编码效率。
此外,根据本公开,能够提高基于包括多个LM模式的CCLM(即,多方向线性模型(MDLM))的帧内预测的效率。
另外,根据本公开,为了推导用于在具有大尺寸的色度块中执行的多方向线性模型(MDLM)的线性模型参数而选择的相邻样本的数目被限制为特定数目,并且因此,能够降低帧内预测复杂度。
在以上实施方式中,基于具有一系列步骤或方框的流程图描述了方法。本公开不限于以上步骤或方框的顺序。一些步骤或方框可以以与上述的其它步骤或方框不同的顺序执行或同时执行。此外,本领域技术人员将理解,流程图中所示的步骤不是排它的,并且可以还包括其它步骤,或者可以在不影响本公开的范围的情况下删除流程图中的一个或更多个步骤。
在本说明书中所描述的实施方式可以通过被实现在处理器、微处理器、控制器或芯片上来执行。例如,每个图中所示的功能单元可以通过被实现在计算机、处理器、微处理器、控制器或芯片上来执行。在这种情况下,用于实现的信息(例如,关于指令的信息)或算法可以存储在数字存储介质中。
另外,应用本公开的解码设备和编码设备可以被包括在如下设备中:多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、VoD服务提供设备、顶置(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、电话会议视频设备、运输用户设备(例如,车辆用户设备、飞机用户设备和轮船用户设备)和医疗视频装置;并且应用本公开的解码设备和编码设备可以用于处理视频信号或数据信号。例如,顶置(OTT)视频设备可以包括游戏机、蓝光播放器、互联网接入电视机、家庭影院系统、智能电话、平板电脑、数字视频记录仪(DVR)等。
另外,应用本公开的处理方法可以以计算机执行的程序的形式产生,并且可以存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如BD、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外,计算机可读记录介质包括以载波(例如,经由互联网的传输)形式实现的介质。另外,由编码方法生成的比特流可以存储在计算机可读记录介质中或通过有线/无线通信网络来传输。
另外,本公开的实施方式可以根据程序代码利用计算机程序产品来实现,并且程序代码可以通过本公开的实施方式在计算机中执行。程序代码可以存储在计算机可读载体上。
图28例示了应用了本公开的内容流系统的结构图。
应用本文档的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体储存器、用户装置和多媒体输入装置。
编码服务器将从诸如智能手机、相机或便携式摄像机等的多媒体输入装置输入的内容压缩为数字数据,以生成比特流并将比特流发送到流服务器。作为另一示例,当诸如智能手机、相机或便携式摄像机等的多媒体输入装置直接生成比特流时,可以省略编码服务器。
可以通过应用了本文档的实施方式的编码方法或比特流生成方法来生成比特流,并且流服务器可以在发送或接收比特流的过程中临时存储比特流。
流服务器基于用户请求通过网络服务器向用户装置发送多媒体数据,并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时,网络服务器向流服务器递送该请求,并且流服务器向用户发送多媒体数据。在这种情况下,内容流系统可以包括单独的控制服务器。在这种情况下,控制服务器用于控制内容流系统内的装置之间的命令/响应。
流服务器可以从媒体储存器和/或编码服务器接收内容。例如,当从编码服务器接收内容时,可以实时接收内容。在这种情况下,为了提供平稳的流服务,流服务器可以将比特流存储预定时间段。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜和头戴式显示器)、数字TV、台式计算机和数字标牌等。内容流系统内的每个服务器可以作为分布式服务器来操作,在这种情况下,从每个服务器接收的数据可以被分布。

Claims (4)

1.一种由解码设备执行的视频解码方法,该方法包括以下步骤:
获得包括当前色度块的预测模式信息的视频信息;
基于所述预测模式信息来推导多个跨分量线性模型CCLM预测模式中的一个作为所述当前色度块的CCLM预测模式;
基于所述当前色度块的所述CCLM预测模式、所述当前色度块的宽度和高度以及特定值,推导所述当前色度块的相邻色度样本的样本数目;
推导所述样本数目的所述相邻色度样本;
推导当前亮度块的对应于所述相邻色度样本的下采样的相邻亮度样本和下采样的亮度样本;
基于所述相邻色度样本和所述下采样的相邻亮度样本来计算CCLM参数;
基于所述当前亮度块的所述下采样的亮度样本和所述CCLM参数,推导所述当前色度块的预测样本;以及
基于所述预测样本来生成所述当前色度块的重构样本,
其中,所述特定值被推导为2,
其中,所述当前色度块的所述宽度和高度为N,
其中,所述多个CCLM预测模式包括左顶线性模型LM模式、顶LM模式和左LM模式,
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N小于或等于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为2N,并且
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N大于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为4。
2.一种由编码设备执行的视频编码方法,该方法包括以下步骤:
确定多个跨分量线性模型CCLM预测模式当中的当前色度块的CCLM预测模式;
基于所述当前色度块的所述CCLM预测模式、所述当前色度块的宽度和高度以及特定值,推导所述当前色度块的相邻色度样本的样本数目;
推导所述样本数目的所述相邻色度样本;
推导当前亮度块的对应于所述相邻色度样本的下采样的相邻亮度样本和下采样的亮度样本;
基于所述当前亮度块的所述下采样的相邻亮度样本和所述相邻色度样本,推导CCLM参数;
基于所述CCLM参数和所述下采样的亮度样本,推导所述当前色度块的预测样本;以及
对包括与所确定的所述当前色度块的CCLM预测模式相关的预测模式信息的视频信息进行编码,
其中,所述特定值被推导为2,
其中,所述当前色度块的所述宽度和高度为N,
其中,所述多个CCLM预测模式包括左顶线性模型LM模式、顶LM模式和左LM模式,
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N小于或等于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为2N,并且
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N大于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为4。
3.一种存储程序的计算机可读存储介质,其中,当所述程序被执行时执行根据权利要求2所述的视频编码方法。
4. 一种用于图像的数据的发送方法,该发送方法包括以下步骤:
获得包括当前色度块的预测模式信息的视频信息的比特流;以及
发送包括具有所述预测模式信息的所述视频信息的所述比特流的所述数据,
其中,所述预测模式信息是通过以下步骤来生成的:确定多个跨分量线性模型CCLM预测模式当中的当前色度块的CCLM预测模式,基于所述当前色度块的所述CCLM预测模式、所述当前色度块的宽度和高度以及特定值来推导所述当前色度块的相邻色度样本的样本数目,推导所述样本数目的所述相邻色度样本,推导当前亮度块的对应于所述相邻色度样本的下采样的相邻亮度样本和下采样的亮度样本,基于所述相邻色度样本和所述下采样的相邻亮度样本来推导CCLM参数,基于所述当前亮度块的所述下采样的亮度样本和所述CCLM参数来推导所述当前色度块的预测样本,对包括与所确定的所述当前色度块的CCLM预测模式相关的预测模式信息的视频信息进行编码,其中,所述特定值被推导为2,所述当前色度块的所述宽度和高度为N,所述多个CCLM预测模式包括左顶线性模型LM模式、顶LM模式和左LM模式,
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N小于或等于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为2N,并且
其中,基于所述当前色度块的所述CCLM预测模式为所述左LM模式,并且2N大于所述特定值的两倍,所推导的所述样本数目的相邻色度样本为所述样本数目的左相邻色度样本,并且所述左相邻色度样本的所述样本数目被推导为4。
CN201980007279.7A 2018-11-23 2019-11-11 图像编码系统中基于cclm预测对图像解码的方法及其设备 Active CN111587574B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310616013.0A CN116939201A (zh) 2018-11-23 2019-11-11 图像解码和编码方法、存储介质以及数据的发送方法
CN202310619566.1A CN116916016A (zh) 2018-11-23 2019-11-11 解码设备、编码设备以及用于图像的数据的发送设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862770835P 2018-11-23 2018-11-23
US62/770,835 2018-11-23
PCT/KR2019/015253 WO2020105925A1 (ko) 2018-11-23 2019-11-11 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310616013.0A Division CN116939201A (zh) 2018-11-23 2019-11-11 图像解码和编码方法、存储介质以及数据的发送方法
CN202310619566.1A Division CN116916016A (zh) 2018-11-23 2019-11-11 解码设备、编码设备以及用于图像的数据的发送设备

Publications (2)

Publication Number Publication Date
CN111587574A CN111587574A (zh) 2020-08-25
CN111587574B true CN111587574B (zh) 2023-06-16

Family

ID=70773851

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310619566.1A Pending CN116916016A (zh) 2018-11-23 2019-11-11 解码设备、编码设备以及用于图像的数据的发送设备
CN201980007279.7A Active CN111587574B (zh) 2018-11-23 2019-11-11 图像编码系统中基于cclm预测对图像解码的方法及其设备
CN202310616013.0A Pending CN116939201A (zh) 2018-11-23 2019-11-11 图像解码和编码方法、存储介质以及数据的发送方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310619566.1A Pending CN116916016A (zh) 2018-11-23 2019-11-11 解码设备、编码设备以及用于图像的数据的发送设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310616013.0A Pending CN116939201A (zh) 2018-11-23 2019-11-11 图像解码和编码方法、存储介质以及数据的发送方法

Country Status (14)

Country Link
US (4) US11012699B2 (zh)
EP (2) EP3709645B1 (zh)
JP (3) JP7018139B2 (zh)
KR (3) KR102637084B1 (zh)
CN (3) CN116916016A (zh)
AU (2) AU2019383886B2 (zh)
BR (3) BR112020012022B1 (zh)
CA (2) CA3085391C (zh)
ES (1) ES2934966T3 (zh)
HU (1) HUE060910T2 (zh)
MX (1) MX2020005865A (zh)
PL (1) PL3709645T3 (zh)
TW (2) TWI732355B (zh)
WO (1) WO2020105925A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178396B2 (en) * 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
CN113068025B (zh) * 2018-12-25 2023-05-12 Oppo广东移动通信有限公司 解码预测方法、装置及计算机存储介质
AU2019417996A1 (en) * 2019-01-02 2021-07-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Prediction decoding method, device and computer storage medium
KR20220027851A (ko) * 2019-06-28 2022-03-08 바이트댄스 아이엔씨 화면 콘텐츠 코딩에서의 크로마 인트라 모드 도출
US20220092827A1 (en) * 2020-09-23 2022-03-24 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information
WO2022191553A1 (ko) * 2021-03-08 2022-09-15 현대자동차주식회사 행렬 기반 크로스 컴포넌트 예측을 이용하는 비디오 코딩방법 및 장치
WO2024080828A1 (ko) * 2022-10-13 2024-04-18 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
CN115988206B (zh) * 2023-03-21 2024-03-26 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474639A (zh) * 2013-07-10 2016-04-06 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
CN105472387B (zh) 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
CA2840488A1 (en) * 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
US9307237B2 (en) 2012-01-19 2016-04-05 Futurewei Technologies, Inc. Reference pixel reduction for intra LM prediction
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2018116925A1 (ja) 2016-12-21 2018-06-28 シャープ株式会社 イントラ予測画像生成装置、画像復号装置、および画像符号化装置
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
PL3840377T3 (pl) * 2018-09-20 2023-07-31 Lg Electronics Inc. Sposób i urządzenie do dekodowania obrazu na podstawie predykcji cclm w systemie kodowania obrazu
CN112997492B (zh) * 2018-11-06 2024-02-20 北京字节跳动网络技术有限公司 帧内预测的简化参数推导

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
CN105474639A (zh) * 2013-07-10 2016-04-06 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序

Also Published As

Publication number Publication date
KR102415322B1 (ko) 2022-06-30
EP3709645A1 (en) 2020-09-16
KR20220098266A (ko) 2022-07-11
CA3213928A1 (en) 2020-05-28
CA3085391A1 (en) 2020-05-28
PL3709645T3 (pl) 2023-02-20
US11012699B2 (en) 2021-05-18
AU2021206901B2 (en) 2022-08-04
TWI784561B (zh) 2022-11-21
CN111587574A (zh) 2020-08-25
TW202027506A (zh) 2020-07-16
JP7421673B2 (ja) 2024-01-24
AU2021206901A1 (en) 2021-08-12
KR102637084B1 (ko) 2024-02-15
AU2019383886B2 (en) 2021-04-29
EP4120680A1 (en) 2023-01-18
EP3709645A4 (en) 2021-07-14
KR102524061B1 (ko) 2023-04-21
AU2019383886A1 (en) 2020-06-18
US11412236B2 (en) 2022-08-09
CA3085391C (en) 2023-10-24
TWI732355B (zh) 2021-07-01
ES2934966T3 (es) 2023-02-28
BR112020012022A2 (pt) 2021-06-22
BR112020012022B1 (pt) 2022-12-06
KR20230058177A (ko) 2023-05-02
MX2020005865A (es) 2020-09-09
BR122021014718B1 (pt) 2022-12-06
US11706426B2 (en) 2023-07-18
JP7234425B2 (ja) 2023-03-07
EP3709645B1 (en) 2022-10-19
CN116916016A (zh) 2023-10-20
US11956451B2 (en) 2024-04-09
JP2023054264A (ja) 2023-04-13
JP7018139B2 (ja) 2022-02-09
TW202308385A (zh) 2023-02-16
TW202143720A (zh) 2021-11-16
US20200296391A1 (en) 2020-09-17
EP4120680B1 (en) 2024-01-31
JP2022070864A (ja) 2022-05-13
US20220248036A1 (en) 2022-08-04
CN116939201A (zh) 2023-10-24
US20210176480A1 (en) 2021-06-10
HUE060910T2 (hu) 2023-04-28
JP2021510245A (ja) 2021-04-15
BR122021014717B1 (pt) 2022-12-06
WO2020105925A1 (ko) 2020-05-28
KR20200074218A (ko) 2020-06-24
US20230308665A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
CN111587574B (zh) 图像编码系统中基于cclm预测对图像解码的方法及其设备
CN112806004B (zh) 图像编码系统中基于cclm预测的图像解码的方法及装置
KR20210092308A (ko) 영상 코딩 시스템에서 cclm 예측을 사용하는 영상 디코딩 방법 및 그 장치
TWI842133B (zh) 用於硬體實施的高效cclm參數導出方法
RU2773521C1 (ru) Способ для декодирования изображения на основе предсказания взаимно-компонентной линейной модели в системе кодирования изображения и устройство для этого
RU2794202C2 (ru) Способ для декодирования изображения на основе предсказания взаимно-компонентной линейной модели в системе кодирования изображения и устройство для этого

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant