CN117768650A - 图像块的色度预测方法、装置、电子设备及存储介质 - Google Patents

图像块的色度预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117768650A
CN117768650A CN202211147751.7A CN202211147751A CN117768650A CN 117768650 A CN117768650 A CN 117768650A CN 202211147751 A CN202211147751 A CN 202211147751A CN 117768650 A CN117768650 A CN 117768650A
Authority
CN
China
Prior art keywords
reconstruction
pixels
image block
pixel
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211147751.7A
Other languages
English (en)
Inventor
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211147751.7A priority Critical patent/CN117768650A/zh
Publication of CN117768650A publication Critical patent/CN117768650A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像块的色度预测方法、装置、电子设备及存储介质，属于多媒体技术领域。本申请通过将图像块中的各个像素，按照像素位置信息划分成第一像素和第二像素，并对第一像素和第二像素采取不同的色度预测模式，由于第一像素和第二像素在色度预测过程中引入了不同的相邻像素，第一像素基于图像块左侧的第一相邻像素进行色度预测，第二像素基于图像块上方的第二相邻像素进行色度预测，使得能够对图像块中不同位置的像素有针对性的进行不同方式的色度预测，从而有效提升对图像块中像素在色度分量的预测性能，进而提升视频编解码的性能，节约所占用的带宽。

Description

图像块的色度预测方法、装置、电子设备及存储介质
技术领域
本申请涉及多媒体技术领域，特别涉及一种图像块的色度预测方法、装置、电子设备及存储介质。
背景技术
随着多媒体技术的发展，用户在终端上方便地浏览视频，在视频传输过程中，受限于带宽，通常只能传输经过压缩的视频数据。通常，编码端对原始的视频数据，基于VVC(Versatile Video Coding，多功能视频编码)标准进行编码，得到编码后的视频数据，并将编码后的视频数据以码流方式传输到解码端，解码端对编码后的视频数据，基于VVC标准进行解码，得到解码后的视频数据。
上述编解码流程中，解码端恢复的视频数据与编码端原始的视频数据之间存在较大误差，视频编解码的性能较差，占用较多带宽。
发明内容
本申请实施例提供了一种图像块的色度预测方法、装置、电子设备及存储介质，能够提升视频编解码性能、降低占用的带宽。该技术方案如下：
一方面，提供了一种图像块的色度预测方法，该方法包括：
获取视频中图像块的亮度重建块，所述亮度重建块表征所述图像块中的像素在亮度分量上的重建值；
基于所述图像块的像素位置信息，将所述图像块中包含的多个像素划分成多个第一像素和多个第二像素；
基于所述亮度重建块和位于所述图像块左侧的多个第一相邻像素，对所述多个第一像素进行色度重建，得到所述多个第一像素各自的色度重建值；
基于所述亮度重建块和位于所述图像块上方的多个第二相邻像素，对所述多个第二像素进行色度重建，得到所述多个第二像素各自的色度重建值。
一方面，提供了一种图像块的色度预测装置，该装置包括：
获取模块，用于获取视频中图像块的亮度重建块，所述亮度重建块表征所述图像块中的像素在亮度分量上的重建值；
划分模块，用于基于所述图像块的像素位置信息，将所述图像块中包含的多个像素划分成多个第一像素和多个第二像素；
第一重建模块，用于基于所述亮度重建块和位于所述图像块左侧的多个第一相邻像素，对所述多个第一像素进行色度重建，得到所述多个第一像素各自的色度重建值；
第二重建模块，用于基于所述亮度重建块和位于所述图像块上方的多个第二相邻像素，对所述多个第二像素进行色度重建，得到所述多个第二像素各自的色度重建值。
在一些实施例中，所述划分模块用于：
在所述图像块中确定一条对角线；
基于所述像素位置信息，将所述对角线一侧的各个像素划分至所述多个第一像素；
基于所述像素位置信息，将所述对角线上的各个像素以及所述对角线另一侧的各个像素划分至所述多个第二像素。
在一些实施例中，所述对角线用于连接所述图像块的左上角顶点和右下角顶点。
在一些实施例中，所述第一像素为所述对角线下方的像素；所述第二像素为所述对角线上的像素或所述对角线上方的像素。
在一些实施例中，所述装置还包括：
确定模块，用于基于所述图像块在色度空间的尺寸信息，确定相邻像素的候选数量，所述候选数量为所述尺寸信息中宽度和高度之间的和值；
筛选模块，用于在位于所述图像块左侧的所述候选数量个相邻像素中，筛选得到所述多个第一相邻像素；
所述筛选模块，还用于在位于所述图像块上方的所述候选数量个相邻像素中，筛选得到所述多个第二相邻像素。
在一些实施例中，所述多个第一相邻像素和所述多个第二相邻像素均基于等间隔方式筛选得到。
在一些实施例中，所述第一重建模块用于：
基于所述多个第一相邻像素的亮度重建值和色度重建值，确定对所述第一像素的第一色度预测参数，所述第一色度预测参数表征所述第一像素的亮度重建值和色度重建值之间的偏移；
基于所述第一色度预测参数，对所述多个第一像素各自在所述亮度重建块中的亮度重建值进行线性映射，得到所述多个第一像素各自的色度重建值。
在一些实施例中，所述第二重建模块用于：
基于所述多个第二相邻像素的亮度重建值和色度重建值，确定对所述第二像素的第二色度预测参数，所述第二色度预测参数表征所述第二像素的亮度重建值和色度重建值之间的偏移；
基于所述第二色度预测参数，对所述多个第二像素各自在所述亮度重建块中的亮度重建值进行线性映射，得到所述多个第二像素各自的色度重建值。
在一些实施例中，所述装置还包括：
下采样模块，用于对所述亮度重建块进行下采样，得到下采样后的亮度重建块，所述下采样后的亮度重建块与所述图像块在色度空间的尺寸相同；
读取模块，用于从所述下采样后的亮度重建块中，读取得到所述多个第一像素或所述多个第二像素各自的亮度重建值。
在一些实施例中，所述第一色度预测参数和所述第二色度预测参数均包括：加权系数和基于所述加权系数确定得到的偏置系数，所述加权系数用于对亮度重建值施加权重，所述偏置系数用于对经过加权的亮度重建值施加偏置。
在一些实施例中，在所述图像块采用交叉分量线性模型CCLM编码得到，且应用所述CCLM的目标色度预测模式的情况下，开启执行所述获取模块所执行的操作。
一方面，提供了一种电子设备，该电子设备包括视频编码器，该电子设备在对待编码的视频中的图像块进行编码决策后，若该图像块应用CCLM的目标色度预测模式，由该视频编码器加载并执行以实现如上述图像块的色度预测方法。
一方面，提供了一种电子设备，该电子设备包括视频解码器，该电子设备对待解码的视频中的图像块读取编码数据，在该编码数据指示该图像块应用CCLM的目标色度预测模式的情况下，由该视频解码器加载并执行以实现如上述图像块的色度预测方法。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述图像块的色度预测方法。
一方面，提供一种计算机程序产品，所述计算机程序产品包括一条或多条计算机程序，所述一条或多条计算机程序存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条计算机程序，所述一个或多个处理器执行所述一条或多条计算机程序，使得电子设备能够执行上述图像块的色度预测方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过将图像块中的各个像素，按照像素位置信息划分成第一像素和第二像素，并对第一像素和第二像素采取不同的色度预测模式，由于第一像素和第二像素在色度预测过程中引入了不同的相邻像素，第一像素基于图像块左侧的第一相邻像素进行色度预测，第二像素基于图像块上方的第二相邻像素进行色度预测，使得能够对图像块中不同位置的像素有针对性的进行不同方式的色度预测，从而有效提升对图像块中像素在色度分量的预测性能，进而提升视频编解码的性能，节约所占用的带宽。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像块的色度预测方法的实施环境示意图；
图2是本申请实施例提供的一种图像块的色度预测方法的实施环境示意图；
图3是本申请实施例提供的一种图像块的色度预测方法的流程图；
图4是本申请实施例提供的一种图像块的色度预测方法的流程图；
图5是本申请实施例提供的一种亮度重建块和色度重建块的示意图；
图6是本申请实施例提供的一种色度重建块的示意图；
图7是本申请实施例提供的一种第一像素的色度重建方法的流程图；
图8是本申请实施例提供的一种第二像素的色度重建方法的流程图；
图9是本申请实施例提供的一种视频编码方法的流程图；
图10是本申请实施例提供的一种视频解码方法的流程图；
图11是本申请实施例提供的一种图像块的色度预测装置的结构示意图；
图12是本申请实施例提供的一种电子设备的结构示意图；
图13是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个像素是指两个或两个以上的像素。
本申请中术语“包括A或B中至少一项”涉及如下几种情况：仅包括A，仅包括B，以及包括A和B两者。
本申请中涉及到的用户相关的信息(包括但不限于用户的设备信息、个人信息、行为信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，当以本申请实施例的方法运用到具体产品或技术中时，均为经过用户许可、同意、授权或者经过各方充分授权的，且相关信息、数据以及信号的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的视频都是在充分授权的情况下获取的。
以下，对本申请实施例涉及的术语进行解释说明。
VVC(Versatile Video Coding，多功能视频编码)：即指H.266视频编码标准，是由MPEG(Moving Picture Experts Group，动态图像专家组)和VCEG(Video Coding ExpertsGroup，视频编码专家组)联合制定的新一代国际视频编码标准。VVC标准能够支持广泛的应用，如对8K超高清、屏幕、高动态和360度全景视频等新的视频类型以及自适应带宽和分辨率的流媒体和实时通信等应用有更好的支持。
帧内编码(Intra Coding，又称画面内编码)：帧内编码是I帧(I frame，帧内编码帧)主要的压缩编码方法，帧内编码的性能对视频整体编码结果具有重要影响。通常，I帧在编码时只采用当前帧的图像内部数据，体积通常比B帧(B frame，帧间编码帧)和P帧(Pframe，双向帧间预测编码帧)更大，对整体码率的影响很大。在VVC标准中提供大量的帧内编码工具，以有效提升帧内编码的性能。
YUV(也称为YCbCr，指视频格式)：YUV是一种视频格式，YUV格式的视频中，每个视频帧的像素使用三个分量Y、U、V来表征其颜色，其中，Y表示亮度分量，即灰阶值，U和V都是色度分量，色度分量UV的作用是描述影像色彩及饱和度，能够指定像素的颜色。YUV信号与RGB(红绿蓝)信号相比，只需要占用极少的带宽，对同一视频，YUV信号只占用RGB信号一半的带宽。
CCLM(Cross-Component Linear Model，交叉分量线性模型)：在VVC标准中针对YUV视频格式中的色度分量UV所提供的一种色度预测工具，能够大幅提升色度分量的预测性能。CCLM技术的核心思想是为了减少交叉分量冗余，进行跨分量预测，主要是利用同一编码块中像素的重建亮度分量(Y分量)来构成其色度分量(U分量和V分量)的预测值，这里的编码块是指使用编码后的图像块。
本申请实施例提供的图像块的色度预测方法由电子设备执行，在视频编解码流程中，电子设备能够被提供为视频的编码端设备或者解码端设备，编码端设备为终端或服务器，解码端设备为终端或服务器，本申请实施例对此不做具体限定。
以下，将对本申请实施例的一种示例性的实施环境进行解释说明。图1是本申请实施例提供的一种图像块的色度预测方法的实施环境示意图。参见图1，该实施环境包括编码端设备101和解码端设备102，编码端设备101和解码端设备102通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
编码端设备101为终端或服务器，以编码端设备101为服务器为例，编码端设备101是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
编码端设备101用于为解码端设备102提供视频编码及视频分发服务，如在流媒体场景下，编码端设备101用于对视频流进行编码后，向解码端设备102下发视频流，例如，视频流为直播视频流、录播视频流或Feed视频流等媒体流。
解码端设备102为终端或服务器，以解码端设备102为终端为例，解码端设备102是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。解码端设备102安装和运行有支持视频服务的应用程序，如应用程序为视频通话应用、短视频应用、视频网站、远程会议应用、社交应用、远程桌面应用、在线教育应用等，本申请实施例对此不进行具体限定。
在一些实施例中，编码端设备101承担主要计算工作，解码端设备102承担次要计算工作；或者，编码端设备101承担次要计算工作，解码端设备102承担主要计算工作；或者，编码端设备101和解码端设备102二者之间采用分布式计算架构进行协同计算。
在一些实施例中，编码端设备101针对视频流中的每个I帧，将每个I帧都划分成多个图像块，对每个图像块均进行编码决策，以确定每个图像块的编码模式，并基于确定的编码模式进行编码，得到每个图像块的编码块，接着，对每个图像块的编码块进行亮度重建，得到每个图像块的亮度重建块，进而基于每个图像块的亮度重建块，能够对该图像块进行色度重建，得到每个图像块的色度重建块。
由于，在采取不同色度预测模式的情况下重建所得的色度重建块是不同的，比较不同色度预测模式下的色度重建块与I帧中当前图像块的原始色度块之间的误差，能够决策出来当前图像块最优的色度预测模式，接着，编码端设备101将当前图像块的最优色度预测模式以及在该最优色度预测模式下的误差记录在码流中，对视频流中每个I帧包含的每个图像块都执行上述操作，再基于I帧来进一步编码得到B帧和P帧，最终得到对视频流编码所得的码流。接着，编码端设备101将编码得到的码流传输到解码端设备102。
在一些实施例中，解码端设备102接收编码得到的码流，由于码流中指示了每个I帧中每个图像块都能够重建得到的一个亮度重建块，并且，由于码流中还记录该图像块的最优色度预测模式，因此，通过该最优色度预测模式，在亮度重建块的基础上进行色度重建，得到当前图像块的色度重建块，进一步的，由于码流中还记录了色度重建块和原始色度块之间的误差，因此基于色度重建块和该误差，能够恢复出来原本编码端设备101的原始色度块。重复执行上述操作，能够预测出来视频流中的I帧中的每个图像块，接着，根据恢复得到的I帧能够进一步解码得到B帧和P帧，进而根据恢复出来的I帧、B帧和P帧，按照播放时间戳进行播放，即能够在解码端设备102上播放视频流。
在一些实施例中，编码端设备101和解码端设备102上均配置有视频编解码器(或称为媒体编解码器)，以便于编码端设备101来基于视频编解码器进行视频编码，以及解码端设备102来基于视频编解码器进行视频解码。
在另一些实施例中，编码端设备101上配置有视频编码器，以便于通过视频编码器将原始视频流压缩成码流，解码端设备102上配置有视频解码器，以便于通过视频解码器将压缩得到的码流恢复成可播放的视频流，本申请实施例对此不进行具体限定。
本领域技术人员能够知晓，上述编码端设备101或解码端设备102的数量为更多或更少。比如上述编码端设备101或解码端设备102仅为一个，或者上述编码端设备101或解码端设备102为几十个或几百个，或者更多数量。本申请实施例对编码端设备101或解码端设备102的数量和设备类型不作限定。
以下，将对本申请实施例的另一种示例性的实施环境进行解释说明。图2是本申请实施例提供的一种图像块的色度预测方法的实施环境示意图。参见图2，该实施环境包括编码端设备201、视频服务器202和解码端设备203，编码端设备201和解码端设备203通过有线或无线通信方式与视频服务器202进行直接或间接地连接，本申请在此不做限制。
编码端设备201和解码端设备203是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。编码端设备201和解码端设备203均安装和运行有支持视频服务的应用程序，如应用程序为视频通话应用、短视频应用、视频网站、远程会议应用、社交应用、远程桌面应用、在线教育应用等，本申请实施例对此不进行具体限定。
视频服务器202是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
视频服务器202用于为编码端设备201和解码端设备203上的应用程序提供后台服务，如，提供不同码率的码流分发服务，如在流媒体场景下，编码端设备201对原始的视频流进行编码后，将编码后的码流发送到视频服务器202，视频服务器202基于编码后的码流，恢复得到视频流，接着，对恢复得到的视频流进行重编码，以得到该视频流在不同码率、不同线路或者不同分辨率下的码流，并将该视频流在不同码流存储在不同的访问路径中。接着，视频服务器202基于解码端设备203发送的视频拉取请求，决策向解码端设备203返回何种码率的码流。
在一些实施例中，视频服务器202承担主要计算工作，编码端设备201和解码端设备203承担次要计算工作；或者，视频服务器202承担次要计算工作，编码端设备201和解码端设备203承担主要计算工作；或者，视频服务器202、编码端设备201和解码端设备203三者之间采用分布式计算架构进行协同计算。
在一些实施例中，编码端设备201基于上述图1所示的实施环境中介绍的，对待发布的视频流进行编码，得到编码后的码流，并将编码后的码流流式传输到视频服务器202，视频服务器202基于与上述图1所示的实施环境中介绍的，对编码后的码流进行解码，恢复得到待发布的视频流，接着对待发布的视频流进行重编码，得到该视频流在不同码率上的码流，并对不同码率的码流分配各自的访问路径。接着，解码端设备203在存在视频拉取需求时，解码端设备203向视频服务器202发送视频拉取请求，视频服务器202响应于接收到的视频拉取请求，确定解码端设备203拉取的目标码率，并从目标码率的码流的访问路径中查询到目标码率的码流，接着，以目标码率向解码端设备203返回码流，其中，目标码率是携带在视频拉取请求中的参数，或者目标码率是默认码率。同理，解码端设备203接收到目标码率的码流之后，基于类似的解码方式，将目标码率的码流恢复成待播放的视频流，这里不再赘述。可选地，上述视频流为直播视频流、录播视频流或Feed视频流等媒体流。
在一些实施例中，上述编码端设备201、视频服务器202以及解码端设备203上均配置有视频编解码器(或称为媒体编解码器)，以便于各个设备按照需要进行视频编码或者视频解码。
在另一些实施例中，编码端设备201上配置有视频编码器，以便于通过视频编码器将待发布的视频流压缩成码流，视频服务器202上配置有视频编解码器，以便于将码流恢复成视频流，并对视频流进行重编码，解码端设备102上配置有视频解码器，以便于将接收到的目标码率的码流恢复成可播放的视频流，本申请实施例对此不进行具体限定。
本领域技术人员能够知晓，上述编码端设备201或解码端设备203的数量为更多或更少。比如上述编码端设备201或解码端设备203仅为一个，或者编码端设备201或解码端设备203为几十个或几百个，或者更多数量。本申请实施例对编码端设备201或解码端设备203的数量和设备类型不作限定。
通过上述实施环境的介绍，在编码端设备上由于需要决策每个图像块的最优色度预测模式，即，通过亮度重建块来进行色度重建，以得到色度重建块，并比较色度重建块与原始色度块之间的误差，从而以误差为导向来决策最优色度预测模式，因此，编码端设备在视频编码过程中需要对图像块进行色度预测。
此外，在解码端设备上由于需要根据亮度重建块来进行色度重建，以恢复出色度重建块，并基于色度重建块和码流中记录的误差，来对色度重建块进行修正，因此，解码端设备在视频解码过程中同样需要对图像块进行色度预测。
换言之，本申请实施例涉及的图像块的色度预测方法由电子设备，这一电子设备被提供为编码端设备或解码端设备，本申请实施例对此不进行具体限定。
以下，对本申请实施例的图像块的色度预测方法的处理流程进行说明。图3是本申请实施例提供的一种图像块的色度预测方法的流程图。参见图3，该实施例由电子设备执行，电子设备被提供为编码端设备、解码端设备或视频服务器，该实施例包括下述步骤：
301、电子设备获取视频中图像块的亮度重建块，该亮度重建块表征该图像块中的像素在亮度分量上的重建值。
在一些实施例中，电子设备将视频中的视频帧划分成多个图像块，如，将视频中的I帧划分成多个图像块，接着，对视频帧中的任一图像块，基于对该图像块编码得到的编码块进行亮度重建，得到该图像块的亮度重建块。可选地，对于编码端设备来说，编码端设备根据编码决策的编码模式对该图像块进行编码，得到该编码块；对于解码端设备来说，解码端设备从接收到的码流中直接读取编码后的编码块，本申请实施例对编码块的获取方式不进行具体限定。
在一些实施例中，针对YUV格式的视频，将YUV视频信号中的I帧划分成多个图像块，对每个图像块，基于对该图像块编码得到的编码块进行亮度重建，得到该图像块的亮度重建块，亮度重建块中的元素表征图像块中的像素在亮度分量Y上的重建值。
302、电子设备基于该图像块的像素位置信息，将该图像块中包含的多个像素划分成多个第一像素和多个第二像素。
在本申请实施例中，根据图像块的像素位置信息，将图像块中包含的全部像素划分成第一像素和第二像素，并对第一像素和第二像素采用不同的色度预测模式，这样能够对图像块中的像素，选取与自身位置更加接近的相邻像素来进行色度重建，从而使得最终预测得到的色度重建块更加逼近原始色度块，提升对每个图像块中像素的色度分量的预测性能，进而提升视频编码性能。
在一些实施例中，电子设备在将图像块转换到色度空间后，能够得到一个待赋值的色度重建块，接着，在色度重建块中确定一条对角线，将对角线一侧的各个像素划分至该多个第一像素，将对角线上的各个像素以及对角线另一侧的各个像素划分至该多个第二像素，这样能够按照每个像素相对于对角线的位置，来确定当前像素是属于第一像素还是第二像素，从而保证针对图像块中像素的划分准确度。
303、电子设备基于该亮度重建块和位于该图像块左侧的多个第一相邻像素，对该多个第一像素进行色度重建，得到该多个第一像素各自的色度重建值。
在一些实施例中，针对该色度重建块中的该多个第一像素，先基于从位于该图像块左侧的多个相邻像素中，筛选得到多个第一相邻像素，第一相邻像素是指参与到第一像素的第一色度预测参数的计算过程的相邻像素，接着，基于该多个第一相邻像素，获取对第一像素的第一色度预测参数，该第一色度预测参数是该多个第一像素可复用的，因此仅计算一次即可节约电子设备的处理资源，接着，对每个第一像素，基于CCLM的线性变换函数，对亮度重建块中该第一像素的亮度重建值进行线性映射，得到该第一像素在色度重建块中的色度重建值，将该色度重建值赋值给色度重建块中第一像素所指示的位置上的元素，重复执行上述操作，能够对色度重建块中的所有第一像素实现对色度重建值的精准预测。
在一些实施例中，由于同一个图像块在亮度空间的亮度重建块和在色度空间的色度重建块具有不同的尺寸，如对YUV格式的视频信号来说，若图像块为正方块，则亮度重建块的边长是色度重建块的2倍，即，亮度重建块的面积是色度重建块的4倍。在这种情况下，通过对亮度重建块进行下采样，以保证下采样后的亮度重建块与色度重建块尺寸相同，进而在下采样后的亮度重建块中，找到与第一像素位置相同的元素，读取该元素中记录的该第一像素的亮度重建值。
304、电子设备基于该亮度重建块和位于该图像块上方的多个第二相邻像素，对该多个第二像素进行色度重建，得到该多个第二像素各自的色度重建值。
在一些实施例中，针对该色度重建块中的该多个第二像素，先基于从位于该图像块上方的多个相邻像素中，筛选得到多个第二相邻像素，第二相邻像素是指参与到第二像素的第二色度预测参数的计算过程的相邻像素，接着，基于该多个第二相邻像素，获取对第二像素的第二色度预测参数，该第二色度预测参数是该多个第二像素可复用的，因此仅计算一次即可节约电子设备的处理资源，接着，对每个第二像素，基于CCLM的线性变换函数，对亮度重建块中该第二像素的亮度重建值进行线性映射，得到该第二像素在色度重建块中的色度重建值，将该色度重建值赋值给色度重建块中第二像素所指示的位置上的元素，重复执行上述操作，能够对色度重建块中的所有第二像素实现对色度重建值的精准预测。
在一些实施例中，由于同一个图像块在亮度空间的亮度重建块和在色度空间的色度重建块具有不同的尺寸的情况下，利用上述步骤303中下采样后的亮度重建块，找到与第二像素位置相同的元素，读取该元素中记录的该第二像素的亮度重建值。
在本申请实施例中，仅以执行步骤303后执行步骤304为例进行说明，但不应构成对步骤303和304的执行时序的限定，可选地，电子设备先执行步骤304再执行步骤303，或者，电子设备并行同时执行步骤303和304，本申请实施例对此不进行具体限定。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过将图像块中的各个像素，按照像素位置信息划分成第一像素和第二像素，并对第一像素和第二像素采取不同的色度预测模式，由于第一像素和第二像素在色度预测过程中引入了不同的相邻像素，第一像素基于图像块左侧的第一相邻像素进行色度预测，第二像素基于图像块上方的第二相邻像素进行色度预测，使得能够对图像块中不同位置的像素有针对性的进行不同方式的色度预测，从而有效提升对图像块中像素在色度分量的预测性能，进而提升视频编解码的性能，节约所占用的带宽。
在上述实施例中，简单介绍了本申请涉及的图像块的色度预测方法的处理流程，而在本申请实施例中，将详细说明如何筛选相邻像素、如何进行色度重建等实施细节，下面结合图4进行说明。图4是本申请实施例提供的一种图像块的色度预测方法的流程图。参见图4，该实施例由电子设备执行，电子设备被提供为编码端设备、解码端设备或视频服务器，该实施例包括下述步骤：
401、电子设备在视频中图像块采用CCLM编码得到，且应用CCLM的目标色度预测模式的情况下，获取该图像块的亮度重建块。
其中，该亮度重建块表征该图像块中的像素在亮度分量上的重建值。
在一些实施例中，电子设备将视频中的视频帧划分成多个图像块，如，将视频中的I帧划分成多个图像块，可选地，在划分图像块的过程中，将一个视频帧划分成尺寸相同的多个图像块，或者，将一个视频帧划分成尺寸不同的多个图像块，本申请实施例对视频帧中划分得到的图像块的尺寸是否相同不进行具体限定。
在一些实施例中，对视频帧中的每个图像块，该图像块在亮度空间中对应于一个原始亮度块和一个亮度重建块，原始亮度块是指将原始的图像块转换到亮度空间所得的亮度块，亮度重建块则是指针对图像块编码得到的编码块进行亮度重建所得的重建块，通常，原始亮度块和亮度重建块之间具有一定的误差，这一误差来源于视频编解码算法固有的压缩损失。对于编码端设备来说，原始亮度块和亮度重建块都是可获得的，但对于解码端设备来说，原始亮度块是不可感知的，解码端设备仅能够获取到亮度重建块。
在一些实施例中，对视频帧中的每个图像块，该图像块在色度空间中对应于一个原始色度块和一个色度重建块，原始色度块是指将原始的图像块转换到色度空间所得的色度块，色度重建块则是指针对图像块编码得到的编码块进行色度重建所得的重建块，通常，原始色度块和色度重建块之间具有一定的误差，这一误差来源于视频编解码算法固有的压缩损失。对于编码端设备来说，原始色度块和色度重建块都是可获得的，但对于解码端设备来说，原始色度块是不可感知的，解码端设备仅能够获取到色度重建块。
在一些实施例中，对视频帧中的每个图像块，都确定该图像块的编码模式，在该图像块的编码模式为CCLM的情况下，进一步确定对该图像块的最优色度预测模式，在最优色度预测模式命中目标色度预测模式的情况下，执行本申请实施例涉及的图像块的色度预测方法。换言之，电子设备在确定出该图像块采用CCLM编码得到，且应用该CCLM的目标色度预测模式的情况下，执行本申请实施例涉及的图像块的色度预测方法，而本申请实施例将详细介绍目标色度预测模式下的色度预测流程，后续为了简便起见，将针对CCLM新设计的目标色度预测模式称为LM-LA模式。
在一些实施例中，对于编码端设备，编码端设备对视频帧中的每个图像块都会进行编码决策，以决策出来该图像块的编码模式，并基于决策得到的编码模式对该图像块进行编码，得到该图像块的编码块。进一步的，编码端设备还需要基于该编码块进行亮度重建，得到该图像块的亮度重建块。在获取到亮度重建块的基础上，如果采取不同的色度预测模式将会恢复得到不同的色度重建块，这些色度重建块可能有的预测性能较好、更加接近原始色度块，可能有的预测性能交叉、与原始色度块之间差异较大，因此，编码端设备还需要基于该亮度重建块，采取多种不同的色度预测模式分别进行色度重建，得到不同色度预测模式下恢复得到的色度重建块，在本申请实施例中将对CCLM新设计的LM-LA模式的色度预测流程进行说明。进而，比较不同色度重建块各自与原始色度块之间的误差，以决策出来该图像块的最优色度预测模式，并将决策出来的最优色度预测模式记录在码流中。
在一些实施例中，对于解码端设备，解码端设备从接收到的码流中可解析出来视频帧中每个图像块的编码模式和最优色度预测模式，先基于与该编码模式适配的解码方式，对码流中的编码块进行亮度重建，得到该图像块的亮度重建块，接着，基于码流中记录的最优色度预测模式，在该亮度重建块的基础上进行色度重建，得到该图像块的色度重建块，由于本申请实施例介绍的是LM-LA模式，因此在码流中记录的最优色度预测模式命中LM-LA模式的情况下，执行本申请实施例的图像块的色度预测方法。
在一些实施例中，针对YUV格式的视频，将YUV视频信号中的I帧划分成多个图像块，对每个图像块来说，都基于对该图像块编码得到的编码块进行亮度重建，得到该图像块的亮度重建块，其中，亮度重建块中的元素表征图像块中的像素在亮度分量Y上的重建值。
402、电子设备对该亮度重建块进行下采样，得到下采样后的亮度重建块，该下采样后的亮度重建块与该图像块的色度重建块尺寸相同。
在一些实施例中，由于同一图像块在亮度空间和色度空间可能会具有不同的尺寸，因此，对同一图像块，亮度空间下的亮度重建块和色度空间下的色度重建块的尺寸也可能不同，这时，通过执行步骤402，对亮度重建块进行下采样，并控制下采样后的亮度重建块与色度重建块的尺寸相同，这样能够保证在预测色度重建块中每个元素时，即预测图像块中每个像素的色度重建值时，都能够在下采样后的亮度重建块中找到一个唯一对应的、位置相同的亮度重建值。
在一些实施例中，以YUV格式的视频为例，对YUV视频信号中视频帧的每个图像块，该图像块的亮度重建块的宽度为色度重建块的宽度的2倍，且亮度重建块的高度为色度重建块的高度的2倍，即亮度重建块的面积是色度重建块的面积的4倍。在这种情况下，对亮度重建块进行倍率为2的下采样，即可保证下采样后的亮度重建块与色度重建块的尺寸相同。
在一个示例中，以图像块为立方块为例进行说明，图5是本申请实施例提供的一种亮度重建块和色度重建块的示意图，如图5所示，对同一个图像块来说，左侧部分示出了该图像块在色度(Chroma)空间下的色度重建块510，假设色度重建块510的宽度和高度均取值为N，右侧部分则示出了该图像块在亮度(Luma)空间下的亮度重建块520，这时亮度重建块520的宽度和高度均取值为2N。在这种情况下，对亮度重建块520进行倍率为2的下采样，即可保证下采样后的亮度重建块与色度重建块510的尺寸相同。
在上述过程中，通过对亮度重建块进行下采样，能够将亮度重建块变换至与色度重建块相同的尺寸，从而方便基于下采样后的亮度重建块来采样出每个像素的亮度重建值，以提升色度预测效率。
在另一些实施例中，对色度重建块进行上采样，以保证上采样后的色度重建块与亮度重建块尺寸相同，并对上采样后的色度重建块中的每个元素进行色度预测之后，再下采样回到原本尺寸，同样能够实现色度预测，本申请实施例对是否要对亮度重建块进行下采样不进行具体限定。
403、电子设备在该图像块的色度重建块中确定一条对角线。
在一些实施例中，电子设备在该色度重建块中确定任意一条对角线，例如，确定一条用于连接左上角顶点和右下角顶点的对角线，或者，确定一条用于连接右上角顶点和左下角顶点的对角线，本申请实施例对确定的对角线的走向不进行具体限定。
在上述过程中，通过在色度重建块中确定对角线，使得能够基于对角线来划分色度重建块中的第一像素和第二像素，这样能够保证第一像素和第二像素的数量基本持平，避免某类像素的数量过多导致误差持续累积，从而有利于进一步提升色度预测性能。
在一些实施例中，电子设备对每个采用LM-LA模式的图像块，都确定相同走向的对角线，或许，对每个采用LM-LA模式的图像块，随机确定对角线的走向，换言之，对各个LM-LA模式的图像块确定的对角线的走向相同或者不同，本申请实施例对此不进行具体限定。
在上述过程中，通过对不同的图像块确定相同走向的对角线，使得色度预测过程的不确定性被降低，有利于评估色度预测的性能，通过对不同的图像块确定不同走向的对角线，使得色度预测过程引入更多随机性，有利于探索出每个图像块最佳的对角线划分方式。
需要说明的是，由于尚未对图像块中的每个像素进行色度预测，本步骤403中涉及的色度重建块中的每个元素尚未赋值。
在一个示例性中，以在色度重建块中确定得到的对角线用于连接该图像块的左上角顶点和右下角顶点为例进行说明，图6是本申请实施例提供的一种色度重建块的示意图，如图6所示，示出了视频中某个采用LM-LA模式进行色度预测的图像块的色度重建块600，并且，在色度重建块600中确定了一条用于连接左上角顶点和右下角顶点的对角线610。
404、电子设备基于像素位置信息，将该对角线一侧的各个像素划分至多个第一像素，将该对角线上的各个像素以及该对角线另一侧的各个像素划分至多个第二像素。
在一些实施例中，电子设备基于图像块中每个像素的位置信息，判断该色度重建块中的每个像素，是在对角线上、对角线一侧还是对角线另一侧，从而决策当前像素属于第一像素还是第二像素。
在一些实施例中，在对角线用于连接左上角顶点和右下角顶点的情况下，电子设备将该对角线下方的各个像素划分成多个第一像素，将剩余的各个像素(即对角线上的各个像素以及对角线上方的各个像素)划分成多个第二像素。换言之，该第一像素为该对角线下方的像素，该第二像素为该对角线上的像素或该对角线上方的像素。
在另一些实施例中，在对角线用于连接左上角顶点和右下角顶点的情况下，电子设备将该对角线的各个像素以及对角线下方的各个像素划分成多个第一像素，将剩余的各个像素(即对角线上方的各个像素)划分成多个第二像素。换言之，该第一像素为该对角线上的像素或该对角线下方的像素，该第二像素为该对角线上方的像素。
在一个示例中，仍以图6为例进行说明，在色度重建块600中，将位于对角线610下方的各个像素均划分至多个第一像素，将位于对角线610上的各个像素以及位于对角线610上方的各个像素均划分至多个第二像素。
在上述过程中，通过将位于对角线上的各个像素统一划分到第一像素，或者统一划分到第二像素，便于了对位于对角线上的像素进行统筹预测，有利于提升色度预测效率。
在另一些实施例中，在对角线用于连接左上角顶点和右下角顶点的情况下，电子设备将该对角线下方的各个像素划分成多个第一像素，将该对角线上方的各个像素划分成多个第二像素。接着，对于对角线上的各个像素，随机选择一半的像素划分成第一像素，并将剩余的另一半像素划分成第二像素；或者，对于对角线上的每个像素，随机确定将该像素被划分至第一像素还是第二像素；或者，对于对角线上的每个像素，计算该像素分别到左侧边中点和上方边中点之间的距离，如果该像素到左侧边中点的距离更短，将该像素划分至第一像素，如果该像素到上方边中点的距离更短，将该像素划分至第二像素，如果该像素到左侧边中点的距离等于该像素到上方边中点的距离，随机将该像素划分至第一像素或第二像素。
在上述过程中，通过对位于对角线上的像素灵活决策属于第一像素还是第二像素，能够进一步均衡第一像素和第二像素的数量，使得对角线上的各个像素的色度预测方式具有更多的可变性，可选地，编码端设备决策出来对角线上的每个像素属于第一像素还是第二像素之后，由于在LM-LA模式下，第一像素和第二像素采用不同的色度预测方式，因此可以在码流中记录对角线上的每个像素所属的像素类别，或者，在码流中记录对角线上的每个像素使用的色度预测方式，本申请实施例对此不进行具体限定。
在上述步骤403-404中，提供了基于该图像块的像素位置信息，将该图像块中包含的多个像素划分成多个第一像素和多个第二像素的一种可能实施方式，即，按照色度重建块中的对角线，将对角线一侧的像素划分成第一像素，将对角线上以及对角线另一侧的像素划分成第二像素，通过按照对角线进行第一像素和第二像素的划分，使得不同类别的像素能够分别使用与自身像素位置更加适配的相邻像素来计算色度预测参数，从而提升了色度预测参数的准确性，进而提升了色度预测性能。
在另一些实施例中，在色度重建块中确定水平中线或者竖直中线，并将水平中线或竖直中线一侧的像素划分成第一像素，将水平中线或竖直中线上以及水平中线或竖直中线另一侧的像素划分成第二像素，其中，水平中线用于连接色度重建块的左右两条边的中点，竖直中线用于连接色度重建块的上下两条边的中点，本申请实施例对第一像素和第二像素的划分方式不进行具体限定。
405、电子设备基于该色度重建块的尺寸信息，确定相邻像素的候选数量，该候选数量为该尺寸信息中宽度和高度之间的和值。
其中，色度重建块的尺寸信息是指该图像块在色度空间的尺寸信息，例如，色度重建块的尺寸信息包括色度重建块的宽度W和高度H。
在一些实施例中，电子设备基于该色度重建块的尺寸信息，确定色度重建块的宽度W和高度H，接着，将宽度W和高度H相加，得到相邻像素的候选数量(W+H)。
406、电子设备在位于该图像块左侧的该候选数量个相邻像素中，筛选得到多个第一相邻像素。
在一些实施例中，在确定了候选数量(H+W)的情况下，从位于该图像块左侧的(H+W)个相邻像素中，筛选出来参与到色度预测参数的计算过程的多个第一相邻像素。
在一些实施例中，以图像块中左上角顶点为原点建立坐标系，坐标系的横轴正方向为水平向右，纵轴正方向为竖直向下，那么可知，从该图像块左侧紧挨原点的相邻像素开始，依次沿着纵轴正方向取H’＝H+W个相邻像素，这位于图像块左侧的H’个相邻像素的位置坐标依次表示为：S[-1，0]，S[-1，1]，…，S[-1，H’-1]。
在一些实施例中，从上述位于图像块左侧的H’个相邻像素中，基于等间隔方式筛选得到该多个第一相邻像素，比如，以从H’个相邻像素中筛选出来4个第一相邻像素为例进行说明，按照等间隔的方式，依次挑选中位置坐标为：S[-1，H’/8]，S[-1，3*H’/8]，S[-1，5*H’/8]，S[-1，7*H’/8]。
在一些实施例中，从上述位于图像块左侧的H’个相邻像素中，基于非等间隔方式，随机筛选得到该多个第一相邻像素，例如，从H’个相邻像素中随机挑选出来4个第一相邻像素，本申请实施例对第一相邻像素是否按等间隔方式筛选不进行具体限定。
在上述过程中，通过按照等间隔方式挑选第一相邻像素，能够尽量等间距的选取位于图像块左侧的相邻像素来计算第一像素的第一色度预测参数，使得第一色度预测参数具有更高的准确度，以便于提升色度预测性能。
407、电子设备在位于该图像块上方的该候选数量个相邻像素中，筛选得到多个第二相邻像素。
在一些实施例中，在确定了候选数量(W+H)的情况下，从位于该图像块上方的(W+H)个相邻像素中，筛选出来参与到色度预测参数的计算过程的多个第二相邻像素。
在一些实施例中，以图像块中左上角顶点为原点建立坐标系，坐标系的横轴正方向为水平向右，纵轴正方向为竖直向下，那么可知，从该图像块上方紧挨原点的相邻像素开始，依次沿着横轴正方向取W’＝W+H个相邻像素，这位于图像块上方的W’个相邻像素的位置坐标依次表示为：S[0，-1]，S[1，-1]，…，S[W’-1，-1]。
在一些实施例中，从上述位于图像块上方的W’个相邻像素中，基于等间隔方式筛选得到该多个第二相邻像素，比如，以从W’个相邻像素中筛选出来4个第二相邻像素为例进行说明，按照等间隔的方式，依次挑选中位置坐标为：S[W’/8，-1]，S[3*W’/8，-1]，S[5*W’/8，-1]，S[7*W’/8，-1]。
在一些实施例中，从上述位于图像块上方的W’个相邻像素中，基于非等间隔方式，随机筛选得到该多个第二相邻像素，例如，从W’个相邻像素中随机挑选出来4个第二相邻像素，本申请实施例对第二相邻像素是否按等间隔方式筛选不进行具体限定。
在上述过程中，通过按照等间隔方式挑选第二相邻像素，能够尽量等间距的选取位于图像块上方的相邻像素来计算第二像素的第二色度预测参数，使得第二色度预测参数具有更高的准确度，以便于提升色度预测性能。
在一个示例中，仍以图6为例进行说明，对于色度重建块600，假设色度重建块600的宽度W和高度H均取值为8，那么可知候选数量等于W+H＝16，将从位于色度重建块600左侧的16个相邻像素Sh0～Sh15中按照等间隔方式挑选出第Sh2、Sh6、Sh10、Sh14个相邻像素作为4个第一相邻像素，同理，从位于色度重建块600上方的16个相邻像素Sw0～Sw15中按照等间隔方式挑选出第Sw2、Sw6、Sw10、Sw14个相邻像素作为4个第二相邻像素。
408、电子设备基于该下采样后的亮度重建块和位于该图像块左侧的多个第一相邻像素，对该多个第一像素进行色度重建，得到该多个第一像素各自的色度重建值。
在一些实施例中，在通过上述步骤402获取到下采样后的亮度重建块，并通过上述步骤406获取到多个第一相邻像素的情况下，基于该多个第一相邻像素，能够对全部的第一像素计算得到一个可复用的第一色度预测参数，以便于对每个第一像素，基于第一色度预测参数，来对第一像素的亮度重建值进行线性映射，得到对第一像素的色度重建值。
在一些实施例中，不管是本步骤408涉及的第一色度预测参数，还是下一步骤409涉及的第二色度预测参数，均包括两种类型的参数：加权系数α和基于该加权系数确定得到的偏置系数β，该加权系数α用于对亮度重建值施加权重，该偏置系数β用于对经过加权的亮度重建值施加偏置。但是，不同的色度预测参数，其加权系数α以及偏置系数β的具体取值不同。
通过对第一像素和第二像素计算不同的色度预测参数，使得第一像素在进行色度重建时，使用第一色度预测参数，第二像素在进行色度重建时，使用第二色度预测参数，这样能够针对第一像素和第二像素采取不同的色度预测模式，由于CCLM的色度预测参数更加准确，那么预测所得的色度重建值也就更加准确，这样有效了提升了对色度重建块的预测性能，提升了块内色度像素预测准确性，从而提升了视频编解码性能。
下面，将对第一像素的色度重建过程进行详细介绍。图7是本申请实施例提供的一种第一像素的色度重建方法的流程图，如图7所示，该色度重建方法涉及到如下子步骤4081-4083：
4081、电子设备基于该多个第一相邻像素的亮度重建值和色度重建值，确定对该第一像素的第一色度预测参数。
其中，该第一色度预测参数表征该第一像素的亮度重建值和色度重建值之间的偏移。
在一些实施例中，对上述步骤406筛选得到的该多个第一相邻像素，分别获取每个第一相邻像素的亮度重建值和色度重建值，比如，直接从第一相邻像素所属相邻图像块的色度重建块中采样到第一相邻像素的色度重建值，并基于步骤402类似的方式，对第一相邻像素所属相邻图像块的亮度重建块进行下采样，从下采样后的亮度重建块中读取第一相邻像素的亮度重建值。如图5所示，在色度重建块510的左侧及上方绘制出的各个圆形像素，分别代表的是图像块的左侧及上方的相邻像素的色度重建值，同理，在亮度重建块520的左侧及上方绘制出的各个圆形像素，分别代表的是图像块的左侧及上方的相邻像素的亮度重建值，由于亮度重建值是在下采样后的亮度重建块中读取到的，因此亮度重建值之间的间距比较大。
在一些实施例中，按照亮度重建值从大到小的顺序，对该多个第一相邻像素进行排序，筛选出排序位于前两位的第一相邻像素A0和A1，并筛选出排序位于后两位的第一相邻像素B0和B1，接着，对第一相邻像素A0和A1，获取其亮度重建值X0 A和X1 A以及色度重建值Y0 A和Y1 A，对第一相邻像素B0和B1，获取其亮度重建值X0 B和X1 B以及色度重建值Y0 B和Y1 B。接着，将第一相邻像素A0和A1的亮度重建值X0 A和X1 A的平均值赋值为参数Xa，将第一相邻像素A0和A1的色度重建值Y0 A和Y1 A的平均值赋值为参数Ya，将第一相邻像素B0和B1的亮度重建值X0 B和X1 B的平均值赋值为参数Xb，将第一相邻像素B0和B1的色度重建值Y0 B和Y1 B的平均值赋值为参数Yb。进一步的，令加权系数α＝(Ya-Yb)/(Xa-Xb)，令偏置系数β＝Yb-α×Xb，即可得到第一色度预测参数中加权系数α和偏置系数β的具体取值：α＝α1和β＝β1。
4082、电子设备从该下采样后的亮度重建块中，读取得到该多个第一像素各自的亮度重建值。
在一些实施例中，对每个第一像素，电子设备从下采样后的亮度重建块中找到与第一像素在图像块中的位置相同的元素，读取该元素中记录的该第一像素的亮度重建值。
4083、电子设备基于该第一色度预测参数，对该多个第一像素各自在该亮度重建块中的亮度重建值进行线性映射，得到该多个第一像素各自的色度重建值。
在一些实施例中，对每个第一像素，假设使用(i,j)表征第i行第j列的第一像素，那么基于如下线性变换函数进行色度重建：
pred_C(i,j)＝α1·rec_L’(i,j)+β1
其中，rec_L’(i,j)表征第一像素(i,j)的亮度重建值，pred_C(i,j)表征第一像素(i,j)的色度重建值。
在上述过程中，对每个第一像素，电子设备将加权系数α1与该第一像素的亮度重建值rec_L’(i,j)相乘，得到加权后的亮度重建值α1·rec_L’(i,j)，再将加权后的亮度重建值α1·rec_L’(i,j)与偏置系数β1相加，得到第一像素的色度重建值pred_C(i,j)。
通过基于上述线性变换函数，能够基于相同的色度预测参数，来对每个第一像素进行色度重建，得到每个第一像素的色度重建值，使得针对第一像素，提供了基于图像块左侧的第一相邻像素计算完毕第一色度预测参数之后，利用第一色度预测参数和自身亮度重建值进行色度重建的方式，由于第一像素距离第一相邻像素的距离更近，使得基于第一相邻像素计算得到的第一色度预测参数的准确度更高，从而基于第一色度预测参数重建所得的色度重建值也准确度更高。
需要说明的是，由于色度预测参数的计算过程不仅需要在编码端设备中执行，也需要在解码端设备上执行相同的操作，因此，第一像素的加权系数α1和偏置系数β1无需记录在码流中，这样能够进一步节约带宽。
在上述步骤4081-4083中，提供了针对第一像素的第一色度预测参数的计算方式以及基于计算得到的第一色度预测参数来对第一像素进行色度重建的方式，由于第一像素均是使用位于图像块左侧的第一相邻像素来计算得到第一色度预测参数，而第一像素与第一相邻像素之间的距离更近接近，代表第一像素与第一相邻像素之间的相关性越高，使得基于第一色度预测参数对第一像素重建所得的色度重建值具有更高的准确度。
409、电子设备基于该下采样后的亮度重建块和位于该图像块上方的多个第二相邻像素，对该多个第二像素进行色度重建，得到该多个第二像素各自的色度重建值。
在一些实施例中，在通过上述步骤402获取到下采样后的亮度重建块，并通过上述步骤407获取到多个第二相邻像素的情况下，基于该多个第二相邻像素，能够对全部的第二像素计算得到一个可复用的第二色度预测参数，以便于对每个第二像素，基于第二色度预测参数，来对第二像素的亮度重建值进行线性映射，得到对第二像素的色度重建值。
在一些实施例中，本步骤409涉及的第二色度预测参数，与上一步骤408涉及的第一色度预测参数同理，包括一个加权系数α和基于该加权系数确定得到的偏置系数β，为了便于区分取值的不同，令第二色度预测参数中的加权系数α＝α2，偏置系数β＝β2。
通过对第一像素和第二像素计算不同的色度预测参数，使得第一像素在进行色度重建时，使用第一色度预测参数，第二像素在进行色度重建时，使用第二色度预测参数，这样能够针对第一像素和第二像素采取不同的色度预测模式，由于CCLM的色度预测参数更加准确，那么预测所得的色度重建值也就更加准确，这样有效了提升了对色度重建块的预测性能，提升了块内色度像素预测准确性，从而提升了视频编解码性能。
下面，将对第二像素的色度重建过程进行详细介绍。图8是本申请实施例提供的一种第二像素的色度重建方法的流程图，如图8所示，该色度重建方法涉及到如下子步骤4091-4093：
4091、电子设备基于该多个第二相邻像素的亮度重建值和色度重建值，确定对该第二像素的第二色度预测参数。
其中，该第二色度预测参数表征该第二像素的亮度重建值和色度重建值之间的偏移。
在一些实施例中，对上述步骤407筛选得到的该多个第二相邻像素，分别获取每个第二相邻像素的亮度重建值和色度重建值，比如，直接从第二相邻像素所属相邻图像块的色度重建块中采样到第二相邻像素的色度重建值，并基于步骤402类似的方式，对第二相邻像素所属相邻图像块的亮度重建块进行下采样，从下采样后的亮度重建块中读取第二相邻像素的亮度重建值。如图5所示，色度重建块510中的圆形像素表征已重建得到相邻像素的色度重建值，亮度重建块520中的圆形像素表征已重建得到相邻像素的亮度重建值。
本步骤4091中对第二色度预测参数的获取方式与上述步骤4081中对第一色度预测参数的获取方式同理，区别在于步骤4081使用第一相邻像素计算第一色度预测参数，本步骤4091使用第二相邻像素来计算第二色度预测参数，这里不做赘述。
4092、电子设备从该下采样后的亮度重建块中，读取得到该多个第二像素各自的亮度重建值。
在一些实施例中，对每个第二像素，电子设备从下采样后的亮度重建块中找到与第二像素在图像块中的位置相同的元素，读取该元素中记录的该第二像素的亮度重建值。
4093、电子设备基于该第二色度预测参数，对该多个第二像素各自在该亮度重建块中的亮度重建值进行线性映射，得到该多个第二像素各自的色度重建值。
本步骤4093中对第二像素的色度重建方式与上述步骤4083中对第一像素的色度重建方式同理，区别在于步骤4083使用第一色度预测参数来对第一像素的亮度重建值进行线性映射，本步骤4093使用第二色度预测参数来对第二像素的亮度重建值进行线性映射，这里不做赘述。
在上述步骤4091-4093中，提供了针对第二像素的第二色度预测参数的计算方式以及基于计算得到的第二色度预测参数来对第二像素进行色度重建的方式，由于第二像素均是使用位于图像块上方的第二相邻像素来计算得到第二色度预测参数，而第二像素与第二相邻像素之间的距离更近接近，代表第二像素与第二相邻像素之间的相关性越高，使得基于第二色度预测参数对第二像素重建所得的色度重建值具有更高的准确度。
在本申请实施例提供的LM-LA模式中，由于第一像素使用位于图像块左侧的第一相邻像素来计算第一色度预测参数，可视为第一像素采用LM-L模式进行色度预测，由于第二像素使用位于图像块上方的第二相邻像素来计算第二色度预测参数，可视为第二像素采用LM-A模式进行色度预测。也即，在LM-LA模式下，针对同一个图像块(即编码单元)，在预测其色度重建块时，同时使用CCLM的2种线性模型(LM-L模式和LM-A模式)进行预测。这种新型的CCLM色度预测LM-LA模式，能够在色度编码过程中有效提升色度分量的预测性能，进而有效提升色度块的预测性能，从而提升视频编码性能。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过将图像块中的各个像素，按照像素位置信息划分成第一像素和第二像素，并对第一像素和第二像素采取不同的色度预测模式，由于第一像素和第二像素在色度预测过程中引入了不同的相邻像素，第一像素基于图像块左侧的第一相邻像素进行色度预测，第二像素基于图像块上方的第二相邻像素进行色度预测，使得能够对图像块中不同位置的像素有针对性的进行不同方式的色度预测，从而有效提升对图像块中像素在色度分量的预测性能，进而提升视频编解码的性能，节约所占用的带宽。
上一实施例中涉及的图像块的色度预测方法，既适用于编码端设备，也适用于解码端设备，在以下两个实施例中，将分别针对编码端设备的视频编码流程和解码端设备的视频解码流程进行介绍。
图9是本申请实施例提供的一种视频编码方法的流程图，如图9所示，该视频编码方法由编码端设备执行，编码端设备为终端或服务器，下面进行说明。
901、编码端设备将待编码视频中的视频帧划分成多个图像块。
上述步骤901划分图像块的方式与上一实施例中步骤401介绍过的划分图像块的方式同理，不再赘述。
902、对每个图像块，编码端设备对该图像块进行编码决策，得到该图像块的编码模式。
在一些实施例中，编码端设备在视频编码过程中，CCLM涉及到4种模式：LM，LM-LA，LM-L，LM-A，编码端设备需要在这4种模式中进行编码决策，以选择出最佳的CCLM模式，编码决策方式由VVC标准制定。
903、编码端设备基于该编码模式对该图像块进行编码，得到该图像块的编码块。
在一些实施例中，编码端设备基于上述步骤902编码决策出来的最优CCLM模式，对该图像块进行编码，得到该图像块的编码块。在这一编码块的基础上，还需要进一步与传统色度预测模式以及CCLM的4种模式进行比较，以选择出来编码代价最小的色度预测模式，即，为图像块配置最优色度预测模式。
904、编码端设备对该编码块进行亮度重建，得到该图像块的亮度重建块。
上述步骤904的亮度重建方式与上一实施例中步骤401介绍过的亮度重建方式同理，不再赘述。
905、编码端设备基于该亮度重建块，采用多种不同的色度预测模式进行色度重建，得到多个色度重建块。
在一些实施例中，VVC标准中提供了8种色度预测模式，加上本申请实施例设计的LM-LA模式，编码端设备采用9种色度预测模式分别对同一亮度重建块进行色度重建，得到9个色度重建块。
在一些实施例中，如表1所示，示出了序号为0～7的一共8种VVC标准提供的色度预测模式各自的二进制表示，其中，模式5、6、7分别表示CCLM模式中的LM，LM-L和LM-A模式，其余的模式0～4均为传统色度预测模式。
表1
色度预测模式 二进制表示
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在本申请实施例中，由于新增了LM-LA模式，需要对9种色度预测模式统一进行二进制表示的重新编码，如表2所示，示出了序号为0～8的一共9种色度预测模式，包括VVC标准的8种模式加上本申请实施例设计的LM-LA模式，其中，模式5、6、7、8分别表示LM，LM-LA，LM-L，LM-A模式，其余的模式0～4均为传统色度预测模式。
表2
色度预测模式 二进制表示
4 00
0 0100
1 0101
2 0110
3 0111
5 100
6 101
7 110
8 111
在上一实施例中，已经详细介绍过了采用新设计的LM-LA模式的色度预测流程，其余8种色度预测方式参照VVC标准的定义，不再赘述。
906、编码端设备对每种色度预测模式获取编码代价，将编码代价最小的色度预测模式配置为该图像块的最优色度预测模式。
在一些实施例中，对每种色度预测模式，编码端设备比较原始色度块和基于当前色度预测模式恢复出来的色度重建块之间的误差，并基于该误差获取到当前色度预测模式的编码代价，编码代价越小，表征色度预测性能越好，编码代价越大，表征色度预测性能越差，这样通过比较如表2所示的9种色度预测模式各自的编码代价，对每个图像块都选取编码代价最小的色度预测模式，并将编码代价最小的色度预测模式配置为该图像块的最优色度预测模式。
907、编码端设备将该图像块的编码模式、最优色度预测模式以及采用最优色度预测模式下原始色度块与色度重建块之间的误差，记录到码流中该图像块的编码数据中。
在一些实施例中，在对每个图像块都决策完毕最优的编码模式以及最优色度预测模式之后，分别将最优的编码模式的二进制表示以及该最优色度预测模式的二进制表示记录在码流中该图像块的编码数据中，以便于在对整个视频编码完毕后，对编码得到的码流进行传输。例如，假设对某个图像块决策出来的最优色度预测模式为LM-LA模式，则将表2中LM-LA模式的二进制表示“101”记录在该图像块的编码数据中。
在一些实施例中，针对步骤906决策出来的最优色度预测模式，为了便于解码端设备进行恢复，还将采用最优色度预测模式的情况下，原始色度块和色度重建块之间的误差记录到码流中，方便了解码端设备基于色度重建块和码流中记录的误差，来对原始色度块进行恢复，有利于提升视频解码性能。
908、编码端设备对每个图像块重复执行步骤902-907，得到对视频编码后的码流。
在一些实施例中，编码端设备仅对视频中的I帧中的每个图像块执行步骤902-907，得到编码后的I帧，进一步基于编码后的I帧来进一步编码得到B帧和P帧，最终由编码后的I帧、B帧和P帧组成编码后的码流。
本申请实施例提供的方法，由于提出了一种新的CCLM色度预测模式，使得编码端设备在编码过程中，通过编码决策出来最优的CCLM模式之后，对每个图像块在进行色度预测时多了一种模式选择，有利于缩小各个图像块的最优色度预测模式的总体编码代价，这样能够提升每个图像块的块内像素的色度预测准确性，从而提升视频编码性能，节约占用的带宽。
上一实施例中针对编码端设备的视频编码流程进行了说明，而在本申请实施例中，将对解码端设备的视频解码流程进行介绍。图10是本申请实施例提供的一种视频解码方法的流程图，如图10所示，该视频解码方法由解码端设备执行，解码端设备为终端或服务器，下面进行说明。
1001、解码端设备获取视频编码后的码流，该码流中至少记录视频中的视频帧中每个图像块的编码块、编码模式、最优色度预测模式以及采用最优色度预测模式下原始色度块与色度重建块之间的误差。
在一些实施例中，解码端设备接收编码端设备发送的码流，如，编码端设备主动向解码端设备推送码流，或者，解码端设备主动从编码端设备中拉取码流。
在另一些实施例中，解码端设备接收视频服务器发送的码流，如，视频服务器主动向解码端设备按照默认码率来推送码流，或者，解码端设备主动从视频服务器中拉取指定码率的码流，或者，解码端设备未指定码率的情况下，解码端设备主动从视频服务器中拉取默认码率的码流，本申请实施例对码流的获取方式不进行具体限定。
1002、对每个图像块的编码块，解码端设备基于与该码流中记录的编码模式适配的解码方式，对该编码块进行亮度重建，得到该图像块的亮度重建块。
在一些实施例中，解码端设备从接收到的码流中可解析出来视频帧中每个图像块的编码块，以及该编码块所应用的编码模式，接着，基于与该编码模式适配的解码方式，对码流中的编码块进行亮度重建，得到该图像块的亮度重建块。
1003、解码端设备基于该码流中记录的最优色度预测模式，在该亮度重建块的基础上进行色度重建，得到该图像块的色度重建块。
在一些实施例中，解码端设备从接收到的码流中还解析出来当前编码块的最优色度预测模式，比如，从编码块的编码数据中读取色度预测模式字段中记录的二进制数据，通过表2所示的映射关系，确定读取到的二进制数据所指示的最优色度预测模式。
在确定了最优色度预测模式的情况下，如果最优色度预测模式命中LM-LA模式(即读取到的二进制数据等于101)，则执行前面实施例中涉及的LM-LA模式下图像块的色度预测方法，如果最优色度预测模式未命中LM-LA模式(即读取到的二进制数据不等于101)，参照VVC标准中的色度预测方式的定义即可实现色度重建，不再赘述。
需要说明的是，由于在LM-LA模式下，第一像素与用于计算第一色度预测参数的第一相邻像素的距离更近，即第一像素和第一相邻像素的相关性越高，使得计算所得的第一色度预测参数的准确度越高，基于第一色度预测参数构建的CCLM线性模型的预测准确度越高，从而基于CCLM线性模型预测出来的色度重建块就越准确，从而提升了色度重建块的解码性能，提升了视频解码性能。
1004、解码端设备对每个编码块重复执行步骤1002-1003，以恢复得到可播放的视频。
在一些实施例中，编码端设备对视频的I帧中的每个编码块执行步骤1002-1003，从而恢复出来解码后的I帧，并基于解码后的I帧进一步来恢复出来解码后的B帧和P帧，最终由解码后的I帧、B帧和P帧组成可播放的视频。
本申请实施例提供的方法，由于提出了一种新的CCLM色度预测模式，使得解码端设备的解码过程中，需要灵活根据码流中记录的最优色度预测模式来确定对当前编码块的色度预测方法，对每个图像块在进行色度预测时多了一种模式选择，有利于提升各个图像块的色度重建块的总体解码性能，这样能够提升每个图像块的块内像素的色度预测准确性，从而提升视频解码性能，节约占用的带宽。
需要说明的是，上述各个实施例涉及的图像块的色度预测方法、视频编码方法、视频解码方法等，能够适用于各类与视频编码相关的产品中，如视频通话应用、短视频应用、视频网站、远程会议应用、社交应用、直播应用等，如，应用在社交平台或内容分享平台中针对每个账号上传的视频进行后台压缩的过程中，或者，应用在直播平台中针对每个主播上传的直播视频流进行后台压缩的过程中，或者，应用在Feed流服务中针对每个账号推送的Feed视频流进行后台压缩的过程中等等，以提升视频服务器后台对视频的压缩性能，节省视频服务器与任意解码端设备之间传输码流所消耗的通信带宽。这里的视频服务器仅为编码端设备的一种示例性说明，上述各个实施例涉及的图像块的色度预测方法、视频编码方法、视频解码方法等，还适用于编码端设备到解码端设备之间端到端传输码流的过程，同样能够提升视频的压缩性能，从而节约通信带宽。
图11是本申请实施例提供的一种图像块的色度预测装置的结构示意图，如图11所示，该装置包括：
获取模块1101，用于获取视频中图像块的亮度重建块，该亮度重建块表征该图像块中的像素在亮度分量上的重建值；
划分模块1102，用于基于该图像块的像素位置信息，将该图像块中包含的多个像素划分成多个第一像素和多个第二像素；
第一重建模块1103，用于基于该亮度重建块和位于该图像块左侧的多个第一相邻像素，对该多个第一像素进行色度重建，得到该多个第一像素各自的色度重建值；
第二重建模块1104，用于基于该亮度重建块和位于该图像块上方的多个第二相邻像素，对该多个第二像素进行色度重建，得到该多个第二像素各自的色度重建值。
本申请实施例提供的装置，通过将图像块中的各个像素，按照像素位置信息划分成第一像素和第二像素，并对第一像素和第二像素采取不同的色度预测模式，由于第一像素和第二像素在色度预测过程中引入了不同的相邻像素，第一像素基于图像块左侧的第一相邻像素进行色度预测，第二像素基于图像块上方的第二相邻像素进行色度预测，使得能够对图像块中不同位置的像素有针对性的进行不同方式的色度预测，从而有效提升对图像块中像素在色度分量的预测性能，进而提升视频编解码的性能，节约所占用的带宽。
在一些实施例中，该划分模块1102用于：
在该图像块中确定一条对角线；
基于该像素位置信息，将该对角线一侧的各个像素划分至该多个第一像素；
基于该像素位置信息，将该对角线上的各个像素以及该对角线另一侧的各个像素划分至该多个第二像素。
在一些实施例中，该对角线用于连接该图像块的左上角顶点和右下角顶点。
在一些实施例中，该第一像素为该对角线下方的像素；该第二像素为该对角线上的像素或该对角线上方的像素。
在一些实施例中，基于图11的装置组成，该装置还包括：
确定模块，用于基于该图像块在色度空间的尺寸信息，确定相邻像素的候选数量，该候选数量为该尺寸信息中宽度和高度之间的和值；
筛选模块，用于在位于该图像块左侧的该候选数量个相邻像素中，筛选得到该多个第一相邻像素；
该筛选模块，还用于在位于该图像块上方的该候选数量个相邻像素中，筛选得到该多个第二相邻像素。
在一些实施例中，该多个第一相邻像素和该多个第二相邻像素均基于等间隔方式筛选得到。
在一些实施例中，该第一重建模块1103用于：
基于该多个第一相邻像素的亮度重建值和色度重建值，确定对该第一像素的第一色度预测参数，该第一色度预测参数表征该第一像素的亮度重建值和色度重建值之间的偏移；
基于该第一色度预测参数，对该多个第一像素各自在该亮度重建块中的亮度重建值进行线性映射，得到该多个第一像素各自的色度重建值。
在一些实施例中，该第二重建模块1104用于：
基于该多个第二相邻像素的亮度重建值和色度重建值，确定对该第二像素的第二色度预测参数，该第二色度预测参数表征该第二像素的亮度重建值和色度重建值之间的偏移；
基于该第二色度预测参数，对该多个第二像素各自在该亮度重建块中的亮度重建值进行线性映射，得到该多个第二像素各自的色度重建值。
在一些实施例中，基于图11的装置组成，该装置还包括：
下采样模块，用于对该亮度重建块进行下采样，得到下采样后的亮度重建块，该下采样后的亮度重建块与该图像块在色度空间的尺寸相同；
读取模块，用于从该下采样后的亮度重建块中，读取得到该多个第一像素或该多个第二像素各自的亮度重建值。
在一些实施例中，该第一色度预测参数和该第二色度预测参数均包括：加权系数和基于该加权系数确定得到的偏置系数，该加权系数用于对亮度重建值施加权重，该偏置系数用于对经过加权的亮度重建值施加偏置。
在一些实施例中，在该图像块采用交叉分量线性模型CCLM编码得到，且应用该CCLM的目标色度预测模式的情况下，开启执行该获取模块1101所执行的操作。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的图像块的色度预测装置在预测色度重建块时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像块的色度预测装置与图像块的色度预测方法实施例属于同一构思，其具体实现过程详见图像块的色度预测方法实施例，这里不再赘述。
图12是本申请实施例提供的一种电子设备的结构示意图，如图12所示，该电子设备被提供为编码端设备或解码端设备。可选地，该终端1200的设备类型包括：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1200包括有：处理器1201和存储器1202。
可选地，处理器1201包括一个或多个处理核心，比如4核心处理器、8核心处理器等。可选地，处理器1201采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中，处理器1201包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
在一些实施例中，存储器1202包括一个或多个计算机可读存储介质，可选地，该计算机可读存储介质是非暂态的。可选地，存储器1202还包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1201所执行以实现本申请中各个实施例提供的图像块的色度预测方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207和电源1208中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地，射频电路1204通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。可选地，该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器1201进行处理。可选地，显示屏1205还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，可选地，显示屏1205设置成非矩形的不规则图形，也即异形屏。可选地，显示屏1205采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还包括闪光灯。可选地，闪光灯是单色温闪光灯，或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。
在一些实施例中，音频电路1207包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端1200的不同部位。可选地，麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。可选地，扬声器是传统的薄膜扬声器，或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还包括耳机插孔。
电源1208用于为终端1200中的各个组件进行供电。可选地，电源1208是交流电、直流电、一次性电池或可充电电池。当电源1208包括可充电电池时，该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、光学传感器1214以及接近传感器1215。
在一些实施例中，加速度传感器1211检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211用于检测重力加速度在三个坐标轴上的分量。可选地，处理器1201根据加速度传感器1211采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还用于游戏或者用户的运动数据的采集。
在一些实施例中，陀螺仪传感器1212检测终端1200的机体方向及转动角度，陀螺仪传感器1212与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
可选地，压力传感器1213设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，能够检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1214用于采集环境光强度。在一个实施例中，处理器1201根据光学传感器1214采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还根据光学传感器1214采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1215，也称距离传感器，通常设置在终端1200的前面板。接近传感器1215用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1215检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1215检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员能够理解，图12中示出的结构并不构成对终端1200的限定，能够包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图13是本申请实施例提供的一种电子设备的结构示意图，如图13所示，电子设备1300被提供为视频服务器，视频服务器上配置有媒体编解码器，以对外提供视频服务，如对接收到的码流进行解码，对解码得到的视频流进行重编码等。在一些实施例中，该媒体编解码器被提供为视频编码器、视频解码器或视频编解码器，该媒体编解码器能够通过硬件来实现，也能够通过程序来指令相关的硬件(如CPU、GPU等)完成。该电子设备1300因配置或性能不同而产生比较大的差异，在一个示例中，该电子设备1300包括一个或一个以上处理器1301和一个或一个以上的存储器1302，其中，该存储器1302中存储有至少一条计算机程序，该至少一条计算机程序由该一个或一个以上处理器1301加载并执行上述媒体编解码器所支持的视频编解码算法或视频编解码标准，以实现上述各个实施例提供的图像块的色度预测方法。可选地，该电子设备1300还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备1300还包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中的图像块的色度预测方法。例如，该计算机可读存储介质包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条计算机程序，该一条或多条计算机程序存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条计算机程序，该一个或多个处理器执行该一条或多条计算机程序，使得电子设备能够执行以完成上述实施例中的图像块的色度预测方法。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像块的色度预测方法，其特征在于，所述方法包括：
获取视频中图像块的亮度重建块，所述亮度重建块表征所述图像块中的像素在亮度分量上的重建值；
基于所述图像块的像素位置信息，将所述图像块中包含的多个像素划分成多个第一像素和多个第二像素；
基于所述亮度重建块和位于所述图像块左侧的多个第一相邻像素，对所述多个第一像素进行色度重建，得到所述多个第一像素各自的色度重建值；
基于所述亮度重建块和位于所述图像块上方的多个第二相邻像素，对所述多个第二像素进行色度重建，得到所述多个第二像素各自的色度重建值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像块的像素位置信息，将所述图像块中包含的多个像素划分成多个第一像素和多个第二像素包括：
在所述图像块中确定一条对角线；
基于所述像素位置信息，将所述对角线一侧的各个像素划分至所述多个第一像素；
基于所述像素位置信息，将所述对角线上的各个像素以及所述对角线另一侧的各个像素划分至所述多个第二像素。
3.根据权利要求2所述的方法，其特征在于，所述对角线用于连接所述图像块的左上角顶点和右下角顶点。
4.根据权利要求3所述的方法，其特征在于，所述第一像素为所述对角线下方的像素；所述第二像素为所述对角线上的像素或所述对角线上方的像素。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述图像块在色度空间的尺寸信息，确定相邻像素的候选数量，所述候选数量为所述尺寸信息中宽度和高度之间的和值；
在位于所述图像块左侧的所述候选数量个相邻像素中，筛选得到所述多个第一相邻像素；
在位于所述图像块上方的所述候选数量个相邻像素中，筛选得到所述多个第二相邻像素。
6.根据权利要求5所述的方法，其特征在于，所述多个第一相邻像素和所述多个第二相邻像素均基于等间隔方式筛选得到。
7.根据权利要求1所述的方法，其特征在于，所述基于所述亮度重建块和位于所述图像块左侧的多个第一相邻像素，对所述多个第一像素进行色度重建，得到所述多个第一像素各自的色度重建值包括：
基于所述多个第一相邻像素的亮度重建值和色度重建值，确定对所述第一像素的第一色度预测参数，所述第一色度预测参数表征所述第一像素的亮度重建值和色度重建值之间的偏移；
基于所述第一色度预测参数，对所述多个第一像素各自在所述亮度重建块中的亮度重建值进行线性映射，得到所述多个第一像素各自的色度重建值。
8.根据权利要求1所述的方法，其特征在于，所述基于所述亮度重建块和位于所述图像块上方的多个第二相邻像素，对所述多个第二像素进行色度重建，得到所述多个第二像素各自的色度重建值包括：
基于所述多个第二相邻像素的亮度重建值和色度重建值，确定对所述第二像素的第二色度预测参数，所述第二色度预测参数表征所述第二像素的亮度重建值和色度重建值之间的偏移；
基于所述第二色度预测参数，对所述多个第二像素各自在所述亮度重建块中的亮度重建值进行线性映射，得到所述多个第二像素各自的色度重建值。
9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
对所述亮度重建块进行下采样，得到下采样后的亮度重建块，所述下采样后的亮度重建块与所述图像块在色度空间的尺寸相同；
从所述下采样后的亮度重建块中，读取得到所述多个第一像素或所述多个第二像素各自的亮度重建值。
10.根据权利要求7或8所述的方法，其特征在于，所述第一色度预测参数和所述第二色度预测参数均包括：加权系数和基于所述加权系数确定得到的偏置系数，所述加权系数用于对亮度重建值施加权重，所述偏置系数用于对经过加权的亮度重建值施加偏置。
11.根据权利要求1所述的方法，其特征在于，在所述图像块采用交叉分量线性模型CCLM编码得到，且应用所述CCLM的目标色度预测模式的情况下，执行所述图像块的色度预测方法。
12.一种图像块的色度预测装置，其特征在于，所述装置包括：
获取模块，用于获取视频中图像块的亮度重建块，所述亮度重建块表征所述图像块中的像素在亮度分量上的重建值；
划分模块，用于基于所述图像块的像素位置信息，将所述图像块中包含的多个像素划分成多个第一像素和多个第二像素；
第一重建模块，用于基于所述亮度重建块和位于所述图像块左侧的多个第一相邻像素，对所述多个第一像素进行色度重建，得到所述多个第一像素各自的色度重建值；
第二重建模块，用于基于所述亮度重建块和位于所述图像块上方的多个第二相邻像素，对所述多个第二像素进行色度重建，得到所述多个第二像素各自的色度重建值。
13.一种电子设备，其特征在于，所述电子设备包括视频编码器，所述电子设备在对待编码的视频中的图像块进行编码决策后，若所述图像块应用CCLM的目标色度预测模式，由所述视频编码器加载并执行以实现如权利要求1至权利要求11任一项所述的图像块的色度预测方法。
14.一种电子设备，其特征在于，所述电子设备包括视频解码器，所述电子设备对待解码的视频中的图像块读取编码数据，在所述编码数据指示所述图像块应用CCLM的目标色度预测模式的情况下，由所述视频解码器加载并执行以实现如权利要求1至权利要求11任一项所述的图像块的色度预测方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求11任一项所述的图像块的色度预测方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求11任一项所述的图像块的色度预测方法。
CN202211147751.7A 2022-09-19 2022-09-19 图像块的色度预测方法、装置、电子设备及存储介质 Pending CN117768650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211147751.7A CN117768650A (zh) 2022-09-19 2022-09-19 图像块的色度预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211147751.7A CN117768650A (zh) 2022-09-19 2022-09-19 图像块的色度预测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117768650A true CN117768650A (zh) 2024-03-26

Family

ID=90318603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211147751.7A Pending CN117768650A (zh) 2022-09-19 2022-09-19 图像块的色度预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117768650A (zh)

Similar Documents

Publication Publication Date Title
CN111698504B (zh) 编码方法、解码方法及装置
CN108391127B (zh) 视频编码方法、装置、存储介质及设备
CN111770340B (zh) 视频编码方法、装置、设备以及存储介质
CN112532975B (zh) 视频编码方法、装置、计算机设备及存储介质
US11985358B2 (en) Artifact removal method and apparatus based on machine learning, and method and apparatus for training artifact removal model based on machine learning
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
WO2023045666A1 (zh) 参考帧的选择方法、装置、设备及介质
CN109168032B (zh) 视频数据的处理方法、终端、服务器及存储介质
CN113099233A (zh) 视频编码方法、装置、视频编码设备及存储介质
CN116074512A (zh) 视频编码方法、装置、电子设备以及存储介质
CN114302137B (zh) 用于视频的时域滤波方法、装置、存储介质及电子设备
CN117768650A (zh) 图像块的色度预测方法、装置、电子设备及存储介质
CN116563771A (zh) 图像识别方法、装置、电子设备及可读存储介质
CN115205164A (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN111770339B (zh) 视频编码方法、装置、设备及存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN113079372B (zh) 帧间预测的编码方法、装置、设备及可读存储介质
CN114268797B (zh) 用于视频的时域滤波的方法、装置、存储介质及电子设备
CN114422782B (zh) 视频编码方法、装置、存储介质及电子设备
CN114079787B (zh) 视频解码方法、视频编码方法、装置、设备和存储介质
US20230105436A1 (en) Generative adversarial network for video compression
WO2023019567A1 (zh) 图像处理方法、移动终端及存储介质
CN117676170A (zh) 块效应检测的方法、装置、设备和存储介质
CN115118979A (zh) 图像编码方法、图像解码方法、装置、设备及存储介质
CN116980627A (zh) 用于解码的视频滤波方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination