CN114788280A - 视频的编解码方法与装置 - Google Patents

Abstract

提供一种视频的编解码方法与装置，相对于现有技术，可以保留更多的原始图像信息且具有更高的压缩率。该视频的编码方法包括：获取原始视频，原始视频包括至少一帧第一图像，第一图像为拜耳Bayer RGB格式的图像:对第‑图像的像素值进行转换，生成第一图像对应的YUV图像中的至少Y分量图像:对YUV图像中的至少Y分量图像进行编码，以形成原始视频的码流。在实施例中，将原始视频的Bayer RGB格式的第一图像进行转换生成其对应的YUV图像中的至少Y分量图像，避免去马赛克等处理造成原始图像信息的丢失，且能够采用主流的编码方法进行编码，不会受到封闭生态系统的制约，实现大的压缩率，便于码流的传输和储存。

Description

视频的编解码方法与装置

技术领域

本申请涉及视频处理领域，并且更为具体地，涉及一种视频的编解码方法与装置。

背景技术

目前，在图像和视频的压缩编码处理上，主流的编码方法是：对全彩图像进行编码形成数据流，这样在视频的播放期间，可直接对数据流进行解码生可供编辑和显示的全彩图像。然而，一般图像传感器无法采集完整的全彩图像，上述全彩图像通常是经过图像处理得到的，图像处理过程中会造成很大一部分原始图像信息的丢失，不利于后期对于图像处理的可编辑性，造成用户的使用体验差。

针对上述问题，业内发展出一些直接对Bayer格式的RGB图像进行视频压缩的原始视频压缩(RAW Video Compression)方法，例如，苹果公司的ProRes RAW，BlackMagic公司的Blackmagic Raw等等。但这些原始视频压缩方法必需使用各公司专用的软硬件进行处理，限制于封闭的生态系统中，且压缩率不高，实现算法复杂。

因此，在图像和视频的压缩编码过程中，如何保留更多的原始图像信息且具有更高的压缩率，是一项亟待解决的技术问题。

发明内容

本申请提供一种视频的编解码方法与装置，相对于现有技术，可以保留更多的原始图像信息且具有更高的压缩率。

第一方面，提供一种视频的编码方法，包括：获取原始视频，该原始视频包括至少一帧第一图像，该第一图像为拜耳Bayer RGB格式的图像；对该第一图像的像素值进行转换，生成该第一图像对应的YUV图像中的至少Y分量图像；对该YUV图像中的至少Y分量图像进行编码，以形成该原始视频的码流。

第二方面，提供一种视频的解码方法，包括：获取原始视频的码流；对该原始视频的码流进行解码得到至少一帧YUV图像，该YUV图像包括至少Y分量图像；对该YUV图像的像素值进行转换，以生成该YUV图像对应的Bayer RGB格式的第一图像。

第三方面，提供一种视频的编码装置，包括处理器，该处理器用于执行上述第一方面中的视频的编码方法。

第四方面，提供一种视频的解码装置，包括处理器，该处理器用于执行上述第二方面中的视频的解码方法。

第五方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行第一方面或者第二方面提供的方法。

在本申请实施例中，直接将原始视频的Bayer RGB格式的第一图像进行转换，生成其对应的YUV图像中的至少Y分量图像，不对第一图像进行去马赛克等图像处理，避免处理过程中造成原始图像信息的丢失，且基于该转换后的YUV图像中的至少Y分量图像，能够采用主流的编码方法对该至少Y分量进行编码，在保证其图像质量的前提下，不会受到封闭生态系统的制约，可以实现大的压缩率，降低码流需要的带宽，便于码流的传输和储存。进一步地，由于码流中保留有更多的原始图像信息，从而可以使得用户获取的图像和视频具有更好的动态范围，颜色空间和容忍度，便于用户进行更多元化的图像处理，从而提升用户的使用体验。

附图说明

图1是应用本申请实施例的技术方案的架构图。

图2是根据本申请实施例的一种视频的编码方法的示意性流程框图。

图3是一种Bayer RGB格式的图像示意图。

图4是根据本申请实施例的一种将Bayer RGB格式的图像经过去马赛克处理后转换为RGB格式的图像的示意图。

图5是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图6是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图7是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图8是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图9是根据本申请实施例的将一个图像单元的2×2个像素值进行转换得到对应的第一YUV集合的示意图。

图10是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图11是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图12是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图13是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图14是根据本申请实施例的将一个图像单元的2×2个像素值进行转换得到对应的第一YUV集合和第二YUV集合的示意图。

图15是根据本申请实施例的由第一图像中多个像素值形成对应的Y分量图像的一种示意图。

图16是根据本申请实施例的另一视频的编码方法的示意性流程框图。

图17是根据本申请实施例的一种视频的解码方法的示意性流程框图。

图18是根据本申请实施例的另一视频的解码方法的示意性流程框图。

图19是根据本申请实施例的另一视频的解码方法的示意性流程框图。

图20是根据本申请实施例的根据YUV图像的两个像素值生成第一图像中一个图像单元的2×2个像素值的示意图。

图21是根据本申请实施例的一种由YUV图像中多个像素值形成对应的Bayer RGB格式的第一图像的一种示意图。

图22是根据本申请实施例的另一视频的解码方法的示意性流程框图。

图23是根据本申请实施例的一种视频的编码装置的示意性框图。

图24是根据本申请实施例的一种视频的解码装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

图1是应用本申请实施例的技术方案的架构图。

如图1所示，系统100可以接收待处理数据101，对待处理数据101进行处理，产生处理后的数据102。例如，系统100可以接收待压缩数据，对待压缩数据进行压缩以产生压缩后的数据，或者，系统100可以接收待解压数据，对待解压数据进行解压以产生解压后的数据。可选地，在一些实施方式中，可以通过编码的方式实现对待压缩数据进行压缩；对应的，可以通过解码的方式实现对待解压数据进行解压。

在一些实施例中，系统100中的部件可以由一个或多个处理器实现，该处理器可以是计算设备中的处理器，也可以是移动设备中的处理器。该处理器可以为任意种类的处理器，本申请实施例对此不做限定。在一些可能的设计中，该处理器可以包括图像信号处理器(Image Signal Processor，ISP)、编码器或解码器等。系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据，例如，实现本申请实施例的技术方案的计算机可执行指令，待处理数据101、处理后的数据102等。该存储器可以为任意种类的存储器，本申请实施例对此也不做限定。

待处理数据101可以包括文本，图像，图形对象，动画序列，音频，视频，控制信息或者任何需要处理的其他数据。经过系统100处理后，处理后的数据102便于进行传输或者存储。

若系统100用于对待处理数据101执行编码或者解码，则任何合适的编码或解码技术都可以用于编码或解码待处理数据101，该编码或解码技术的类型依赖于待处理数据和具体的编码或解码需求。

在一些实施例中，编码器或解码器可以实现一种或多种不同的编解码器。每种编解码器可以包括实现不同编码或解码算法的代码，指令或计算机程序。基于各种因素，包括待处理数据101的类型和/或来源，待处理数据的接收实体，可用的计算资源，网络环境，商业环境，规则和标准等，可以选择一种合适的编码或解码算法编码或解码给定的待处理数据101。

例如，编码器或解码器可以被配置为编码或解码一系列视频帧，编码或解码每帧中的数据可以采用一系列步骤。

下文中，本申请以待处理数据101为视频图像为例，说明本申请提供的一种视频的编解码方法与装置，可以用于对视频中的多帧图像进行编码以实现视频压缩，且还可以用于实现视频中多帧图像进行解码以实现视频解压。

图2示出了本申请实施例的一种视频的编码方法200的示意性流程框图。

如图2所示，该视频的编码方法200包括：

S210：获取原始视频，该原始视频包括至少一帧Bayer RGB格式的图像；

S220：将该至少一帧Bayer RGB格式的图像转换为至少一帧RGB图像，形成RGB视频；

S230：对该RGB视频进行编码。

具体地，在步骤S210中，图像传感器(Image Sensor)采集至少一帧图像以形成原始视频。为了降低成本，目前大多数图像传感器中，每个像素用于接收单色光，例如，RGB三原色中某一颜色的光信号，且不同像素接收不同颜色的光信号以形成彩色图像。若图像传感器中颜色滤波矩阵(Color Filter Array，CFA)采用拜耳(Bayer)格式排列，且CFA包括RGB三种颜色，则该图像传感器采集的彩色图像也称为Bayer RGB格式的彩色图像。

作为示例，图3示出了一种Bayer RGB格式的图像示意图。如图3所示，Bayer RGB格式的图像包括多个图像单元(如图3中虚线框所示)，每个图像单元包括2×2个像素值，其中每个像素值为一个单色像素值，即2×2个像素包括1个红色(Red，R)像素值，2个绿色(Green，G)像素值，1个蓝色(Blue，B)像素值，其中，2个G像素值共顶角相邻设置。

在图像处理领域中，图像传感器的每个像素直接形成的RGB原始像素值的数据，也称为RAW格式数据，当然，广义上来讲，RAW格式数据除了包括图像传感器形成的RGB原始数据以外，还包括描述图像传感器的相关数据、文件头数据等，其中，图像传感器的相关数据包括但不限于是图像传感器的尺寸，其颜色滤波矩阵(Color Filter Array，CFA)的属性和它的颜色配置文件等等。在本申请实施例中，RAW格式数据的相关特征可参见相关技术中的方案，此处不做过多赘述。

可以理解的是，RAW格式数据中包含了物体原始的颜色信息，有更宽的动态范围比，保留了更真实、更生动的原始图像信息，这些信息能够极大的增加图像后期处理的可编辑性，使得用户获得更好的图像呈现。

具体地，在步骤S220中，一般是将上述图像传感器采集的Bayer RGB格式的图像经过去马赛克(Demosaic，也写为De-mosaicing、Demosaicking或Debayering)等图像处理后，将Bayer RGB格式的图像重建成一般可浏览的全彩图像，也称为RBG格式的图像。在RGB格式的图像中，每个像素值包括R、G、B三个通道的颜色分量。

作为示例，图4示出了一种将Bayer RGB格式的图像经过去马赛克处理后转换为RGB格式的图像的示意图。通过该转换方式，可以便于实现RGB格式的图像直接在显示屏中进行显示。一般来讲，去马赛克处理基于插值算法实现，即通过领域的像素值插值得到当前像素值。因而，在该转换过程中，会在图像中引入插值得到的“伪色彩”，例如图4中所示的经过插值得到的R`，G`和B`像素值，且为了平衡图像处理过程中的图像质量、图像大小以及处理速度等多方面因素，经过去马赛克处理后的RGB图像会丢失原始Bayer RGB图像中的颜色信息、细节信息、动态范围等多种原始图像信息，使得图像后期处理的可编辑性差，不利于提高用户的使用体验。

具体地，在步骤S230中，可采用相关技术中的编码方式对该包括至少一帧RGB图像的RGB视频进行编码，以实现对该RGB视频的压缩，便于其传输、储存和显示。

图5示出了本申请实施例的另一种视频的编码方法300的示意性流程框图。

如图5所示，该视频的编码方法300包括：

S310：获取原始视频，该原始视频包括至少一帧Bayer RGB格式的图像；

S320：对该原始视频进行编码。

具体地，如上所述，至少一帧Bayer RGB格式的图像属于RAW格式数据，对原始的RAW格式的图像进行编码，该编码方法通常是由专用的编码器进行执行，例如，苹果公司的ProRes RAW编码器等等，其对于原始视频的压缩率较低，一般为4:1或者是8:1的压缩率，且实现算法复杂，使用的生态系统封闭。

基于上述两种视频的编码方法存在的问题，本申请提出一种新的视频的编解码方法，能够在图像和视频的压缩编码过程中，保留更多的原始图像信息且具有更高的压缩率，从而便于数据传输和储存，进一步地，可以使得用户获取的图像和视频具有更好的动态范围，颜色空间和容忍度，便于用户进行更多元化的图像处理，从而提升用户的使用体验。

图6示出了本申请实施例的一种视频的编码方法400的示意性流程框图。可选地，本申请实施例中，执行方法400的执行主体可为上述系统100，作为示例，该执行主体具体可为上述系统100中的处理器。

如图6所示，该视频的编码方法400包括：

S410：获取原始视频，该原始视频包括至少一帧第一图像，该第一图像为拜耳Bayer RGB格式的图像；

S420：将第一图像的像素值进行转换，生成第一图像对应的YUV图像中的至少Y分量图像；

S430：对该YUV图像中的至少Y分量图像进行编码，以形成原始视频的码流。

如上述步骤S210所述，在步骤S410中，获取Bayer格式的图像传感器采集的原始视频，该原始视频包括至少一帧Bayer RBG格式的原始图像，可选地，在一些实施方式中，该原始图像即为本申请实施例中的至少一帧第一图像。在另一些实施方式中，原始图像经过预处理后形成本申请实施例中的第一图像，其中，该预处理包括但不限于以下几种矫正处理：线性矫正(Sensor Linear Correction，SLIN)，黑电平矫正(Black Level Correction，BLC)和坏点矫正(Bad Pixel Correction，BPC)。上述预处理过程一般是由RAW ISP处理执行的。

可选地，该图像传感器可以应用在智能手机、相机、摄像头、平板电脑以及其他具有成像功能的移动终端或者其他终端设备，本申请实施例对此不做具体限定。可选地，本申请实施例中，图像传感器可设置于上述系统100之中，或者图像传感器也可设置于上述系统100之外。

在步骤S420中，本申请实施例不进行去马赛克等图像处理过程，换言之，本申请实施例中的第一图像为未经去马赛克处理的图像，本申请实施例直接对该Bayer RGB格式的第一图像的原始像素值，即R像素值、B像素值和G像素值进行转换，生成第一图像对应的YUV图像中的至少Y分量图像。在本步骤中，利用第一图像的原始像素值，将第一图像由RGB颜色空间转换至YUV颜色空间，以形成第一图像对应的YUV图像中的至少Y分量图像。在YUV颜色空间或者说在YUV图像中，Y表示表示明亮度(Luminance或Luma)，也就是灰阶值，U和V表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

在本申请实施例中，由于人类眼睛对于图像亮和暗的分辨要比对颜色的分辨精细一些。因此，将第一图像由RGB颜色空间转换至YUV颜色空间，在对第一图像对应的YUV图像进行处理时，保证Y分量的前提下，可以舍弃部分或者全部UV分量，用于降低YUV图像在传输过程中对带宽的需求。

基于上述第一图像对应的YUV图像中的至少Y分量图像，在步骤S430中，对该YUV图像中的至少Y分量图像进行编码，以形成原始视频的码流。

可选地，可采用目前主流的大多数视频编码方法对该YUV图像中的至少Y分量图像进行编码，在保留原始的第一图像中的大部分信息的前提下，便于该至少Y分量图像编码的实现，以形成原始视频的码流。

在一些实施方式中，可以仅对YUV图像中的Y分量图像进行编码，在此情况下，原始视频的码流较小，占用带宽小，便于码流的传输和存储。

在另一些实施方式中，还可以对YUV图像中的Y分量图像，以及U分量图像和/或V分量图像进行编码，利用标准的视频编码方法对该Y分量图像，以及U分量图像和/或V分量图像进行编码，既能保留相对完整的Y分量图像的信息，又能对U分量图像和/或V分量图像实现高的压缩率。因此，通过该实施方式的技术方案，即能实现对原始图像高压缩率的压缩，便于其码流的传输和存储，又不会对原始图像造成太多质量的影响。

因此，综上所述，在本申请实施例中，直接将原始视频的Bayer RGB格式的第一图像进行转换，生成其对应的YUV图像中的至少Y分量图像，不对第一图像进行去马赛克等图像处理，避免处理过程中造成原始图像信息的丢失，且基于该转换后的YUV图像中的至少Y分量图像，能够采用主流的编码方法对该至少Y分量进行编码，在保证其图像质量的前提下，可以实现大的压缩率，降低码流需要的带宽，便于码流的传输和储存。

可以理解的是，在本申请实施例中，YUV颜色空间包括多种表示形式，例如，Y’UV颜色空间、YCbCr颜色空间、YCoCg颜色空间等等，本申请实施例中的YUV颜色空间为可与RGB颜色空间相互转换的颜色空间，例如，YCbCr颜色空间、YCoCg颜色空间等等。本申请实施例对此不做具体限定。

作为示例，目前主流的YUV颜色空间中，大多用YCbCr颜色空间或者YCoCg颜色空间用来描述数字的图像信号，该两种颜色空间适合视频与图像压缩以及传输，其中，Y表示明亮度，Cb表示蓝色色度，Cr表示红色色度。YCoCg颜色空间与YCbCr颜色空间类似，Y表示明亮度，Co表示绿色色度，Cg表示橙色色度。

相比YCbCr颜色空间，YCgCo颜色空间优势在于：1、可以无损的与RGB相互转换，算法简单而且复杂度低。2、可以有效的避免与RGB相互转换的舍入误差(YCbCr与RGB相互转换使用浮点运算)，降低了颜色失真。3、可以更好的去除颜色之间的相关性，进而提高压缩性能。因此，下文中以YCoCg作为示例说明具体的技术方案，YUV颜色空间为其它表示形式时，可以参见下文的相关描述，此处不做过多赘述。

可选地，在上述步骤S430中，可采用标准视频编码方法对YUV图像中的至少Y分量图像进行编码，以形成原始视频的码流；其中，标准视频编码方法包括以下编码方法中的任意一种：高效率视频编码(High Efficiency Video Coding，HEVC)标准(也称H.265标准)的编码方法、多功能视频编码(Versatile Video Coding，VVC)标准(也称H.266标准)的编码方法，高级视频编码(Advanced Video Coding，AVC)标准(也称H.264标准)的编码方法、信源编码标准(Audio Video coding Standard，AVS)的编码方法。或者，在该步骤中，还可以采用除上述标准视频编码方法外，其他任意利用YUV图像格式的进行编码的视频编码方法，例如，国际电信联盟电信标准化部门指定的H.261至H.263编码标准的视频编码方法等等，本申请实施例对此不做具体限定。

通过本申请实施例的技术方案，上述HEVC、VVC、AVC、AVS等标准视频编码方法已经在业内得到了广泛应用，其对于亮度分量图像以及色度分量图像具有相对成熟且良好的编码性能，尤其对于其中的色度分量图像具有较高的压缩率，因此，采用上述HEVC、VVC、AVC、AVS等标准视频编码方法对本申请实施例中的至少Y分量图像进行编码，在保证其图像质量的前提下，不会受到封闭生态系统的制约，可以采用主流的标准视频编码方法，具有宽泛的应用场景，与此同时，还可以实现大的压缩率，降低码流需要的带宽，便于码流的传输和储存。

图7示出了本申请实施例提出的另一种视频的编码方法400的示意性流程框图。

如图7所示，上述步骤S420可包括如下步骤。

S421：将第一图像中的多个像素值重排为多个第一像素值集合。

S422：计算多个第一像素值集合对应的Y值，以生成第一图像对应的YUV图像中的Y分量图像。

上述步骤S430可包括如下步骤。

S431：对该YUV图像中的Y分量图像进行编码，以形成原始视频的码流。

具体地，在步骤S421中，将多个像素值重排后形成的多个第一像素值集合中，每个第一像素值集合包括一个R像素值、一个B像素值以及一个G像素值。

可选地，该第一像素值集合中的像素值至少部分像素值可以为第一图像中的原始像素值，例如，该第一像素值集合中的像素值均为第一图像中的原始像素值。

可选地，该第一像素值集合中R像素值、B像素值以及G像素值可为第一图像中相邻的像素值。或者，在另一些实施方式中，一个第一像素值集合中R像素值、B像素值以及G像素值也可以为第一图像中非相邻的像素值。

具体地，在步骤S422中，每个第一像素值集合均包括一个R像素值、一个B像素值以及一个G像素值，根据该第一像素值集合中的R、G、B像素值计算与其对应的第一YUV集合，根据该计算得到的第一YUV集合中的Y值，生成第一图像对应的YUV图像中的Y分量图像。

可选地，在一些可能的实施方式中，可通过变换系数矩阵对第一像素值集合进行转换，计算得到对应的第一YUV集合。

作为示例，若通过变换系数矩阵对一个第一像素值集合进行转换，计算得到对应的Y、Co、Cg值，可通过如下公式表示转换过程：

其中，

即为变换系数矩阵，该变换系数矩阵可以为预设的变换系数矩阵，作为示例，本申请实施例中，一种典型的变换系数矩阵如下：

可选地，除了通过上述典型的变换系数矩阵对一个第一像素值集合进行计算得到对应的Y、Co、Cg值以外，还可以通过其它变换系数矩阵对第一像素值集合进行计算得到对应的Y、Co、Cg值，本申请实施例对该变换系数矩阵中的系数值不做具体限定。

可选地，除了可以通过上述变换系数矩阵，计算得到第一像素值集合对应的Y、Co、Cg值以外，还可以通过其它类型的变换系数矩阵，计算得到第一像素值集合对应的Y、Cb、Cr值，或者其它类型的颜色空间对应的像素值。

在一些实施方式中，为了计算得到较为准确的与第一图像的RGB颜色信息对应的亮度和色度信息，上述变换系数矩阵可根据第一图像中的图像信息确定得到，不同的第一图像可用于获取得到不同的图像信息。该图像信息包括但不限于是第一图像中的场景信息。

作为示例，不同的第一图像若包含不同的场景信息，其携带不同的亮度信息以及细节信息会有较大的差异，通过对该亮度信息以及细节信息的分析，确定不同的变换系数矩阵，从而能够使得计算得到的Y、U、V值能够更为准确的体现第一图像中原始的RGB颜色信息。可选地，作为一种可能的实施方式，可以通过大量的不同场景下的第一图像的数据确定得到不同场景对应的变换系数矩阵。

对于上述步骤S421，将第一图像中的多个像素值重排为多个第一像素值集合，在一些实施例中，该多个像素值为第一图像中相邻的多个像素值。

具体地，Bayer RGB格式的第一图像可看成是由多个图像单元形成的图像，其中每个图像单元包括2×2个像素值，作为示例，以第一图像中一个图像单元为例，说明其中2×2个像素值重排为多个第一像素值集合的过程。

图8示出了本申请实施例提出的另一种视频的编码方法400的示意性流程框图。

如图8所示，上述步骤S421可包括如下步骤。

S4211：将第一图像中一个图像单元的2×2个像素值重排为两个第一像素值集合。

上述步骤S422可包括如下步骤。

S4221：计算该两个第一像素值集合对应的两个Y值。

S4222：将该两个Y值作为图像单元对应的Y分量图像单元的像素值，以生成Y分量图像。

具体地，在步骤S4211中，重排后的两个第一像素值集合中每个像素值均为第一图像中原始的像素值。

图9示出了将一个图像单元的2×2个像素值重排为两个第一像素值集合的示意图，以及对两个第一像素值集合进行转换得到对应的第一YUV集合的示意图。

如图9中的(a)图所示，2×2个像素值分别为R1、B1、G1和G2；如图9中的(b)图所示，重排后，两个第一像素值集合中，第一个第一像素值集合的像素值分别为R1、G1和B1，第二个第一像素值集合的像素值分别为R1、G2和B1；如图9中的(c)图所示，第一个第一像素值集合对应转换得到的第一个第一YUV集合为Y1、U1和V1，第二个第一像素值集合对应转换得到的第二个第一YUV集合为Y2、U2和V2，将其中的Y1和Y2作为一个图像单元对应的YUV图像中Y分量图像单元的像素值。

在本申请实施例中，重排后的两个第一像素值集合中的像素值全部为原始像素值，在该方式下，根据重排后的两个第一像素值集合转换得到的第一YUV集合直接对应于第一图像中原始的2×2个像素值，而不是对应于去马赛克后的插值像素，因而未损失任何原始图像信息。

进一步地，在该实施方式下，将转换得到的两个第一YUV集合中的Y1和Y2作为第一图像中一个图像单元对应的Y分量图像单元的像素值，该Y1和Y2包含了原始的2×2个像素值的全部亮度信息，在步骤S431中，对该Y分量图像进行编码，从而能够将第一图像中完整的亮度信息进行存储和传输，为解码端用户的相关操作提供了更大的灵活性。

上文图8和图9以第一图像的一个图像单元中2×2个像素值为例，说明了一个图像单元形成对应的Y分量图像单元的像素值的过程，在编码过程中，可以仅对一个或者多个Y分量图像单元形成的Y分量图像进行编码。

进一步地，一个图像单元中2×2个像素值还可以进一步形成对应的U分量图像单元和/或V分量图像单元的像素值，在编码过程中，还可以进一步对U分量图像和/或V分量图像进行编码。

图10示出了本申请实施例提出的另一种视频的编码方法400的示意性流程框图。

如图10所示，上述步骤S420可包括如下步骤。

S4224：计算该两个第一像素值集合对应的两个Y值,两个U值和/或两个V值。

S4225：将该两个Y值作为图像单元对应的Y分量图像单元的像素值，以生成Y分量图像；将两个U值作为图像单元对应的U分量图像单元的像素值，以生成U分量图像，和/或，将两个V值作为图像单元对应的V分量图像单元的像素值，以生成V分量图像。

S432：对该YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成原始视频的码流。

可选地，如图9所示，对于第一图像中一个图像单元的2×2个像素值，将两个第一像素值集合转换得到的两个第一YUV集合中的U1和U2作为图像单元对应的U分量图像单元的像素值，还可以将两个第一像素值集合转换得到的两个第一YUV集合中的V1和V2作为图像单元对应的U分量图像单元的像素值。

换言之，在本申请实施例中，对于第一图像中一个图像单元的2×2个像素值，转换后得到两个第一YUV集合，并对该两个第一YUV集合进行全采样，类似于色度采样方法中的YUV 4:4:4采样方式，形成一个图像单元对应的Y分量图像单元、U分量图像单元以及V分量图像单元。

通过本申请实施例的技术方案，Y1和Y2包含了图像单元原始的2×2个像素值的全部亮度信息，U1、U2、V1、V2包含了图像单元原始的2×2个像素值的全部色度信息，在步骤S432中，除了对Y分量图像进行编码，将第一图像中完整的亮度信息进行存储和传输以外，还对U分量图像和V分量图像进行编码，将第一图像中完整的色度信息进行存储和传输，进一步为解码端用户的相关操作提供了更大的灵活性，从而提升了用户体验。

可以理解的是，在本申请实施例中，步骤S4225中，可以同时将第一YUV集合中的U值作为U分量图像的像素值，且将第一YUV集合中的V值作为V分量图像的像素值，或者也可以仅执行其中的任意一个步骤，对应的，在步骤S432中，可以对U分量图像以及V分量图像进行编码，或者也可以仅对U分量图像或者V分量图像进行编码，采用该方式的实施方案，在保留了完整的Y分量图像的基础上，U分量图像和V分量图像可以仅部分进行存储和传输，减小码流占用的带宽，提高其传输速度。

可选地，除了如上文图10所述的方法形成U分量图像和/或V分量图像的像素值以外，图11示出了本申请实施例提出的另一种视频的编码方法400的示意性流程框图。

如图11所示，上述步骤S420还可包括如下步骤。

S4224：将该两个Y值作为图像单元对应的Y分量图像单元的像素值，以生成Y分量图像；对两个U值进行采样，获取图像单元对应的U分量图像单元的像素值，以生成U分量图像，和/或，对两个V值进行采样，获取图像单元对应的U分量图像单元的像素值，以生成V分量图像。

作为示例，如图9所示，对两个第一YUV集合中的U1和U2进行采样，将其中的任意一个作为U分量图像单元的像素值，和/或，对两个第一YUV集合中的V1和V2进行采样，将其中的任意一个作为V分量图像单元的像素值。

换言之，在本申请实施例中，对于第一图像中一个图像单元的2×2个像素值，转换后得到两个第一YUV集合，并对该两个第一YUV集合中的Y值进行全采样，而对U值和/或V值进行部分采样，类似于色度采样方法中的YUV 4:2:2采样方式，或者YUV 4:2:0采样方式，形成一个图像单元对应的Y分量图像单元、U分量图像单元以及V分量图像单元。

在本申请实施例中，利用采样的方式仅将重排后的两个第一像素值集合对应的U、V值中的部分值作为U分量图像单元和/或V分量图像单元中的像素值。在保证图像的可视质量的前提下，可以进一步提高第一图像对应的YUV图像中U分量图像和/或V分量图像的压缩率。

类似地，除了可以采用上文图11中的采样的方式确定U分量图像单元和/或Y分量图像单元的像素值以外，还可以利用其它的方式确定U分量图像单元和/或Y分量图像单元的像素值，以提高第一图像对应的YUV图像中U分量图像和/或V分量图像的压缩率。作为示例，可以根据U1和U2，将其均值或者其它处理方式得到的U值，作为U分量图像单元的像素值，本申请实施例对此不做具体处理方式的限定。

上文结合图10至图11说明了第一图像中一个图像单元的2×2个像素值重排为两个第一像素值集合，形成第一图像对应的YUV图像中的U分量图像和/或V分量图像的过程。

除了上述重排方式外，图12示出了本申请实施例提出的另一种视频的编码方法400的示意性流程框图。

如图12所示，本申请实施例提供的编码方法400可包括以下步骤。

S410：获取原始视频，该原始视频包括至少一帧第一图像，该第一图像为拜耳Bayer RGB格式的图像。

S423：将第一图像中的多个像素值重排为多个第一像素值集合，且根据该多个像素值确定至少一个第二像素值集合。

S424：计算多个第一像素值集合对应的Y值，以生成第一图像对应的YUV图像中的Y分量图像，计算至少一个第二像素值集合对应的U值，以生成第一图像对应的YUV图像中的U分量图像，和/或，计算至少一个第二像素值集合对应的V值，以生成第一图像对应的YUV图像中的V分量图像。

S432：对该YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成原始视频的码流。

具体地，在本申请实施例中，上述步骤S410和步骤S432可以参见上文相关描述，此处不再赘述。

具体地，在步骤S423和步骤S424中，将第一图像中的多个像素值重排为多个第一像素值集合，并计算多个第一像素值集合对应的Y值，以生成第一图像对应的YUV图像中的Y分量图像的相关技术方案也可参见上文相关描述。

与上文申请实施例不同的是，在步骤S423中，除了形成多个第一像素值集合以外，还形成有至少一个第二像素值集合，该第二像素值集合同样包括一个R像素值，一个B像素值和一个G像素值，且第二像素值集合中至少一个像素值为根据第一图像中多个像素值确定的重构像素值。

作为一种可选的实施方式，第二像素值集合中，R像素值和B像素值为多个像素值中的原始像素值，G像素值为多个像素值确定的重构像素值。或者，在其它可选的实施方式中，R像素值，G像素值和B像素值均为重构像素值。

进一步地，在步骤S424中，再通过第二像素值集合确定计算与其对应的U值和/或V值，以生成第一图像对应的YUV图像中的U分量图像和/或V分量图像，进而对U分量图像和/或V分量图像进行编码。

作为一种示例，以第一图像中一个图像单元为例，说明其中2×2个像素值重排为多个第一像素值集合以及至少一个第二像素集合的过程。

图13示出了本申请实施例提供的另一编码方法400的示意性流程框图。

如图13所示，上述步骤S423可包括以下步骤。

S4231：将第一图像中一个图像单元的2×2个像素值重排为两个第一像素值集合，且根据该2×2个像素值确定一个第二像素值集合。

上述步骤S424可包括如下步骤。

S4241：计算该两个第一像素值集合对应的两个Y值，并计算一个第二像素值集合对应的一个U值和/或一个V值。

S4242：将该两个Y值作为图像单元对应的Y分量图像单元的像素值，以生成Y分量图像；将该一个U值作为图像单元对应的U分量图像单元的像素值，以生成U分量图像，和/或，将该一个V值作为图像单元对应的V分量图像单元的像素值，以生成V分量图像。

图14示出了将该一个图像单元的2×2个像素值重排为两个第一像素值集合和一个第二像素值集合的示意图，以及对两个第一像素值集合和一个第二像素值集合进行转换得到对应的第一YUV集合和第二YUV集合的示意图。

如图14中的(a)图所示，一个图像单元的2×2个像素值分别为R1、B1、G1和G2；如图9中的(b)图所示，重排后，两个第一像素值集合中，第一个第一像素值集合的像素值分别为R1、G1和B1，第二个第一像素值集合的像素值分别为R1、G2和B1，一个第二像素值集合的像素值分别为R3、G3和B3。

可选地，在该第二像素值集合中，对应的，R3为根据R1确定的像素值，G3为根据G1和G2确定的像素值，且B3根据B1确定的像素值。在一些实施方式中，R3可以等于R1，和/或，B3可以等于B1，和/或，G3为G1和G2的均值，或者根据G1和G2确定得到的其它值。

可选地，在该第二像素值集合中，R3、G3和B3还可以为根据R1、B1、G1以及G2四个像素值确定得到的其它重构像素值，本申请实施例对其不做具体限定。

如图13中的(c)图所示，第一个第一像素值集合对应转换得到的第一个第一YUV集合为Y1、U1和V1，第二个第一像素值集合对应转换得到的第二个第一YUV集合为Y2、U2和V2，第二像素值集合对应转换得到的第二YUV集合为Y3、U3和V3。具体地，将第二像素值集合转换为第二YUV集合的过程可以参见上文中将第一像素值集合转换为第一YUV集合的构成，此处不再具体赘述。

在本申请实施例中，仍然是将两个第一像素值集合对应的第一YUV集合中的Y1和Y2作为第一图像中一个图像单元对应的YUV图像中Y分量图像单元的像素值，以保留真实原始的亮度信息。而对于色度信息，可以将第二YUV集合中的一个U值，即U3，作为第一图像中一个图像单元对应的YUV图像中U分量图像单元的像素值，和/或，将第二YUV集合中的一个V值，即V3，作为第一图像中一个图像单元对应的YUV图像中V分量图像单元的像素值。

相比于上文中，将两个第一YUV集合中的两个U值(U1和U2)作为U分量图像的像素值，和/或，将两个第一YUV集合中的两个V值(V1和V2)作为V分量图像的像素值，类似于色度采样方法中的YUV 4:2:2采样方式，本申请实施例的技术方案能够进一步提高YUV图像中U分量图像和V分量图像的压缩比。且相比于上文中，利用采样方式将两个第一YUV集合中的一个U值(U1或U2)作为U分量图像的像素值，和/或，将两个第一YUV集合中的一个V值(V1或V2)作为V分量图像的像素值，本申请实施例的技术方案基于原始的R1、B1、G1和G2像素确定重构的R3、G3和B3以及对应的Y3、U3和V3，该U3和V3相比于U1或U2，以及V1或V2，保留了更多的原始图像中的色度信息，能够提高图像质量。

可以理解的是，上文图8至图14以第一图像的一个图像单元中2×2个像素值为例，说明了本申请实施例提供的对第一图像进行编码形成原始视频的码流的过程。对于第一图像中的多个像素值的情况下，其可理解为包括该多个像素值包括多个图像单元，具体的转换过程以及生成YUV图像中Y分量图像，U分量图像和/或V分量图像的过程可以参见上文相关描述。

作为示例，图15示出了一种由第一图像中多个像素值形成对应的Y分量图像的一种示意图。

如图15所示，第一图像中，R像素值的数量为G像素值数量的一半，且B像素值的数量也为G像素值的一半，对该第一图像中所有的R像素值、B像素值以及G像素值提取其中的低频信息，例如亮度信息，生成Y分量图像。

可选地，如图15所示，该Y分量图像中的像素值的数量与第一图像中G像素值的数量相等，该Y分量图像中的每个Y像素可以由第一图像中任意一组R像素、G像素和B像素确定得到，例如，该一组R像素、G像素和B像素可以在第一图像中相邻设置，或者，该一组R像素、G像素和B像素可以在第一图像中不相邻设置，本申请实施例对此不做具体限定。

在该示例下，其中确定Y分量像素的第一图像中的一组R像素、G像素和B像素在上文实施例中也称为第一像素值集合。具体关于通过第一像素值集合生成第一图像对应的Y分量图像的过程可以参见上文实施例。

可选地，该Y分量图像中的像素值也可以与第一图像中的G像素的数量不相等，即其可以为其它任意像素数量，旨在满足其中的每个Y分量像素值能够根据第一图像中原始像素值确定得到即可。

进一步地，还可对该第一图像中至少部分R像素值、B像素值以及G像素值提取其中的高频信息，例如色度信息，生成U分量图像和/或V分量图像。

具体地，本申请实施例对该从第一图像中提取U分量信息和/或V分量信息的具体方式不做限定，旨在能够包括第一图像至少部分像素的色度信息即可。

例如，在一些实施方式中，生成U分量图像和/或V分量图像的方式与上述生成Y分量图像的方式相同。对第一图像中所有的R像素值、B像素值以及G像素值提取其中的色度信息，生成U分量图像和/或V分量图像。

可选地，该U分量图像和/或V分量图像中的像素值的数量与Y分量图像中的像素值的数量相等，该U分量图像中的每个U分量像素可以由第一图像中任意一组R像素、G像素和B像素确定得到，和/或，V分量图像中的每个V分量像素可以由第一图像中任意一组R像素、G像素和B像素确定得到。例如，该一组R像素、G像素和B像素可以在第一图像中相邻设置，或者，该一组R像素、G像素和B像素可以在第一图像中不相邻设置。

又例如，在另一些实施方式中，生成U分量图像和/或V分量图像的方式与上述生成Y分量图像的方式不同。仅对第一图像中部分的R像素值、B像素值以及G像素值提取其中的色度信息，生成U分量图像和/或V分量图像。

在一些实施例中，对第一图像中多组R像素、G像素和B像素确定得到的多个U分量像素进行采样得到U分量图像的像素值，和/或，对第一图像中多组R像素、G像素和B像素确定得到的多个V分量像素进行采样得到V分量图像的像素值。该采样方式可以采用相关技术的色度采样方式，例如采用YUV 4:4:4采样方式、或者YUV 4:2:2采样方式，又或者YUV 4:2:0采样方式，形成对应的YUV格式图像。

在上文申请实施例中，确定U分量像素和/或V分量像素的第一图像中的一组R像素、G像素和B像素在上文实施例中也称为第一像素值集合。具体关于通过第一像素值集合生成第一图像对应的U分量图像和/或V分量图像的过程可以参见上文实施例。

可选地，在另一些实施例中，根据第一图像中原始像素确定至少一个重构像素，可根据该至少一个重构像素，生成U分量图像和/或V分量图像。

作为示例，该至少一个重构像素均为重构G像素，该重构G像素的数量可与第一图像中原始的R像素数量以及原始的B像素数量相等。对一个重构G像素、一个原始R像素以及一个原始B像素进行转换可得到U分量图像中的一个U分量像素和/或V分量图像中的一个V分量像素。可选地，该一个U分量像素和/或V分量像素可对应于Y分量图像中的多个Y分量像素。

在该示例中，确定U分量像素和/或V分量像素的一个重构G像素、一个原始R像素以及一个原始B像素为上文实施例中第二像素值集合的一种实现方式。具体关于通过第二像素值集合生成第一图像对应的U分量图像和/或V分量图像的过程可以参见上文实施例。

基于上文中各实施例的编码方法400，生成了原始视频中第一图像对应的YUV图像中的Y分量图像、U分量图像和/或V分量图像，该Y分量图像、U分量图像和/或V分量图像中，可能会包括负值分量像素的情况，在该情况下，需要对其中的负值分量像素的相关信息进行统计，保证后续解码之后的图像还原的准确性。

图16示出了本申请实施例的另一种视频的编码方法400的示意性流程框图。

上述步骤S430可包括以下步骤。

S4301：根据预设映射关系，将该至少Y分量图像中负值分量像素映射至正值分量像素。

S4302：将映射后的至少Y分量图像进行编码，以形成原始视频的码流。

可选地，在一些实施方式中，Y分量图像中不包括负值分量像素，仅在U分量图像以及V分量图像中包括负值分量像素，则在本申请实施例中，根据预设映射关系，将U分量图像和/或V分量图像中的负值分量像素映射至正值分量像素，进一步地，对Y分量图像、U分量图像和/或V分量图像进行编码，以形成原始视频的码流。

具体地，本申请实施例中，由于至少Y分量图像中的像素值由第一图像中原始的像素值转换得到，其像素值中保留有更多的原始图像信息，可能具有更大的动态范围，且包括有负值分量像素。在一些相关技术中，由于至少Y分量图像是由经过去马赛克处理后的RGB图像转换得到的，其损失了部分原始图像信息，动态范围较小，因此，对该至少Y分量图像中的像素处理一般是采用全局变换的处理过程，即将至少Y分量图像中的全部像素值按照统一的规则进行变换，以将其中的负值分量像素映射至正值分量像素，便于后续解码端进行还原，且在该全局变换的处理过程中，也可能会带来一定的信息损失。

但本申请实施例中，至少Y分量图像携带信息较多，若将其采用全局变换的处理过程，可能会使得其中的正值分量像素变得更大，影响传输速度。因此，本申请实施例中，根据预设映射关系，仅将至少Y图像中的负值分量像素映射至正值分量像素，然后再对映射后的图像进行编码。

可选地，该预设映射关系具体可以体现为映射表、函数公式等等，本申请实施例对其不做具体限定。

可选地，该预设映射关系可根据第一图像的相关信息确定得到，例如，可根据第一图像的场景信息确定不同的预设映射关系，该预设映射关系可通过大量实验数据进行确定，例如通过神经网络模型等辅助工具对大量实验数据进行训练进行确定。

需要说明的是，本申请实施例中的步骤S4302的具体实施方式可以参见上文步骤S431和步骤S432的相关描述，具体地，上文步骤S431和步骤S432中的Y分量图像、U分量图像和/或V分量图像为经过映射处理后的图像。

进一步地，如图16所示，本申请实施例的编码方法还包括：

S440：获取统计数据。

具体地，该统计数据可包括至少Y分量图像中的负值分量像素的相关信息。

作为一种示例，该统计数据可包括U分量图像和/或V分量图像中的负值分量像素的相关信息，该负值分量像素的相关信息包括但不限于：负值分量像素在图像中的位置信息、分布信息等等，其用于指示负值分量像素在图像中的情况。

可选地，作为另一种示例，该统计数据可包括上述步骤S431中的预设映射关系，该预设映射关系用于指示解码端将图像中的负值分量像素恢复至正值分量像素，从而便于恢复原始图像。当然，统计数据中也可不包括上述预设映射关系，解码端可根据上述负值分量像素的相关信息确定对应的映射关系，从而将负值分量像素恢复至正值。

可选地，统计数据除了可包括上文中负值分量像素的相关信息以及预设映射关系以外，该统计数据还可包括上文中变换系数矩阵的信息，该变换系数矩阵的信息用于确定与其对应的逆变换系数矩阵，方便解码端针利用逆变换系数矩阵对至少Y分量图像进行逆变换，以还原成Bayer RGB图像。

可选地，该统计数据还可包括第一图像的场景信息，该第一图像的场景信息可用于确定至少Y分量图像编码过程中的编码参数，作为示例，该编码参数包括但不限于是量化步进、编码策略、P帧和B帧的使用策略等编码过程任意可调整的编码参数，本申请实施例对此不做具体限定。

在一些实施方式中，该统计数据直接可作为私有数据(Private Data)传输至解码端，或者，该统计数据也可经过无损压缩后，例如经过熵编码后，作为私有数据传输至解码端，以供解码端适应性选择解码策略，并对码流解码后，进一步将解码后的图像还原成Bayer RGB格式的图像。

上文结合图4至图16说明了本申请中视频的编码方法，下面结合图17至图22，说明本申请中视频的解码方法，可以理解的是，本申请实施例中视频的解码方法为上述编码方法的逆过程，其中相关的技术方案可以参考上文中编码方法的相关描述。

图17示出了本申请实施例的一种视频的解码方法500的示意性流程框图。可选地，本申请实施例中，执行方法400的执行主体可为上述系统100，作为示例，该执行主体具体可为上述系统100中的处理器。

如图17所示，该解码方法500可包括以下步骤。

S510：获取原始视频的码流。

S520：对原始视频的码流进行解码得到至少一帧YUV图像，该YUV图像包括至少Y分量图像。

S530：对该YUV图像的像素值进行转换，以生成YUV图像对应的Bayer RGB格式的第一图像。

具体地，该原始视频的码流可为上文中经过编码方法400编码得到的原始视频的码流。对应于上文图6中的编码方法400，在本申请实施例中，获取原始视频的码流后，对该码流进行解码可得到至少一帧YUV图像，该YUV图像中包括至少Y分量图像，换言之，在该YUV图像中，每个像素可仅包括Y分量，或者，也可包括Y分量以及U分量和/或V分量。

可选地，在步骤S520中，可采用目前主流的解码方法，例如标准视频解码方法对原始视频的码流进行解码，以得到至少一帧包括至少Y分量图像的YUV图像，其中，对应于上文中的标准视频编码方法，标准视频解码方法包括以下解码方法中的任意一种：HEVC标准的解码方法、VVC标准的解码方法，AVC标准的解码方法和AVS的解码方法。或者，在该步骤中，还可以采用除上述标准视频解码方法外，其他任意解码得到YUV图像格式的视频解码方法，例如，国际电信联盟电信标准化部门指定的H.261至H.263编码标准的视频解码方法等等，本申请实施例对此不做具体限定。

在步骤S530中，对该YUV图像的像素值进行转换，以生成YUV图像对应的Bayer RGB格式的第一图像。

具体地，YUV图像中每个像素值至少包括Y分量，作为示例，若仅包括Y分量，则可认为该YUV图像中每个像素的U分量和V分量为0，将YUV图像中每个像素由YUV颜色空间转换至RGB颜色空间，以生成YUV图像对应的Bayer RGB格式的第一图像。

在本申请实施例中，通过对解码得到的YUV图像中的像素值进行转换，可生成Bayer RGB格式的第一图像，而非RGB图像，且该第一图像中携带有更多的图像传感器采集的原始图像的信息，该第一图像具有更好的动态范围，色彩空间和容忍度，便于用户执行后续的图像编辑处理过程，提升用户体验。

另外，可以采用上述HEVC、VVC、AVC、AVS等标准视频解码方法对原始视频的码流进行解码，该HEVC、VVC、AVC、AVS等标准视频解码方法已经在业内得到了广泛应用，相比于需要使用特定解码系统才能解码得到RAW图像数据的专用解码器，本申请实施例的解码方法不会受到封闭生态系统的制约，因而具有宽泛的应用场景。

图18示出了本申请实施例提出的另一种视频的解码方法500的示意性流程框图。

如图18所示，上述步骤S530可包括如下步骤。

S531：计算该YUV图像的多个像素值对应的多个RGB集合；

S532：根据该多个RGB集合，生成YUV图像对应的Bayer RGB格式的第一图像。

具体地，在步骤S531中，该YUV图像的多个像素值对应的多个RGB集合中，每个RGB集合包括一个R像素值、一个B像素值以及一个G像素值。

可选地，可根据该多个RGB集合，生成第一图像中相邻的像素值，即该YUV图像的多个像素值可用于生成第一图像中相邻的像素值。或者，在另一些实施方式中，该YUV图像的多个像素值也可以用于生成第一图像中非相邻的像素值。

在一些实施方式中，可通过逆变换系数矩阵对YUV图像的多个像素值进行转换，计算得到对应的多个RGB集合。

作为示例，若通过逆变换系数矩阵对YUV图像中一个像素值的Y、U、V分量进行转换，计算得到对应的R、G、B值。其中，该YUV图像可以为YCoCg图像，该YCoCg图像中的一个像素值包括Y、Co、Cg分量像素，可将该一个像素值的Y、Co、Cg分量像素进行转换，计算得到对应的R、G、B值，作为示例，可通过如下公式表示转换过程：

其中，

即为逆变换系数矩阵，该逆变换系数矩阵为对应于上述编码方法中变换系数矩阵的逆变换系数矩阵，作为示例，本申请实施例中，对应于上文中典型的变换系数矩阵，一种典型的逆变换系数矩阵如下：

可选地，除了通过上述典型的逆变换系数矩阵对YUV图像中的像素值进行计算得到对应的R、G、B值以外，还可以通过其它逆变换系数矩阵对YUV图像中的像素值进行计算得到对应的R、G、B值，本申请实施例对该逆变换系数矩阵中的系数值不做具体限定。

可选地，上述YUV图像除了可以为YCoCg图像以外，还可以为YCbCr图像，或者其它类型的颜色空间的图像。

在一些实施方式中，除了可以获取原始视频的码流以外，还可以获取到用于指示该逆变换系数矩阵的相关信息，可选地，该信息可以为编码过程中变换系数矩阵的相关信息，根据该信息可以确定对应的逆变换系数矩阵的类型和其中的具体系数值。

对于上述步骤S532，根据该多个RGB集合，生成YUV图像对应的Bayer RGB格式的第一图像。可选地，可根据该多个RGB集合，生成YUV图像对应的第一图像中相邻的多个RGB像素值，以生成第一图像。

具体地，Bayer RGB格式的第一图像可看成是由多个图像单元形成的图像，其中每个图像单元包括2×2个像素值，作为示例，以第一图像中一个图像单元为例，说明其中根据多个RGB集合，生成一个图像单元的过程。

图19示出了本申请实施例提出的另一种视频的解码方法500的示意性流程框图。

如图19所示，上述步骤S531可包括：

S5311：计算该YUV图像的两个像素值对应的两个RGB集合。

上述步骤S532可包括如下步骤。

S5321：根据该两个RGB集合，生成第一图像中一个图像单元的2×2个像素值。

图20示出了将该YUV图像的两个像素值转换为对应的两个RGB集合的示意图，以及根据该两个RGB集合，生成第一图像中一个图像单元的2×2个像素值的示意图。

如图20中的(a)图所示，YUV图像中的两个像素值的第一个像素值分别包括Y1分量像素、U1分量像素和V1分量像素，两个像素值的第二个像素值分别包括Y2分量像素、U2分量像素和V2分量像素；如图20中的(b)图所示，第一个像素值对应转换得到第一个RGB集合为R1、G1和B1，第二个像素值对应转换得到第二个RGB集合为R2、G2和B2；如图20的(c)图所示，可根据该两个RGB集合中的两个R值，即R1和R2，确定第一图像中一个图像单元的一个R像素值，例如，该R像素值可以为R1和R2的平均值，或者，其还可以为根据R1和R2确定得到的其它值，本申请实施例对此不做具体限定。类似地，可根据该两个RGB集合中的两个B值，即B1和B2，确定第一图像中一个图像单元的一个B像素值，例如，该B像素值可以为B1和B2的平均值，或者，其还可以为根据B1和B2确定得到的其它值，本申请实施例对此不做具体限定。此外，可以直接将两个RGB集合中的两个G值作为第一图像中一个图像单元的两个G像素值。

可选地，上述申请实施例中，YUV图像可以为YUV 4:4:4格式的图像，或者，也可以为YUV 4:2:2或者YUV 4:2:0格式的图像。可以理解的是，若YUV图像为YUV 4:4:4格式的图像，则其保留的原始图像的最多，图像的动态范围最大。若YUV图像为YUV 4:2:0格式的图像，则其码流最小，便于传输和解码，提升解码效率。若YUV图像为YUV 4:2:2格式的图像，则兼顾了图像质量以及编解码效率。

作为示例，若YUV图像为YUV 4:4:4格式的图像，图20中所示的变换过程可以为图9中所示的变换过程的逆过程，其可以实现第一图像中图像单元的无损还原，即解码端还原的第一图像的图像单元与编码端的第一图像的图像单元完全相同，换言之，解码端还原的第一图像可以与编码端的第一图像完全相同。

上文图19和图20以YUV图像的两个像素值还原形成第一图像的一个图像单元中2×2个像素值为例，说明了本申请实施例提供的将解码得到的YUV图像转换为Bayer RGB格式的第一图像的过程。对于YUV图像中的多个像素值的情况下，其可理解为将多个像素值转换为第一图像中多个图像单元的过程，具体的转换过程可以参见上文相关描述。

作为示例，图21示出了一种由YUV图像中多个像素值形成对应的Bayer RGB格式的第一图像的一种示意图。

可选地，在本申请实施例中，YUV图像的每个像素由YUV三个分量形成，若从原始视频的码流中仅解码得到Y分量图像，则每个像素中UV分量为0，若从原始视频的码流中解码得到Y分量图像、U分量图像和/或V分量图像，则每个像素中除了Y分量像素以外，还包括U分量像素和/或V分量像素。

将YUV图像中每个像素进行转换可得到一组RGB值，即多个YUV像素可转换得到多组RGB值，根据该多组RGB值可确定得到Bayer RGB格式的第一图像。

可选地，如图21所示，第一图像中像素的数量为YUV图像中像素数量的两倍，其可以利用YUV图像中任意两个像素值转换得到的两组RGB值形成第一图像中的一个R像素、一个B像素以及2个G像素。

在该示例下，上文中两组RGB值在上文实施例中也写为两个RGB集合，第一图像中的一个R像素、一个B像素以及2个G像素可以为上文实施例中第一图像的一个图像单元中的2×2个像素。

可选地，在其它实施方式中，第一图像中像素的数量也可为其它数量，第一图像旨在包括YUV图像转换得到全部RGB颜色信息即可。

图22示出了本申请实施例的另一种视频的解码方法500的示意性流程框图。

如图22所示，该上述步骤S530可包括以下步骤。

S5301：获取统计数据。

S5302：根据统计数据将YUV图像中部分正值分量像素修正为负值分量像素；

S5303：对修正后的YUV图像中的像素值进行转换。

可选地，在一些实施方式中，YUV图像中Y分量图像不包括负值分量像素，仅在U分量图像以及V分量图像中包括负值分量像素，在本申请实施例中，统计数据可包括至少Y分量图像中的负值分量像素的相关信息。

作为一种示例，该统计数据可包括U分量图像和/或V分量图像中的负值分量像素的相关信息，该负值分量像素的相关信息包括但不限于：负值分量像素在分量图像中的位置信息、分布信息等等，其用于指示负值分量像素在分量图像中的情况。

可选地，作为另一种示例，该统计数据还可包括一种预设映射关系，该预设映射关系为编码端执行的将负值分量像素映射至正值分量像素的过程，解码端接收该预设映射关系后，采用与该预设映射关系对应的还原方式，将其中部分的正值分量像素映射回负值分量像素，从而修正该部分的正值分量像素。当然，统计数据中也可不包括上述预设映射关系，可直接根据上述负值分量像素的相关信息确定对应的映射关系，从而将部分正值分量像素映射回负值分量像素。

在本申请实施例中，根据统计数据中的预设映射关系和/或YUV图像中负值分量像素的相关信息，将YUV图像中的负值分量像素映射至正值分量像素，以修正YUV图像，进一步地，再将修正后的YUV图像进行转换，以形成Bayer RGB格式的第一图像。

可选地，上述预设映射关系具体可以体现为映射表、函数公式等等，本申请实施例对其不做具体限定。

需要说明的是，本申请实施例中的步骤S5302的具体实施方式可以参见上文步骤S531和步骤S532的相关描述，具体地，上文步骤S531和步骤S532中的YUV图像为经过映射处理，修正后的图像。

可选地，统计数据除了可包括上文中负值分量像素的相关信息和/或预设映射关系以外，该统计数据还可包括上文中用于指示逆变换系数矩阵的信息，例如包括变换系数矩阵的信息。

可选地，该统计数据还可包括原始视频中图像的场景信息，该场景信息可用于确定对原始视频的码流进行解码过程中的解码参数，作为示例，该解码参数包括但不限于是量化步进、解码策略、P帧和B帧的使用策略等解码相关参数，本申请实施例对此不做具体限定。

在一些实施方式中，该统计数据可作为私有数据(Private Data)传输至解码端，以供解码端适应性选择解码策略，并对码流解码后，进一步将解码后的图像还原成BayerRGB的图像格式。

可选地，该统计数据可为熵编码后的码流，在解码端进行熵解码后恢复其原始的数据信息。

上文结合图6至图22，详细描述了本申请的方法实施例，下文结合图23和图24，详细描述本申请的视频的编解码装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。

图23是根据本申请实施例的视频的编码装置40的示意性框图，该视频的编码装置40对应于上述视频的编码方法400中任意一种编码方法。

如图23所示，视频的编码装置40包括：处理器41和存储器42；

存储器42可用于存储程序，处理器41可用于执行存储器中存储的程序，以执行如下操作：

获取原始视频，该原始视频包括至少一帧第一图像，该第一图像为拜耳Bayer RGB格式的图像；

对该第一图像的像素值进行转换，生成该第一图像对应的YUV图像中的至少Y分量图像；

对该YUV图像中的至少Y分量图像进行编码，以形成该原始视频的码流。

在一些实施方式中，处理器41用于：将未经去马赛克处理的该第一图像的像素值进行转换，生成该第一图像对应的YUV图像中的至少Y分量图像。

在一些实施方式中，处理器41用于：将该第一图像中的多个像素值重排为多个第一像素值集合，该第一像素值集合包括一个R像素值，一个B像素值和一个G像素值；

计算该多个第一像素值集合对应的Y值，以生成该第一图像对应的该YUV图像的Y分量图像。

可选地，该第一像素值集合包括该第一图像中相邻的像素值。

可选地，该第一像素值集合中的像素值为该第一图像的原始像素值。

在一些实施方式中，处理器41还用于：计算该多个第一像素值集合对应的U值和/或V值，以生成该第一图像对应的该YUV图像的U分量图像和/或V分量图像；

对该YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成该原始视频的码流。

可选地，该多个像素值包括该第一图像中至少一个图像单元的像素值，该图像单元包括2×2个像素值；

该处理器41用于执行：将该图像单元的2×2个像素值重排为两个第一像素值集合；

计算该两个第一像素值集合对应的两个Y值；

将该两个Y值作为该图像单元对应的Y分量图像单元的像素值，以生成该Y分量图像。

在一些实施方式中，处理器41还用于：计算该两个第一像素值集合对应的两个U值和/或两个V值；

将该两个U值作为该图像单元对应的U分量图像单元的像素值，以生成该U分量图像；和/或，

将该两个V值作为该图像单元对应的V分量图像单元的像素值，以生成该V分量图像。

在一些实施方式中，处理器41还用于：计算该两个第一像素值集合对应的两个U值和/或两个V值；

对该两个U值进行采样，获取该图像单元对应的U分量图像单元的像素值，以生成该U分量图像；和/或，

对该两个V值进行采样，获取该图像单元对应的V分量图像单元的像素值，以生成该V分量图像。

可选地，该图像单元的2×2个像素值包括：R1、G1、G2和B1，该两个第一像素值集合中的第一个第一像素值集合为：R1、G1、和B1，该两个第一像素值集合中的第二个第一像素值集合为：R1、G2和B1。

可选地，该第一个第一像素值集合对应的YUV值分别为Y1、U1和V1，该第二个第一像素值集合对应的YUV值分别为Y2、U2和V2；

该图像单元对应的Y分量图像单元的像素值包括Y1和Y2；

该图像单元对应的U分量图像单元的像素值包括U1和/或U2，和/或，

该图像单元对应的V分量图像单元的像素值包括V1和/或V2。

在一些实施方式中，处理器41还用于：根据该第一图像中的该多个像素值，确定至少一个第二像素值集合，该第二像素值集合包括一个R像素值，一个B像素值和一个G像素值，该第二像素值集合中至少一个像素值为根据该多个像素值确定的重构像素值；

计算该至少一个第二像素值集合对应的U值和/或V值，以生成该第一图像对应的该YUV图像的U分量图像和/或V分量图像；

对该YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成该原始视频的码流。

可选地，该第二像素值集合中，R像素值和B像素值为该多个像素值中的原始像素值，G像素值为根据该多个像素值确定的重构像素值。

在一些实施方式中，该多个像素值包括该第一图像中至少一个图像单元的像素值，该图像单元包括2×2个像素值；

该处理器41还用于执行：

根据该图像单元的2×2个像素值，确定一个第二像素值集合；

计算该一个第二像素值集合对应的U值和/或V值；

将该U值作为该图像单元对应的U分量图像单元的像素值，以生成该U分量图像；和/或，

将该V值作为该图像单元对应的V分量图像单元的像素值，以生成该V分量图像。

可选地，该图像单元的2×2个像素值包括：R1、G1、G2和B1，该一个第二像素值集合为：R1、G3和B1，其中，G3为G1和G2的均值。

可选地，该一个第二像素值集合对应的YUV值分别为Y3、U3和V3；

该图像单元对应的U分量图像单元的像素值包括U3，和/或，

该图像单元对应的V分量图像单元的像素值包括V3。

在一些实施方式中，处理器41用于：利用变换系数矩阵对该第一图像的像素值进行转换。

可选地，该变换系数矩阵是根据该第一图像中的图像信息确定得到的，其中该图像信息包括该第一图像的场景信息。

在一些实施方式中，处理器41用于：根据预设映射关系，将该YUV图像中的U分量图像和/或V分量图像中的负值分量像素映射至正值分量像素；

对该Y分量图像、映射后的该U分量图像和/或V分量图像进行编码，以形成该原始视频的码流。

在一些实施方式中，处理器41还用于：获取统计数据；

其中，该统计数据包括该预设映射关系的信息和/或该YUV图像中的U分量图像和/或V分量图像中的负值分量像素的信息。

可选地，该统计数据还包括变换系数矩阵的信息，该变换系数矩阵的信息用于确定与其对应的逆变换系数矩阵。

可选地，该统计数据还包括该第一图像的场景信息，该第一图像的场景信息用于确定该至少Y分量图像编码过程中的编码参数。

可选地，该第一图像为Bayer格式的图像传感器采集的原始图像经过预处理后的图像，该预处理包括以下至少一种矫正处理：线性矫正、黑电平矫正和坏点矫正。

可选地，该第一图像对应的YUV图像为YCoCg图像。

在一些实施方式中，处理器41用于：采用标准视频编码装置对该YUV图像中的至少Y分量图像进行编码，以形成该原始视频的码流；

其中，该标准视频编码装置包括以下编码装置中的任意一种：多功能视频编码VVC标准的编码装置、高效率视频编码HEVC标准的编码装置、高级视频编码AVC标准的编码装置、信源编码标准AVS的编码装置。

图24是根据本申请实施例的视频的解码装置50的示意性框图，该视频的解码装置50对应于上述视频的解码方法500中任意一种解码方法。

如图24所示，视频的解码装置50包括：处理器51和存储器52；

存储器52可用于存储程序，处理器51可用于执行存储器中存储的程序，以执行如下操作：

获取原始视频的码流；

对该原始视频的码流进行解码得到至少一帧YUV图像，该YUV图像包括至少Y分量图像；

对该YUV图像的像素值进行转换，以生成该YUV图像对应的Bayer RGB格式的第一图像。

在一些实施方式中，处理器51用于：计算该YUV图像中多个像素值对应的多个RGB集合，其中，该像素值包括Y分量像素值，该RGB集合中，每个RGB集合包括一个R像素值，一个G像素值和一个B像素值；

根据该多个RGB集合，生成该YUV图像对应的Bayer RGB格式的第一图像。

可选地，该YUV图像中多个像素值为相邻像素值，该处理器51用于执行：根据该多个RGB集合，确定该第一图像中相邻的多个Bayer格式的像素值。

可选地，该YUV图像中的像素值还包括：U分量像素值和/或V分量像素值。

在一些实施方式中，处理器51用于：计算该YUV图像中两个像素值对应的两个RGB集合；

根据该两个RGB集合，确定该第一图像中一个图像单元的2×2个像素值。

可选地，该两个RGB集合中第一个RGB集合包括：R1、G1和B1，该两个RGB集合中第二个RGB集合包括：R2、G2和B2；该图像单元的2×2个像素值包括：R3、G1、G2和B3，其中，R3是根据R1和R2确定得到的，B3是根据B1和B2确定得到的。

可选地，R3为R1和R2的平均值，B3为B1和B2的平均值。

在一些实施方式中，处理器51用于：利用逆变换系数矩阵对该YUV图像的像素值进行转换。

在一些实施方式中，处理器51用于：获取统计数据，该统计数据包括该YUV图像中的负值分量像素的信息和/或预设映射关系的信息；

根据该统计数据将该YUV图像中部分正值分量像素修正为负值分量像素；

对修正后的该YUV图像中的像素值进行转换。

可选地，该统计数据还包括用于确定逆变换系数矩阵的信息。

可选地，该统计数据还包括该原始视频中原始图像的场景信息，该场景信息用于确定该码流的解码过程中的解码参数。

可选地，该YUV图像为YCoCg图像。

在一些实施方式中，处理器51用于：采用标准视频解码装置对该原始视频的码流进行解码得到至少一帧YUV图像；

其中，该标准视频解码装置包括以下解码装置中的任意一种：多功能视频编码VVC标准的解码装置、高效率视频编码HEVC标准的解码装置、高级视频编码AVC标准的解码装置、信源编码标准AVS的标准的解码装置。

本申请还提供了一种电子设备，该电子设备可以包括上述本申请各种实施例的视频的编码装置和/或解码装置。

本申请还提供了一种系统，该系统可以包括上述本申请各种实施例的视频的编码装置、解码装置。

本申请还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。

本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (78)

1.一种视频的编码方法，其特征在于，包括：

获取原始视频，所述原始视频包括至少一帧第一图像，所述第一图像为拜耳Bayer RGB格式的图像；

对所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像；

对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流。

2.根据权利要求1所述的编码方法，其特征在于，所述对所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像，包括：

将未经去马赛克处理的所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像。

3.根据权利要求1或2所述的编码方法，其特征在于，所述对所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像，包括：

将所述第一图像中的多个像素值重排为多个第一像素值集合，所述第一像素值集合包括一个R像素值，一个B像素值和一个G像素值；

计算所述多个第一像素值集合对应的Y值，以生成所述第一图像对应的所述YUV图像的Y分量图像。

4.根据权利要求3所述的编码方法，其特征在于，所述第一像素值集合包括所述第一图像中相邻的像素值。

5.根据权利要求3或4所述的编码方法，其特征在于，所述第一像素值集合中的像素值为所述第一图像的原始像素值。

6.根据权利要求3至5中任一项所述的编码方法，其特征在于，所述将所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像，还包括：

计算所述多个第一像素值集合对应的U值和/或V值，以生成所述第一图像对应的所述YUV图像的U分量图像和/或V分量图像；

所述对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流，包括：

对所述YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

7.根据权利要求3至5中任一项所述的编码方法，其特征在于，所述多个像素值包括所述第一图像中至少一个图像单元的像素值，所述图像单元包括2×2个像素值；

所述将所述第一图像中的多个像素值重排为多个第一像素值集合，包括：

将所述图像单元的2×2个像素值重排为两个第一像素值集合；

所述计算所述多个第一像素值集合对应的Y值，以生成所述第一图像对应的所述YUV图像的Y分量图像，包括：

计算所述两个第一像素值集合对应的两个Y值；

将所述两个Y值作为所述图像单元对应的Y分量图像单元的像素值，以生成所述Y分量图像。

8.根据权利要求7所述的编码方法，其特征在于，所述编码方法还包括：

计算所述两个第一像素值集合对应的两个U值和/或两个V值；

将所述两个U值作为所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

将所述两个V值作为所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

9.根据权利要求7所述的编码方法，其特征在于，所述编码方法还包括：

计算所述两个第一像素值集合对应的两个U值和/或两个V值；

对所述两个U值进行采样，获取所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

对所述两个V值进行采样，获取所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

10.根据权利要求7至9中任一项所述的编码方法，其特征在于，所述图像单元的2×2个像素值包括：R1、G1、G2和B1，所述两个第一像素值集合中的第一个第一像素值集合为：R1、G1、和B1，所述两个第一像素值集合中的第二个第一像素值集合为：R1、G2和B1。

11.根据权利要求10所述的编码方法，其特征在于，所述第一个第一像素值集合对应的YUV值分别为Y1、U1和V1，所述第二个第一像素值集合对应的YUV值分别为Y2、U2和V2；

所述图像单元对应的Y分量图像单元的像素值包括Y1和Y2；

所述图像单元对应的U分量图像单元的像素值包括U1和/或U2，和/或，

所述图像单元对应的V分量图像单元的像素值包括V1和/或V2。

12.根据权利要求3至7中任一项所述的编码方法，其特征在于，所述将所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像，还包括：

根据所述第一图像中的所述多个像素值，确定至少一个第二像素值集合，所述第二像素值集合包括一个R像素值，一个B像素值和一个G像素值，所述第二像素值集合中至少一个像素值为根据所述多个像素值确定的重构像素值；

计算所述至少一个第二像素值集合对应的U值和/或V值，以生成所述第一图像对应的所述YUV图像的U分量图像和/或V分量图像；

所述对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流，包括：

对所述YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

13.根据权利要求12所述的编码方法，其特征在于，所述第二像素值集合中，R像素值和B像素值为所述多个像素值中的原始像素值，G像素值为根据所述多个像素值确定的重构像素值。

14.根据权利要求12或13所述的编码方法，其特征在于，所述多个像素值包括所述第一图像中至少一个图像单元的像素值，所述图像单元包括2×2个像素值；

所述根据所述第一图像中的所述多个像素值，确定至少一个第二像素值集合，包括：

根据所述图像单元的2×2个像素值，确定一个第二像素值集合；

所述计算所述至少一个第二像素值集合对应的U值和/或V值，以生成所述第一图像对应的所述YUV图像的U分量图像和/或V分量图像，包括：

计算所述一个第二像素值集合对应的U值和/或V值；

将所述U值作为所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

将所述V值作为所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

15.根据权利要求14所述的编码方法，其特征在于，所述图像单元的2×2个像素值包括：R1、G1、G2和B1，所述一个第二像素值集合为：R1、G3和B1，其中，G3为G1和G2的均值。

16.根据权利要求15所述的编码方法，其特征在于，所述一个第二像素值集合对应的YUV值分别为Y3、U3和V3；

所述图像单元对应的U分量图像单元的像素值包括U3，和/或，

所述图像单元对应的V分量图像单元的像素值包括V3。

17.根据权利要求1至16中任一项所述的编码方法，其特征在于，所述对所述第一图像的像素值进行转换，包括：

利用变换系数矩阵对所述第一图像的像素值进行转换。

18.根据权利要求17所述的编码方法，其特征在于，所述变换系数矩阵是根据所述第一图像中的图像信息确定得到的，其中所述图像信息包括所述第一图像的场景信息。

19.根据权利要求1至18中任一项所述的编码方法，其特征在于，所述对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流，包括：

根据预设映射关系，将所述YUV图像中的U分量图像和/或V分量图像中的负值分量像素映射至正值分量像素；

对所述Y分量图像、映射后的所述U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

20.根据权利要求19所述的编码方法，其特征在于，所述编码方法还包括：

获取统计数据；

其中，所述统计数据包括所述预设映射关系的信息和/或所述YUV图像中的U分量图像和/或V分量图像中的负值分量像素的信息。

21.根据权利要求20所述的编码方法，其特征在于，所述统计数据还包括变换系数矩阵的信息，所述变换系数矩阵的信息用于确定与其对应的逆变换系数矩阵。

22.根据权利要求20或21所述的编码方法，其特征在于，所述统计数据还包括所述第一图像的场景信息，所述第一图像的场景信息用于确定所述至少Y分量图像编码过程中的编码参数。

23.根据权利要求1至22中任一项所述的编码方法，其特征在于，所述第一图像为Bayer格式的图像传感器采集的原始图像经过预处理后的图像，所述预处理包括以下至少一种矫正处理：线性矫正、黑电平矫正和坏点矫正。

24.根据权利要求1至23中任一项所述的编码方法，其特征在于，所述第一图像对应的YUV图像为YCoCg图像。

25.根据权利要求1至24中任一项所述的编码方法，其特征在于，所述对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流，包括：

采用标准视频编码方法对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流；

其中，所述标准视频编码方法包括以下编码方法中的任意一种：多功能视频编码VVC标准的编码方法、高效率视频编码HEVC标准的编码方法、高级视频编码AVC标准的编码方法、信源编码标准AVS的编码方法。

26.一种视频的解码方法，其特征在于，包括：

获取原始视频的码流；

对所述原始视频的码流进行解码得到至少一帧YUV图像，所述YUV图像包括至少Y分量图像；

对所述YUV图像的像素值进行转换，以生成所述YUV图像对应的Bayer RGB格式的第一图像。

27.根据权利要求26所述的解码方法，其特征在于，所述对所述YUV图像的像素值进行转换，以生成所述YUV图像对应的Bayer RGB格式的第一图像，包括：

计算所述YUV图像中多个像素值对应的多个RGB集合，其中，所述像素值包括Y分量像素值，所述RGB集合中，每个RGB集合包括一个R像素值，一个G像素值和一个B像素值；

根据所述多个RGB集合，生成所述YUV图像对应的Bayer RGB格式的第一图像。

28.根据权利要求27所述的解码方法，其特征在于，所述YUV图像中多个像素值为相邻像素值，

所述根据所述多个RGB集合，生成所述YUV图像对应的Bayer RGB格式的第一图像，包括：

根据所述多个RGB集合，确定所述第一图像中相邻的多个Bayer格式的像素值。

29.根据权利要求27或28所述的解码方法，其特征在于，所述YUV图像中的像素值还包括：U分量像素值和/或V分量像素值。

30.根据权利要求27至29中任一项所述的解码方法，其特征在于，所述计算所述YUV图像中多个像素值对应的多个RGB集合，包括：

计算所述YUV图像中两个像素值对应的两个RGB集合；

所述根据所述多个RGB集合，确定所述第一图像中多个Bayer格式的像素值，包括：

根据所述两个RGB集合，确定所述第一图像中一个图像单元的2×2个像素值。

31.根据权利要求30所述的解码方法，其特征在于，所述两个RGB集合中第一个RGB集合包括：R1、G1和B1，所述两个RGB集合中第二个RGB集合包括：R2、G2和B2；

所述图像单元的2×2个像素值包括：R3、G1、G2和B3，其中，R3是根据R1和R2确定得到的，B3是根据B1和B2确定得到的。

32.根据权利要求31所述的解码方法，其特征在于，R3为R1和R2的平均值，B3为B1和B2的平均值。

33.根据权利要求26至32中任一项所述的解码方法，其特征在于，所述对所述YUV图像的像素值进行转换，包括：

利用逆变换系数矩阵对所述YUV图像的像素值进行转换。

34.根据权利要求26至33中任一项所述的解码方法，其特征在于，所述对所述YUV图像的像素值进行转换，包括：

获取统计数据，所述统计数据包括所述YUV图像中的负值分量像素的信息和/或预设映射关系的信息；

根据所述统计数据将所述YUV图像中部分正值分量像素修正为负值分量像素；

对修正后的所述YUV图像中的像素值进行转换。

35.根据权利要求34所述的解码方法，其特征在于，所述统计数据还包括用于确定逆变换系数矩阵的信息。

36.根据权利要求34或35所述的解码方法，其特征在于，所述统计数据还包括所述原始视频中原始图像的场景信息，所述场景信息用于确定所述码流的解码过程中的解码参数。

37.根据权利要求26至36中任一项所述的解码方法，其特征在于，所述YUV图像为YCoCg图像。

38.根据权利要求26至37中任一项所述的解码方法，其特征在于，所述对所述原始视频的码流进行解码得到至少一帧YUV图像，包括：

采用标准视频解码方法对所述原始视频的码流进行解码得到至少一帧YUV图像；

其中，所述标准视频解码方法包括以下解码方法中的任意一种：多功能视频编码VVC标准的解码方法、高效率视频编码HEVC标准的解码方法、高级视频编码AVC标准的解码方法、信源编码标准AVS的标准的解码方法。

39.一种视频的编码装置，其特征在于，包括处理器，所述处理器用于执行：

获取原始视频，所述原始视频包括至少一帧第一图像，所述第一图像为拜耳Bayer RGB格式的图像；

对所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像；

对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流。

40.根据权利要求39所述的编码装置，其特征在于，所述处理器用于执行：

将未经去马赛克处理的所述第一图像的像素值进行转换，生成所述第一图像对应的YUV图像中的至少Y分量图像。

41.根据权利要求39或40所述的编码装置，其特征在于，所述处理器用于执行：

将所述第一图像中的多个像素值重排为多个第一像素值集合，所述第一像素值集合包括一个R像素值，一个B像素值和一个G像素值；

计算所述多个第一像素值集合对应的Y值，以生成所述第一图像对应的所述YUV图像的Y分量图像。

42.根据权利要求41所述的编码装置，其特征在于，所述第一像素值集合包括所述第一图像中相邻的像素值。

43.根据权利要求41或42所述的编码装置，其特征在于，所述第一像素值集合中的像素值为所述第一图像的原始像素值。

44.根据权利要求41至43中任一项所述的编码装置，其特征在于，所述处理器还用于执行：

计算所述多个第一像素值集合对应的U值和/或V值，以生成所述第一图像对应的所述YUV图像的U分量图像和/或V分量图像；

对所述YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

45.根据权利要求41至44中任一项所述的编码装置，其特征在于，所述多个像素值包括所述第一图像中至少一个图像单元的像素值，所述图像单元包括2×2个像素值；

所述处理器用于执行：将所述图像单元的2×2个像素值重排为两个第一像素值集合；

计算所述两个第一像素值集合对应的两个Y值；

将所述两个Y值作为所述图像单元对应的Y分量图像单元的像素值，以生成所述Y分量图像。

46.根据权利要求45所述的编码装置，其特征在于，所述处理器还用于执行：

计算所述两个第一像素值集合对应的两个U值和/或两个V值；

将所述两个U值作为所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

将所述两个V值作为所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

47.根据权利要求45所述的编码装置，其特征在于，所述处理器还用于执行：

计算所述两个第一像素值集合对应的两个U值和/或两个V值；

对所述两个U值进行采样，获取所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

对所述两个V值进行采样，获取所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

48.根据权利要求45至47中任一项所述的编码装置，其特征在于，所述图像单元的2×2个像素值包括：R1、G1、G2和B1，所述两个第一像素值集合中的第一个第一像素值集合为：R1、G1、和B1，所述两个第一像素值集合中的第二个第一像素值集合为：R1、G2和B1。

49.根据权利要求48所述的编码装置，其特征在于，所述第一个第一像素值集合对应的YUV值分别为Y1、U1和V1，所述第二个第一像素值集合对应的YUV值分别为Y2、U2和V2；

所述图像单元对应的Y分量图像单元的像素值包括Y1和Y2；

所述图像单元对应的U分量图像单元的像素值包括U1和/或U2，和/或，

所述图像单元对应的V分量图像单元的像素值包括V1和/或V2。

50.根据权利要求41至45中任一项所述的编码装置，其特征在于，所述处理器还用于执行：

根据所述第一图像中的所述多个像素值，确定至少一个第二像素值集合，所述第二像素值集合包括一个R像素值，一个B像素值和一个G像素值，所述第二像素值集合中至少一个像素值为根据所述多个像素值确定的重构像素值；

计算所述至少一个第二像素值集合对应的U值和/或V值，以生成所述第一图像对应的所述YUV图像的U分量图像和/或V分量图像；

对所述YUV图像中的Y分量图像、U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

51.根据权利要求50所述的编码装置，其特征在于，所述第二像素值集合中，R像素值和B像素值为所述多个像素值中的原始像素值，G像素值为根据所述多个像素值确定的重构像素值。

52.根据权利要求50或51所述的编码装置，其特征在于，所述多个像素值包括所述第一图像中至少一个图像单元的像素值，所述图像单元包括2×2个像素值；

所述处理器用于执行：

根据所述图像单元的2×2个像素值，确定一个第二像素值集合；

计算所述一个第二像素值集合对应的U值和/或V值；

将所述U值作为所述图像单元对应的U分量图像单元的像素值，以生成所述U分量图像；和/或，

将所述V值作为所述图像单元对应的V分量图像单元的像素值，以生成所述V分量图像。

53.根据权利要求52所述的编码装置，其特征在于，所述图像单元的2×2个像素值包括：R1、G1、G2和B1，所述一个第二像素值集合为：R1、G3和B1，其中，G3为G1和G2的均值。

54.根据权利要求53所述的编码装置，其特征在于，所述一个第二像素值集合对应的YUV值分别为Y3、U3和V3；

所述图像单元对应的U分量图像单元的像素值包括U3，和/或，

所述图像单元对应的V分量图像单元的像素值包括V3。

55.根据权利要求39至54中任一项所述的编码装置，其特征在于，所述处理器用于执行：

利用变换系数矩阵对所述第一图像的像素值进行转换。

56.根据权利要求55所述的编码装置，其特征在于，所述变换系数矩阵是根据所述第一图像中的图像信息确定得到的，其中所述图像信息包括所述第一图像的场景信息。

57.根据权利要求39至56中任一项所述的编码装置，其特征在于，所述处理器用于执行：

根据预设映射关系，将所述YUV图像中的U分量图像和/或V分量图像中的负值分量像素映射至正值分量像素；

对所述Y分量图像、映射后的所述U分量图像和/或V分量图像进行编码，以形成所述原始视频的码流。

58.根据权利要求57所述的编码装置，其特征在于，所述处理器还用于执行：

获取统计数据；

其中，所述统计数据包括所述预设映射关系的信息和/或所述YUV图像中的U分量图像和/或V分量图像中的负值分量像素的信息。

59.根据权利要求58所述的编码装置，其特征在于，所述统计数据还包括变换系数矩阵的信息，所述变换系数矩阵的信息用于确定与其对应的逆变换系数矩阵。

60.根据权利要求58或59所述的编码装置，其特征在于，所述统计数据还包括所述第一图像的场景信息，所述第一图像的场景信息用于确定所述至少Y分量图像编码过程中的编码参数。

61.根据权利要求39至60中任一项所述的编码装置，其特征在于，所述第一图像为Bayer格式的图像传感器采集的原始图像经过预处理后的图像，所述预处理包括以下至少一种矫正处理：线性矫正、黑电平矫正和坏点矫正。

62.根据权利要求39至61中任一项所述的编码装置，其特征在于，所述第一图像对应的YUV图像为YCoCg图像。

63.根据权利要求39至62中任一项所述的编码装置，其特征在于，所述处理器用于执行：

采用标准视频编码装置对所述YUV图像中的至少Y分量图像进行编码，以形成所述原始视频的码流；

其中，所述标准视频编码装置包括以下编码装置中的任意一种：多功能视频编码VVC标准的编码装置、高效率视频编码HEVC标准的编码装置、高级视频编码AVC标准的编码装置、信源编码标准AVS的编码装置。

64.一种视频的解码装置，其特征在于，包括处理器，所述处理器用于执行：

获取原始视频的码流；

对所述原始视频的码流进行解码得到至少一帧YUV图像，所述YUV图像包括至少Y分量图像；

对所述YUV图像的像素值进行转换，以生成所述YUV图像对应的Bayer RGB格式的第一图像。

65.根据权利要求64所述的解码装置，其特征在于，所述处理器用于执行：

计算所述YUV图像中多个像素值对应的多个RGB集合，其中，所述像素值包括Y分量像素值，所述RGB集合中，每个RGB集合包括一个R像素值，一个G像素值和一个B像素值；

根据所述多个RGB集合，生成所述YUV图像对应的Bayer RGB格式的第一图像。

66.根据权利要求65所述的解码装置，其特征在于，所述YUV图像中多个像素值为相邻像素值，

所述处理器用于执行：根据所述多个RGB集合，确定所述第一图像中相邻的多个Bayer格式的像素值。

67.根据权利要求65或66所述的解码装置，其特征在于，所述YUV图像中的像素值还包括：U分量像素值和/或V分量像素值。

68.根据权利要求65至67中任一项所述的解码装置，其特征在于，所述处理器用于执行：

计算所述YUV图像中两个像素值对应的两个RGB集合；

根据所述两个RGB集合，确定所述第一图像中一个图像单元的2×2个像素值。

69.根据权利要求68所述的解码装置，其特征在于，所述两个RGB集合中第一个RGB集合包括：R1、G1和B1，所述两个RGB集合中第二个RGB集合包括：R2、G2和B2；

所述图像单元的2×2个像素值包括：R3、G1、G2和B3，其中，R3是根据R1和R2确定得到的，B3是根据B1和B2确定得到的。

70.根据权利要求69所述的解码装置，其特征在于，R3为R1和R2的平均值，B3为B1和B2的平均值。

71.根据权利要求64至70中任一项所述的解码装置，其特征在于，所述处理器用于执行：

利用逆变换系数矩阵对所述YUV图像的像素值进行转换。

72.根据权利要求64至71中任一项所述的解码装置，其特征在于所述处理器用于执行：

获取统计数据，所述统计数据包括所述YUV图像中的负值分量像素的信息和/或预设映射关系的信息；

根据所述统计数据将所述YUV图像中部分正值分量像素修正为负值分量像素；

对修正后的所述YUV图像中的像素值进行转换。

73.根据权利要求72所述的解码装置，其特征在于，所述统计数据还包括用于确定逆变换系数矩阵的信息。

74.根据权利要求72或73所述的解码装置，其特征在于，所述统计数据还包括所述原始视频中原始图像的场景信息，所述场景信息用于确定所述码流的解码过程中的解码参数。

75.根据权利要求64至74中任一项所述的解码装置，其特征在于，所述YUV图像为YCoCg图像。

76.根据权利要求64至75中任一项所述的解码装置，其特征在于，所述处理器用于执行：

采用标准视频解码装置对所述原始视频的码流进行解码得到至少一帧YUV图像；

其中，所述标准视频解码装置包括以下解码装置中的任意一种：多功能视频编码VVC标准的解码装置、高效率视频编码HEVC标准的解码装置、高级视频编码AVC标准的解码装置、信源编码标准AVS的标准的解码装置。

77.一种计算机可读存储介质，其特征在于，用于存储程序指令，所述程序指令被计算机运行时，所述计算机执行如权利要求1至25中任一项所述的编码方法。

78.一种计算机可读存储介质，其特征在于，用于存储程序指令，所述程序指令被计算机运行时，所述计算机执行如权利要求26至38中任一项所述的解码方法。

Images