CN113613008A - 一种视频编解码的方法、装置、电子设备及存储介质 - Google Patents
一种视频编解码的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113613008A CN113613008A CN202110962461.7A CN202110962461A CN113613008A CN 113613008 A CN113613008 A CN 113613008A CN 202110962461 A CN202110962461 A CN 202110962461A CN 113613008 A CN113613008 A CN 113613008A
- Authority
- CN
- China
- Prior art keywords
- alpha
- coding
- block
- data
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007906 compression Methods 0.000 claims abstract description 22
- 230000006835 compression Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 34
- 238000013139 quantization Methods 0.000 claims description 27
- 241000023320 Luma <angiosperm> Species 0.000 claims description 17
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频编解码的方法、装置、电子设备及存储介质，该编码方法包括：将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。保证了Alpha数据与YUV数据同步性的同时，降低了Alpha数据的带宽占用，从而提高视频的压缩效率。
Description
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种视频编解码的方法、装置、电子设备及存储介质。
背景技术
当前，主流的视频压缩标准处理的都是YUV格式的数据，YUV数据经过编码后传输至解码端，由解码端进行解码后得到的也是YUV格式的数据，然后显示装置或者后处理部分将YUV数据转换成RGB数据进行显示呈现。
普通的视频采用上述视频传输技术是没有问题的，但对于RGBA(RGBA是代表Red(红色)、Green(绿色)、Blue(蓝色)和阿尔法Alpha的色彩空间)格式的视频，当使用上述视频传输技术进行处理时，会将Alpha通道信息丢掉，只会进行RGB通道的转码、压码，转码为YUV数据。Alpha信息的缺失使得无法进行后续背景剔除、Alpha混合处理以及模板处理等。
发明内容
本申请提供一种视频编解码的方法、装置、电子设备及存储介质，以对包含Alpha数据的视频进行编解码，节省了Alpha数据的传输带宽，提高了对存在Alpha数据的视频的编解码效率。
第一方面，本申请实施例提供了一种视频编码的方法，所述方法包括：
将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；
在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
第二方面，本申请实施例还提供了一种视频解码的方法，所述方法包括：
接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素；
根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
第三方面，本申请实施例还提供了一种视频编码的装置，所述装置包括：
CU划分模块，用于将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；
CU编码模块，用于在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
第四方面，本申请实施例还提供了一种视频解码的装置，所述装置包括：
码流接收模块，用于接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素；
解码模块，用于根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
第五方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面或第二方面的方法。
第六方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面或第二方面的方法。
本申请具有如下有益效果：
在本实施例中，在对CU进行编码压缩时，将Alpha数据与YUV数据同步编码压缩，Alpha数据保持了和YUV数据一样的压缩率，保证了Alpha数据与YUV数据同步性的同时，降低了Alpha数据的带宽占用，从而提高视频的压缩效率。
另外，在进行解码时，通过对包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素的视频码流进行解码，可以获得码流中的Alpha数据，便于后续进行后续背景剔除、Alpha混合处理以及模板处理等。
附图说明
图1是本申请实施例一提供的一种视频编码的方法实施例的流程图；
图2是本申请实施例二提供的一种视频解码的方法实施例的流程图；
图3是本申请实施例三提供的一种视频编码的装置实施例的结构框图；
图4是本申请实施例四提供的一种视频解码的装置实施例的结构框图；
图5是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种视频编码的方法实施例的流程图，本实施例可以用于对包含阿尔法通道(Alpha通道)数据的视频流进行编码的场景。其中，Alpha通道数据用于表征一帧图像中各像素点透明度的附加信息，利用Alpha通道的透明特性可以制作丰富的图像效果。例如：一个使用每个像素16比特存储的位图，对于图中的每一个像素而言，可能以5个比特表示红色(R)，5个比特表示绿色(G)，5个比特表示蓝色(B)，最后一个比特是Alpha。在这种情况下，它要么表示透明要么表示不透明，因为Alpha比特的值有0或1两种不同表示的可能性。又如，一个使用32个比特存储的位图，每8个比特表示RGB和Alpha，在这种情况下，就不光可以表示透明和不透明，Alpha通道还可以表示256级的半透明度，因为Alpha通道有8个比特可以有256种不同的数据表示可能性。
本实施例可以应用于编码器中，如图1所示，本实施例可以包括如下步骤：
步骤110，将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块。
在本实施例中，待编码的视频帧中可以包括亮度分量、色度分量以及阿尔法Alpha分量，则当前编码器可以为能够对亮度分量、色度分量以及Alpha分量进行编码处理的编码器。
在一种实施例中，可以采用如下方式获得包含亮度分量、色度分量以及Alpha分量的视频帧：
从当前待编码的RGBA图像格式的视频帧中提取出RGB数据以及Alpha数据；将所述RGB数据转换成YUV数据；将所述Alpha数据嵌入所述YUV数据中，生成包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧。
具体的，待编码的视频流可以为RGBA格式的视频流，视频流中各视频帧也是RGBA格式的图像。其中，RGBA数据是代表红色(Red)、绿色(Green)、蓝色(Blue)和透明度信息(Alpha)的色彩空间，RGB是工业界的一种颜色标准，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
对于RGBA格式的视频帧，其每个像素点中的像素值为RGBA值，即，每个像素点的像素值包括R分量像素值、G分量像素值、B分量像素值和Alpha分量像素值。通过对每个像素点的RGBA像素值进行分离，可以得到每个像素点的RGB像素值以及Alpha分量像素值。
然后对于每个像素点的RGB像素值，可以将其转换为YUV值，其中，Y通道数据表示亮度，也即灰阶值；U、V二通道数据表示色度，可以用于指定像素的颜色。
在一实施方式中，可以采用如下公式，将各像素的RGB颜色数据转换为YUV数据：
Y＝0.299R+0.587G+0.114B
U＝-0.1687R-0.3313G+0.5B+128
V＝0.5R-0.4187G-0.0813B+128
在得到每个像素点的YUV数据以后，可以将每个像素点的Alpha通道数据与其YUV数据结合，最终生成YUVA(YUV+Alpha)视频帧。
针对当前YUVA格式的视频帧，可以按照设定分割机制将其划分成多个编码单元CU。其中，根据视频帧内容或者编码标准的不同，可以有不同的分割机制。例如，在高效视频编码(High Efficiency Video Coding，HEVC)(也称为H.265和MPEG-H第2部分)中，可以首先将视频帧分为编码树单元(coding treeunit，CTU)，这些编码树单元是预定义大小(例如，64个像素×64个像素)的块。CTU包括亮度像素点、色度像素点和Alpha像素点。然后可以采用编码树将CTU分成块，并递归地细分这些块，直到获得支持进一步编码的配置。比如，可以对帧的亮度分量进行细分，直到各个亮度块(即亮度编码块)包括相对均匀的亮度值；还可以对帧的色度分量进行细分，直到各个色度块包括相对均匀的颜色值；还可以对帧的Alpha分量进行细分，直到各个Alpha块包括相对均匀的透明度值。
步骤120，在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
在本实施例中，基于现有的HEVC视频编码技术标准，在亮度数据以及色度数据的基础上，引入Alpha通道数据，整个编码环节都新增了对Alpha通道数据的处理，从而在对Alpha通道数据进行压缩的同时，保证了Alpha通道数据与亮度数据及色度数据的同步处理。
基于现有的HEVC视频编码技术标准，编码压缩流程可以包括如下处理阶段：预测处理、变换量化处理、熵编码处理、反变换量化处理、滤波处理、重建处理等。具体可以包括如下过程：首先，视频编码器将输入视频图像划分为互不重叠的编码单元；然后进行预测编码，主要利用视频的空间相关性和时间相关性，分别采用帧内预测和帧间预测去除时空域冗余信息，从而得到预测图像块；然后将预测图像块与原始图像块作差得到预测残差块，再对预测残差进行离散余弦变换(Discrete Cosine Transform，简称DCT)和量化，获得量化的DCT系数；最后对量化后的DCT系数进行熵编码，得到压缩码流。
在本实施例中，增加了Alpha通道数据以后，在预测处理阶段，根据当前CU划分出的多个预测单元PU中，可以包括亮度预测块PB、色度预测块PB以及Alpha预测块PB，同时还包括相关的语法元素。然后分别对亮度PB、色度PB以及Alpha PB进行帧内预测和帧间预测，以确定亮度PB、色度PB以及Alpha PB分别对应的最优预测块；最后分别计算亮度PB、色度PB以及Alpha PB与其对应的最优预测块的残差信号，作为预测处理的处理结果。
关于各PB的最优预测模式的流程可描述为：基于某种模式选择判据，遍历可能候选模式，计算各种模式在当前判据下的编码代价，选择编码代价最小模式作为最优预测模式。
经过预测处理后，得到预测块的残差信号，为了压缩残差信号的统计冗余，需要对残差信号进行变换处理和量化处理。在变换处理阶段，根据当前CU划分出的多个变换单元TU中，可以包括亮度变换块TB、色度变换块TB以及Alpha变换块TB，同时还包括相关的语法元素。然后分别对亮度TB、色度TB以及Alpha TB进行DCT变换处理和量化处理，获得对应的量化参数。其中，变换处理和量化处理的流程可以为：对TB块进行DCT变换(DiscreteCosine Transform，离散余弦变换)，得到DC系数和AC系数，然后对DC系数进行Hadamard(哈达玛积)变换，然后对DC系数和AC系数进行量化。量化是通过多对一的映射，降低比特率。主要有均匀量化、非均匀量化和自适应量化等。根据最优量化器设计准则：最佳量化区间的边界值为相邻两个最佳量化值的平均数，最佳量化值为所在量化区间的均值。
在熵编码处理阶段，通过对量化参数进行熵编码，从而将其以比特流的形式输出。本实施例在熵编码阶段产生的熵编码语法中也增加了对Alpha数据的描述性语句，以保证解码端可以正确解码还原alpha数据。
在一种示例中，熵编码语法中可以包括：包含Alpha分量的序列参数sps，如下表所示：
| seq_parameter_set_rbsp(){ | C | 描述符 |
| profile_idc | u(8) | |
| constraint_set0_flag | u(1) | |
| constraint_set1_flag | u(1) | |
| constraint_set2_flag | u(1) | |
| enable_alpha_flag | u(1) |
其中，“enable_alpha_flag”就是新增的关于Alpha数据的sps。
在另一种示例中，熵编码语法中还可以包括：包含Alpha分量的残差熵语法，新增的Alpha分量的残差熵语法如下表所示：
其中，上表中，“……”部分为现有的熵编码语法，该熵编码语法中可以包括对色度数据、亮度数据的描述信息。
在本实施例中，在对CU进行编码压缩时，将Alpha数据与YUV数据同步编码压缩，Alpha数据保持了和YUV数据一样的压缩率，保证了Alpha数据与YUV数据同步性的同时，降低了Alpha数据的带宽占用，从而提高视频的压缩效率。
实施例二
图2为本申请实施例二提供的一种视频解码的方法实施例的流程图，本实施例可以用于对包含阿尔法数据的视频码流进行解码的场景。可以包括如下步骤：
步骤210，接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素。
步骤220，根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
具体的，视频解码的流程和编码流程正好相反，在进行解码时，首先对码流进行熵解码，得到扫描后的量化系数，再经过反扫描、反量化和反变换，得到解码后的残差系数，然后经过运动补偿得到解码的重建图像，该重建图像包括亮度数据、色度数据以及Alpha数据。
解码器输出包含亮度数据、色度数据以及Alpha数据的视频帧以后，可以由显示装置或者后处理部分将亮度数据以及色度数据转换成RGB数据，然后将RGB数据与Alpha数据结合成RGBA数据显示给用户使用。
在本实施例中，通过对包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素的视频码流进行解码，可以获得码流中的Alpha数据，便于后续进行后续背景剔除、Alpha混合处理以及模板处理等。
实施例三
图3为本申请实施例三提供的一种视频编码的装置实施例的结构框图，可以包括如下模块：
CU划分模块310，用于将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；
CU编码模块320，用于在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
在一种实施例中，所述编码压缩处理包括预测处理，所述CU编码模块320进一步可以包括如下子模块：
预测处理子模块，用于将所述CU划分成多个预测单元PU，所述PU包括亮度预测块、色度预测块以及Alpha预测块；分别对所述亮度预测块、所述色度预测块以及所述Alpha预测块进行帧内预测和帧间预测，以确定所述亮度预测块、所述色度预测块以及所述Alpha预测块分别对应的最优预测块；分别计算所述亮度预测块、所述色度预测块以及所述Alpha预测块与其对应的最优预测块的残差信号。
在一种实施例中，所述编码压缩处理还包括变换量化处理；所述CU编码模块320进一步可以包括如下子模块：
变换量化子模块，用于将所述CU划分成多个变换单元TU，所述TU包括亮度变换块、色度变换块以及Alpha变换块；分别对所述亮度变换块、色度变换块以及Alpha变换块进行DCT变换处理和量化处理，获得对应的量化参数。
在一种实施例中，所述编码压缩处理还包括熵编码处理；
所述CU编码模块320进一步可以包括如下子模块：
熵编码子模块，用于分别对所述亮度变换块、色度变换块以及Alpha变换块的量化参数进行熵编码，并以比特流的形式输出。
在一种实施例中，所述相关语法元素包括熵编码阶段产生的熵编码语法；所述熵编码语法包括：包含Alpha分量的序列参数，以及包含Alpha分量的残差熵语法。
在一种实施例中，所述包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧采用如下方式获得：
从当前待编码的RGBA图像格式的视频帧中提取出RGB数据以及Alpha数据；
将所述RGB数据转换成YUV数据；
将所述Alpha数据嵌入所述YUV数据中，生成包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧。
需要说明的是，本申请实施例所提供的上述一种视频编码的装置可执行本申请实施例一所提供的一种视频编码的方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本申请实施例四提供的一种视频解码的装置实施例的结构框图，可以包括如下模块：
码流接收模块410，用于接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素；
解码模块420，用于根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
需要说明的是，本申请实施例所提供的上述一种视频解码的装置可执行本申请实施例二所提供的一种视频解码的方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本申请实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器510、存储器520、输入装置530和输出装置540；电子设备中处理器510的数量可以是一个或多个，图5中以一个处理器510为例；电子设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的方法。
存储器520可主要包括存储程序区和存储数据区，其中，存储程序区
可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本申请实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由服务器的处理器执行时用于执行实施例一或的实施例二中任一实施例中的方法。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (11)
1.一种视频编码的方法，其特征在于，所述方法包括：
将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；
在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
2.根据权利要求1所述的方法，其特征在于，所述编码压缩处理包括预测处理，所述在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，包括：
将所述CU划分成多个预测单元PU，所述PU包括亮度预测块、色度预测块以及Alpha预测块；
分别对所述亮度预测块、所述色度预测块以及所述Alpha预测块进行帧内预测和帧间预测，以确定所述亮度预测块、所述色度预测块以及所述Alpha预测块分别对应的最优预测块；
分别计算所述亮度预测块、所述色度预测块以及所述Alpha预测块与其对应的最优预测块的残差信号。
3.根据权利要求2所述的方法，其特征在于，所述编码压缩处理还包括变换量化处理；
所述在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，包括：
将所述CU划分成多个变换单元TU，所述TU包括亮度变换块、色度变换块以及Alpha变换块；
分别对所述亮度变换块、色度变换块以及Alpha变换块进行离散余弦变换处理和量化处理，获得对应的量化参数。
4.根据权利要求3所述的方法，其特征在于，所述编码压缩处理还包括熵编码处理；
所述在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，包括：
分别对所述亮度变换块、色度变换块以及Alpha变换块的量化参数进行熵编码，并以比特流的形式输出。
5.根据权利要求4所述的方法，其特征在于，所述相关语法元素包括熵编码阶段产生的熵编码语法；所述熵编码语法包括：包含Alpha分量的序列参数，以及包含Alpha分量的残差熵语法。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧采用如下方式获得：
从当前待编码的RGBA图像格式的视频帧中提取出RGB数据以及Alpha数据；
将所述RGB数据转换成YUV数据；
将所述Alpha数据嵌入所述YUV数据中，生成包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧。
7.一种视频解码的方法，其特征在于，所述方法包括：
接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素；
根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
8.一种视频编码的装置，其特征在于，所述装置包括：
CU划分模块，用于将当前包含亮度分量、色度分量以及阿尔法Alpha分量的视频帧划分成多个编码单元CU，其中，各编码CU分别包括亮度编码块、色度编码块及阿尔法Alpha编码块；
CU编码模块，用于在对当前CU进行编码时，分别对所述亮度编码块、色度编码块和阿尔法Alpha编码块进行编码压缩处理，并将编码压缩结果以及对应的相关语法元素输入至码流进行传输，所述相关语法元素包括与所述Alpha编码块对应的语法元素。
9.一种视频解码的装置，其特征在于，所述装置包括：
码流接收模块，用于接收当前帧的待解码视频码流，所述待解码视频码流中包括亮度比特流、色度比特流、Alpha比特流以及相关语法元素；
解码模块，用于根据所述相关语法元素，分别对所述亮度比特流、色度比特流、Alpha比特流进行解码，获得包含亮度数据、色度数据以及Alpha数据的重建视频帧。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962461.7A CN113613008A (zh) | 2021-08-20 | 2021-08-20 | 一种视频编解码的方法、装置、电子设备及存储介质 |
| PCT/CN2022/113182 WO2023020560A1 (zh) | 2021-08-20 | 2022-08-18 | 视频编解码的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962461.7A CN113613008A (zh) | 2021-08-20 | 2021-08-20 | 一种视频编解码的方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113613008A true CN113613008A (zh) | 2021-11-05 |
Family
ID=78341516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962461.7A Pending CN113613008A (zh) | 2021-08-20 | 2021-08-20 | 一种视频编解码的方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113613008A (zh) |
| WO (1) | WO2023020560A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115396730A (zh) * | 2022-07-21 | 2022-11-25 | 广州方硅信息技术有限公司 | 视频图像的处理方法、计算机设备及存储介质 |
| WO2023020560A1 (zh) * | 2021-08-20 | 2023-02-23 | 百果园技术(新加坡)有限公司 | 视频编解码的方法、装置、电子设备及存储介质 |
| WO2024149392A1 (en) * | 2023-01-13 | 2024-07-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for visual data processing |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116248895B (zh) * | 2023-05-06 | 2023-07-21 | 上海扬谷网络科技有限公司 | 虚拟现实全景漫游的视频云转码方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151207A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 画像符号化方法 |
| US20050196062A1 (en) * | 2004-03-05 | 2005-09-08 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding image containing gray alpha channel image |
| JP2006094081A (ja) * | 2004-09-24 | 2006-04-06 | Sony Corp | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| KR20060041770A (ko) * | 2004-03-05 | 2006-05-12 | 삼성전자주식회사 | 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 |
| US20090284651A1 (en) * | 2008-05-19 | 2009-11-19 | Microsoft Corporation | Quantization and differential coding of alpha image data |
| CN101742317A (zh) * | 2009-12-31 | 2010-06-16 | 北京中科大洋科技发展股份有限公司 | 一种带阿尔法透明通道的视频压缩编码方法 |
| CN104041048A (zh) * | 2011-11-09 | 2014-09-10 | Sk电信有限公司 | 利用跳过模式进行视频编码和解码的方法和设备 |
| WO2015009098A1 (ko) * | 2013-07-18 | 2015-01-22 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| CN105359521A (zh) * | 2013-06-28 | 2016-02-24 | 黑莓有限公司 | 用于对高保真编码器中的低保真编码进行仿真的方法和设备 |
| CN106375759A (zh) * | 2016-08-31 | 2017-02-01 | 深圳超多维科技有限公司 | 一种视频图像数据的编、解码方法及装置 |
| US20180124419A1 (en) * | 2016-10-28 | 2018-05-03 | Blackberry Limited | 3d transform and inter prediction for video coding |
| CN108471536A (zh) * | 2018-03-14 | 2018-08-31 | 重庆虚拟实境科技有限公司 | Alpha通道传输方法及装置、终端装置及存储介质 |
| CN113115041A (zh) * | 2021-03-15 | 2021-07-13 | 广州匠芯创科技有限公司 | 支持alpha通道的无损图片压缩方法、装置及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1534018B1 (en) * | 2003-11-21 | 2008-11-12 | Samsung Electronics Co., Ltd. | Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same |
| CN113613008A (zh) * | 2021-08-20 | 2021-11-05 | 百果园技术(新加坡)有限公司 | 一种视频编解码的方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-20 CN CN202110962461.7A patent/CN113613008A/zh active Pending
-
2022
- 2022-08-18 WO PCT/CN2022/113182 patent/WO2023020560A1/zh unknown
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151207A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 画像符号化方法 |
| US20050196062A1 (en) * | 2004-03-05 | 2005-09-08 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding image containing gray alpha channel image |
| KR20060041770A (ko) * | 2004-03-05 | 2006-05-12 | 삼성전자주식회사 | 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 |
| JP2006094081A (ja) * | 2004-09-24 | 2006-04-06 | Sony Corp | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| US20090284651A1 (en) * | 2008-05-19 | 2009-11-19 | Microsoft Corporation | Quantization and differential coding of alpha image data |
| CN101742317A (zh) * | 2009-12-31 | 2010-06-16 | 北京中科大洋科技发展股份有限公司 | 一种带阿尔法透明通道的视频压缩编码方法 |
| CN104041048A (zh) * | 2011-11-09 | 2014-09-10 | Sk电信有限公司 | 利用跳过模式进行视频编码和解码的方法和设备 |
| CN105359521A (zh) * | 2013-06-28 | 2016-02-24 | 黑莓有限公司 | 用于对高保真编码器中的低保真编码进行仿真的方法和设备 |
| WO2015009098A1 (ko) * | 2013-07-18 | 2015-01-22 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| CN106375759A (zh) * | 2016-08-31 | 2017-02-01 | 深圳超多维科技有限公司 | 一种视频图像数据的编、解码方法及装置 |
| US20180124419A1 (en) * | 2016-10-28 | 2018-05-03 | Blackberry Limited | 3d transform and inter prediction for video coding |
| CN108471536A (zh) * | 2018-03-14 | 2018-08-31 | 重庆虚拟实境科技有限公司 | Alpha通道传输方法及装置、终端装置及存储介质 |
| CN113115041A (zh) * | 2021-03-15 | 2021-07-13 | 广州匠芯创科技有限公司 | 支持alpha通道的无损图片压缩方法、装置及介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023020560A1 (zh) * | 2021-08-20 | 2023-02-23 | 百果园技术(新加坡)有限公司 | 视频编解码的方法、装置、电子设备及存储介质 |
| CN115396730A (zh) * | 2022-07-21 | 2022-11-25 | 广州方硅信息技术有限公司 | 视频图像的处理方法、计算机设备及存储介质 |
| WO2024149392A1 (en) * | 2023-01-13 | 2024-07-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for visual data processing |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023020560A1 (zh) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113613008A (zh) | 一种视频编解码的方法、装置、电子设备及存储介质 | |
| US10038908B2 (en) | Palette mode in high efficiency video coding (HEVC) screen content coding (SCC) | |
| US5164819A (en) | Method and system for coding and compressing color video signals | |
| US10506254B2 (en) | Features of base color index map mode for video and image coding and decoding | |
| CN110446041B (zh) | 一种视频编解码方法、装置、系统及存储介质 | |
| JP2022529763A (ja) | エンコーダ、デコーダ、および対応するイントラ予測方法 | |
| US8873625B2 (en) | Enhanced compression in representing non-frame-edge blocks of image frames | |
| KR102370754B1 (ko) | 레지듀얼 코딩 방법 및 그 장치 | |
| CN107483942B (zh) | 视频数据压缩码流的解码、视频数据的编码方法及装置 | |
| JP2017508415A (ja) | 画像符号化／復号方法及び装置 | |
| JP7358473B2 (ja) | 多仮説予測を用いたブロックのための最確モードリスト構成のエンコーダ、デコーダ、および対応する方法 | |
| KR20070009486A (ko) | 영상 부호화 및 복호화 방법과 장치 | |
| CN112995664B (zh) | 图像采样格式转换方法、计算机可读存储介质和编码器 | |
| CN113796078A (zh) | 帧内预测模式相关的编码器、解码器及对应方法 | |
| CN113660489B (zh) | 用于帧内子划分的解码方法、装置、解码器和存储介质 | |
| CN115039406A (zh) | 编码器、解码器和用于在序列参数集中指示子图像的对应方法 | |
| CN117294859A (zh) | 视频解码方法、视频编码方法以及发送数据的方法 | |
| CN114846789A (zh) | 用于指示条带的图像分割信息的解码器及对应方法 | |
| CN112740703B (zh) | 编码器、解码器和用于变换处理的对应方法 | |
| CN110708547B (zh) | 针对变换模式的有效熵编码组分组方法 | |
| CN114762339B (zh) | 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码 | |
| CN117241032A (zh) | 采用多种采样格式的图像及其序列、视频压缩方法和装置 | |
| CN108989820B (zh) | 各阶段采用各自相应色度采样格式的数据压缩方法和装置 | |
| CN113574870A (zh) | 编码器、解码器及对应的使用帧内模式译码进行帧内预测的方法 | |
| JPH03283989A (ja) | カラー画像符号化方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |