CN111212288B - 视频数据的编解码方法、装置、计算机设备和存储介质 - Google Patents

视频数据的编解码方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111212288B
CN111212288B CN202010021035.9A CN202010021035A CN111212288B CN 111212288 B CN111212288 B CN 111212288B CN 202010021035 A CN202010021035 A CN 202010021035A CN 111212288 B CN111212288 B CN 111212288B
Authority
CN
China
Prior art keywords
image
frame
video data
recovery
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010021035.9A
Other languages
English (en)
Other versions
CN111212288A (zh
Inventor
李鑫钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010021035.9A priority Critical patent/CN111212288B/zh
Publication of CN111212288A publication Critical patent/CN111212288A/zh
Application granted granted Critical
Publication of CN111212288B publication Critical patent/CN111212288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频数据的编解码方法、装置、计算机设备和存储介质，该视频数据的编码方法包括：接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；对所述I帧生成图像特征；在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。在不明显增加I帧的压缩率和原始视频数据整体压缩率的前提下，减少I帧的数据量，从而减少目标视频数据的数据量，提高压缩比。

Description

视频数据的编解码方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及视频处理的技术，尤其涉及一种视频数据的编解码方法、装置、计算机设备和存储介质。
背景技术
随着互联网的迅速发展，视频数据成为内容的主要的承载媒介，尤其是视频数据正在朝着高清-超清的方向发展，视频数据的传输占据了互联网传输的大部分带宽，在给用户带来丰富体验的同时带来了存储和传输的压力。
为了降低视频数据的体积，目前多使用H.264、H.265等传统的编码方式对视频数据进行压缩，再进行传输、存储。
但是，压缩之后的视频数据依然存储有比较多的图像数据，压缩比较低，体积依然比较大，如CPU(central processing unit，中央处理器)、带宽等传输、存储所消耗的资源比较大。
发明内容
本发明实施例提供一种视频数据的编解码方法、装置、计算机设备和存储介质，以解决传统的编码方式对视频数据进行压缩，压缩比较低的问题。
第一方面，本发明实施例提供了一种视频数据的编码方法，包括：
接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
对所述I帧生成图像特征；
在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
第二方面，本发明实施例还提供了一种视频数据的解码方法，包括：
接收目标视频数据；
对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征；
将所述图像特征复原为原始图像数据；
在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
第三方面，本发明实施例还提供了一种视频数据的编码装置，包括：
原始视频数据接收模块，用于接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
图像特征生成模块，用于对所述I帧生成图像特征；
原始图像数据替换模块，用于在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
编码模块，用于对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
第四方面，本发明实施例还提供了一种视频数据的解码装置，包括：
目标视频数据接收模块，用于接收目标视频数据；
第一解码模块，用于对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征；
原始图像数据复原模块，用于将所述图像特征复原为原始图像数据；
图像特征替换模块，用于在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
第二解码模块，用于参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频数据的编码方法，或者，如第一方面所述的视频数据的解码方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面所述的视频数据的编码方法，或者，如第一方面所述的视频数据的解码方法。
在本实施例中，接收原始视频数据，视频数据的图像组中包括作为I帧的原始图像数据、非I帧，对I帧生成图像特征，在图像组中，将图像特征替换原始图像数据，作为新的I帧，对图像特征进行编码、参考原始图像数据对非I帧进行编码，以生成目标视频数据，通过对I帧学习紧凑表示，获得图像特征，进而对图像特征进行编码，兼容现有的编码方式，在不明显增加I帧的压缩率和原始视频数据整体压缩率的前提下，减少I帧的数据量，从而减少目标视频数据的数据量，提高压缩比。
附图说明
图1为本发明实施例一提供的一种视频数据的编码方法的流程图；
图2为一种编码的结构示意图；
图3为本发明实施例一提供的一种图像压缩模型的结构示意图；
图4是本发明实施例二提供的一种视频数据的解码方法的流程图；
图5为本发明实施例二提供的一种图像复原模型的结构示意图；
图6为本发明实施例三提供的一种视频数据的编码装置的结构示意图；
图7为本发明实施例四提供的一种视频数据的解码装置的结构示意图；
图8为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频数据的编码方法的流程图，本实施例可适用于对原始视频数据压缩I帧并进行编码的情况，该方法可以由视频数据的编码装置来执行，该视频数据的编码装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，移动终端(如手机、平板电脑等)、智能穿戴设备(如智能眼镜、智能手表等)、个人电脑、服务器，等等，该方法具体包括如下步骤：
S101、接收原始视频数据。
在本实施例中，计算机设备的操作系统包括windows、Android(安卓)、iOS、鸿蒙等，在该操作系统中安装有支持对视频数据进行编码的应用程序，如播放器、直播应用、短视频应用，等等。
这些应用程序在运行时，可通过调用摄像头采集、截屏等方式获取视频数据，这些视频数据为原始的格式，如YUV(“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma))，可作为原始视频数据。
在原始视频数据中，具有多个GOP(Group of Pictures，图像组)，GOP中通常具有如下原始图像数据：
1、I帧
I帧即Intra-coded picture(帧内编码图像帧)，又称关键帧，这一帧画面的完整保留，不参考其他帧，利用本帧的信息进行编码。
I帧具有如下特点:
解码时用I帧的数据可重构完整的图像数据；
I帧描述了图像背景和运动主体的详情；
I帧不参考其他图像数据而生成；
I帧是P帧和B帧的参考帧，其质量直接影响到同GOP中以后各帧的质量；
I帧是帧组GOP的基础帧(第一帧)，在一组中只有一个I帧；
I帧不考虑运动矢量；
I帧所占数据的信息量比较大。
2、非I帧
2.1、P帧
P帧即Predictive-codedPicture(预测编码图像帧)，P帧表示的是这一帧与之前的一个帧(I帧或P帧)的差别，采用运动预测的方式进行帧间预测编码，即解码时用之前缓存的帧叠加上本帧定义的差别，生成最终的画面(也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据)。
进一步而言，对于P帧的预测与重构，P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。
P帧具有如下特点:
P帧是I帧后面相隔1～2帧的编码帧；
P帧采用运动补偿的方法传送它与前面的I帧或P帧的差值及运动矢量(预测误差)；
解码时将I帧中的预测值与预测误差求和后重构完整的P帧图像；
P帧属于前向预测的帧间编码，它考前面最靠近它的I帧或P帧；
P帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧；
由于P帧是参考帧，它可能造成解码错误的扩散；
由于是差值传送，P帧的压缩比较高。
2.2、B帧
B帧即Bidirectionallypredicted picture(双向预测编码图像帧)，B帧是双向差别帧，它既需要之前的帧(I帧或P帧)，也需要后来的帧(P帧)，采用运动预测的方式进行帧间双向预测编码。解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
进一步而言，对于B帧的预测与重构，B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量，并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。
B帧具有如下特点
B帧是由前面的I或P帧和后面的P帧来进行预测的；
B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量；
B帧是双向预测编码帧；
B帧压缩比最高，因为它只反映丙参考帧间运动主体的变化情况，预测比较准确；
B帧不是参考帧，不会造成解码错误的扩散。
因此，在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量。
需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。
S102、对所述I帧生成图像特征。
在编码器的前端，去除原I帧的部分冗余信息，学习原I帧的紧凑表示，即图像特征，便于解码时对原I帧精确复原。
在本发明的一个实施例中，S102包括如下步骤：
S1021、将所述I帧切分为宏块。
S1022、将所述宏块切分为子块。
如图2所示，原I帧201包含一个或多个片(Slice)202，而每一个片202包含整数个宏块(Macro Block)203，即每一个片202至少一个宏块203，最多时每一个片202包整个I帧201的宏块203。
其中，宏块203可以包含数个子块(Sub Block)204，是视频信息的主要承载者，它包含着每一个像素的亮度和色度信息。视频解码最主要的工作则是提供高效的方式从码流中获得宏块中的像素阵列，即宏块203、子块204为H.264等编码方式中的一级结构单位，也就是每个宏块或子块保存着I帧的局部图像数据。
一个宏块通常由一个16×16亮度像素和附加的一个8×8Cb和一个8×8Cr彩色像素块组成，在原I帧中，若干宏块被排列成片的形式。
为了尽可能兼容现有H.264等编码方式，在本实施例中，根据原I帧内容的不同，可以将原I帧切割为由YCbCr色彩编码构成的宏块或者子块。
S1023、确定图像压缩模型。
S1024、使用所述图像压缩模型对所述宏块或所述子块进行压缩，以生成所述宏块或所述子块的图像特征。
在本实施例中，预先训练图像压缩模型，该图像压缩模型为较小的模型，可用于微图像压缩中提取图像特征。
将原I帧中的宏块或子块输入图像压缩模型中进行处理，即对宏块或子块进行压缩，从而输出宏块或子块的图像特征。
在本实施例的一个示例中，由于获取原I帧紧凑表示(即图像特征)是一个从高维到低纬的视觉任务，同时考虑编解码框架的时间复杂度，在本示例中，如图3所示，图像压缩模型为卷积神经网络(Convolutional Neural Networks，CNN)，使用三层卷积结构，即图像压缩模型包括第一压缩卷积层301、第二压缩卷积层302、第三压缩卷积层303。图像压缩模型利用CNN擅于从图像中提取空间和结构信息的特点，能将I帧提取的信息以一种更加紧凑的结构进行存储，达到压缩的作用。
在本示例中，S1024可以包括如下步骤：
S10241、在所述第一压缩卷积层中，对所述宏块或所述子块进行卷积操作，以生成第一压缩图像。
第一压缩卷积层，称之为特征提取层，用于提取原I帧中的特征信息，为了更好抓住原I帧的结构信息。
在具体实现中，在第一压缩卷积层Conv中，使用预设的第一压缩卷积核对子块进行卷积操作，以生成第一压缩图像，其中，为了适应宏块或子块的小尺寸，第一压缩卷积核的尺寸小于宏块或子块的尺寸。
使用ReLU(The Rectified Linear Unit，修正线性单元)等方式对第一压缩图像进行激活。
S10242、在所述第二压缩卷积层中，对所述第一压缩图像进行卷积操作，以生成第二压缩图像。
第二压缩卷积层，称之为特征增强层，缩小特征信息的尺寸。
在具体实现中，在第二压缩卷积层Conv中，使用预设的第二卷积核对第一压缩图像进行卷积操作，以生成第二压缩图像，其中，为了适应宏块或子块的小尺寸，第二压缩卷积核的尺寸小于宏块或子块的尺寸。
使用BN(Batch Normalization，批量标准化)等算法对第二压缩图像进行归一化。
使用ReLU等算法对归一化之后的第二压缩图像进行激活。
S10243、在所述第三压缩卷积层中，对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征。
第三压缩卷积层，称之为特征重建层，生成和原I帧相同的通道数(彩色图像为3，灰度图像为1)。
在具体实现中，在第三压缩卷积层Conv中，使用第三卷积核对第二压缩图像进行卷积操作，以生成第三压缩图像，作为宏块或所述子块的图像特征，其中，为了适应宏块或子块的小尺寸，第三压缩卷积核的尺寸小于宏块或子块的尺寸。
以16×16的宏块为例，以图像压缩模型替代原本宏块中的YCbCr色彩编码，结构为第一压缩卷积层配置4个3×3×c个第一压缩卷积核、第二压缩卷积层中配置4个3×3×4个第二压缩卷积核、第三压缩卷积层中配置c个3×3×4个第三压缩卷积核。其中，c为宏块的通道数，第一压缩卷积核、第二压缩卷积核与第三压缩卷积核的步长选择3，为经验较优值。卷积通道数选择为4，以依3×3的图像的四个角的像素为基准，其余五个像素点通过CNN学习过渡结构。
在H.264等编码方式中，使用16×16的规格对原I帧切割宏块，以及，根据宏块的颜色空间分布，在切割为8×16、8×8、8×4、4×4等的子块，以降低块的颜色分布平坦度，进一步降低可压缩率。因此，在H.264等编码方式下，每个宏块或者子块的主要信息剩下少量的颜色种类与颜色过渡结构，可以大幅度缩小图像压缩模型，且较小的图像压缩模型能有效减少计算的时间复杂度，降低运算时间和性能消耗。
S103、在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧。
在本实施例中，学习到的紧凑表示(即图像特征)可替换GOP中的原I帧(即原始图像数据)，作为新的I帧，待传输到传统的编码器进行编码。
S104、对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
在具体实现中，确定编码器，该编码器可以为传统的视频编码器，如JPEG(JointPhotographic Experts Group，联合图像专家小组)编码器，JPEG2000编码器，等等。
其中，JPEG编码器使用的是以离散余弦转换(Discrete Cosine Transform)为主的区块编码方式，但JPEG在高压缩率的情况下，容易出现方块效应，使得图像失真。而JPEG2000采用的是以小波转换(Wavelet Transform)为主的多解析编码方式，小波转换的主要目的是将图像的频率成分抽取出来，因此，JPEG2000能有效消除JPEG在高压缩率下的方块效应。
一方面，使用编码器对图像特征进行编码，获得第一编码数据，以及，将第一编码数据存储在目标视频数据中的第一位置。
另一方面，使用编码器参考原I帧(即原始图像数据)对非I帧(如B帧、P帧)进行编码，获得第二编码数据，以及，将第二编码数据存储在目标视频数据中的第二位置。
进一步而言，在图像特征为宏块或子块的紧凑表示时，编码器无需对图像特征再进行切割，而非I帧为整副图像数据，因此，编码器需要对非I帧进行切割，然后进行编码。
在不同的业务场景中，目标视频数据的形式有所不同，如直播节目、短视频、电视剧、电影等，在生成目标视频数据之后，则可以根据业务场景的需求，传输或存储目标视频数据。
以直播节目为例，目标视频数据与音频数据打包为流式数据，如MP4(MovingPicture Experts Group 4，动态图像专家组第四版)、FLV(Flash Video，流媒体格式)等等，通过RTSP(Real Time Streaming Protocol，实时流传送协议)、RTMP(Real TimeMessaging Protocol，实时消息传送协议)、HLS(HTTP Live Streaming，基于HTTP(HyperText Transport Protocol，超文本传输协议)的流媒体传输协议)等协议传输至直播平台，直播平台在相应的直播间发布该直播节目。
在H.264等编码方式中，对原始视频数据划分为多个序列(GOP)，每个序列的第一帧为I帧，其后为P帧或者B帧等非I帧。I帧为包含一个完整的图像数据，而其后的P帧或者B帧等非I帧则记录与其前或者后的帧的差值及运动矢量，根据运动补偿进行生成。
因此，由于I帧包含了完整的图像数据，为了减少I帧在GOP里对其后的P帧的传播误差，或者提高视频的清晰度，即便I帧使用了JPEG压缩编码，I帧的数据量在编码之后的视频数据中占了较大的比重。且整个GOP的帧渲染中，依赖于I帧的加载和解码，因此，在网络带宽不足情况下，为了避免I帧加载时间过长或者失败，使得整个GOP无法播放，以过度压缩I帧，降低整个GOP的清晰度的方法，会导致降低用户体验。
在本实施例中，接收原始视频数据，视频数据的图像组中包括作为I帧的原始图像数据、非I帧，对I帧生成图像特征，在图像组中，将图像特征替换原始图像数据，作为新的I帧，对图像特征进行编码、参考原始图像数据对非I帧进行编码，以生成目标视频数据，通过对I帧学习紧凑表示，获得图像特征，进而对图像特征进行编码，兼容现有的编码方式，在不明显增加I帧的压缩率和原始视频数据整体压缩率的前提下，减少I帧的数据量，从而减少目标视频数据的数据量，提高压缩比。
实施例二
图4为本发明实施例二提供的一种视频数据的解码方法的流程图，本实施例可适用于对目标视频数据解码并还原I帧的情况，该方法可以由视频数据的解码装置来执行，该视频数据的解码装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，移动终端(如手机、平板电脑等)、智能穿戴设备(如智能眼镜、智能手表等)、个人电脑、服务器，等等，该方法具体包括如下步骤：
S401、接收目标视频数据。
在本实施例中，计算机设备的操作系统包括windows、Android(安卓)、iOS、鸿蒙等，在该操作系统中安装有支持对视频数据进行解码的应用程序，如播放器、直播应用、短视频应用，等等。
这些应用程序在运行时，可以从本地的存储空间，读取目标视频数据，或者，接收服务器发送的目标视频数据。
其中，目标视频数据为经过如实施例一所示的编码方法进行编码的视频数据。
S402、对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧。
在具体实现中，确定解码器，该解码器可以为传统的视频解码器，如JPEG解码器，JPEG2000解码器，等等。
确定目标视频数据中处于第一位置的第一编码数据，其中，该第一位置用于指示原始视频数据中图像组GOP的I帧。
使用解码器对第一编码数据进行解码，获得图像特征。
S403、将所述图像特征复原为原始图像数据。
在本实施例中，解码出来的I帧为图像特征，该图像特征为对作为I帧的原始图像数据的紧凑表示，对其复原为原始图像数据，便于非I帧的解码。
在本发明的一个实施例中，S403可以包括如下步骤：
S4031、确定图像重建模型。
S4032、使用所述图像重建模型对所述图像特征复原为宏块或子块。
在本实施例中，预先训练图像重建模型，该图像重建模型为较小的模型，可用于将图像特征复原为微图像。
将各个图像特征输入图像重建模型进行处理，即将各个图像特征复原为宏块或子块。
在本实施例的一个示例中，由于复原宏块或子块是一个从低纬到高纬的视觉任务，需要填充图像的细节信息，在本示例中设计了较为复杂的图像重建模型，如图5所示，图像重建模型为卷积神经网络，该图像重建模型包括第一复原卷积层501、n个第二复原卷积层502、第三复原卷积层503，其中，n为正整数，一般而言，n≤18，优先地，n∈[2，5]。
在本示例中，S4032可以包括如下步骤：
S40321、在所述第一复原卷积层中，对所述图像特征进行反卷积操作，以生成第一复原图像。
图像重建模型中的第一复原卷积层,在图像压缩网络的第三压缩卷积层的基础上试图复原图像压缩网络的第二压缩卷积层，因此，一般图像重建网络的第一复原卷积层与图像压缩模型的第二压缩层的结构相同，如配置4个3×3×4的第一复原卷积核。
在具体实现中，在第一复原卷积层Conv中，使用预设的第一复原卷积核对图像特征进行反卷积操作，以生成第一复原图像，其中，为了适应宏块或子块的小尺寸，第一复原卷积核的尺寸小于宏块或子块的尺寸。
使用ReLU等算法对第一复原图像进行激活。
S40322、在n个所述第二复原卷积层中，对所述第一复原图像进行反卷积操作，以生成第二复原图像。
为了尽可能将图像压缩模型的第三压缩卷积层还原为第二压缩卷积层，图像重建模型需要多个第二复原卷积层学习图像中的颜色过渡结构，一遍通过仅有的四通道数据还原一个完整的图像。因此，在图像复原模型中都是使用第二复原卷积层进行学习，鉴于一个宏块或子块的空间解构简单得多，如配置4个3×3×4的第二复原卷积核，中间的第二复原卷积层的层数也会少得多。
在具体实现中，在每个第二复原卷积层Conv中，使用预设的第二卷积核对输入的第一中间图像进行反卷积操作，以生成第二中间图像，其中，为了适应宏块或子块的小尺寸，第二复原卷积核的尺寸小于宏块或子块的尺寸。
使用BN等算法对第二中间图像进行归一化。
使用ReLU等算法对归一化之后的第二中间图像进行激活。
需要说明的是，首个第一中间图像为所述第一复原图像，非最后一个第二中间图像用于作为第一中间图像输入下一个第二复原卷积层，最后一个第二中间图像为第二复原图像。
S40323、在所述第三复原卷积层中，对所述第二复原图像进行反卷积操作，以生成第三恢复图像，作为宏块或子块。
经过多层第二复原卷积层的复原，第三复原卷积层中可配置c个3×3×4的第三复原卷积核，对第二复原图像进行反卷积操作，从而最终复原宏块或子块。
在具体实现中，在第三复原卷积层Conv中，使用预设的第三复原卷积核对所述第二复原图像进行反卷积操作，以生成第三复原图像，作为宏块或子块，其中，为了适应宏块或子块的小尺寸，第三复原卷积核的尺寸小于宏块或子块的尺寸。
在本实施例中，通过图像复原模型的第一复原卷积层、第二复原卷积层、第三复原卷积层的处理，可以复原I帧，保证I帧的精确度，保证非I帧的解码精确度，从而保证原始视频数据的清晰度。
S4033、将所述子块组成宏块。
S4034、将所述宏块组成原始图像数据。
为了尽可能兼容现有H.264等编码方式，在本实施例中，将子块按照其原有的位置组成宏块，将宏块按照其原有的位置组成原始图像数据。
S404、在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧。
在本实施例中，对于复原的原始图像数据，可替换GOP中的紧凑表示(即图像特征)，作为新的I帧，待传输到传统的解码器对非I帧进行解码。
S405、参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
在具体实现中，确定解码器，该解码器可以为传统的视频解码器，如JPEG解码器，JPEG2000解码器，等等。
确定目标视频数据中处于第二位置的第二编码数据，其中，该第二位置用于指示图像组中的非I帧，如B帧、P帧。
使用解码器参考新的I帧(即原始图像数据)对第二编码数据进行解码，获得图像组中的非I帧。
在本实施例中，接收目标视频数据，对目标视频数据进行解码，获得原始视频数据中图像组的I帧，I帧为图像特征，将图像特征复原为原始图像数据，在图像组中，将原始图像数据替换图像特征，作为新的I帧，参考新的I帧对目标视频数据进行解码，获得图像组中的非I帧，通过对I帧解码获得图像特征，进而对非I帧进行解码，兼容现有的解码方式，在不明显增加I帧的压缩率和原始视频数据整体压缩率的前提下，减少I帧的数据量，从而减少目标视频数据的数据量，提高压缩比。
实施例三
图6为本发明实施例三提供的一种视频数据的编码装置的结构示意图，该装置具体可以包括如下模块：
原始视频数据接收模块601，用于接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
图像特征生成模块602，用于对所述I帧生成图像特征；
原始图像数据替换模块603，用于在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
编码模块604，用于对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
在本发明的一个实施例中，所述图像特征生成模块602包括：
宏块切分子模块，用于将所述I帧切分为宏块；
子块切分子模块，用于将所述宏块切分为子块；
模型确定子模块，用于确定图像压缩模型；
图像压缩子模块，用于使用所述图像压缩模型对所述宏块或所述子块进行压缩，以生成所述宏块或所述子块的图像特征。
在本发明实施例的一个示例中，所述图像压缩模型包括第一压缩卷积层、第二压缩卷积层、第三压缩卷积层；
所述使图像压缩子模块包括：
第一压缩单元，用于在所述第一压缩卷积层中，对所述宏块或所述子块进行卷积操作，以生成第一压缩图像；
第二压缩单元，用于在所述第二压缩卷积层中，对所述第一压缩图像进行卷积操作，以生成第二压缩图像；
第三压缩单元，用于在所述第三压缩卷积层中，对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征。
进一步地，所述第一压缩单元还用于：
在所述第一压缩卷积层中，使用预设的第一压缩卷积核对所述子块进行卷积操作，以生成第一压缩图像，所述第一压缩卷积核的尺寸小于所述宏块或所述子块的尺寸；
对所述第一压缩图像进行激活；
所述第二压缩单元还用于：
在所述第二压缩卷积层中，使用预设的第二卷积核对所述第一压缩图像进行卷积操作，以生成第二压缩图像，所述第二压缩卷积核的尺寸小于所述宏块或所述子块的尺寸；
对所述第二压缩图像进行归一化；
对归一化之后的第二压缩图像进行激活；
所述第三压缩单元还用于：
在所述第三压缩卷积层中，使用预设的第三卷积核对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征，所述第三压缩卷积核的尺寸小于所述宏块或所述子块的尺寸。
在本发明的一个实施例中，所述编码模块604包括：
编码器确定子模块，用于确定编码器；
图像特征编码子模块，用于使用所述编码器对所述图像特征进行编码，获得第一编码数据；
第一位置存储子模块，用于将所述第一编码数据存储在目标视频数据中的第一位置；
非I帧编码子模块，用于使用所述编码器参考所述原始图像数据对所述非I帧进行编码，获得第二编码数据；
第二位置存储子模块，用于将所述第二编码数据存储在所述目标视频数据中的第二位置。
本发明实施例所提供的视频数据的编码装置可执行本发明任意实施例所提供的视频数据的编码方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四提供的一种视频数据的解码装置的结构示意图，该装置具体可以包括如下模块：
目标视频数据接收模块701，用于接收目标视频数据；
第一解码模块702，用于对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征；
原始图像数据复原模块703，用于将所述图像特征复原为原始图像数据；
图像特征替换模块704，用于在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
第二解码模块705，用于参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
在本发明的一个实施例中，所述原始图像数据复原模块703包括：
图像重建模型确定子模块，用于确定图像重建模型；
图像特征复原子模块，用于使用所述图像重建模型对所述图像特征复原为宏块或子块；
宏块组成子模块，用于将所述子块组成宏块；
原始图像数据组成子模块，用于将所述宏块组成原始图像数据。
在本发明实施例的一个示例中，所述图像重建模型包括第一复原卷积层、n个第二复原卷积层、第三复原卷积层；
所述图像特征复原子模块包括：
第一复原子模块，用于在所述第一复原卷积层中，对所述图像特征进行反卷积操作，以生成第一复原图像；
第二复原子模块，用于在n个所述第二复原卷积层中，对所述第一复原图像进行反卷积操作，以生成第二复原图像；
第三复原子模块，用于在所述第三复原卷积层中，对所述第二复原图像进行反卷积操作，以生成第三恢复图像，作为宏块或子块。
进一步地，所述第一复原子模块还用于：
在所述第一复原卷积层中，使用预设的第一复原卷积核对所述图像特征进行反卷积操作，以生成第一复原图像，所述第一复原卷积核的尺寸小于宏块或子块的尺寸；
对所述第一复原图像进行激活；
所述第二复原子模块还用于：
在每个所述第二复原卷积层中，使用预设的第二卷积核对输入的第一中间图像进行反卷积操作，以生成第二中间图像，所述第二复原卷积核的尺寸小于宏块或子块的尺寸；
对所述第二中间图像进行归一化；
对归一化之后的第二中间图像进行激活，首个所述第一中间图像为所述第一复原图像，非最后一个所述第二中间图像用于作为第一中间图像输入下一个第二复原卷积层，最后一个所述第二中间图像为第二复原图像；
所述第三复原子模块还用于：
在所述第三复原卷积层中，使用预设的第三复原卷积核对所述第二复原图像进行反卷积操作，以生成第三复原图像，作为宏块或子块，所述第三复原卷积核的尺寸小于宏块或子块的尺寸。
在本发明的一个实施例中，所述第一解码模块702包括：
解码器确定子模块，用于确定解码器；
第一编码数据确定子模块，用于确定所述目标视频数据中处于第一位置的第一编码数据，所述第一位置用于指示原始视频数据中图像组的I帧；
图像特征解码子模块，用于使用所述解码器对所述第一编码数据进行解码，获得图像特征。
在本发明的一个实施例中，所述第二解码模块705包括：
第二编码数据确定子模块，用于确定所述目标视频数据中处于第二位置的第二编码数据，所述第二位置用于指示所述图像组中的非I帧；
非I帧解码子模块，用于使用所述解码器参考所述新的I帧对所述第二编码数据进行解码，获得所述图像组中的非I帧。
本发明实施例所提供的视频数据的解码装置可执行本发明任意实施例所提供的视频数据的解码方法，具备执行方法相应的功能模块和有益效果。
实施例五
图8为本发明实施例五提供的一种计算机设备的结构示意图。如图8所示，该计算机设备包括处理器800、存储器801、通信模块802、输入装置803和输出装置804；计算机设备中处理器800的数量可以是一个或多个，图8中以一个处理器800为例；计算机设备中的处理器800、存储器801、通信模块802、输入装置803和输出装置804可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器801作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的视频数据的编码方法对应的模块(例如，如图6所示的视频数据的编码装置中的原始视频数据接收模块601、图像特征生成模块602、原始图像数据替换模块603和编码模块604)或视频数据的解码方法对应的模块(例如，如图7所示的视频数据的解码装置中的目标视频数据接收模块701、第一解码模块702、原始图像数据复原模块703、图像特征替换模块704和第二解码模块705)。处理器800通过运行存储在存储器801中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的视频数据的编码方法或视频数据的解码方法。
存储器801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器801可进一步包括相对于处理器800远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块802，用于与显示屏建立连接，并实现与显示屏的数据交互。
输入装置803可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置804可以包括扬声器等音频设备。
需要说明的是，输入装置803和输出装置804的具体组成可以根据实际情况设定。
处理器800通过运行存储在存储器801中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的电子白板的连接节点控制方法。
本实施例提供的计算机设备，可执行本发明任一实施例提供的视频数据的编码方法或视频数据的解码方法，具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种视频数据的编码方法或视频数据的解码方法。
其中，该视频数据的编码方法包括：
接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
对所述I帧生成图像特征；
在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
此外，该视频数据的解码方法包括：
接收目标视频数据；
对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征；
将所述图像特征复原为原始图像数据；
在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的视频数据的编码方法或视频数据的解码方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视频数据的编码装置或视频数据的解码装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种视频数据的编码方法，其特征在于，包括：
接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
将所述I帧切分为宏块；
将所述宏块切分为子块；
确定图像压缩模型；
使用所述图像压缩模型对所述宏块或所述子块进行压缩，以生成所述宏块或所述子块的图像特征，所述宏块或所述子块保存着所述I帧的局部图像数据；
在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据，
其中，所述图像压缩模型包括第一压缩卷积层、第二压缩卷积层、第三压缩卷积层，所述第一压缩卷积层的输入为所述宏块或所述子块，所述第二压缩卷积层、所述第三压缩卷积层的输入为前一层的压缩结果，所述第一压缩卷积层用于提取所述I帧的特征信息，所述第二压缩卷积层用于缩小所述特征信息的尺寸，所述第三压缩卷积层用于生成和所述I帧相同的通道数。
2.根据权利要求1所述的方法，其特征在于
所述使用所述图像压缩模型对所述宏块或所述子块进行压缩，以生成所述宏块或所述子块的图像特征，包括：
在所述第一压缩卷积层中，对所述宏块或所述子块进行卷积操作，以生成第一压缩图像；
在所述第二压缩卷积层中，对所述第一压缩图像进行卷积操作，以生成第二压缩图像；
在所述第三压缩卷积层中，对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征。
3.根据权利要求2所述的方法，其特征在于，
所述在所述第一压缩卷积层中，对所述宏块或所述子块进行卷积操作，以生成第一压缩图像，包括：
在所述第一压缩卷积层中，使用预设的第一压缩卷积核对所述子块进行卷积操作，以生成第一压缩图像，所述第一压缩卷积核的尺寸小于所述宏块或所述子块的尺寸；
对所述第一压缩图像进行激活；
所述在所述第二压缩卷积层中，对所述第一压缩图像进行卷积操作，以生成第二压缩图像，包括：
在所述第二压缩卷积层中，使用预设的第二卷积核对所述第一压缩图像进行卷积操作，以生成第二压缩图像，所述第二压缩卷积核的尺寸小于所述宏块或所述子块的尺寸；
对所述第二压缩图像进行归一化；
对归一化之后的第二压缩图像进行激活；
所述在所述第三压缩卷积层中，对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征，包括：
在所述第三压缩卷积层中，使用预设的第三卷积核对所述第二压缩图像进行卷积操作，以生成第三压缩图像，作为所述宏块或所述子块的图像特征，所述第三压缩卷积核的尺寸小于所述宏块或所述子块的尺寸。
4.根据权利要求1-3任一所述的方法，其特征在于，所述对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据，包括：
确定编码器；
使用所述编码器对所述图像特征进行编码，获得第一编码数据；
将所述第一编码数据存储在目标视频数据中的第一位置；
使用所述编码器参考所述原始图像数据对所述非I帧进行编码，获得第二编码数据；
将所述第二编码数据存储在所述目标视频数据中的第二位置。
5.一种视频数据的解码方法，其特征在于，包括：
接收目标视频数据；
对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征，所述图像特征为对作为所述I帧的原始图像数据的紧凑表示；
确定图像重建模型；
使用所述图像重建模型对所述图像特征复原为宏块或子块；
将所述子块组成宏块；
将所述宏块组成原始图像数据；
在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧；
其中，所述图像重建模型包括第一复原卷积层、n个第二复原卷积层、第三复原卷积层，所述第一复原卷积层的输入为所述图像特征，所述第二复原卷积层、所述第三复原卷积层的输入为前一层的复原结果，其中，所述n为小于或等于18的正整数。
6.根据权利要求5所述的方法，其特征在于，所述图像重建模型包括第一复原卷积层、n个第二复原卷积层、第三复原卷积层；
所述使用所述图像重建模型对所述图像特征复原为宏块或子块，包括：
在所述第一复原卷积层中，对所述图像特征进行反卷积操作，以生成第一复原图像；
在n个所述第二复原卷积层中，对所述第一复原图像进行反卷积操作，以生成第二复原图像；
在所述第三复原卷积层中，对所述第二复原图像进行反卷积操作，以生成第三恢复图像，作为宏块或子块。
7.根据权利要求6所述的方法，其特征在于，
所述在所述第一复原卷积层中，对所述图像特征进行反卷积操作，以生成第一复原图像，包括：
在所述第一复原卷积层中，使用预设的第一复原卷积核对所述图像特征进行反卷积操作，以生成第一复原图像，所述第一复原卷积核的尺寸小于宏块或子块的尺寸；
对所述第一复原图像进行激活；
所述在n个所述第二复原卷积层中，对所述第一复原图像进行反卷积操作，以生成第二复原图像，包括：
在每个所述第二复原卷积层中，使用预设的第二卷积核对输入的第一中间图像进行反卷积操作，以生成第二中间图像，所述第二复原卷积核的尺寸小于宏块或子块的尺寸；
对所述第二中间图像进行归一化；
对归一化之后的第二中间图像进行激活，首个所述第一中间图像为所述第一复原图像，非最后一个所述第二中间图像用于作为第一中间图像输入下一个第二复原卷积层，最后一个所述第二中间图像为第二复原图像；
所述在所述第三复原卷积层中，对所述第二复原图像进行反卷积操作，以生成第三恢复图像，作为宏块或子块，包括：
在所述第三复原卷积层中，使用预设的第三复原卷积核对所述第二复原图像进行反卷积操作，以生成第三复原图像，作为宏块或子块，所述第三复原卷积核的尺寸小于宏块或子块的尺寸。
8.根据权利要求5-7任一项所述的方法，其特征在于，
所述对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，包括：
确定解码器；
确定所述目标视频数据中处于第一位置的第一编码数据，所述第一位置用于指示原始视频数据中图像组的I帧；
使用所述解码器对所述第一编码数据进行解码，获得图像特征；
所述参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧，包括：
确定所述目标视频数据中处于第二位置的第二编码数据，所述第二位置用于指示所述图像组中的非I帧；
使用所述解码器参考所述新的I帧对所述第二编码数据进行解码，获得所述图像组中的非I帧。
9.一种视频数据的编码装置，其特征在于，包括：
原始视频数据接收模块，用于接收原始视频数据，所述视频数据的图像组中包括作为I帧的原始图像数据、非I帧；
图像特征生成模块，用于将所述I帧切分为宏块；将所述宏块切分为子块；确定图像压缩模型；使用所述图像压缩模型对所述宏块或所述子块进行压缩，以生成所述宏块或所述子块的图像特征，所述宏块或所述子块保存着所述I帧的局部图像数据，其中，所述图像压缩模型包括第一压缩卷积层、第二压缩卷积层、第三压缩卷积层，所述第一压缩卷积层的输入为所述宏块或所述子块，所述第二压缩卷积层、所述第三压缩卷积层的输入为前一层的压缩结果，所述第一压缩卷积层用于提取所述I帧的特征信息，所述第二压缩卷积层用于缩小所述特征信息的尺寸，所述第三压缩卷积层用于生成和所述I帧相同的通道数；
原始图像数据替换模块，用于在所述图像组中，将所述图像特征替换所述原始图像数据，作为新的I帧；
编码模块，用于对所述图像特征进行编码、参考所述原始图像数据对所述非I帧进行编码，以生成目标视频数据。
10.一种视频数据的解码装置，其特征在于，包括：
目标视频数据接收模块，用于接收目标视频数据；
第一解码模块，用于对所述目标视频数据进行解码，获得原始视频数据中图像组的I帧，所述I帧为图像特征，所述图像特征为对作为所述I帧的原始图像数据的紧凑表示；
原始图像数据复原模块，用于确定图像重建模型；使用所述图像重建模型对所述图像特征复原为宏块或子块；将所述子块组成宏块；将所述宏块组成原始图像数据，其中，所述图像重建模型包括第一复原卷积层、n个第二复原卷积层、第三复原卷积层，所述第一复原卷积层的输入为所述图像特征，所述第二复原卷积层、所述第三复原卷积层的输入为前一层的复原结果，其中，所述n为小于或等于18的正整数；
图像特征替换模块，用于在所述图像组中，将所述原始图像数据替换所述图像特征，作为新的I帧；
第二解码模块，用于参考所述新的I帧对所述目标视频数据进行解码，获得所述图像组中的非I帧。
11.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的视频数据的编码方法，或者，如权利要求5-8中任一所述的视频数据的解码方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一所述的视频数据的编码方法，或者，如权利要求5-8中任一所述的视频数据的解码方法。
CN202010021035.9A 2020-01-09 2020-01-09 视频数据的编解码方法、装置、计算机设备和存储介质 Active CN111212288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010021035.9A CN111212288B (zh) 2020-01-09 2020-01-09 视频数据的编解码方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010021035.9A CN111212288B (zh) 2020-01-09 2020-01-09 视频数据的编解码方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111212288A CN111212288A (zh) 2020-05-29
CN111212288B true CN111212288B (zh) 2022-10-04

Family

ID=70789603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010021035.9A Active CN111212288B (zh) 2020-01-09 2020-01-09 视频数据的编解码方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111212288B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466224B (zh) * 2022-01-26 2024-04-16 广州繁星互娱信息科技有限公司 视频数据的编解码方法和装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN109862391A (zh) * 2019-03-18 2019-06-07 网易（杭州）网络有限公司 视频分类方法、介质、装置和计算设备
CN110062239A (zh) * 2019-03-18 2019-07-26 杭州师范大学 一种用于视频编码的参考帧选择方法及装置
CN110162669A (zh) * 2019-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频分类处理方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN109862391A (zh) * 2019-03-18 2019-06-07 网易（杭州）网络有限公司 视频分类方法、介质、装置和计算设备
CN110062239A (zh) * 2019-03-18 2019-07-26 杭州师范大学 一种用于视频编码的参考帧选择方法及装置
CN110162669A (zh) * 2019-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频分类处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111212288A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN110740329B (zh) 视频编码解码方法和装置、计算机设备和存储介质
CN113678441B (zh) 视频编解码的方法和装置
WO2021114846A1 (zh) 一种视频降噪处理方法、装置及存储介质
KR101055738B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
US9414086B2 (en) Partial frame utilization in video codecs
CN110944185B (zh) 视频解码的方法和装置、计算机设备及存储介质
CN114827597B (zh) 视频解码方法、装置、计算机设备及存储介质
CN116156197A (zh) 视频解码、编码方法和装置、计算机设备及存储介质
CN112789851B (zh) 视频解码方法、装置、电子设备及可读存储介质
CN113647100B (zh) 视频解码方法、视频编码方法、视频解码器、视频编码器及计算机可读介质
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111182308B (zh) 视频解码方法、装置、计算机设备及存储介质
CN112040233A (zh) 视频编码、视频解码方法和装置、电子设备及存储介质
CN113348666B (zh) 用于对编码视频流进行解码的方法和系统
CN113259671B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN117499657A (zh) 视频编解码的方法和装置
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
CN113557727B (zh) 一种视频解码方法和相关装置
CN113545066A (zh) 视频编解码中的已解码图片缓冲器管理
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN113491128B (zh) 已解码图片存储器管理的方法和相关装置
CN117616751A (zh) 动态图像组的视频编解码
CN113748678B (zh) 视频编解码方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant