CN109547786A - 视频编码、以及视频解码的方法、装置 - Google Patents
视频编码、以及视频解码的方法、装置 Download PDFInfo
- Publication number
- CN109547786A CN109547786A CN201710863123.1A CN201710863123A CN109547786A CN 109547786 A CN109547786 A CN 109547786A CN 201710863123 A CN201710863123 A CN 201710863123A CN 109547786 A CN109547786 A CN 109547786A
- Authority
- CN
- China
- Prior art keywords
- frame
- reference picture
- video
- intracoded
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码的方法和一种视频解码的方法，所述视频编码的方法包括：获得待编码图像帧中的帧内编码帧；将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；根据所述帧内编码帧与所述差异帧，确定残差值；将所述残差值进行编码；输出所述经编码后的残差值与所述差异帧的标识信息。通过使用上述方法，能够实现在有限的视频应用场景下对帧内编码帧进行进一步简化处理以及提高压缩率；并且能够解决多次编码、重复压缩或优化编码参数设置等用以提升视频压缩技术的优化方式所造成的增加视频编码过程的复杂性、以及引入其它额外弊端的问题。
Description
技术领域
本申请涉及视频编解码领域，具体涉及一种视频编码的方法以及装置；本申请同时涉及一种视频解码的方法以及装置；本申请同时涉及一种实现视频编码程序的电子设备；以及一种实现视频解码程序的电子设备。
背景技术
作为多媒体信息载体，视频是传递和获取信息的重要途径，在移动互联网广泛应用的背景下，视频已成为网络流量消耗的主体。由于视频流量的增加以及视频数据存储空间的增大，如何在有限的带宽能力和数据存储能力的条件下提供高质量的视频播放效果显得尤为重要。其中，通过有效手段提升视频编码和解码效率是解决上述问题的主要途径之一。
现有技术中，主要是对通用视频编码和解码技术进行升级，通过对冗余信息的极致压缩实现视频存储和传输过程中数据量的减少。例如，主流的H264/H265视频编码标准中，采用预测编码降低视频序列的空间冗余度和时间冗余度，具体为采用帧内预测编码降低视频序列的空间冗余度，采用帧间预测编码降低视频序列的时间冗余度。
再例如，在现有视频编码方法对视频数据进行压缩的基础上，采用优化方式对视频数据进行多次编码优化、重复压缩或优化编码参数设置，例如申请号为201210370934.5的中国发明专利申请(一种视频文件压缩及播放的方法)提出LZMA压缩方法对视频文件进行压缩的方案，对编码后的视频帧利用LZMA压缩方法再次进行压缩；申请号为201110302000.3的中国发明专利申请(视频编码压缩方法)提出一种对源视频进行预编码，然后重建所有的画面组GOP，通过优化编码参数设置达到降低编码码率。
然而，上述针对通用视频编码和解码技术进行升级，通过对冗余信息的极致压缩实现视频存储和传输过程中数据量的减少，以及采用优化方式对视频帧进行多次编码、重复压缩或优化编码参数设置，均存在一定的不足。
在H264/H265视频编码标准中，采用帧间预测编码降低视频序列的时间冗余度，其核心在于参考已编码视频帧进行差值计算，作为帧间编码的帧，其实际只包含差值部分的编码，因此可大量减少视频帧的数据量，并且大大减少需进行完整编码的视频帧的数量；而采用帧内预测编码降低视频序列的空间冗余度，被编码的帧是一个全帧压缩编码帧，其描述了图像背景和运动主体的详情，在视频序列中其作为基础帧和参考帧，包含完整画面，因此，帧内编码的视频帧较大，经帧内预测编码后，帧的大小较压缩前并没有明显缩小，并且帧内预测编码的算法本身具有一定的复杂度，在视频直播、视频通话、视频会议等场景变化有限的应用场景中，对所述帧内编码帧的处理有进一步简化的空间。
采用优化方式对视频帧进行多次编码、重复压缩或优化编码参数设置，其本质为在原有编码的基础上对压缩技术本身进行提升，然而，该优化方式增加了视频编码过程的复杂性，并且可能会引入其它额外的弊端。例如，专利申请号为201210370934.5的发明(一种视频文件压缩及播放的方法)通过LZMA压缩方法对编码后的视频帧进行压缩，由于经编码后的视频帧的冗余度本身已经很低，通过再次压缩的方法对视频帧进行压缩，其压缩幅度有限，并且LZMA压缩算法本身较为耗时，在视频解码端也需进行相应的解码，使得视频编码过程和解码过程更为复杂；专利申请号为201110302000.3的发明(视频编码压缩方法)，其实质同样为多次编码优化，并且该方法要求对视频源进行分析，然而对于实时性要求较高的场景，对视频源的分析会额外带来由于视频分析引入的延时，从而对视频编码及传输产生影响。
发明内容
本申请提供一种视频编码的方法，以及一种视频解码的方法。本申请同时提供一种视频编码的装置以及电子设备，以及一种视频解码的装置以及电子设备。通过上述方法和装置，能够实现在有限的视频应用场景下对帧内编码帧进行进一步简化处理以及提高压缩率；并且能够解决多次编码、重复压缩或优化编码参数设置等用以提升视频压缩技术的优化方式所造成的增加视频编码过程的复杂性、以及引入其它额外弊端的问题。
本发明提供一种视频编码的方法，包括：
获得待编码图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
优选的，所述参考图像库通过如下方式获得：
获取参考图像；
对所述获取的参考图像进行存储和标识。
优选的，所述获取参考图像，包括如下步骤：
采集候选图像；
结合预定的参考图像的数量，根据所述采集的候选图像确定最终参考图像。
优选的，所述参考图像的数量根据应用场景预先设定。
优选的，所述根据所述采集的候选图像确定最终参考图像的方法包括：
使用聚类算法对所述采集的候选图像进行聚类计算，以此获取最终参考图像。
优选的，所述聚类算法包括：K-MEANS算法。
优选的，所述视频编码的方法还包括：
对所述参考图像库进行更新。
优选的，所述对所述参考图像进行更新，包括：
基于应用场景所预定的更新时间，对所述参考图像进行时间更新；
和/或
基于应用场景的检测结果，对所述参考图像进行空间更新。
优选的，所述基于应用场景的检测结果，对所述参考图像进行空间更新，包括：
将待编码图像帧与所述参考图像库的参考图像进行比对以检测二者的相关性，若相关性低，则触发更新。
优选的，所述将待编码图像帧与所述参考图像库的参考图像进行比对的方法包括：计算欧式距离。
本发明还提供一种视频解码的方法，包括：
接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧；
获得所述视频帧中的帧内编码帧；
根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
优选的，所述参考图像库通过如下方式获得：
接收经编码后的参考图像帧及所述参考图像帧的标识信息；
对所述参考图像帧进行解码，获取参考图像；
存储所述参考图像及其标识信息。
优选的，所述视频解码的方法还包括：
对所述参考图像库进行更新。
优选的，所述对所述参考图像库进行更新，包括：
通过所述视频编码流中的参考图像更新信息对所述参考图像库进行更新。
优选的，所述参考图像更新信息，包括：备用参考图像及其标识信息。
优选的，所述备用参考图像通过如下方式获得：
视频编码流中的视频序列解码的增强信息(SEI)中包含对所述备用参考图像的指定信息，通过所述指定信息确定视频帧中的备用参考图像。
本发明还提供一种视频编码的装置，包括：
帧内编码帧获得单元，用于获得待编码图像帧中的帧内编码帧；
差异帧及其标识信息确定单元，用于将所述帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元，用于根据所述帧内编码帧帧与所述差异帧，确定残差值；
编码单元，用于将所述残差值进行编码；
输出单元，用于输出所述经编码后的残差值与所述差异帧的标识信息。
本发明还提供一种视频解码的装置，包括：
视频编码流标准化解码单元，用于接收视频编码流，并对所述接收的视频编码流进行标准化解码，获得视频帧；
帧内编码帧获得单元，用于获得所述视频帧中的帧内编码帧；
参考图像获取单元，用于根据所述视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本发明还提供一种电子设备，包括：
处理器；以及
存储器，用于存储一种用于视频编码的程序，该设备通电并通过所述处理器运行所述用于视频编码的程序后，执行下述步骤：
获得待编码图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
本发明还提供一种电子设备，包括：
处理器；以及
存储器，用于存储一种用于视频解码的程序，该设备通电并通过所述处理器运行所述用于视频解码的程序后，执行下述步骤：
接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧；
获得所述视频帧中的帧内编码帧；
根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本发明还提供一种直播视频编码的方法，包括：
获得直播视频图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
优选的，所述参考图像库通过如下方式获得：
采集候选图像，并根据直播场景对所述候选图像进行分组；
结合每个分组预定的参考图像的数量，根据所述候选图像确定每个分组的参考图像；
对所述每个分组的参考图像进行存储和标识。
本发明还提供一种直播视频解码的方法，包括：
接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；
获得所述直播视频帧中的帧内编码帧；
根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本发明还提供一种直播视频编码的装置，包括：
帧内编码帧获得单元，用于获得直播视频图像帧中的帧内编码帧；
差异帧及其标识信息确定单元，用于将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元，用于根据所述帧内编码帧与所述差异帧，确定残差值；
编码单元，用于将所述残差值进行编码；
输出单元，用于输出所述经编码后的残差值与所述差异帧的标识信息。
本发明还提供一种直播视频解码的装置，包括：
直播视频编码流标准化解码单元，用于接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；
帧内编码帧获得单元，用于获得所述直播视频帧中的帧内编码帧；
参考图像获取单元，用于根据所述直播视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本发明还提供一种电子设备，包括：
处理器；以及
存储器，用于存储一种用于直播视频编码的程序，该设备通电并通过所述处理器运行所述用于直播视频编码的程序后，执行下述步骤：
获得直播视频图像帧中的帧内编码帧；将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；根据所述帧内编码帧与所述差异帧，确定残差值；将所述残差值进行编码；输出所述经编码后的残差值与所述差异帧的标识信息。
本发明还提供一种电子设备，包括：
处理器；以及
存储器，用于存储一种用于直播视频解码的程序，该设备通电并通过所述处理器运行所述用于直播视频解码的程序后，执行下述步骤：
接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；获得所述直播视频帧中的帧内编码帧；根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
与现有技术相比，本发明具有以下优点：
本申请所采用的视频编码及视频解码的方法，在编码端利用预设参考图像与待编码视频帧进行比对以及运算后求得残差值；在解码端利用预设参考图像与经标准化解码后获得的残差值进行计算，以重构帧内编码帧。所述编码及解码方式运用帧间预测编码的基本思想对原本需进行帧内预测编码或其他复杂编码的基础帧进行简化处理，在视频场景变化有限的情况下，只需对差值部分进行编码而无需对整幅图像进行压缩，并且解码时仅需简单地叠加以重构图像帧，因此，利用上述编码及解码方法可简化编码及解码流程，提高帧内编码帧的压缩率。
相较于多次编码、重复压缩或优化编码参数设置等用以提升视频压缩技术本身的优化方式，本申请所提供的视频编码及解码方法基于视频应用场景的变化特征，在场景变换有限的基础上进行使用，增加了视频编码的灵活性，拓宽了视频编码的适用性；并且，可解决多次编码、重复压缩或优化编码参数设置等用以提升视频压缩技术的优化方式所造成的增加视频编码过程的复杂性、以及引入其它额外弊端的问题。对于目前广泛存在的视频直播场景，例如，推销商品的视频直播场景，由于其背景变化有限，特别适于采用本申请提供的技术方案。
附图说明
图1是本申请第一实施例提供的视频编码的方法的流程图；
图2是本申请第一实施例提供的创建参考图像的流程图；
图3是本申请第二实施例提供的视频解码的方法的流程图；
图4是本申请第三实施例提供的视频编码装置的单元框图；
图5是本申请第四实施例提供的视频解码装置的单元框图；
图6是本申请第五实施例提供的电子设备的示意图；
图7是本申请第六实施例提供的电子设备的示意图；
图8是本申请第七实施例提供的直播视频解码的方法的流程图；
图9是本申请第七实施例提供的参考图像库的创建流程图；
图10是本申请第八实施例提供的直播视频解码的方法的流程图；
图11是本申请第九实施例提供的直播视频编码的装置；
图12是本申请第十实施例提供的直播视频解码的装置；
图13是本申请第十一实施例提供的电子设备示意图；
图14是本申请第十二实施例提供的电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
本申请提供一种视频编码的方法、一种视频编码的装置以及电子设备；相应的，本申请提供一种视频解码的方法、一种视频解码的装置以及电子设备。上述视频编码的方法、装置以及电子设备和视频解码的方法、装置以及电子设备分别在视频编码端和视频解码端配合使用，实现对视频的编码和解码的过程；以下提供实施例逐一进行详细说明。
本申请第一实施例提供一种视频编码的方法，该方法可由视频编码端执行，用于对视频文件进行编码，以实现对视频文件的数字宽带进行压缩，其主要适用于场景变化有限的视频应用中。
请参考图1，其为本申请第一实施例提供的视频编码的方法的流程图。以下结合图1介绍该实施例。
S101，获得待编码图像帧中的帧内编码帧。
本步骤用于获得待编码图像帧中的帧内编码帧，以确定是否需要对其按本申请提供的方法进行编码处理的编码对象。由于本实施例提供的视频编码方法仅仅适用于特定的图像帧，因此，必须首先进行该步骤。
所述待编码图像帧是指动态图像数据在进行编码时首先形成的单幅画面，该单幅画面需进行数据格式的转变(编码)而形成易于传输和存储的数据信号。
本实施例中，所述获得待编码图像帧中的帧内编码帧的方法为判断待编码图像帧的帧类型是否为帧内编码帧，若是，则将所述待编码图像作为本方法的实施对象。所述帧类型是根据视频中各个帧的不同特性对其进行的分类。以下对帧类型进行详细说明。
在一组视频序列中，需对各帧图像进行定义，视频帧的类型根据编码要求的不同分为帧内编码帧和帧间编码帧，例如，在H264视频编码标准中，将每组视频序列内的各帧图像定义为三种帧，分别为帧内预测帧I帧、单向预测帧P帧和双向预测帧B帧，其中，I帧为帧内编码帧，其为全帧压缩编码帧，即对整幅图像进行压缩编码及传输，是对一帧画面的完整保留，本身不需要参考其它画面生成，因此其所占的数据带宽较大，其描述了图像背景和运动主体的详情，同一视频序列中的第一个帧始终为I帧，其可作为其它帧的参考帧，其为帧组(英文缩写GOP)的基础帧，也称关键帧；P帧和B帧为帧间编码帧，其中，P帧为前向预测编码帧，只参考前面最靠近它的I帧或P帧，其表示的是这一帧跟之前的参考帧(I帧或P帧)的差别图像，解码时需要用之前缓存的画面(参考画面)叠加上所述差别图像，以生成最终图像，P帧为差别帧，其本身没有完整的画面数据，只包含与前一帧图像的差别数据；B帧为双向预测内插编码帧，以前面的I帧或P帧和后面的P帧为参考帧进行预测编码。在进行压缩编码时，I帧的压缩率较低，P帧和B帧的压缩率较高。
判断待编码图像帧的帧类型，其实质为判断该待编码图像帧在视频序列中所充当的角色，若该图像需作为同一视频序列的基础帧，需对一帧画面进行完整保留，并且需作为同一序列中其它帧的参考帧，则进入本方法。所述基础帧即为帧内编码帧。在本实施例的H264视频编码标准中，需通过编码参数设置中的帧组(GOP)设置信息或场景切换信息判断所述待编码视频图像是否为I帧，一般情况下，帧组GOP的第一帧为I帧，并且在帧组GOP内，当场景发生切换时需强制插入一个I帧，若判断所述待编码图像的帧类型为I帧，则将所述I帧作为本方法的编码对象，并进入本方法后续环节。
需要说明的是，若判断所述待编码图像帧的帧类型为帧间编码帧，如H264编码协议中的P帧或B帧，则按现有技术的帧间预测编码方法进行帧间预测编码，在此不再赘述。
S102，将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息。
本步骤的作用在于，为上述步骤S101中获得的待编码图像中的帧内编码帧选取参考图像，作为对所述帧内编码帧进行后续编码时的参考依据。
所述预设的参考图像库，指的是预先设定的与当前应用场景具有较大关联性的参考图像的集合，其作用在于为待编码图像帧提供对比依据和参考基础。
所述参考图像库的创建过程请参考图2，图2为参考图像库的创建流程图。如图2所示，所述参考图像库通过如下步骤进行创建：
S1021，获取参考图像。
本步骤用于形成所述参考图像库的核心组成要素，即形成可作为所述待编码图像后续编码的参考依据的参考图像。
所述参考图像的获取过程如下：
首先，从现有的视频序列中采集候选图像，具体可为随机采集、按一定的采样周期进行采集或者按特定图像背景进行集中采集，被采集的候选图像的数量应能够满足后续的甄选要求；
其次，采集候选图像之后，需结合参考图像的数量，根据所述采集的候选图像确定最终参考图像。所述参考图像的数量根据视频的应用场景预先设定，例如，针对室内直播或视频会议之类的静态场景，参考图像的数量设定为5到10张即可满足要求；对于某些动态场景，参考图像的数量可相应增多。所述根据所述采集的候选图像确定最终参考图像，可通过使用聚类算法对所述采集的候选图像进行聚类计算，聚类算法的种类较为多样，例如常用的K-MEANS算法、K-MEDOIDS算法、Clara算法以及Clarans算法，各算法的实现方式也有所区别，例如，K-MEANS算法的原理为：根据对象的相似度划分聚类后，进行均值计算得到中心点(目标值)；K-MEDOIDS算法的原理为：根据最相近原则从现有对象中选取中心点(目标值)。本实施例中，以K-MEANS算法对所述采集的候选图像进行聚类计算，具体为：从所述采集的候选图像中任意选择一定数量的候选图像作为初始聚类中心，根据其它候选图像与所述初始聚类中心的相似度，分别将它们分配给与其最相似的初始聚类中心所代表的聚类，然后计算该聚类中的所有候选图像的均值，该均值即为最终参考图像。
S1022，对所述获取的参考图像进行存储和标识。
本步骤用于对上述步骤最终确定的所述参考图像进行存储和标识，以使所述参考图像存储在编码端的特定处理单元中，并且使每个参考图像均获得独立的标识信息，作为缓存图像供后续编码环节进行比对、识别以及调用。所述经存储后的参考图像组成参考图像库。
在本实施例中，所述特定处理单元为存储在编码器运行内存空间中的一个队列，所述参考图像即为所述队列中的元素，所述每个元素在所述队列中的位置用于表征所述参考图像的编号，所述参考图像的编号即为其标识信息。
所述将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息，该过程为基于图片间的相似度进行匹配，所述差异帧即为所述参考图像库中的与所述帧内编码帧的相似度或相关性最高的参考图像，或者为相对于具体应用场景来说，与所述帧内编码帧的相似度或相关性最合适的参考图像。本实施例中，所述基于图片间的相似度进行匹配可通过误差计算的方法实现，具体为：利用均方误差MSE或者和方差SSE对所述待编码图像和参考图像进行误差计算，选择MSE或者SSE最小的参考图像作为差异帧。
需要说明的是，当发生场景切换或图像主体的位置发生变化时，可引起所述参考图像库中的所有参考图像与所述帧内编码帧的相关性都很低，表明现有的参考图像已不适合作为所述帧内编码帧的参考图像，需要对所述参考图像库进行更新。
对所述参考图像库进行更新分为：时间更新和空间更新，所述时间更新指的是根据应用场景所设定的更新时间对所述参考图像进行更新，例如，在视频直播场景中，可设定所述更新时间为每隔10分钟，即无论所述应用场景是否发生变化，每隔10分钟对所述参考图像库更新一次；所述空间更新指的是根据应用场景的检测结果对所述参考图像进行更新，具体为：对所述应用场景进行周期性检测，根据检测结果确定是否对所述参考图像库进行更新，若检测结果为应用场景发生变化，则触发更新，所述对应用场景进行检测的方法较多，本实施例中通过将待编码图像帧与所述参考图像库的参考图像进行比对以检测二者的相关性，若相关性低，则触发更新，所述将所述待编码图像帧与所述参考图像库的参考图像进行比对的过程可通过计算欧式距离实现。
无论对所述参考图像库的更新方式为时间更新或者空间更新，其更新的方法均为按上述参考图像的创建方法创建新的参考图像库，并删除原有的参考图像库。
S103，根据所述帧内编码帧与所述差异帧，确定残差值。
在通过上述步骤获取所述最小差异帧后，本步骤用于根据所述可作为帧组中的基础帧的帧内编码帧与所述差异帧，确定二者的残差值，所述残差值为图像间的差余影像。
本实施例中，根据所述帧内编码帧与所述差异帧确定二者的残差值的方法为：将所述帧内编码帧与所述最小差异帧进行减法计算，该过程与H264编码协议中的帧间预测编码时生成帧间预测信号的时间压缩法相似，都是比较待编码图像帧与参考帧之间的差异，通过帧差值算法获得待编码图像帧与参考帧的差值，所不同的是，帧间预测编码是通过比对P帧或B帧与同一序列中的相邻帧之间的差异而获得差值，而本方法是通过比对所述帧内编码帧与预定的参考图像库中的差异帧之间的差值，比对过程具体为：用所述帧内编码帧的每个位置的像素值减去所述最小差异帧的每个对应位置的像素值，获得残差图像。
S104，将所述残差值进行编码。
在上述步骤S103获取所述差异帧与所述帧内编码帧的残差值后，本步骤用于对所述获取的残差值进行编码，以生成码流。该过程与H264/H265视频编码协议中的帧间预测编码所产生的预测差分信号的编码过程一致，本实施例中其具体为：将所述残差值(差余影像)去空域，即施以转换编码，将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小；经所述转换编码后，产生一批变换系数，需通过量化编码对这些系数进行量化，使编码器的输出达到一定的位率；之后通过熵编码对所述经变换编码和量化编码后得到的系数和运动信息进一步压缩，以生成比特流(码流)。
S105，输出所述经编码后的残差值与所述差异帧的标识信息。
经上述步骤S104对所述残差值进行编码并生成比特流后，本步骤用于将所述比特流进行封装并输出，以完成对所述帧内编码帧的完整编码过程。
输出所述经编码后的残差值与所述差异帧的标识信息的过程为：将编码过的比特流进行输出并包装成单元封包，后经网络传送至远程或存储在存储媒体中。在该过程中，所述最小差异帧的标识信息与所述经编码后的残差值(差余影像)同步输出或存储。由于该过程与现有的H264/H265视频编码协议的编码后输出的原理及方法一致，相关处请参考H264/H265视频编码协议的相关内容进行理解，在此不再赘述。
与上述第一实施例相对应，本申请第二实施例提供一种视频解码的方法，该方法与上述第一实施例提供的视频编码的方法对应。该方法由视频解码端执行，请参考图3理解该实施例，图3为本实施例提供的视频解码的方法的流程图，以下结合图3对本实施例详细说明。
S201，接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧。
本步骤的作用在于获取欲解码的数据信号，并使其转变为图像信号。
视频解码的过程实质为将数据编码文件转变为视频图像文件的过程，是对视频图像的重构。所述视频编码流指的是视频图像经编码压缩和包装后所生成的数据流，其中包含编码后的视频帧数据信息以及头部信息，所述头部信息包含所述编码后的视频帧的标识信息以及各种指示信息，如帧类型(是否为参考帧)、序列参数集、图像参数集、补充增强信息单元(SEI)等。所述视频编码流可存储于存储媒体中，也可通过网络传输。所述接收视频编码流，既可为获取所述存储媒体中的视频编码流，也可为接收经网络传输后的视频编码流。
对所述视频编码流进行标准化解码，指的是通过熵解码、逆量化以及逆转换等解码程序使所述视频编码流转变为视频帧经转换编码之前的状态，即完整的视频图像帧或差余影像，并且获得所述各帧的标识信息。
本实施例所提供的视频解码方法与上述第一实施例所提供的视频编码方法相对应，因此，在本步骤中接收的视频编码流为第一实施例所输出或存储的视频编码流，所述输出或存储的视频编码流中的编码数据是所述差异帧与所述可作为基础帧的待编码图像的残差值(差余影像)经转换编码、量化编码以及熵编码后获得的，或者是帧间编码帧经帧间预测编码后获得的，都为差余影像，因此，本实施例中，所述经熵解码、逆量化以及逆转换等解码程序解码后的视频帧均为残差帧(差余影像)。
S202，获得所述视频帧中的帧内编码帧。
本步骤用于获得上述步骤S201中标准化解码后的视频帧中的帧内编码帧，由于本实施例提供的视频解码方法仅适用于可作为视频序列中的基础帧的帧内编码帧，所以需进行该操作。
在本实施例中，所述获得所述视频帧中的帧内编码帧，其方法为：判断所述经标准化解码后的视频帧的类型，以确定其是否为帧内编码帧，若是，则将其作为本方法的解码对象。所述视频帧类型需通过该视频帧的标识信息进行判断，具体为：根据视频帧的标识信息对所述经解码后的残差帧所对应的帧类型进行判断，所述视频帧的标识信息包含于所述视频帧的头部信息中，为视频编码码流的第一个字节，若标识信息显示所述残差帧所对应的帧类型为视频序列的帧内编码帧，则进入后续步骤；若标识信息显示所述残差帧所对应的帧类型为帧间编码帧，则按原有的帧间编码帧进行解码的方法，将该残差帧所对应的差余图像与参考缓存画面(帧间预测信息)进行叠加，以此获得完整的帧间图像。
S203，根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像。
本步骤的作用在于，为上述步骤S202中获得的帧内编码帧选取参考图像，作为对所述帧内编码帧进行后续解码时的参考依据。
在所述第一实施例中提供了参考图像库的创建方法，本实施例中的所述参考图像库与所述第一实施例所提供的参考图像库的内容相同，其是对所述第一实施例中所创建的参考图像库中的参考图像进行编码、传输以及解码后获得的，具体如下：
在编码端创建参考图像库后，需对所述参考图像库中的参考图像进行编码，并将所述编码后的参考帧与其标识信息一起传送至解码端；解码端接收所述经编码后的参考帧及所述参考帧的标识信息；对所述参考帧进行解码，获取参考图像，根据视频编码流中的指示信息可获知该参考图像为参考图像库中的参考图像；将所述参考图像及其标识信息存储至解码端的特定处理单元中作为缓存图像供后续解码环节进行比对以及调用，所述经存储后的参考图像组成解码端的参考图像库。
与所述第一实施例中的参考图像库需进行更新相似，本实施例中的参考图像库也需进行更新，所不同的是，本实施例中的参考图像库的更新是通过视频编码端所传输的视频编码流中的参考图像更新信息进行触发的，所述参考图像更新信息包括备用参考图像及其标识信息。在本实施例中，该过程具体为：视频编码端对参考图像库进行更新后，将更新后的参考图像编码后传输至解码端，并且在视频编码流的视频序列解码的补充增强信息(SEI)中对所述更新后的参考图像进行指定，所述补充增强信息(SEI)消息中描述了与图像的解码并不直接相关的补充信息，例如本实施例中指定被更新的参考图像的编号，表明其将作为视频解码端的备用参考图像，随后对所述备用参考图像及其标识信息进行存储，并删除原有的参考图像及其标识信息。
所述根据所述视频编码流中的参考图像标识信息查询参考图像库，具体为：视频编码端在基于与待编码图像进行比对而选取参考图像库中的差异帧后，以该差异帧作为参考信息对所述待编码图像进行编码，在解码端，针对该待编码图像编码后所形成的视频帧，需要以相同的参考图像作为参考信息对所述视频帧进行解码；所述编码端完成对所述待编码图像的编码后，在向解码端传输或进行存储时，同步传输或存储所选取的差异帧的标识信息，以通知解码端选取相同的差异帧作为参考信息进行解码。本实施例中，所述标识信息为各参考图像的编号，在解码端，根据所述参考图像的编号即可在所述参考图像库中选取差异帧。
S204，将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本步骤用于根据上述步骤S202获得的帧内编码帧(残差图像)以及步骤S203获取的参考图像获取最终解码图像。
将所述残差图像与所述参考图像进行合并，该过程等同于H264视频编码标准的P帧解码时将之前缓存的画面叠加上本帧定义的差别后重构P帧的完整图像的过程，具体为：将所述残差图像与所述参考图像的图像内对应坐标的像素值进行相加，完成图像的重构。如此，便完成了所述对所述帧内编码帧的解码过程。
通过上述第一实施例和第二实施例的配合使用，即可实现对在同一视频序列中可作为基础帧的帧内编码帧的编码及解码过程。
本申请第三实施例提供一种视频编码的装置，请参看图4，图4为该实施例的单元框图。
所述视频编码的装置包括：帧内编码帧获得单元301、差异帧及其标识信息确定单元302、残差值确定单元303、编码单元304、输出单元305。
帧内编码帧获得单元301，用于获得待编码图像帧中的帧内编码帧；；
差异帧及其标识信息确定单元302，用于将所述待编码图像帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元303，用于根据所述待编码图像帧与所述差异帧，确定残差值；
编码单元304，用于将所述残差值进行编码；
输出单元305，用于输出所述经编码后的残差值与所述差异帧的标识信息。
优选的，所述参考图像库通过如下方式获得：
获取参考图像；
对所述获取的参考图像进行存储和标识。
优选的，所述获取参考图像，包括如下步骤：
采集候选图像；
结合预定的参考图像的数量，根据所述采集的候选图像确定最终参考图像。
优选的，所述参考图像的数量根据应用场景预先设定。
优选的，所述根据所述采集的候选图像确定最终参考图像的方法包括：
使用聚类算法对所述采集的候选图像进行聚类计算，以此获取最终参考图像。
优选的，使用聚类算法中的K-MEANS算法对所述采集的候选图像进行聚类计算，以此获取最终参考图像。
优选的，所述视频编码的方法还包括：对所述参考图像库进行更新。
优选的，所述对所述参考图像进行更新，包括：
基于应用场景所预定的更新时间，对所述参考图像进行时间更新；
和/或
基于应用场景的检测结果，对所述参考图像进行空间更新。
优选的，所述基于应用场景的检测结果，对所述参考图像进行空间更新，包括：
将待编码图像帧与所述参考图像库的参考图像进行比对以检测二者的相关性，若相关性低，则触发更新。
优选的，所述将待编码图像与所述参考图像库的参考图像进行比对的方法包括：计算欧式距离。
本申请第四实施例提供一种视频解码的装置，请参看图5，图5为该实施例的单元框图。
所述视频解码的装置包括：视频编码流标准化解码单元401、帧内编码帧获得单元402、参考图像获取单元403、解码图像获得单元404。
视频编码流标准化解码单元401，用于接收视频编码流，并对所述接收的视频编码流进行标准化解码，获得视频帧；
帧内编码帧获得单元402，用于获得所述视频帧中的帧内编码帧；
参考图像获取单元403，用于根据所述视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元404，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
优选的，所述参考图像库通过如下方式获得：
接收经编码后的参考图像帧及所述参考图像帧的标识信息；
对所述参考图像帧进行解码，获取参考图像；
存储所述参考图像。
优选的，所述视频解码的方法还包括：
对所述参考图像库进行更新。
优选的，所述对所述参考图像库进行更新，包括：通过所述视频编码流中的参考图像更新信息对所述参考图像库进行更新。
优选的，所述参考图像更新信息，包括：备用参考图像及其标识信息。
优选的，所述备用参考图像通过如下方式获得：
视频编码流中的视频序列解码的增强信息(SEI)中包含对所述备用参考图像的指定信息，通过所述指定信息确定视频帧中的备用参考图像。
本申请第五实施例提供一种电子设备，请参看图6，图6为该实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例提供的电子设备包括：处理器501以及存储器502，所述存储器502用于存储一种用于视频编码的程序，该设备通电并通过所述处理器运行所述用于视频编码的程序后，执行下述步骤：
获得待编码图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
本申请第六实施例提供一种电子设备，请参看图7，图7为该实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例提供的电子设备包括：处理器601以及存储器602，所述存储器602用于存储一种用于视频解码的程序，该设备通电并通过所述处理器601运行所述用于视频解码的程序后，执行下述步骤：
接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧；
获得所述视频帧中的帧内编码帧；
根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
与上述第一实施例的视频编码的方法相对应，本申请第七实施例提供一种直播视频编码的方法，该方法可用于对场景变化有限的网络直播场景下的视频帧进行编码。请参考图8，其为本申请第七实施例提供的一种直播视频编码的方法流程图，本实施例与第一实施例内容相同的部分在此不再赘述，请参见实施例一中的相应部分。本实施例提供的一种直播视频编码的方法包括如下步骤：
S301，获得直播视频图像帧中的帧内编码帧。
所述直播视频图像帧指的是网络直播过程中所产生的用以进行编码的单幅直播画面，例如淘宝直播中的单幅购物画面。
S302，将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息。
所述参考图像库指的是预先设定的包含各直播场景和所述各直播场景的参考图像的集合。所述参考图像库的创建过程请参考图9，图9为本实施例提供的参考图像库的创建流程图。
如图9所示，所述参考图像库通过如下步骤进行创建：
S3021，采集候选图像，并根据直播场景对所述候选图像进行分组。
网络直播按其用途的不同可划分为多种直播场景，所述直播场景一般包括直播背景和直播主体。例如淘宝直播，其主要用于直播购物，所述直播背景为室内的背景陈设，所述直播主体为主播以及商品，常见的直播方式为：主播在某一特定的室内背景下对某一商品进行介绍，在该过程中，主播的位置、直播背景画面以及商品的类别等直播场景的变化非常有限。
所述候选图像是对常用的直播场景进行图像采集后所形成的图片集，根据直播场景对所述候选图像进行分组，指的是将不同直播场景的候选图像进行分类，使得该直播端的每个直播场景都有其对应的分组。例如，在淘宝直播中，典型的场景为：一主播对应一特定的直播背景和同一类别的商品，在该场景下所采集的图像即可作为一组候选图像。
S3022，结合每个分组预定的参考图像的数量，根据所述候选图像确定每个分组的参考图像。
所述每个分组所对应的直播场景不同，各直播场景对参考图像的数量有不同需求，例如，淘宝直播中，由于一个直播场景的内容变化非常有限，因此该直播场景内的图像之间的相似性较高，其所需的参考图像的数量相对较少。
S3023，对所述每个分组的参考图像进行存储和标识。
该步骤与第一实施例中的步骤S1022中的对参考图像进行存储和标识的过程基本相同，区别在于，本实施例中对所述参考图像进行存储和标识，还包括对其对应的分组的信息进行存储和标识。
所述参考图像库可包含多个分组，所述每个分组的分类标准可根据实际应用进行设定，例如，在淘宝直播中，可将主播、商品以及直播背景等三者中的至少一个作为分类标准，在将主播作为分类标准时，不同的主播对应不同直播场景，在该种情况下，需保证同一分组中的不同参考图像的商品和直播背景较为一致；在将主播和商品作为分类标准时，同一主播和同一商品对应一个直播场景，在该情况下，需保证同一分组中的不同参考图像的直播背景较为一致。
所述将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，需首先确定与当下的直播场景相对应的参考图像库中的分组，该过程可通过人为预先设定或图像自行匹配完成，之后再按照上述第一实施例中的步骤S103中的比对方法，将所述获得的帧内编码帧与所述参考图像库的对应分组中的参考图像进行比对，以确定差异帧及其标识信息，所述差异帧的标识信息包括其在所述分组中的编号以及该分组的信息。
S303，根据所述帧内编码帧与所述差异帧，确定残差值。
S304，将所述残差值进行编码。
S305，输出所述经编码后的残差值与所述差异帧的标识信息。
与上述第七实施例所提供的一种直播视频编码的方法相对应，本申请第八实施例提供一种直播视频解码的方法。请参考图10，其为本实施例提供的一种直播视频解码的方法的流程图。本实施例同时与上述第二实施例提供的一种视频解码的方法相对应，本实施例与上述第二实施例的内容相同的部分在此不再赘述，相关处请参见上述第二实施例的相应部分。本实施例提供的一种直播视频解码的方法，包括如下步骤：
S401，接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧。
所述直播视频编码流指的是直播视频图像经编码和包装后所生成的数据流。
S402，获得所述直播视频帧中的帧内编码帧。
S403，根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像。
本申请第七实施例中提供了参考图像库的创建方法，本实施例中的所述参考图像库与所述第七实施例所提供的参考图像库的内容相同，其是对所述第七实施例中所创建的参考图像库中的参考图像进行编码、传输以及解码后获得的。
所述参考图像标识信息即为所述第七实施例的步骤S302中的所述差异帧的标识信息，其包括所述差异帧在所述分组中的编号以及该分组的信息。
S404，将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本申请第九实施例提供一种直播视频编码的装置，请参看图11，其为本实施例提供的装置的单元框图，如图11所示，所述直播视频编码的装置包括：帧内编码帧获得单元701，差异帧及其标识信息确定单元702，残差值确定单元703，编码单元704，输出单元705。
帧内编码帧获得单元701，用于获得直播视频图像帧中的帧内编码帧；
差异帧及其标识信息确定单元702，用于将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元703，用于根据所述帧内编码帧与所述差异帧，确定残差值；
编码单元704，用于将所述残差值进行编码；
输出单元705，用于输出所述经编码后的残差值与所述差异帧的标识信息。
优选的，所述参考图像库通过如下方式获得：
采集候选图像，并根据直播场景对所述候选图像进行分组；
结合每个分组预定的参考图像的数量，根据所述候选图像确定每个分组的参考图像；
对所述每个分组的参考图像进行存储和标识。
本申请第十实施例提供一种直播视频解码的装置，请参看图12，其为本实施例提供的装置的单元框图，如图12所示，所述直播视频编码的装置包括：直播视频编码流标准化解码单元801，帧内编码帧获得单元802，参考图像获取单元803，解码图像获得单元804。
直播视频编码流标准化解码单元801，用于接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；
帧内编码帧获得单元802，用于获得所述直播视频帧中的帧内编码帧；
参考图像获取单元803，用于根据所述直播视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元804，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本申请第十一实施例提供一种电子设备，请参看图13，图13为该实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例提供的电子设备包括：处理器901以及存储器902，所述存储器902用于存储一种用于直播视频编码的程序，该设备通电并通过所述处理器运行所述用于直播视频编码的程序后，执行下述步骤：
获得直播视频图像帧中的帧内编码帧；将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；根据所述帧内编码帧与所述差异帧，确定残差值；将所述残差值进行编码；输出所述经编码后的残差值与所述差异帧的标识信息。
本申请第十二实施例提供一种电子设备，请参看图14，图14为该实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。本实施例提供的电子设备包括：处理器1001以及存储器1002，所述存储器用于存储一种用于直播视频解码的程序，该设备通电并通过所述处理器运行所述用于直播视频解码的程序后，执行下述步骤：
接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；获得所述直播视频帧中的帧内编码帧；根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (27)
1.一种视频编码的方法，其特征在于，包括：
获得待编码图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
2.根据权利要求1所述的视频编码的方法，其特征在于，所述参考图像库通过如下方式获得：
获取参考图像；
对所述获取的参考图像进行存储和标识。
3.根据权利要求2所述的视频编码的方法，其特征在于，所述获取参考图像，包括如下步骤：
采集候选图像；
结合预定的参考图像的数量，根据所述采集的候选图像确定最终参考图像。
4.根据权利要求3所述的视频编码的方法，其特征在于，所述参考图像的数量根据应用场景预先设定。
5.根据权利要求3所述的视频编码的方法，其特征在于，所述根据所述采集的候选图像确定最终参考图像的方法包括：
使用聚类算法对所述采集的候选图像进行聚类计算，以此获取最终参考图像。
6.根据权利要求5所述的视频编码的方法，其特征在于，所述聚类算法包括：K-MEANS算法。
7.根据权利要求1所述的视频编码的方法，其特征在于，还包括：
对所述参考图像库进行更新。
8.根据权利要求7所述的视频编码的方法，其特征在于，所述对所述参考图像进行更新，包括：
基于应用场景所预定的更新时间，对所述参考图像进行时间更新；
和/或
基于应用场景的检测结果，对所述参考图像进行空间更新。
9.根据权利要求8所述的视频编码的方法，其特征在于，所述基于应用场景的检测结果，对所述参考图像进行空间更新，包括：
将待编码图像帧与所述参考图像库的参考图像进行比对以检测二者的相关性，若相关性低，则触发更新。
10.根据权利要求9所述的视频编码的方法，其特征在于，所述将待编码图像帧与所述参考图像库的参考图像进行比对的方法包括：计算欧式距离。
11.一种视频解码的方法，其特征在于，包括：
接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧；
获得所述视频帧中的帧内编码帧；
根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
12.根据权利要求11所述的视频解码的方法，其特征在于，所述参考图像库通过如下方式获得：
接收经编码后的参考图像帧及所述参考图像帧的标识信息；
对所述参考图像帧进行解码，获取参考图像；
存储所述参考图像及其标识信息。
13.根据权利要求11所述的视频解码的方法，其特征在于，还包括：
对所述参考图像库进行更新。
14.根据权利要求13所述的视频解码的方法，其特征在于，所述对所述参考图像库进行更新，包括：
通过所述视频编码流中的参考图像更新信息对所述参考图像库进行更新。
15.根据权利要求14所述的视频解码的方法，其特征在于，所述参考图像更新信息，包括：备用参考图像及其标识信息。
16.根据权利要求15所述的视频解码的方法，其特征在于，所述备用参考图像通过如下方式获得：
视频编码流中的视频序列解码的增强信息(SEI)中包含对所述备用参考图像的指定信息，通过所述指定信息确定视频帧中的备用参考图像。
17.一种视频编码的装置，其特征在于，包括：
帧内编码帧获得单元，用于获得待编码图像帧中的帧内编码帧；
差异帧及其标识信息确定单元，用于将所述帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元，用于根据所述帧内编码帧帧与所述差异帧，确定残差值；
编码单元，用于将所述残差值进行编码；
输出单元，用于输出所述经编码后的残差值与所述差异帧的标识信息。
18.一种视频解码的装置，其特征在于，包括：
视频编码流标准化解码单元，用于接收视频编码流，并对所述接收的视频编码流进行标准化解码，获得视频帧；
帧内编码帧获得单元，用于获得所述视频帧中的帧内编码帧；
参考图像获取单元，用于根据所述视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
19.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一种用于视频编码的程序，该设备通电并通过所述处理器运行所述用于视频编码的程序后，执行下述步骤：
获得待编码图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
20.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一种用于视频解码的程序，该设备通电并通过所述处理器运行所述用于视频解码的程序后，执行下述步骤：
接收视频编码流，并对所述视频编码流进行标准化解码，获得视频帧；
获得所述视频帧中的帧内编码帧；
根据所述视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
21.一种直播视频编码的方法，其特征在于，包括：
获得直播视频图像帧中的帧内编码帧；
将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
根据所述帧内编码帧与所述差异帧，确定残差值；
将所述残差值进行编码；
输出所述经编码后的残差值与所述差异帧的标识信息。
22.根据权利要求21所述的直播视频编码的方法，其特征在于，所述参考图像库通过如下方式获得：
采集候选图像，并根据直播场景对所述候选图像进行分组；
结合每个分组预定的参考图像的数量，根据所述候选图像确定每个分组的参考图像；
对所述每个分组的参考图像进行存储和标识。
23.一种直播视频解码的方法，其特征在于，包括：
接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；
获得所述直播视频帧中的帧内编码帧；
根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；
将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
24.一种直播视频编码的装置，其特征在于，包括：
帧内编码帧获得单元，用于获得直播视频图像帧中的帧内编码帧；
差异帧及其标识信息确定单元，用于将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；
残差值确定单元，用于根据所述帧内编码帧与所述差异帧，确定残差值；
编码单元，用于将所述残差值进行编码；
输出单元，用于输出所述经编码后的残差值与所述差异帧的标识信息。
25.一种直播视频解码的装置，其特征在于，包括：
直播视频编码流标准化解码单元，用于接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；
帧内编码帧获得单元，用于获得所述直播视频帧中的帧内编码帧；
参考图像获取单元，用于根据所述直播视频编码流的参考图像标识信息查询参考图像库，获取参考图像；
解码图像获得单元，用于将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
26.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一种用于直播视频编码的程序，该设备通电并通过所述处理器运行所述用于直播视频编码的程序后，执行下述步骤：
获得直播视频图像帧中的帧内编码帧；将所述获得的帧内编码帧与预设的参考图像库中的参考图像进行比对，确定差异帧及其标识信息；根据所述帧内编码帧与所述差异帧，确定残差值；将所述残差值进行编码；输出所述经编码后的残差值与所述差异帧的标识信息。
27.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一种用于直播视频解码的程序，该设备通电并通过所述处理器运行所述用于直播视频解码的程序后，执行下述步骤：
接收直播视频编码流，并对所述直播视频编码流进行标准化解码，获得直播视频帧；获得所述直播视频帧中的帧内编码帧；根据所述直播视频编码流中的参考图像标识信息查询参考图像库，获取参考图像；将所述帧内编码帧与所述参考图像进行合并，获得解码图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710863123.1A CN109547786B (zh) | 2017-09-22 | 2017-09-22 | 视频编码、以及视频解码的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710863123.1A CN109547786B (zh) | 2017-09-22 | 2017-09-22 | 视频编码、以及视频解码的方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109547786A true CN109547786A (zh) | 2019-03-29 |
| CN109547786B CN109547786B (zh) | 2023-05-09 |
Family
ID=65828219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710863123.1A Active CN109547786B (zh) | 2017-09-22 | 2017-09-22 | 视频编码、以及视频解码的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109547786B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110959292A (zh) * | 2019-07-03 | 2020-04-03 | 北京小米移动软件有限公司 | 视频的编码、解码的方法及装置、存储介质 |
| CN111464828A (zh) * | 2020-05-14 | 2020-07-28 | 广州酷狗计算机科技有限公司 | 虚拟特效显示方法、装置、终端及存储介质 |
| CN111654724A (zh) * | 2020-06-08 | 2020-09-11 | 上海纽菲斯信息科技有限公司 | 一种视频会议系统的低码率编码传输方法 |
| CN111757017A (zh) * | 2020-06-08 | 2020-10-09 | 深圳市哈博森科技有限公司 | Raw影像无损存储的方法 |
| CN111866514A (zh) * | 2019-04-25 | 2020-10-30 | 中国移动通信集团贵州有限公司 | 一种压缩视频、解压视频的方法和装置 |
| CN112714319A (zh) * | 2020-12-24 | 2021-04-27 | 上海壁仞智能科技有限公司 | 计算机可读取存储介质、使用多个执行单元的视频编解码方法和装置 |
| CN112804526A (zh) * | 2020-12-31 | 2021-05-14 | 紫光展锐(重庆)科技有限公司 | 图像数据存储方法、设备及存储介质、芯片、模组设备 |
| WO2021102903A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、系统和存储介质 |
| CN113269140A (zh) * | 2021-06-18 | 2021-08-17 | 北京灵汐科技有限公司 | 图像处理方法与装置、存储介质、电子设备 |
| CN113453070A (zh) * | 2021-06-18 | 2021-09-28 | 北京灵汐科技有限公司 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
| CN114007130A (zh) * | 2021-10-29 | 2022-02-01 | 维沃移动通信有限公司 | 数据传输方法、装置、电子设备及存储介质 |
| CN114222131A (zh) * | 2021-12-16 | 2022-03-22 | 北京数码视讯技术有限公司 | 低延时视频编码方法和装置 |
| CN114302139A (zh) * | 2021-12-10 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 视频编码方法、视频解码方法及装置 |
| WO2022110870A1 (zh) * | 2020-11-27 | 2022-06-02 | 浙江智慧视频安防创新中心有限公司 | 图像编码和解码方法、编码和解码装置、编码器及解码器 |
| CN114726891A (zh) * | 2022-03-28 | 2022-07-08 | 慧之安信息技术股份有限公司 | 一种基于物联网的视频传输上报方法 |
| CN116112693A (zh) * | 2022-12-30 | 2023-05-12 | 北京天兵科技有限公司 | 高分辨率视频信号低码流的采编方法、装置和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101668211A (zh) * | 2009-09-18 | 2010-03-10 | 杭州电子科技大学 | 一种图像和视频编解码的方法 |
| CN101742319A (zh) * | 2010-01-15 | 2010-06-16 | 北京大学 | 基于背景建模的静态摄像机视频压缩方法与系统 |
| JP2016134847A (ja) * | 2015-01-21 | 2016-07-25 | 沖電気工業株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び動画像符号化システム |
| US20170214924A1 (en) * | 2014-09-09 | 2017-07-27 | Dolby Laboratories Licensing Corporation | Self-adaptive prediction method for multi-layer codec |
-
2017
- 2017-09-22 CN CN201710863123.1A patent/CN109547786B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101668211A (zh) * | 2009-09-18 | 2010-03-10 | 杭州电子科技大学 | 一种图像和视频编解码的方法 |
| CN101742319A (zh) * | 2010-01-15 | 2010-06-16 | 北京大学 | 基于背景建模的静态摄像机视频压缩方法与系统 |
| US20170214924A1 (en) * | 2014-09-09 | 2017-07-27 | Dolby Laboratories Licensing Corporation | Self-adaptive prediction method for multi-layer codec |
| JP2016134847A (ja) * | 2015-01-21 | 2016-07-25 | 沖電気工業株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び動画像符号化システム |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866514A (zh) * | 2019-04-25 | 2020-10-30 | 中国移动通信集团贵州有限公司 | 一种压缩视频、解压视频的方法和装置 |
| CN111866514B (zh) * | 2019-04-25 | 2022-06-03 | 中国移动通信集团贵州有限公司 | 一种压缩视频、解压视频的方法和装置 |
| CN110959292B (zh) * | 2019-07-03 | 2021-11-02 | 北京小米移动软件有限公司 | 视频的编码、解码的方法及装置、处理装置、存储介质 |
| CN110959292A (zh) * | 2019-07-03 | 2020-04-03 | 北京小米移动软件有限公司 | 视频的编码、解码的方法及装置、存储介质 |
| WO2021102903A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、系统和存储介质 |
| CN111464828A (zh) * | 2020-05-14 | 2020-07-28 | 广州酷狗计算机科技有限公司 | 虚拟特效显示方法、装置、终端及存储介质 |
| CN111654724A (zh) * | 2020-06-08 | 2020-09-11 | 上海纽菲斯信息科技有限公司 | 一种视频会议系统的低码率编码传输方法 |
| CN111757017A (zh) * | 2020-06-08 | 2020-10-09 | 深圳市哈博森科技有限公司 | Raw影像无损存储的方法 |
| CN111757017B (zh) * | 2020-06-08 | 2021-12-24 | 深圳市哈博森科技有限公司 | Raw影像无损存储的方法 |
| WO2022110870A1 (zh) * | 2020-11-27 | 2022-06-02 | 浙江智慧视频安防创新中心有限公司 | 图像编码和解码方法、编码和解码装置、编码器及解码器 |
| CN112714319A (zh) * | 2020-12-24 | 2021-04-27 | 上海壁仞智能科技有限公司 | 计算机可读取存储介质、使用多个执行单元的视频编解码方法和装置 |
| CN112804526A (zh) * | 2020-12-31 | 2021-05-14 | 紫光展锐(重庆)科技有限公司 | 图像数据存储方法、设备及存储介质、芯片、模组设备 |
| CN112804526B (zh) * | 2020-12-31 | 2022-11-11 | 紫光展锐(重庆)科技有限公司 | 图像数据存储方法、设备及存储介质、芯片、模组设备 |
| CN113453070B (zh) * | 2021-06-18 | 2023-01-03 | 北京灵汐科技有限公司 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
| CN113269140A (zh) * | 2021-06-18 | 2021-08-17 | 北京灵汐科技有限公司 | 图像处理方法与装置、存储介质、电子设备 |
| CN113453070A (zh) * | 2021-06-18 | 2021-09-28 | 北京灵汐科技有限公司 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
| CN113269140B (zh) * | 2021-06-18 | 2024-05-24 | 北京灵汐科技有限公司 | 图像处理方法与装置、存储介质、电子设备 |
| CN114007130A (zh) * | 2021-10-29 | 2022-02-01 | 维沃移动通信有限公司 | 数据传输方法、装置、电子设备及存储介质 |
| CN114302139A (zh) * | 2021-12-10 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 视频编码方法、视频解码方法及装置 |
| CN114222131A (zh) * | 2021-12-16 | 2022-03-22 | 北京数码视讯技术有限公司 | 低延时视频编码方法和装置 |
| CN114222131B (zh) * | 2021-12-16 | 2023-10-27 | 北京数码视讯技术有限公司 | 低延时视频编码方法和装置 |
| CN114726891A (zh) * | 2022-03-28 | 2022-07-08 | 慧之安信息技术股份有限公司 | 一种基于物联网的视频传输上报方法 |
| CN116112693A (zh) * | 2022-12-30 | 2023-05-12 | 北京天兵科技有限公司 | 高分辨率视频信号低码流的采编方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109547786B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109547786A (zh) | 视频编码、以及视频解码的方法、装置 | |
| US9445114B2 (en) | Method and device for determining slice boundaries based on multiple video encoding processes | |
| WO2017071480A1 (zh) | 参考帧编解码的方法与装置 | |
| EP3399752B1 (en) | Image decoding method and decoding device | |
| CN110198492B (zh) | 一种视频的水印添加方法、装置、设备及存储介质 | |
| RU2511595C2 (ru) | Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа | |
| US8675731B2 (en) | Encoder and method | |
| US9538239B2 (en) | Decoder and method for decoding encoded input data containing a plurality of blocks or packets | |
| CN107027032B (zh) | 最后帧运动向量分区方法和装置 | |
| JP6761033B2 (ja) | 前フレーム残差を用いた動きベクトル予測 | |
| CN105432083A (zh) | 混合向后兼容的信号编码和解码 | |
| CN110324623B (zh) | 一种双向帧间预测方法及装置 | |
| US10333547B2 (en) | Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations | |
| CN101960466A (zh) | 用于误差弹性视频编码的帧间模式生成的比率失真优化 | |
| US20140119456A1 (en) | Encoding video into lower resolution streams | |
| JP7412356B2 (ja) | ピクチャ境界処理のためのマルチタイプツリー深度拡張 | |
| WO2018001208A1 (zh) | 编解码的方法及设备 | |
| US20210329252A1 (en) | Motion information acquisition method and device for video encoding or decoding | |
| US20190356911A1 (en) | Region-based processing of predicted pixels | |
| CN108401185B (zh) | 参考帧选择方法、视频转码方法、电子设备和存储介质 | |
| US20240080487A1 (en) | Method, apparatus for processing media data, computer device and storage medium | |
| CN109587431A (zh) | 一种多路视频码流合并方法、装置、设备和存储介质 | |
| WO2022100173A1 (zh) | 一种视频帧的压缩和视频帧的解压缩方法及装置 | |
| CN111656786B (zh) | 候选运动信息列表的构建方法、帧间预测方法及装置 | |
| KR20060043050A (ko) | 영상 신호의 인코딩 및 디코딩 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |