CN110177275B - 视频编码方法及装置、存储介质 - Google Patents

Abstract

本发明公开了一种视频编码方法及装置、存储介质，属于计算机技术领域。所述方法包括：获取第一视频图像的编码数据，第一视频图像的编码数据包括第一视频图像的第一区域内每个宏块的运动向量；基于第一视频图像的编码数据，对第二视频图像进行编码；其中，第一视频图像为第一视频流中的双向差别帧或前向预测帧中的一种，第二视频图像为第二视频流中与第一视频图像存在重叠区域的视频帧，第一区域为第一视频图像中与第二视频图像重叠的区域。本发明通过复用不同路视频流中重叠区域的编码数据，可以减小编码的计算开销，降低编码复杂度。

Description

视频编码方法及装置、存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种视频编码方法及装置、存储介质。

背景技术

随着计算机技术的发展，视频的应用场景越来越丰富。在视频编码过程中，会出现同一设备需要同时对多路视频流进行编码的情况。相关技术中，当同一设备需要同时对多路视频流进行编码时，需要对每路视频流分别进行编码，计算开销较大，编码复杂度较高。

发明内容

本发明实施例提供了一种视频编码方法及装置、存储介质，可以解决相关技术中视频编码的计算开销较大，编码复杂度较高的问题。所述技术方案如下：

第一方面，提供了一种视频编码方法，所述方法包括：

对第一视频图像进行编码，所述第一视频图像为第一视频流中的双向预测帧或前向预测帧中的一种；

获取所述第一视频图像的编码数据，所述第一视频图像的编码数据包括所述第一视频图像的第一区域内每个宏块的运动向量；

当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，所述第二视频图像为第二视频流中与所述第一视频图像存在重叠区域的视频帧；

其中，所述第一视频流中的视频图像与所述第二视频流中的视频图像具有重叠的区域，所述第一区域为所述第一视频图像中与所述第二视频图像重叠的区域，所述指定区域在所述参考帧中的位置与所述第一区域在所述第一视频图像中的位置相同。

可选地，所述对第一视频图像进行编码，包括：

基于所述参考帧的所述指定区域内的宏块，生成所述第一区域内每个宏块的运动向量。

可选地，所述编码数据还包括所述每个宏块的子宏块划分方式、所述每个宏块的变换方式、所述每个宏块的量化参数或所述每个宏块的量化后残差中的至少一种。

可选地，所述基于所述第一视频图像的编码数据，对第二视频图像进行编码，包括：

基于所述第一区域内每个宏块的子宏块划分方式、所述每个宏块的运动向量、所述每个宏块的变换方式、所述每个宏块的量化参数和所述每个宏块的量化后残差进行熵编码，得到所述第二视频图像的第二区域对应的码流，所述第二区域为所述第二视频图像中与第一视频图像重叠的区域。

可选地，当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，包括：

当所述第一区域内存在某个宏块的运动向量基于参考帧的指定区域内的宏块生成，且所述第二区域中与所述某个宏块对应的目标宏块的像素值与所述某个宏块的像素值的差值小于指定阈值时，基于所述某个宏块的编码数据，对所述目标宏块进行编码。

可选地，所述编码数据还包括所述每个宏块的子宏块划分方式，所述基于所述某个宏块的编码数据，对所述目标宏块进行编码，包括：

基于所述某个宏块的子宏块划分方式以及所述某个宏块的运动向量，对所述目标宏块进行运动补偿、变换处理、量化处理以及熵编码。

可选地，所述第一视频图像和所述第二视频图像满足以下一种关系：

所述第二视频图像从所述第一视频图像中截取得到；

所述第一视频图像由所述第二视频图像和第三视频图像拼接得到。

第二方面，提供了一种视频编码装置，所述装置包括：

第一编码模块，用于对第一视频图像进行编码，所述第一视频图像为第一视频流中的双向预测帧或前向预测帧中的一种；

获取模块，用于获取所述第一视频图像的编码数据，所述第一视频图像的编码数据包括所述第一视频图像的第一区域内每个宏块的运动向量；

第二编码模块，用于当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，所述第二视频图像为第二视频流中与所述第一视频图像存在重叠区域的视频帧；

其中，所述第一视频流中的视频图像与所述第二视频流中的视频图像具有重叠的区域，所述第一区域为所述第一视频图像中与所述第二视频图像重叠的区域，所述指定区域在所述参考帧中的位置与所述第一区域在所述第一视频图像中的位置相同。

可选地，所述第一编码模块，用于：

基于所述参考帧的所述指定区域内的宏块，生成所述第一区域内每个宏块的运动向量。

可选地，所述编码数据还包括所述每个宏块的子宏块划分方式、所述每个宏块的变换方式、所述每个宏块的量化参数或所述每个宏块的量化后残差中的至少一种。

可选地，所述第二编码模块，用于：

基于所述第一区域内每个宏块的子宏块划分方式、所述每个宏块的运动向量、所述每个宏块的变换方式、所述每个宏块的量化参数和所述每个宏块的量化后残差进行熵编码，得到所述第二视频图像的第二区域对应的码流，所述第二区域为所述第二视频图像中与第一视频图像重叠的区域。。

可选地，所述第二编码模块，用于：

当所述第一区域内存在某个宏块的运动向量基于参考帧的指定区域内的宏块生成，且所述第二区域中与所述某个宏块对应的目标宏块的像素值与所述某个宏块的像素值的差值小于指定阈值时，基于所述某个宏块的编码数据，对所述目标宏块进行编码。

可选地，所述编码数据还包括所述每个宏块的子宏块划分方式，所述第二编码模块，用于：

基于所述某个宏块的子宏块划分方式以及所述某个宏块的运动向量，对所述目标宏块进行运动补偿、变换处理、量化处理以及熵编码。

可选地，所述第一视频图像和所述第二视频图像满足以下一种关系：

所述第二视频图像从所述第一视频图像中截取得到；

所述第一视频图像由所述第二视频图像和第三视频图像拼接得到。

第三方面，提供了一种视频编码装置，包括：处理器和存储器，

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器上所存储的计算机程序，实现如第一方面任一所述的视频编码方法。

第四方面，提供了一种存储介质，包括：当所述存储介质中的程序由处理器执行时，能够实现如第一方面任一所述的视频编码方法。

本发明实施例提供的技术方案带来的有益效果包括：

当第一视频图像中存在与第二视频图像重叠的区域时，编码端可以基于第一视频图像的编码数据，对第二视频图像进行编码。由于编码数据包括第一视频图像的第一区域内每个宏块的运动向量，该第一区域为第一视频图像中与第二视频图像重叠的区域，因此在编码第二视频图像中与该第一区域重叠的区域时，无需重新进行运动估计和运动补偿，只需复用第一视频图像的第一区域内的编码数据即可，降低了对视频流中双向预测帧或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

附图说明

图1是本发明实施例提供的一种帧间预测的框架示意图；

图2是本发明实施例提供的双屏直播的示意图；

图3是本发明实施例提供的连麦混流的界面示意图；

图4是本发明实施例提供的一种视频编码方法的流程图；

图5是本发明实施例提供的另一种视频编码方法的流程图；

图6是本发明实施例提供的又一种视频编码方法的流程图；

图7是本发明实施例提供的一种视频编码装置的结构示意图；

图8是本发明实施例提供的一种视频编码装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

视频编码是指通过特定的压缩技术，将文件从一个视频格式转换为另一个视频格式的方式。视频编码通常包括帧内编码和帧间编码这两种编码方式。帧间编码通常包括帧间预测、变换、量化和熵编码这四个过程，本发明以下实施例对这四个过程分别进行说明。

帧间预测是指根据视频流中视频图像之间的相关性(时间相关性)，采用参考帧中已编码的重建宏块，生成当前待编码帧中的当前编码宏块的预测宏块，并根据该预测宏块得到当前编码宏块对应的运动向量的过程。帧间预测包括运动估计和运动补偿。其中，运动估计也可称为运动搜索，指根据参考帧中已编码的重建宏块，尝试多种搜索算法得到当前编码宏块的最优预测宏块，根据最优预测宏块得到当前编码宏块对应的运动向量的过程。该最优预测宏块指像素值与当前待编码帧中当前编码宏块的像素值的差值(即残差)最小的预测宏块。运动补偿指将最优预测宏块的像素值以及对应的运动向量拷贝至当前编码宏块的编码数据中的过程。

进一步的，在确定当前编码宏块的最优预测宏块和运动向量后，将最优预测宏块与当前宏块相减获取残差。因此，帧间预测的输入为当前编码宏块和参考帧中已编码的重建宏块，输出为运动向量以及残差。示例地，图1是本发明实施例提供的一种帧间预测的框架示意图。

变换是指将残差转换为更利于编码的一种形式的过程。具体是，将残差从时域信号转化为频域信号，去除图像信号中的相关性并降低码率。可选地，变换方式可以是K-L变换、傅里叶变换、余弦变换或小波变换，本发明实施例对变换方式不做限定。

量化是指对经过变换处理后的残差进行量化处理的过程。在视频编码过程中，量化参数通常由码率控制模块确定，码率不同则量化步长不同。量化步长越小，量化精度越高。本发明实施例对码率和量化步长均不做限定。

熵编码是指编码过程中按熵原理不丢失任何信息的编码。信息熵为信源的平均信息量(不确定性的度量)。可选地，熵编码可以是香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)。熵编码的输入是各个语法元素，熵编码的输出是二进制码流。针对帧间编码，熵编码的输入包括视频图像中各个宏块的运动向量、各个宏块的变换方式、各个宏块的量化参数以及各个宏块的量化后残差，熵编码的输出为视频图像对应的码流。

在H.264标准中，宏块指大小为16*16的像素块。在视频编码过程中，可以将宏块划分为子宏块，并对子宏块进行编码以提高视频编码的精度。其中，子宏块可以是大小为8*8的像素块，也可以是大小为4*4的像素块，还可以是其它尺寸的像素块，可根据视频图像的实际分辨率等参数确定子宏块划分方式，本发明实施例对子宏块的大小不做限定。

本发明实施例提供的视频编码方法可以应用于视频处理系统，该视频处理系统包括编码端和至少一个解码端。其中，该编码端和解码端均可以位于终端上，终端可以为智能手机、电脑、多媒体播放器、电子阅读器或可穿戴式设备等。编码端和解码端可以通过终端的操作系统实现其功能，或者通过客户端实现其功能。

示例地，当主播在视频直播时，编码端位于用于主播进行视频直播的主播终端，该主播终端通过视频编码生成一定清晰度的视频对应的码流。该主播终端或者用于观看直播的观众终端上的的解码器(该解码器位于操作系统或客户端中)可以实现解码端的功能，该解码端通过对码流解码，可以在该终端上播放该一定清晰度的视频。

随着视频应用场景的丰富化，会出现同一终端需要同时对多路视频流进行编码的情况。例如，在视频直播中，当需要双屏直播或主播终端连麦混流时，主播终端需要同时编码两路视频流。其中，双屏直播指终端在横屏下播放一路视频流(可称为横屏流)，在竖屏下播放另一路视频流(可称为竖屏流)，通常竖屏流的画面为从横屏流的画面中截取的一部分。主播终端连麦混流指在主播终端上同时播放连麦的两个主播终端的视频流。

示例地，图2是本发明实施例提供的双屏直播的示意图。如图2所示，对于同一视频图像，该视频图像包括画面A和位于画面A两侧的画面B。当终端处于横屏时，终端的显示界面上显示画面A和画面B；当终端处于竖屏时，终端的显示界面上显示画面A。因此竖屏下显示的画面可视为从横屏下显示的画面中截取得到的画面。为了实现双屏直播，主播终端需要同时编码横屏下的视频流和竖屏下的视频流。

示例地，图3是本发明实施例提供的连麦混流的界面示意图。如图3所示，主播终端上显示混流画面，该混流画面包括画面C和画面D。画面C为该主播终端对应的主播直播画面，画面D为对方主播终端对应的主播直播画面。即主播终端上显示的混流画面由自身主播直播画面和对方主播直播画面拼接得到。因此主播终端需要针对画面C和画面D拼接得到的画面编码一路视频流(即混流视频流)，该路视频流用于在主播终端上播放；同时，主播终端还需要针对画面C编码另一路视频流，该路视频流用于发送至对方主播终端，以使对方主播终端能够显示混流画面。

采用相关技术中的视频编码方法，当需要双屏直播或主播终端连麦混流时，主播终端需要对两路视频流分别进行编码，即编码每路视频流时均需执行帧内或帧间预测、变换、量化和熵编码过程，计算开销较大，编码复杂度较高。

本发明实施例提供了一种视频编码方法，当两路视频流中的视频图像存在重叠区域时，编码端可以复用重叠区域的编码数据，以减小编码的计算开销，降低编码复杂度。

图4是本发明实施例提供的一种视频编码方法的流程图。该方法可以应用于视频处理系统中的编码端，如图4所示，该方法包括：

步骤101、对第一视频图像进行编码，第一视频图像为第一视频流中的双向差别帧或前向预测帧中的一种。

步骤102、获取第一视频图像的编码数据，第一视频图像的编码数据包括第一视频图像的第一区域内每个宏块的运动向量。

步骤103、当第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于第一视频图像的编码数据，对第二视频图像进行编码，第二视频图像为第二视频流中与第一视频图像存在重叠区域的视频帧。

其中，双向差别帧也称为双向预测帧，第一视频流中的视频图像与第二视频流中的视频图像具有重叠的区域，第一区域为第一视频图像中与第二视频图像重叠的区域，指定区域在参考帧中的位置与第一区域在第一视频图像中的位置相同。

综上所述，本发明实施例提供的视频编码方法，当第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，编码端可以基于第一视频图像的编码数据，对第二视频图像进行编码。由于编码数据包括第一视频图像的第一区域内每个宏块的运动向量，该第一区域为第一视频图像中与第二视频图像重叠的区域，因此在编码第二视频图像中与该第一区域重叠的区域时，无需重新进行运动估计，只需复用第一视频图像的第一区域内的编码数据即可，降低了对视频流中的双向差别帧和/或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

图5是本发明实施例提供的另一种视频编码方法的流程图。该方法可以应用于视频处理系统中的编码端，如图5所示，该方法包括：

步骤201、获取第一视频图像和第二视频图像。

其中，第一视频图像为第一视频流中的双向差别帧或前向预测帧，第二视频图像为第二视频流中与第一视频图像对应的视频帧。第一视频流中的视频图像与第二视频流中的视频图像具有重叠的区域，因此第一视频图像和第二视频图像存在重叠区域。为了便于说明，本发明实施例中将第一视频图像中与第二视频图像重叠的区域称为第一区域，将第二视频图像中与第一视频图像重叠的区域称为第二区域。

可选地，第一视频图像和第二视频图像满足以下一种关系：第二视频图像从第一视频图像中截取得到；第一视频图像由第二视频图像和第三视频图像拼接得到。也即是，第二视频图像可以是第一视频图像中的一部分内容。

示例地，第一视频图像可以是横屏流中的图像，第二视频图像可以是竖屏流中的图像，参见图2，第一视频图像可以包括画面A和画面B，第二视频图像可以包括画面B，第二视频图像可以从第一视频图像中截取得到。又示例地，第一视频图像可以是混流视频流中的图像，第二视频图像可以是一个主播直播视频流中的图像，第三视频图像可以是另一个主播直播视频流中的图像，参见图3，第二视频图像可以包括画面C，第三视频图像可以包括画面D，第一视频图像可以由画面C和画面D拼接得到。

在动态图像专家组(Moving Picture Experts Grou，MPEG)提出的编码标准中，将视频帧分为I帧、B帧(双向差别帧)和P帧(前向预测帧)这三种。其中，I帧为关键帧，B帧和P帧为非关键帧。P帧通常与I帧间隔1至2帧，通过帧间预测可以得到P帧与其参考帧之间的残差和运动向量，该参考帧可以是关键帧，也可以是位于P帧之前的其他视频帧。在解码时需要基于P帧的参考帧数据以及P帧的数据才能重构完整图像。B帧以其前后帧为参考帧，通过帧间预测可以得到B帧与其各个参考帧之间的残差和运动向量，在解码时需要基于B帧的所有参考帧数据以及B帧的数据才能重构完整图像。

可选地，在获取第一视频图像后，可以对第一视频图像进行编码。可选地，对第一视频图像进行编码，包括：对第一视频图像中的每个宏块分别执行子宏块划分、运动估计、运动补偿、变换、量化和熵编码过程。其中，在帧间编码中，子宏块划分也可称为模式选择。以下步骤202和步骤203对第一视频图像中的第一区域的编码过程进行说明，对第一视频图像中除第一区域以外的其他区域的编码过程可参考相关技术，本发明实施例在此不做赘述。

步骤202、基于参考帧的指定区域内的宏块，生成第一视频图像的第一区域内每个宏块的运动向量。

其中，指定区域在参考帧中的位置与第一区域在第一视频图像中的位置相同。

步骤203、基于第一区域内每个宏块的运动向量，对第一区域进行编码。

编码端在对第一视频图像进行编码后，可以存储第一视频图像的编码数据。该编码数据包括第一区域内每个宏块的运动向量。可选地，该编码数据还可以包括第一区域内每个宏块的子宏块划分方式(也可称为模式选择结果)、第一区域内每个宏块的变换方式、第一区域内每个宏块的量化参数或第一区域内每个宏块的量化后残差中的至少一种。

步骤204、基于第一视频图像的编码数据，对第二视频图像进行编码。

可选地，编码端在完成对第一视频图像的编码后，当第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，可以获取第一视频图像的编码数据。步骤204的实现过程包括：基于第一区域内每个宏块的子宏块划分方式、每个宏块的运动向量、每个宏块的变换方式、每个宏块的量化参数和每个宏块的量化后残差进行熵编码，得到第二视频图像的第二区域对应的码流。示例地，当第二视频图像为第一视频图像中的一部分图像时，上述第二区域对应的码流即为第二视频图像对应的码流。

在本发明实施例中，由于对第一视频图像的第一区域内的宏块进行运动估计时，仅基于参考帧的指定区域内的宏块生成运动向量，且指定区域在参考帧中的位置与第一区域在第一视频图像中的位置相同，即对第一区域内的宏块进行运动估计时，不依赖于第一视频流和第二视频流的非重叠区域，因此采用第一区域的编码数据对第二视频图像的第二区域进行编码，可以保证对第二区域的编码准确性。

需要说明的是，采用上述视频编码方法对第二视频图像的第二区域进行编码时，编码端无需对第二区域中的各个宏块执行子宏块划分、帧间预测、变换和量化过程，仅需基于第一区域的编码数据执行熵编码，即可完成对第二区域内宏块的编码，极大降低了对第二视频图像的编码复杂度，进而降低了对第二视频流的编码复杂度。

综上所述，本发明实施例提供的视频编码方法，当第一视频图像中存在与第二视频图像重叠的区域时，编码端可以基于第一视频图像的编码数据，对第二视频图像进行编码，也即是，在编码第二视频图像中与该第一区域重叠的区域时，可以复用第一视频图像的第一区域内的编码数据，降低了对视频流中的双向差别帧和/或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

图6是本发明实施例提供的又一种视频编码方法的流程图。该方法可以应用于视频处理系统中的编码端，如图6所示，该方法包括：

步骤301、获取第一视频图像和第二视频图像。

对步骤301的解释可参考上述对步骤201的解释，本发明实施例在此不做赘述。

步骤302、对第一视频图像进行编码。

可选地，对第一视频图像进行编码，包括：对第一视频图像中的每个宏块分别执行子宏块划分、运动估计、运动补偿、变换、量化和熵编码过程。

编码端在对第一视频图像进行编码后，可以存储第一视频图像的编码数据。该编码数据包括第一区域内每个宏块的运动向量。可选地，该编码数据还可以包括第一区域内每个宏块的子宏块划分方式。

步骤303、当第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于第一视频图像的编码数据，对第二视频图像进行编码。

其中，指定区域在参考帧中的位置与第一区域在第一视频图像中的位置相同。

可选地，当第一区域内存在某个宏块的运动向量基于参考帧的指定区域内的宏块生成，且第二区域中与该某个宏块对应的目标宏块的像素值与该某个宏块的像素值的差值小于指定阈值时，基于该某个宏块的编码数据，对目标宏块进行编码。其中，基于该某个宏块的编码数据，对目标宏块进行编码，可以包括：基于该某个宏块的子宏块划分方式以及该某个宏块的运动向量，对目标宏块进行运动补偿、变换处理、量化处理以及熵编码。

可选地，当第一区域内某个宏块的运动向量基于参考帧的指定区域以外的其他区域内的宏块生成时，对第二区域内该某个宏块对应的宏块执行完整编码流程，即子宏块划分、运动估计、运动补偿、变换处理、量化处理以及熵编码。

需要说明的是，采用上述视频编码方法对第二视频图像的第二区域进行编码时，编码端无需对第二区域中的目标宏块执行子宏块划分和运动估计，仅需基于第一区域的编码数据进行运动补偿、变换处理、量化处理以及熵编码，即可完成对第二区域内目标宏块的编码，降低了对第二视频图像的编码复杂度，进而降低了对第二视频流的编码复杂度。

综上所述，本发明实施例提供的视频编码方法，当第一视频图像中存在与第二视频图像重叠的区域时，编码端可以基于第一视频图像的编码数据，对第二视频图像进行编码，也即是，在编码第二视频图像中与该第一区域重叠的区域时，可以复用第一视频图像的第一区域内的编码数据，降低了对视频流中的双向差别帧和/或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

需要说明的是，如图5所示的视频编码方法相较于如图6所示的视频编码方法，其复用的编码数据较多，编码复杂度较低；如图6所示的视频编码方法相较于如图5所示的视频编码方法，其复用的编码数据较少，编码灵活性较高。可选地，如图5所示的视频编码方法和如图6所示的视频编码方法可以结合使用。

本发明实施例提供的视频编码方法，可以适用于包括具有重叠区域的图像的多路视频流，本发明实施例对视频编码方法的应用场景不做限定。

需要说明的是，本发明实施例提供的视频编码方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。

图7是本发明实施例提供的一种视频编码装置的结构示意图。如图7所示，装置40包括：

第一编码模块401，用于对第一视频图像进行编码，第一视频图像为第一视频流中的双向差别帧或前向预测帧中的一种。

获取模块402，用于获取第一视频图像的编码数据，第一视频图像的编码数据包括第一视频图像的第一区域内每个宏块的运动向量。

第二编码模块403，用于当第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于第一视频图像的编码数据，对第二视频图像进行编码，第二视频图像为第二视频流中与第一视频图像存在重叠区域的视频帧。

其中，第一视频流中的视频图像与第二视频流中的视频图像具有重叠的区域，第一区域为第一视频图像中与第二视频图像重叠的区域，指定区域在参考帧中的位置与第一区域在第一视频图像中的位置相同。

综上所述，本发明实施例提供的视频编码装置，当第一视频图像中存在与第二视频图像重叠的区域时，编码端可以通过第二编码模块基于第一视频图像的编码数据，对第二视频图像进行编码。由于编码数据包括第一视频图像的第一区域内每个宏块的运动向量，该第一区域为第一视频图像中与第二视频图像重叠的区域，因此在编码第二视频图像中与该第一区域重叠的区域时，无需重新进行运动估计，只需复用第一视频图像的第一区域内的编码数据即可，降低了对视频流中的双向差别帧和/或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

可选地，第一编码模块，用于：

基于参考帧的指定区域内的宏块，生成第一区域内每个宏块的运动向量。

可选地，编码数据还包括每个宏块的子宏块划分方式、每个宏块的变换方式、每个宏块的量化参数或每个宏块的量化后残差中的至少一种。

可选地，第二编码模块，用于：

基于第一区域内每个宏块的子宏块划分方式、每个宏块的运动向量、每个宏块的变换方式、每个宏块的量化参数和每个宏块的量化后残差进行熵编码，得到第二视频图像的第二区域对应的码流，第二区域为第二视频图像中与第一视频图像重叠的区域。

可选地，第二编码模块，用于：

当第一区域内存在某个宏块的运动向量基于参考帧的指定区域内的宏块生成，且第二区域中与某个宏块对应的目标宏块的像素值与某个宏块的像素值的差值小于指定阈值时，基于某个宏块的编码数据，对目标宏块进行编码。

可选地，编码数据还包括每个宏块的子宏块划分方式，编码模块，用于：

基于某个宏块的子宏块划分方式以及某个宏块的运动向量，对目标宏块进行运动补偿、变换处理、量化处理以及熵编码。

可选地，第一视频图像和第二视频图像满足以下一种关系：

第二视频图像从第一视频图像中截取得到；

第一视频图像由第二视频图像和第三视频图像拼接得到。

综上所述，本发明实施例提供的视频编码装置，当第一视频图像中存在与第二视频图像重叠的区域时，编码端可以通过第二编码模块基于第一视频图像的编码数据，对第二视频图像进行编码，也即是，在编码第二视频图像中与该第一区域重叠的区域时，可以复用第一视频图像的第一区域内的编码数据，降低了对视频流中的双向差别帧和/或前向预测帧的编码复杂度，进而降低了对视频流的编码复杂度，减小了视频编码过程中的计算开销。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供了一种视频编码装置，用于视频处理系统中的编码端，包括：处理器和存储器，

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器上所存储的计算机程序，实现如图5所示或如图6所示的视频编码方法。

图8是本发明实施例提供的一种视频编码装置的框图，该视频编码装置可以是终端。终端500可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的数据查询方法。

在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以为OLED(OrganicLight-Emitting Diode，有机发光二极管)显示屏。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本发明实施例提供了一种存储介质，包括：当所述存储介质中的程序由处理器执行时，能够实现如图5或图6所示的视频编码方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本发明实施例中，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

本发明实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频编码方法，其特征在于，所述方法包括：

对第一视频图像进行编码，所述第一视频图像为第一视频流中的双向预测帧或前向预测帧中的一种；

获取所述第一视频图像的编码数据，所述第一视频图像的编码数据包括所述第一视频图像的第一区域内每个宏块的运动向量；

当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，所述第二视频图像为第二视频流中与所述第一视频图像存在重叠区域的视频帧；

其中，所述第一视频流中的视频图像与所述第二视频流中的视频图像具有重叠的区域，所述第一区域为所述第一视频图像中与所述第二视频图像重叠的区域，所述指定区域在所述参考帧中的位置与所述第一区域在所述第一视频图像中的位置相同。

2.根据权利要求1所述的方法，其特征在于，所述对第一视频图像进行编码，包括：

基于所述参考帧的所述指定区域内的宏块，生成所述第一区域内每个宏块的运动向量。

3.根据权利要求2所述的方法，其特征在于，所述编码数据还包括所述每个宏块的子宏块划分方式、所述每个宏块的变换方式、所述每个宏块的量化参数或所述每个宏块的量化后残差中的至少一种。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一视频图像的编码数据，对第二视频图像进行编码，包括：

基于所述第一区域内每个宏块的子宏块划分方式、所述每个宏块的运动向量、所述每个宏块的变换方式、所述每个宏块的量化参数和所述每个宏块的量化后残差进行熵编码，得到第二视频图像的第二区域对应的码流，所述第二区域为所述第二视频图像中与第一视频图像重叠的区域。

5.根据权利要求1所述的方法，其特征在于，所述当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，包括：

当所述第一区域内存在某个宏块的运动向量基于参考帧的指定区域内的宏块生成，且第二视频图像的第二区域中与所述某个宏块对应的目标宏块的像素值与所述某个宏块的像素值的差值小于指定阈值时，基于所述某个宏块的编码数据，对所述目标宏块进行编码。

6.根据权利要求5所述的方法，其特征在于，所述编码数据还包括所述每个宏块的子宏块划分方式，所述基于所述某个宏块的编码数据，对所述目标宏块进行编码，包括：

基于所述某个宏块的子宏块划分方式以及所述某个宏块的运动向量，对所述目标宏块进行运动补偿、变换处理、量化处理以及熵编码。

7.根据权利要求1至6任一所述的方法，其特征在于，所述第一视频图像和所述第二视频图像满足以下一种关系：

所述第二视频图像从所述第一视频图像中截取得到；

所述第一视频图像由所述第二视频图像和第三视频图像拼接得到。

8.一种视频编码装置，其特征在于，所述装置包括：

第一编码模块，用于对第一视频图像进行编码，所述第一视频图像为第一视频流中的双向预测帧或前向预测帧中的一种；

获取模块，用于获取所述第一视频图像的编码数据，所述第一视频图像的编码数据包括所述第一视频图像的第一区域内每个宏块的运动向量；

第二编码模块，用于当所述第一区域内存在宏块的运动向量基于参考帧的指定区域内的宏块生成时，基于所述第一视频图像的编码数据，对第二视频图像进行编码，所述第二视频图像为第二视频流中与所述第一视频图像存在重叠区域的视频帧；

其中，所述第一视频流中的视频图像与所述第二视频流中的视频图像具有重叠的区域，所述第一区域为所述第一视频图像中与所述第二视频图像重叠的区域，所述指定区域在所述参考帧中的位置与所述第一区域在所述第一视频图像中的位置相同。

9.一种视频编码装置，其特征在于，包括：处理器和存储器，

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器上所存储的计算机程序，实现如权利要求1至7任一所述的视频编码方法。

10.一种存储介质，其特征在于，包括：当所述存储介质中的程序由处理器执行时，能够实现如权利要求1至7任一所述的视频编码方法。

Images