CN110166776B - 视频编码方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种视频编码方法、装置及存储介质，属于互联网技术领域。包括：预估当前帧视频数据的最小参考帧间隔，最小参考帧间隔是指当前帧视频数据从编码后发送至解码端返回解码失败提示消息的最短时间间隔；选择满足最小参考帧间隔要求且已编码的视频数据，组成第一参考帧队列；根据从第一参考帧队列中选择的目标可用参考帧对当前帧视频数据进行编码。本发明基于当前帧视频数据的最小参考帧间隔，为当前帧视频数据选择参考帧时，由于能够获知与当前帧视频数据的帧间隔满足最小参考帧要求的视频数据在解码端的解码情况，因而能够采用可用参考帧对当前帧视频数据进行编码，使得解码端能够对接收到的视频数据进行解码，从而提高了视频通信质量。

Description

视频编码方法、装置及存储介质

技术领域

本发明涉及互联网技术领域，特别涉及一种视频编码方法、装置及存储介质。

背景技术

随着互联网技术的发展，视频通信具有广泛的应用场景，包括与家人、朋友的双人视频通信场景，以及视频直播、视频会议等多人视频通信场景。视频通信作为现代生活中沟通交流的主要方式，为用户的生活提供了极大的便利，然而由于受网络丢包、网络抖动等因素影响，解码端播放编码端所编码的视频数据时画面质量较差。因此，如何对视频数据进行编码，成为提高视频通信质量的关键。

目前，相关技术在进行视频编码时，主要采用如下方法：获取视频编码队列，该视频编码队列包括至少两帧视频数据；获取预先设定的参考帧间隔；根据预先设定的参考帧间隔，对视频编码队列中的视频数据进行编码。

由于每帧视频数据的参考帧是固定的，在网络状况不佳时，如果作为参考帧的视频数据在传输过程中出现丢包现象，解码端不仅无法对该帧视频数据进行解码，更无法对基于该帧视频数据所编码的其他视频数据进行解码，导致视频通信质量较差。

发明内容

本发明实施例提供了一种视频编码方法、装置及存储介质。所述技术方案如下：

一方面，提供了一种视频编码方法，所述方法包括：

获取至少两帧连续的视频数据；

在对所述至少两帧连续的视频数据进行逐帧编码的过程中，预估当前帧视频数据的最小参考帧间隔，所述最小参考帧间隔是指当前帧视频数据从编码后发送、至接收到解码端返回解码失败提示消息的最短时间间隔；

从所述至少两帧连续的视频数据中，选择满足所述最小参考帧间隔要求且已编码的视频数据，并将所选择的视频数据组成所述当前帧视频数据的第一参考帧队列；

从所述第一参考帧队列中，选择目标可用参考帧；

根据所述目标可用参考帧，对所述当前帧视频数据进行编码。

另一方面，提供了一种视频编码装置，所述装置包括：

获取模块，用于获取至少两帧连续的视频数据；

预估模块，用于在对所述至少两帧连续的视频数据进行逐帧编码的过程中，预估当前帧视频数据的最小参考帧间隔，所述最小参考帧间隔是指当前帧视频数据从编码后发送、至接收到解码端返回解码失败提示消息的最短时间间隔；

选择模块，用于从所述至少两帧连续的视频数据中，选择满足所述最小参考帧间隔要求且已编码的视频数据，并将所选择的视频数据组成所述当前帧视频数据的第一参考帧队列；

所述选择模块，用于从所述第一参考帧队列中，选择目标可用参考帧；

编码模块，用于根据所述目标可用参考帧，对所述当前帧视频数据进行编码。

另一方面，提供了一种用于视频编码的终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现一方面所述的视频编码方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现一方面所述的视频编码方法。

本发明实施例提供的技术方案带来的有益效果是：

基于当前帧视频数据的最小参考帧间隔为当前帧视频数据选择参考帧时，由于能够获知与当前帧视频数据的帧间隔满足最小参考帧要求的视频数据在解码端的解码情况，因而能够采用可用参考帧对当前帧视频数据进行编码，使得解码端能够对接收到的视频数据进行解码，从而提高了视频通信质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的视频编解码系统；

图2是本发明实施例提供的一种视频编码方法的流程图；

图3是本发明实施例提供的网络自适应的参考帧结构；

图4是本发明实施例提供的一种视频编码过程的示意图；

图5是本发明实施例提供的视频编码装置的结构示意图；

图6示出了本发明一个示例性实施例提供的用于视频编码的终端的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明实施例所涉及的视频编解码系统，该视频编解码系统包括编码101、服务器102及解码端103。

其中，编码端101主要用于在视频通信过程中编码视频数据，编码端101可以为智能手机、平板电脑、笔记本电脑等，本发明实施例不对编码端101的产品类型作具体的限定。为了满足用户的视频通信需求，编码端101安装有至少一个视频通信应用。编码端101还配置有摄像头，基于所配置的摄像头可以采集视频通信过程中的视频数据。

服务器102为视频通信应用的后台服务器，用于通过视频通信应用为编码端101和解码端103提供视频通信服务。

解码端103主要用于在视频通信过程中解码已编码的视频数据，解码端103可以为智能手机、平板电脑、笔记本电脑等，本发明实施例不对解码端103的产品类型作具体的限定。与编码端101相同，解码端103同样安装有至少一个视频通信应用，且可以配置有摄像头。

需要说明的是，本发明实施例中所述的编码端101和解码端103仅以在视频编码过程中所执行的功能进行界定。

本发明实施例提供了一种视频编码方法，参见图2，本发明实施例提供的方法流程包括：

201、编码端获取至少两帧连续的视频数据。

本发明实施例中的编码端配置有摄像头，基于该摄像头，编码端可以在视频通信过程中，采集至少两帧连续的视频数据。为了便于区分所采集到的视频数据，编码端可根据预设规则，为每帧视频数据设置一个帧序号。其中，预设规则包括采集时间顺序依次为采集到的每帧视频数据设置帧序号。例如，采集到5帧视频数据，采集时间分别为10:00:00:00、10:00:00:10、10:00:00:20、10:00:00:30及10:00:00:40，则可照采集时间，为采集时间为10:00:00:00视频数据设置帧标识为1，为采集时间为10:00:00:10视频数据设置帧标识为2，为采集时间为10:00:00:20视频数据设置帧标识为3，为采集时间为10:00:00:30视频数据设置帧标识为4，为采集时间为10:00:00:40视频数据设置帧标识为5。

当获取到至少两帧连续的视频数据，编码端将至少两帧连续的视频数据输入到编码器，并从内存中分配存储空间，进而在所分配的存储空间内存储至少两帧连续的视频数据。由于不同的编码器具有不同的编码逻辑，在对当前帧视频数据进行编码时，编码器可基于自身的编码逻辑，确定每帧视频数据的参考帧。

202、在对至少两帧连续的视频数据进行逐帧编码的过程中，编码端预估当前帧视频数据的最小参考帧间隔。

其中，最小参考帧间隔是指在参考帧的选择过程中最小跨越的时间间隔，其单位为毫秒(ms)，一般会换算成所跨越的视频数据的帧数(即帧间隔)。最小参考帧间隔的物理含义为当前帧视频数据从编码后发送、至解码端返回解码失败提示消息的最短时间间隔，该最小参考帧间隔根据当前的网络状态确定。编码端通过设置最小参考帧间隔，可保证当前帧视频数据所参考的视频数据能够被解码端所接收，从而确保当前帧视频数据编码后发送至解码端能够被解码端所解码。

在本发明实施例中，编码端预估当前帧视频数据的最小参考帧间隔可采用如下几种方式：

第一种方式、根据当前帧视频数据的帧序号和当前接收到的解码失败的视频数据的帧序号实时确定。

一种实施方式，编码端获取当前帧视频数据的帧序号和当前接收到的解码失败的视频数据的帧序号，并计算当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差，进而将当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差作为最小参考间隔。

设定当前帧视频数据的帧序号为curFrameIndex，当前接收到的解码失败的视频数据的帧序号为DPBFrameIndex，则对当前帧视频数据进行编码时，所获取到的最小参考帧间隔FrmInterval＝curFrameIndex-DPBFrameIndex。例如，当前帧视频数据的帧序号curFrameIndex为5，当前接收到的解码失败的视频数据的帧序号DPBFrameIndex为2，则当前帧视频数据的最小参考帧间隔FrmInterval为3。

另一种实施方式，在视频通信过程中，服务器可记录已编码的每帧视频数据的帧序号，并记录解码失败的视频数据的帧序号，在对当前帧视频数据进行编码时，服务器计算当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差，并将当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差，作为最小参考帧间隔，进而将最小参考帧间隔发送至解码端。采用该种方式，减少了编码端计算资源的消耗，降低了编码端的处理压力。

需要说明的是，如果编码端(或服务器)无法获取到解码失败的视频数据的帧序号时，可将当前帧视频数据的前一帧视频数据的历史最小参考帧间隔，作为当前帧视频数据的最小参考帧间隔。

第二种方式、根据往返时延确定。

在视频编码过程中，编码端通过网络向解码端发送探测数据包，可探测当前网络状况。解码端接收到探测数据包后，会向编码端返回确认消息。编码端记录探测数据包的发送时间和确认消息的接收时间，通过计算确认消息的接收时间和探测数据包的发送时间之间的时间间隔，可得到当前网络的往返时延，进而根据当前网络的往返时延，确定当前帧视频数据的最小参考帧间隔。

在根据当前网络的往返时延，确定当前帧视频数据的最小参考帧间隔时，可获取当前帧视频数据的帧序号，并获取编码时刻与当前时刻之间的时间间隔最接近往返时延的已编码的视频数据的帧序号，通过计算当前帧视频数据的帧序号与该帧已编码的视频数据的帧序号之间的差值，得到当前帧视频数据的最小参考帧间隔。

第三种方式、根据每帧已编码的视频数据的历史参考帧间隔确定。

一种实施方式，编码端可以获取每帧已编码的视频数据的历史最小参考帧间隔，并计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值，进而将所计算的历史最小参考帧间隔的平均值，作为当前帧视频数据的最小参考帧间隔。其中，每帧已编码的视频数据的历史最小参考帧间隔可根据每帧已编码的视频数据的帧序号确定，还可根据每帧已编码的视频数据编码时的往返时延确定。

另一种实施方式，在对当前帧视频数据进行编码时，服务器可获取每帧已编码视频数据的历史参考帧间隔，并计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值，进而将所计算的历史最小参考帧间隔的平均值，作为当前帧视频数据的最小参考帧间隔。编码端通过与服务器进行通信，可获取服务器所预估的当前帧视频数据的最小参考帧间隔。

本发明实施例中的最小参考帧间隔能够评估当前网络状况。例如，最小参考帧间隔越小，解码失败的视频数据的帧序号与当前帧视频数据的帧序号之间的差值越小，编码端接收到解码端反馈信息的时间越短，说明当前网络状况越好；最小参考帧间隔越大，解码失败的视频数据的帧序号与当前帧视频数据的帧序号之间的差值越大，编码端接收到解码端反馈信息的时间越长，说明当前网络状况越差。

需要说明的是，上述以获取当前帧视频数据的最小参考帧间隔为例，对于其他帧视频数据的最小参考帧间隔的获取的方式，与当前帧视频数据的获取过程相同，此处不再赘述。

在视频编码过程中，当网络状况较佳时，网络丢包率比较低，但采用最小参考帧间隔的编码方式，因需要跨帧参考，导致编码器的编码效率；当网络状况较差时，采用最小参考帧间隔的编码方式，虽然降低了编码器的编码效率，但因在编码前已获知每帧参考帧在解码端的解码情况，因而能够增强网络抗性，降低网络丢包率。针对上述不同的网络状态，编码端在根据最小参考帧间隔进行编码时，设置有两种编码策略，第一种策略为：网络状况较佳时，优先保证编码效率，可强制部分视频数据跨帧参考，其他视频数据选取最近的视频数据作为参考帧进行编码；第二种策略为：网络状况较差时，优先保证网络的抗性，可强制所有的视频数据跨帧参考，且参考帧与当前帧视频数据之间的帧间隔应当满足最小参考帧间隔的要求。通过设置上述两种编码策略，可兼顾编码效率以及网络抗性两种特性，对编码方式进行自适应调整，确保用户获取到最佳的视频通信体验。

为实现在不同网络状况时，编码端能够采用不同的编码策略进行编码，编码端设置跨帧参考标识位，当跨帧参考标识位上的标识为强制跨帧参考标识时，编码端采用第二种策略进行编码；当跨帧参考标识位上的标识为非强制跨帧参考标识时，编码端采用第一种策略进行编码。在实际编码过程中，跨帧参考标识位上的标识可根据网络最小参考帧间隔进行设置。例如，如果在预设时间间隔内，无法获取到解码失败的视频数据的帧序号，可确定当前网络状态较佳，此时可将跨帧参考标识位上的标识设置为非强制跨帧参考标识，在对每帧视频数据进行编码时，无需跨帧参考，可参考前一帧视频数据进行编码；如果在预设时间间隔内，获取到解码失败的视频数据的帧序号，可确定当前网络状态较差，此时可将跨帧参考标识位上的标识设置为强制跨帧参考标识，在对每帧视频数据进行编码时，需要跨帧参考。

203、编码端从至少两帧连续的视频数据中，选择满足最小参考帧间隔要求且已编码的视频数据，并将所选择的视频数据组成当前帧视频数据的第一参考帧队列。

其中，第一参考帧队列为由当前帧视频数据的参考帧组成的队列。在视频编码过程中，非关键帧以关键帧或其他非关键帧为参考帧进行编码，例如，I帧为关键帧，P帧为非关键帧，在视频编码时P帧以前面的I帧或P帧为参考帧进行编码。基于视频编码规则，编码从至少两帧连续的视频数据中，选择满足最小参考帧间隔要求且已编码的视频数据时，可采用如下方法：

编码端以当前帧视频数据为起点，从至少两帧连续的视频数据中，选择与所述当前帧视频数据的帧间隔不小于最小参考帧间隔且帧类型为P帧的已编码的视频数据，并选择与当前视频数据的帧间隔小于最小参考帧间隔且帧类型为I帧的已编码的视频数据，

进一步地，编码端还将选择的帧类型为P帧的已编码的视频数据和帧类型为I帧的已编码的视频数据，组成当前帧视频数据的第一参考帧队列。

204、编码端从第一参考帧队列中，选择目标可用参考帧。

其中，可用参考帧是指在第一参考帧队列没有被标记为解码失败的视频数据。考虑到第一参考帧列表中可能包括满足最小参考帧间隔选择要求的解码失败的视频数据，为了提高解码成功率，避免端以解码失败的视频数据为可用参考帧进行编码，在得到第一参考帧队列后，编码端还可从第一参考帧队列中，选择目标可用参考帧。该过程为：

第一步，编码端检测第一参考帧队列中是否存在解码失败的视频数据。

在视频编码过程中，编码端可将每帧已编码视频数据发送至解码端，解码端接收到已编码视频数据后，对接收到的已编码视频数据进行解码，如果解码成功，则将解码后的视频数据加入到本端所维护的参考帧列表中，如果解码失败，则可向编码端发送解码失败提示消息，以提示编码端将该帧视频设置为不可用参考帧，其中，解码失败提示消息包括解码失败的视频数据的帧序号等。解码端对已编码视频数据的解码过程为：解码端对接收到的已编码视频数据的各个子数据包进行组包，如果组包失败，则确定对已编码视频数据解码失败，如果组包成功，则从本端所维护的参考帧列表中查找已编码视频数据的参考帧，如果未查找到已编码视频数据的参考帧，则确定对已编码视频数据解码失败，如果查找到已编码视频数据的参考帧，则通过解码器对已编码视频数据进行解码，如果无法解码，则确定解码失败。

当接收到解码端发送的解码失败提示消息，编码端从解码失败提示消息中获取解码失败的视频数据的帧序号，并将本端所维护的参考帧列表(编码端用于存储已编码的视频数据的列表)中该帧视频数据设置为不可用参考帧。编码端还将检测第一参考帧队列中是否存在帧序号与解码失败的视频数据的帧序号相同的视频数据，如果第一参考帧队列中存在帧序号与解码失败的视频数据的帧序号相同的视频数据，则将帧序号与解码失败的视频数据的帧序号相同的视频数据，确定为解码失败的视频数据。

第二步，如果第一参考帧队列中存在解码失败的视频数据，编码端去除第一参考帧队列中解码失败的视频数据，得到第二参考帧队列。

第三步，基于所得到的第二参考帧队列，编码端可从第二参考帧队列中选择出目标可用参考帧。

在基于所生成的第二参考帧队列，编码端可采用不同方式从第二参考帧队列中选择目标可用参考帧。例如，编码端可以从第二参考帧队列中随机选择一帧可用参考帧，并将所选择的可用参考帧，作为目标可用参考帧；编码端还可将第二参考帧队列中帧序号与当前帧视频数据的帧序号之差最小的可用参考帧，作为目标可用参考帧。

在本发明的另一个实施中，兼顾参考帧的选择速度及编码效率，编码端在得到第二参考帧队列后，编码端还可对第二参考帧队列进行筛选，从第二参考帧队列中选择编码效率较高的视频数据，并将筛选出的视频数据组成第三参考帧队列，进而从第三参考帧队列中，选择出目标可用参考帧。

图3示出了一种参考帧结构，设定最小参考帧间隔为3帧，由图3可知，第0帧为I帧，第1帧、第2帧、第3帧、第4帧、第5帧、第6帧、第7帧、第8帧为P帧，其中，第5帧、第6帧为解码失败的视频数据。基于最小参考帧间隔和编码效率，第1帧、第2帧、第3帧以第1帧为目标可用参考帧进行编码，第4帧以第1帧为目标可用参考帧进行编码，第5帧以第2帧为目标可用参考帧进行编码，第6帧以第3帧为目标可用参考帧进行编码，第7帧以第4帧为目标可用参考帧进行编码，第8帧理论上应该以第5帧为目标可用参考帧进行编码，然而由于第5帧为解码失败的视频数据，因此，第8帧要以第4帧为目标可用参考帧进行编码。

205、编码端根据目标可用参考帧，对当前帧视频数据进行编码。

图4示出了视频编码的整个过程，该过程如下：

1、在视频通信过程中，编码端接收摄像头采集的视频数据，将接收到的视频数据送入编码器，并为其分配相应的存储空间。

2、编码器基于自身的编码逻辑，生成当前帧视频数据的参考帧队列。

3、编码器从服务器上获取最小参考帧间隔。

4、编码器检测到跨帧参考标识位上的标识是否为强制跨帧参考标识，如果为强制跨帧参考标识，根据最小参考帧间隔，排除参考帧队列中与当前帧视频数据的帧间隔小于最小参考帧间隔的视频数据，生成满足最小参考帧间隔的参考帧队列。

5、编码器检测满足最小参考帧间隔的参考帧队列中是否存在解码失败的视频数据。

6、如果满足最小参考帧间隔的参考帧队列中存在解码失败的视频数据，编码器去除解码失败的视频数据，生成可用参考帧队列。

7、编码器基于编码效率对可用参考帧队列进行筛选，得到当前帧视频数据的最终可用参考帧队列。

本发明实施例提供的方法，基于当前帧视频数据的最小参考帧间隔为当前帧视频数据选择参考帧时，由于能够获知与当前帧视频数据的帧间隔满足最小参考帧要求的视频数据在解码端的解码情况，因而能够采用可用参考帧对当前帧视频数据进行编码，使得解码端能够对接收到的视频数据进行解码，从而提高了视频通信质量。

参见图5，本发明实施例提供了一种视频编码装置，该装置包括：

获取模块501，用于获取至少两帧连续的视频数据；

预估模块502，用于在对至少两帧连续的视频数据进行逐帧编码的过程中，预估当前帧视频数据的最小参考帧间隔，该最小参考帧间隔是指当前帧视频数据从编码后发送、至接收到解码端返回解码失败提示消息的最短时间间隔；

选择模块503，用于从至少两帧连续的视频数据中，选择满足最小参考帧间隔要求且已编码的视频数据，并将所选择的视频数据组成当前帧视频数据的第一参考帧队列；

选择模块503，用于从第一参考帧队列中，选择目标可用参考帧；

编码模块504，用于根据目标可用参考帧，对当前帧视频数据进行编码。

在本发明的另一个实施例中，至少两帧连续的视频数据按照编码顺序依次设置有不同的帧序号，预估模块，用于获取当前帧视频数据的帧序号和当前接收到的解码失败的视频数据的帧序号，并计算当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差，得到最小参考间隔；或者，

预估模块502，用于从服务器获取最小参考帧间隔，最小参考帧间隔由服务器计算当前帧视频数据的帧序号与当前接收到的解码失败的视频数据的帧序号之差得到。

在本发明的另一个实施例中，计算模块，用于计算当前网络的往返时延；

预估模块502，用于根据往返时延，预估当前帧视频数据的最小参考帧间隔。

在本发明的另一个实施例中，预估模块502，用于获取每帧已编码的视频数据的历史最小参考帧间隔，并计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值，得到最小参考帧间隔；或者，

预估模块502，用于从服务器获取最小参考帧间隔，最小参考帧间隔由服务器计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值得到。

在本发明的另一个实施例中，选择模块503，用于从至少两帧连续的视频数据中，选择与当前帧视频数据的帧间隔不小于最小参考帧间隔且帧类型为P帧的已编码的视频数据，并选择与当前视频数据的帧间隔小于最小参考帧间隔且帧类型为I帧的已编码的视频数据；将所选择的帧类型为P帧的已编码的视频数据和帧类型为I帧的已编码的视频数据，组成当前帧视频数据的第一参考帧队列。

在本发明的另一个实施例中，选择模块503，用于检测第一参考帧队列中是否存在解码失败的视频数据；如果第一参考帧队列中存在解码失败的视频数据，去除第一参考帧队列中解码失败的视频数据，得到第二参考帧队列；从第二参考帧队列中，选择目标可用参考帧。

在本发明的另一个实施例中，选择模块503，用于接收解码端的解码失败提示消息，解码失败提示消息包括解码失败的视频数据的帧序号；检测第一参考帧队列中是否存在帧序号与解码失败的视频数据的帧序号相同的视频数据；如果存在，则将帧序号与解码失败的视频数据的帧序号相同的视频数据，确定为解码失败的视频数据。

在本发明的另一个实施例中，选择模块503，用于根据编码效率，对第二参考帧队列进行筛选，得到第三参考帧队列；从第三参考帧队列中，选择出目标可用参考帧。

综上，本发明实施例提供的装置，基于当前帧视频数据的最小参考帧间隔为当前帧视频数据选择参考帧时，由于能够获知与当前帧视频数据的帧间隔满足最小参考帧要求的视频数据在解码端的解码情况，因而能够采用可用参考帧对当前帧视频数据进行编码，使得解码端能够对接收到的视频数据进行解码，从而提高了视频通信质量。

图6示出了本发明一个示例性实施例提供的用于视频编码的终端600的结构框图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的视频编码方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如图2所述的视频编码方法。

需要说明的是：上述实施例提供的视频编码装置在进行视频编码时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频编码装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频编码装置与视频编码方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种视频编码方法，其特征在于，所述方法包括：

获取至少两帧连续的视频数据；

在对所述至少两帧连续的视频数据进行逐帧编码的过程中，预估当前帧视频数据的最小参考帧间隔，所述最小参考帧间隔是指当前帧视频数据从编码后发送、至接收到解码端返回解码失败提示消息的最短时间间隔；

从所述至少两帧连续的视频数据中，选择与所述当前帧视频数据的帧间隔不小于所述最小参考帧间隔且帧类型为P帧的已编码的视频数据，并选择与所述当前帧视频数据的帧间隔小于所述最小参考帧间隔且帧类型为I帧的已编码的视频数据；

将所选择的帧类型为P帧的已编码的视频数据和帧类型为I帧的已编码的视频数据，组成所述当前帧视频数据的第一参考帧队列；

从所述第一参考帧队列中，选择目标可用参考帧；

根据所述目标可用参考帧，对所述当前帧视频数据进行编码。

2.根据权利要求1所述的方法，其特征在于，所述至少两帧连续的视频数据按照编码顺序依次设置有不同的帧序号，所述预估当前帧视频数据的最小参考帧间隔，包括：

获取所述当前帧视频数据的帧序号和当前接收到的解码失败的视频数据的帧序号，并计算所述当前帧视频数据的帧序号与所述当前接收到的解码失败的视频数据的帧序号之差，得到所述最小参考帧间隔；或者，

从服务器获取所述最小参考帧间隔，所述最小参考帧间隔由所述服务器计算所述当前帧视频数据的帧序号与所述当前接收到的解码失败的视频数据的帧序号之差得到。

3.根据权利要求1所述的方法，其特征在于，所述预估当前帧视频数据的最小参考帧间隔，包括：

计算当前网络的往返时延；

根据所述往返时延，预估当前帧视频数据的最小参考帧间隔。

4.根据权利要求1所述的方法，其特征在于，所述预估当前帧视频数据的最小参考帧间隔，包括：

获取每帧已编码的视频数据的历史最小参考帧间隔，并计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值，得到所述最小参考帧间隔；或者，

从服务器获取所述最小参考帧间隔，所述最小参考帧间隔由所述服务器计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值得到。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述从所述第一参考帧队列中，选择目标可用参考帧，包括：

检测所述第一参考帧队列中是否存在解码失败的视频数据；

如果所述第一参考帧队列中存在解码失败的视频数据，去除所述第一参考帧队列中解码失败的视频数据，得到第二参考帧队列；

从所述第二参考帧队列中，选择目标可用参考帧。

6.根据权利要求5所述的方法，其特征在于，所述检测所述第一参考帧队列中是否存在解码失败的视频数据，包括：

接收解码端的解码失败提示消息，所述解码失败提示消息包括解码失败的视频数据的帧序号；

检测所述第一参考帧队列中是否存在帧序号与所述解码失败的视频数据的帧序号相同的视频数据；

如果存在，则将帧序号与所述解码失败的视频数据的帧序号相同的视频数据，确定为解码失败的视频数据。

7.根据权利要求5所述的方法，其特征在于，所述从所述第二参考帧队列中，选择目标可用参考帧，包括：

根据编码效率，对所述第二参考帧队列进行筛选，得到第三参考帧队列；

从所述第三参考帧队列中，选择出目标可用参考帧。

8.一种视频编码装置，其特征在于，所述装置包括：

获取模块，用于获取至少两帧连续的视频数据；

预估模块，用于在对所述至少两帧连续的视频数据进行逐帧编码的过程中，预估当前帧视频数据的最小参考帧间隔，所述最小参考帧间隔是指当前帧视频数据从编码后发送、至接收到解码端返回解码失败提示消息的最短时间间隔；

选择模块，用于从所述至少两帧连续的视频数据中，选择与所述当前帧视频数据的帧间隔不小于所述最小参考帧间隔且帧类型为P帧的已编码的视频数据，并选择与所述当前帧视频数据的帧间隔小于所述最小参考帧间隔且帧类型为I帧的已编码的视频数据；将所选择的帧类型为P帧的已编码的视频数据和帧类型为I帧的已编码的视频数据，组成所述当前帧视频数据的第一参考帧队列；

所述选择模块，用于从所述第一参考帧队列中，选择目标可用参考帧；

编码模块，用于根据所述目标可用参考帧，对所述当前帧视频数据进行编码。

9.根据权利要求8所述的装置，其特征在于，所述至少两帧连续的视频数据按照编码顺序依次设置有不同的帧序号，所述预估模块，用于获取所述当前帧视频数据的帧序号和当前接收到的解码失败的视频数据的帧序号，并计算所述当前帧视频数据的帧序号与所述当前接收到的解码失败的视频数据的帧序号之差，得到所述最小参考帧间隔；或者，

所述预估模块，用于从服务器获取所述最小参考帧间隔，所述最小参考帧间隔由所述服务器计算所述当前帧视频数据的帧序号与所述当前接收到的解码失败的视频数据的帧序号之差得到。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

计算模块，用于计算当前网络的往返时延；

所述预估模块，用于根据所述往返时延，预估当前帧视频数据的最小参考帧间隔。

11.根据权利要求8所述的装置，其特征在于，所述预估模块，用于获取每帧已编码的视频数据的历史最小参考帧间隔，并计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值，得到所述最小参考帧间隔；或者，

所述预估模块，用于从服务器获取所述最小参考帧间隔，所述最小参考帧间隔由所述服务器计算所有帧已编码的视频数据的历史最小参考帧间隔的平均值得到。

12.根据权利要求8至11中任一项所述的装置，其特征在于，所述选择模块，用于检测所述第一参考帧队列中是否存在解码失败的视频数据；如果所述第一参考帧队列中存在解码失败的视频数据，去除所述第一参考帧队列中解码失败的视频数据，得到第二参考帧队列；从所述第二参考帧队列中，选择目标可用参考帧。

13.根据权利要求12所述的装置，其特征在于，所述选择模块，用于接收解码端的解码失败提示消息，所述解码失败提示消息包括解码失败的视频数据的帧序号；检测所述第一参考帧队列中是否存在帧序号与所述解码失败的视频数据的帧序号相同的视频数据；如果存在，则将帧序号与所述解码失败的视频数据的帧序号相同的视频数据，确定为解码失败的视频数据。

14.根据权利要求12所述的装置，其特征在于，所述选择模块，用于根据编码效率，对所述第二参考帧队列进行筛选，得到第三参考帧队列；从所述第三参考帧队列中，选择出目标可用参考帧。

15.一种用于视频编码的终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至7中任一项所述的视频编码方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至7中任一项所述的视频编码方法。