CN110381316A - 一种视频传输控制方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种视频传输控制方法、装置、设备及存储介质，其中，该方法包括：获取针对一视频分配的可用码率；当所述可用码率小于目标码率时，调整编码帧率，以使调整后的编码帧率小于或等于目标帧率；基于所述可用码率和调整后的编码帧率进行视频编码。该方法能够在弱网环境下对编码帧率进行适当地调整，使得调整后的编码帧率与弱网环境下的可用码率相适配，如此，保证基于调整后的编码帧率和可用码率编码得到的视频在弱网环境下能够同时兼备流畅度和清晰度。

Description

一种视频传输控制方法、装置、设备及存储介质

技术领域

本申请涉及视频通信技术领域，尤其涉及一种视频传输控制方法、装置、设备及存储介质。

背景技术

随着视频传输技术的发展，以视频传输技术为基础的业务形态已经融入人们工作生活中，例如，在如今比较火热的直播、视频聊天、视频会议等场景中均会用到视频传输技术。

在视频传输过程中，网络质量的好坏直接影响着视频传输质量，因此，在实际业务中就需要考虑在弱网环境下的视频传输解决方案，所谓弱网络环境是指网络质量不高，例如网络带宽有限的情况，在这种情况下如果还按照常规的视频传输方式则会导致数据堆积无法正常传输，进而无法保证视频传输的流畅性和画面清晰性。

目前常规的解决方案具体采用的是丢帧方式，在弱网环境下视频数据传输时若数据已经出现堆积则进行丢帧，但这种方式容易造成接收方观看视频时视频画面频繁卡顿，严重影响观看者的观感体验。

发明内容

本申请实施例提供了一种视频传输控制方法、装置、设备及存储介质，能够在弱网环境下同时兼顾所传输的视频的流畅度和清晰度，提高用户对于视频的观看体验。

有鉴于此，本申请第一方面提供了一种视频传输控制方法，包括：

获取针对一视频分配的可用码率；

当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或等于目标帧率；

基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

本申请第二方面提供了一种视频传输控制装置，包括：

码率获取模块，用于获取针对一视频分配的可用码率；

帧率调整模块，用于当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或者等于目标帧率；

控制模块，用于基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序中的指令，执行如上述第一方面所述的视频传输控制方法的步骤。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的视频传输控制方法。

本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的视频传输控制方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种视频传输控制方法，该方法能够在弱网环境下对编码帧率进行适当地调整，使得调整后的编码帧率与弱网环境下的可用码率相适配，如此，保证基于调整后的编码帧率和可用码率编码得到的视频在弱网环境下能够同时兼顾流畅度和清晰度。具体的，在本申请提供的视频传输控制方法中，先获取针对待传输的视频分配的可用码率，然后判断该可用码率与目标码率之间的大小关系，若可用码率小于目标码率，则对编码帧率进行调整，使得调整后的编码帧率小于或等于目标帧率，最终基于可用码率和调整后的编码帧率对待传输的视频进行编码。由于编码时基于的编码帧率是在判定可用码率小于目标码率的情况下调整得到的，并且该调整后的编码帧率与可用码率相适配，相应地，基于该调整后的编码帧率和可用码率对待传输的视频进行编码，能够有效地兼顾待传输的视频的流畅度和清晰度，即保证视频接收方观看到的视频既流畅又清晰，从而提高用户的观看体验。

附图说明

图1为本申请实施例提供的视频传输控制方法的应用场景示意图；

图2为本申请实施例提供的视频传输控制方法的流程示意图；

图3为本申请实施例提供的编码帧率调整方式的流程示意图；

图4为本申请实施例提供的编码器进行编码处理流程示意图；

图5为本申请实施例提供的第一种视频传输控制装置的结构示意图；

图6为本申请实施例提供的第二种视频传输控制装置的结构示意图；

图7为本申请实施例提供的第三种视频传输控制装置的结构示意图；

图8为本申请实施例提供的第四种视频传输控制装置的结构示意图；

图9为本申请实施例提供的第五种视频传输控制装置的结构示意图；

图10为本申请实施例提供的第六种视频传输控制装置的结构示意图；

图11为本申请实施例提供的一种终端设备的结构示意图；

图12为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中，在弱网环境下传输视频数据时，通常基于丢帧的方式处理堆积的视频数据。然而，这种视频传输方式容易导致视频接收方观看到的视频画面频繁出现卡顿，并且在一些情况下，还会对视频接收方观看到的视频画面效果造成严重的影响，对于视频接收方来说，视频观看体验质量(Quality of Experience，QoE)极差。

针对上述相关技术存在的问题，本申请实施例提供了一种视频传输控制方法，该方法能够在弱网环境下保证视频接收方观看到的视频兼具流畅性和清晰度，提高视频接收方对于视频的观看体验质量。具体的，在本申请实施例提供的视频传输控制方法中，在针对一视频分配的可用码率小于目标码率的情况下，对编码帧率进行调整，使得调整后的编码帧率与可用码率相适配，进而，基于可用码率和调整后的编码帧率对该视频进行编码，如此编码得到的视频即使在弱网环境下也能够兼具流畅性和清晰度，有效地提高用户对于视频的观看体验质量。

应理解，本申请实施例提供的视频传输控制方法可以应用于具备视频编码功能的设备，如终端设备、服务器等；其中，终端设备具体可以为智能手机、计算机、个人数字助理(Personal Digital Assitant，PDA)、平板电脑等；服务器具体可以为应用服务器，也可以为Web服务器，在实际部署时，该服务器可以为独立服务器，也可以为集群服务器。

为了便于理解本申请实施例提供的技术方案，下面以本申请实施例提供的视频传输控制方法应用于视频直播场景为例，对本申请实施例提供的视频传输方法做整体性介绍。

参见图1，图1为本申请实施例提供的视频传输控制方法的应用场景示意图。如图1所示，该应用场景中包括：主播方使用的终端设备(即视频发送方的终端设备)110和若干个直播观看者使用的终端设备120(即视频接收方的终端设备)；其中，终端设备110用于录制直播视频，采用本申请实施例提供的视频传输控制方法对直播视频进行编码，并将编码后的直播视频通过网络发送给各终端设备120；例如，通过服务器将直播视频发送给直播间的其他终端设备102，则终端设备120通过网络就能够接收到终端设备110发送的直播视频。

具体的，在直播的过程中，主播可以使用终端设备110录制直播视频。与此同时，终端设备110还会根据当前的网络环境，确定可针对当前录制的直播视频分配的可用码率；然后，判断该可用码率与目标码率之间的大小关系，此处的目标码率可以为直播平台针对直播视频预先设置的码率，若可用码率小于目标码率，则说明当前处于弱网环境，需要对编码帧率进行适应性地调整，使其小于或等于目标帧率，并且与上述可用码率相适配，此处的目标帧率可以为直播平台针对直播视频预先设置的帧率；进而，基于上述可用码率和调整后的编码帧率对直播视频进行编码，并将编码后的直播视频发送给各终端设备120。如此，直播观看者可以观看终端设备120接收到的直播视频，并且由于编码该直播视频时所基于的码率和帧率均是针对弱网环境进行调整得到的，因此，可以保证直播观看者通过终端设备120观看到的直播视频的流畅度和清晰度均较好，提高了直播观看者对于直播视频的观看体验。

需要说明的是，图1所示的直播场景仅为本申请实施例提供的视频传输控制方法可以应用的一个示例性的场景，在实际应用中，本申请实施例提供的视频传输控制方法还可以应用于视频通话、视频会议等场景中，在此不对本申请实施例提供的视频传输控制方法适用的应用场景做任何限定。

下面通过实施例对本申请提供的视频传输控制方法进行介绍。

参见图2，图2为本申请实施例提供的视频传输控制方法的流程示意图。为了便于描述，下述实施例以终端设备为执行主体为例对该视频传输控制方法进行介绍，应理解，在实际应用中，本申请实施例提供的视频传输控制方法的执行主体还可以为服务器等具备视频编码功能的设备。如图2所示，该视频传输控制方法包括以下步骤：

步骤201：获取针对一视频分配的可用码率。

码率是指数据传输时单位时间内传送的数据位数，其单位一般为kbps(即千位每秒)；码率通常也可以被理解为取样率，单位时间内取样率越大，精度越高，相应处理得到的文件越接近原始文件。

当终端设备需要传输视频时，终端设备可以通过对联网服务质量(Quality ofService，QoS)数据进行处理，预估终端设备本地上行带宽，然后根据预估得到的本地上行带宽了解当前的网络环境，即判断当前的网络环境是否属于弱网环境，进而，根据当前的网络环境针对待传输的视频分配可用码率。应理解，当前的网络环境越好，终端设备针对待传输的视频分配的可用码率越高，反之，当前的网络环境越差，终端设备针对待传输的视频分配的可用码率越低。

步骤202：当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或等于目标帧率。

终端设备针对待传输的视频确定出可为其分配的可用码率后，进一步判断该可用码率与目标码率之间的大小关系，若可用码率小于目标码率，则说明终端设备当前所处的网络环境属于弱网环境，此时，需要相应地对编码帧率进行调整，使得调整后的编码帧率小于或等于目标帧率，以保证该调整后的编码帧率与可用码率相适配。

帧率也可以被称为每秒帧数(Frames Per Second，FPS)，是指每秒传输的视频帧数。帧率的大小会影响视频画面流畅度，与视频画面流畅度成正比；即帧率越大，视频画面越流畅，帧率越小，视频画面越卡顿、跳动感越强。

需要说明的是，上述目标码率可以为视频传输平台针对其传输的视频预设的编码码率，例如，直播平台针对其传输的直播视频预设的编码码率；该目标码率也可以为用户人为针对待传输的视频设置的码率。相类似地，目标帧率可以为视频传输平台针对其传输的视频预设的帧率，也可以为用户人为针对待传输的视频设置的帧率。

在具体实现时，若所述可用码率大于或者等于目标码率时，则可以直接控制编码器基于目标码率和目标帧率进行视频编码处理。

在一种可能的实现方式中，终端设备可以结合用户指定的期望码率和期望分辨率确定上述目标码率。即终端设备获取用户指定的期望码率和期望分辨率，根据期望分辨率确定建议码率，选择建议码率与期望码率中的最小值作为目标码率。

具体的，终端设备接收到用户输入的期望码率和期望分辨率后，可以调用终端设备本地存储的对应关系表，该对应关系表中记录有分辨率与建议码率之间的对应关系，例如，分辨率360*640对应的建议码率为480kbps，分辨率540*960对应的建议码率为720kbps，等等。进而，终端设备可以在该对应关系表中查找用户输入的期望分辨率对应的建议码率，最终，从该建议码率与用户输入的期望码率之中选择最小的码率值作为目标码率。

如此，根据用户的实际需求确定目标码率，并将该目标码率作为确定是否需要调整编码帧率的参考依据，从而保证对于编码帧率的调整兼顾当前网络环境和用户的实际需求。

应理解，在实际应用中，终端设备还可以通过其他方式确定目标码率，在此不对目标码率的确定方式做任何限定。

终端设备判断经步骤201确定出的可用码率小于目标码率时，需要进一步对编码帧率进行调整，本实施例在此提供了以下两种示例性的调整编码帧率的实现方式。

在第一种可能的实现方式中，终端设备可以根据可用码率和目标码率的差距对编码帧率进行调整。具体的，终端设备可以计算可用码率与目标码率的差值，进而，根据该差值确定对于编码帧率的调整方式；或者，终端设备也可以计算可用码率与目标码率的比值，进而，根据该比值确定对于编码帧率的调整方式。

下面以根据可用码率与目标码率的比值调整编码帧率为例，对编码帧率的调整方式进行介绍。具体的，终端设备可以先确定可用码率与目标码率的比值；然后，将该比值与预设的多个相邻阈值区间进行匹配，确定与该比值匹配的阈值区间作为目标阈值区间，此处预设的多个相邻阈值区间各自对应的参考帧率呈阶梯式增长趋势，且最大参考帧率不大于目标帧率；最终，将编码帧率调整为目标阈值区间对应的参考帧率。

需要说明的是，预设的多个相邻阈值区间各自对应一个参考帧率，并且随着阈值区间的增大其对应的参考帧率也将相应增大，例如，假设相邻的阈值区间包括[0.2,0.35)、[0.35,0.4)、[0.4,0.625)和[0.625,1)，其中，阈值区间[0.2,0.35)对应的参考帧率为8帧每秒，阈值区间[0.35,0.4)对应的参考帧率为10帧每秒，阈值区间[0.4,0.625)对应的参考帧率为12帧每秒，阈值区间[0.625,1)对应的参考帧率为目标帧率。应理解，上述阈值区间与参考帧率之间的对应关系仅为示例，在实际应用中可以根据实际需求设置任意数目个相邻的阈值区间，并且针对各相邻的阈值区间根据实际需求设置任意帧率作为其对应的参考帧率，在此不对上述相邻的阈值区间及其对应的参考帧率做任何限定。

为了便于理解上述编码帧率的调整方式，下面对上述编码帧率的调整方式进行举例说明：假设相邻的阈值区间包括[0.2,0.35)、[0.35,0.4)、[0.4,0.625)和[0.625,1)，其中，阈值区间[0.2,0.35)对应的参考帧率为8帧每秒，阈值区间[0.35,0.4)对应的参考帧率为10帧每秒，阈值区间[0.4,0.625)对应的参考帧率为12帧每秒，阈值区间[0.625,1)对应的参考帧率为目标帧率；计算可用码率与目标码率之间的比值，若该比值落入阈值区间[0.2,0.35)，则将编码帧率调整为8帧每秒，若该比值落入阈值区间[0.35,0.4)，则将编码帧率调整为10帧每秒，若该比值落入阈值区间[0.4,0.625)，则将编码帧率调整为12帧每秒，若该比值落入阈值区间[0.625,1)，则说明可用码率与目标码率之间的差距较小，此时可以直接将编码帧率设置为目标帧率。

在第二种可能的实现方式中，终端设备可以基于保证编码时采用的帧率和码率之间的比值与目标帧率和目标码率之间的比值一致的原理，对编码帧率进行调整。由于码率表征的是单位时间内传送的数据位数，帧率表征的是单位时间内传送的帧数，若要保证所传输的视频画面具备较好的清晰度，则需要保证所传输的每帧视频画面携带的数据达到一定的数量，即需要保证对视频进行编码时采用的码率与帧率之间的比值达到预设比值，而基于预设的目标码率与目标帧率对视频进行编码，通常能够保证编码得到的视频具有较好的清晰度，因此，可以将目标码率与目标帧率之间的比值作为预设比值，保证在弱网环境中对视频进行编码时采用的码率与帧率之间的比值达到该预设比值。

具体实现时，终端设备可以先确定可用码率与目标帧率的比值作为第一比值，然后确定该第一比值与预设阈值的比值作为第二比值，该预设阈值即为目标码率与目标帧率之间的比值，进而，确定第二比值与目标帧率的乘积作为调整后的编码帧率。

为了便于理解上述编码帧率的调整方式，下面对上述编码帧率的调整方式进行举例说明：假设预设的目标码率为200kbps，目标帧率为20帧每秒，根据网络环境确定的可用码率为150kbps；终端设备对编码帧率进行调整时，可以先计算可用码率与目标帧率之间的比值作为第一比值，即计算150/20＝7.5作为第一比值；然后，计算该第一比值与预设阈值的比值作为第二比值，此处的预设阈值为目标码率与目标帧率的比值，即预设阈值为200/20＝10，则计算7.5/10＝0.75作为第二比值；最终，计算该第二比值与目标帧率的乘积作为调整后的编码帧率，即计算0.75*20＝15作为调整后的编码帧率。

应理解，在实际应用中，除了可以通过上述两种可能的实现方式调整编码帧率外，还可以通过其他方式对编码帧率进行调整，在此不对调整编码帧率的方式做任何限定。

需要说明的是，在实际应用中，终端设备可以每隔预设周期确定一次可用码率，并基于该可用码率对编码帧率动态地调整一次；例如，终端设备可以每秒确定一次可用码率，并基于该可用码率对编码帧率进行一次动态地调整。

步骤203：基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

终端设备确定出可用码率和调整后的编码帧率后，可以基于所确定的可用码率以及调整后的编码帧率，控制编码器对待传输的视频进行编码。在本申请实施例中，终端设备基于实际网络情况分配的可用码率进行编码，仅影响编码模块，而渲染模块依旧保持目标码率如此不会影响本地观看体验。

具体的，终端设备将所确定的可用码率和调整后的编码帧率设置给编码器后，编码器将相应地计算每帧编码间隔，即视频的帧间隔，例如，可以计算1000/FPS(FPS即为调整后的编码帧率)作为视频的帧间隔。编码器内部的延迟控制(delaycontrol)模块根据如此确定出的视频的帧间隔，定时触发编码器进行编码，即每隔预设的时间间隔，触发编码器从编码器缓存中读取待编码的视频帧进行编码处理。

当编码器缓存中存储有待编码的视频帧时，终端设备可以在定时间隔触发时，直接从编码器缓存中读取待编码的视频帧送入编码器中进行编码处理。当编码器缓存中没有待编码的视频帧时，终端设备将预设的视频帧送入状态标识配置为即刻编码状态，该即刻编码状态用于指示采集器采集的视频帧立刻送入编码器进行编码处理；即在编码器缓存中没有存储待编码的视频帧的情况下，终端设备可以通过将视频帧送入状态标识配置为即刻编码状态的方式，指示采集器采集到该视频帧后直接将该视频帧送入编码器进行编码处理。如此，保证合理有效地利用编码带宽。

需要说明的是，对视频进行编码处理实际上分为对视频中的音频进行编码和对视频中的视频画面进行编码，由于对于音频的编码处理过程通常要比对于视频画面的编码处理过程更为简单，因此，对于音频进行编码处理所需耗费的时间通常也要短于对于视频画面进行编码处理所需耗费的时间，为了保证传输的视频音画同步，终端设备在对视频进行编码的过程中还需要根据编码视频帧(即上述视频画面)的时间戳与编码音频的时间戳之间的时间差，对视频帧的时间戳进行调整。

具体的，当采集器的采集帧率与编码器的编码帧率不一致时，终端设备可以控制编码器基于采集器采集视频帧时的时间戳与视频帧被送入编码器时的时间戳之间的时间戳差值，重置视频帧的时间戳。由于对于音频的编码处理过程较为短暂，因此，可以直接将采集器采集视频帧时的时间戳作为对于音频进行编码处理的时间戳，进而，计算该采集器采集视频帧时的时间戳与视频帧被送入编码器的时间戳之间的时间戳差值，在启动编码时，取当前时间减去该时间戳差值重置视频帧的时间戳，如此保证视频的音画同步。

在弱网环境下很有可能发生网络丢包，针对这种情况，可以通过重传、增加数据冗余等方式恢复丢包后的视频，可见，在弱网环境下不仅需要关注所传输的视频数据的丢包率，更应该关注视频数据丢包后的恢复情况。经过丢包恢复技术后，如果持续预设时长没有发生丢包现象，也就是说所有的视频帧都能够顺利地被视频接收方接收，那么可以在编码码率不够的情况下，适当地增大关键帧间隔(Group of Pictures,GOP)，来提升视频的画质。

GOP是指两个I帧之间的间隔，一个GOP就是一组连续的IPB画面；动态图像专家组(Moving Pictures Experts Group,MPEG)编码将视频帧分为I帧、P帧和B帧，I帧是内部编码帧，P帧是前向预测帧，B帧是双向内插帧。简单地讲，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化，在没有I帧的情况下，无法解码P帧和B帧。

在一种可能的应用场景中，本申请实施例提供的视频传输控制方法可以应用于传输直播视频，此时，由视频主播使用的终端设备向直播视频观看者使用的终端设备传输直播视频。在该种应用场景中，传输直播视频的终端设备(即视频主播使用的终端设备)仅需关注上行数据的丢包情况即可。

具体的，在当前业务模式为非实时模式且上行数据经恢复后无丢包的情况下，终端设备可以增大视频的GOP；进而，控制编码器基于增大后的GOP进行编码。如此，在直播场景中，终端设备通过增大视频的GOP调整视频的画质，进而保证传输的直播视频兼具流畅性和清晰度。

在另一种可能的应用场景中，本申请实施例提供的视频传输控制方法可以应用于视频通话，此时，进行视频通话的双方均需要向对方传输视频。在该种应用场景中，传输视频的终端设备包括进行视频通话的双方各自使用的终端设备，这两个终端设备既需要关注上行数据(发送的视频数据)的丢包情况，又需要关注下行数据(接收的视频数据)的丢包情况。

具体的，在当前业务模式为非实时一对一通信模式，且上行数据经恢复后无丢包，且下行数据经恢复后无丢包的情况下，终端设备(包括视频通话的任意一方使用的终端设备，或视频通话双方使用的终端设备)可以增大视频的GOP；进而，基于增大后的GOP进行编码。如此，在视频通话场景中，终端设备通过增大视频的GOP调整视频的画质，保证视频通话过程中用户观看到的视频兼具流畅性和清晰度。

需要说明的是，在实际应用中，动态调整GOP的策略除了可以应用到上述两种应用场景中，还可以应用到其他需要传输视频的应用场景中，在此不对该动态调整GOP策略适用的应用场景做任何限定。

上述本申请实施例提供的视频传输控制方法能够在弱网环境下保证视频接收方观看到的视频兼具流畅性和清晰度，提高视频接收方对于视频的观看体验质量。具体的，在本申请实施例提供的视频传输控制方法中，在针对视频分配的可用码率小于目标码率的情况下，对编码帧率进行调整，使得调整后的编码帧率与可用码率相适配，进而，控制编码器基于可用码率和调整后的编码帧率进行视频编码，如此编码得到的视频即使在弱网环境下也能够兼具流畅性和清晰度，有效地提高用户对于视频的观看体验质量。

为了便于进一步理解本申请实施例提供的视频传输控制方法，下面对本申请实施例提供的视频传输方法做整体性示例介绍。

参见图3，图3为本申请实施例提供的调整编码帧率的流程示意图。如图3所示，终端设备先通过处理QoS数据预估本地带宽，进而，根据预估的本地带宽针对待传输的视频分配可用码率。然后，判断该可用码率是否小于预先分配的目标码率；若否，则说明当前网络环境良好，可以直接设置目标码率和目标帧率至编码器，以使编码器基于目标码率和目标帧率对待传输的视频进行编码；若是，则说明当前网络环境较差属于弱网环境。接着，判断当前业务模式是否为非实时模式以及上行数据经恢复后是否无丢包，若均是，则可以增大待传输的视频的GOP，并在增大GOP后计算可用码率与目标码率之间的比值，反之，若当前业务模式不是非实时模式和/或上行数据经恢复后有丢包，则不对GOP进行调整，直接计算可用码率与目标码率之间的比值。进而，确定与该比值匹配的阈值区间，当该比值匹配的阈值区间为[0.2,0.35)时，可以将编码帧率调整为8帧每秒，当该比值匹配的阈值区间为[0.35,0.4)时，可以将编码帧率调整为10帧每秒，当该比值匹配的阈值区间为[0.4,0.625)时，可以将编码帧率调整为12帧每秒，当该比值匹配的阈值区间为[0.625,1)时，可以将编码帧率设置为目标帧率。最终，基于调整后的编码帧率与可用码率为编码器的编码码率和编码帧率参数进行赋值，控制编码器基于该可用码率和调整后的编码帧率对待传输的视频进行编码。

参见图4，图4为本申请实施例提供的编码器进行编码处理的流程示意图。如图4所示，启动编码器后，相应地启动编码器中的delaycontrol模块，以秒为单位对编码处理所基于的编码码率和编码帧率进行调整，并且根据调整后的编码帧率计算帧间隔作为定时任务的触发时间间隔，相应地启动定时编码任务。定时编码任务触发后，判断编码器缓存中是否有待编码的视频帧，若是，则读取待编码的视频帧送入编码器中进行编码处理，若否，则将需要送入编码器的视频帧的送入状态标识配置为即刻编码状态。相应地，采集视频帧送入编码器时，先判断该视频帧的送入状态标识是否为即刻编码状态，若是，则直接送入编码器进行编码处理，若否，则送入编码器缓存中。

经发明人实验验证，本申请实施例提供的视频传输控制方法能够取得较好的效果，即能够有效地提高所传输的视频的流畅度和清晰度，为用户带来较好的体验质量，针对分辨率为360*640的视频进行实验得到的实验结果如表1所示：

表1

其中，QP(Quantizer Parameter)为量化参数，其反映了视频的空间细节压缩情况，QP值越小，则说明视频中越多的细节被保留下来，量化越精细，图像质量越高，反之，QP值越大，则说明视频中丢失的细节越多，图像失真较为严重。如表1所示，在弱网环境下，适当地降低编码的码率和/或帧率能够有效地提高所传输的视频质量。

针对上文描述的视频传输控制方法，本申请还提供了对应的视频传输控制装置，以使上述视频传输控制方法在实际中得以应用和实现。

参见图5，图5是与上文图2所示的视频传输控制方法对应的一种视频传输控制装置500的结构示意图，该视频传输控制装置500包括：

码率获取模块501，用于获取针对一视频分配的可用码率；

帧率调整模块502，用于当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或者等于目标帧率；

控制模块503，用于基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

可选的，在图5所示的视频传输控制装置的基础上，所述帧率调整模块502，具体用于根据所述可用码率与所述目标码率的差距调整编码帧率。

可选的，在图5所示的视频传输控制装置的基础上，所述帧率调整模块502，具体用于：

确定所述可用码率与所述目标码率的比值；

将所述比值与预设的多个相邻阈值区间进行匹配，确定与所述比值匹配的阈值区间作为目标阈值区间；其中，所述预设的多个相邻阈值区间各自对应的参考帧率呈阶梯式增长趋势且最大参考帧率不大于所述目标帧率；

将所述编码帧率调整为所述目标阈值区间对应的参考帧率。

可选的，在图5所示的视频传输控制装置的基础上，所述帧率调整模块502，具体用于：

确定所述可用码率与所述目标帧率的比值，作为第一比值；

确定所述第一比值与所述预设阈值的比值，作为第二比值；

确定所述第二比值与所述目标帧率的乘积，作为所述调整后的编码帧率。

可选的，在图5所示的视频传输控制装置的基础上，参见图6，图6为本申请实施例提供的另一种视频传输控制装置的结构示意图。如图6所示，该视频传输控制装置还包括：

第一GOP调整模块601，用于在当前业务模式为非实时模式且上行数据经恢复后无丢包的情况下，增大视频的关键帧间隔GOP；

则所述控制模块503，还用于控制所述编码器基于增大后的关键帧间隔进行编码。

可选的，在图5所示的视频传输控制装置的基础上，参见图7，图7为本申请实施例提供的另一种视频传输控制装置的结构示意图。如图7所示，该视频传输控制装置还包括：

第二GOP调整模块701，用于在当前业务模式为非实时一对一通信模式且上行数据经恢复后无丢包且下行经数据恢复后无丢包的情况下，增大视频的关键帧间隔GOP；

则所述控制模块503，用于基于增大后的关键帧间隔对所述视频进行编码。

可选的，在图5所示的视频传输控制装置的基础上，参见图8，图8为本申请实施例提供的另一种视频传输控制装置的结构示意图。如图8所示，该视频传输控制装置还包括：

定时触发模块801，用于根据视频的帧间隔，定时触发所述编码器进行编码；

编码处理模块802，用于当编码器缓存中有待编码的视频帧时，从所述编码器缓存中读取待编码的视频帧送入所述编码器进行编码处理；当所述编码器缓存中没有待编码的视频帧时，将预设的视频帧送入状态标识配置为即刻编码状态，所述即刻编码状态用于指示将采集器采集的视频帧立刻送入所述编码器进行编码处理。

可选的，在图5所示的视频传输控制装置的基础上，参见图9，图9为本申请实施例提供的另一种视频传输控制装置的结构示意图。如图9所示，该视频传输控制装置还包括：

时间戳重置模块901，用于当采集器的采集帧率与所述编码器的编码帧率不一致时，控制所述编码器基于所述采集器采集视频帧时的时间戳与所述视频帧被送入所述编码器时的时间戳之间的时间戳差值，重置所述视频帧的时间戳。

可选的，在图5所示的视频传输控制装置的基础上，参见图10，图10为本申请实施例提供的另一种视频传输控制装置的结构示意图。如图10所示，该视频传输控制装置还包括：

期望参数获取模块1001，用于获取用户指定的期望码率和期望分辨率；

目标码率选择模块1002，用于根据所述期望分辨率确定建议码率，选择所述建议码率和所述期望码率中的最小值作为所述目标码率。

上述本申请实施例提供的视频传输控制装置能够在弱网环境下保证视频接收方观看到的视频兼具流畅性和清晰度，提高视频接收方对于视频的观看体验质量。具体的，本申请实施例提供的视频传输控制装置，在针对视频分配的可用码率小于目标码率的情况下，对编码帧率进行调整，使得调整后的编码帧率与可用码率相适配，进而，控制编码器基于可用码率和调整后的编码帧率进行视频编码，如此编码得到的视频即使在弱网环境下也能够兼具流畅性和清晰度，有效地提高用户对于视频的观看体验质量。

本申请实施例还提供了一种用于控制视频传输的终端设备和服务器，下面将从硬件实体化的角度对本申请实施例提供的用于控制视频传输的终端设备和服务器进行介绍。

参见图11，为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：

图11示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图11，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1110、存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1170、处理器1180、以及电源1190等部件。本领域技术人员可以理解，图11中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1180可包括一个或多个处理单元；优选的，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。

在本申请实施例中，该终端所包括的处理器1180还具有以下功能：

获取针对一视频分配的可用码率；

当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或等于目标帧率；

基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

可选的，所述处理器1180还用于执行本申请实施例提供的视频传输控制方法的任意一种实现方式的步骤。

本申请实施例还提供了一种服务器，图12是本申请实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1222(例如，一个或一个以上处理器)和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中，存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。

服务器1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作系统1241，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。

其中，CPU 1222用于执行如下步骤：

获取针对一视频分配的可用码率；

当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或等于目标帧率；

基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

可选的，CPU 1222还可以用于执行本申请实施例中视频传输控制方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种视频传输控制方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种视频传输控制方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种视频传输控制方法，其特征在于，包括：

获取针对一视频分配的可用码率；

当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或等于目标帧率；

基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

2.根据权利要求1所述方法，其特征在于，所述调整编码帧率，包括：

根据所述可用码率与所述目标码率的差距调整所述编码帧率。

3.根据权利要求2所述方法，其特征在于，所述根据所述可用码率与所述目标码率的差距调整所述编码帧率，包括：

确定所述可用码率与所述目标码率的比值；

将所述比值与预设的多个相邻阈值区间进行匹配，确定与所述比值匹配的阈值区间作为目标阈值区间；其中，所述预设的多个相邻阈值区间各自对应的参考帧率呈阶梯式增长趋势且最大参考帧率不大于所述目标帧率；

将所述编码帧率调整为所述目标阈值区间对应的参考帧率。

4.根据权利要求1所述方法，其特征在于，所述调整编码帧率，包括：

确定所述可用码率与所述目标帧率的比值，作为第一比值；

确定所述第一比值与所述预设阈值的比值，作为第二比值；

确定所述第二比值与所述目标帧率的乘积，作为所述调整后的编码帧率。

5.根据权利要求1至4中任一项所述方法，其特征在于，当所述可用编码码率小于目标码率时，所述方法还包括：

在当前业务模式为非实时模式且上行数据经恢复后无丢包的情况下，增大视频的关键帧间隔GOP；

控制所述编码器基于增大后的关键帧间隔进行编码。

6.根据权利要求1至4中任一项所述方法，其特征在于，当所述可用编码码率小于目标码率时，所述方法还包括：

在当前业务模式为非实时一对一通信模式且上行数据经恢复后无丢包且下行经数据恢复后无丢包的情况下，增大视频的关键帧间隔GOP；

基于增大后的关键帧间隔对所述视频进行视频编码。

7.根据权利要求1至4中任一项所述方法，其特征在于，所述方法还包括：

根据视频的帧间隔，定时触发编码器进行编码；

当所述编码器缓存中有待编码的视频帧时，从所述编码器缓存中读取待编码的视频帧送入所述编码器进行编码处理；

当所述编码器缓存中没有待编码的视频帧时，将预设的视频帧送入状态标识配置为即刻编码状态，所述即刻编码状态用于指示将采集器采集的视频帧立刻送入所述编码器进行编码处理。

8.根据权利要求1至4中任一项所述方法，其特征在于，所述方法还包括：

当采集器的采集帧率与所述编码器的编码帧率不一致时，控制所述编码器基于所述采集器采集视频帧时的时间戳与所述视频帧被送入所述编码器时的时间戳之间的时间戳差值，重置所述视频帧的时间戳。

9.根据权利要求1至4中任一项所述方法，其特征在于，所述方法还包括：

获取用户指定的期望码率和期望分辨率；

根据所述期望分辨率确定建议码率，选择所述建议码率和所述期望码率中的最小值作为所述目标码率。

10.一种视频传输控制装置，其特征在于，包括：

码率获取模块，用于获取针对一视频分配的可用码率；

帧率调整模块，用于当所述可用码率小于目标码率时，调整编码帧率以使调整后的编码帧率小于或者等于目标帧率；

控制模块，用于基于所述可用码率和所述调整后的编码帧率对所述视频进行编码。

11.根据权利要求10所述装置，其特征在于，所述帧率调整模块，具体用于根据所述可用码率与所述目标码率的差距调整所述编码帧率。

12.根据权利要求11所述装置，其特征在于，所述帧率调整模块，具体用于：

确定所述可用码率与所述目标码率的比值；

将所述比值与预设的多个相邻阈值区间进行匹配，确定与所述比值匹配的阈值区间作为目标阈值区间；其中，所述预设的多个相邻阈值区间各自对应的参考帧率呈阶梯式增长趋势且最大参考帧率不大于所述目标帧率；

将所述编码帧率调整为所述目标阈值区间对应的参考帧率。

13.根据权利要求10所述装置，其特征在于，所述帧率调整模块，具体用于：

确定所述可用码率与所述目标帧率的比值，作为第一比值；

确定所述第一比值与所述预设阈值的比值，作为第二比值；

确定所述第二比值与目标帧率的乘积，作为所述调整后的编码帧率。

14.一种设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行权利要求1-9中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-9中任一项所述的方法。