CN108702352A - 一种确定音视频数据编码速率的方法、终端以及存储介质 - Google Patents

Abstract

本发明公开了一种确定音视频数据编码速率的方法、终端以及存储介质。本发明方法包括：终端检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；终端根据检测到的第一上行信息，调整音视频数据的编码速率。本发明能够改善物理层传输误码率以及终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包的问题。

Description

一种确定音视频数据编码速率的方法、终端以及存储介质 技术领域

本发明涉及通信技术领域，尤其涉及一种确定音视频数据编码速率的方法、终端以及存储介质。

背景技术

长期演进(Long Term Evolution，LTE)中的语音通话(Voice Over LTE，VoLTE)是基于互联网协议(Internet Protocol，IP)多媒体子系统(IP Multimedia Subsystem，IMS)的语音业务。IMS由于支持多种接入和丰富的多媒体业务，成为全IP时代的核心网标准架构。经历了过去几年的发展成熟后，如今IMS已经跨越裂谷，成为固定话音领域宽带语音(Voice Over Broadband，VoBB)、公共交换电话网络(Public Switched Telephone Network，PSTN)的主流选择，而且也被第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)确定为移动语音的标准架构。

VoLTE可提供高质量的音视频通话，可实现数据与语音业务在同一网络下的统一。现有技术在VoLTE通话过程中，语音数据以及视频数据在发送过程中速率往往是固定的，而这样持续使用固定的较大速率发送数据一方面会导致在物理层存在上行误码的同时，还会持续产生较大的上行实时传输协议(Real-time Transport Protocol，RTP)丢弃音视频数据包率；另一方面，在发生上行授权变小、物理层上行发送混合自动重传请求(Hybrid Automatic Repeat reQuest，HARQ)重传、或者无线资源控制(Radio Resource Control，RRC)信道重建等情况时，会导致上行发送数据堆积在分组数据汇聚协议(Packet Data Convergence Protocol，PDCP)层，时延增加，这种堆积如果一直持续到超过语音或视频承载标度值(QoS Class Identifier，QCI)对时延的要求后，PDCP就会主动丢弃缓存的语音数据或视频数据，进而导致端到端语音或视频通话质量的下降，对用户体验产生负面影响。

因此，如何克服现有技术中所存在的上述缺陷，减少音视频数据在传输中的丢弃音视频数据包和堆积，提升VoLTE通话质量和时延，是业界所亟待研究和解决的问题。

发明内容

本发明实施例提供一种确定音视频数据编码速率的方法、终端以及存储介质，用以减少音视频数据在传输中的丢弃音视频数据包和堆积，进而提升音视频通信质量。

第一方面，本发明实施例提供一种确定音视频数据编码速率的方法，所述方法包括：终端检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率。可以看到，通过本申请所提供的方案，可以基于音视频数据的上行传输信息适应性地调整音视频数据的编码速率，因而能够通过编码速率的调整而达到改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包，提升多媒体通话的质量的效果。

在一种可能的实现方式中，所述终端根据获取到的第一上行信息，调整所述音视频数据的编码速率，包括：终端根据预设的上行信息与音视频数据的编码速率的对应关系，确定与所述第一上行信息对应的第一编码速率，调整所述音视频数据的编码速率为第一编码速率。可以看到，通过本申请所提供的方案，可以将音视频数据的编码速率调整为与当前检测到的上行信息相对应的编码速率，因而可以使得调整后的编码速率与当前的传输环境相适应，从而改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包，提升多媒体通话的质量。

在一种可能的实现方式中，所述终端根据获取到的第一上行信息，调整所述音视频数据的编码速率，包括：所述终端将检测到的上行信息与预设阈值比较；所述终端根据比较结果以及与所述比较结果和当前音视频数据的编码速率对应的预设准则，调整所述音视频数据的编码速率。可以看到，通过 本申请所提供的方案，可以通过设定阈值的方式，将检测到的上行信息与预设阈值比较，根据比较结果确定相对于当前音视频数据的编码速率的调整策略，例如：当检测到的上行信息大于预设阈值，且与该比较结果对应的调整策略为将音视频数据的编码速率相对于当前音视频数据的编码速率降低80％，即：通过与当前音视频编码速率的相对调整策略以确定目标音视频编码速率，从而进一步地可以使得对音视频数据的编码速率的调整更好地适应于当前的上行传输环境，进一步地改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包。

在一种可能的实现方式中，所述音视频数据为语音数据。

在一种可能的实现方式中，所述音视频数据为视频数据；可通过调整所述视频数据的视频帧率和/或所述视频数据的压缩率，以实现调整所述视频数据的编码速率。可以看到，通过本申请所提供的方案，可以对语音数据基于上行传输信息进行适应性地调整，也可以对视频数据基于上行传输信息进行适应性地调整，因而可以改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包。

在一种可能的实现方式中，所述上行信息包括物理层上行发送误码率。可以看到，通过本申请所提供的方案，可以使得音视频数据的编码速率能够基于上行传输环境中物理层的上行发送误码率得到适应性地调整，进而能够改善物理层上行发送误码率，提升多媒体通话的质量。

在一种可能的实现方式中，所述上行信息包括终端上行发送路径上的缓存。可以看到，通过本申请所提供的方案，可以使得音视频数据的编码速率能够基于上行传输环境中终端上行发送路径上的缓存得到适应性地调整，进而能够改善由于终端上行发送路径上的缓存堆积而主动丢弃音视频数据包的问题，提升多媒体通话的质量。

在一种可能的实现方式中，所述终端上行发送路径上的缓存包括以下任一种或多种：音频编码器/视频编码器缓存、实时传输协议RTP层缓存、用户数据报协议UDP/传输控制协议TCP层缓存、因特网协议IP层缓存、分组数 据汇聚协议PDCP层缓存、无线链路层控制协议RLC层缓存、和/或介质访问控制MAC层缓存。

在一种可能的实现方式中，所述上行信息包括物理层上行发送误码率和终端上行发送路径上的缓存；所述终端根据所述上行信息，调整所述音视频数据的编码速率，包括：所述终端若根据所述终端上行发送路径上的缓存确定所述音视频数据的编码速率需要减小，则所述终端调低所述音视频数据的编码速率；否则，所述终端根据所述物理层上行发送误码率，调整所述音视频数据的编码速率。可以看到，通过本申请所提供的方案，可以使得音视频数据的编码速率能够基于上行传输环境中终端上行发送路径上的缓存以及物理层的上行发送误码率得到适应性地调整，进而能够避免终端上行发送路径上的缓存堆积堆积而主动丢弃音视频数据包等问题，提升多媒体通话的质量。

在一种可能的实现方式中，所述音视频数据为语音数据；所述上行信息包括物理层上行发送误码率、终端上行发送路径上的缓存以及RoHC开关信息；所述终端根据所述上行信息，调整所述音视频数据的编码速率，包括：当所述终端在确定所述RoHC开关信息指示RoHC开关关闭时，若根据所述物理层上行发送误码率和/或所述终端上行发送路径上的缓存确定所述语音数据的编码速率需要减小，则所述终端调低所述语音数据的编码速率至不低于预设编码速率。可以看到，通过本申请所提供的方案，在对语音数据的编码速率进行调整时进一步考虑了语音数据编码中RoHC开关信息对于语音数据编码的影响，从而能够基于RoHC开关信息，控制在调控编码速率降低时使得编码速率不低于预设的编码速率，从而保证调速后仍能保证语音通话的质量。

在一种可能的实现方式中，所述音视频数据为语音数据；所述终端根据获取到的第一上行信息，调整所述音视频数据的编码速率，包括：终端根据预设的上行信息与语音数据的编码模式的对应关系，确定与所述第一上行信息对应的第一编码模式，调整所述音视频数据的编码速率为第一编码模式对应的编码速率。可以看到，通过本申请所提供的方案，可以使得音视频数据 的编码速率能够基于音视频数据上行传输环境的具体情况(通过设置至少两个阈值来实现区分)得到适应性地调整，进而能够减少语音数据的丢弃语音数据包和堆积，提升多媒体通话的质量。

第二方面，本发明实施例提供一种终端，所述终端包括：存储器和处理器；所述存储器与所述处理器耦合连接；所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述终端执行根据权利要求上述第一方面和第一方面的各可能的确定音视频数据编码速率的方法。由于该终端解决问题的实施方式以及有益效果可以参见上述第一方面和第一方面的各可能的确定音视频数据编码速率的方法的实施方式以及所带来的有益效果，因此该终端设备的实施可以参见上述第一方面和第一方面的各可能的确定音视频数据编码速率的方法的实施，重复之处不再赘述。

第三方面，本发明实施例提供一种终端，所述终端包括：检测模块，调整模块；检测模块，用于检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；调整模块，用于根据所述检测模块检测到的第一上行信息，调整所述音视频数据的编码速率。基于同一发明构思，由于该终端解决问题的原理以及有益效果可以参见上述第一方面和第一方面的各可能的确定音视频数据编码速率的方法的实施方式以及所带来的有益效果，因此该终端的实施可以参见方法的实施，重复之处不再赘述。

第四方面，本发明实施例提供一种存储介质，所述存储介质为非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有至少一个程序，每个所述程序包括上述第一方面和第一方面的各可能的实现方式所涉及的计算机软件指令，所述指令当被具有处理器的终端执行时使所述终端执行上述第一方面和第一方面的各可能实现方式的确定音视频数据编码速率的的方法。

本发明实施例基于音视频数据的上行传输信息适应性地调整音视频数据的编码速率，因而能够通过编码速率的调整而达到改善物理层传输误码率或 终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包，提升多媒体通话的质量的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中音视频通路的系统结构示意图；

图2为本发明的实施例提供的一种终端结构示意图；

图3为本发明的实施例提供的一种确定音视频编码速率的方法流程图；

图4为本发明的实施例提供的一种音视频通路的系统结构示意图；

图5为本发明的实施例提供的另一种音视频通路的系统结构示意图；

图6为本发明的实施例提供的又一种音视频通路的系统结构示意图；

图7为本发明的实施例提供的再一种音视频通路的系统结构示意图；

图8为本发明的实施例提供的一种终端的结构示意图；

图9为本发明实施例提供的应用于VoWIFI业务中的音视频通路系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

为了克服现有技术中所存在的在VoLTE通话过程中，由于物理层上行误码率、终端上行发送路径上的缓存堆积导致的主动丢弃音视频数据包所可能导致的语音和/或视频通话的质量下降、时延增加等问题，本发明实施例提供了一种确定音视频数据编码速率的方法、终端以及存储介质，以提供针对音 视频数据在编码传输过程中的编码速率调整方案，该方案主要通过检测用于表征上行音视频数据的传输属性的上行信息，进而能够基于检测到的上行信息来调整音视频数据的编码速率，从而使得音视频数据的编码速率能够跟随音视频数据的上行传输实际情况而适应性地调整，进而能够改善音视频数据在传输过程中的丢弃音视频数据包和堆积等问题，提升VoLTE通话的质量和时延。

下面结合附图对本发明实施例进行详细描述。

图1示出了本发明一些实施例提供的确定音视频数据编码速率的方案可以应用其中的示例性音视频通路的系统结构示意图。

应当理解的是，图1中示出的示例性音视频通路并不构成对本发明实施例提供的确定音视频数据编码速率的方案可以应用其中的音视频通路的限定，可以包括比图示更多或更少的层次，或者组合某些层次，或者拆分某些层次，或者不同的层次布置等。图1中示出的示例性音视频通路的功能具体可以通过硬件、软件编程以及软硬件的组合来实现，硬件具体可以包括一个或多个信号处理和/或专用集成电路等。

如图1所示，该示例性音视频通路结构中可包括有应用处理器(Application Processor，AP)101、通信处理器(Communication Processor，CP)102、音频数据信号处理器(Audio DSP)103以及无线网络NET 104。

其中，AP 101中主要可包括有应用层(Application，APP)1011、无线接口层(Radio Interface Layer，RIL)1012、相机(Camera)1013、以及视频编码器(Video Encoder)1014；音频数据信号处理器(Audio DSP)103中主要可包括有语音编码器(Voice Encoder)1031；

其中，CP 102中主要可包括有AT过滤层(AT Filter)1021、多媒体子系统适配层(IP Multimedia Subsystem Adapter，IMSA)1022、IMS/RTP 1023、IP 1024、非接入层(Non-access stratum，NAS)/RRC 1025、PDCP 1026、无线链路层控制协议层(Radio Link Control，RLC)1027、介质访问控制层(Media Access Control，MAC)1028、以及物理层(Physical Layer，PHY)1029。

其中，AP 101与CP 102之间可以建立通信连接。具体地，比如将该示例性系统结构应用到移动终端时，AP 101可通过AT(Attention)命令集与CP 102之间进行通信，由AP 101中的RIL 1012与CP 102中AT Filter 1021之间AT命令的发送和接收等。

其中，CP 102中的IMSA 1022主要用于提供IMS与无线通信网络之间的适配；IMS/RTP 1023主要用于提供VoLTE通话的端到端通信服务等；NAS/RRC 1025、PDCP 1026、RLC 1027、MAC 1028、以及PHY 1029主要用于提供LTE无线协议栈的功能；PHY 1029可包括网络硬件诸如收发器等以支持与无线网络NET 104的通信。

具体地，如图1所示的示例性音视频通路结构中，VoLTE通话的建立流程主要涉及有AP 101中的APP 1011、RIL 1012，以及CP 102中的AT Filter 1021、IMSA 1022、NAS/RRC 1025、IP 1024、PDCP 1026、RLC 1027、MAC 1028和PHY 1029之间的消息交互(如图1中所示出的通话命令示意①-⑦)。考虑到本申请不涉及VoLTE通话的建立流程，因而为了描述的简洁，本申请中对VoLTE通话的建立流程将不作详述。

具体地，如图1所示的示例性音视频通路结构中，VoLTE通话建立成功后，便可以进行音视频数据的传输。其中，音视频数据具体可以包括有语音数据以及视频数据等。

以所传输的音视频数据为语音数据为例，如图1所示，语音数据的传输主要涉及有Audio DSP 103中的Voice Encoder 1031，以及CP 102中的IMSA 1022、IMS/RTP 1023、IP 1024、PDCP 1026、RLC 1027、MAC 1028和PHY 1029之间的消息交互。

具体比如图1中所示出的语音数据的传输流程，其主要包括有以下步骤：

步骤101：由Audio DSP 103中的Voice Encoder 1031执行对语音数据的采集和编码，编码后的语音数据通过CP 102中的IMSA 1022传输至IMS/RTP 1023；

步骤102：通过IMS/RTP 1023以及IP 1024对语音数据进行RTP/UDP/IP 打包后进一步地传输至PDCP 1026；

步骤103：语音数据经过PDCP 1026、RLC 1027、MAC 1028和PHY 1029传输至无线网络侧NET 104。

相应地，视频数据的传输流程同语音数据的传输流程类似，如图1所示的示例性音视频通路结构中，视频数据的传输流程与语音数据的传输流程区别仅在于数据的采集部分。具体地，视频数据的采集和编码主要由AP 101中的Camera1013和Video Encoder 1014完成(步骤101’)，进而通过CP 102中的IMSA 1022传输至IMS/RTP 1023(步骤102)，再经过PDCP 1026、RLC 1027、MAC 1028和PHY 1029传输至无线网络侧NET 104(步骤103)。

然而对于上述语音数据或视频数据的传输流程，在现有技术中，比如以语音数据的传输为例，Audio DSP中的Voice Encoder将始终按照VoLTE通话建立过程中协商的空口固定带宽大小进行语音数据的采集和编码，输出固定码率的语音数据；RTP/UDP/IP只做打包处理后转送给PDCP进行缓存；RLC则始终根据从MAC获取的上行授权大小从PDCP提取相应量的语音数据发给网侧。视频数据的传输与此类似，在此不再赘述。持续使用固定的较大速率发送数据不仅会导致在物理层存在上行误码时，持续产生较大的上行RTP丢弃音视频数据包率，在发生上行授权变小、物理层上行发送HARQ重传、或者RRC信道重建等情况时，还会导致上行发送数据堆积在PDCP层，时延增加，导致PDCP主动丢弃缓存的语音数据或视频数据，进而降低端到端语音或视频通话质量，影响用户体验。

为了解决现有技术中所存在上述缺陷，本发明实施例提供了一种确定音视频数据编码速率的方案，该方案主要通过检测用于表征上行音视频数据的传输属性的上行信息，进而能够基于检测到的上行信息来调整音视频数据的编码速率，从而使得音视频数据的编码速率能够跟随音视频数据的实际传输情况得到适应性地调整，改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包，提升VoLTE通话语音质量和时延。

具体地，应用有本发明的一些实施例提供的确定音视频数据编码速率的 方案的终端可以对上行音视频通路中诸如物理层上行发送误码率信息、终端上行发送路径上的缓存信息、以及RoHC开关信息等一种或多种可以表征上行音视频数据的传输属性的上行信息进行检测，从而根据检测到的上行信息调整音视频数据的编码速率。

图1为现有技术中音视频通路的系统结构示意图；基于图1所示出的示例性音视频通路结构，应用有本发明的一些实施例提供的确定音视频数据编码速率的方案的终端可以在音视频数据的通路中的、诸如物理层(图1中的PHY1029)、PDCP层(图1中的PDCP1026)、RRC层(图1中的RRC1025)、RTP层(图1中的IMS/RTP 1023)、UDP/TCP层(未示出)、IP层(图1中的IP1024)、RLC层(图1中的RLC1027)、MAC层(图1中的MAC1028)等中任一层或多层处配置上行信息反馈机制，从而使得终端或者该终端中用于实现本发明实施例提供的确定音视频数据编码速率的方案的功能模块能够基于反馈的上行信息，控制用于编码音视频数据的编码器(图1中的VoiceEncoder1031和/或图1中的VideoEncoder1014)适应性调整编码速率，从而达到音视频数据的编码与音视频数据的上行传输之间的速率平衡，进而改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包等现象，改善VoLTE通话质量和时延。

图2示出了本发明一些实施例提供的确定音视频数据编码速率方案可应用其中的示例性终端的结构示意图。

如图2所示，该终端200的结构中可包括有收发器201、处理器202、以及音视频数据处理电路203等部件。应当理解，图2中所示出的终端200并不构成对本发明实施例提供的确定音视频数据编码速率的方案可应用其中的终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

在本发明的一些实施例中，收发器201可以被配置为使得如图2所示终端能够经由到无线网络接入点诸如无线网络接入点的连接来传输无线信号到无线网络并从无线网络接收信号。同样地，收发器201可以被配置为支持可 用于支持终端与网络之间通过无线信道进行通信的任何类型的无线接入技术(Radio Access Technologies，RAT)。例如，收发器201可被配置为支持经由任何类型的RAT的通信，该RAT可用于终端与无线网络接入点之间的通信。

在本发明的一些实施例中，处理器202可被配置为执行可存储在存储器204中或者可供处理器202访问的软件程序和/或模块，以及调用存储在存储器204内的数据，执行终端200的各种功能和处理数据。

在本发明的一些实施例中，处理器202可被配置为根据本发明的一些实施例所提供的方案来执行终端200的一个或多个功能和/或控制一个或多个功能的执行，比如执行数据处理、应用执行和/或其他处理和管理服务。

具体地，处理器202能够以多种形式实施。例如，处理器202可实施为各种基于硬件的处理装置，诸如微处理器、协处理器、控制器或包括集成电路的各种其他计算或处理设备等。应当理解的是，尽管图2仅示出单个处理器，处理器202可包括一个或多个处理器。多个处理器可彼此操作性通信，并且可被共同地配置为执行终端的一个或多个功能。

具体比如，以图1所示音视频通路为例，处理器202可集成有应用处理器(如图1所示的AP 101)和通信处理器(如图1所示的CP 102)。其中，应用处理器主要处理操作系统、用户界面和应用程序等，通信处理器(或也可称为调制解调处理器)主要处理无线通信。

在本发明的一些实施例中，存储器204可包括一个或多个存储器设备。存储器204可包括固定式和/或可移除的存储器设备。比如存储器204可提供非易失性计算机可读存储介质，该非易失性计算机可读存储介质可存储可由处理器202执行的计算机程序指令。存储器204可被配置为存储用于使得终端200能够根据本发明的一个或多个实施例来执行各种功能的信息、数据、应用程序、计算机软件指令等。在本发明的一些实施例中，存储器204可经由一条或多条总线与处理器202、收发器201、音视频数据处理电路203中的一者或多者进行通信以用于在终端的部件之间传递信息。

在本发明的一些实施例中，音视频数据处理电路203可具体包括有用于 编码的编码器。具体比如，音视频数据处理电路203可包括有音频数据处理电路以及用于编码语音数据的语音编码器等，和/或可包括有视频数据处理电路以及用于编码视频数据的视频编码器等。

比如，基于图1所示音视频通路结构示例，音视频数据处理电路203可具体包括有音频数据处理电路(比如图1所示系统结构中的Audio DSP 103)，在Audio DSP 103中包含有用于编码语音数据的语音编码器(比如图1所示系统结构中的Voice Encoder 1031)；音视频数据处理电路203还可具体包括有摄像头(比如图1所示系统结构中的Camera1013)以及视频编码器(比如图1所示系统结构中的Video Encoder 1014)等。

具体地，本发明的一些实施例中，音视频数据处理电路203还可包括麦克风以及扬声器等。其中，麦克风可以收集声音信号并将收集的声音信号转换为信号，由语音编码器进行编码处理得到语音数据，语音数据可进一步传输至收发器以发送给比如另一终端，或者将语音数据输出至与存储器204以便进一步处理。语音编码器还可以用于对接收到的语音数据进行解码，解码转换得到的信号可进一步地传输到扬声器，由扬声器转换为声音信号输出。

在本发明的一些实施例中，处理器202可与收发器201、音视频数据处理电路203进行通信以及控制收发器201、音视频数据处理电路203等。其中，收发器201可被配置为在处理器202的控制下接收或发送音视频数据。

本发明的一些实施例中，处理器202可被配置为读取存储器204中存储的计算机可执行程序代码，并执行所述代码中的指令，当处理器202执行所述指令时，所述指令可以使得终端200执行如图3所示的方法：

步骤301：检测上行信息，其中，上行信息为用于表征上行音视频数据的传输属性的信息；

步骤302：根据检测到的第一上行信息，调整音视频数据的编码速率。

具体地，音视频数据可以包括有语音数据和/或视频数据。

考虑到音视频数据上行传输涉及到物理层的信道状况、终端上行发送路径上的缓存等，终端200在步骤301中所检测的用于表征上行音视频数据的 传输属性的上行信息，其典型示例可以包括有物理层上行发送误码率、终端上行发送路径上的缓存等。为便于说明，本发明实施例以PDCP层上行发送缓存作为终端上行发送路径上的缓存的一种示例，示例性说明根据终端上行发送路径上的缓存调整音视频数据的编码速率；根据音频编码器、视频编码器、RTP层、UDP层、IP层、PDCP层、RLC层、和/或MAC层等的上行发送缓存调整音视频数据的编码速率的方法实施，可以参考根据终端上行发送路径上的缓存调整音视频数据的编码速率的方法实施，重复之处不再赘述。

考虑到物理层信道状况对音视频数据上行传输的影响，在本发明的一些实施例中，终端200中的处理器202可被配置为检测VoLTE通话上行链路(Uplink，UL)的物理层上行发送误码率。

具体地，终端200在执行步骤301时可至少部分地基于终端200的物理层、或者介质访问控制层与物理层来实现对物理层上行发送误码率的检测。例如，终端200中的处理器202可被配置为获取从网络接收的确认(Acknowledgement，ACK)和/或非确认(Negative ACK，NACK)的数量来确定物理层上行发送误码率，或者可被配置为通过介质访问控制层检测物理层的上行发送误码率等。

考虑到终端上行发送路径上的缓存对音视频数据上行传输的影响，在本发明的一些实施例中，终端200中的处理器202可被配置为检测VoLTE通话上行链路的缓存。具体地，以PDCP层上行发送缓存为例，终端200在执行步骤301时可至少部分地基于终端200的PDCP层来实现对PDCP层缓存的检测。

进一步地，在本发明的一些实施例中，终端200中的处理器202还可被配置为检测VoLTE通话上行链路的物理层上行发送误码率以及终端上行发送路径上的缓存。

此外，针对语音数据的编码传输，由于语音数据的编码涉及到RoHC开关，RoHC开关是否打开将会影响语音数据包的大小，因而对于语音数据的传输而言，还可以进一步地考虑RoHC开关是否打开对于语音数据上行传输的 影响。在本发明的一些实施例中，终端200中的处理器202可被配置为检测针对语音数据编码的RoHC开关信息。具体地，由于RoHC开关信息通常是由网络侧配置给RRC层的，终端200在执行步骤301时可至少部分地基于终端200的RRC层来实现对RoHC开关信息的检测。

应当理解的是，尽管本申请对用于表征上行音视频数据的传输属性的上行信息仅示例性地列出了物理层上行发送误码率和终端上行发送路径上的缓存、以及针对语音数据进一步地列出了RoHC开关信息；这些示例信息并不构成对本申请中所检测的上行信息的限定，终端可以检测的上行信息可以包括有比所列出上述示例信息更多或更少的信息。

在本发明的一些实施例中，终端200在通过步骤301检测上行信息之后，便可进一步地执行步骤302，基于检测到的第一上行信息，来调整音视频数据的编码速率。

应当理解的是，虽然术语“第一”、“第二”等可能在本申请中用来描述各种元素(比如阈值)，但是这些术语只是用来将一个元素与另一个元素区分开，这些元素并不被这些术语所限定(比如阈值的具体取值不受这些术语的限定)。

在本发明的一些实施例中，基于步骤301中对上行信息的检测，终端200在步骤302中所使用的第一上行信息具体可以包括有物理层上行发送误码率、终端上行发送路径上的缓存、RoHC开关信息等上行信息中的一种或多种。

比如，第一上行信息具体可以是物理层上行发送误码率；或者可以是终端上行发送路径上的缓存；或者也可以是物理层上行发送误码率和终端上行发送路径上的缓存；或者还可以是物理层上行发送误码率、终端上行发送路径上的缓存以及RoHC开关信息；等等。

在本发明的一些实施例中，终端200执行步骤302的具体过程可以通过以下方式实现：首先根据预设的上行信息与音视频数据的编码速率的对应关系，确定与检测到的第一上行信息对应的第一编码速率，从而将音视频数据的编码速率调整为所确定的第一编码速率；其中，可以在存储器中预先存储 预设的上行信息与音视频数据的编码速率的对应关系。

具体地，终端200的处理器202可被配置为根据检测到的第一上行信息，从存储器204中存储的预设的上行信息与音视频数据的编码速率的对应关系中读取与所检测到的第一上行信息对应的对应关系，进而确定与该第一上行信息对应的第一编码速率，从而指示终端200中的编码器调整音视频数据的编码速率为所确定的第一编码速率；终端200中用于编码语音数据的编码器可被配置为在处理器202的指示下调整语音数据的编码速率为第一编码速率，和/或用于编码视频数据的编码器可被配置为在处理器202的指示下调整视频数据的编码速率为第一编码速率。其中，预设的上行信息与音视频数据的编码速率的对应关系在存储器204中可以存储为表格等形式，具体存储形式，本发明不做限定。

在本发明的一些实施例中，预设的上行信息与音视频数据的编码速率的对应关系具体可以是上行信息的一个取值与音视频数据编码速率的一个取值之间一一对应的关系；或者也可以是上行信息的一个取值范围与音视频数据编码速率的一个取值之间对应的关系；或者也可以是上行信息的一个取值或取值范围与用于确定音视频数据编码速率的一个策略之间对应的关系，终端可以基于该准则确定出音视频数据编码速率的一个取值；等等。

具体地，在预设的上行信息与音视频数据的编码速率的对应关系中，上行信息的取值所指示的上行传输环境状态越好，与该取值所对应的编码速率越高；上行信息的取值所指示的上行传输环境状态越差，与该取值所对应的编码速率越低；进而，终端可以在上行传输环境好的时候，将编码速率调整到与该上行传输环境相适应的较高的编码速率，在上行传输环境差的时候，将编码速率调整到与该上行传输环境相适应的较低的编码速率。

具体地，针对不同的上行信息，预设的上行信息与音视频数据的编码速率的对应关系可以不同；针对语音数据和视频数据，预设的上行信息与语音数据的编码速率的对应关系和上行信息与视频数据的编码速率的对应关系可以相同或不同。

考虑到在实际应用中，语音编码器对语音数据的编码通常是按照其所配置的语音数据的编码模式进行编码的，不同的编码模式对应不同的编码速率。常见的语音数据的编码模式包括有自适应多速率(Adaptive Multi-Rate，AMR)编码模式、其中AMR编码模式可以包括AMR-WB编码模式以及AMR-NB编码模式、全高清编码(Enhanced Voice Service，EVS)编码模式等，以AMR-NB编码模式为例，一个AMR-NB编码模式mode的取值通常对应一固定的编码速率，比如mode为2对应的编码速率为5.9kbit/s、mode为4对应的编码速率为7.40kbit/s等。因而，在本发明的一些实施例中，可以基于编码模式与上行信息的对应关系，确定与当前所确定的上行信息对应的编码模式；根据所确定的编码模式进行音频数据编码。

又考虑到在实际应用中，视频编码器对视频数据的编码通常是通过调整视频帧率和/或压缩率来调整编码速率的，在本发明的一些实施例中，可以基于预设的视频帧率和/或压缩率与上行信息的对应关系，确定与所确定的上行信息所对应的视频帧率和/或压缩率，根据所确定的视频帧率和/或压缩率对视频数据进行编码。

可以看到，终端通过根据预设的上行信息与音视频数据的编码速率的对应关系，将音视频数据的编码速率调整为与检测到的第一上行信息对应的第一编码速率，从而使得音视频数据的编码速率能够基于当前的上行传输环境得到适应性地调整，提高音视频数据传输的质量和效率。

在本发明的一些实施例中，终端200执行步骤302的具体过程还可以通过以下方式实现：首先将检测到的第一上行信息与预设阈值比较，进而根据比较结果以及与比较结果和当前音视频数据的编码速率对应的预设准则，调整所述音视频数据的编码速率。

具体地，终端200的处理器202可被配置为根据检测到的第一上行信息，读取存储器204中存储的预设阈值，将检测到的第一上行信息与预设阈值比较，根据比较结果读取存储器204中存储的与该比较结果和当前音视频数据的编码速率对应的预设准则，进而基于所读取的预设准则指示终端200中的 编码器调整音视频数据的编码速率。其中，终端200中用于编码语音数据的编码器可被配置为在处理器202的指示下调整语音数据的编码速率，和/或用于编码视频数据的编码器可被配置为在处理器202的指示下调整视频数据的编码速率。

在本发明的一些实施例中，上述用于进行比较的预设阈值可以基于能够反映上行传输环境好坏的原则来进行设置，用于调整编码速率的预设准则可以是基于比较结果所指示的上行传输环境的好坏对当前编码速率的调整策略。

具体比如，以检测到的第一上行信息为物理层上行发送误码率为例，考虑到在实际应用中物理层上行误码率低于30％是上行数据传输的一个常用指标要求，终端200可以将预设阈值设置为30％，并设置物理上行发送误码率大于30％的比较结果对应的预设准则为将音视频数据的编码速率相对于当前音视频数据的编码速率降低80％，设置物理上行发送误码率不大于30％的比较结果对应的预设准则为将音视频数据的编码速率相对于当前编码速率增加20％。这样，终端200中的处理器202在检测到物理层上行发送误码率后，可以根据与30％的比较结果和当前音视频数据的编码速率对应的预设准则，对当前音视频数据的编码速率进行调整，以改善物理层传输误码率。

具体地，对于不同比较结果所指示的上行传输环境，预设的准则中对当前编码速率的调整方式以及相对于当前编码速率的调整比例都可以是不同的。

比如，如果比较结果指示当前传输环境较佳(比如上行信息的取值不高于预设阈值)，那相对应的预设的准则可以是对于当前音视频数据的编码速率进行增加的准则或保持当前音视频数据的编码速率不变的准则；如果比较结果指示当前传输环境较差(比如上行信息的取值高于预设阈值)，那么相对应的预设的准则可以是对于当前音视频数据的编码速率按照一定幅度进行减小的准则；如果比较结果指示当前传输环境很差(比如上行信息的取值远高于预设阈值)，那么相对应的预设的准则可以是相对于当前音视频数据的编码速 率的预设调整比例进行减小的准则。

进一步地，在本发明的一些具体实施例中，上述方式所用于进行比较的预设阈值可以是多个，从而达到对上行传输环境的好坏进行按阶梯层次区分的效果，处理器202通过将检测到的第一上行信息与多个预设阈值进行比较，将能够确定出当前上行传输环境的好坏程度，从而根据比较结果确定当前上行传输环境的好坏程度，进而得到与该比较结果和当前音视频数据的编码速率对应的预设准则，从而使得音视频数据的编码速率能够对应于不同的上行传输环境下得到相应调整。

比如，以终端200检测到的第一上行信息为物理层上行发送误码率为例，在本发明的一些实施例中，假设预设有有两个阈值(第一阈值和第二阈值，第一阈值小于第二阈值)，并对取值小于第一阈值的上行信息对应设置第一准则，对取值大于第一阈值且小于第二阈值的上行信息对应设置第二准则，对取值大于第二阈值的上行信息对应设置第三准则，其中，第一准则使编码速率相对于当前的编码速率按照设定的一个比例增加或保持不变，第二准则使编码速率相对于当前的编码速率按照设定的又一个比例降低，第三准则使编码速率相对于当前的编码速率按照比第二准则中的比例取值更高的又一个比例降低；进而终端200中的处理器202在将检测到的物理层上行发送误码率与第一阈值进行比较后，在物理层上行发送误码率大于该第一阈值时，处理器202可以进一步地将检测到的物理层上行发送误码率与第二阈值进行比较；进而根据比较结果，在物理层上行发送误码率大于第一阈值且小于第二阈值时，将当前的编码速率按照预设的第二准则进行减小；在物理层上行发送误码率大于二阈值时，将当前的编码速率按照预设的第三准则进行减小；可以看到，后者对当前编码速率的降低幅度更大，从而更能于上行传输环境的实际情况相适应。

应当理解的是，本发明上述设置有两个阈值的实施例仅为通过多个阈值划分上行环境好坏程度的一个示例，在实际的应用中，还可以适应性地设置更多的阈值，本申请对此并不限定。

具体地，与比较结果和当前音视频数据的编码速率对应的预设准则可以包括有相对当前音视频数据的编码速率进行增加的准则以及相对当前音视频数据的编码速率进行减小的准则，考虑到实际应用，在本发明的一些实施例中，对于预设准则，相对当前音视频数据的编码速率进行增加的准则对编码速率进行增加的幅度可以低于任一相对当前音视频数据的编码速率进行减小的准则对编码速率进行减小的幅度。

进一步地，在本发明的一些实施例中，对于语音数据而言，预设的准则也可以是根据比较结果以及与比较结果和当前语音数据的编码模式进行调整的准则，进而通过调整编码模式达到调整语音数据的编码速率的效果；对于视频数据而言，预设的准则也可以是根据比较结果以及与比较结果和当前视频数据的视频帧率和/或压缩率进行调整的准则，进而通过调整视频数据的视频帧率和/或压缩率达到调整视频数据的编码速率的效果。

具体地，在本发明的一些实施例中，对于语音数据，处理器202可以将检测到的物理层上行发送误码率与预设的一个阈值进行比较，从而可以在物理层上行发送误码率大于该阈值时，根据预设的准则确定需要将当前语音数据的编码模式按照一定比例进行减小，从而按照该准则指示语音编码器减小编码语音数据的编码模式；在物理层上行发送误码率不大于该阈值时，根据预设的准则确定需要对于当前语音数据的编码模式按照一定比例进行增加或者保持不变，从而按照该准则指示语音编码器增加编码语音数据的编码模式或保持编码模式不变；语音编码器则可根据处理器202的指示调整语音数据的编码模式。

具体地，在本发明的一些实施例中，对于视频数据的传输，处理器202也可以将检测到的物理层上行发送误码率与预设的一个阈值进行比较，从而可以在物理层上行发送误码率大于该阈值时，根据预设的准则确定需要将当前视频数据的视频帧率按照一定比例减小和/或将当前视频数据的压缩率按照一定比例增加，从而按照该准则指示视频编码器调低视频数据的视频帧率和/或调高视频数据的压缩率；在物理层上行发送误码率不大于该阈值时，根据 预设的准则确定指示视频编码器按照一定比例增加当前视频数据的视频帧率和/或按照一定比例减小视频数据的压缩率、或者指示视频编码器保持视频数据的视频帧率和/或视频数据的压缩率不变；视频编码器则可在处理器202的指示下调整视频数据的视频帧率和/或视频数据的压缩率。

进一步地，在本发明的一些实施例中，考虑到终端所检测到的第一上行信息可以包括有物理层上行发送误码率和终端上行发送路径上的缓存，具体地，终端根据检测到的第一上行信息，可以通过但不限于以下方式来调整所述音视频数据的编码速率：

终端如果根据终端上行发送路径上的缓存确定音视频数据的编码速率需要减小，则终端调低音视频数据的编码速率；否则，终端根据物理层上行发送误码率，调整音视频数据的编码速率。

可以看到，本发明的一些实施例中，终端基于检测到物理层上行发送误码率和终端上行发送路径上的缓存对音视频数据编码速率的调整过程，可以认为是对前述部分实施例所描述的基于物理层上行发送误码率对音视频数据编码速率的调整过程和前述部分实施例所描述的基于终端上行发送路径上的缓存对音视频数据编码速率的调整过程的综合和优化。

在本发明的一些实施例中，为了防止由于终端上行发送路径上的缓存堆积导致主动丢弃音视频数据包的情况，处理器202在根据检测到的终端上行发送路径上的缓存确定音视频数据的编码速率需要减小时，可以指示用于编码音视频数据的编码器直接调低音视频数据的编码速率至最低速率，这里的最低速率可以是预设的，也可以是通话建立时所协商支持的最低编码速率。

具体地，终端根据终端上行发送路径上的缓存确定音视频数据的编码速率是否需要调整的过程、终端根据检测到的物理层上行发送误码率，调整音视频数据的编码速率的过程均可以参见前述实施例中的描述，本文在此将不再赘述。

在本发明的一些实施例中，对于语音数据的上行传输，考虑到RoHC是IP+UDP+RTP包头的压缩，RoHC开关是否打开将会影响语音数据包的大小， 因而对于语音数据的传输而言，还可以进一步地考虑RoHC开关是否打开对于语音数据传输的影响。

比如在IPv6场景，IP+UDP+RTP包头共60字节，而承载语音数据的载荷最大字节也只有60个字节，因而如果RoHC开关打开，执行RoHC将会使得IP+UDP+RTP可平均压缩到3-5个字节，这样AMR载荷(即承载语音数据的载荷，或者也可以理解为有效数据载荷)在整个PDCP语音数据包的比特(bit)占比将大大增加；而如果RoHC开关关闭，IP+UDP+RTP不执行压缩，则IP+UDP+RTP字节数在整个PDCP语音数据包中的占比不低于50％。因而，如果确定出语音数据的编码速率需要减小，如果RoHC开关打开，由于有效数据载荷占比较大，减小编码速率时，仍可以保证在设定时间内有一定数量的有效载荷被编码传输，从而能够保证语音质量，而如果RoHC开关关闭，由于有效数据载荷占比小，减小编码速率时如果不加以限制，将有可能导致在设定时间内被编码传输的数据中有效数据过少，因而无法保证语音质量，这将会使得对语音数据的编码速率进行调速所能够取得的调速收益不能达到预期效果。

因而，考虑到RoHC开关是否打开对于语音数据编码速率调整效果的影响，在本发明的一些实施例中，步骤301中终端所检测的上行信息还可以包括有RoHC开关信息。

进一步地，在本发明的一些实施例中，对于音视频数据为语音数据，终端所检测到的第一上行信息可以包括有物理层上行发送误码率、终端上行发送路径上的缓存以及报头压缩RoHC开关信息，具体地，终端根据检测到的第一上行信息，可以通过但不限于以下方式来调整所述音视频数据的编码速率：

当终端在确定RoHC开关信息指示RoHC开关关闭时，如果根据物理层上行发送误码率和/或终端上行发送路径上的缓存确定语音数据的编码速率需要减小，则终端调低语音数据的编码速率至不低于预设编码速率；由此，避免了当RoHC开关关闭时，由于有效数据载荷占比过小，导致在设定时间内 被编码传输的数据中有效数据过少而影响语音质量的问题。

具体地，在本发明的一些实施例中，对于语音数据的上行传输，终端在执行步骤302时可以首先根据RoHC开关信息确定RoHC开关是否关闭，如果确定RoHC开关信息指示RoHC开关关闭，那么终端可以进一步地在根据物理层上行发送误码率和/或终端上行发送路径上的缓存确定语音数据的编码速率需要减小时，调低语音数据的编码速率至不低于预设编码速率。

具体比如，考虑到各语音编码速率对应的具体比特(bit)数，在确定RoHC开关信息指示RoHC开关关闭时，可以设置编码速率为AMR编码模式mode＝2所对应的编码速率为预设编码速率，即限制调速程度最低只能下降编码速率到mode＝2所对应的编码速率。

可以看到，针对于语音数据，本发明的上述涉及RoHC开关信息的实施例，是在前述本发明的部分实施例所描述的基于物理层上行发送误码率和终端上行发送路径上的缓存对音视频数据编码速率的调整过程的基础上，进一步考虑了RoHC开关信息对语音数据传输的影响后的优化改进过程。

具体地，终端根据检测到的物理层上行发送误码率和/或终端上行发送路径上的缓存确定音视频数据的编码速率是否需要调整以及如何调整的过程可以参见前述实施例中的描述，本文在此将不再赘述。

为了更清楚地说明本发明上述实施例所提供的确定音视频数据编码速率的方案，下面将基于图1所示出的示例性音视频通路，以及本发明上述基于预设阈值的调整编码速率的实施例，结合附图对终端200执行如图3所示流程的示例性过程进行具体介绍。

图4示出了本发明的一些实施例提供的确定音视频数据编码速率的方案在音视频通路中应用的示意图。如图4所示，终端200所检测到的第一上行信息为物理层上行发送误码率。

具体地，如图4所示，终端可以被配置为在MAC 1028增加对当前物理层(PHY 1029)上行发送误码率的检测，以及可以被配置为由IMSA 1022接收由MAC 1028上报的当前物理层上行发送误码率，比如具体可以是由MAC  1028在每单位时间内(如1秒)检测向IMSA 1022上报一次，如图4中所示出的步骤401。

进一步地，终端可对IMSA 1022配置预设阈值，从而IMSA 1022将能够根据物理层上行发送误码率与预设阈值的比较结果，确定与比较结果和当前音视频数据的编码速率对应的、用于调整音视频数据的编码速率的预设准则。

比如，对于语音数据的上行传输，终端可以对IMSA 1022配置两个预设阈值(阈值1和阈值2)，IMSA 1022可以将接收到的物理层上行发送误码率与阈值1和阈值2进行比较，基于与这两个预设阈值的比较结果，确定调整语音数据的编码速率的预设准则。具体比如，假设对于物理层上行发送误码率预设的阈值1为30％，阈值2为40％，假设用于编码语音数据的编码模式为AMR编码模式，并设定的与比较结果和当前语音数据的编码速率对应的预设准则为：当物理层上行发送误码率小于阈值1时，将当前语音数据的AMR编码模式(mode)加1；当物理层上行发送误码率大于阈值1而小于阈值2时，将当前语音数据的mode减2；当物理层上行发送误码率大于阈值2时，将当前语音数据的mode减4。

进一步地，IMSA 1022在根据物理上行发送误码率以及预设准则确定出语音数据的AMR编码模式后，可以向语音编码器(Voice Encoder 1031)发起改变AMR编码模式(mode)的调速请求，在该调速请求中携带所确定出的AMR编码模式，以使得Voice Encoder 1031按照该AMR编码模式对应的编码速率对语音数据进行编码(如图4中所示出的步骤402a)；

相应地，Voice Encoder 1031在接收到该调速请求后，将按照该调速请求中携带的AMR编码模式确定出对应的编码速率进行语音编码，进而使得语音数据的编码速率与当前的物理层上行环境相适应，改善物理层传输误码率，达到改善语音通话质量的效果。

下表示出了本发明的一些实施例中基于物理层上行发送误码率对语音数据编码速率进行调速时对语音质量的改善测试结果，可以看到本发明的一些实施例所提供的方案对应的语音质量的平均主观意见分(Mean Opinion Score， Mos)均高于现有技术方案对应的语音质量的Mos分，本发明的一些实施例所提供的方案对应的丢包率也均远低于现有技术方案对应的丢包率。

又比如，对于视频数据的上行传输，终端可以对IMSA 1022配置阈值3和阈值4，IMSA 1022可以将接收到的物理层上行发送误码率与阈值3和4进行比较，从而基于与这两个预设阈值的比较结果，确定与比较结果和当前视频数据的编码速率对应的预设准则。具体比如，假设对于物理层上行发送误码率预设的阈值3为30％，阈值4为40％，假设预设准则通过调整视频数据的视频帧率和/或压缩率实现视频数据编码速率的调整，并设定的与比较结果和当前视频数据的编码速率对应的预设准则为：当物理层上行发送误码率小于阈值3时，将当前视频数据的视频帧率增加1，将当前视频数据的压缩率减小10％；当物理层上行发送误码率大于阈值3而小于阈值4时，将当前视频数据的视频帧率减小2，并在当前视频数据的视频帧率已减少到6时，将当前视频数据的压缩率增加20％；当物理层上行发送误码率大于阈值4时，将当前视频数据的视频帧率减小4，并在当前视频数据的视频帧率已减少到6时，将当前视频数据的压缩率增加40％。

进一步地，IMSA 1022在根据物理上行发送误码率确定出视频数据的视频帧率和/或压缩率后，可以向视频编码器(Video Encoder 1014)发起调整视频编码码率的调速请求，在该调速请求中携带所确定出的视频帧率和/或视频数据的压缩率，以使得Video Encoder 1014按照该调速请求进行调整(如图4中所示出的步骤402b)；

相应地，Video Encoder 1014在接收到该调速请求后，将按照该调速请求 中携带的视频帧率和/或视频数据的压缩率进行视频编码，进而使得视频数据的编码速率与当前的物理层上行环境相适应，改善物理层传输误码率，达到改善视频通话质量的效果。

应当理解的是，上述设置的阈值取值以及预设准则中的取值是基于实际应用经验以及考虑到实际应用中物理层上行误码率低于30％是上行数据传输的一个常用指标要求所设置的，在具体应用中，上述阈值的具体取值以及与比较结果相对应的预设准则都可以进行适应性的调整，本申请并不对此进行限定。

图5示出了本发明的一些实施例提供的确定音视频数据编码速率的方案在音视频通路中应用的示意图。为便于说明，本发明实施例以PDCP层上行发送缓存作为终端上行发送路径上的缓存的一种示例，示例性说明根据终端上行发送路径上的缓存调整音视频数据的编码速率；终端上行发送路径上的缓存,还至少包括音频编码器、视频编码器、RTP层、UDP层、IP层、PDCP层、RLC层、和/或MAC层等的上行发送缓存；根据音频编码器、视频编码器、RTP层、UDP层、IP层、PDCP层、RLC层、和/或MAC层等的上行发送缓存调整音视频数据的编码速率的方法实施，可以参考根据终端上行发送路径上的缓存调整音视频数据的编码速率的方法实施，重复之处不再赘述。如图5所示，终端200所检测到的第一上行信息为PDCP上行发送缓存。

具体地，如图5所示，终端可以被配置为在PDCP 1026增加对当前PDCP上行发送缓存的检测以及阈值设定，从而使得终端能够将检测到的当前PDCP上行发送缓存与预设阈值进行比较，进而基于比较结果确定用于调整音视频数据的编码速率的预设准则(比如该预设准则可以是否需要进行流控)。

具体地，终端可以将检测到的PDCP层上行发送缓存与预设的一个或多个阈值进行比较；从而在检测到的PDCP上行发送缓存大于一个阈值(比如第六阈值)时，确定对应的准则为需要进行流控，即音视频数据的编码速率需要减小；在检测到的PDCP层上行发送缓存小于该阈值或者另一个较小的阈值(比如第五阈值)时，确定对应的准则为可以解除流控，即音视频数据 的编码速率可以增加。

具体地，对于预设的阈值，如果VoLTE通话建立时网侧对PDCP层的缓存有要求，则该预设阈值可以是网侧所下发的值T1，否则可以取缺省值T2。T2可以使用经验值，比如对于语音数据和视频数据均可以取值为500ms；对于T1，考虑到在3GPP规范要求中，语音数据使用QCI＝1的专用承载，视频数据使用QCI＝2的专用承载，因而，对于使用QCI＝1的专用承载的语音数据所对应配置的PDCP层缓存数据量的阈值可以具体设定为100ms；对于使用QCI＝2的专用承载的视频数据所对应配置的PDCP层缓存数据量的阈值可以具体设定为150ms。

进一步地，在本发明的一些实施例中，对PDCP层配置阈值(假设为K)之后，可以进一步地通过对该阈值设定至少两个比例(比如为N1、N2)来得到用于参与缓存比较过程的至少两个阈值，比如，如果在PDCP层检测到当前上行发送缓存数据量超过设定阈值的一个比例(比如为K×N1)，则认为需要进行流控(即确定音视频数据的编码速率需要减小)；流控开始后，如果在PDCP层检测到缓存数据量逐步减少至低于设定阈值的又一个比例(比如为K×N2)，则认为可以解除流控(即确定音视频数据的编码速率需要增加)。

具体地，考虑到流控频度以及缓存程度，对于语音数据的传输，上述对于PDCP层数据缓存阈值所设定的比例值N1和N2具体取值可以按照至少能够预留一个语音包时长(通常为20ms)的波动时间为准，比如N1可以通过计算式((1-20)/100)确定为80％，N2可以通过(1-N1)确定为20％；对于视频数据的传输，考虑到视频帧的时长不固定，上述比例值N1和N2的取值可以参考语音数据所对应的取值。

具体比如，可配置PDCP 1026在检测到上行发送缓存超过第一设定阈值时，通知CP 102中的IMSA 1022进行流控；以及在流控开始后，在检测到上行发送缓存减少至低于第二设定阈值时，通知IMSA 1022解除流控，进而IMSA 1022可被配置为接收来自PDCP 1026的通知并执行相应地处理(如图5中所示出的步骤501)。

相应地，对于语音数据，IMSA 1022在接收到PDCP 1026发送的对音视频数据进行流控的指示后，可以向Voice Encoder 1031发送用以实现流控的通知消息，以使Voice Encoder 1031根据该通知消息减小语音数据的编码速率，达到上行流控的目的；IMSA 1022在接收到PDCP 1026发送的解除音视频数据流控的指示后，可以向Voice Encoder 1031发送用以解除流控的通知消息，以使Voice Encoder 1031根据该通知消息增加语音数据的编码速率。(如图5中所示出的步骤502a)。

具体地，Voice Encoder 1031可以通过减小语音数据的编码模式等方式来减小输出的语音数据码率从而达到流控目的，减少语音数据在传输中由于终端上行发送路径上的缓存堆积而导致主动丢弃语音数据包的现象，改善语音通话的质量。

可选地，Voice Encoder 1031在减小(或增大)编码速率时，可以直接变化或逐步变化的方式减小(或增大)到VoLTE通话建立时所协商支持的最小(或最大)编码速率，其中，直接变化的方式流控灵敏度更好，逐步变化的方式语音质量更平滑。

类似地，对于视频数据，IMSA 1022在接收到PDCP 1026发送的对音视频数据进行流控的指示后，可以向AP 101中的Video Encoder 1014发送用以实现流控的通知消息，以使Video Encoder 1014根据该通知消息减小视频数据的编码速率；在接收到PDCP 1026发送的解除音视频数据流控的指示后，可以向Video Encoder 1014发送用以解除流控的通知消息，以使Video Encoder 1014根据该通知消息增加视频数据的编码速率(如图5中所示出的步骤502b)。

具体地，Video Encoder 1014可以通过减小视频帧率以及增大压缩率等方式来减小输出的视频码率从而达到流控目的，减少视频数据在传输中由于终端上行发送路径上的缓存堆积而导致主动丢弃视频数据包的现象，改善视频通话的质量。

图6示出了本发明的一些实施例提供的确定音视频数据编码速率的方案 在音视频通路中应用的示意图。如图6所示，终端200所检测到的第一上行信息为物理层上行发送误码率和PDCP上行发送缓存。

具体地，如图5所示，MAC 1028可以对当前物理层(PHY 1029)上行发送误码率进行检测，并将检测到的当前物理层上行发送误码率上报给IMSA 1022(如图6中所示出的步骤401)；PDCP 1026可以对当前PDCP上行发送缓存进行检测，并基于检测到的当前PDCP上行发送缓存与预设阈值的比较结果向IMSA 1022上报是否需要进行流控的指示(如图6中所示出的步骤501)；同时可配置由IMSA 1022基于MAC 1028上报的当前物理层上行发送误码率和PDCP 1026上报的是否需要进行流控的指示来确定调速策略。(如图6中所示出的针对语音数据编码的步骤601a和针对视频数据编码的601b)

具体地，如果IMSA 1022收到来自PDCP上报的需要进行流控的指示，则IMSA 1022将可以不考虑MAC 1028上报的当前物理层上行发送误码率，而直接向用于编码音视频数据的编码器发送用以实现流控的通知消息，以使用于编码音视频数据的编码器根据该通知消息减小音视频数据的编码速率，具体可以直接降速到最低速率，以避免发生缓存溢出丢弃音视频数据包的情况；如果IMSA 1022收到来自PDCP上报的解除流控的指示，则IMSA 1022可以进一步地基于MAC 1028上报的当前物理层上行发送误码率，按照前述实施例中所描述的基于物理层上行发送误码率进行调速的方式，调整音视频数据的编码速率。

具体地，语音编码器在按照处理器的指示调低或调高编码速率时，可以采取直接的方式调低或调高到通话建立时协商支持的最低编码速率或最高编码速率，或者也可以采取逐步的方式调低或调高到最低编码速率或最高编码速率，其中，前者流控的灵敏度更好，后者语音的质量更平滑。

在本发明的一些实施例中，终端进一步根据检测到的物理层上行发送误码率，指示语音编码器调整语音数据的编码速率的过程，具体可以如前述实施例所描述的，根据检测到的物理层上行发送误码率，调整用于编码语音数据的编码模式，本申请在此不再赘述。

图7示出了本发明的一些实施例提供的确定音视频数据编码速率的方案在音视频通路中应用的示意图。如图7所示，音视频数据为语音数据，终端200所检测到的第一上行信息包括有物理层上行发送误码率、PDCP上行发送缓存以及RoHC开关信息。

如图7所示，终端可被配置为检测网侧配置给RRC层的RoHC开关信息(如图7中所示出的步骤701)，MAC 1028可以对当前物理层(PHY 1029)上行发送误码率进行检测，并将检测到的当前物理层上行发送误码率上报给IMSA 1022(如图7中所示出的步骤401)；PDCP 1026可以对当前PDCP上行发送缓存进行检测，并基于检测到的当前PDCP上行发送缓存与预设阈值的比较结果向IMSA 1022上报是否需要进行流控的指示(如图7中所示出的步骤501)；同时可被配置由IMSA 1022基于MAC 1028上报的当前物理层上行发送误码率、PDCP 1026上报的是否需要进行流控的指示以及RRC上报的RoHC开关信息来确定如何对Voice Encoder1031编码语音数据进行调速。

具体地，如果IMSA 1022收到来自RRC的RoHC开关信息指示RoHC打开，则IMSA 1022将可以按照前述如图6所示实施例中所描述的基于物理层上行发送误码率和PDCP上行发送缓存进行调速的方式，指示Voice Encoder 1031调整语音数据的编码速率；如果IMSA 1022收到来自RRC的RoHC开关信息指示RoHC关闭，则IMSA 1022在根据PDCP层上行发送缓存确定语音数据的编码速率需要减小和/或在根据物理层上行发送误码率确定语音数据的编码速率需要减小时，可以向语音编码器发送通知消息，以使语音编码器根据该通知消息在减小语音数据的编码速率时，按照使调低后的编码速率不低于预设编码速率的准则进行调整(比如该预设编码速率可以是AMR编码模式mode＝2所对应的编码速率)，其它情况则可以继续按照前述实施例中所描述的基于物理层上行发送误码率和PDCP上行发送缓存进行调速的方式执行，本申请在此将不再赘述。

具体地，终端在确定RoHC开关信息指示RoHC开关打开时，根据检测到的物理层上行发送误码率和/或终端上行发送路径上的缓存确定语音的编码 速率是否需要调整以及如何进行调整的过程，可以参见前述实施例的描述，本申请在此将不再赘述。

基于相同的技术构思，本发明实施例还提供了一种确定音视频数据编码速率的方法。该流程具体可由终端执行，并具体可通过软件、硬件或软硬件的结合来实现。比如图2所示出的示例性终端可提供用于执行如图3所示的流程步骤的装置或功能模块。

具体地，本发明的一些实施例所提供的确定音视频数据编码速率的方法流程的具体实施可以参见前述实施例中对于终端执行如图3所示流程的描述，本申请在此将不再赘述。

基于相同的技术构思，本发明实施例还提供了一种终端，该终端可执行前述实施例所描述的方法流程，并可以具体实现为如图2所示的终端中的装置或功能模块，可用于执行如图3所示的流程步骤。

图8示出了本发明的一些实施例所提供的终端的结构示意图，如图8所示，该终端包括：检测模块801，调整模块802；

检测模块801，用于检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；

调整模块802，用于根据所述检测模块检测到的第一上行信息，调整所述音视频数据的编码速率。

在本发明的一些实施例所提供的终端中还可以进一步地包括：比较模块，用于将检测到的第一上行信息与预设阈值比较；调整模块802，具体用于：根据所述比较模块的比较结果以及与比较结果和当前音视频数据的编码速率对应的预设准则，调整音视频数据的编码速率。

具体地，上述本发明的一些实施例所提供的终端中的调整模块802所执行的具体过程可以参见前述实施例的描述，本申请在此将不再赘述。

基于同一发明构思，本发明的一些实施例所提供的终端中的检测模块以及调整模块802解决问题的原理以及有益效果可以参见上述图3所示方法以及图2所示终端的实施方式以及所带来的有益效果，因此该终端的实施可以 参见上述方法中步骤301，步骤302的实施，以及图2所示终端的实施，重复之处不再赘述。

基于相同的技术构思，本发明实施例还提供了一种存储介质，所述存储介质为非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有至少一个程序，每个所述程序包括指令，所述指令当被具有处理器的终端执行时使所述终端执行根据本发明前述实施例所描述的确定音视频数据编码速率的方法流程，具体可参见前述实施例的描述，本申请在此将不再赘述。

通过以上描述可以看出，本发明实施例提供了一种确定音视频数据编码速率的方法、终端以及存储介质，以提供针对音视频数据在编码传输过程中的编码速率调整方案，该方案主要通过检测用于表征上行音视频数据的传输属性的上行信息，进而能够基于检测到的上行信息来调整音视频数据的编码速率，从而使得音视频数据的编码速率能够跟随音视频数据的上行传输实际情况而适应性地调整，达到音视频数据的编码与音视频数据的上行传输之间的速率平衡，进而改善物理层传输误码率或终端上行发送路径上的缓存堆积而导致主动丢弃音视频数据包等现象，改善VoLTE通话质量和时延。

应当指出的是，本发明上述实施例所提供的一种确定音视频数据编码速率的传输方案也可以适应性地应用到VoWIFI(voice over WIFI)业务中。其中，VoWIFI业务与VoLTE的区别主要在于VoWIFI业务将WiFi作为接入网接入IMS。

具体比如，图9示出了将本发明实施例所提供的确定音视频数据编码速率的方案适应性地应用到VoWIFI业务中的示例结构示意图。

如图9所示，该示例性系统层的结构中包括有AP 901、Audio DSP 902以及WIFI 903。其中，AP 901中主要可包括有Camera 9011、Video Encoder 9012、RTP 9013、IP stack 9014以及WIFI Driver 9015；Audio DSP 902中主要可包括有Voice Encoder 9021以及RTP 9022。

其中，音视频数据的传输流程与VoLTE类似，具体可以包括有语音数据的传输以及视频数据的传输。其中，上行语音数据传输过程可以包括由Audio  DSP 902将语音数据传输至AP 901中的IP stack 9014，再通过WIFI Driver 9015传输至WIFI 903(如图8所示的上行数据传输示意①-③)；上行视频数据传输过程可以包括由AP 901中的Camera 9011、Video Encoder 9012以及RTP 9013将语音数据传输至IP stack 9014，再通过WIFI Driver 9015传输至WIFI 903(如图9所示的上行数据传输示意①’-③)。

具体地，在将本发明上述实施例所提供的一种音视频数据的传输方案也可以适应性地应用到VoWIFI业务时，与在应用与VoLTE业务中相区别的是，在应用到VoWIFI时，用于检测上行信息(比如上行发送误码率以及上行发送缓存等信息)的的检测点可以配置在WIFI Driver 9015，具体地如何基于WIFI Driver 9015检测到的上行信息确定是否需要调速以及如何进行调速可以参照前述实施例对在VoLTE业务中调整编码速率过程的描述。

具体地，在将本发明上述实施例所提供的一种音视频数据的传输方案也可以适应性地应用到VoWIFI业务时，IP协议栈使用AP 901侧，且把检测到的上行信息发给WIFI Driver 9015，其中，上行发送误码率信息保存在WIFI Driver 9015中，上行发送数据也缓存在WIFI Driver 9015。进而相应地，上行发送误码率信息以及基于或上行发送缓存确定出的流控消息将由WIFI Driver 9015发送给IP Stack 9014(如图9所示的调速指示示意901)，再由IP Stack 9014通知给Audio DSP 902中的RTP 9022来控制语音数据的编码速率(如图9所示的调速指示示意902a)，或者发给AP 901中的对应与Camera 9011的RTP 9013来控制视频数据的编码速率(如图9所示的调速指示示意902b)。

考虑到WIFI没有专用承载的概念，因而在将本发明上述实施例所提供的一种确定音视频数据编码速率的方案适应性地应用到VoWIFI业务时，对数据流量较大的VoWIFI视频通话质量和时延将能够取得较为明显的提升效果。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (22)

1. 一种确定音视频数据编码速率的方法，其特征在于，该方法包括：

   终端检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；

   所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率。
2. 如权利要求1所述的方法，其特征在于，所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率，包括：

   终端根据预设的上行信息与音视频数据的编码速率的对应关系，确定与所述第一上行信息对应的第一编码速率，调整所述音视频数据的编码速率为第一编码速率。
3. 如权利要求1所述的方法，其特征在于，所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率，包括：

   所述终端将检测到的第一上行信息与预设阈值比较；

   所述终端根据比较结果以及与所述比较结果和当前音视频数据的编码速率对应的预设准则，调整所述音视频数据的编码速率。
4. 如权利要求1至3任一项所述的方法，其特征在于，所述音视频数据为语音数据。
5. 如权利要求1至3任一项所述的方法，其特征在于，所述音视频数据为视频数据；可通过调整所述视频数据的视频帧率和/或所述视频数据的压缩率，以实现调整所述视频数据的编码速率。
6. 如权利要求1至5任一项所述的方法，其特征在于，所述第一上行信息包括物理层上行发送误码率。
7. 如权利要求1至5任一项所述的方法，其特征在于，所述第一上行信息包括终端上行发送路径上的缓存。
8. 如权利要求7所述的方法，其特征在于，所述终端上行发送路径上的缓存包括以下任一种或多种：音频编码器/视频编码器缓存、实时传输协议RTP 层缓存、用户数据报协议UDP/传输控制协议TCP层缓存、因特网协议IP层缓存、分组数据汇聚协议PDCP层缓存、无线链路层控制协议RLC层缓存、和/或介质访问控制MAC层缓存。
9. 如权利要求1至5中任一项所述的方法，其特征在于，所述第一上行信息包括物理层上行发送误码率和终端上行发送路径上的缓存；

   所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率，包括：

   当所述终端根据所述终端上行发送路径上的缓存确定所述音视频数据的编码速率需要减小时，则所述终端调低所述音视频数据的编码速率；

   当所述终端根据所述终端上行发送路径上的缓存确定所述音视频数据的编码速率保持不变或增加时，所述终端根据所述物理层上行发送误码率，调整所述音视频数据的编码速率。
10. 如权利要求1至3所述的方法，其特征在于，所述音视频数据为语音数据；所述第一上行信息包括物理层上行发送误码率、终端上行发送路径上的缓存以及报头压缩RoHC开关信息；所述终端根据检测到的第一上行信息，调整所述音视频数据的编码速率，包括：

    当所述终端在确定所述RoHC开关信息指示RoHC开关关闭时，若根据所述物理层上行发送误码率和/或所述终端上行发送路径上的缓存确定所述语音数据的编码速率需要减小，则所述终端调低所述语音数据的编码速率至不低于预设编码速率。
11. 一种终端，其特征在于，该终端包括：存储器和处理器；所述存储器与所述处理器耦合连接；所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述电子设备执行根据权利要求1-10任一项所述的确定音视频数据编码速率的方法。
12. 一种终端，其特征在于，所述终端包括：检测模块，调整模块；

    检测模块，用于检测上行信息，所述上行信息为用于表征上行音视频数据的传输属性的信息；

    调整模块，用于根据所述检测模块检测到的第一上行信息，调整所述音视频数据的编码速率。
13. 如权利要求12所述的终端，其特征在于，所述调整模块，具体用于：

    根据预设的上行信息与音视频数据的编码速率的对应关系，确定与所述第一上行信息对应的第一编码速率，调整所述音视频数据的编码速率为第一编码速率。
14. 如权利要求12所述的终端，其特征在于，还包括：

    比较模块，用于将检测到的第一上行信息与预设阈值比较；

    所述调整模块，具体用于：

    根据所述比较模块的比较结果以及与所述比较结果和当前音视频数据的编码速率对应的预设准则，调整所述音视频数据的编码速率。
15. 如权利要求12至14任一项所述的终端，其特征在于，所述音视频数据为语音数据。
16. 如权利要求12至14任一项所述的终端，其特征在于，所述音视频数据为视频数据；所述调整模块具体用于：通过调整所述视频数据的视频帧率和/或所述视频数据的压缩率，以实现调整所述视频数据的编码速率。
17. 如权利要求12至16任一项所述的终端，其特征在于，所述第一上行信息包括物理层上行发送误码率。
18. 如权利要求12至16任一项所述的终端，其特征在于，所述第一上行信息包括终端上行发送路径上的缓存。
19. 如权利要求18所述的终端，其特征在于，所述终端上行发送路径上的缓存包括以下任一种或多种：音频编码器/视频编码器缓存、RTP层缓存、UDP/TCP层缓存、IP层缓存、PDCP层缓存、RLC层缓存、和/或MAC层缓存。
20. 如权利要求12至16中任一项所述的终端，其特征在于，所述第一上行信息包括物理层上行发送误码率和终端上行发送路径上的缓存；

    所述调整模块，具体用于：

    在根据所述终端上行发送路径上的缓存确定所述音视频数据的编码速率需要减小时，调低所述音视频数据的编码速率；

    在根据所述终端上行发送路径上的缓存确定所述音视频数据的编码速率保持不变或增加时，根据所述物理层上行发送误码率，调整所述音视频数据的编码速率。
21. 如权利要求12至14所述的终端，其特征在于，所述音视频数据为语音数据；所述第一上行信息包括物理层上行发送误码率、终端上行发送路径上的缓存以及报头压缩RoHC开关信息；

    所述调整模块，具体用于：

    当确定所述RoHC开关信息指示RoHC开关关闭时，若根据所述物理层上行发送误码率和/或所述终端上行发送路径上的缓存确定所述语音数据的编码速率需要减小，则调低所述语音数据的编码速率至不低于预设编码速率。
22. 一种存储介质，其特征在于，所述存储介质为非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有至少一个程序，每个所述程序包括指令，所述指令当被具有处理器的电子设备执行时使所述电子设备执行根据权利要求1-10任一项所述的确定音视频数据编码速率的方法。