CN115842900A

CN115842900A - 一种无线信道下的音视频通信优化方法

Info

Publication number: CN115842900A
Application number: CN202211545741.9A
Authority: CN
Inventors: 高利利; 王松涛; 刘全占; 刘申; 马彦恒; 卢志远; 杨国瑞; 焦利彬; 朱晓明; 师浩斌
Original assignee: CETC 54 Research Institute
Current assignee: CETC 54 Research Institute
Priority date: 2022-12-05
Filing date: 2022-12-05
Publication date: 2023-03-24

Abstract

本发明涉及音视频通信技术领域，公开了一种无线信道下的音视频通信优化方法，特别适合应用于带宽受限且丢包、抖动、时延并存的无线信道。其中，音视频通信优化方法包括：采用媒体传输平滑控制技术，解决瞬时码率过高导致的网络拥塞问题；采用限制RTP包长方式，解决分包拆包导致的转发效率降低以及进一步引入丢包问题；采用FEC完成传输容错控制，以充分利用信道容量，改善多媒体传输质量；针对连续丢包情况，通过NACK丢包重传以及关键帧重新申请，以避免出现长时间花屏；在丢包率持续维持较高的情况下，采用业务降级技术，通过降低分辨率、帧率等参数来保证画面流畅显示，甚至在信道极其恶劣的情况下可将视频降级为音频，以维持用户基本通信。

Description

一种无线信道下的音视频通信优化方法

技术领域

本发明涉及音视频通信技术领域，特别是涉及一种无线信道下的音视频通信优化方法。

背景技术

移动通信由于其快速构建、使用灵活的特点在抢险救灾等领域广泛应用，基于无线信道的数据通信能力实现音视频通信是移动通信的重要使用方式。由于抢险救灾现场基础通信设施遭到破坏，临时搭建的应急通信站点数量有限，且无线信道的带宽受限且丢包、抖动、时延并存，因此，音视频通信效果不佳，无法为使用者带来较好的用户体验。

发明内容

本发明所要解决的技术问题在于避免上述背景技术中的不足之处，提出一种无线信道下的音视频通信优化方法。

本发明设计通过限制发送码率的方式进行媒体传输平滑处理，解决瞬时视频码率过高导致的网络拥塞问题；通过限制传输RTP包大小，解决分包拆包导致的转发效率降低以及进一步引入丢包问题；通过FEC完成传输容错控制，通过充分利用信道容量，改善多媒体传输质量；通过NACK丢包重传反馈机制以及I帧申请机制，解决长时间花屏无法刷新问题；通过业务降级，提高音视频通信的信道适应能力，确保在极其恶劣链路环境下通信仍然可用。本发明从避免网络拥塞、抗丢包误码、避免长时间花屏以及提高网络适应能力等方面进行音视频通信优化，特别适合带宽受限且丢包、抖动、时延并存的无线信道通信。

本发明所采取的技术方案为：

一种无线信道下的音视频通信优化方法，包括步骤：

(1)多媒体移动客户端通过无线网络登录对应的多媒体服务器，获取通讯录信息；

(2)多媒体移动客户端从通讯录选择其他在线多媒体移动客户端进行视频呼叫时，与被叫多媒体移动客户端建立信令；

(3)主被叫多媒体移动客户端的业务控制单元将媒体编解码、传输以及容错控制相关信息下发到相应媒体引擎单元，媒体引擎单元将采集的音视频数据进行前向纠错编码并打包；

(4)主被叫多媒体移动客户端的媒体引擎单元将打包后的媒体流进行平滑处理,并设置发送码率上限，当瞬时产生音视频数据超过发送码率上限时，进行发送缓存；

(5)主被叫多媒体移动客户端收到媒体流后，媒体引擎单元进行前向纠错解码播放，并统计丢包情况以及持续时间；

(6)主被叫多媒体移动客户端的媒体引擎单元当检测到丢包率和持续时间超过设定门限时，针对关键帧的丢包进行重传；当检测到持续丢包导致后续视频流解码依赖的参考帧丢失无法解码时，发送INFO消息重新申请I帧，然后转入步骤(3)；当检测到丢包率和持续时间超过最大门限值时，进行降级,然后转入步骤(3)。

其中，通话过程中多媒体服务器分别向主被叫多媒体移动客户端发送UPDATE消息进行会话保链，当多媒体服务器在会话设定时间内未收到UPDATE响应消息则认为会话失效，连续失效设定次数，则结束本次通话；否则，维持正常通话直至主被叫任意一方挂机。

其中,步骤(3)中媒体引擎单元将采集的音视频数据进行前向纠错编码并打包时，设置包长上限，单个RTP包不能超过上限。

其中,步骤(6)中当检测到丢包率和持续时间超过最大门限值时，进行降级,具体过程为：

(601)当主叫或被叫多媒体移动客户端的媒体引擎单元检测到丢包率和持续时间超过最大门限值时，对应多媒体移动客户端的媒体引擎单元将丢包信息以及降级请求反馈到对应的业务控制单元，业务控制单元根据当前分辨率以及丢包情况，结合预置降级策略给出降级目标分辨率以及码率信息；

(602)业务控制单元根据降级目标分辨率以及码率信息发送降级申请请求到对端，对端的多媒体移动客户端收到降级请求后，业务控制单元解析请求信息，并判断是否支持请求分辨率以及码率，若支持，则返回成功响应消息，完成媒体协商，转入步骤(3)；若不支持，则返回失败响应消息，转入步骤(603)；

(603)申请降级的多媒体移动客户端收到失败响应消息后，对应的业务控制单元继续根据当前分辨率以及丢包情况并结合预置降级策略以及申请失败情况，给出目标分辨率以及码率信息，转入步骤(602)；若所可选降级业务均申请失败，则维持原业务不变。

其中，预置降级策略中目标分辨率以及对应码率有多种选择，包括1080P、720P、4CIF和CIF，预置降级策略包含降级为音频通信选择。

其中，步骤(2)中进行视频呼叫时，呼叫请求中携带请求客户端支持的媒体传输容错控制方法。

其中，媒体传输容错控制方法包含FEC和基于NACK的丢包重传机制。

本发明与现有技术比较的创新之处在于：

1)本发明采用限制发送码率的方式解决瞬时视频码率过高导致的网络拥塞问题，采用限制传输RTP包大小的方式解决中间网络设备分包拆包导致的转发效率降低以及进一步引入丢包问题，从发送端进行音视频通信优化；

2)本发明提出的音视频通信优化方法，通过发送端前向纠错编码与接收端前向纠错解码，完成传输容错控制；通过NACK丢包重传反馈机制以及I帧申请机制，解决长时间花屏无法刷新问题，通过发送端、接收端相互配合完成音视频通信优化；

3)本发明提出的音视频通信优化方法，通过信令控制实现业务自动降级，提高音视频通信的信道适应能力，确保在极其恶劣链路环境下通信仍然可用。

附图说明

图1是本发明的多媒体移动客户端与多媒体服务器的连接关系示意图。

图2是本发明的音视频通信建立过程信息流图。

图3是本发明的前向纠错编码并打包发送的信息流图。

图4是本发明的多媒体移动客户端数据采集、前向编码及打包封装处理过程示意图。

图5是本发明的多媒体移动客户端媒体传输平滑处理示意图。

图6是本发明的在发送端进行前向纠错编码和接收端前向纠错解码信息流图。

图7是本发明的多媒体移动客户端前向纠错解码处理过程示意图。

图8是本发明的基于NACK的丢包重传信息流图。

图9是本发明的多媒体移动客户端基于NACK的丢包重传处理过程示意图。

图10是本发明的I帧申请信息流图。

图11是本发明的多媒体移动客户端I帧申请处理过程示意图。

图12是本发明的业务降级信令交互信息流图。

图13是本发明的多媒体移动客户端业务降级处理过程示意图。

图14是本发明的业务降级媒体交互信息流图。

图15是本发明的音视频通信会话保链信息流图。

具体实施方式

参照图1至图15，对本发明作进一步说明。

一种无线信道下的音视频通信优化方法，具体包括以下步骤：

(1)首先多媒体移动客户端通过无线网络登录对应的多媒体服务器，获取通讯录信息。

用户初次使用多媒体移动客户端软件时，打开多媒体移动客户端，输入帐号和密码，并点击“登录”按钮，完成登录多媒体通信服务器，获取通讯录信息。本实施例多媒体移动客户端与多媒体服务器的连接关系如图1所示。

(2)多媒体移动客户端用户从通讯录选择其他在线多媒体移动客户端进行视频呼叫，本实施例呼叫请求经多媒体服务器1和多媒体服务器2发送到被叫多媒体移动客户端。

用户从通讯录中选择其他在线多媒体移动客户端发起视频呼叫，INVITE请求消息经基站1发送到多媒体服务器1，多媒体服务器1判断该用户在多媒体服务器2注册，将呼叫请求消息转发到多媒体服务器2，多媒体服务器2查找多媒体移动客户端4的注册信息，获取多媒体移动客户端4的IP地址和端口号，经基站2发送到多媒体移动客户端4。被叫多媒体移动客户端收到呼叫请求后，用户接听，200OK响应消息沿着请求路由反方向返回到多媒体移动客户端1，多媒体移动客户端1发送确认消息ACK，确认消息ACK沿着INVITE请求方向逐跳发送到多媒体移动客户端4，呼叫建立成功，如图2所示。

(3)主被叫多媒体移动客户端的业务控制单元将媒体编解码、传输以及容错控制等相关信息下发到相应媒体引擎单元。主被叫多媒体移动客户端的媒体引擎单元将采集的音视频数据进行前向纠错编码并打包。

主被叫多媒体移动客户端的业务控制单元从INVITE请求和200Ok响应消息中提取SDP，从SDP中获取媒体编解码、传输以及容错控制等相关信息，将相关信息下发到相应媒体引擎单元，如图4所示。媒体引擎单元将采集的音视频数据增加冗余信息，进行前向纠错编码并打包，如图3所示。

媒体打包时设置包长上限(建议不超过1300字节)，单个RTP包不能超过上限。

发送时进行平滑处理，开辟缓存区，设置发送码率上限(建议为视频平均码率的1.2倍)，当瞬时产生媒体数据超过码率上限时，进行发送缓存，否则，正常发送，如图5所示。

(5)主被叫多媒体移动客户端收到媒体流后，媒体引擎单元进行前向纠错解码播放，并统计丢包情况以及持续时间。

主被叫多媒体移动客户端收到媒体流后，媒体引擎单元利用携带的冗余信息进行前向纠错解码，同时对收到的RTP包进行统计，判断当前丢包情况以及在某一丢包范围内的丢包持续时间，如图6和图7所示。

(6)主被叫多媒体移动客户端检测丢包率和持续时间：

1)当主被叫多媒体移动客户端的媒体引擎单元当检测到丢包率和持续时间超过设定门限时，针对关键帧的丢包进行重传。

当主被叫多媒体移动客户端的媒体引擎单元检测丢包率超过上限(上限建议为30％)且持续时间(建议为5秒)较长时，发送RTCP消息针对关键帧的丢包进行重传申请，请求消息符合NACK丢包重传机制，当收到丢包重传申请后，从发送缓存区中选择对应包号媒体包进行发送，如图8和图9所示。

2)当检测到持续丢包导致后续视频流解码依赖的参考帧丢失无法解码时，发送INFO消息重新申请I帧，然后转入步骤(3)。

当持续丢包导致后续视频流解码依赖的参考帧丢失无法解码时，多媒体移动客户端1发送INFO消息重新申请I帧，INFO消息沿着INVITE请求方向逐跳转发到多媒体移动客户端4，多媒体移动客户端4收到请求消息后返回响应消息，重新编码I帧，封装为RTP包进行发送，如图10和图11所示。

3)当检测到丢包率和持续时间超过最大门限值时，进行降级，具体过程为：

当主被叫丢包持续增加超过一定门限值(建议为40％)且持续时间较长时，进行业务降级。多媒体移动客户端1发送会话内INVITE消息申请降级，INVITE请求消息中携带的SDP视频分辨率低于原通话视频分辨率，被叫多媒体移动客户端收到INVITE请求后完成媒体协商返回响应消息，响应消息中携带的SDP视频分辨率低于原通话视频分辨率，主叫多媒体移动客户端收到响应消息后完成媒体协商并返回确认消息，如图12和13所示。主被叫多媒体移动客户端的业务控制单元将媒体编解码、传输以及容错控制等相关信息重新下发相应媒体引擎软件单元，进行前向纠错编码，封装为RTP包进行发送，如图14所示。

通话过程中多媒体服务器分别向主、被叫多媒体移动客户端发送UPDATE消息进行会话保链，如图15所示，当服务器在会话时间(建议为120秒)内未收到UPDATE响应消息则认为会话失效，连续失效3次，结束本次通话；否则，继续维持正常通话直至主被叫任意一方挂机。

Claims

1.一种无线信道下的音视频通信优化方法，其特征在于，包括步骤：

2.根据权利要求1所述的无线信道下的音视频通信优化方法，其特征在于，通话过程中多媒体服务器分别向主被叫多媒体移动客户端发送UPDATE消息进行会话保链，当多媒体服务器在会话设定时间内未收到UPDATE响应消息则认为会话失效，连续失效设定次数，则结束本次通话；否则，继续正常通话直至主被叫任意一方挂机。

3.根据权利要求1所述的无线信道下的音视频通信优化方法，其特征在于,步骤(3)中媒体引擎单元将采集的音视频数据进行前向纠错编码并打包时，设置包长上限，单个RTP包不能超过上限。

4.根据权利要求1所述的无线信道下的音视频通信优化方法，其特征在于,步骤(6)中当检测到丢包率和持续时间超过最大门限值时，进行降级，具体过程为：

5.根据权利要求4所述的无线信道下的音视频通信优化方法，其特征在于，预置降级策略中目标分辨率以及对应码率有多种选择，包括1080P、720P、4CIF和CIF，预置降级策略包含降级为音频通信选择。

6.根据权利要求1所述的无线信道下的音视频通信优化方法，其特征在于，步骤(2)中进行视频呼叫时，呼叫请求中携带请求客户端支持的媒体传输容错控制方法。

7.根据权利要求6所述的无线信道下的音视频通信优化方法，其特征在于，媒体传输容错控制方法包含FEC和基于NACK的丢包重传机制。