CN113766169A - 一种弱网环境下的音视频数据传输系统、优化设备及方法 - Google Patents

一种弱网环境下的音视频数据传输系统、优化设备及方法 Download PDF

Info

Publication number
CN113766169A
CN113766169A CN202111084921.7A CN202111084921A CN113766169A CN 113766169 A CN113766169 A CN 113766169A CN 202111084921 A CN202111084921 A CN 202111084921A CN 113766169 A CN113766169 A CN 113766169A
Authority
CN
China
Prior art keywords
audio
video data
video
network
data transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111084921.7A
Other languages
English (en)
Inventor
鲁彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu 3bu Technology Co ltd
Original Assignee
Jiangsu 3bu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu 3bu Technology Co ltd filed Critical Jiangsu 3bu Technology Co ltd
Priority to CN202111084921.7A priority Critical patent/CN113766169A/zh
Publication of CN113766169A publication Critical patent/CN113766169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出一种弱网环境下的音视频数据传输系统、优化设备及方法,所述优化设备包括:控制模块、音视频转码模块和数据包转发、过滤及缓存模块;其中,数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包并将音视频数据包按照收发方向分别缓存至发送队列和接收队列;控制模块用于生成工作模式切换策略并通知发送端侧;音视频转码模块用于根据工作模式切换策略对相应的音视频数据进行重新编码,以生成占用带宽更低的音视频数据包。本发明不需要改变原始终端功能,仅需要在终端和网络之间增加一个优化设备,即可实现弱网环境下的数据包传输方式调整,大幅节约传输所需的带宽,成本很低,使用方便。

Description

一种弱网环境下的音视频数据传输系统、优化设备及方法
技术领域
本发明涉及互联网视频会议技术领域,具体涉及一种弱网环境下的音视频数据传输系统、优化设备及方法。
背景技术
互联网视频会议领域,通常存在因网络间歇性丢包或其它设备抢占带宽所引起的声音卡顿、视频花屏和延迟问题。针对这些问题,绝大部分厂家都有各自的处理方法,常见的有丢包重传、前向纠错、动态带宽调整等。但是,由于各个厂家专有算法的协议格式不同,所以某一个厂家的算法无法在不同品牌的设备之间启用。另外,一些早期型号的视频会议设备所支持的音视频编码格式有限,相比最新的音视频编码格式,同等分辨率和质量下所占用的带宽较大,对网络带宽要求也较高,直接替换这些旧设备,成本非常高昂。
发明内容
发明目的:为解决上述技术问题,本发明提出一种弱网环境下的音视频数据传输系统、优化设备及方法。
技术方案:本发明首先提出一种弱网环境下的音视频数据传输优化设备,连接在终端与网络之间,所述音视频数据传输优化设备包括:控制模块、音视频转码模块和数据包转发、过滤及缓存模块;
所述数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包,并将非音视频数据包直接转发,将音视频数据包按照收发方向分别缓存至发送队列和接收队列;
所述控制模块用于统计当前的发送带宽、接收带宽和接收丢包率,进而评估网络延迟与带宽,然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式;所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式,其中,音视频自适应转码模式下,发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码,以生成占用带宽更低的音视频数据包。
针对所述音视频数据传输优化设备,以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
可选的,所述音视频数据传输优化设备还包括虚拟网桥,所述虚拟网桥包括虚拟网络接口和物理网络接口,所述虚拟网络接口用于连接所述数据包转发、过滤及缓存模块,所述物理网络接口用于连接终端设备和网络侧设备。
可选的,所述数据包转发、过滤及缓存模块还用于对捕获的数据包进行过滤,并将过滤出的非音视频数据包进行直通转发。
另一方面,本发明还提出一种弱网环境下的音视频数据传输系统,包括:终端和所述的音视频数据传输优化设备,所述终端通过所述音视频数据传输优化设备接入网络。
再一方面,本发明还提出一种弱网环境下的音视频数据传输方法,所述方法基于所述的音视频数据传输优化设备实现,包括以下步骤:
(1)所述数据包转发、过滤及缓存模块捕获网络中传输的音视频数据包,并按照传输方向分别备份缓存在发送队列和接收队列中;
(2)所述控制模块统计发送队列和接收队列中的音视频数据包,计算出发送带宽、接收带宽和接收丢包率,进而计算出网络延迟和网络带宽;
(3)所述控制模块根据实时的发送带宽、接收带宽和接收丢包率生成工作模式切换策略并反馈给发送端一侧的音视频数据传输优化设备;
(4)发送端一侧的音视频数据传输优化设备根据接收到的工作模式切换策略在丢包重传模式、前向纠错模式和音视频自适应转码模式之间切换。
针对所述音视频数据传输方法,以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
可选的,所述生成切换策略的具体步骤为:
情况1:在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下,若网络延迟低于预设的延迟阈值且接收丢包率小于网络带宽,则生成丢包重传策略;
情况2:在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下,若网络延迟大于预设的延迟阈值且接收丢包率小于网络带宽,则生成前向纠错策略;
情况3:若接收丢包率大于等于丢包率可接受阈值,或不满足情况1和情况2,则生成音视频自适应转码策略。
可选的,所述控制模块使用网络延迟与带宽评估算法得到所述网络延迟和网络带宽。
可选的,接收端一侧的音视频数据传输优化设备在生成丢包重传策略时,一并将丢失的RTP数据包序号发送给对端,对端收到后,从本地发送队列缓存中找到对应的数据包,执行重新发送操作。
可选的,发送端一侧的音视频数据传输优化设备在接收到前向纠错策略后,将本地发送队列中缓存的相应数据包按照RFC5109规范中所述方法进行处理。
可选的,发送端一侧的音视频数据传输优化设备在接收到音视频自适应转码策略后,执行以下步骤:
(10-1)将本地发送队列里的音视频数据包分离:
(10-2)对于视频数据包,使用内置的视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像;对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理;再将处理后的未压缩图像输入内置的视频编码器,所述控制模块根据网络评估状态实时调整所述视频编码器的编码参数;
(10-3)对于音频数据包,使用内置的音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样;对未压缩音频采样进行重采样和3A处理;再将处理后的未压缩音频采样输入内置的音频编码器,所述控制模块根据网络评估状态实时调整所述音频编码器的编码参数;
(10-4)将重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳,并设置扩展标记位,按照原始目的地址发送。
有益效果:与现有技术相比,本发明具有以下优势:
1、本发明不需要改变原始终端功能,仅需要在终端和网络之间增加一个优化设备,即可实现弱网环境下的数据包传输方式调整,成本很低,使用方便。
2、本发明提供了音视频自适应转码模式,相比传统的丢包重传和前向纠错模式,能够大幅节约传输所需的带宽,能更好的适应低带宽的场景。
附图说明
图1为实施例1涉及的音视频数据传输优化设备内部功能原理图;
图2为实施例1涉及的音视频转码流程图;
图3为实施例1涉及的硬件实现结构图;
图4为现有的点对点通信网络部署结构图;
图5为实施例2涉及的点对点通信网络部署结构图;
图6为现有的多点通信网络部署结构图;
图7为实施例2涉及的多点通信网络部署结构图。
具体实施方式
下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是,本发明可以以各种形式实施,以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例,并不意图将本发明限制于所说明的具体实施例。
应当理解的是,在技术上可行的情况下,以下针对不同实施例所列举的技术特征可以相互组合,从而形成本发明范围内的另外的实施例。此外,本发明所述的特定示例和实施例是非限制性的,并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。
实施例1:
本实施例示例性地给出了一种弱网环境下的音视频数据传输优化设备,其结构图如图1所示,该设备连接在终端与网络之间,包括:控制模块、音视频转码模块和数据包转发、过滤及缓存模块和虚拟网桥。
虚拟网桥包括虚拟网络接口和物理网络接口,用于捕获网络中传输的所有数据包,其中,虚拟网络接口用于连接所述数据包转发、过滤及缓存模块,所述物理网络接口用于连接终端设备和网络侧设备。
数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包,并将非音视频数据包直接转发,将音视频数据包按照收发方向分别缓存至发送队列和接收队列。
控制模块用于统计当前的发送带宽、接收带宽和接收丢包率,进而评估网络延迟与带宽,然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式;所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式,其中,音视频自适应转码模式下,发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码,以生成占用带宽更低的音视频数据包。
基于图1中所示的设备,本实施例还给出了该设备的工作方法,即弱网环境下的音视频数据传输方法,具体步骤如下:
步骤1:对网络中传输的所有数据包进行转发和过滤,通过识别RTP协议头部的特征字段,得到双向(Tx/Rx)音视频数据包。
步骤2:将Tx方向的音视频数据包暂存在Tx缓存中,并对所有的数据包进行统计得到发送带宽tx_bitrate。
步骤3:对Rx方向的音视频数据包的RTP序号、时间戳等进行排序和检查,统计得到接收带宽rx_bitrate、接收丢包率rx_lossrate;
步骤4:使用网络延迟与带宽评估算法(Google Congestion Control、SCReAM和SPROUT)得到网络延迟est_delay和网络带宽est_bandwidth;
步骤5:策略生成
情况1:当接收丢包率rx_lossrate 大于0时表示发生数据库丢失:
情况1.1:当接收丢包率rx_lossrate小于阈值MAX_LOSS(丢包率在可接受范围内):
当网络延迟est_delay * 2小于阈值MAX_DELAY,且接收丢包率rx_bitrate小于网络带宽est_bandwidth 时(网络延迟较低且带宽富余),通知对端启用丢包重传模式;当发生丢包时,将丢失的RTP数据包序号发送给对端,对端收到后,从Tx缓存中找到对应的数据包,执行重新发送操作。
情况1.2:当网络延迟est_delay * 2大于等于阈值MAX_DELAY,且接收丢包率rx_bitrate小于网络带宽est_bandwidth 时(网络延迟较大,但带宽富余),通知对端启用前向纠错模式;前向纠错模式将多个数据包按照RFC5109规范中所述方法进行处理。
情况2:当接收丢包率rx_lossrate大于等于阈值MAX_LOSS(丢包率超出可接受范围)或无法满足上述1.1、1.2所描述的情况(网络延迟较大且带宽无富余),则通知对端启用音视频自适应转码模式。
音视频自适应转码模式下,发送端一侧执行的步骤如下:
将原先的音视频数据包分离:
对于视频数据包,使用视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像;根据控制模块的策略,对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理;再将处理后的未压缩图像输入视频编码器,控制模块根据网络评估状态实时调整编码格式、比特率等编码参数;
对于音频数据包,使用音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样;根据控制模块的策略,对未压缩音频采样进行重采样、3A处理;再将处理后的未压缩音频采样输入音频编码器,控制模块根据网络评估状态实时调整编码格式、比特率等编码参数;
重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳,并设置扩展标记位,按照原始目的地址发送。
图3示出了该设备的硬件实现结构图,如图3所示,主要包括:片上系统SoC(包括中央处理器CPU、图形处理器GPU、视频处理单元VPU)、内存RAM、存储器ROM、网络适配器以及存储在所述ROM中并且能够在所述片上系统SoC上运行的程序,片上系统SoC所搭载的程序实现如前述的音视频数据传输方法。
音视频自适应转码模式相比传统的丢包重传和前向纠错模式,大幅节约传输所需的带宽,能更好的适应低带宽的场景。仅以视频数据为例,假设网络带宽上限为2.5Mbps,原始视频格式为1080P@30fps,使用H.264/Baseline方式以2Mbps恒定比特率进行编码。若启用前向纠错方式,则可用于传输FEC数据包的带宽为0.5Mbps(为计算简单,忽略RTP包头的开销),则可提供的数据冗余度为25%;如果启用视频自适应转码模式,将原始1080P@30fps/2Mbps的H.264码流转码为H.265格式,平均带宽仅需1.2Mbps,则可用于传输FEC数据包的带宽为1.3Mbps,可提供超过100%的数据冗余度。
实施例2:
本实施例在实施例1的基础上,给出了一种弱网环境下的音视频数据传输系统,包括:终端和所述的音视频数据传输优化设备,所述终端通过所述音视频数据传输优化设备接入网络。该系统包括点对点通信系统和多点通信系统,其中本实施例提出的点对点通信网络部署结构如图5所示,而图4为现有的点对点通信网络部署结构图;本实施例提出的多点通信网络部署结构如图7所示,而图6为现有的多点通信网络部署结构图。从图4-7可知,本发明不需要改变原始终端功能,仅需要在终端和网络之间增加一个优化设备,即可实现弱网环境下的数据包传输方式调整,成本很低,使用方便。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种弱网环境下的音视频数据传输优化设备,连接在终端与网络之间,其特征在于,所述音视频数据传输优化设备包括:控制模块、音视频转码模块和数据包转发、过滤及缓存模块;
所述数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包,并将非音视频数据包直接转发,将音视频数据包按照收发方向分别缓存至发送队列和接收队列;
所述控制模块用于统计当前的发送带宽、接收带宽和接收丢包率,进而评估网络延迟与带宽,然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式;所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式,其中,音视频自适应转码模式下,发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码,以生成占用带宽更低的音视频数据包。
2.根据权利要求1所述的弱网环境下的音视频数据传输优化设备,其特征在于,所述音视频数据传输优化设备还包括虚拟网桥,所述虚拟网桥包括虚拟网络接口和物理网络接口,所述虚拟网络接口用于连接所述数据包转发、过滤及缓存模块,所述物理网络接口用于连接终端设备和网络侧设备。
3.根据权利要求1所述的弱网环境下的音视频数据传输优化设备,其特征在于,所述数据包转发、过滤及缓存模块还用于对捕获的数据包进行过滤,并将过滤出的非音视频数据包进行直通转发。
4.一种弱网环境下的音视频数据传输系统,其特征在于,包括:终端以及如权利要求1至3任意一项所述的音视频数据传输优化设备,所述终端通过所述音视频数据传输优化设备接入网络。
5.一种弱网环境下的音视频数据传输方法,其特征在于,所述方法基于权利要求1至3任意一项所述的音视频数据传输优化设备实现,包括以下步骤:
(1)所述数据包转发、过滤及缓存模块捕获网络中传输的音视频数据包,并按照传输方向分别备份缓存在发送队列和接收队列中;
(2)所述控制模块统计发送队列和接收队列中的音视频数据包,计算出发送带宽、接收带宽和接收丢包率,进而计算出网络延迟和网络带宽;
(3)所述控制模块根据实时的发送带宽、接收带宽和接收丢包率生成工作模式切换策略并反馈给发送端一侧的音视频数据传输优化设备;
(4)发送端一侧的音视频数据传输优化设备根据接收到的工作模式切换策略在丢包重传模式、前向纠错模式和音视频自适应转码模式之间切换。
6.根据权利要求1所述的弱网环境下音视频数据传输优化的方法,其特征在于,所述生成切换策略的具体步骤为:
情况1:在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下,若网络延迟低于预设的延迟阈值且接收丢包率小于网络带宽,则生成丢包重传策略;
情况2:在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下,若网络延迟大于预设的延迟阈值且接收丢包率小于网络带宽,则生成前向纠错策略;
情况3:若接收丢包率大于等于丢包率可接受阈值,或不满足情况1和情况2,则生成音视频自适应转码策略。
7.根据权利要求6所述的弱网环境下音视频数据传输优化的方法,其特征在于,所述控制模块使用网络延迟与带宽评估算法得到所述网络延迟和网络带宽。
8.根据权利要求6所述的弱网环境下音视频数据传输优化的方法,其特征在于,接收端一侧的音视频数据传输优化设备在生成丢包重传策略时,一并将丢失的RTP数据包序号发送给对端,对端收到后,从本地发送队列缓存中找到对应的数据包,执行重新发送操作。
9.根据权利要求8所述的弱网环境下音视频数据传输优化的方法,其特征在于,发送端一侧的音视频数据传输优化设备在接收到前向纠错策略后,将本地发送队列中缓存的相应数据包按照RFC5109规范中所述方法进行处理。
10.根据权利要求9所述的弱网环境下音视频数据传输优化的方法,其特征在于,发送端一侧的音视频数据传输优化设备在接收到音视频自适应转码策略后,执行以下步骤:
(10-1)将本地发送队列里的音视频数据包分离:
(10-2)对于视频数据包,使用内置的视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像;对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理;再将处理后的未压缩图像输入内置的视频编码器,所述控制模块根据网络评估状态实时调整所述视频编码器的编码参数;
(10-3)对于音频数据包,使用内置的音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样;对未压缩音频采样进行重采样和3A处理;再将处理后的未压缩音频采样输入内置的音频编码器,所述控制模块根据网络评估状态实时调整所述音频编码器的编码参数;
(10-4)将重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳,并设置扩展标记位,按照原始目的地址发送。
CN202111084921.7A 2021-09-16 2021-09-16 一种弱网环境下的音视频数据传输系统、优化设备及方法 Pending CN113766169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111084921.7A CN113766169A (zh) 2021-09-16 2021-09-16 一种弱网环境下的音视频数据传输系统、优化设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111084921.7A CN113766169A (zh) 2021-09-16 2021-09-16 一种弱网环境下的音视频数据传输系统、优化设备及方法

Publications (1)

Publication Number Publication Date
CN113766169A true CN113766169A (zh) 2021-12-07

Family

ID=78795926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111084921.7A Pending CN113766169A (zh) 2021-09-16 2021-09-16 一种弱网环境下的音视频数据传输系统、优化设备及方法

Country Status (1)

Country Link
CN (1) CN113766169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014695A (zh) * 2023-10-08 2023-11-07 广东保伦电子股份有限公司 一种弱网环境下提升视频会议质量的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058803A1 (zh) * 2016-09-30 2018-04-05 瞬已网络科技(上海)有限公司 一种网络实时视频传输方法及装置
WO2019080022A1 (zh) * 2017-10-26 2019-05-02 天彩电子(深圳)有限公司 网络视频流传输拥塞控制方法及装置
CN110505503A (zh) * 2019-08-08 2019-11-26 武汉兴图新科电子股份有限公司 音视频分级自适应传输系统
CN111628847A (zh) * 2020-05-06 2020-09-04 上海幻电信息科技有限公司 数据传输方法及装置
CN111629210A (zh) * 2020-05-22 2020-09-04 北京大米科技有限公司 一种数据处理的方法、装置及电子设备
CN112584204A (zh) * 2020-12-03 2021-03-30 上海悠络客电子科技股份有限公司 一种弱网环境下播放端动态码率自适应方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058803A1 (zh) * 2016-09-30 2018-04-05 瞬已网络科技(上海)有限公司 一种网络实时视频传输方法及装置
WO2019080022A1 (zh) * 2017-10-26 2019-05-02 天彩电子(深圳)有限公司 网络视频流传输拥塞控制方法及装置
CN110505503A (zh) * 2019-08-08 2019-11-26 武汉兴图新科电子股份有限公司 音视频分级自适应传输系统
CN111628847A (zh) * 2020-05-06 2020-09-04 上海幻电信息科技有限公司 数据传输方法及装置
CN111629210A (zh) * 2020-05-22 2020-09-04 北京大米科技有限公司 一种数据处理的方法、装置及电子设备
CN112584204A (zh) * 2020-12-03 2021-03-30 上海悠络客电子科技股份有限公司 一种弱网环境下播放端动态码率自适应方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014695A (zh) * 2023-10-08 2023-11-07 广东保伦电子股份有限公司 一种弱网环境下提升视频会议质量的方法
CN117014695B (zh) * 2023-10-08 2024-02-09 广东保伦电子股份有限公司 一种弱网环境下提升视频会议质量的方法

Similar Documents

Publication Publication Date Title
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
US11190570B2 (en) Video encoding using starve mode
KR100961420B1 (ko) 비디오 전화용 비디오 소스 레이트 제어
KR100982155B1 (ko) 비디오 전화통신을 위한 비디오 패킷 쉐이핑
RU2497304C2 (ru) Динамическая модификация свойств видео
US7301928B2 (en) Wireless packet transfer apparatus and method
US8089514B2 (en) Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image
EP3866474B1 (en) Video self-adaptation method, related device and storage medium
WO2008112441A1 (en) Reducing effects of packet loss in video transmissions
CN104683863A (zh) 一种多媒体数据传输方法及设备
CN110996103A (zh) 一种根据网络情况对视频编码码率进行调节的方法
CN105812710A (zh) 视频通话过程中优化图像质量的方法及系统
AU2021200428B2 (en) System and method for automatic encoder adjustment based on transport data
CN112039844A (zh) 一种车载终端监控视频自适应码率的方法和系统
CN113766169A (zh) 一种弱网环境下的音视频数据传输系统、优化设备及方法
CN106210785B (zh) 媒体流网络自适应单向控制方法及系统
JP2001016276A (ja) 通信装置、通信方法、記憶媒体及び通信システム
CN115883877A (zh) 一种超高清视频流的传输方法及系统
CN109982080A (zh) 一种视频传输的方法、存储介质、机器人及控制系统
Ganguly et al. A-REaLiSTIQ-ViBe: Entangling Encoding and Transport to Improve Live Video Experience
JP5122327B2 (ja) 移動端末へメディアストリームを配信するシステム
JP2006074555A (ja) マルチメディアゲートウェイにおける音声・動画調整方式
WO2024094277A1 (en) Controlling the sending of at least one picture over a communication network
CN117294849A (zh) Uvc压缩编码视频传输的码率控制方法、装置和芯片
Feng et al. Scalable video transmission over priority network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211207

RJ01 Rejection of invention patent application after publication