CN114513620A - 基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用 - Google Patents

Abstract

本发明公开了基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用，传输方法包括：S01、发送端将视频帧通过网络控制器发送至接收端；S02、网络控制器统计其所接收的视频帧和RCTP统计信息，更新当前网络状态参数；S03、根据当前网络状态参数判断网络状态信息且将其输出至接收端；S04、接收端接收网络控制器发出的视频帧和网络状态信息，根据所接收的视频帧和网络状态信息进行判断，当结果符合预期时，生成请求变更信息发送至发送端；S05、发送端接收请求变更信息并在符合预期时，生成应答信息并发送至接收端，接收端根据应答信息更新接收解码参数并初始化解码器，发送端根据变更信息更新编码参数并初始化编码器；本方案实施可靠、数据交互灵活和响应快速。

Description

基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用

技术领域

本发明涉及数据通讯、音视频传输技术领域，尤其涉及基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用。

背景技术

视频数据传输作为时下热门的传输技术，其不仅广泛应用在监控领域中，还被广泛用于社交场合的视频通话中，然而视频数据的传输需要依赖于网络环境的支持，根据申请人调研和市场反馈，在视频数据传输时，网络环境发生波动或切换是较为普遍的情况，有时候网络切换或者网络条件受限，容易造成网络带宽急剧下降，导致音视频数据无法正常传输，而这种情况也是视频数据传输应用一大痛点和急需克服的技术难点。当前大部分网络通讯场景都是有线网络，弱网或极弱网场景存在时，大部分用户存在视而不见、投诉无门、或者重新尝试的现象；极个别厂商即使有做类似优化，但优化效果并不够理想现象，采用的也是常用的弱网对抗相关技术，视频流畅度无法满足，造成用户体验非常差。还需要注意的是，当前大部分服务商的设备性能参差不齐，硬件条件无法满足极弱网场景；同时，也没有引入实时视频插帧机制。尤其是在VoIP设备领域应用较少；因此，如何在弱网环境下，保证视频传输的稳定性、可靠性是非常具有现实意义的课题。

发明内容

有鉴于此，本发明的目的在于提出一种实施可靠、数据交互灵活和响应快速的基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用。

为了实现上述的技术目的，本发明所采用的技术方案为：

一种基于WebRTC弱网环境的视频丢帧补帧传输方法，其包括：

S01、发送端将视频帧通过网络控制器发送至接收端；

S02、网络控制器统计其所接收的视频帧和RTCP统计信息，然后更新当前网络状态参数；

S03、根据当前网络状态参数进行判断网络状态信息，然后将网络状态信息输出至接收端；

S04、接收端接收网络控制器发出的视频帧和网络状态信息，然后根据所接收的视频帧和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并发送至发送端；

S05、发送端接收请求变更信息并在符合预设条件时，生成应答信息并发送至接收端，由接收端根据应答信息更新解码参数并初始化解码器，另外，生成应答信息后，发送端根据请求变更信息更新编码参数，并初始化编码器。

作为一种可能的实施方式，进一步，本方案S01中，发送端通过将视频帧封包成视频数据包后通过网络控制器发送至接收端；在此基础上，本方案S02中，网络控制器接收发送端发送的视频数据包，且统计其所接收的视频数据包内的视频帧和发出视频数据包内的视频帧，然后更新当前网络状态参数。

作为一种较优的实施选择，优选的，本方案S04中，接收端接收网络控制器发出的视频数据包和网络状态信息，然后对视频数据包内的视频帧进行解码并获取视频数据包解码所得的帧率，再根据视频数据包对应的帧率和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并通过网络控制器发送至发送端；其中，网络状态信息包括网络控制器接收发送端发送的视频数据包和将视频数据包发送至接收端的丢包率；除此之外，还可以通过对网络抖动参数进行监测记录，令其也作为判断网络质量的参考因素之一。

作为一种较优的实施选择，优选的，本方案S01中，发送端通过将经过编码形成预设帧率的多帧视频帧封包成视频数据包后通过网络控制器发送至接收端；其中，所述视频数据包中的数据包括视频帧或视频帧与音频帧数据。

作为一种较优的实施选择，优选的，本方案S03中，所述判断结果包括弱网环境和非弱网环境；其中，帧率小于预设门限值，丢包率大于预设门限值时，时延大于预设门限值时，判断结果为弱网环境，否则为非弱网环境。

作为一种较优的实施选择，优选的，本方案S04中，当判断结果为弱网环境时，接收端向发送端发送TSTR消息以请求发送端降低其所发送数据包的视频帧数量，所述TSTR消息设为请求变更信息。

作为一种较优的实施选择，优选的，本方案S05中，发送端接收TSTR消息并在其符合处理条件时，生成TSTN消息并发送至接收端，由接收端根据TSTN消息更新解码处理参数，另外，生成TSTN消息后，发送端根据TSTR消息更新所发送数据包的编码处理参数；所述TSTN消息设为应答信息。

作为一种较优的实施选择，优选的，本方案S04中，接收端通过解码器进行解码，且在更新解码处理参数时，所述解码器经初始化操作。

作为一种较优的实施选择，优选的，本方案S05中，发送端通过编码器进行编码，且在更新编码处理参数时，所述编码器经初始化操作。

作为一种较优的实施选择，优选的，本方案S04中，当判断结果为弱网环境且接收端所接收的视频数据包对应的帧率小于发送端的编码帧率时，接收端对所接收的视频数据包进行插帧处理，使经插帧处理后的视频数据包对应的帧率与发送端的编码帧率相等或差值小于预设值。

作为一种较优的实施选择，优选的，本方案S01中，发送端将封包成的视频数据包通过队列方式依序经由网络控制器发送至接收端。

作为一种较优的实施选择，优选的，本方案S05中，当判断结果为弱网环境且发送端根据TSTR消息更新所发送数据包的编码处理参数后，还对已完成封包且未经由网络控制器发送至接收端的视频数据包进行丢帧处理，使经丢帧处理后的视频数据包对应的帧率与更新后的编码帧率匹配。

基于上述方案，本发明还提供一种基于WebRTC弱网环境的视频丢帧补帧传输系统，其包括：

采集器，配置成用于采集图像或图像与音频数据；

编码器，配置成用于将采集器采集的图像或图像与音频数据进行编码成视频帧或视频帧与音频帧；

发送器，配置成用于接收编码器编码后的视频帧或视频帧与音频帧并将其封包成视频数据包，然后发出；

丢帧处理器，配置成用于对发送器发送的视频数据包进行视频丢帧；

网络控制器，配置成用于接收发送器发送的视频数据包和将其转发；

接收器，配置成用于接收网络控制器转发的视频数据包；

解码器，配置成用于对接收器接收的视频数据包进行解码；

显示器，配置成用于播放经解码器解码的视频帧。

其中，采集器、编码器、发送器和丢帧处理器组成发送端；接收器、解码器、插帧处理器和显示器组成接收端。

基于上述方案，本发明还提供一种监控视频或通话视频数据传输方法，包括上述所述的基于WebRTC弱网环境的视频丢帧补帧传输方法；除此之外，本方案的方法还可以针对VOIP设备处于极弱网环境下时进行优化应用，其能够有效提升设备之间的网络条件非常差的时候可以有视频播放，提高VOIP视频通话体验。

基于上述方案，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的基于WebRTC弱网环境的视频丢帧补帧传输方法。

采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案巧妙性通过对音视频数据包在网络控制器传输时的丢包率和接收端进行解码后的帧率方面进行监测，利用预设门限值进行判断往前的网络传输情况和质量，以判断出音视频传输环境是否处于弱网或非弱网环境，使得处理于弱网环境时，能够通过接收端进行及时反馈，来实现发送端的编码控制，通过降低编码帧率和对已经封包的音视频数据包进行视频数据丢帧，实现上游发送端的数据精简，以令音视频数据包能够在弱网环境下实现稳定、良好的数据传输，而处于下游端的接收端通过插帧处理，实现对精简后的音视频数据包进行帧率优化，令最后解码播放后的音视频质量能够呈现优质、流畅的播放效果，该方案不仅实施可靠且机制配合灵活和响应效率高，能够为当前视频传输时的网络波动提供一种高质量优化的传输机制，不仅如下，本该方案对WebRTC中存在的问题进行优化，可以采用JitterBuffer部分框架调整、增加重发包序列号移除的判断机制，弱网环境下优先发送视频包等措施，同时在RTCP通知消息机制中导入TSTR(Temporal-Spatial Trade-off Request)和TSTN(Temporal-Spatial Trade-off Notification)机制用于协商当前网络中的帧率信息，以便能够满足帧率不足(小于10FPS)时降低当前通话的帧率；网络条件提升后(统计帧率大于15FPS)，逐步提升帧率并恢复之前的配置，从而有效提升弱网环境下视频质量；另外，本方案通过依据丢包、码率、抖动等参数判断网络状态，在极弱网条件下(丢包超过50％，平均抖动和延迟超过250ms，弱网优化效果不理想，导致平均帧率小于10FPS)编码端进行降低帧率，在解码端进行智能插帧的组合策略，保证视频流畅度的提升，从而改善用户主观流畅度体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方案的简要实施流程示意图；

图2是本发明系统的简要实施连接示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本方案一种基于WebRTC弱网环境的视频丢帧补帧传输方法，其包括：

S01、发送端将视频帧通过网络控制器发送至接收端；

S02、网络控制器统计其所接收的视频帧和RTCP统计信息，然后更新当前网络状态参数；

S03、根据当前网络状态参数进行判断网络状态信息，然后将网络状态信息输出至接收端；

S04、接收端接收网络控制器发出的视频帧和网络状态信息，然后根据所接收的视频帧和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并发送至发送端；

S05、发送端接收请求变更信息并在符合预设条件时，生成应答信息并发送至接收端，由接收端根据应答信息更新解码参数，并初始化解码器，另外，生成应答信息后，发送端根据请求变更信息更新编码参数，并初始化编码器。

为了方便对视频播放时的帧率进行控制，本方案S01中，发送端通过将多帧视频帧封包成视频数据包后通过网络控制器发送至接收端；在此基础上，本方案S02中，网络控制器接收发送端发送的视频数据包，且统计其所接收的视频数据包内的视频帧和发出视频数据包内的视频帧，然后更新当前网络状态参数。

通过该方式，可以使得网络控制器和接收端在接收到视频数据包且对其进行解码后，能够快速确定该视频数据包对应的帧率，同时也便于网络控制器进行统计丢包率，以此实现接收端的数据接收质量和网络控制器的网络状态情况。

其中，本方案S01中，发送端通过将经过编码形成预设帧率的视频帧封包成视频数据包后通过网络控制器发送至接收端；其中，所述视频数据包中的数据包括视频帧或视频帧与音频帧数据。同时，本方案S01中，发送端将封包成的视频数据包通过队列方式依序经由网络控制器发送至接收端。

另外，本方案S04中，接收端接收网络控制器发出的视频数据包和网络状态信息，然后对视频数据包内的视频帧进行解码并获取视频数据包解码所得的帧率，再根据视频数据包对应的帧率和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并通过网络控制器发送至发送端；其中，网络状态信息包括网络控制器接收发送端发送的视频数据包和将视频数据包发送至接收端的丢包率。

而为了便于对网络通讯情况进行识别和判断，本方案S03中，所述判断结果包括弱网环境和非弱网环境；其中，帧率小于预设门限值(例如帧率小于10FPS)，丢包率大于预设门限值(例如丢包率大于50％)时，判断结果为弱网环境，否则为非弱网环境；还可以引入抖动或者延迟致使解码失败无法显示等综合因素，使最终显示帧率小于10FPS时判断为弱网环境。

在弱网环境下，网络条件的限制使得接收端或网络控制端无法承载更多视频数据包。如果采用常规的弱网对抗技术，一方面会加重网络负载，不仅无法提升接收端解码播放后的流畅度，反而更容易导致网络变差；另一方面常规弱网对抗技术更多是提升网络传输相关性能，对于网络环境受限、无法达标的场景就无能为力了。

为了令接收端在接受到视频数据包后，能够根据当下的网络情况进行及时调整视频数据包的传输率，以适应不同的网络传输质量，本方案S04中，当判断结果为弱网环境时，接收端向发送端发送TSTR消息以请求发送端降低其所发送数据包的视频帧数量，所述TSTR消息设为请求变更信息；而在此基础上，本方案S05中，发送端接收TSTR消息并在其符合处理条件时，生成TSTN消息并发送至接收端，由接收端根据TSTN消息更新解码处理参数，另外，生成TSTN消息后，发送端根据TSTR消息更新所发送数据包的编码处理参数；所述TSTN消息设为应答信息。

为了避免解码器和编码器在处理参数更新后，无法正常进行编码或解码，本方案S04中，接收端通过解码器进行解码，且在更新解码处理参数时，所述解码器经初始化操作；同时，本方案S05中，发送端通过编码器进行编码，且在更新编码处理参数时，所述编码器经初始化操作。

而为了提高播放的流畅度和避免因为弱网环境而使得音视频数据播放体现明显下降，本方案S04中，当判断结果为弱网环境且接收端所接收的视频数据包对应的帧率小于发送端的编码帧率时，接收端对所接收的视频数据包进行插帧处理，使经插帧处理后的视频数据包对应的帧率与发送端的编码帧率相等或差值小于预设值；例如：接收端依据网络控制模块反馈的网络状态信息，判断是否启动插帧处理器(例如，当帧率小于10FPS)，如果小于10FPS，则通过RTCP命令向发送端发送降低帧率的请求TSTR，等待发送端生成TSTN并发送至接收端，接收端收到TSTN的消息后，进行解码器初始化动作，完成相关数据的更新，同时，如果帧率仍然未达到10FPS，启动插帧处理器进行部分视频帧插入优化，最大限度接近或者等于当前收到的编码帧率，提升视频流畅度。在该环节，插帧技术可以在编解码端进行流畅度提升，最大限度降低对于网络条件的依赖性。其中，接收端通过插帧处理器进行插帧处理时，若视频数据包中的视频帧是场景切换，则复用关键帧；如果非场景切换，则采用线性估计运动矢量的方案，对于完整的视频帧预估要插入的视频帧，更新PTS等数据，实现视频帧的构建，并送解码器，自主提升视频通话的流畅度。其中，关键帧可以通过在编码时，对其进行预先标注设定，例如设定每个视频数据包的第一帧作为关键帧，其余为非关键帧。

为了提高视频数据包的传递效率，避免网络处于弱网环境时，网络控制器依然处于较大资源占用的情况，本方案S05中，当判断结果为弱网环境且发送端根据TSTR消息更新所发送数据包的编码处理参数后，还对已完成封包且未经由网络控制器发送至接收端的视频数据包进行丢帧处理，使经丢帧处理后的视频数据包对应的帧率与更新后的编码帧率匹配，其中，数据包中的非关键帧被丢帧处理，经处理后，形成重发包及相应的重发包序列。

同样的，本方案S04中，当判断结果为非弱网环境时，若接收端解码的帧率处理参数小于预设值而当前网络控制器所统计的帧率大于预设值(例如15FPS)时，即，判断网络质量可以符合正常视频数据帧率传输时，则接收端向发送端发送TSTR消息以请求发送端提升其所发送数据包的视频帧数量，所述TSTR消息设为请求变更信息；而在此基础上，本方案S05中，发送端接收TSTR消息并在其符合处理条件时，生成TSTN消息并发送至接收端，由接收端根据TSTN消息更新解码处理参数，另外，生成TSTN消息后，发送端根据TSTR消息更新所发送数据包的编码处理参数；所述TSTN消息设为应答信息，由此可以实现接收端和发送端在网络环境波动时，进行及时高效地进行发送视频数据包的帧率调整和编码器、解码器的处理参数更新，提高了方案机制的人性化和适应性。

基于上述方案，本发明还提供一种监控视频或通话视频数据传输方法，包括上述所述的基于WebRTC弱网环境的视频丢帧补帧传输方法。

如图2所示，基于上述方案，本发明还提供一种基于WebRTC弱网环境的视频丢帧补帧传输系统，其包括：

采集器，配置成用于采集图像或图像与音频数据；

编码器，配置成用于将采集器采集的图像或图像与音频数据进行编码成视频帧或图像帧与音频帧；

发送器，配置成用于接收编码器编码后的视频帧或视频帧与音频帧并将其封包成视频数据包，然后发出；

丢帧处理器，配置成用于对发送器发送的视频数据包进行视频丢帧；

网络控制器，配置成用于接收发送器发送的视频数据包和将其转发；

接收器，配置成用于接收网络控制器转发的视频数据包；

解码器，配置成用于对接收器接收的视频数据包进行解码；

显示器，配置成用于播放经解码器解码的视频帧。

其中，采集器、编码器、发送器和丢帧处理器组成发送端；接收器、解码器、插帧处理器和显示器组成接收端。

在其中一应用实施实例下，本方案系统的各部件配合关系简述如下：

R1(显示器)：该组件播放接受到的视频序列，只是显示作用。

S1(采集器)：该组件播放采集摄像头数据，采集的数据是原始数据，送到编码器进行编码后传输。

R2(解码器)：该组件用于接受接收器的视频序列解码操作，将视频序列一帧一帧的送到底层解码器完成视频解码，并交付显示器显示。其中，解码器在帧率变更时要进行重新初始化操作，防止解码失败。

S2(编码器)：该组件用于接受采集器的图像帧并进行编码操作，将图像序列一帧一帧的送到底层编码器完成视频编码，并交付发送器完成封包发送。其中，编码器在帧率变更时要进行重新初始化操作，防止编码后的数据在接收端无法解码。

R3(接收器)该组件用于完成设备视频、音频帧的接收，以及接受到重发包队列后判断当前是否需要向发送端发送重发包序列。该部分会依据网络控制模块反馈的网络状态信息，判断是否启动插帧处理器(帧率小于10FPS)，如果小于10FPS，则通过RTCP命令向发送端发送降低帧率的请求TSTR，等待收到TSTN的消息后，进行解码器初始化动作，完成相关数据的更新，同时如果帧率仍然未达到10FPS，启动插帧处理器进行部分视频帧插入优化，最大限度接近或者等于当前收到的编码帧率，提升视频流畅度。

S3(发送器)：该组件用于完成设备视频、音频帧的发送，该部分会依据接受到的TSTR请求，确认是否启动更新帧率操作，如果可以满足条件，则发送TSTN消息给对方，同时重新初始化编码器，完整编码帧率的更新；判断是否启动丢帧处理器，以便发送队列中非关键视频帧数据，减缓当前网络的视频帧有效负载。

R4(插帧处理器)：该组件用于送解码前的数据智能插帧。在弱网环境中时，接受到的视频帧率不满足解码的视频帧率时，进行智能插帧操作，使得插帧后的视频序列最大限度接近或者等于编码端的视频帧率，以便提升当前的视频流畅度。

S4(丢帧处理器)：该组件用于接收到网络控制反馈后，将部分视频帧丢弃，以便能够减轻网络拥塞的情况，达到协商的帧率，保证关键视频帧的有效传输，同时统计一段时间内容发送的视频帧率，反馈给编码器，完成编码的帧率刷新。

N(网络控制器)：用于该设备接收和发送音视频数据包，同时根据接收到的数据进行数据统计，完成当前网络状态的更新，以便判断当前是否处于极弱网环境。如果时则同时启动插帧处理器和丢帧处理器，完成送解码、编码的预处理。

本方案系统配合传输方法可以通过计算机语言例如C++或者C实现，再封装成so库，并在Android、iOS、linux等具体应用框架直接调用对应API，之后安装到具体设备中即可实现使用。

除此之外，本方案的方法还可以针对VOIP设备处于极弱网环境下时进行优化应用，其能够有效提升设备之间的网络条件非常差的时候可以有视频播放，提高VOIP视频通话体验。

在视频通话场景下，本方案基于WebRTC视频通话框架，引入视频插帧技术，完善相关流程，从而提升视频通话体验。而相较于传统技术，本方案至少具有如下优点：

(1)原WebRTC框架中并没有插帧相关内容，在极弱网条件下，由于带宽限制、丢包增加、抖动延迟也随之增加，直接导致视频卡顿或者停止播放；

(2)当前WebRTC即使增加弱网对抗相关技术，仍然对于极弱网条件提升有限，主要原因如下：网络带宽优先、拥塞严重时，丢包重传会加剧网络拥塞情况；虽然有FEC向前纠错功能，但是也无法保证整个视频通话的有效对抗；降低分辨率虽然可以在一定程度上减缓该问题，但是仍然存在卡顿、无法播放的现象。

因此引入智能插帧技术，使得在VoIP通话过程中面对非常差的网络时，首先发送端和接受端降低帧率，优先保证关键帧传输；并通过预估计算插入部分视频帧，提升通话的流畅度。

在硬件要求的优化上，本解决方案在CPU主频1.8GHz、内存2G的话机设备上进行验证和测试，针对非常差的网络环境进行调整智能插帧，基于H264编码格式实现小于10FPS播放；可见，在本方案机制下，能够优化视频通话时对硬件性能的要求和在弱网情况下保持较优的工作状态。

虽然当前行业中也有部分采用WebRTC框架进行视频传输，但是其并未就弱网或极弱网环境提出应对机制，当网络变得非常差时，所有产品都是卡住不动，或者直接黑屏显示，基本上没有做视频流畅度提升。另外，虽然目前互联网行业中已经有基于光流度进行插帧，提升流畅度的方案，也有基于AI算法提升的解决方案，但是这些需要强力的计算力和高性能才能完成；并且申请人调研后发现该方案都是基于视频流畅度比较稳定的前提下，提升更高帧率的方案，并不适合弱网或极弱网的实时通话场景。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，包括：

发送端将视频帧通过网络控制器发送至接收端；

网络控制器统计其所接收的视频帧和RTCP统计信息，然后更新当前网络状态参数；

根据当前网络状态参数进行判断网络状态信息，然后将网络状态信息输出至接收端；

接收端接收网络控制器发出的视频帧和网络状态信息，然后根据所接收的视频帧和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并发送至发送端；

发送端接收请求变更信息并在符合预设条件时，生成应答信息并发送至接收端，由接收端根据应答信息更新接收解码参数并初始化解码器，另外，生成应答信息后，发送端根据请求变更信息更新编码参数，并初始化编码器。

2.如权利要求1所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，

发送端通过将视频帧封包成视频数据包后通过网络控制器发送至接收端；

网络控制器接收发送端发送的视频数据包，且统计其所接收的视频数据包内的视频帧和RTCP信息，然后更新当前网络状态参数。

3.如权利要求2所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，接收端接收网络控制器发出的视频数据包和网络状态信息，然后对视频数据包内的视频帧进行解码并获取视频数据包解码所得的帧率，再根据视频数据包对应的帧率和网络状态信息进行判断，当判断结果符合预设条件时，生成请求变更信息并通过网络控制器发送至发送端；

其中，网络状态信息包括网络控制器接收发送端发送的视频数据包和RTCP中获取的统计信息。

4.如权利要求3所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，发送端通过将经过编码形成预设帧率的视频帧封包成视频数据包后通过网络控制器发送至接收端；

其中，所述视频数据包中的数据包括视频帧或视频帧与音频帧数据。

5.如权利要求4所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，所述判断结果包括弱网环境和非弱网环境；其中，帧率小于预设门限值，丢包率大于预设门限值时，时延大于预设门限值时，判断结果为弱网环境，否则为非弱网环境；

当判断结果为弱网环境时，接收端向发送端发送TSTR消息以请求发送端降低其所发送数据包的视频帧帧率，所述TSTR消息设为请求变更信息；

发送端接收TSTR消息并在其符合处理条件时，生成TSTN消息并发送至接收端，由接收端根据TSTN消息更新解码处理参数，另外，生成TSTN消息后，发送端根据TSTR消息更新所发送数据包的编码处理参数。

6.如权利要求5所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，接收端通过解码器进行解码，且在更新解码处理参数时，所述解码器经初始化操作；

发送端通过编码器进行编码，且在更新编码处理参数时，所述编码器经初始化操作。

7.如权利要求6所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，当判断结果为弱网环境且接收端所接收的视频数据包对应的帧率小于发送端的编码帧率时，接收端对所接收的视频数据包进行插帧处理，使经插帧处理后的视频数据包对应的帧率与发送端的编码帧率相等或差值小于预设值。

8.如权利要求6所述的基于WebRTC弱网环境的视频丢帧补帧传输方法，其特征在于，发送端将封包成的视频数据包通过队列方式依序经由网络控制器发送至接收端；

当判断结果为弱网环境且发送端根据TSTR消息更新所发送数据包的编码处理参数后，还对已完成封包且未经由网络控制器发送至接收端的视频数据包进行丢帧处理，使经丢帧处理后的视频数据包对应的帧率与更新后的编码帧率匹配。

9.一种基于WebRTC弱网环境的视频丢帧补帧传输系统，其特征在于，其包括：

采集器，配置成用于采集图像或图像与音频数据；

编码器，配置成用于将采集器采集的图像或图像与音频数据进行编码成视频帧或图像帧与音频帧；

发送器，配置成用于接收编码器编码后的视频帧或视频帧与音频帧并将其封包成视频或视频与音频数据包，然后发出；

丢帧处理器，配置成用于对发送器发送的视频数据包进行视频丢帧；

网络控制器，配置成用于接收发送器发送的视频数据包和将其转发；

接收器，配置成用于接收网络控制器转发的视频数据包；

解码器，配置成用于对接收器接收的视频数据包进行解码；

显示器，配置成用于播放经解码器解码的视频帧。

10.一种监控视频或通话视频数据传输方法，其特征在于：其包括权利要求1至8之一所述的基于WebRTC弱网环境的视频丢帧补帧传输方法。

Images