CN113132669A - 基于WebRTC弱网环境视频质量提升方法、系统及存储介质 - Google Patents

基于WebRTC弱网环境视频质量提升方法、系统及存储介质 Download PDF

Info

Publication number
CN113132669A
CN113132669A CN202110437067.1A CN202110437067A CN113132669A CN 113132669 A CN113132669 A CN 113132669A CN 202110437067 A CN202110437067 A CN 202110437067A CN 113132669 A CN113132669 A CN 113132669A
Authority
CN
China
Prior art keywords
video
frame
video frame
webrtc
retransmission packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110437067.1A
Other languages
English (en)
Other versions
CN113132669B (zh
Inventor
冯涛
游炳坤
林昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ringslink Xiamen Network Communication Technologies Co ltd
Original Assignee
Ringslink Xiamen Network Communication Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ringslink Xiamen Network Communication Technologies Co ltd filed Critical Ringslink Xiamen Network Communication Technologies Co ltd
Priority to CN202110437067.1A priority Critical patent/CN113132669B/zh
Publication of CN113132669A publication Critical patent/CN113132669A/zh
Application granted granted Critical
Publication of CN113132669B publication Critical patent/CN113132669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及视频通话技术领域，具体是一种基于WebRTC弱网环境视频质量提升方法、系统及存储介质，基于WebRTC弱网环境视频质量提升方法，为依据视频帧类型逐步清理，包括：判断视频帧类型是否为关键帧，若不是，则跳过该帧；若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；若超过阀值，则清除已缓存该帧的所有包；依次判断已缓存的所有视频帧。本发明增加了重发包序列号列表判断机制，依据视频帧类型逐步清理，而不是无脑完全清空，增加已缓存的、非完整视频帧利用率，防止视频跳帧现象，提升了用户的视频通话体验，适宜进一步推广应用。

Description

基于WebRTC弱网环境视频质量提升方法、系统及存储介质
技术领域
本发明涉及视频通话技术领域，具体是一种基于WebRTC弱网环境视频质量提升方法、系统及存储介质。
背景技术
原WebRTC框架中在进行重发包序列号列表清理过程中存在一些比较生涩和不合理的流程：即每次都将关键帧之前的重发包序列号列表完全清空，而没有考虑当前列表的实际状态，会致使出现重发包序列号列表处理缺陷，将已经部分缓存的视频帧完全清除，导致获取图像帧时，要不然直接无法获取，要不然获取的是不完整的视频帧，导致马赛克、花屏、残影现象，影响通话体验和用户主观感受。
发明内容
针对上述问题，本发明提出一种基于WebRTC弱网环境视频质量提升方法、系统及存储介质。
本发明通过以下技术方案予以实现：
一种基于WebRTC弱网环境视频质量提升方法，依据视频帧类型逐步清理，包括：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；
若超过阀值，则清除已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
进一步的，当视频帧能够解码或重发包序列号列表过大时，依据视频帧类型逐步清理。
进一步的，对接收到的视频帧数据包进行数据重排和缓存，将已接收到的数据缓存到包队列中等候新包插入，判断该视频帧数据包是否均已到达；
若该视频帧所有包都已到达，则完整性标志位做置位；
若存在遗漏的包，则将其序列号保存到重发包序列号队列中，并发送给发送端进行重发操作；
发送端接收到重发包队列后，根据当前网络状态判断是否发送重发包序列。
进一步的，若发送端评估当前网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送重发包序列，否则不发送。
发明进一步提供了一种基于WebRTC弱网环境视频质量提升系统，包括：
接收器，用于视频通话时接收数据包；
缓存区，用于缓存接收器接收的数据包，对数据包按照不同的视频帧进行存储，并按照序列号重新排序，同时检测遗漏包数据，将遗漏包的序列号保存到重发包序列号队列中，并发送给另一端的发送器进行重发操作；
发送器，用于完成设备视频、音频帧的发送，以及接收重发包队列后判断当前网络状态是否发送重发包序列；
编码控制器，用于视频帧能够解码或重发包序列号列表过大时，依据视频帧类型对视频帧进行逐步清理。
进一步的，若发送端评估当前网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送器发送重发包序列，否则不发送。
进一步的，依据视频帧类型对视频帧进行逐步清理方式，具体如下：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；
若超过阀值，则清空已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
在具有相同硬件基础的情况下，本发明方法具有一定的通配性，因此，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述基于WebRTC弱网环境视频质量提升方法。
与现有技术相比，本发明具有以下有益效果：
本发明增加了重发包序列号列表判断机制，依据视频帧类型逐步清理，而不是无脑完全清空，增加已缓存的、非完整视频帧利用率，防止视频跳帧现象，提升了用户的视频通话体验，适宜进一步推广应用。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
一种基于WebRTC弱网环境视频质量提升方法，为依据视频帧类型逐步清理，包括：
对接收到的视频帧数据包进行数据重排和缓存，将已接收到的数据缓存到包队列中等候新包插入，判断该视频帧数据包是否均已到达；
若该视频帧所有包都已到达，则完整性标志位做置位；
若存在遗漏的包，则将其序列号保存到重发包序列号队列中，并发送给发送端进行重发操作；
发送端接收到重发包队列后，根据当前网络状态判断是否发送重发包序列；即若发送端评估当前网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送重发包序列，否则不发送。
当视频帧能够解码或重发包序列号列表过大时，依据视频帧类型逐步清理，具体如下：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值(其中阀值为经验值)；若未超过阀值则不进行清理；
若超过阀值，则清除已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
本发明增加了重发包序列号列表判断机制，依据视频帧类型逐步清理，而不是无脑完全清空，增加已缓存的、非完整视频帧利用率，防止视频跳帧现象。
本实施例进一步提供了一种基于WebRTC弱网环境视频质量提升系统，包括：
接收器，用于视频通话时接收数据包；
缓存区，用于缓存接收器接收的数据包，对数据包按照不同的视频帧进行存储，并按照序列号重新排序，同时检测遗漏包数据，将遗漏包的序列号保存到重发包序列号队列中，并发送给另一端的发送器进行重发操作；
作为进一步改进的，在排序过程中，缓存区完成遗漏包数据摸查，将遗漏包的序列号增加到重发包序列号队列中，完成遗漏包的序列号登记，方便后续查询。
发送器，用于完成设备视频、音频帧的发送，以及接收重发包队列后判断当前网络状态是否发送重发包序列；若评估当前网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送器发送重发包序列，否则不发送。
编码控制器，用于视频帧能够解码或重发包序列号列表过大时，依据视频帧类型对视频帧进行逐步清理，具体如下：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；
若超过阀值，则清空已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于WebRTC弱网环境视频质量提升方法，其特征在于，依据视频帧类型逐步清理，包括：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；
若超过阀值，则清除已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
2.根据权利要求1所述的基于WebRTC弱网环境视频质量提升的解决方法，其特征在于,当视频帧能够解码或重发包序列号列表过大时，依据视频帧类型逐步清理。
3.根据权利要求2所述的基于WebRTC弱网环境视频质量提升的解决方法，其特征在于,对接收到的视频帧数据包进行数据重排和缓存，将已接收到的数据缓存到包队列中等候新包插入，判断该视频帧数据包是否均已到达；
若该视频帧所有包都已到达，则完整性标志位做置位；
若存在遗漏的包，则将其序列号保存到重发包序列号队列中，并发送给发送端进行重发操作；
发送端接收到重发包队列后，根据当前网络状态判断是否发送重发包序列。
4.根据权利要求3所述的基于WebRTC弱网环境视频质量提升的解决方法，其特征在于,发送器会进行网络状态评估：若网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送重发包序列，否则不发送。
5.一种基于WebRTC弱网环境视频质量提升系统，其特征在于，包括：
接收器，用于视频通话时接收数据包；
缓存区，用于缓存接收器接收的数据包，对数据包按照不同的视频帧进行存储，并按照序列号重新排序，同时检测遗漏包数据，将遗漏包的序列号保存到重发包序列号队列中，并发送给另一端的发送器进行重发操作；
发送器，用于完成设备视频、音频帧的发送，以及接收重发包队列后判断当前网络状态是否发送重发包序列；
编码控制器，用于视频帧能够解码或重发包序列号列表过大时，依据视频帧类型对视频帧进行逐步清理。
6.根据权利要求5所述的基于WebRTC弱网环境视频质量提升系统，其特征在于，若发送端评估当前网络丢包率小于40％、抖动小于100ms、延迟小于200ms，则发送器发送重发包序列，否则不发送。
7.根据权利要求5所述的基于WebRTC弱网环境视频质量提升系统，其特征在于，依据视频帧类型对视频帧进行逐步清理方式，具体如下：
判断视频帧类型是否为关键帧，若不是，则跳过该帧；
若是，则判断该帧缓存大小是否超过预设阀值；若未超过阀值则不进行清理；
若超过阀值，则清空已缓存该帧的所有包；
依次判断已缓存的所有视频帧。
8.一种计算机可读的存储介质，其特征在于：所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现如权利要求1至4之一所述的基于WebRTC弱网环境视频质量提升方法。
CN202110437067.1A 2021-04-22 2021-04-22 基于WebRTC弱网环境视频质量提升方法、系统及存储介质 Active CN113132669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437067.1A CN113132669B (zh) 2021-04-22 2021-04-22 基于WebRTC弱网环境视频质量提升方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437067.1A CN113132669B (zh) 2021-04-22 2021-04-22 基于WebRTC弱网环境视频质量提升方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113132669A true CN113132669A (zh) 2021-07-16
CN113132669B CN113132669B (zh) 2022-08-12

Family

ID=76779465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437067.1A Active CN113132669B (zh) 2021-04-22 2021-04-22 基于WebRTC弱网环境视频质量提升方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113132669B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439976A (zh) * 2023-12-13 2024-01-23 深圳大数信科技术有限公司 基于WebRTC的音视频通话系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618382B1 (en) * 1999-02-16 2003-09-09 Cisco Technology, Inc. Auto early packet discard (EPD) mechanism for automatically enabling EPD on an asynchronous transfer mode (ATM) network
US20040120334A1 (en) * 2002-12-20 2004-06-24 Lsi Logic Corporation Flow control enhancement
CN101360058A (zh) * 2008-09-08 2009-02-04 华为技术有限公司 一种控制缓存溢出的方法及装置
US20110252155A1 (en) * 2010-04-12 2011-10-13 Shyam Parekh Queue management unit and method for streaming video packets in a wireless network
CN102932667A (zh) * 2012-11-15 2013-02-13 掌赢信息科技（上海）有限公司 一种实时流媒体上传中的丢帧控制与续传方法及系统
CN104869461A (zh) * 2015-05-22 2015-08-26 南京创维信息技术研究院有限公司 视频数据处理系统及方法
WO2015188678A1 (zh) * 2014-06-13 2015-12-17 珠海全志科技股份有限公司 移动设备视频流传输控制方法及系统
CN108052280A (zh) * 2017-11-29 2018-05-18 努比亚技术有限公司 一种缓存数据的删除方法、终端和计算机可读存储介质
CN108769450A (zh) * 2018-06-21 2018-11-06 深圳市道通智能航空技术有限公司 数据传输控制方法、信息发送端、接收端及飞行器图传系统
WO2019080022A1 (zh) * 2017-10-26 2019-05-02 天彩电子（深圳）有限公司 网络视频流传输拥塞控制方法及装置
CN110798734A (zh) * 2018-08-02 2020-02-14 广州视源电子科技股份有限公司 视频帧的缓存和转发方法、装置和计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618382B1 (en) * 1999-02-16 2003-09-09 Cisco Technology, Inc. Auto early packet discard (EPD) mechanism for automatically enabling EPD on an asynchronous transfer mode (ATM) network
US20040120334A1 (en) * 2002-12-20 2004-06-24 Lsi Logic Corporation Flow control enhancement
CN101360058A (zh) * 2008-09-08 2009-02-04 华为技术有限公司 一种控制缓存溢出的方法及装置
US20110252155A1 (en) * 2010-04-12 2011-10-13 Shyam Parekh Queue management unit and method for streaming video packets in a wireless network
CN102932667A (zh) * 2012-11-15 2013-02-13 掌赢信息科技（上海）有限公司 一种实时流媒体上传中的丢帧控制与续传方法及系统
WO2015188678A1 (zh) * 2014-06-13 2015-12-17 珠海全志科技股份有限公司 移动设备视频流传输控制方法及系统
CN104869461A (zh) * 2015-05-22 2015-08-26 南京创维信息技术研究院有限公司 视频数据处理系统及方法
WO2019080022A1 (zh) * 2017-10-26 2019-05-02 天彩电子（深圳）有限公司 网络视频流传输拥塞控制方法及装置
CN108052280A (zh) * 2017-11-29 2018-05-18 努比亚技术有限公司 一种缓存数据的删除方法、终端和计算机可读存储介质
CN108769450A (zh) * 2018-06-21 2018-11-06 深圳市道通智能航空技术有限公司 数据传输控制方法、信息发送端、接收端及飞行器图传系统
CN110798734A (zh) * 2018-08-02 2020-02-14 广州视源电子科技股份有限公司 视频帧的缓存和转发方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439976A (zh) * 2023-12-13 2024-01-23 深圳大数信科技术有限公司 基于WebRTC的音视频通话系统
CN117439976B (zh) * 2023-12-13 2024-03-26 深圳大数信科技术有限公司 基于WebRTC的音视频通话系统

Also Published As

Publication number Publication date
CN113132669B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN108696773B (zh) 一种实时视频的传输方法及装置
CN107231328B (zh) 实时视频传输方法、装置、设备及系统
EP2493105A1 (en) Method and system for recovering lost media data packets
EP1842381B1 (en) System, transmitter, receiver, method and software for transmitting and receiving ordered sets of video frames
EP1241837B1 (en) Transmitting/receiving method and device therefor
CN108696772B (zh) 一种实时视频的传输方法及装置
EP1301041A1 (en) Video data transmission method and apparatus
JPH10247944A (ja) 中継制御装置および方法
US8867340B2 (en) Discarded packet indicator
CN109155707B (zh) 在多播网络中请求数据重传
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
CN113132669B (zh) 基于WebRTC弱网环境视频质量提升方法、系统及存储介质
JP5170798B2 (ja) 伝送レート制御装置及び伝送レート制御方法
CN107592185A (zh) 一种适用于网络编码传输控制协议的前向重传方法
CN108696771A (zh) 一种视频播放方法及装置
CN111163362A (zh) 一种自适应重传等待时间的视频接收方法及系统
CN107801049A (zh) 一种实时视频传送、播放方法及装置
CN110602568B (zh) 一种基于rtp的视频流传输丢包重传方法、设备及存储设备
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
US20030076813A1 (en) Method and packet switched communication network with enhanced session establishment
CN107580781A (zh) 视频编码器
CN111447253B (zh) 缓冲区管理方法、系统、设备及存储介质
CN109996088A (zh) 一种直播数据处理方法及装置
CN110381319A (zh) 图像编解码方法及装置
CN114513620A (zh) 基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant