CN117014695B - 一种弱网环境下提升视频会议质量的方法 - Google Patents

一种弱网环境下提升视频会议质量的方法 Download PDF

Info

Publication number
CN117014695B
CN117014695B CN202311289344.4A CN202311289344A CN117014695B CN 117014695 B CN117014695 B CN 117014695B CN 202311289344 A CN202311289344 A CN 202311289344A CN 117014695 B CN117014695 B CN 117014695B
Authority
CN
China
Prior art keywords
data
transmitted
network
transmission
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311289344.4A
Other languages
English (en)
Other versions
CN117014695A (zh
Inventor
石金川
朱正辉
赵定金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Baolun Electronics Co ltd
Original Assignee
Guangdong Baolun Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Baolun Electronics Co ltd filed Critical Guangdong Baolun Electronics Co ltd
Priority to CN202311289344.4A priority Critical patent/CN117014695B/zh
Publication of CN117014695A publication Critical patent/CN117014695A/zh
Application granted granted Critical
Publication of CN117014695B publication Critical patent/CN117014695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频通话技术领域,尤其涉及一种弱网环境下提升视频会议质量的方法,包括步骤S1,对视频会议数据包进行拆分,步骤S2,确定当前网络环境,步骤S3,根据网络环境选择数据处理方法与传输路径。本发明通过设置两套网络对视频数据进行分配传输,减少传输时间,从而避免网络延迟过高,提高传输稳定性,通过服务器将视频会议数据分解,保障数据传输处理与管理有效,通过服务器判定当前数据传输时的网络状况,根据第一弱网环境与第二弱网环境选择传输数据与处理数据的方法,以实现自适应传输视频数据,通过对音频流与图片帧进行二次打包,增加数据包数目,不但减少数据传输时间,而且降低丢包率,以提高视频会议质量。

Description

一种弱网环境下提升视频会议质量的方法
技术领域
本发明涉及视频通话技术领域,尤其涉及一种弱网环境下提升视频会议质量的方法。
背景技术
视频会议是一种通过互联网实现远程交流的方式,需要借助网络进行数据传输,若用户位置远离信号源,若多个用户同时连接到同一个网络或在同一个区域使用网络时,若其他无线设备干扰无线信号,若网络设备出现故障或配置错误,若信号传输过程遇到建筑物、墙壁等物理障碍,若遇到恶劣天气,这些情况单独存在或同时存在,会影响无线信号的传输质量或者导致网络连接变弱或不稳定,造成弱网环境,因此亟需一种弱网环境下提升视频会议质量的方法,通过调整视频会议设置、优化网络配置、使用专业视频会议工具等方法的综合应用,最大程度地优化网络连接和视频会议设置,使视频会议在有限的网络资源下任能够提供较好的质量,以满足用户通过视频会议进行远程交流的需求。
中国专利公开号:CN115174846A,公开了一种弱网环境下提升视频会议质量的方法、系统、终端及介质,其技术点是通过实时评估网络状况,自动切换到弱网模式,采取带宽自适应、视频伸缩技术等技术,达到保证视频会议流畅性的目的,并在低码率和低分辨率下,对注意力区域采用目标检测、超分辨率等技术计算,达到保证视频会议的视频质量、清晰度的目的;由此可见,在现有的弱网环境下提升视频会议质量的技术中,缺乏根据网络状况自动调整视频质量,以自适应进行数据传输。
发明内容
为此,本发明提供一种弱网环境下提升视频会议质量的方法,用以克服现有技术中不能在弱网环境下将二次打包后的视频数据选择分流传输以提升会议视频质量的问题。
为实现上述目的,本发明提供一种弱网环境下提升视频会议质量的方法,包括,
步骤S1,通过服务器获取任一客户端的视频会议数据包拆分为输入视频数据与输出视频数据,设置有两套网络对视频会议数据进行传输,两套所述网络包括第一网络与第二网络,将视频会议数据分解为音频流和图片帧,所述音频流通过第一网络传输,所述图片帧通过第二网络传输,并通过调整音频流和图片帧通过两套所述网络的传输路径与占比对视频会议数据进行传输;
步骤S2,所述服务器能够获取当前传输数据的实时网络延迟与实时丢包率,根据设定的预设网络延迟范围对实时网络延迟进行判定,并根据设定的预设丢包率范围对实时丢包率进行判定,以确定传输视频会议数据时的当前网络状况;
步骤S3,在第一弱网环境下,编辑设备将当前音频流转为文本数据,将当前图片帧进行删减处理生成修正图片帧后,所述编辑设备与分配设备对待传输数据进行分流传输处理;在第二弱网环境下,所述编辑设备与所述分配设备对待传输数据直接进行分流传输处理;
分流传输处理包括,所述编辑设备根据任一待传输数据的实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包,所述分配设备对进行二次打包处理后的待传输数据进行分流传输处理,根据各标准传输量范围与对应的待传输数据量进行判定,并在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,将该分流传输量与另一网络传输余量进行对比,以确定是否对在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,当前网络状况包括网络状况正常、第一弱网环境以及第二弱网环境。
进一步地,在所述步骤S2中,根据预设网络延迟范围对实时网络延迟的判定过程为,
若实时网络延迟小于预设网络延迟范围,判定网络环境正常;
若实时网络延迟在预设网络延迟范围内,将根据标准丢包率对实时丢包率进行判定,以确定传输视频会议数据时的网络状况;
若实时网络延迟大于预设网络延迟范围,判定传输视频会议数据时的网络状况为第一弱网环境。
进一步地,所述预设丢包率范围,包括第一丢包率与第二丢包率,所述服务器在判定实时网络延迟在预设网络延迟范围内时,根据第一丢包率与第二丢包率对实时丢包率进行判定,
若实时丢包率小于等于第一丢包率,判定传输视频会议数据时的网络环境正常;
若实时丢包率在第一丢包率与第二丢包率间,判定传输视频会议数据时的网络环境为第一弱网环境,将视频会议数据记为待传输数据;
若实时丢包率大于等于第二丢包率,判定传输视频会议数据时的网络环境为第二弱网环境。
进一步地,在所述步骤S3中,在第一弱网环境下,编辑设备获取音频流进行剪切处理,提取出声音流,通过语音识别对声音流进行转化处理,其中,
若能够将声音流识别为文本数据,则将文本数据作为处理结果并记作待传输数据;
若无法将声音流识别为文本数据,则获取上一传输的音频流,以对当前声音流进行语音识别;
第一弱网环境为所述服务器在判定实时网络延迟大于预设网络延迟范围或实时丢包率在第一丢包率与第二丢包率间。
进一步地,在无法将声音流转为文本数据时,获取上一传输的音频流,进行剪切处理,提取出声音流与当前声音流进行合并,并通过语音识别进行转化处理,其中,
若能够将合并后的声音流转换为文本数据,则将该文本数据作为处理结果并记作待传输数据;
若无法将合并后的声音流转换为文本数据,则重复上述获取上一传输的音频流提取出声音流进行合并的操作,直至通过语音识别能够将合并后的声音流转为文本数据时停止。
进一步地,在无法将合并声音流转为文本数据时,获取上一传输的音频流,并提取出声音流,其中,
若上一传输的音频流中不存在对应的声音流,则判定停止该音频流中该声音流的传输,并在接收下一传输的音频流时,提取对应的声音流进行合并,将合并后的声音流转为文本数据,并将该文本数据作为处理结果并记作待传输数据。
进一步地,在所述步骤S3中,所述服务器内设置有标准重合率,在第一弱网环境下,获取当前传输的图片帧中对应的位置信息与上一传输的图片帧对应的位置信息,并计算该图片帧与历史图片帧之间的实时重合率,根据标准重合率对实时重合率进行判定,
若实时重合率小于等于标准重合率,则所述编辑设备对当前图片帧进行删减处理生成修正图片帧并记作待传输数据;
若实时重合率大于标准重合率,所述编辑设备将当前图片帧进行删除处理。
进一步地,在所述步骤S3中,在第一弱网环境或第二弱网环境下,所述编辑设备对任一待传输数据进行分流传输处理,获取单位时长内任一待传输数据的实时数据包数,根据实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包;
其中,修正数据包数为实时数据包数的a倍,a为数据包数目修正系数;
待传输数据包括,第一弱网环境下的文本数据与修正图片帧,或第二弱网环境下的音频流与图片帧。
进一步地,所述分配设备内设置有标准传输量差与单位时间,在第一弱网环境或第二弱网环境下,分配设备对进行二次打包处理后的待传输数据进行分流传输处理,分别获取单位时间内两套所述网络的实时传输速度与对应的下一单位时长的待传输数据量,分别根据单位时间、实时传输速度与标准传输量差计算标准传输量范围,将各标准传输量范围与对应的待传输数据量进行对比,
若任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围,对该网络的待传输数据进行切换分流处理;
若两套网络的待传输数据量均在对应的标准传输量范围内,所述分配设备不对待传输数据进行分流切换处理;
其中,ΔBb=Bb±ΔBc,Bb=Δt×Vs,ΔBb为表示为任一所述网络的标准传输量范围,Bb为任一所述网络的标准传输量,ΔBc为设定的标准传输量差,Δt为设定的单位时间,Vs为任一所述网络的实时传输速度。
进一步地,所述分配设备在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,对该网络的待传输数据进行切换分流处理,分配设备计算该网络的分流传输量与另一网络的网络传输余量,将该分流传输量与另一网络传输余量进行对比,
若该分流传输量小于等于另一网络传输余量,所述分配设备将对在该网络传输的待传输数据以该分流传输量切换分流至另一所述网络进行传输;
若该分流传输量大于另一网络传输余量,所述分配设备对该分流传输量进行修正,将另一网络传输余量记作修正分流传输量,分配设备将在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,待传输数据为通过第一网络传输的音频流或文本数据,通过第二网络传输的图片帧或修正图片帧;
网络传输余量为所述分配设备判定该网络待传输数据量小于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值;
分流传输量为所述分配设备判定该网络待传输数据量大于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值的一半。
与现有技术相比,本发明的有益效果在于,通过设置两套网络对视频数据进行分流传输,提高传输稳定性,通过服务器将视频会议数据分解,保障数据传输处理与管理有效,通过设定的预设网络延迟范围与预设丢包率范围,以服务器判定当前数据传输时的网络状况,及时确定出弱网环境,根据第一弱网环境与第二弱网环境选择传输数据与处理数据的方法,以实现自适应传输视频数据,提高视频会议质量,满足客户端的通信需求,通过将音频流转化为文本数据以及对图片帧进行删减处理,减小传输量,通过对音频流与图片帧进行二次打包,增加数据包数目,不但减少数据传输时间,而且降低丢包率,通过调整对音频流和或图片帧的传输路径与占比,减少传输时间,从而避免网络延迟过高,以提高视频会议质量。
进一步地,通过设定预设网络延迟范围,以服务器根据预设网络延迟范围对实时网络延迟进行判定,若服务器判定实时网络延迟小于预设网络延迟范围,表示视频数据从发送端到接收端的传输时间较小,传输状况良好,即网络状况良好,若服务器判定实时网络延迟在预设网络延迟范围内,表示视频数据从发送端到接收端的传输时间微长,将根据标准丢包率对实时丢包率进行判定,以确定传输视频会议数据时的网络状况,若服务器判定实时网络延迟大于预设网络延迟范围,表示网络延迟程度高,当前网络状况差。
进一步地,通过设定第一丢包率与第二丢包率,以服务器根据第一丢包率与第二丢包率对实时丢包率进行判定,若服务器判定实时丢包率小于等于第一丢包率,表示丢包率较低,即网络环境良好,若服务器判定实时丢包率在第一丢包率与第二丢包率间,表示丢包率较高,即网络环境为弱网环境,若服务器判定实时丢包率大于等于第二丢包率,表示丢包率很高,通过不对视频数据进行删减处理,即增加冗余数据的包数,以减小丢包率。
进一步地,通过对音频流进行剪切处理,将静音部分或含有噪音的音频流进行降噪处理,有助于提取出人声数据,通过将人声数据转化为文本数据,减小传输数据量,减少传输时间,从而降低网络延迟程度,提升视频会议质量,文本转化对人声数据进行处理,若服务器判定无法将人声数据转换为文本数据,表示当前音频流人声数据量很小,则通过与上一音频流合并,即获取较为完整的人声数据,再进行文本转换,保证将音频流转化为文本信息,保障获取的信息有效。
尤其,通过重复获取上一传输的音频流提取出人声数据进行合并的操作,保障文本转化的完整性与有效性,直至通过文本转换能够将合并后的人声数据转换为文本数据时停止转化处理操作,保障服务器运行有效与输出文本简要性以及流畅性,避免生成冗余文本。
尤其,若服务器判定上一传输的音频流中不存在对应的人声数据,表示上一传输音频流人声数据量较少,服务器无法将音频流转化为文本数据,则服务器判定停止该音频流中该人声数据的传输,则通过在接收下一传输的音频流时,提取对应的人声数据进行合并,将合并后的人声数据转换为文本数据,保障输出文本的连贯性与连续性,从而保障输出文本有效。
进一步地,通过设定标准重合率,以服务器在图片帧传输过程对当前静态图像与上一图片帧传输过程的静态图像进行对比,由于当前图片帧与上一图片帧为连续帧传输,因此,若静态图像未发生变化,则判定无需对当前图片帧进行传输,即无需对客户端接收到的上一图片进行更新。
进一步地,通过增加数据包的数目,减小每个数据包的数据量,若丢失一个数据包,则数据量损失量相应减少,从而降低丢包率,将数据拆分为更小的数据包以减少传输时间,从而降低网络延迟。
进一步地,通过根据两套网络的传输状况调整当前传输数据量,保证较大的传输量,以提高传输速率与传输稳定性,通过设置标准传输量差,与标准传输量构成标准传输量范围,以分配设备根据标准传输量范围对即将要传输的数据量进行判定,若分配设备判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围,表示两套网络中一套网络的传输量小,而另一套网络的传输量大,则通过将传输量大的部分数据更换网络传输,以减少传输时间,提高传输速率。
进一步地,通过计算切换网络的传输余量,保障切换分流有效,避免切换至另一网络的数据量冗余,导致无效分流操作。
附图说明
图1为本发明实施例弱网环境下提升视频会议质量的方法的流程图;
图2为本发明实施例视频会议系统的连接示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1与图2所示,其中,图1为本发明实施例弱网环境下提升视频会议质量的方法的流程图,图2为本发明实施例视频会议系统的连接示意图,本发明提供了一种弱网环境下提升视频会议质量的方法,包括,
步骤S1,通过服务器获取任一客户端的视频会议数据包拆分为输入视频数据与输出视频数据,设置有两套网络对视频会议数据进行传输,两套所述网络包括第一网络与第二网络,将视频会议数据分解为音频流和图片帧,所述音频流通过第一网络传输,所述图片帧通过第二网络传输,并通过调整音频流和图片帧通过两套所述网络的传输路径与占比对视频会议数据进行传输;
步骤S2,所述服务器能够获取当前传输数据的实时网络延迟与实时丢包率,根据设定的预设网络延迟范围对实时网络延迟进行判定,并根据设定的预设丢包率范围对实时丢包率进行判定,以确定传输视频会议数据时的当前网络状况;
步骤S3,在第一弱网环境下,编辑设备将当前音频流转为文本数据,将当前图片帧进行删减处理生成修正图片帧后,所述编辑设备与分配设备对待传输数据进行分流传输处理;在第二弱网环境下,所述编辑设备与所述分配设备对待传输数据直接进行分流传输处理;
分流传输处理包括,所述编辑设备根据任一待传输数据的实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包,所述分配设备对进行二次打包处理后的待传输数据进行分流传输处理,根据各标准传输量范围与对应的待传输数据量进行判定,并在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,将该分流传输量与另一网络传输余量进行对比,以确定是否对在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,当前网络状况包括网络状况正常、第一弱网环境以及第二弱网环境。
通过设置两套网络对视频数据进行分配传输,提高传输稳定性,通过服务器将视频会议数据分解,保障数据传输处理与管理有效,通过设定的预设网络延迟范围与预设丢包率范围,以服务器判定当前数据传输时的网络状况,及时确定出弱网环境,根据第一弱网环境与第二弱网环境选择传输数据与处理数据的方法,以实现自适应传输视频数据,提高视频会议质量,满足客户端的通信需求,通过将音频数据转化为文本数据以及对图片数据进行删减处理,减小传输量,通过对音频数据与图片数据进行二次打包,增加数据包数目,不但减少数据传输时间,而且降低丢包率,通过调整对音频数据和或图片数据的传输路径与占比,减少传输时间,从而避免网络延迟过高,以提高视频会议质量。
具体而言,在所述步骤S2中,根据预设网络延迟范围对实时网络延迟的判定过程为,
若实时网络延迟小于预设网络延迟范围,判定网络环境正常;
若实时网络延迟在预设网络延迟范围内,将根据标准丢包率对实时丢包率进行判定,以确定传输视频会议数据时的网络状况;
若实时网络延迟大于预设网络延迟范围,判定传输视频会议数据时的网络状况为第一弱网环境。
预设网络延迟范围表示设定的视频数据从发送端到接收端的传输时间,设定值与网络设备性能与网络拓扑结构有关,也可以根据客户端需求设定;
通过设定预设网络延迟范围,以服务器根据预设网络延迟范围对实时网络延迟进行判定,若服务器判定实时网络延迟小于预设网络延迟范围,表示视频数据从发送端到接收端的传输时间较小,传输状况良好,即网络状况良好,若服务器判定实时网络延迟在预设网络延迟范围内,表示视频数据从发送端到接收端的传输时间微长,将根据标准丢包率对实时丢包率进行判定,以确定传输视频会议数据时的网络状况,若服务器判定实时网络延迟大于预设网络延迟范围,表示网络延迟程度高,当前网络状况差。
具体而言,所述预设丢包率范围,包括第一丢包率与第二丢包率,所述服务器在判定实时网络延迟在预设网络延迟范围内时,根据第一丢包率与第二丢包率对实时丢包率进行判定,
若实时丢包率小于等于第一丢包率,判定传输视频会议数据时的网络环境正常;
若实时丢包率在第一丢包率与第二丢包率间,判定传输视频会议数据时的网络环境为第一弱网环境,将视频会议数据记为待传输数据;
若实时丢包率大于等于第二丢包率,判定传输视频会议数据时的网络环境为第二弱网环境。
预设丢包率范围表示设定的丢失的数据包占传输的总数据包的占比,一般第一丢包率设定为1.5%,第二丢包率设定为4%;
通过设定第一丢包率与第二丢包率,以服务器根据第一丢包率与第二丢包率对实时丢包率进行判定,若服务器判定实时丢包率小于等于第一丢包率,表示丢包率较低,即网络环境良好,若服务器判定实时丢包率在第一丢包率与第二丢包率间,表示丢包率较高,即网络环境为弱网环境,若服务器判定实时丢包率大于等于第二丢包率,表示丢包率很高,通过不对视频数据进行删减处理,即增加冗余数据的包数,以减小丢包率。
具体而言,在所述步骤S3中,在第一弱网环境下,编辑设备获取音频流进行剪切处理,提取出声音流,通过语音识别对声音流进行转化处理,其中,
若能够将声音流识别为文本数据,则将文本数据作为处理结果并记作待传输数据;
若无法将声音流识别为文本数据,则获取上一传输的音频流,以对当前声音流进行语音识别;
第一弱网环境为所述服务器在判定实时网络延迟大于预设网络延迟范围或实时丢包率在第一丢包率与第二丢包率间。
通过对音频流进行剪切处理,将静音部分或含有噪音的音频流进行降噪处理,有助于提取出人声数据,通过将人声数据转化为文本数据,减小传输数据量,减少传输时间,从而降低网络延迟程度,提升视频会议质量,文本转化对人声数据进行处理,若服务器判定无法将人声数据转换为文本数据,表示当前音频流人声数据量很小,则通过与上一音频流合并,即获取较为完整的人声数据,再进行文本转换,保证将音频流转化为文本信息,保障获取的信息有效。
具体而言,在无法将声音流转为文本数据时,获取上一传输的音频流,进行剪切处理,提取出声音流与当前声音流进行合并,并通过语音识别进行转化处理,其中,
若能够将合并后的声音流转换为文本数据,则将该文本数据作为处理结果并记作待传输数据;
若无法将合并后的声音流转换为文本数据,则重复上述获取上一传输的音频流提取出声音流进行合并的操作,直至通过语音识别能够将合并后的声音流转为文本数据时停止。
通过重复获取上一传输的音频流提取出人声数据进行合并的操作,保障文本转化的完整性与有效性,直至通过文本转换能够将合并后的人声数据转换为文本数据时停止转化处理操作,保障服务器运行有效与输出文本简要性以及流畅性,避免生成冗余文本。
具体而言,在无法将合并声音流转为文本数据时,获取上一传输的音频流,并提取出声音流,其中,
若上一传输的音频流中不存在对应的声音流,则判定停止该音频流中该声音流的传输,并在接收下一传输的音频流时,提取对应的声音流进行合并,将合并后的声音流转为文本数据,并将该文本数据作为处理结果并记作待传输数据。
若服务器判定上一传输的音频流中不存在对应的人声数据,表示上一传输音频流人声数据量较少,服务器无法将音频流转化为文本数据,则服务器判定停止该音频流中该人声数据的传输,则通过在接收下一传输的音频流时,提取对应的人声数据进行合并,将合并后的人声数据转换为文本数据,保障输出文本的连贯性与连续性,从而保障输出文本有效。
具体而言,在所述步骤S3中,所述服务器内设置有标准重合率,在第一弱网环境下,获取当前传输的图片帧中对应的位置信息与上一传输的图片帧对应的位置信息,并计算该图片帧与历史图片帧之间的实时重合率,根据标准重合率对实时重合率进行判定,
若实时重合率小于等于标准重合率,则所述编辑设备对当前图片帧进行删减处理生成修正图片帧并记作待传输数据;
若实时重合率大于标准重合率,所述编辑设备将当前图片帧进行删除处理。
标准重合率表示设定的相邻两帧图片的相似度,根据会议图片内容设定,可以设定为90%;
通过设定标准重合率,以服务器在图片帧传输过程对当前静态图像与上一图片帧传输过程的静态图像进行对比,由于当前图片帧与上一图片帧为连续帧传输,因此,若静态图像未发生变化,则判定无需对当前图片帧进行传输,即无需对客户端接收到的上一图片进行更新。
具体而言,在所述步骤S3中,在第一弱网环境或第二弱网环境下,所述编辑设备对任一待传输数据进行分流传输处理,获取单位时长内任一待传输数据的实时数据包数,根据实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包;
其中,修正数据包数为实时数据包数的a倍,a为数据包数目修正系数;
待传输数据包括,第一弱网环境下的文本数据与修正图片帧,或第二弱网环境下的音频流与图片帧。
a为大于一的数值,设定值与客户端应用需求与应用场景有关,一般设定为2-3之间;
通过增加数据包的数目,减小每个数据包的数据量,若丢失一个数据包,则数据量损失量相应减少,从而降低丢包率,将数据拆分为更小的数据包以减少传输时间,从而降低网络延迟。
具体而言,所述分配设备内设置有标准传输量差与单位时间,在第一弱网环境或第二弱网环境下,分配设备对进行二次打包处理后的待传输数据进行分流传输处理,分别获取单位时间内两套所述网络的实时传输速度与对应的下一单位时长的待传输数据量,分别根据单位时间、实时传输速度与标准传输量差计算标准传输量范围,将各标准传输量范围与对应的待传输数据量进行对比,
若任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围,对该网络的待传输数据进行切换分流处理;
若两套网络的待传输数据量均在对应的标准传输量范围内,所述分配设备不对待传输数据进行分流切换处理;
其中,ΔBb=Bb±ΔBc,Bb=Δt×Vs,ΔBb为表示为任一所述网络的标准传输量范围,Bb为任一所述网络的标准传输量,ΔBc为设定的标准传输量差,Δt为设定的单位时间,Vs为任一所述网络的实时传输速度。
传输速度表示单位时间内从一客户端传输至分配设备的数据量,单位时间为一秒;标准传输量为网络每秒传输的量;
标准传输量差表示设定的传输量的值,单位为字节;
通过根据两套网络的传输状况调整当前传输数据量,保证较大的传输量,以提高传输速率与传输稳定性,通过设置标准传输量差,与标准传输量构成标准传输量范围,以分配设备根据标准传输量范围对即将要传输的数据量进行判定,若分配设备判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围,表示两套网络中一套网络的传输量小,而另一套网络的传输量大,则通过将传输量大的部分数据更换网络传输,以减少传输时间,提高传输速率。
具体而言,所述分配设备在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,对该网络的待传输数据进行切换分流处理,分配设备计算该网络的分流传输量与另一网络的网络传输余量,将该分流传输量与另一网络传输余量进行对比,
若该分流传输量小于等于另一网络传输余量,所述分配设备将对在该网络传输的待传输数据以该分流传输量切换分流至另一所述网络进行传输;
若该分流传输量大于另一网络传输余量,所述分配设备对该分流传输量进行修正,将另一网络传输余量记作修正分流传输量,分配设备将在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,待传输数据为通过第一网络传输的音频流或文本数据,通过第二网络传输的图片帧或修正图片帧;
网络传输余量为所述分配设备判定该网络待传输数据量小于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值;
分流传输量为所述分配设备判定该网络待传输数据量大于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值的一半。
通过计算切换网络的传输余量,保障切换分流有效,避免切换至另一网络的数据量冗余,导致无效分流操作。
具体而言,所述视频会议系统包括,所述服务器以及分别与所述服务器相连的各所述客户端,所述服务器包括编辑设备与分配设备,任一所述客户端包括发送端、接收端以及处理器,所述处理器能够对接收端接收的文本数据以及图片帧分别进行整合。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。 凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种弱网环境下提升视频会议质量的方法,其特征在于,包括,
步骤S1,通过服务器获取任一客户端的视频会议数据包拆分为输入视频数据与输出视频数据,设置有两套网络对视频会议数据进行传输,两套所述网络包括第一网络与第二网络,将视频会议数据分解为音频流和图片帧,所述音频流通过第一网络传输,所述图片帧通过第二网络传输,并通过调整音频流和图片帧通过两套所述网络的传输路径与占比对视频会议数据进行传输;
步骤S2,所述服务器能够获取当前传输数据的实时网络延迟与实时丢包率,根据设定的预设网络延迟范围对实时网络延迟进行判定,并根据设定的预设丢包率范围对实时丢包率进行判定,以确定传输视频会议数据时的当前网络状况;
步骤S3,在第一弱网环境下,编辑设备将当前音频流转为文本数据,将当前图片帧进行删减处理生成修正图片帧,所述编辑设备与分配设备对待传输数据进行分流传输处理;在第二弱网环境下,所述编辑设备与所述分配设备对待传输数据直接进行分流传输处理;
所述分流传输处理包括,所述编辑设备根据任一待传输数据的实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包,所述分配设备对进行二次打包处理后的待传输数据进行分流传输处理,根据各标准传输量范围与对应的待传输数据量进行判定,并在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,将该分流传输量与另一网络传输余量进行对比,以确定是否对在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,当前网络状况包括网络状况正常、第一弱网环境以及第二弱网环境。
2.根据权利要求1所述的弱网环境下提升视频会议质量的方法,其特征在于,在所述步骤S2中,根据预设网络延迟范围对实时网络延迟的判定过程为,
若实时网络延迟小于预设网络延迟范围,判定网络环境正常;
若实时网络延迟在预设网络延迟范围内,将根据标准丢包率对实时丢包率进行判定,以确定传输视频会议数据时的网络状况;
若实时网络延迟大于预设网络延迟范围,判定传输视频会议数据时的网络状况为第一弱网环境。
3.根据权利要求2所述的弱网环境下提升视频会议质量的方法,其特征在于,所述预设丢包率范围,包括第一丢包率与第二丢包率,所述服务器在判定实时网络延迟在预设网络延迟范围内时,根据第一丢包率与第二丢包率对实时丢包率进行判定,
若实时丢包率小于等于第一丢包率,判定传输视频会议数据时的网络环境正常;
若实时丢包率在第一丢包率与第二丢包率间,判定传输视频会议数据时的网络环境为第一弱网环境,将视频会议数据记为待传输数据;
若实时丢包率大于等于第二丢包率,判定传输视频会议数据时的网络环境为第二弱网环境。
4.根据权利要求3所述的弱网环境下提升视频会议质量的方法,其特征在于,在所述步骤S3中,在第一弱网环境下,编辑设备获取音频流进行剪切处理,提取出声音流,通过语音识别对声音流进行转化处理,其中,
若能够将声音流识别为文本数据,则将文本数据作为处理结果并记作待传输数据;
若无法将声音流识别为文本数据,则获取上一传输的音频流,以对当前声音流进行语音识别;
第一弱网环境为所述服务器在判定实时网络延迟大于预设网络延迟范围或实时丢包率在第一丢包率与第二丢包率间。
5.根据权利要求4所述的弱网环境下提升视频会议质量的方法,其特征在于,在无法将声音流转为文本数据时,获取上一传输的音频流,进行剪切处理,提取出声音流与当前声音流进行合并,并通过语音识别进行转化处理,其中,
若能够将合并后的声音流转换为文本数据,则将该文本数据作为处理结果并记作待传输数据;
若无法将合并后的声音流转换为文本数据,则重复上述获取上一传输的音频流提取出声音流进行合并的操作,直至通过语音识别能够将合并后的声音流转为文本数据时停止。
6.根据权利要求5所述的弱网环境下提升视频会议质量的方法,其特征在于,在无法将合并声音流转为文本数据时,获取上一传输的音频流,并提取出声音流,其中,
若上一传输的音频流中不存在对应的声音流,则判定停止该音频流中该声音流的传输,并在接收下一传输的音频流时,提取对应的声音流进行合并,将合并后的声音流转为文本数据,并将该文本数据作为处理结果并记作待传输数据。
7.根据权利要求6所述的弱网环境下提升视频会议质量的方法,其特征在于,在所述步骤S3中,所述服务器内设置有标准重合率,在第一弱网环境下,获取当前传输的图片帧中对应的位置信息与上一传输的图片帧对应的位置信息,并计算该图片帧与历史图片帧之间的实时重合率,根据标准重合率对实时重合率进行判定,
若实时重合率小于等于标准重合率,则所述编辑设备对当前图片帧进行删减处理生成修正图片帧并记作待传输数据;
若实时重合率大于标准重合率,所述编辑设备将当前图片帧进行删除处理。
8.根据权利要求7所述的弱网环境下提升视频会议质量的方法,其特征在于,在所述步骤S3中,在第一弱网环境或第二弱网环境下,所述编辑设备对任一待传输数据进行分流传输处理,获取单位时长内任一待传输数据的实时数据包数,根据实时数据包数与数据包数目修正系数计算对应的修正数据包数,对待传输数据以对应的修正数据包数进行二次打包;
其中,修正数据包数为实时数据包数的a倍,a为数据包数目修正系数;
待传输数据包括,第一弱网环境下的文本数据与修正图片帧,或第二弱网环境下的音频流与图片帧。
9.根据权利要求8所述的弱网环境下提升视频会议质量的方法,其特征在于,所述分配设备内设置有标准传输量差与单位时间,在第一弱网环境或第二弱网环境下,分配设备对进行二次打包处理后的待传输数据进行分流传输处理,分别获取单位时间内两套所述网络的实时传输速度与对应的下一单位时长的待传输数据量,分别根据单位时间、实时传输速度与标准传输量差计算标准传输量范围,将各标准传输量范围与对应的待传输数据量进行对比,
若任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围,对该网络的待传输数据进行切换分流处理;
若两套网络的待传输数据量均在对应的标准传输量范围内,所述分配设备不对待传输数据进行分流切换处理;
其中,ΔBb=Bb±ΔBc,Bb=Δt×Vs,ΔBb为表示为任一所述网络的标准传输量范围,Bb为任一所述网络的标准传输量,ΔBc为设定的标准传输量差,Δt为设定的单位时间,Vs为任一所述网络的实时传输速度。
10.根据权利要求9所述的弱网环境下提升视频会议质量的方法,其特征在于,所述分配设备在判定任一所述网络的待传输数据量大于对应的标准传输量范围且另一所述网络的待传输数据量小于对应的标准传输量范围时,对该网络的待传输数据进行切换分流处理,分配设备计算该网络的分流传输量与另一网络的网络传输余量,将该分流传输量与另一网络传输余量进行对比,
若该分流传输量小于等于另一网络传输余量,所述分配设备将对在该网络传输的待传输数据以该分流传输量切换分流至另一所述网络进行传输;
若该分流传输量大于另一网络传输余量,所述分配设备对该分流传输量进行修正,将另一网络传输余量记作修正分流传输量,分配设备将在该网络传输的待传输数据以修正分流传输量切换分流至另一所述网络进行传输;
其中,待传输数据为通过第一网络传输的音频流或文本数据,通过第二网络传输的图片帧或修正图片帧;
网络传输余量为所述分配设备判定该网络待传输数据量小于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值;
分流传输量为所述分配设备判定该网络待传输数据量大于对应的标准传输量范围时,待传输数据量与标准传输量的差值的绝对值的一半。
CN202311289344.4A 2023-10-08 2023-10-08 一种弱网环境下提升视频会议质量的方法 Active CN117014695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311289344.4A CN117014695B (zh) 2023-10-08 2023-10-08 一种弱网环境下提升视频会议质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311289344.4A CN117014695B (zh) 2023-10-08 2023-10-08 一种弱网环境下提升视频会议质量的方法

Publications (2)

Publication Number Publication Date
CN117014695A CN117014695A (zh) 2023-11-07
CN117014695B true CN117014695B (zh) 2024-02-09

Family

ID=88574775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311289344.4A Active CN117014695B (zh) 2023-10-08 2023-10-08 一种弱网环境下提升视频会议质量的方法

Country Status (1)

Country Link
CN (1) CN117014695B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117255172B (zh) * 2023-11-13 2024-02-09 广东保伦电子股份有限公司 一种处理视频会议中媒体流的方法
CN117615093A (zh) * 2023-11-14 2024-02-27 江门市麦德利电子科技有限公司 一种无线远程视频会议设备及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286370A (zh) * 2021-07-23 2021-08-20 广州乐盈信息科技股份有限公司 无线网络中通信的信道时间分配和访问控制处理方法
CN113766169A (zh) * 2021-09-16 2021-12-07 江苏三步科技股份有限公司 一种弱网环境下的音视频数据传输系统、优化设备及方法
CN115174846A (zh) * 2022-07-06 2022-10-11 四川湖山电器股份有限公司 弱网环境下提升视频会议质量的方法、系统、终端及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286370A (zh) * 2021-07-23 2021-08-20 广州乐盈信息科技股份有限公司 无线网络中通信的信道时间分配和访问控制处理方法
CN113766169A (zh) * 2021-09-16 2021-12-07 江苏三步科技股份有限公司 一种弱网环境下的音视频数据传输系统、优化设备及方法
CN115174846A (zh) * 2022-07-06 2022-10-11 四川湖山电器股份有限公司 弱网环境下提升视频会议质量的方法、系统、终端及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控系统中实时流媒体传输控制方法的设计;杨建锋;孟利民;;浙江工业大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN117014695A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN117014695B (zh) 一种弱网环境下提升视频会议质量的方法
US11349900B2 (en) Voice encoding and sending method and apparatus
Bolot et al. Scalable feedback control for multicast video distribution in the internet
JP4584804B2 (ja) ビデオビットストリームの伝送方法及び装置
US7920492B1 (en) Devices, softwares and methods for redundantly encoding a data stream for network transmission with adjustable redundant-coding delay
US20060238608A1 (en) Method of providing video call service in mobile station in a weak signal environment
CN105472477A (zh) 一种数据传输方法、装置及设备
JP2001177573A (ja) データ通信システム並びにデータ受信端末及びデータ送信端末
JPH06284148A (ja) 動画通信制御方法及び通信制御装置
US7509553B2 (en) Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product
JP2006140984A (ja) 特定メディアデータの破棄を制御する送信装置及び送信プログラム
CN111741248B (zh) 一种数据传输方法、装置、终端设备和存储介质
JP2007516669A (ja) データおよび対応するプロダクトを送信する準備のための装置と方法
JP2006128997A (ja) 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム
CN101312536B (zh) 一种用于视频传输差错控制的视频编码方法及装置
KR20050009061A (ko) 모바일 애드 혹 네트워크 환경에서 효율적인 데이터송수신을 위한 네트워크 장치 및 데이터 전송 방법
US8649277B2 (en) Communication apparatus and method
JP2008211579A (ja) 映像品質推定方法および映像通信システム
CN113824969B (zh) 用于全景多媒体流传输的方法和系统
CN109714316B (zh) 一种视联网的混音处理方法和一种视联网系统
CN110958415B (zh) 基于单平台网络监测动态调整媒体传输的方法
CN108429705B (zh) 一种链路带宽分配方法及装置
CN114638237A (zh) 一种实现同声传译的方法、装置及系统
CN117255172B (zh) 一种处理视频会议中媒体流的方法
CN113411646B (zh) 云转播码率调节方法、装置、可读存储介质及云转播系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant