CN117439976A - 基于WebRTC的音视频通话系统 - Google Patents

基于WebRTC的音视频通话系统 Download PDF

Info

Publication number
CN117439976A
CN117439976A CN202311704820.4A CN202311704820A CN117439976A CN 117439976 A CN117439976 A CN 117439976A CN 202311704820 A CN202311704820 A CN 202311704820A CN 117439976 A CN117439976 A CN 117439976A
Authority
CN
China
Prior art keywords
transmission
audio
data
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311704820.4A
Other languages
English (en)
Other versions
CN117439976B (zh
Inventor
王海龙
姜华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dashu Xinke Technology Co ltd
Original Assignee
Shenzhen Dashu Xinke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dashu Xinke Technology Co ltd filed Critical Shenzhen Dashu Xinke Technology Co ltd
Priority to CN202311704820.4A priority Critical patent/CN117439976B/zh
Publication of CN117439976A publication Critical patent/CN117439976A/zh
Application granted granted Critical
Publication of CN117439976B publication Critical patent/CN117439976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1108—Web based protocols, e.g. webRTC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及视频通话技术领域，尤其涉及一种基于WebRTC的音视频通话系统，包括：若干用户端、捕获处理模块、连接建立模块、媒体传输模块、检测模块以及拦截处理模块，通过计算用户之间的图像数据传输的同步差异度判断音视频通话中各个用户之间的同步效果，根据用户端接受的图像数据量与通过信息交互通道的图像数据量判断是否缺失，判断同步度低或者数据缺失的原因，并使用对应解决方式解决，提高了音视频通话质量；本发明通过计算图像传输同步差异度和图像传输完整度判断是否被用户所在设备的安全系统拦截影响通话，提高了通话质量，扩大了音视频通话的使用范围。

Description

基于WebRTC的音视频通话系统
技术领域
本发明涉及视频通话技术领域，尤其涉及一种基于WebRTC的音视频通话系统。
背景技术
WebRTC (Web Real-Time Communications) 是一种实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点的连接，实现视频流和（或）音频流或者其他任意数据的传输。为保证在通话质量和用户体验，需要在系统设计和实施中进行综合考虑使用WebRTC进行音视频通话时需要考虑网络带宽和稳定性、NAT穿透和防火墙、设备兼容性、安全性和隐私保护可能影响通讯质量的问题。
中国专利公开号：CN116260929A公开了一种基于WebRTC的音视频通话和录制方法及系统，包括：创建WebSocket连接，通过WebSocket协商传输方式，通过WebRTC采集音视频数据并根据协商的传输方式进行音视频数据传输，通过WebRTC的音视频编解码器编码和解码音视频数据来实现音视频的通话功能，录制模块根据需要录制音视频数据到本地进行保存，该发明统一了调解过程中的沟通途径，所有文字、图片、录音、实时音视频数据等都可以直接保存留档，节省了中间繁琐的操作；由此可见，所述基于WebRTC的音视频通话和录制方法及系统存在以下问题：未考虑在保存信息与传输音视频数据时，因设备的安全系统拦截导致存储信息丢失或通话功能无法达到预期效果，从而影响通讯质量与录制质量。
发明内容
为此，本发明提供一种基于WebRTC的音视频通话系统，用以克服现有技术中未考虑在保存信息与传输音视频数据时，因设备的安全系统拦截导致传输数据丢失或通话功能无法达到预期效果的问题。
为实现上述目的，本发明提供一种基于WebRTC的音视频通话系统，包括：
若干用户端，用以获取用户的音视频通话请求，并提供各用户端间的音视频交流界面；
捕获处理模块，其与各所述用户端相连，用以使用各个所述用户端的摄像头和麦克风来捕获音频数据和图像数据，并对音频数据和图像数据进行处理和编码；
连接建立模块，其与所述捕获处理模块相连，用以建立所述用户端之间的实时传输协议，并提供各个用户端之间的信息交互通道，信息交互通道用以传输建立连接的用户端的所述音频数据、所述图像数据，以及文件数据；
媒体传输模块，其与所述连接建立模块相连，用以根据各个所述用户端的数据传输请求获取单个所述用户端需上传的对应类别的数据，在各类上传数据中根据用户端需求对传输数据周期性添加时间戳，将各类数据通过对应的所述信息交互通道进行传输，并获取上传各类数据在周期内通过信息交互通道传输的总数据量；
检测模块，其分别与所述捕获处理模块、所述连接建立模块以及所述媒体传输模块相连，用以检测各个所述用户端接收时间戳的时间以及数据传输后的数据总量，根据各个用户端接收的时间戳与预设传输时间计算图像传输同步差异度，以及根据数据传输后的图像数据量计算音视频通话的图像传输完整度；
拦截处理模块，其与所述检测模块和所述媒体传输模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端的安全系统的拦截类型，根据拦截类型确定对应的拦截处理方式，以及根据拦截处理后的检测结果和计算结果判断调整后的数据传输是否达到音视频通话同步度标准。
进一步地，所述信息交互通道包括图像传输通道、音频传输通道以及数据传输通道；
其中，所述图像传输通道处于常开状态，所述音频传输通道和数据传输通道根据所述用户端的数据传输请求确定开启状态。
进一步地，所述用户端包括：
用户等级确定单元，其用以确定当前音视频通话中使用的各用户的操作等级；
用户权限控制单元，其与所述用户等级确定单元相连，用以根据用户操作等级确定对应的用时间戳频率添加权限；
文件数据上传单元，其用以临时存储用户上传的所述音频数据和所述文件数据。
进一步地，所述媒体传输模块根据所述用户端发出的各类数据传输请求，确定各数据对应的信息交互通道是否开启以及开启后的工作状态；
其中，所述信息交互通道的工作状态根据数据传输请求频率确定。
进一步地，所述拦截处理模块包括：
拦截分析单元，其与所述检测模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端的安全系统的拦截类型，以及，根据拦截类型确定对应的拦截处理方式；
权限申请单元，其与所述拦截分析单元相连，用以向用户端的安全系统发出对应的通过申请以提高音视频传输速率；
中继服务单元，其与所述权限申请单元相连，中继服务单元设置有若干中继服务器，用以通过中继服务器形成中继连接完成用户端各类数据的传输。
进一步的，所述同步差异度根据下式确定：，其中，α为同步差异度，Δtmax为两个用户端之间最长时间间隔，Δtmin为两个用户端之间最短时间间隔，Δt0为预设时间间隔差。
进一步地，所述图像传输完整度根据所述用户端接收的图像数据总量与所述媒体传输模块获取的图像数据总量的数据量比值确定；
其中，所述图像传输完整度与所述用户端接收的图像数据总量为正比关系。
进一步地，所述拦截处理模块根据所述图像传输同步差异度与所述图像传输完整度确定对应的拦截处理方式；
其中，所述拦截处理方式包括限流处理方式和禁行处理方式；
所述限流处理方式为，所述权限申请单元向所述安全系统发出图像数据通过申请，若申请未通过，则增加用户端之间的信息交互通道数量；
所述禁行处理方式为，所述中继服务单元使用中继服务器进行数据传输；
所述限流处理方式的使用条件满足所述图像传输同步差异度高于预设同步差异度且所述图像传输完整度大于等于预设完整度；所述禁行处理方式的使用条件满足所述图像传输完整度低于预设完整度。
进一步地，所述检测模块计算调整后的数据传输过程的所述图像传输同步差异度与音频传输同步差异度，所述拦截处理模块根据调整后的图像传输同步差异度与音频传输同步差异度确定通话同步度是否达到所述音视频通话同步度标准。
进一步地，所述拦截处理模块在处理所述安全系统的拦截情况后，根据数据传输完整度判断是否进行通话增强：
若数据传输完整度仍低于需求完整度，所述拦截处理模块向所述媒体传输模块发出图像分辨率降低指令，以降低单位时间的数据传输量；
所述数据传输完整度包括图像传输完整度和音频传输完整度。
与现有技术相比，本发明的有益效果在于，本发明通过将音视频通话的数据分为图像数据、音频数据和文件数据，并分别设置对应的数据交互通道，提高了对应数据的传输效率，并且通过计算用户之间的图像数据传输的同步差异度判断音视频通话中各个用户之间的同步效果，根据用户端接受的图像数据量与通过信息交互通道的图像数据量判断是否缺失，判断同步度低或者数据缺失的原因，并使用对应解决方式解决，提高了音视频通话质量；本发明通过计算图像传输同步差异度和图像传输完整度判断是否被用户所在设备的安全系统拦截影响通话，提高了通话质量，扩大了音视频通话的使用范围。
进一步地，在本发明基于WebRTC的音视频通话系统中，将各个不同的信息种类使用不同的通道传输，可以保证不同种类的信息传输质量，并且不同的信息交互通道设置不同的状态，可以减少通话中外界因素的干扰，保证音视频通话系统的通话质量。
进一步地，在本发明基于WebRTC的音视频通话系统中，根据用户等级确定用户的时间戳频率添加权限，可以保证在不同的音视频通话中，根据当前通话的重要程度保证对应的通话质量，提高了音视频通话系统的通话质量，扩大了音视频通话系统的使用范围。
进一步的，在本发明基于WebRTC的音视频通话系统中，信息交互通道的工作状态根据音视频通话中用户的实际使用状态确定，可以及时切换保证用户在音视频通话中的使用需求，同时可以避免对音视频通话资源的浪费或因为外界其他干扰，如噪音等影响通话质量。
进一步地，在本发明基于WebRTC的音视频通话系统中，根据时间戳确定当前周期内各个用户端接收数据的同步差异度是否符合要求，在检测的同时不干扰通话质量，且使用时间戳判断用户间的同步度的合理性更高，为后续数据传输调整提供数据基础。
进一步地，在本发明基于WebRTC的音视频通话系统中，通过用户端接收的图像数据总量与媒体传输模块获取的图像数据总量对比确定图像数据在音视频通话中是否发生缺失以及缺失程度，在音视频通话中，图像数据占比最大，因此计算图像传输完整度来判断传输中是否出现缺失，使得判断结果更加准确合理。
进一步地，在本发明基于WebRTC的音视频通话系统中，优先根据图像传输完整度确定拦截处理方式，因在音视频通话中，数据发生缺失的严重程度大于数据传输延迟，因此优先判断图像传输完整度，使得音视频通话的基本功能得到优先保证。
附图说明
图1为本发明实施例基于WebRTC的音视频通话系统的结构示意图；
图2为本发明实施例基于WebRTC的音视频通话系统的用户端的结构示意图；
图3为本发明实施例基于WebRTC的音视频通话系统的拦截处理模块的结构示意图；
图4为本发明实施例基于WebRTC的音视频通话系统的确定拦截处理方式的流程图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例基于WebRTC的音视频通话系统的结构示意图，本发明提供一种基于WebRTC的音视频通话系统，包括：
若干用户端，用以获取用户的音视频通话请求，并提供各用户端间的音视频交流界面；
捕获处理模块，其与各所述用户端相连，用以使用各个所述用户端的摄像头和麦克风来捕获音频数据和图像数据，并对音频数据和图像数据进行处理和编码；
连接建立模块，其与所述捕获处理模块相连，用以建立所述用户端之间的实时传输协议，并提供各个用户端之间的信息交互通道，信息交互通道用以传输建立连接的用户端的所述音频数据、所述图像数据，以及文件数据；
媒体传输模块，其与所述连接建立模块相连，用以根据各个所述用户端的数据传输请求获取单个所述用户端需上传的对应类别的数据，在各类上传数据中根据用户端需求对传输数据周期性添加时间戳，将各类数据通过对应的所述信息交互通道进行传输，并获取上传各类数据在周期内通过信息交互通道传输的总数据量；
检测模块，其分别与所述捕获处理模块、所述连接建立模块以及所述媒体传输模块相连，用以检测各个所述用户端接收时间戳的时间以及数据传输后的数据总量，根据各个用户端接收的时间戳与预设传输时间计算图像传输同步差异度，以及根据数据传输后的图像数据量计算音视频通话的图像传输完整度；
拦截处理模块，其与所述检测模块和所述媒体传输模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端安全系统拦截类型，根据拦截类型确定对应的拦截处理方式，以及根据拦截处理后的检测结果和计算结果判断调整后的数据传输是否达到音视频通话同步度标准。
WebRTC会议的数据传输方式是通过实时传输协议（Real-time TransportProtocol, RTP）进行的，RTP是一种用于实时传输音频和视频数据的协议，它可以将音频和图像数据分成小的数据包，并通过网络进行传输，在WebRTC会议中，每个参会对象的音频和视频数据会被分别封装成RTP数据包，并通过网络传输给其他参会对象。
具体而言，所述信息交互通道包括图像传输通道、音频传输通道以及数据传输通道；
其中，所述图像传输通道处于常开状态，所述音频传输通道和数据传输通道根据所述用户端的数据传输请求确定开启状态。
在实施中，在音视频通话中，各个用户的视频通话界面处于常开状态，因此对图像需求为一个持续需求状态，图像传输通道为常开状态；音频传输和文件传输非持续性传输，则音频传输通道与数据传输通道根据用户请求可以确定其开启状态是否为常开状态；
其中，用户可以根据自己在音视频通话中的需求控制音频传输通道的开启方式，可以短时开启，例如该用户仅需在通话中说一句话，音频传输通道短时开启，若用户发言频率高，则音频通道可以为常开状态，但是并非处于持续传输状态，可以根据检测到用户发出语音时开启音频传输。
在本发明基于WebRTC的音视频通话系统中，将各个不同的信息种类使用不同的通道传输，可以保证不同种类的信息传输质量，并且不同的信息交互通道设置不同的状态，可以减少通话中外界因素的干扰，保证音视频通话系统的通话质量。
请参阅图2所示，其为本发明实施例基于WebRTC的音视频通话系统的用户端的结构示意图，所述用户端包括：
用户等级确定单元，其用以确定当前音视频通话中使用的各用户的操作等级；
用户权限控制单元，其与所述用户等级确定单元相连，用以根据用户操作等级确定对应的用时间戳频率添加权限；
文件数据上传单元，其用以临时存储用户上传的所述音频数据和所述文件数据。
时间戳是一个用于标记事件发生时间的数值或字符串，在计算机科学和通信领域，时间戳通常用于记录和比较事件的顺序和间隔，时间戳可以表示绝对时间，即从一个确定的起点开始计算的时间值，也可以表示相对时间，即相对于其他事件或参考点的时间间隔。
在多人会议中，时间戳可以用于同步参会对象之间的数据，通过为每个数据包或事件添加时间戳，可以确保接收方可以根据时间戳来恢复出正确的顺序，并进行同步处理。时间戳通常使用毫秒、微秒或纳秒等单位来表示。
在实施中，音视频通话的发起用户可以根据本次通话的保密程度或者重要程度确定本次通话的操作等级，并且法器用户可以确定其他用户的操作等级，例如控制其他用户是否可以发言或者传输文件；
可以理解的是，用户的操作等级越高，意味着本次音视频通话的重要程度越高，则对应的对会议质量要求越高，增加时间戳的添加频率，保证在重要通话中避免出现信息传达不准确，从而保证在金融或者科技等严谨信息的准确性。
在本发明基于WebRTC的音视频通话系统中，根据用户等级确定用户的时间戳频率添加权限，可以保证在不同的音视频通话中，根据当前通话的重要程度保证对应的通话质量，提高了音视频通话系统的通话质量，扩大了音视频通话系统的使用范围。
具体而言，所述媒体传输模块根据所述用户端发出的各类数据传输请求，确定各数据对应的信息交互通道是否开启以及开启后的工作状态；
其中，所述信息交互通道的工作状态根据数据传输请求频率确定。
在实施中，若某用户的音频传输通道在一定时间内短时开启的频率达到音视频通话中常开状态的音频传输通道传输频率的80%，则系统自动切换该用户的音频传输通道为常开状态，并向用户发出切换提示；若某一音频传输通道的用户在一定时间内音频的传输频率低于音频传输频率最高用户的50%，则系统将该用户的音频传输通道切换为需申请的短时开启状态，并向用户发出切换提示。
在本发明基于WebRTC的音视频通话系统中，信息交互通道的工作状态根据音视频通话中用户的实际使用状态确定，可以及时切换保证用户在音视频通话中的使用需求，同时可以避免对音视频通话资源的浪费或因为外界其他干扰，如噪音等影响通话质量。
请参阅图3所示，其为本发明实施例基于WebRTC的音视频通话系统的拦截处理模块的结构示意图，所述拦截处理模块包括：
拦截分析单元，其与所述检测模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端的安全系统的拦截类型，以及，根据拦截类型确定对应的拦截处理方式；
权限申请单元，其与所述拦截分析单元相连，用以向用户端的安全系统发出对应的通过申请以提高音视频传输速率；
中继服务单元，其与所述权限申请单元相连，中继服务单元设置有若干中继服务器，用以通过中继服务器形成中继连接完成用户端各类数据的传输。
具体而言，所述同步差异度根据下式确定：，其中，α为同步差异度，Δtmax为两个用户端之间最长时间间隔，Δtmin为两个用户端之间最短时间间隔，Δt0为预设时间间隔差。
在实施中，预设时间间隔差根据用户操作等级确定，每个操作等级设置有对应的预设时间间隔差，操作等级越高，预设的时间间隔差越短；可以理解的是，同步差异度值越大，说明用户之间的通话同步性越差，一般的，同步差异度小于等于1时，判定为同步差异度符合预设同步差异度；同步差异度包括图像传输同步差异度和音频传输同步差异度，且图像传输同步差异度和音频传输同步差异度的计算方法相同。
在实际音视频通话中，操作权限越高的用户，可以根据实际需要调整预设时间间隔差，从而根据通话内容选择更能保证通话质量或者更能保证通话流畅度的预设时间间隔差达到用户预期的通话质量；
在本发明基于WebRTC的音视频通话系统中，根据时间戳确定当前周期内各个用户端接收数据的同步差异度是否符合要求，在检测的同时不干扰通话质量，且使用时间戳判断用户间的同步度的合理性更高，为后续数据传输调整提供数据基础。
具体而言，所述图像传输完整度根据所述用户端接收的图像数据总量与所述媒体传输模块获取的图像数据总量的数据量比值确定；
其中，所述图像传输完整度与所述用户端接收的图像数据总量为正比关系。
在实施中，图像传输完整度根据下式确定，图像传输完整度β=N/N0,其中，β为图像传输完整度，N为用户端接收的图像数据总量，N0为媒体传输模块获取的图像数据总量，β≤1，β越小说明在音视频通话中图像数据缺失量越大。
在本发明基于WebRTC的音视频通话系统中，通过用户端接收的图像数据总量与媒体传输模块获取的图像数据总量对比确定图像数据在音视频通话中是否发生缺失以及缺失程度，在音视频通话中，图像数据占比最大，因此计算图像传输完整度来判断传输中是否出现缺失，使得判断结果更加准确合理。
请参阅图4所示，其为本发明实施例基于WebRTC的音视频通话系统的确定拦截处理方式的流程图，所述拦截处理模块根据所述图像传输同步差异度与所述图像传输完整度确定对应的拦截处理方式；
其中，所述拦截处理方式包括限流处理方式和禁行处理方式；
所述限流处理方式为，所述权限申请单元向所述安全系统发出图像数据通过申请，若申请未通过，则增加用户端之间的信息交互通道数量；
所述禁行处理方式为，所述中继服务单元使用中继服务器进行数据传输；
所述限流处理方式的使用条件满足所述图像传输同步差异度高于预设同步差异度且所述图像传输完整度大于等于预设完整度；所述禁行处理方式的使用条件满足所述图像传输完整度低于预设完整度。
在实施中，一般的，安全系统可以为用户所在设备的任何保护系统，如防火墙等对用户所在设备进行保护的系统，在此不做明确要求，拦截方式包括限流情况拦截和禁行情况拦截，限流情况拦截为安全系统不允许音视频通话系统在单位时间通过音视频通话的数据量，禁行情况拦截为安全系统禁止音视频通话系统的音视频通话数据传输；
在安全系统使用限流情况拦截时，拦截处理模块使用限流处理方式，在安全系统使用禁行情况拦截时，拦截处理模块使用禁行处理方式。
优先根据图像传输完整度确定拦截处理方式，预设完整度根据权限等级确定，不同的权限等级预设有不同的预设完整度，例如，当前音视频通话中最高权限等级为5，最低权限等级为1，则权限等级5的预设完整度为0.98，权限等级4的预设完整度为0.95，权限等级1的预设完整度为0.8；
预设同步差异度根据用户的权限等级确定，不同的权限等级预设有不同的预设同步差异度，在图像传输同步差异度小于1时，不论任何权限等级，均为符合同步差异度要求；权限等级越高，预设同步差异度越小，例如，当前音视频通话中最高权限等级为5，最低权限等级为1，则权限等级5的预设同步差异度为1.05，权限等级1的预设同步差异度为1.3。
在本发明基于WebRTC的音视频通话系统中，优先根据图像传输完整度确定拦截处理方式，因在音视频通话中，数据发生缺失的严重程度大于数据传输延迟，因此优先判断图像传输完整度，使得音视频通话的基本功能得到优先保证。
具体而言，所述检测模块计算调整后的数据传输过程的所述图像传输同步差异度与音频传输同步差异度，所述拦截处理模块根据调整后的图像传输同步差异度与音频传输同步差异度确定通话同步度是否达到所述音视频通话同步度标准。
在实施中，通话同步指的是在音视频通话中，用户之间对于当前通话内容的接收时间的同步性；
通话同步度标准统一设置为图像传输同步差异度与音频传输同步差异度差值不超过0.2，图像传输同步差异度与音频传输同步差异度差值越小，说明在音视频通话中音频与对应图像的同步程度越高，越能体现基于WebRTC的音视频通话的实时性。
具体而言，所述拦截处理模块在处理所述安全系统的拦截情况后，根据数据传输完整度判断是否进行通话增强：
若数据传输完整度仍低于需求完整度，所述拦截处理模块向所述媒体传输模块发出图像分辨率降低指令，以降低单位时间的数据传输量；
所述数据传输完整度包括图像传输完整度和音频传输完整度。
在实施中，拦截情况指的是设备安全系统使用限流情况拦截或禁行情况拦截对音视频通话中的某用户进行拦截；
在排除用户端设备的安全系统对通话数据传输的影响后，若数据传输完整度仍低于要求，则说明该用户的网络环境无法支持当前分辨率的图像，则通过降低该用户的图像分辨率来保证通话质量，避免该用户在通话中缺失重要信息；
在图像传输完整度和音频传输完整度中，任意一个完整度低于其预设完整度时，拦截处理模块均发送图像分辨率降低指令；音频传输完整度的确定方式与图像传输完整度确定方式相同，且预设值同样根据权限等级确定，不同的权限等级中有不同的预设音频传输完整度。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于WebRTC的音视频通话系统，其特征在于，包括：
若干用户端，用以获取用户的音视频通话请求，并提供各用户端间的音视频交流界面；
捕获处理模块，其与各所述用户端相连，用以使用各个所述用户端的摄像头和麦克风来捕获音频数据和图像数据，并对音频数据和图像数据进行处理和编码；
连接建立模块，其与所述捕获处理模块相连，用以建立所述用户端之间的实时传输协议，并提供各个用户端之间的信息交互通道，信息交互通道用以传输建立连接的用户端的所述音频数据、所述图像数据，以及文件数据；
媒体传输模块，其与所述连接建立模块相连，用以根据各个所述用户端的数据传输请求获取单个所述用户端需上传的对应类别的数据，在各类上传数据中根据用户端需求对传输数据周期性添加时间戳，将各类数据通过对应的所述信息交互通道进行传输，并获取上传各类数据在周期内通过信息交互通道传输的总数据量；
检测模块，其分别与所述捕获处理模块、所述连接建立模块以及所述媒体传输模块相连，用以检测各个所述用户端接收时间戳的时间以及数据传输后的数据总量，根据各个用户端接收的时间戳与预设传输时间计算图像传输同步差异度，以及根据数据传输后的图像数据量计算音视频通话的图像传输完整度；
拦截处理模块，其与所述检测模块和所述媒体传输模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端的安全系统的拦截类型，根据拦截类型确定对应的拦截处理方式，以及根据拦截处理后的检测结果和计算结果判断调整后的数据传输是否达到音视频通话同步度标准。
2.根据权利要求1所述的基于WebRTC的音视频通话系统，其特征在于，所述信息交互通道包括图像传输通道、音频传输通道以及数据传输通道；
其中，所述图像传输通道处于常开状态，所述音频传输通道和数据传输通道根据所述用户端的数据传输请求确定开启状态。
3.根据权利要求2所述的基于WebRTC的音视频通话系统，其特征在于，所述用户端包括：
用户等级确定单元，其用以确定当前音视频通话中使用的各用户的操作等级；
用户权限控制单元，其与所述用户等级确定单元相连，用以根据用户操作等级确定对应的用时间戳频率添加权限；
文件数据上传单元，其用以临时存储用户上传的所述音频数据和所述文件数据。
4.根据权利要求3所述的基于WebRTC的音视频通话系统，其特征在于，所述媒体传输模块根据所述用户端发出的各类数据传输请求，确定各数据对应的信息交互通道是否开启以及开启后的工作状态；
其中，所述信息交互通道的工作状态根据数据传输请求频率确定。
5.根据权利要求4所述的基于WebRTC的音视频通话系统，其特征在于，所述拦截处理模块包括：
拦截分析单元，其与所述检测模块相连，用以根据所述图像传输同步差异度和所述图像传输完整度判断在传输过程中遇到的用户端的安全系统的拦截类型，以及，根据拦截类型确定对应的拦截处理方式；
权限申请单元，其与所述拦截分析单元相连，用以向用户端的安全系统发出对应的通过申请以提高音视频传输速率；
中继服务单元，其与所述权限申请单元相连，中继服务单元设置有若干中继服务器，用以通过中继服务器形成中继连接完成用户端各类数据的传输。
6.根据权利要求5所述的基于WebRTC的音视频通话系统，其特征在于，所述同步差异度根据下式确定：，其中，α为同步差异度，Δtmax为两个用户端之间最长时间间隔，Δtmin为两个用户端之间最短时间间隔，Δt0为预设时间间隔差。
7.根据权利要求6所述的基于WebRTC的音视频通话系统，其特征在于，所述图像传输完整度根据所述用户端接收的图像数据总量与所述媒体传输模块获取的图像数据总量的数据量比值确定；
其中，所述图像传输完整度与所述用户端接收的图像数据总量为正比关系。
8.根据权利要求7所述的基于WebRTC的音视频通话系统，其特征在于，所述拦截处理模块根据所述图像传输同步差异度与所述图像传输完整度确定对应的拦截处理方式；
其中，所述拦截处理方式包括限流处理方式和禁行处理方式；
所述限流处理方式为，所述权限申请单元向所述安全系统发出图像数据通过申请，若申请未通过，则增加用户端之间的信息交互通道数量；
所述禁行处理方式为，所述中继服务单元使用中继服务器进行数据传输；
所述限流处理方式的使用条件满足所述图像传输同步差异度高于预设同步差异度且所述图像传输完整度大于等于预设完整度；所述禁行处理方式的使用条件满足所述图像传输完整度低于预设完整度。
9.根据权利要求8所述的基于WebRTC的音视频通话系统，其特征在于，所述检测模块计算调整后的数据传输过程的所述图像传输同步差异度与音频传输同步差异度，所述拦截处理模块根据调整后的图像传输同步差异度与音频传输同步差异度确定通话同步度是否达到所述音视频通话同步度标准。
10.根据权利要求9所述的基于WebRTC的音视频通话系统，其特征在于，所述拦截处理模块在处理所述安全系统的拦截情况后，根据数据传输完整度判断是否进行通话增强：
若数据传输完整度仍低于需求完整度，所述拦截处理模块向所述媒体传输模块发出图像分辨率降低指令，以降低单位时间的数据传输量；
所述数据传输完整度包括图像传输完整度和音频传输完整度。
CN202311704820.4A 2023-12-13 2023-12-13 基于WebRTC的音视频通话系统 Active CN117439976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311704820.4A CN117439976B (zh) 2023-12-13 2023-12-13 基于WebRTC的音视频通话系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311704820.4A CN117439976B (zh) 2023-12-13 2023-12-13 基于WebRTC的音视频通话系统

Publications (2)

Publication Number Publication Date
CN117439976A true CN117439976A (zh) 2024-01-23
CN117439976B CN117439976B (zh) 2024-03-26

Family

ID=89553658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311704820.4A Active CN117439976B (zh) 2023-12-13 2023-12-13 基于WebRTC的音视频通话系统

Country Status (1)

Country Link
CN (1) CN117439976B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016150235A1 (zh) * 2015-03-26 2016-09-29 中兴通讯股份有限公司 一种WebRTC P2P音视频通话的方法及装置
CN113132669A (zh) * 2021-04-22 2021-07-16 睿云联(厦门)网络通讯技术有限公司 基于WebRTC弱网环境视频质量提升方法、系统及存储介质
CN116260929A (zh) * 2022-12-26 2023-06-13 武汉众智数字技术有限公司 一种基于WebRTC的音视频通话和录制方法及系统
CN117135148A (zh) * 2023-10-21 2023-11-28 北京蔚领时代科技有限公司 一种基于WebRTC的音视频传输方法及系统
CN117176972A (zh) * 2023-08-14 2023-12-05 天地阳光通信科技（北京）有限公司 一个基于WebRTC技术的云会议音视频传输系统及方法
CN117201719A (zh) * 2022-05-31 2023-12-08 中兴终端有限公司 音视频共享方法、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016150235A1 (zh) * 2015-03-26 2016-09-29 中兴通讯股份有限公司 一种WebRTC P2P音视频通话的方法及装置
CN113132669A (zh) * 2021-04-22 2021-07-16 睿云联(厦门)网络通讯技术有限公司 基于WebRTC弱网环境视频质量提升方法、系统及存储介质
CN117201719A (zh) * 2022-05-31 2023-12-08 中兴终端有限公司 音视频共享方法、设备及计算机可读存储介质
CN116260929A (zh) * 2022-12-26 2023-06-13 武汉众智数字技术有限公司 一种基于WebRTC的音视频通话和录制方法及系统
CN117176972A (zh) * 2023-08-14 2023-12-05 天地阳光通信科技（北京）有限公司 一个基于WebRTC技术的云会议音视频传输系统及方法
CN117135148A (zh) * 2023-10-21 2023-11-28 北京蔚领时代科技有限公司 一种基于WebRTC的音视频传输方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李波;李雪梦;王彦本;: "基于RTP的WebRTC音视频传输优化方法", 西安邮电大学学报, no. 01, 10 January 2019 (2019-01-10), pages 26 - 30 *

Also Published As

Publication number Publication date
CN117439976B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US11349900B2 (en) Voice encoding and sending method and apparatus
Chen et al. QoS requirements of network applications on the Internet
US20070081522A1 (en) Video conferencing systems and methods
DE60118259T2 (de) Erhaltung der Ende-zu-Ende-Synchronisation einer Fernmeldeverbindung
JP2001237888A (ja) ＶｏＩＰ通信システムにおける通信状態通知装置，通信状態表示装置，通信状態通知方法及び通信状態通知プログラムを記録した媒体
CN105376516A (zh) 一种移动视频会议系统及其实现方法
WO2016003344A1 (en) Priority of uplink streams in video switching
KR20150023351A (ko) 적응적 실시간 통신을 위한 사용자 상호작용 모니터링 기법
US6980569B1 (en) Apparatus and method for optimizing packet length in ToL networks
US20070115388A1 (en) Management of video transmission over networks
US20140098181A1 (en) Method, Apparatus, and System for Establishing Multi-Cascade Channel
KR20110067972A (ko) 광대역 음성 인터넷 전화 서비스를 제공하는 셋탑박스 및 이를 이용한 광대역 음성 인터넷 전화 서비스 제공방법
US11641447B2 (en) System and method for automatically adjusting key frame quantization parameter and frame rate
JP5242683B2 (ja) インターネットプロトコル（ｉｐ）ドメインでの監視における又はこれに関連する改良
EP1627529B1 (en) Method for managing variations in a data flow rate
CN117439976B (zh) 基于WebRTC的音视频通话系统
CN108712407B (zh) 一种基于浏览器的音频/视频直播方法及其系统
KR101426464B1 (ko) 이동통신장치에서 서비스 품질정보 파라메터를 추출하는방법 및 장치
CN115460190B (zh) 一种基于WebRTC移动端网络的通信方法
CN102111606A (zh) 视频会议系统中访问视频图像的方法和设备
US20190089755A1 (en) Multiplexing data
WO2007053286A2 (en) Video conferencing systems and methods
US20130198399A1 (en) Input/output communication
CN112689118B (zh) 一种多屏网真终端的数据传输方法和装置
JP4901905B2 (ja) 呼制御装置および規制有無判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant