CN113709581A - 一种音视频实时传输的系统、方法、装置及电子设备 - Google Patents

一种音视频实时传输的系统、方法、装置及电子设备 Download PDF

Info

Publication number
CN113709581A
CN113709581A CN202110988871.9A CN202110988871A CN113709581A CN 113709581 A CN113709581 A CN 113709581A CN 202110988871 A CN202110988871 A CN 202110988871A CN 113709581 A CN113709581 A CN 113709581A
Authority
CN
China
Prior art keywords
audio
client
server
video
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110988871.9A
Other languages
English (en)
Inventor
张彦斌
汪照辉
高江伟
刘亮
张世光
杨科宇
刘政
李艳芳
刘雪松
孙宏宇
张镇久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sesame Chain Beijing Technology Co ltd
Original Assignee
Sesame Chain Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sesame Chain Beijing Technology Co ltd filed Critical Sesame Chain Beijing Technology Co ltd
Priority to CN202110988871.9A priority Critical patent/CN113709581A/zh
Publication of CN113709581A publication Critical patent/CN113709581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种音视频实时传输的系统、方法、装置及电子设备，包括：S101，预先搭建支持和运行谷歌的服务端；S102，在客户端运行支持WebRTC协议的程序；S103，建立所述客户端与所述服务端之间的联系；S104，通过服务端将音视频数据传输至客户端；S105，通过服务端接收客户端发送的控制指令，进行页面切换和多媒体操作。以解决现有技术中网页端依赖于谷歌，Mozilla不能满足移动端用户需求的问题。

Description

一种音视频实时传输的系统、方法、装置及电子设备
技术领域
本文件涉及计算机视频图像数据传输技术领域，尤其涉及一种音视频实时传输的系统、方法、装置及电子设备。
背景技术
WebRTC(Web Real-Time Communications)是一项实时通讯技术，在不借助中间媒介的情况下，实现点对点(Peer-to-Peer)视频流和(或)音频流或其他任意数据的传输。目前现有的WebRTC技术，主要是通过Chrome\FireFox浏览器来实现实时的音频和视频通讯。WebRTC包含若干相互关联的API和协议，基于这些协议开发者先建立可以传输媒体数据和其他任意数据的连接，然后传输音频，视频和相关的控制协议。
现有的技术实现，主要是基于谷歌，Mozilla等专用网页浏览器，使用Javascript程序来实现的，有局限性。随着移动终端和安卓技术的发展，网页端的实现太依赖于谷歌，Mozilla的第三方，不能满足移动端的用户需求，也达不到很好的用户体验和效果。
发明内容
本发明的目的在于提供一种音视频实时传输的系统、方法、装置及电子设备，该音视频实时传输的系统能够解决现有技术中网页端依赖于谷歌，Mozilla不能满足移动端用户需求的问题。
为了实现上述目的，本发明提供如下技术方案：
一种音视频实时传输的方法，所述方法具体包括：
S101，预先搭建支持和运行谷歌的服务端；
S102，在客户端运行支持WebRTC协议的程序；
S103，建立所述客户端与所述服务端之间的联系；
S104，通过服务端将音视频数据传输至客户端；
S105，通过服务端接收客户端发送的控制指令，进行页面切换和多媒体操作。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述S103具体包括：
S1031，建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
S1032，服务端回调客户端的IceCandidate函数，客户端生成IceCandidate并发送至服务端；
S1033，服务端发送Offer消息至客户端，客户端通过会话描述协议设置远端的描述信息，并发送至服务端；
S1034，服务端发送answer消息至客户端，客户端通过会话描述协议设置本地的描述信息，并发送至服务端。
进一步地，所述S104具体包括：
S1041，通过RTP/RTCP传输协议传输音视频数据；
S1042，获取远端视频流，将远端视频流导入客户端进行视频渲染和播放；
S1043，获取远端的音频流，将音频流导入客户端的音频设备进行音频播放。
进一步地，所述S105具体包括：
S1051，获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端，实现对服务端的控制。
一种音视频实时传输的系统，包括：
服务端，其支持和运行谷歌，且能够输出音视频数据；
客户端，其与所述服务端连接，能够运行支持WebRTC协议的程序，接收所述音视频数据并向所述服务端发送控制指令。
进一步地，所述服务端进一步用于：
回调客户端的IceCandidate函数、发送Offer消息和answer消息至客户端。
进一步地，所述客户端进一步用于：
建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
生成IceCandidate、通过会话描述协议设置远端的描述信息和本地的描述信息并发送至服务端；
获取远端视频流，将远端视频流导入客户端进行视频渲染和播放；
获取远端的音频流，将音频流导入客户端的音频设备进行音频播放。
进一步地，所述客户端进一步还用于：
获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端，实现对服务端的控制。
一种音视频实时传输的装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现音视频实时传输的方法的步骤。
一种电子设备，所述电子设备上存储有信息传递的实现程序，所述程序被处理器执行时实现音视频实时传输的方法的步骤。
本发明具有如下优点：
本发明的音视频实时传输的方法，搭建支持和运行谷歌的服务端；在客户端运行支持WebRTC协议的程序；建立所述客户端与所述服务端之间的联系；通过服务端将音视频数据传输至客户端；通过服务端接收客户端发送的控制指令，实现页面切换和多媒体操作；通过在安卓上的JAVA实现，扩展了WebRTC的应用领域，提高了应用的便捷性，避免了对浏览器的过度依赖。解决了现有技术中网页端依赖于谷歌，Mozilla不能满足移动端用户需求的问题。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中音视频实时传输的方法的流程图；
图2为本发明实施例中S103的流程图；
图3为本发明实施例中S104的流程图；
图4为本发明实施例中WebRTC协议的Java实现部分的示意图；
图5为本发明实施例中音视频显示播放部分的示意图。
服务端10，客户端20。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
如图1所示，一种音视频实时传输的方法，所述方法具体包括：
S101，搭建服务端；
本步骤中，预先搭建支持和运行谷歌的服务端10；
S102，运行支持WebRTC协议的程序；
本步骤中，在客户端20运行支持WebRTC协议的程序；
S103，建立客户端与服务端之间的联系；
本步骤中，建立所述客户端20与所述服务端10之间的联系；
S104，客户端接收音视频数据；
本步骤中，通过服务端10将音视频数据传输至客户端20；
S105，服务端接收控制指令；
本步骤中，通过服务端10接收客户端20发送的控制指令，进行页面切换和多媒体操作。
如图4所示，WebRTC协议的Java实现部分：
主要包括协议的实现，音频、视频和数据通道的建立和为应用层提供API接口。
WebRTC音频Engine为WebRTC的音频部分，如音频编解码等声音处理，将WebRTC音频通过喇叭播放；
WebRTC视频Engine为WebRTC视频处理部分，如视频图像编解码器、硬解码和软解码等，将WebRTC视频流通过UI播放；
WebRTC网络传输与流控，采用的是成熟的RTP/RTCP传输协议技术；(RTP(RealtimeTransport Protocol)实时传输协议:是针对Internet上多媒体数据流的一个传输协议，由IETF(Internet工程任务组)作为RFC1889发布；RTCP(Realtime Transport ControlProtocol)实时传输控制协议：负责管理传输质量在当前应用进程之间交换控制信息。)
DataChannel：数据通道(DataChannel)的建立；
RTCIceCandidate：表示一个ICE协议的候选者；
RTCPeerConnection：端对端的连接；
SDP(setRemoteDescription)：会话描述协议，主要用来描述多媒体会话；
Peerconnectionfactory对等连接工厂(PeerConnectionFactory一个用来生成PeerConnection的工厂类，WebRTC中最重要的类之一，用来创建peerConnection的类，同时负责初始化全局和底层交互。)
webrtc建立点对点的对等连接需要用到iceServers参数。
Observer(Observer是支持以太网,Wireless 802.11b/a/g,Token Ring和FDDI网络环境的网络监控和协议分析产品。Observer对于共享和交换式网络环境都提供测试、捕捉和趋势分析功能。)
如图5所示，音视频显示播放部分：
主要包括，调用中间层的接口和安卓系统的音视频控件，建立和远端服务的连接，接受远端的音视频数据，在安卓端显示和播放。
websocket的建立；
RTCPeerConnection的建立可以通过STUN和ICE组件来建立不同类型网络间的呼叫连接；(RTCPeerConnection接口代表一个由本地计算机到远端的WebRTC连接。该接口提供了创建，保持，监控，关闭连接的方法的实现。)
PeerConnection建立成功之后，服务端10回调客户端20的IceCandidate函数，客户端20生成IceCandidate并发给服务端10。
服务端10发送Offer消息给客户端20，客户端20setRemoteDescription，设置远端的描述信息，并发给服务端10。
服务端10发送answer消息给客户端20，客户端20setLocalDescription，设置本地的描述信息，并发给服务端10。
获取远端视频流，把它导入本地的安卓surface View，进行视频渲染和播放。
获取远端的音频流，把他导入本地安卓的音频设备，进行音频播放；
获取屏幕点击事件，把事件的坐标值通过数据通道传递给远端服务器，实现对服务器的一些控制。
基于WebRTC安卓端的音视频传输方案的实施，具体可以根据上述本发明中详述的步骤进行部署：
第一搭建支持和运行谷歌的cuttlefish服务端10。Cuttlefish虚拟多台Android设备，借助Cuttlefish的WebRTC流式传输，把安卓设备的音视频数据传输出来，属于输出端。同时也可以接受安卓客户端20的数据控制，实现页面切换和多媒体操作。
第二在支持安卓的移动手机和终端设备上，运行支持WebRTC协议的程序，实现和服务端10的连接，接收其传输过来的音视频，以及发送相关的控制命令。主要包括数据通道的建立，匹配，网络穿透，音视频的解析和显示。同时包括一些UI的交互，例如用户点击手机屏幕，把触点的坐标XY值通过数据通道发送给cuttlefish服务器。
在上述技术方案的基础上，本发明还可以做如下改进：
如图2所示，所述S103具体包括：
S1031，建立数据通道；
本步骤中，建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
S1032，客户端生成IceCandidate；
本步骤中，服务端10回调客户端20的IceCandidate函数，客户端20生成IceCandidate并发送至服务端10；
S1033，客户端设置远端的描述信息；
本步骤中，服务端10发送Offer消息至客户端20，客户端20通过会话描述协议设置远端的描述信息，并发送至服务端10；
S1034，客户端设置本地的描述信息；
本步骤中，服务端10发送answer消息至客户端20，客户端20通过会话描述协议设置本地的描述信息，并发送至服务端10。
如图3所示，所述S104具体包括：
S1041，传输音视频数据；
本步骤中，通过RTP/RTCP传输协议传输音视频数据；
S1042，获取远端视频流；
本步骤中，获取远端视频流，将远端视频流导入客户端20进行视频渲染和播放；
S1043，获取远端的音频流；
本步骤中，获取远端的音频流，将音频流导入客户端20的音频设备进行音频播放。
进一步地，所述S105具体包括：
S1051，获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端10，实现对服务端10的控制。
一种音视频实时传输的系统，包括：
服务端10，其支持和运行谷歌，且能够输出音视频数据；
客户端20，其与所述服务端10连接，能够运行支持WebRTC协议的程序，接收所述音视频数据并向所述服务端10发送控制指令。
进一步地，所述服务端10进一步用于：
回调客户端20的IceCandidate函数、发送Offer消息和answer消息至客户端20。
进一步地，所述客户端20进一步用于：
建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
生成IceCandidate、通过会话描述协议设置远端的描述信息和本地的描述信息并发送至服务端10；
获取远端视频流，将远端视频流导入客户端20进行视频渲染和播放；
获取远端的音频流，将音频流导入客户端20的音频设备进行音频播放。
进一步地，所述客户端20进一步还用于：
获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端10，实现对服务端10的控制。
一种音视频实时传输的装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现音视频实时传输的方法的步骤。
一种电子设备，所述电子设备上存储有信息传递的实现程序，所述程序被处理器执行时实现音视频实时传输的方法的步骤。
该音视频实时传输的系统使用过程如下：
使用时，搭建支持和运行谷歌的服务端10；在客户端20运行支持WebRTC协议的程序；建立所述客户端20与所述服务端10之间的联系；通过服务端10将音视频数据传输至客户端20；通过服务端10接收客户端20发送的控制指令，实现页面切换和多媒体操作。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于基于区块链的服务提供方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的基于区块链的服务提供方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器202或处理器202以及存储可由该(微)处理器202执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone LabsC8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器202以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器202执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器202(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种音视频实时传输的方法，其特征在于，所述方法具体包括：
S101，预先搭建支持和运行谷歌的服务端；
S102，在客户端运行支持WebRTC协议的程序；
S103，建立所述客户端与所述服务端之间的联系；
S104，通过服务端将音视频数据传输至客户端；
S105，通过服务端接收客户端发送的控制指令，进行页面切换和多媒体操作。
2.根据权利要求1所述的音视频实时传输的方法，其特征在于，所述S103具体包括：
S1031，建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
S1032，服务端回调客户端的IceCandidate函数，客户端生成IceCandidate并发送至服务端；
S1033，服务端发送Offer消息至客户端，客户端通过会话描述协议设置远端的描述信息，并发送至服务端；
S1034，服务端发送answer消息至客户端，客户端通过会话描述协议设置本地的描述信息，并发送至服务端。
3.根据权利要求1所述的音视频实时传输的方法，其特征在于，所述S104具体包括：
S1041，通过RTP/RTCP传输协议传输音视频数据；
S1042，获取远端视频流，将远端视频流导入客户端进行视频渲染和播放；
S1043，获取远端的音频流，将音频流导入客户端的音频设备进行音频播放。
4.根据权利要求1所述的音视频实时传输的方法，其特征在于，所述S105具体包括：
S1051，获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端，实现对服务端的控制。
5.一种音视频实时传输的系统，其特征在于，包括：
服务端，其支持和运行谷歌，且能够输出音视频数据；
客户端，其与所述服务端连接，能够运行支持WebRTC协议的程序，接收所述音视频数据并向所述服务端发送控制指令。
6.根据权利要求5所述的音视频实时传输的系统，其特征在于，所述服务端进一步用于：
回调客户端的IceCandidate函数、发送Offer消息和answer消息至客户端。
7.根据权利要求5所述的音视频实时传输的系统，其特征在于，所述客户端进一步用于：
建立数据通道并通过STUN和ICE组件来建立不同类型网络间的呼叫连接；
生成IceCandidate、通过会话描述协议设置远端的描述信息和本地的描述信息并发送至服务端；
获取远端视频流，将远端视频流导入客户端进行视频渲染和播放；
获取远端的音频流，将音频流导入客户端的音频设备进行音频播放。
8.根据权利要求7所述的音视频实时传输的系统，其特征在于，所述客户端进一步还用于：
获取屏幕点击事件，把事件的坐标值通过数据通道传递给服务端，实现对服务端的控制。
9.一种音视频实时传输的装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的音视频实时传输的方法的步骤。
10.一种电子设备，其特征在于，所述电子设备上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至4中任一项所述的音视频实时传输的方法的步骤。
CN202110988871.9A 2021-08-26 2021-08-26 一种音视频实时传输的系统、方法、装置及电子设备 Pending CN113709581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988871.9A CN113709581A (zh) 2021-08-26 2021-08-26 一种音视频实时传输的系统、方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988871.9A CN113709581A (zh) 2021-08-26 2021-08-26 一种音视频实时传输的系统、方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113709581A true CN113709581A (zh) 2021-11-26

Family

ID=78655266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988871.9A Pending CN113709581A (zh) 2021-08-26 2021-08-26 一种音视频实时传输的系统、方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113709581A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114428670A (zh) * 2022-03-16 2022-05-03 浙江云针信息科技有限公司 一种实现Windows应用串流的方法及系统
CN115103002A (zh) * 2022-06-20 2022-09-23 中国银行股份有限公司 数据交互方法、装置及系统
CN115883521A (zh) * 2022-10-13 2023-03-31 泉州砾鹰石科技有限公司 一种解决webrtc网络切换导致断流的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2958293A1 (en) * 2014-06-17 2015-12-23 Deutsche Telekom AG IMS-based IPTV Services with WebRTC
CN110958206A (zh) * 2018-09-26 2020-04-03 山东华软金盾软件股份有限公司 一种基于虚拟化的移动设备应用的数据保密方法
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2958293A1 (en) * 2014-06-17 2015-12-23 Deutsche Telekom AG IMS-based IPTV Services with WebRTC
CN110958206A (zh) * 2018-09-26 2020-04-03 山东华软金盾软件股份有限公司 一种基于虚拟化的移动设备应用的数据保密方法
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴晨;林伟;: "基于WebRTC的音视频通信的设计与实现", 有线电视技术, no. 08 *
石芮;成洪豪;孙立民;: "基于WebRTC的视频会议系统开发", 智能计算机与应用, no. 06 *
董振江;李从兵;王蔚;吕达;: "移动互联网WebRTC及相关技术", 中兴通讯技术, no. 06, pages 2 - 3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114428670A (zh) * 2022-03-16 2022-05-03 浙江云针信息科技有限公司 一种实现Windows应用串流的方法及系统
CN115103002A (zh) * 2022-06-20 2022-09-23 中国银行股份有限公司 数据交互方法、装置及系统
CN115883521A (zh) * 2022-10-13 2023-03-31 泉州砾鹰石科技有限公司 一种解决webrtc网络切换导致断流的方法

Similar Documents

Publication Publication Date Title
CN113709581A (zh) 一种音视频实时传输的系统、方法、装置及电子设备
US20230216822A1 (en) Uninterrupted Media Play and Call Management Text User Interface
CN111901674B (zh) 一种视频播放控制方法及装置
CN108345531B (zh) 一种测试方法、装置及系统
US8930440B2 (en) Systems and methods for enabling mobile mashups
US7669206B2 (en) Dynamic redirection of streaming media between computing devices
CN104780335B (zh) 一种WebRTC P2P音视频通话的方法及装置
US10055190B2 (en) Attribute-based audio channel arbitration
US20170111414A1 (en) Video playing method and device
US10136102B2 (en) Online conference broadcast using broadcast component
CN110198478B (zh) 交互录播方法、系统、客户端、装置、设备及存储介质
CN104216630A (zh) 界面共享方法及装置
CN112399249A (zh) 多媒体文件生成方法、装置、电子设备及存储介质
EP3378226A1 (en) Communication system
CN111524516A (zh) 一种基于语音交互的控制方法、服务器及显示设备
CN110113298B (zh) 数据传输方法、装置、信令服务器和计算机可读介质
CN113542336A (zh) 一种信息的切换共享方法、装置、电子设备及存储介质
US10742929B2 (en) Communication system
CN113037751A (zh) 创建音视频接收流的方法及系统
CN111460211A (zh) 音频信息播放方法、装置和电子设备
CN114844870B (zh) 一种媒体流获取方法、装置、电子设备及存储介质
CN112291573B (zh) 直播流推送方法、装置、电子设备和计算机可读介质
KR102109609B1 (ko) 인터넷 프로토콜 기반 통화 서비스를 위한 단말 장치 및 그의 착신 알람 제공 방법, 그리고 그의 인터넷 프로토콜 기반 통화 서비스 시스템
CN113891135A (zh) 一种多媒体数据播放方法、装置、电子设备及存储介质
KR20180091319A (ko) 사운드 공유 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination