CN106161571B - 一种基于WebRTC的远程操作方法及系统 - Google Patents

Abstract

本发明公开了一种基于WebRTC的远程操作方法及系统，通过将主控端与被控端建立WebRTC连接；被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；主控端解析并显示所述屏幕内容数据；主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；被控端接收所述远程操作命令，解析并对应执行；提供了一种与平台无关的、简单有效的屏幕共享和远程操作方式，建立了主控端与被控端点对点之间稳定、高效、高吞吐量、低延时的数据传输通道，屏幕传输更实时，给用户带来了大大的方便。

Description

一种基于WebRTC的远程操作方法及系统

技术领域

本发明涉及远程操作技术领域，尤其涉及的是一种基于WebRTC的远程操作方法及系统。

背景技术

随着终端技术的不断发展，手机、平板电脑等移动终端的使用越来越普及。远程控制是在网络上由一台电脑（主控端Remote/客户端）远距离去控制另一台电脑（被控端Host/服务器端）的技术，主要通过远程控制软件实现。目前已经有许多屏幕共享和远程操作的方法，但是这些方法要么依赖于设备发现，要么与平台相关，只适用于某种平台或操作系统，操作复杂，效率不高，给用户带来了不便。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，提供一种基于WebRTC的远程操作方法及系统，旨在解决现有的远程操作复杂，效率不高的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于WebRTC的远程操作方法，其中，包括以下步骤：

A、将主控端与被控端建立WebRTC连接；

B、被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；

C、主控端解析并显示所述屏幕内容数据；

D、主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；

E、被控端接收所述远程操作命令，解析并对应执行。

所述的基于WebRTC的远程操作方法，其中，所述步骤A具体包括：

A11、被控端向主控端发起远程操作连接请求，主控端接受所述远程操作连接请求，被控端收到所述远程操作连接请求接受的反馈；

A12、被控端与主控端通过信令服务器交换彼此的协商信息；

A13、被控端与主控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

所述的基于WebRTC的远程操作方法，其中，所述步骤A具体包括：

A21、主控端向被控端发起远程操作连接请求，被控端接受所述远程操作连接请求，主控端收到所述远程操作连接请求接受的反馈；

A22、主控端与被控端通过信令服务器交换彼此的协商信息；

A23、主控端与被控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

所述的基于WebRTC的远程操作方法，其中，所述步骤B具体包括：

B1、被控端获取当前的屏幕内容数据，并存储在缓冲区；对屏幕内容数据进行压缩转换，并编码成视频流数据，将视频流数据通过WebRTC连接传输到主控端。

所述的基于WebRTC的远程操作方法，其中，所述步骤D具体包括：

D1、主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；

D2、将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端。

所述的基于WebRTC的远程操作方法，其中，所述步骤E具体包括：

E1、被控端接收主控端传来的文本格式的数据，识别该数据中是否有被控端操作命令标识，若有，则解析被控端操作命令，并执行被控端操作命令。

一种基于WebRTC的远程操作系统，其中，包括：

连接建立模块，用于将主控端与被控端建立WebRTC连接；

屏幕内容发送模块，用于通过被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；

解析及显示模块，用于通过主控端解析并显示所述屏幕内容数据；

操作指令发送模块，用于通过主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；

操作指令执行模块，用于通过被控端接收所述远程操作命令，解析并对应执行。

所述的基于WebRTC的远程操作系统，其中，所述屏幕内容发送模块包括：

屏幕内容获取单元，用于获取被控端当前的屏幕内容数据；

存储单元，用于将屏幕内容数据存储在缓冲区；

编码单元，用于对屏幕内容数据进行压缩转换，并编码成视频流数据；

发送单元，用于将视频流数据通过WebRTC连接传输到主控端。

所述的基于WebRTC的远程操作系统，其中，所述操作指令发送模块包括：

操作命令接收及识别单元，用于通过主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；

操作指令发送单元，用于将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端。

所述的基于WebRTC的远程操作系统，其中，所述操作指令执行模块包括：

操作指令接收单元，用于通过被控端接收主控端传来的文本格式的数据；

标识识别单元，用于识别该数据中是否有被控端操作命令标识；

命令执行单元，用于当数据中有被控端操作命令标识时，解析被控端操作命令，并执行被控端操作命令。

本发明所提供的一种基于WebRTC的远程操作方法及系统，有效地解决了现有的终端在远程操作时，操作复杂，效率不高的问题，通过将主控端与被控端建立WebRTC连接；被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；主控端解析并显示所述屏幕内容数据；主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；被控端接收所述远程操作命令，解析并对应执行；给用户提供一种与平台无关的、简单有效的屏幕共享和远程操作方式，建立了主控端与被控端点对点之间稳定、高效、高吞吐量、低延时的数据传输通道，屏幕传输更实时，给用户带来了大大的方便。

附图说明

图1为本发明提供的基于WebRTC的远程操作方法较佳实施例的流程图。

图2为本发明提供的基于WebRTC的远程操作系统较佳实施例的结构框图。

具体实施方式

本发明提供一种基于WebRTC的远程操作方法及系统，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明提供的基于WebRTC的远程操作方法较佳实施例的流程图，如图所示，所述方法包括以下步骤：

步骤S100、将主控端与被控端建立WebRTC连接；

步骤S200、被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；

步骤S300、主控端解析并显示所述屏幕内容数据；

步骤S400、主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；

步骤S500、被控端接收所述远程操作命令，解析并对应执行。

下面结合具体的实施例对上述步骤进行详细的描述。

在步骤S100中，将主控端与被控端建立WebRTC连接。关于WebRTC技术：WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术。MediaStream (即getUserMedia)，用于获取媒体数据，例如来自摄像头和麦克风的视频流和音频流。RTCPeerConnection，用于peer跟peer之间呼叫和建立连接以便传输音视频数据流。RTCDataChannel，用于建立一个高吞吐量、低延时的信道，用于传输任意数据。

具体来说，被控端和主控端均为智能终端，被控端可以主动向主控端发起远程操作连接请求，主控端响应该请求。主控端也可以主动向被控端发起远程操作连接请求，被控端响应该请求。

进一步地，所述步骤S100具体包括：被控端向主控端发起远程操作连接请求，主控端接受所述远程操作连接请求，被控端收到所述远程操作连接请求接受的反馈；然后，被控端与主控端通过信令服务器交换彼此的协商信息；然后，被控端与主控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

进一步地，所述步骤S100具体包括：主控端向被控端发起远程操作连接请求，被控端接受所述远程操作连接请求，主控端收到所述远程操作连接请求接受的反馈；然后，主控端与被控端通过信令服务器交换彼此的协商信息；然后，主控端与被控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

在实际应用时，利用WebRTC技术建立被控端与主控端之间的点对点连接。此处以被控端主动向主控端发起远程操作连接请求为例进行详细说明如下：被控端向主控端发起远程操作连接请求，主控端接收到连接请求，响应该请求，如果选择接受，则为这两个终端创建WebRTC连接。否则，主控端拒绝连接，则被控端收到拒绝反馈。被控端与主控端经由信令服务器交换彼此的协商信息（OFFER和ANSWER）。被控端创建OFFER信令发送给主控端，主控端接收OFFER信令，创建ANSWER信令，并发送被控端。

要实现 WebRTC会话，就需要在会话建立过程中协商浏览器各自的媒体信息 （包括媒体发送/接收地址、媒体传送使用的编解码方式、协议等），目前WebRTC中使用会话描述协议 (Session Description Protocol, SDP)作为媒体信息描述的协议。在会话建立过程中，利用 SDP的 OFFER/ANSWER机制进行媒体信息的协商。

然后，被控端与主控端交换彼此的 ICE地址，建立WebRTC连接。关于ICE，全名叫交互式连接建立（Interactive Connectivity Establishment）或互动式连接建立，一种综合性的NAT穿越技术，它是一种框架，可以整合各种NAT穿越技术如STUN、TURN（TraversalUsing Relay NAT 中继NAT实现的穿透）。ICE会先使用STUN，尝试建立一个基于UDP的连接，如果失败了，就会去建立TCP连接（先尝试HTTP，然后尝试HTTPS），如果依旧失败ICE就会使用一个中继的TURN服务器。

被控端与主控端如果在同一网段的局域网内，则无需经由STUN和TURN服务器就可以建立直连，但是如果它们分属于不同的网段，并且还有防火墙设置，则需要一种防火墙穿透技术来实现直连，可利用STUN和TURN的ICE架构的服务器来实现。STUN服务器是用来做防火墙穿透（确定双方的可公开访问的IP地址和端口），而TURN服务器主要是用来在连接建立失败后，可以作为中继使用。

在步骤S200中，被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端。具体来说，被控端获取被控端当前的屏幕内容数据，并存储在缓冲区；对屏幕内容数据进行压缩转换，并编码成视频流数据，将视频流数据通过WebRTC连接传输到主控端。实际应用时，是将视频流数据通过WebRTC建立好的通道（RTC Data Channel）传输到主控端。屏幕内容数据即屏幕图片数据。

在步骤S300中，主控端解析并显示所述屏幕内容数据。具体来说，主控端接收到被控端的屏幕内容数据，将其解析成对应的视频流播放在主控端的屏幕上，然后用户可根据需要远程操作被控端。主控端接收到被控端的屏幕内容数据，并解析为对应的视频流在主控端的屏幕上播放，从而方便后续主控端对被控端进行远程操作。

在步骤S400中，主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端。具体来说，用户在主控端上远程控制被控端，进行相应的远程操作。主控端接收用户输入的远程操作指令，再发送给被控端。在实际应用时，主控端可以接收用户发出的语音命令或手动输入的命令。

进一步地，所述步骤S400具体包括：S410、主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；S420、将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端。

也就是说，主控端可以选择开启语音命令捕获模式，用户发出语音命令，通过主控端的浏览器的web speech API的SpeechRecognition对象获取语音数据并将其识别为对应的文字信息，程序解析这些文字信息，识别为对应的被控端操作命令。然后将被控端操作命令封装成文本（譬如JSON格式，JavaScript Object Notation，一种轻量级的数据交换格式）格式的数据（该数据中有标识本次传输数据为被控端操作命令的信息），将被控端操作命令数据通过WebRTC创建好的连接通道（RTCDataChannel）传输到被控端。其中，WebSpeech API 包括三个主要功能区域：通过 SpeechRecognition 对象实现语音识别、通过SpeechSynthesis 对象实现文本转语音合成和通过 SpeechGrammar 对象实现自定义语法创建。

在步骤S500中，被控端接收所述远程操作命令，解析并对应执行。具体来说，被控端接收主控端传来的文本格式的数据，譬如JSON格式，识别该数据中是否有被控端操作命令标识，若有，则解析被控端操作命令，并执行被控端操作命令。在实际应用时，被控端的WebRTC连接通道接收到主控端传来的数据，识别该数据是否为操作命令，如果是，则解析操作命令，调用命令执行单元，执行相应的操作。

本发明提供的基于WebRTC的远程操作方法，利用WebRTC技术，以点对点的方式连接主控端和被控端的设备，屏幕内容以及远程操作命令均可以直接通过基于WebRTC技术创建的peerConnection直连来传输。此方法基于已实现WebRTC核心技术的浏览器，目前只要是智能设备一般都带有浏览器，故不存在跨越平台的问题。远程操作可以直接由用户通过语音发出命令，即主控端用户发出语音命令，经过浏览器的语音识别技术(SpeechRecognition)转化为对应的文字命令，解析文字命令的语义，得到对应的操作命令，通过建立好的WebRTC通道传输该操作命令，被控端收到操作命令后，执行对应的操作。

本发明是一种基于WebRTC的远程操作方法，给用户提供一种与平台无关的、简单有效的屏幕共享和远程操作方式。主控端或被控端发起远程操作连接请求，对方接收到连接请求的时候，响应请求，根据请求标识识别其为主控端还是被控端，通过WebRTC技术为用户之间建立点对点的连接，连接建立好以后，即可以通过该通道传输被控端的屏幕数据到主控端，主控端可以通过麦克风输入远程操作的语音命令，利用语音识别技术将语音数据转化为文字数据，解析文字数据获得对应的机器操作命令，利用建立好的WebRTC通道传输操作命令给被控端，被控端接收到消息识别为操作命令，执行对应的远程操作命令。

基于上述的远程操作方法，本发明还提供了一种基于WebRTC的远程操作系统，如图2所示，包括：

连接建立模块10，用于将主控端与被控端建立WebRTC连接；具体如步骤S100所述；

屏幕内容发送模块20，用于通过被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；具体如步骤S200所述；

解析及显示模块30，用于通过主控端解析并显示所述屏幕内容数据；具体如步骤S300所述；

操作指令发送模块40，用于通过主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；具体如步骤S400所述；

操作指令执行模块50，用于通过被控端接收所述远程操作命令，解析并对应执行；具体如步骤S500所述。

进一步地，所述屏幕内容发送模块20包括：

屏幕内容获取单元，用于获取被控端当前的屏幕内容数据；

存储单元，用于将屏幕内容数据存储在缓冲区；

编码单元，用于对屏幕内容数据进行压缩转换，并编码成视频流数据；

发送单元，用于将视频流数据通过WebRTC连接传输到主控端。

进一步地，所述操作指令发送模块40包括：

操作命令接收及识别单元，用于通过主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；

操作指令发送单元，用于将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端。

进一步地，所述操作指令执行模块50包括：

操作指令接收单元，用于通过被控端接收主控端传来的文本格式的数据；

标识识别单元，用于识别该数据中是否有被控端操作命令标识；

命令执行单元，用于当数据中有被控端操作命令标识时，解析被控端操作命令，并执行被控端操作命令。

所述被控端和主控端为智能终端，即智能设备。

综上所述，本发明提供的一种基于WebRTC的远程操作方法及系统，通过将主控端与被控端建立WebRTC连接；被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；主控端解析并显示所述屏幕内容数据；主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；被控端接收所述远程操作命令，解析并对应执行；给用户提供一种与平台无关的、简单有效的屏幕共享和远程操作方式，建立了主控端与被控端点对点之间稳定、高效、高吞吐量、低延时的数据传输通道，屏幕传输更实时，给用户带来了大大的方便。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于WebRTC的远程操作方法，其特征在于，包括以下步骤：

A、将主控端与被控端建立WebRTC连接，利用WebRTC技术，以点对点的方式连接主控端和被控端的设备；

B、被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；所述步骤B具体包括：

B1、被控端获取当前的屏幕内容数据，并存储在缓冲区；对屏幕内容数据进行压缩转换，并编码成视频流数据，将视频流数据通过WebRTC连接传输到主控端，所述屏幕内容数据为屏幕图片数据；

C、主控端解析并显示所述屏幕内容数据；

D、主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；

所述步骤D具体包括：

D1、主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；

D2、将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端；

E、被控端接收所述远程操作命令，解析并对应执行；

所述步骤E具体包括：被控端接收主控端传来的文本格式的数据，识别所述数据中是否有被控端操作命令标识，若有，则解析被控端操作命令，并执行被控端操作命令。

2.根据权利要求1所述的基于WebRTC的远程操作方法，其特征在于，所述步骤A具体包括：

A11、被控端向主控端发起远程操作连接请求，主控端接受所述远程操作连接请求，被控端收到所述远程操作连接请求接受的反馈；

A12、被控端与主控端通过信令服务器交换彼此的协商信息；

A13、被控端与主控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

3.根据权利要求1所述的基于WebRTC的远程操作方法，其特征在于，所述步骤A具体包括：

A21、主控端向被控端发起远程操作连接请求，被控端接受所述远程操作连接请求，主控端收到所述远程操作连接请求接受的反馈；

A22、主控端与被控端通过信令服务器交换彼此的协商信息；

A23、主控端与被控端交换彼此的交互式连接建立地址，以建立主控端与被控端的WebRTC连接。

4.一种基于WebRTC的远程操作系统，其特征在于，包括：

连接建立模块，用于将主控端与被控端建立WebRTC连接，利用WebRTC技术，以点对点的方式连接主控端和被控端的设备；

屏幕内容发送模块，用于通过被控端获取被控端的屏幕内容数据并通过所述WebRTC连接发送至主控端；

所述屏幕内容发送模块包括：

屏幕内容获取单元，用于获取被控端当前的屏幕内容数据；

存储单元，用于将屏幕内容数据存储在缓冲区；

编码单元，用于对屏幕内容数据进行压缩转换，并编码成视频流数据；

发送单元，用于将视频流数据通过WebRTC连接传输到主控端，所述屏幕内容数据为屏幕图片数据；

解析及显示模块，用于通过主控端解析并显示所述屏幕内容数据；

操作指令发送模块，用于通过主控端接收远程操作命令输入并通过所述WebRTC连接将所述远程操作命令发送至被控端；

所述操作指令发送模块包括：

操作命令接收及识别单元，用于通过主控端接收用户手动输入的远程操作命令或通过浏览器语音识别用户语音输入的远程操作命令，识别为对应的被控端操作命令；

操作指令发送单元，用于将被控端操作命令封装成文本格式的数据并添加被控端操作命令标识，通过WebRTC连接传输到被控端；

操作指令执行模块，用于通过被控端接收所述远程操作命令，解析并对应执行；

所述操作指令执行模块包括：

操作指令接收单元，用于通过被控端接收主控端传来的文本格式的数据；

标识识别单元，用于识别所述数据中是否有被控端操作命令标识；

命令执行单元，用于当数据中有被控端操作命令标识时，解析被控端操作命令，并执行被控端操作命令。

Images