CN105493621A - 终端、服务器及终端控制方法 - Google Patents

Abstract

本发明公开了一种终端、服务器及终端控制方法，属于移动终端领域。所述终端包括：第一通道建立模块、图像数据接收模块、显示模块、操作信息生成模块以及操作信息发送模块。本发明通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息并通过控制通道发送给受控终端，由受控终端根据操作信息执行相应操作，解决了屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。

Description

说 明 书 终端、 服务器及终端控制方法 技术领域

本发明涉及移动终端领域， 特别涉及一种终端、 服务器及终端控制方法。 背景技术

得益于电子和通信技术的迅速发展，移动终端的通信和处理能力也越来越 强， 基于移动终端之间的远程控制的应用也得以迅速发展。

在现有的移动终端之间的远程控制中， 控制终端与受控终端首先建立连 接， 受控终端将屏幕数据通过该连接发送给控制终端， 控制终端根据该屏幕数 据在控制终端的屏幕中显示受控终端的屏幕截图， 用户在控制终端的屏幕中对 受控终端的屏幕截图进行触控等操作，控制终端将接收到的操作信息通过该连 接发送给受控终端， 由受控终端根据该操作信息进行相应的操作， 从而达到远 程控制的目的。

在实现本发明的过程中， 发明人发现现有技术至少存在以下问题： 控制终端和受控终端之间通过同一连接进行屏幕数据和操作信息的交互， 屏幕数据和操作信息在传输逻辑和传输时间上存在冲突，从而导致控制终端侧 显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应， 影响 控制效果和用户体验。 发明内容

为了解决现有技术中屏幕数据和操作信息在传输逻辑和传输时间上存在 冲突，从而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端 侧的用户操作进行响应的问题， 本发明实施例提供了一种终端、 服务器及终端 控制方法。 所述技术方案如下：

第一方面， 提供了一种控制终端， 所述控制终端包括：

第一通道建立模块， 用于建立与受控终端之间的控制通道和数据通道； 图像数据接收模块， 用于接收所述受控终端通过所述数据通道发送的屏幕 图像数据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图； 显示模块， 用于根据所述屏幕图像数据显示所述受控终端的屏幕截图； 操作信息生成模块， 用于根据基于所述屏幕截图的操作生成相应的操作信 息；

操作信息发送模块， 用于将所述操作信息通过所述控制通道发送给所述受 控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。

在第一方面的第一种可能实现方式中， 所述第一通道建立模块， 包括： 第一通道建立子模块， 用于通过所述服务器建立与所述受控终端之间的控 制通道；

第二通道建立子模块， 用于通过所述^^务器和所述控制通道建立与所述受 控终端之间的数据通道。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式 中， 所述第二通道建立子模块， 包括：

第一地址获取单元， 用于从所述服务器获取所述控制终端的地址信息， 所 述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换 的中继地址；

第二地址获取单元， 用于从所述服务器或者所述受控终端获取所述受控终 端的地址信息；

第一路径确定单元， 用于根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径；

第一建立单元， 用于根据所述连接路径建立所述数据通道。

结合第一方面、第一方面的第一种可能实现方式或者第一方面的第二种可 能实现方式， 在第一方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种， 所述操作信息生成模块， 包括： 监听子模块， 用于当所述操作信息为触控信息时， 监听所述操作对应的触 控事件；

第一生成子模块， 用于根据所述触控事件生成所述操作信息；

第一按键类型确定子模块， 用于当所述操作信息为按键信息时， 确定所述 操作对应的按键类型；

第二生成子模块， 用于生成包含所述按键类型对应的标识的所述操作信 息；

语音识别子模块， 用于当所述操作信息为语音信息时， 将所述操作对应的 语音识别为文本；

第二生成子模块， 用于提取所述文本中包含的控制指令， 生成包含所述控 制指令对应的标识的所述操作信息。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式 中， 所述第一生成子模块， 包括： 第一生成单元或者第二生成单元；

所述第一生成单元， 用于将所述触控事件序列化为字节流， 生成包含有所 述字节流的所述操作信息；

所述第二生成单元， 用于提取所述触控事件的关键信息， 将所述关键信息 编码为指定格式文件， 生成包含所述指定格式文件的所述操作信息， 所述关键 信息包括事件类型、 触控坐标和 /或触控力度。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式 中， 所述第一路径确定单元包括：

合成子单元， 用于将所述控制终端的地址信息和所述受控终端的地址信息 合成为地址对；

测试子单元， 用于对所述地址对进行连通性测试；

建立子单元， 用于根据所述连通性测试的结果确定所述连接路径。

第二方面， 提供了一种控制终端， 所述控制终端包括： 总线， 以及连接到 所述总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若 干个指令， 所述若干个指令被配置成由所述处理器执行；

所述处理器， 用于控制所述接收器和所述发射器， 建立与受控终端之间的 控制通道和数据通道；

所述接收器， 用于接收所述受控终端通过所述数据通道发送的屏幕图像数 据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图；

所述处理器， 用于根据所述屏幕图像数据在显示设备中显示所述受控终端 的屏幕截图， 根据基于所述屏幕截图的操作生成相应的操作信息；

所述处理器， 用于控制所述发射器将所述操作信息通过所述控制通道发送 给所述受控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。

在第二方面的第一种可能实现方式中， 所述处理器， 用于控制所述接收器 和所述发射器， 通过所述服务器建立与所述受控终端之间的控制通道；

所述处理器， 用于控制所述接收器和所述发射器， 通过所述^^务器和所述 控制通道建立与所述受控终端之间的数据通道。 结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式 中， 所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器获取所述 控制终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址 和中继穿透网络地址转换的中继地址；

所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器或者所述 受控终端获取所述受控终端的地址信息；

所述处理器， 用于才艮据所述控制终端的地址信息和所述受控终端的地址信 息确定连接路径；

所述处理器， 用于控制所述接收器和所述发射器， 根据所述连接路径建立 所述数据通道。

结合第二方面、第二方面的第一种可能实现方式或者第二方面的第二种可 能实现方式， 在第二方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种；

所述处理器， 用于当所述操作信息为触控信息时， 监听所述操作对应的触 控事件， 根据所述触控事件生成所述操作信息；

所述处理器， 用于当所述操作信息为按键信息时， 确定所述操作对应的按 键类型， 生成包含所述按键类型对应的标识的所述操作信息；

所述处理器， 用于当所述操作信息为语音信息时， 将所述操作对应的语音 识别为文本， 提取所述文本中包含的控制指令， 生成包含所述控制指令对应的 标识的所述操作信息。

结合第二方面的第三种可能实现方式，在第二方面的第四种可能实现方式 中， 所述处理器， 用于将所述触控事件序列化为字节流， 生成包含有所述字节 流的所述操作信息；

或者

所述处理器， 用于提取所述触控事件的关键信息， 将所述关键信息编码为 指定格式文件， 生成包含所述指定格式文件的所述操作信息， 所述关键信息包 括事件类型、 触控坐标和 /或触控力度。

结合第二方面的第二种可能实现方式，在第二方面的第五种可能实现方式 中， 所述处理器， 用于将所述控制终端的地址信息和所述受控终端的地址信息 合成为地址对， 对所述地址对进行连通性测试， 根据所述连通性测试的结果确 定所述连接路径。 第三方面， 提供了一种受控终端， 所述受控终端包括：

第二通道建立模块， 用于建立与控制终端之间的控制通道和数据通道； 图像数据获取模块， 用于获取用于指示所述受控终端的屏幕截图的屏幕图 像数据；

图像数据发送模块， 用于通过所述数据通道向所述控制终端发送所述屏幕 图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截 图；

操作信息接收模块， 用于接收所述控制终端通过所述控制通道发送的操作 信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信 息；

执行模块， 用于根据所述操作信息执行相应的控制操作。

在第三方面的第一种可能实现方式中， 所述第二通道建立模块， 包括： 第三通道建立子模块， 用于通过所述服务器建立与所述控制终端之间的控 制通道；

第四通道建立子模块， 用于通过所述服务器和所述控制通道建立与所述控 制终端之间的数据通道。

结合第三方面的第一种可能实现方式，在第三方面的第二种可能实现方式 中， 所述第四通道建立子模块， 包括：

第三地址获取单元， 用于从所述服务器获取所述受控终端的地址信息， 所 述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换 的中继地址；

第四地址获取单元， 用于从所述服务器或者所述控制终端获取所述控制终 端的地址信息；

第二路径确定单元， 用于根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径；

第二建立单元， 用于根据所述连接路径建立所述数据通道。

结合第三方面、第三方面的第一种可能实现方式或者第三方面的第二种可 能实现方式， 在第三方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种， 所述执行模块， 包括：

事件还原子模块， 用于当所述操作信息为触控信息时， 根据所述控制信息 还原所述触控操作对应的触控事件； 第一执行子模块， 用于根据所述触控事件执行所述控制操作； 第二按键类型确定子模块， 用于当所述操作信息为按键信息时， 根据所述 操作信息中包含的标识确定所述按键操作对应的按键类型；

第二执行子模块， 用于根据所述按键类型执行所述控制操作；

指令确定子模块， 用于当所述操作信息为语音信息时， 根据所述操作信息 中包含的标识确定所述语音操作对应的控制指令；

第三执行子模块， 用于根据所述控制指令执行所述控制操作。

结合第三方面的第三种可能实现方式，在第三方面的第四种可能实现方式 中， 所述事件还原子模块， 包括： 第一还原单元或者第二还原单元；

所述第一还原单元， 用于对所述操作信息中包含的字节流进行反序列化， 以还原所述触控事件；

所述第一还原单元， 用于从所述操作信息中包含的指定格式文件中提取所 述触控事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关键信息 包括事件类型、 触控坐标和 /或触控力度。

第四方面， 提供了一种受控终端， 所述受控终端包括： 总线， 以及连接到 所述总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若 干个指令， 所述若干个指令被配置成由所述处理器执行；

所述处理器， 用于控制所述接收器和所述发射器， 建立与控制终端之间的 控制通道和数据通道；

所述处理器， 用于获取用于指示所述受控终端的屏幕截图的屏幕图像数 据；

所述处理器， 用于控制所述发射器， 通过所述数据通道向所述控制终端发 送所述屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终 端的屏幕截图；

所述接收器， 用于接收所述控制终端通过所述控制通道发送的操作信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息； 所述处理器， 用于根据所述操作信息执行相应的控制操作。

在第四方面的第一种可能实现方式中，

所述处理器， 用于控制所述接收器和所述发射器， 通过所述^)良务器建立与 所述控制终端之间的控制通道；

所述处理器， 用于控制所述接收器和所述发射器， 通过所述^^务器和所述 控制通道建立与所述控制终端之间的数据通道。

结合第四方面的第一种可能实现方式，在第四方面的第二种可能实现方式 中， 所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器获取所述 受控终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址 和中继穿透网络地址转换的中继地址；

所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器或者所述 控制终端获取所述控制终端的地址信息；

所述处理器， 用于才艮据所述控制终端的地址信息和所述受控终端的地址信 息确定连接路径；

所述处理器， 用于控制所述接收器和所述发射器， 根据所述连接路径建立 所述数据通道。

结合第四方面、第四方面的第一种可能实现方式或者第四方面的第二种可 能实现方式， 在第四方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种；

所述处理器， 用于当所述操作信息为触控信息时， 根据所述控制信息还原 所述触控操作对应的触控事件， 根据所述触控事件执行所述控制操作；

所述处理器， 用于当所述操作信息为按键信息时， 根据所述操作信息中包 含的标识确定所述按键操作对应的按键类型，根据所述按键类型执行所述控制 操作；

所述处理器， 用于当所述操作信息为语音信息时， 才艮据所述操作信息中包 含的标识确定所述语音操作对应的控制指令，根据所述控制指令执行所述控制 操作。

结合第四方面的第三种可能实现方式，在第四方面的第四种可能实现方式 中， 所述处理器， 用于对所述操作信息中包含的字节流进行反序列化， 以还原 所述触控事件；

或者，

所述处理器， 用于从所述操作信息中包含的指定格式文件中提取所述触控 事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关键信息包括事 件类型、 触控坐标和 /或触控力度。

第五方面， 提供一种服务器， 所述服务器包括：

控制通道建立模块， 用于建立控制终端与受控终端之间的控制通道； 第一地址提供模块， 用于向所述控制终端提供所述控制终端的地址信息， 并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控 终端通过所述控制通道进行地址信息的交换后， 由所述控制终端或者所述受控 终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制通道和所 述数据通道对所述受控终端进行控制；

第二地址提供模块， 向所述控制终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 第三地址提供模块， 向所述受控终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述受控终端 4艮据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。

在第五方面的第一种可能实现方式中， 所述控制通道建立模块， 包括： 请求接收子模块， 用于在所述控制终端接入所述服务器之后， 接收所述控 制终端发送的控制通道建立请求；

判断子模块， 用于判断所述受控终端是否已经接入所述服务器； 通道建立子模块， 用于若所述判断子模块的判断结果为所述受控终端已经 接入所述服务器， 则建立所述控制终端与所述受控终端之间的所述控制通道。

结合第五方面的第一种可能实现方式，在第五方面的第二种可能实现方式 中， 所述控制通道建立模块还包括：

通知子模块， 用于若所述判断子模块的判断结果为所述受控终端未接入所 述服务器， 则向所述受控终端发送接入通知， 所述接入通知用于指示所述受控 终端接入所述服务器。

第六方面， 提供了一种服务器， 所述服务器包括： 总线， 以及连接到所述 总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若干个 指令， 所述若干个指令被配置成由所述处理器执行；

所述处理器， 用于控制所述接收器和所述发射器建立控制终端与受控终端 之间的控制通道；

所述处理器， 用于控制所述接收器和所述发射器向所述控制终端提供所述 控制终端的地址信息， 并向所述受控终端提供所述受控终端的地址信息， 使所 述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后， 由所述 控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终 端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 所述处 理器， 用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地 址信息， 由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址 信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通 过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器， 用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信 息， 由所述受控终端 4艮据所述控制终端的地址信息和所述受控终端的地址信息 确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所 述控制通道和所述数据通道对所述受控终端进行控制。

在第六方面的第一种可能实现方式中， 所述接收器， 用于在所述控制终端 接入所述服务器之后， 接收所述控制终端发送的控制通道建立请求；

所述处理器， 用于判断所述受控终端是否已经接入所述服务器， 若判断结 果为所述受控终端已经接入所述服务器， 则控制所述接收器和所述发射器建立 所述控制终端与所述受控终端之间的所述控制通道。

结合第六方面的第一种可能实现方式，在第六方面的第二种可能实现方式 中， 所述处理器， 用于若判断结果为所述受控终端未接入所述服务器， 则控制 所述发射器向所述受控终端发送接入通知， 所述接入通知用于指示所述受控终 端接入所述服务器。

第七方面， 提供了一种终端控制方法， 用于控制终端中， 所述方法包括： 建立与受控终端之间的控制通道和数据通道；

接收所述受控终端通过所述数据通道发送的屏幕图像数据， 所述屏幕图像 数据用于指示所述受控终端的屏幕截图；

根据所述屏幕图像数据显示所述受控终端的屏幕截图；

根据基于所述屏幕截图的操作生成相应的操作信息；

将所述操作信息通过所述控制通道发送给所述受控终端， 由所述受控终端 根据所述操作信息执行相应的控制操作。

在第七方面的第一种可能实现方式中， 所述建立与受控终端之间的控制通 道和数据通道， 包括：

通过所述服务器建立与所述受控终端之间的控制通道；

通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。 结合第七方面的第一种可能实现方式，在第七方面的第二种可能实现方式 中， 所述通过所述服务器和所述控制通道建立与所述受控终端之间的数据通 道， 包括：

从所述服务器获取所述控制终端的地址信息， 所述地址信息包括本地地 址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址；

从所述服务器或者所述受控终端获取所述受控终端的地址信息；

根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径； 根据所述连接路径建立所述数据通道。

结合第七方面、第七方面的第一种可能实现方式或者第七方面的第二种可 能实现方式， 在第七方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种， 所述根据基于所述屏幕截图的操作 生成操作信息， 包括：

当所述操作信息为触控信息时， 监听所述操作对应的触控事件， 根据所述 触控事件生成所述操作信息；

当所述操作信息为按键信息时， 确定所述操作对应的按键类型， 生成包含 所述按键类型对应的标识的所述操作信息；

当所述操作信息为语音信息时， 将所述操作对应的语音识别为文本， 提取 所述文本中包含的控制指令， 生成包含所述控制指令对应的标识的所述操作信 息。

结合第七方面的第三种可能实现方式，在第七方面的第四种可能实现方式 中， 所述根据所述触控事件生成所述操作信息， 包括：

将所述触控事件序列化为字节流， 生成包含有所述字节流的所述操作信 息；

或者， 提取所述触控事件的关键信息， 将所述关键信息编码为指定格式文 件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、 触控坐标和 /或触控力度。

结合第七方面的第三种可能实现方式，在第七方面的第四种可能实现方式 中， 所述根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路 径， 包括：

将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对， 对 所述地址对进行连通性测试， 根据所述连通性测试的结果确定所述连接路径。

第八方面， 提供了一种终端控制方法， 用于受控终端中， 所述方法包括： 建立与控制终端之间的控制通道和数据通道；

获取用于指示所述受控终端的屏幕截图的屏幕图像数据；

通过所述数据通道向所述控制终端发送所述屏幕图像数据， 由所述控制终 端根据所述屏幕数据图像显示所述受控终端的屏幕截图；

接收所述控制终端通过所述控制通道发送的操作信息， 所述操作信息为所 述控制终端根据基于所述屏幕截图的操作生成的信息；

根据所述操作信息执行相应的控制操作。

在第八方面的第一种可能实现方式中， 所述建立与控制终端之间的控制通 道和数据通道， 包括：

通过所述服务器建立与所述控制终端之间的控制通道；

通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。 结合第八方面的第一种可能实现方式，在第八方面的第二种可能实现方式 中， 所述根据所述服务器和所述控制通道建立与所述控制终端之间的数据通 道， 包括：

从所述服务器获取所述受控终端的地址信息， 所述地址信息包括本地地 址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址；

从所述服务器或者所述控制终端获取所述控制终端的地址信息； 根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径； 根据所述连接路径建立所述数据通道。

结合第八方面、第八方面的第一种可能实现方式或者第八方面的第二种可 能实现方式， 在第八方面的第三种可能实现方式中， 所述操作信息包括触控信 息、 按键信息或者语音信息中的至少一种， 所述根据所述操作信息执行相应的 控制操作， 包括：

当所述操作信息为触控信息时，根据所述操作信息还原所述操作对应的触 控事件， 根据所述触控事件执行所述控制操作；

当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述 操作对应的按键类型， 根据所述按键类型执行所述控制操作； 当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述 操作对应的控制指令， 根据所述控制指令执行所述控制操作。

结合第八方面的第三种可能实现方式，在第八方面的第四种可能实现方式 中， 所述根据所述控制信息还原所述触控操作对应的触控事件， 包括：

对所述操作信息中包含的字节流进行反序列化， 以还原所述触控事件； 或者，从所述操作信息中包含的指定格式文件中提取所述触控事件的关键 信息， 根据所述关键信息还原所述触控事件， 所述关键信息包括事件类型、 触 控坐标和 /或触控力度。

第九方面， 提供了一种终端控制方法， 用于服务器中， 所述方法包括： 建立控制终端与受控终端之间的控制通道；

向所述控制终端提供所述控制终端的地址信息， 并向所述受控终端提供所 述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进 行地址信息的交换后， 由所述控制终端或者所述受控终端根据所述控制终端的 地址信息和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述 数据通道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终 端进行控制； 或者， 向所述控制终端提供所述控制终端的地址信息和所述受控 终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息和所述受控终 端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控 制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 向 所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息， 由所 述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连 接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制 通道和所述数据通道对所述受控终端进行控制。

在第九方面的第一种可能实现方式中， 所述建立控制终端与受控终端之间 的控制通道， 包括：

在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道 建立请求；

判断所述受控终端是否已经接入所述服务器；

若判断结果为所述受控终端已经接入所述服务器， 则建立所述控制终端与 所述受控终端之间的所述控制通道。

结合第九方面的第一种可能实现方式，在第九方面的第二种可能实现方式 中， 所述方法还包括：

若判断结果为所述受控终端未接入所述服务器， 则向所述受控终端发送接 入通知， 所述接入通知用于指示所述受控终端接入所述服务器。

本发明实施例提供的技术方案带来的有益效果是：

通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据 通道发送的屏幕图像数据， 根据屏幕图像数据显示受控终端的屏幕截图， 根据 基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受 控终端， 由受控终端根据操作信息执行相应的控制操作， 使用两个独立的通道 来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在 传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕 截图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果和 用户体验的目的。 附图说明

为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所 需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图 1是本发明一个实施例提供的控制终端的结构示意图；

图 2是本发明另一实施例提供的控制终端的结构示意图；

图 3是本发明另一实施例提供的触控坐标映射示意图；

图 4是本发明另一实施例提供的远程控制操作示意图；

图 5是本发明另一实施例提供的远程涂鸦操作示意图；

图 6是本发明一个实施例提供的控制终端的框图；

图 7是本发明另一实施例提供的控制终端的框图；

图 8是本发明一个实施例提供的受控终端的结构示意图；

图 9是本发明另一实施例提供的受控终端的结构示意图；

图 10是本发明一个实施例提供的受控终端的框图；

图 11是本发明另一实施例提供的受控终端的框图；

图 12是本发明一个实施例提供的服务器的结构示意图；

图 13是本发明另一实施例提供的服务器的结构示意图； 图 14是本发明一个实施例提供的服务器的框图；

图 15是本发明另一实施例提供的服务器的框图；

图 16是本发明一个实施例提供的终端控制方法的方法流程图；

图 17是本发明另一实施例提供的终端控制方法的方法流程图；

图 18是本发明一个实施例提供的终端控制方法的方法流程图；

图 19是本发明另一实施例提供的终端控制方法的方法流程图；

图 20是本发明一个实施例提供的终端控制方法的方法流程图；

图 21是本发明另一实施例提供的终端控制方法的方法流程图；

图 22是本发明一个实施例提供的终端控制系统的系统构成图。 具体实施方式

为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明 实施方式作进一步地详细描述。 请参考图 1， 其示出了本发明一个实施例提供的控制终端的结构示意图， 该控制终端用于对受控终端进行远程控制， 该控制终端和受控终端可以是带有 显示单元， 且具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以及 电子书阅读器等。 该控制终端可以包括：

第一通道建立模块 101，用于建立与受控终端之间的控制通道和数据通道； 图像数据接收模块 102， 用于接收所述受控终端通过所述数据通道， 以指 定帧率发送的屏幕图像数据， 所述屏幕图像数据用于指示所述受控终端的屏幕 截图；

显示模块 103，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图； 操作信息生成模块 104， 用于根据基于所述屏幕截图的操作生成相应的操 作信息；

操作信息发送模块 105， 用于将所述操作信息通过所述控制通道发送给所 述受控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的控制终端， 建立与受控终端之间的控制通 道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根据屏幕图 像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信 息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作信息执行 相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕 图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致 的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作 进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 2， 其示出了本发明另一实施例提供的控制终端的结构示意图， 该控制终端用于对受控终端进行远程控制， 该控制终端和受控终端可以是带有 显示单元， 且具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以及 电子书阅读器等。 该控制终端可以包括：

第一通道建立模块 201，用于建立与受控终端之间的控制通道和数据通道； 其中， 所述第一通道建立模块 201， 包括：

第一通道建立子模块 2011，用于通过所述服务器建立与所述受控终端之间 的控制通道；

其中， 服务器可以按照功能划分为连接服务器、 控制通道服务器和数据通 道服务器三个部分。 控制终端和受控终端在初始时刻接入连接服务器， 并通过 心跳连接的方式维持在线。

在实际应用中， 该连接服务器、 控制通道服务器和数据通道服务器可以集 成为同一个服务器实体。

用户想要在控制终端中对受控终端进行控制时， 可以通过控制通道服务器 建立与受控终端之间的控制通道， 其具体的建立流程可以包括如下步骤：

1 )控制终端接入控制通道服务器；

以控制终端为智能手机八， 受控终端为智能手机 B为例， 用户在智能手机 A上开启远程控制功能后， 智能手机 A即与控制通道服务器建立连接。

2 )控制终端向控制通道服务器发送控制通道建立请求；

其中， 该控制通道建立请求用于指示控制通道服务器建立该控制终端和受 控终端之间的控制通道。

用户在智能手机 A中选择智能手机 B为控制对象后， 智能手机 A向控制 通道服务器发送控制通道建立请求， 该控制通道建立请求中包含有智能手机 B 的标识， 以便控制通道服务器确定智能手机 A所请求的控制对象。

3 )若被控终端已经接入控制通道服务器， 则控制通道服务器建立该控制 通道； 控制通道服务器首先判断智能手机 B是否已经接入该控制通道服务器。如 果智能手机 B 已经与控制通道服务器建立连接， 则直接建立智能手机 A和智 能手机 B之间的控制通道。

4 )若被控终端未接入控制通道服务器， 则控制通道服务器向受控终端发 送接入通知；

如果控制通道服务器判断出智能手机 B尚未接入， 则向智能手机 B发送 接入通知， 指示该智能手机 B接入控制通道服务器。

5 ) 受控终端根据该接入通知接入控制通道服务器；

智能手机 B接收到该接入通知后， 即发起接入流程， 以接入该控制通道服 务器。

6 )控制通道服务器建立该控制通道。

控制通道服务器在确认智能手机 B根据该接入通知接入成功后，建立该控 制通道。

需要说明的是， 按照上述步骤建立的控制通道， 以控制通道服务器为中继 进行信息的转发。 同时， 由于经过控制通道发送的控制信令数据量较小， 且对 数据传输的可靠性以及准确性的要求较高， 因此， 该控制通道基于可靠的 TCP 协议建立。

第二通道建立子模块 2012，用于通过所述服务器和所述控制通道建立与所 述受控终端之间的数据通道。

其中， 所述第二通道建立子模块 2012， 包括：

第一地址获取单元 2012a， 用于从所述服务器获取所述控制终端的地址信 息， 所述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地 址转换的中继地址；

第二地址获取单元 2012b， 用于从所述服务器或者所述受控终端获取所述 受控终端的地址信息；

其中， 控制终端可以从服务器获取受控终端的地址信息， 也可以通过控制 通道从受控终端获取该受控终端的地址信息。控制终端可以向服务器发送收集 该受控终端的地址信息的请求，并接收服务器反馈的该受控终端的地址；或者， 控制终端也可以通过已经建立的控制通道向受控终端请求该受控终端的地址 信息。

第一路径确定单元 2012c， 用于根据所述控制终端的地址信息和所述受控 终端的地址信息确定连接路径；

第一建立单元 2012d， 用于根据所述连接路径建立所述数据通道。

所述第一路径确定单元 2012c包括：

合成子单元 2012cl，用于将所述控制终端的地址信息和所述受控终端的地 址信息合成为地址对；

测试子单元 2012c2， 用于对所述地址对进行连通性测试；

建立子单元 2012c3， 用于根据所述连通性测试的结果确定所述连接路径。 以控制终端和受控终端通过该服务器和该控制通道进行地址信息的获取 和交换， 并根据双方的地址信息进行数据通道的建立， 数据通道可以由控制终 端或者受控终端发起建立， 控制终端主动发起数据通道的建立为例， 其具体流 程可以如下：

1 )控制终端通过控制通道向受控终端发起数据通道建立指令；

智能手机 A通过以控制通道服务器为中继的控制通道向智能手机 B发送 数据通道建立指令。

2 )控制终端从数据通道服务器获取该控制终端的地址信息；

智能手机 A向数据通道服务器发送地址收集请求，数据通道服务器根据该 地址收集请求将智能手机 A的地址信息返回给智能手机 A。该地址信息可以包 括三类， 分别为智能手机的本地地址、 NAT ( Network Address Translation, 网 络地址转换 )公网映射地址和 TURN ( Traversal Using Relays around NAT, 中 继穿透 NAT ) 的中继地址等。

3 ) 受控终端从数据通道服务器获取该受控终端的地址信息；

同样的， 智能手机 B在接收到数据通道建立指令后， 也向数据通道服务器 发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机 B的地址 信息返回给智能手机 B。

4 )控制终端通过控制通道从受控终端获取受控终端的地址信息； 智能手机 A接收智能手机 B通过控制通道发送的， 该智能手机 B的地址 信息。

5 )控制终端根据控制终端的地址信息和受控终端的地址信息确定连接路 径；

智能手机 A将自身的三类地址与智能手机 B的三类地址合成地址对， 对 合成获得的地址对进行连通性测试，根据连通性测试的结果确定最优的路径作 为连接路径。

6 )控制终端通过确定的连接路径建立数据通道。

控制终端也可以直接从服务器获取受控终端的地址信息， 比如， 控制终端 可以向服务器发送收集受控终端的地址信息的请求，服务器将受控终端的地址 信息发送给控制终端， 由控制终端根据自身的地址信息和受控终端的地址信息 确定连接路径并建立数据通道。

或者， 上述数据通道的建立过程也可以由受控终端发起， 其建立流程与上 述过程类似。

需要说明的是， 该数据通道可以通过中继方式进行建立， 也可以通过直连 方式建立， 比如， 当控制终端和受控终端之间可以通过无线局域网或者蓝牙等 进行直接连接时， 可以通过直连方式建立该数据通道； 当控制终端和受控终端 之间只能通过互联网络建立连接时， 可以建立以服务器为中继的数据通道。

此外， 由于图像信息数据量较大， 且对传输的可靠性以及准确性的要求不 高， 可允许一定的丟包， 因此， 该数据通道可以基于 UDP ( User Data Protocol, 用户数据报协议）协议建立。

上述控制通道和数据通道的建立过程都需要通过服务器进行中继，在实际 应用中， 也可以不通过服务器， 直接建立控制通道和 /或数据通道。

比如， 当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围 内时， 可以通过无线局域网或者蓝牙直接建立该控制通道和该数据通道， 不需 要经过服务器进行中继转发。

或者， 当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围 内时， 可以通过无线局域网或者蓝牙直接建立该控制通道， 并通过服务器建立 该数据通道。

或者， 当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围 内时， 可以通过服务器建立该控制通道， 并通过无线局域网或者蓝牙直接建立 该数据通道。

图像数据接收模块 202， 用于接收所述受控终端通过所述数据通道发送的 屏幕图像数据；

受控终端屏幕点亮时， 可以按照指定的帧率抓取屏幕图像数据， 该指定帧 率可以是一个固定的帧率，比如，受控终端可以设置该指定帧率为固定的 30FPS ( Frames Per Second,每秒传输帧数）， 即每秒抓取 30帧屏幕图像的图像数据； 或者， 受控终端也可以根据屏幕显示的内容动态设定指定帧率， 比如， 当屏幕 中显示的内容为静态的页面时， 可以为该指定帧率设置一个较低的数值 (比如

10 )， 当屏幕中显示的内容为动态的视频时， 可以为该指定帧率设置一个较高 的数值 (比如 60 )。

数据通道建立起来后，受控终端就可以进行图像和 /或音频等媒体数据的传 输。 受控终端将按照指定帧率抓取的屏幕图像数据进行编码 (比如按照 H.264 方式进行编码)后， 通过数据通道传输到控制终端。

显示模块 203，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图； 智能手机 A接收到智能手机 B通过数据通道发送的屏幕图像数据后， 以 合适的分辨率在屏幕中显示智能手机 B的屏幕截图。

操作信息生成模块 204， 用于根据基于所述屏幕截图的操作生成相应的操 作信息；

其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种， 所述操作信息生成模块 204包括：

监听子模块 2041，用于当所述操作信息为触控信息时，监听所述操作对应 的触控事件；

第一生成子模块 2042， 用于根据所述触控事件生成所述操作信息； 第一按键类型确定子模块 2043，用于当所述操作信息为按键信息时，确定 所述操作对应的按键类型；

第二生成子模块 2044，用于生成包含所述按键类型对应的标识的所述操作 信息；

语音识别子模块 2045，用于当所述操作信息为语音信息时，将所述操作对 应的语音识别为文本；

第二生成子模块 2046，用于提取所述文本中包含的控制指令，生成包含所 述控制指令对应的标识的所述操作信息。

所述第一生成子模块 2042， 包括： 第一生成单元 2042a或者第二生成单元 2042b;

所述第一生成单元 2042a， 用于将所述触控事件序列化为字节流， 生成包 含有所述字节流的所述操作信息；

所述第二生成单元 2042b， 用于提取所述触控事件的关键信息， 将所述关 键信息编码为指定格式文件， 生成包含所述指定格式文件的所述操作信息， 所 述关键信息包括事件类型、 触控坐标和 /或触控力度。

操作信息发送模块 205， 用于将所述操作信息通过所述控制通道发送给所 述受控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。

以智能手机为例，用户在智能手机 A中的操作可以分为触控操作、按键操 作以及语音操作， 对应生成的操作信息分别为触控信息、 按键信息以及语音信 息， 其处理方法分别如下：

1 )对于触控信息， 当用户在智能手机 A侧基于智能手机 B的屏幕截图进 行触控操作， 比如进行滑屏、 点击、 长按或者手势等操作时， 智能手机 A对生 成的触控事件 MotionEvent进行序列化为字节流并发送出去， 智能手机 B对字 节流进行反序列化， 还原触控事件。 或者， 智能手机 A提取触控事件里面的关 键信息 （包括事件类型、 触控坐标、 触控力度等）， 将关键信息编码为 xml或 json等格式的文件。 智能手机 B根据 xml或 json等格式的文件提取关键信息， 并据以还原触控事件。 智能手机 B根据还原的触控事件执行相应的控制操作。

以 xml格式为例， 编码后的文件可以如下：

<?xml version 1.0" encoding="UTF-8" ?>

<motionevent>

<surfacex>1080.0</surfacex>

<surfacey>1519.0</surfacey>

<extra> 122.0</extra>

<action>0</ action>

<pointlist><point><pointx>563.0</pointxxpointy>764.0</pointyx/point></ pointlistxpressure>0.31764707 </pressure>

<size〉0.0</size〉

<metastate>0</metastate>

<buttonstate>0</buttonstate>

<xprecision>l .0</xprecision>

<yprecision>l .0</yprecision>

<edgeflags〉0</edgeflags〉

<source>4098</source>

<flags>0</flags>

</motionevent> 控制终端显示受控终端的屏幕截图时，在控制终端中显示的屏幕截图的分 辨率与受控终端实际显示的屏幕图像的分辨率通常并不一致， 相应的， 用户在 控制终端中基于受控终端的屏幕截图进行触控操作时， 生成的触控事件中包含 的触控坐标与该触控操作映射在受控终端实际屏幕图像中的坐标也不一致， 对 此，控制终端首先需要将原始的触控事件中的触控坐标转化为映射在受控终端 的屏幕中的映射坐标， 使用该映射坐标替换原始的触控事件中的触控坐标， 再 根据替换映射坐标后的触控事件生成触控信息。 具体的， 受控终端可以通过控 制通道将受控终端的分辨率发送给控制终端，控制终端根据屏幕截图的显示区 域坐标，原始的触控事件中的触控坐标以及受控终端的屏幕分辨率确定该映射 坐标。

或者， 上述坐标转化的步骤也可以由受控终端来完成， 即控制终端不对原 始的触控事件进行处理， 直接生成触控信息， 受控终端通过控制通道获取控制 终端中的屏幕截图的显示区域坐标，从触控信息中提取原始的触控事件中的触 控坐标， 并根据该屏幕截图的显示区域坐标、 提取出的触控坐标以及受控终端 自身的屏幕分辨率确定该映射坐标。

以上述坐标转化步骤由控制终端完成为例，请参考图 3所示的触控坐标映 射示意图， 其中， 智能手机 A与智能手机 B建立控制通道和数据通道后， 智 能手机 A接收智能手机 B的屏幕图像数据， 在智能手机 A屏幕中的截图显示 区域显示该智能手机 B的屏幕截图， 该截图显示区域为智能手机 A的屏幕中 的一部分， 用户在智能手机 A屏幕中的截图显示区域进行触控操作时，生成的 原始触控事件中包含的触控坐标（x， y )为触控点在智能手机 A的屏幕中的坐 标， 智能手机 A监控到该原始的触控事件后，将该原始的触控事件中的触控坐 标（x， y )替换为其映射在受控终端的屏幕中的映射坐标（x， y )， 根据替换 触控坐标后的触控事件生成触控信息， 比如， 对替换触控坐标后的触控事件进 行序列化， 或者， 将映射坐标（x'， y )作为关键信息进行提取并编码。

用户可以通过触控操作在控制终端中对受控终端进行控制， 比如， 请参考 图 4所示的远程控制操作示意图， 智能手机 A与智能手机 B建立控制通道和 数据通道后，智能手机 A接收智能手机 B的屏幕图像数据，并显示智能手机 B 的屏幕截图， 该屏幕截图为智能手机 B的主界面截图， 该屏幕截图中包含各个 应用程序的图标， 智能手机 A侧的用户点击该屏幕截图中某一应用程序（程序 名为 "XYZ" ) 的图标区域时， 智能手机 A根据触控点的坐标确定该触控点映 射在智能手机 B中的映射坐标，并将该映射坐标和触控类型编码为触控信息并 发送给智能手机 B， 智能手机 B根据该触控信息还原触控事件， 根据该触控事 件打开应用程序 XYZ。 进一步的， 智能手机 Β打开应用程序 ΧΥΖ并显示其应 用程序界面后，用户在智能手机 Α中点击该应用程序界面的截图中的功能按键 (比如进入次级页面或者退出应用程序等等）对应的位置时， 智能手机 B可以 根据该功能按键对该应用程序进行控制。

或者， 用户也可以通过触控操作在受控终端中进行远程屏幕涂鸦， 比如， 请参考图 5所示的远程涂鸦操作示意图， 其中， 智能手机 A与智能手机 B建 立控制通道和数据通道后， 智能手机 B打开涂鸦面板， 智能手机 A接收智能 手机 B的屏幕图像数据， 并显示该涂鸦面板的截图， 智能手机 A侧的用户在 该涂鸦面板的截图中进行滑动操作，智能手机 A根据滑动操作划过的轨迹上的 各个坐标确定映射在智能手机 B中的各个映射坐标，并将该各个映射坐标和触 控类型编码为触控信息并发送给智能手机 B，智能手机 B根据该触控信息还原 触控事件，根据该触控事件在智能手机 B显示的涂鸦面板中显示该滑动操作的 轨迹图案。

2)对于按键信息， 智能手机 A可以对按键事件（比如返回键、 home键、 菜 单键、 音量键等所有物理按键或虚拟按键)进行编码， 将每一种按键类型定义 唯一的标识， 智能手机 A将按键事件对应的按键类型编码为标识发送到智能手 机：^ 智能手机 B根据标识还原为相应的按键事件。智能手机 B按照还原的按 键事件执行相应的控制操作。

3)对于语音信息， 智能手机 A首先将语音转为为文字， 提取文字中的控制 指令， 为每一种控制指令定义唯一的标识， 智能手机 A将语音编码为标识发送 到智能手机 B， 智能手机 B根据标识还原相应控制指令。 比如， 用户对智能手 机 A输入 "打电话" 声音， 智能手机 A将 "打电话" 编码为唯一标识并发送 到智能手机 B， 智能手机 B将该唯一标识识别为 "打电话" 的指令。 智能手机 B根据识别出的指令进行相应的控制操作。

综上所述， 本发明实施例提供的控制终端， 通过建立与受控终端之间的控 制通道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根据屏 幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操 作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作信息 执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和 屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而 导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户 操作进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 6， 其示出了本发明一个实施例提供的控制终端的框图。 该控制 终端 300可以用于对受控终端进行远程控制， 该控制终端和受控终端可以是带 有显示单元， 且具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以 及电子书阅读器等。该控制终端 300可以包括： 总线 305， 以及连接到总线 305 的处理器 301、 存储器 302、 发射器 303和接收器 304。 其中， 存储器 302用于 存储若干个指令， 该若干个指令被配置成由处理器 301执行；

所述处理器 301， 用于控制所述接收器 304和所述发射器 303， 建立与受 控终端之间的控制通道和数据通道；

所述接收器 304， 用于接收所述受控终端通过所述数据通道发送的屏幕图 像数据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图；

所述处理器 301， 用于根据所述屏幕图像数据在显示设备中显示所述受控 终端的屏幕截图， 根据基于所述屏幕截图的操作生成相应的操作信息；

所述处理器 301， 用于控制所述发射器 303将所述操作信息通过所述控制 通道发送给所述受控终端， 由所述受控终端根据所述操作信息执行相应的控制 操作。

综上所述， 本发明实施例提供的控制终端， 通过建立与受控终端之间的控 制通道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根据屏 幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操 作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作信息 执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和 屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而 导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户 操作进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 7， 其示出了本发明另一实施例提供的控制终端的框图。 该控制 终端 400可以用于对受控终端进行远程控制， 该控制终端和受控终端可以是带 有显示单元， 且具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以 及电子书阅读器等。该控制终端 400可以包括： 总线 405， 以及连接到总线 405 的处理器 401、 存储器 402、 发射器 403和接收器 404。 其中， 存储器 402用于 存储若干个指令， 该若干个指令被配置成由处理器 401执行；

所述处理器 401， 用于控制所述接收器 404和所述发射器 403， 建立与受 控终端之间的控制通道和数据通道；

所述处理器 401， 用于控制所述接收器 404和所述发射器 403， 通过所述 服务器建立与所述受控终端之间的控制通道；

所述处理器 401， 用于控制所述接收器 404和所述发射器 403， 通过所述 服务器和所述控制通道建立与所述受控终端之间的数据通道。

具体的， 在建立数据通道时， 所述处理器 401， 用于控制所述接收器 404 和所述发射器 403， 从所述服务器获取所述控制终端的地址信息， 所述地址信 息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地 址；

所述处理器 401， 用于控制所述接收器 404和所述发射器 403， 从所述服 务器或者所述受控终端获取所述受控终端的地址信息；

所述处理器 401， 用于根据所述控制终端的地址信息和所述受控终端的地 址信息确定连接路径；

所述处理器 401， 用于控制所述接收器 404和所述发射器 403， 根据所述 连接路径建立所述数据通道。

其中， 在确定连接路径时， 所述处理器 401， 用于将所述控制终端的地址 信息和所述受控终端的地址信息合成为地址对， 对所述地址对进行连通性测 试， 根据所述连通性测试的结果确定所述连接路径。

该控制通道和数据通道的建立流程可以如图 2对应实施例中的描述， 此处 不再赘述。

所述接收器 404， 用于接收所述受控终端通过所述数据通道发送的屏幕图 像数据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图；

所述处理器 401， 用于根据所述屏幕图像数据在显示设备中显示所述受控 终端的屏幕截图， 根据基于所述屏幕截图的操作生成相应的操作信息；

其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种； 所述处理器 401， 用于当所述操作信息为触控信息时， 监听所述操作对应的触 控事件， 根据所述触控事件生成所述操作信息； 所述处理器 401， 用于当所述操作信息为按键信息时， 确定所述操作对应 的按键类型， 生成包含所述按键类型对应的标识的所述操作信息；

所述处理器 401， 用于当所述操作信息为语音信息时， 将所述操作对应的 语音识别为文本， 提取所述文本中包含的控制指令， 生成包含所述控制指令对 应的标识的所述操作信息。

在根据所述触控事件生成所述操作信息时， 所述处理器 401， 用于将所述 触控事件序列化为字节流， 生成包含有所述字节流的所述操作信息； 或者， 所 述处理器 401， 用于提取所述触控事件的关键信息， 将所述关键信息编码为指 定格式文件， 生成包含所述指定格式文件的所述操作信息， 所述关键信息包括 事件类型、 触控坐标和 /或触控力度。

触控信息的生成步骤请参见图 2对应实施例中的描述， 此处不再赘述。 所述处理器 401， 用于控制所述发射器 403将所述操作信息通过所述控制 通道发送给所述受控终端， 由所述受控终端根据所述操作信息执行相应的控制 操作。

综上所述， 本发明实施例提供的控制终端， 通过建立与受控终端之间的控 制通道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根据屏 幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操 作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作信息 执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和 屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而 导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户 操作进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 8， 其示出了本发明一个实施例提供的受控终端的结构示意图， 该受控终端用于接收如图 1、 图 2、 图 6或图 7任一所示的控制终端的远程控 制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移 动终端， 比如智能手机、平板电脑以及电子书阅读器等。该受控终端可以包括： 第二通道建立模块 501，用于建立与控制终端之间的控制通道和数据通道； 图像数据获取模块 502， 用于获取用于指示所述受控终端的屏幕截图的屏 幕图像数据；

图像数据发送模块 503， 用于通过所述数据通道向所述控制终端发送所述 屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏 幕截图；

操作信息接收模块 504， 用于接收所述控制终端通过所述控制通道发送的 操作信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的 信息；

执行模块 505， 用于根据所述操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的受控终端， 通过建立与控制终端之间的控 制通道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向 所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发 送的操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通 道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息 在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏 幕截图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果 和用户体验的目的。

请参考图 9， 其示出了本发明另一实施例提供的受控终端的结构示意图， 该受控终端用于接收如图 1、 图 2、 图 6或图 7任一所示的控制终端的远程控 制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移 动终端， 比如智能手机、平板电脑以及电子书阅读器等。该受控终端可以包括： 第二通道建立模块 601，用于建立与控制终端之间的控制通道和数据通道； 其中， 所述第二通道建立模块 601， 包括：

第三通道建立子模块 6011，用于通过所述服务器建立与所述控制终端之间 的控制通道；

第四通道建立子模块 6012，用于通过所述服务器和所述控制通道建立与所 述控制终端之间的数据通道。

其中， 所述第四通道建立子模块 6012， 包括：

第三地址获取单元 6012a， 用于从所述服务器获取所述受控终端的地址信 息， 所述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地 址转换的中继地址；

第四地址获取单元 6012b， 用于从所述服务器或者所述控制终端获取所述 控制终端的地址信息； 第二路径确定单元 6012c， 用于根据所述控制终端的地址信息和所述受控 终端的地址信息确定连接路径；

第二建立单元 6012d， 用于根据所述连接路径建立所述数据通道。

在根据该控制终端的地址信息和该受控终端的地址信息确定连接路径时， 受控终端将该控制终端的地址信息和该受控终端的地址信息合成为地址对， 对 该地址对进行连通性测试， 根据该连通性测试的结果确定该连接路径。

以控制终端和受控终端通过该服务器和该控制通道进行地址信息的获取 和交换， 并根据双方的地址信息进行数据通道的建立， 数据通道可以由控制终 端或者受控终端发起建立， 控制终端主动发起数据通道的建立为例， 其具体流 程可以如下：

1 )控制终端通过控制通道向受控终端发起数据通道建立指令；

智能手机 A通过以控制通道服务器为中继的控制通道向智能手机 B发送 数据通道建立指令。

2 )控制终端从数据通道服务器获取该控制终端的地址信息；

智能手机 A向数据通道服务器发送地址收集请求，数据通道服务器根据该 地址收集请求将智能手机 A的地址信息返回给智能手机 A。该地址信息可以包 括三类， 分别为智能手机的本地地址、 NAT ( Network Address Translation, 网 络地址转换 )公网映射地址和 TURN ( Traversal Using Relays around NAT, 中 继穿透 NAT ) 的中继地址等。

3 ) 受控终端从数据通道服务器获取该受控终端的地址信息；

同样的， 智能手机 B在接收到数据通道建立指令后， 也向数据通道服务器 发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机 B的地址 信息返回给智能手机 B。

4 ) 受控终端通过控制通道从控制终端获取控制终端的地址信息； 智能手机 A将自身的地址信息通过控制通道发送给智能手机 B。

5 ) 受控终端根据控制终端的地址信息和受控终端的地址信息确定连接路 径；

智能手机 B同样将自身的三类地址与智能手机 A的三类地址合成地址对， 对合成获得的地址对进行连通性测试，根据连通性测试的结果确定最优的路径 作为连接路径。

6 ) 受控终端通过确定的连接路径建立数据通道。 控制终端也可以直接从服务器获取受控终端的地址信息， 比如， 控制终端 可以向服务器发送收集受控终端的地址信息的请求，服务器将受控终端的地址 信息发送给控制终端， 由控制终端根据自身的地址信息和受控终端的地址信息 确定连接路径并建立数据通道。

图像数据获取模块 602， 用于获取用于指示所述受控终端的屏幕截图的屏 幕图像数据；

图像数据发送模块 603， 用于通过所述数据通道向所述控制终端发送所述 屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏 幕截图；

操作信息接收模块 604， 用于接收所述控制终端通过所述控制通道发送的 操作信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的 信息；

执行模块 605， 用于根据所述操作信息执行相应的控制操作。

其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种， 所述执行模块 605， 包括：

事件还原子模块 6051，用于当所述操作信息为触控信息时，根据所述控制 信息还原所述触控操作对应的触控事件；

第一执行子模块 6052， 用于根据所述触控事件执行所述控制操作； 第二按键类型确定子模块 6053，用于当所述操作信息为按键信息时，根据 所述操作信息中包含的标识确定所述按键操作对应的按键类型；

第二执行子模块 6054， 用于根据所述按键类型执行所述控制操作； 指令确定子模块 6055，用于当所述操作信息为语音信息时，根据所述操作 信息中包含的标识确定所述语音操作对应的控制指令；

第三执行子模块 6056， 用于根据所述控制指令执行所述控制操作。

所述事件还原子模块， 包括： 第一还原单元 6051a 或者第二还原单元

6051b;

所述第一还原单元 6051a， 用于对所述操作信息中包含的字节流进行反序 列化， 以还原所述触控事件；

所述第二还原单元 6051b， 用于从所述操作信息中包含的指定格式文件中 提取所述触控事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关 键信息包括事件类型、 触控坐标和 /或触控力度。 其中， 受控终端接收控制终端的具体过程请参考图 2对应的实施例中的描 述， 此处不再赘述。

综上所述， 本发明实施例提供的受控终端， 通过建立与控制终端之间的控 制通道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向 所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发 送的操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通 道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息 在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏 幕截图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果 和用户体验的目的。

请参考图 10，其示出了本发明一个实施例提供的受控终端的框图。该受控 终端 700用于接收如图 1、 图 2、 图 6或图 7任一所示的控制终端的远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终 端， 比如智能手机、平板电脑以及电子书阅读器等。该受控终端 700可以包括： 总线 705， 以及连接到总线 705的处理器 701、存储器 702、发射器 703和接收 器 704。 其中， 存储器 702用于存储若干个指令， 该若干个指令被配置成由处 理器 701执行；

所述处理器 701， 用于控制所述接收器 704和所述发射器 703， 建立与控 制终端之间的控制通道和数据通道；

所述处理器 701， 用于获取用于指示所述受控终端的屏幕截图的屏幕图像 数据；

所述处理器 701， 用于控制所述发射器 703， 通过所述数据通道向所述控 制终端发送所述屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所 述受控终端的屏幕截图；

所述接收器 704， 用于接收所述控制终端通过所述控制通道发送的操作信 息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息； 所述处理器 701， 用于根据所述操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的受控终端， 通过建立与控制终端之间的控 制通道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向 所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发 送的操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通 道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息 在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏 幕截图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果 和用户体验的目的。 请参考图 11， 其示出了本发明另一实施例提供的受控终端的框图。该受控 终端 800用于接收如图 1、 图 2、 图 6或图 7任一所示的控制终端的远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终 端， 比如智能手机、平板电脑以及电子书阅读器等。该受控终端 800可以包括： 总线 805， 以及连接到总线 805的处理器 801、存储器 802、发射器 803和接收 器 804。 其中， 存储器 802用于存储若干个指令， 该若干个指令被配置成由处 理器 801执行；

所述处理器 801， 用于控制所述接收器 804和所述发射器 803， 建立与控 制终端之间的控制通道和数据通道；

所述处理器 801， 用于控制所述接收器 804和所述发射器 803， 通过所述 服务器建立与所述控制终端之间的控制通道；

所述处理器 801， 用于控制所述接收器 804和所述发射器 803， 通过所述 服务器和所述控制通道建立与所述控制终端之间的数据通道。

在建立所述数据通道时， 所述处理器 801， 用于控制所述接收器 804和所 述发射器 803， 从所述服务器获取所述受控终端的地址信息， 所述地址信息包 括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址； 所述处理器 801， 用于控制所述接收器 804和所述发射器 803， 从所述服 务器或者所述控制终端获取所述控制终端的地址信息；

所述处理器 801， 用于 4艮据所述控制终端的地址信息和所述受控终端的地 址信息确定连接路径；

所述处理器 801， 用于控制所述接收器 804和所述发射器 803， 4艮据所述 连接路径建立所述数据通道。

所述处理器 801， 用于获取用于指示所述受控终端的屏幕截图的屏幕图像 数据；

所述处理器 801， 用于控制所述发射器 803， 通过所述数据通道向所述控 制终端发送所述屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所 述受控终端的屏幕截图；

所述接收器 804， 用于接收所述控制终端通过所述控制通道发送的操作信 息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息； 所述处理器 801， 用于根据所述操作信息执行相应的控制操作。

所述操作信息包括触控信息、 按键信息或者语音信息中的至少一种； 在执 行控制操作时， 所述处理器 801， 用于当所述操作信息为触控信息时， 根据所 述控制信息还原所述触控操作对应的触控事件，根据所述触控事件执行所述控 制操作；

在根据控制信息还原触控操作对应的触控事件时， 所述处理器 801， 用于 对所述操作信息中包含的字节流进行反序列化， 以还原所述触控事件； 或者， 所述处理器 801， 用于从所述操作信息中包含的指定格式文件中提取所述触控 事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关键信息包括事 件类型、 触控坐标和 /或触控力度。

所述处理器 801， 用于当所述操作信息为按键信息时， 根据所述操作信息 中包含的标识确定所述按键操作对应的按键类型，根据所述按键类型执行所述 控制操作。

所述处理器 801， 用于当所述操作信息为语音信息时， 根据所述操作信息 中包含的标识确定所述语音操作对应的控制指令，根据所述控制指令执行所述 控制操作。

综上所述， 本发明实施例提供的受控终端， 通过建立与控制终端之间的控 制通道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向 所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发 送的操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通 道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息 在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏 幕截图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果 和用户体验的目的。

请参考图 12，其示出了本发明一个实施例提供的服务器的结构示意图，该 服务器用于建立如图 1、 图 2、 图 6或图 7任一所示的控制终端和如图 8至 11 任一所示的受控终端之间的连接， 以便控制终端对受控终端进行远程控制， 该 控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终 端， 比如智能手机、 平板电脑以及电子书阅读器等。 该服务器可以包括：

控制通道建立模块 901， 用于建立控制终端与受控终端之间的控制通道； 第一地址提供模块 902， 用于向所述控制终端提供所述控制终端的地址信 息， 并向所述受控终端提供所述受控终端的地址信息， 使所述控制终端和所述 受控终端通过所述控制通道进行地址信息的交换后， 由所述控制终端或者所述 受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接 路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制通 道和所述数据通道对所述受控终端进行控制；

第二地址提供模块 903， 用于向所述控制终端提供所述控制终端的地址信 息和所述受控终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息 和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通 道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行 控制；

第三地址提供模块 904， 用于向所述受控终端提供所述控制终端的地址信 息和所述受控终端的地址信息， 由所述受控终端 4艮据所述控制终端的地址信息 和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通 道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行 控制。

综上所述， 本发明实施例提供的服务器， 通过建立控制终端与受控终端之 间的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端 进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 请参考图 13，其示出了本发明另一实施例提供的服务器的结构示意图，该 服务器用于建立如图 1、 图 2、 图 6或图 7任一所示的控制终端和如图 8至 11 任一所示的受控终端之间的连接， 以便控制终端对受控终端进行远程控制， 该 控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终 端， 比如智能手机、 平板电脑以及电子书阅读器等。 该服务器可以包括： 控制通道建立模块 1001， 用于建立控制终端与受控终端之间的控制通道； 其中， 所述控制通道建立模块 1001， 包括：

请求接收子模块 10011， 用于在所述控制终端接入所述服务器之后， 接收 所述控制终端发送的控制通道建立请求；

判断子模块 10012， 用于判断所述受控终端是否已经接入所述服务器； 通道建立子模块 10013， 用于若所述判断子模块 10012的判断结果为所述 受控终端已经接入所述服务器， 则建立所述控制终端与所述受控终端之间的所 述控制通道。

所述控制通道建立模块 1001还包括：

通知子模块 10014， 用于若所述判断子模块 10012的判断结果为所述受控 终端未接入所述服务器， 则向所述受控终端发送接入通知， 所述接入通知用于 指示所述受控终端接入所述服务器。

第一地址提供模块 1002，用于向所述控制终端提供所述控制终端的地址信 息， 并向所述受控终端提供所述受控终端的地址信息， 使所述控制终端和所述 受控终端通过所述控制通道进行地址信息的交换后， 由所述控制终端或者所述 受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接 路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制通 道和所述数据通道对所述受控终端进行控制；

第二地址提供模块 1003，用于向所述控制终端提供所述控制终端的地址信 息和所述受控终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息 和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通 道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行 控制；

第三地址提供模块 1004，用于向所述受控终端提供所述控制终端的地址信 息和所述受控终端的地址信息， 由所述受控终端 4艮据所述控制终端的地址信息 和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通 道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行 控制。

控制通道和数据通道的建立以及控制终端通过控制通道和数据通道对受 控终端进行控制的过程请参考图 2所示实施例中的描述， 此处不再赘述。 综上所述， 本发明实施例提供的服务器， 通过建立控制终端与受控终端之 间的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端 进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 请参考图 14，其示出了本发明一个实施例提供的服务器的框图，该服务器 1100用于建立如图 1、 图 2、 图 6或图 7任一所示的控制终端和如图 8至 11任 一所示的受控终端之间的连接， 以便控制终端对受控终端进行远程控制， 该控 制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终端， 比如智能手机、平板电脑以及电子书阅读器等。该服务器 1100包括：总线 1105， 以及连接到所述总线的处理器 1101、存储器 1102、发射器 1103和接收器 1104。 其中， 所述存储器 1102用于存储若干个指令， 所述若干个指令被配置成由所 述处理器 1101执行；

所述处理器 1101，用于控制所述接收器 1104和所述发射器 1103建立控制 终端与受控终端之间的控制通道；

所述处理器 1101，用于控制所述接收器 1104和所述发射器 1103向所述控 制终端提供所述控制终端的地址信息， 并向所述受控终端提供所述受控终端的 地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的 交换后， 由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所 述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并 由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 所述处理器， 用于向所述控制终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或 者， 所述处理器， 用于向所述受控终端提供所述控制终端的地址信息和所述受 控终端的地址信息， 由所述受控终端根据所述控制终端的地址信息和所述受控 终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述 控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。 综上所述， 本发明实施例提供的服务器， 通过建立控制终端与受控终端之 间的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端 进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 请参考图 15，其示出了本发明另一实施例提供的服务器的框图，该服务器 1200用于建立如图 1、 图 2、 图 6或图 7任一所示的控制终端和如图 8至 11 任一所示的受控终端之间的连接， 以便控制终端对受控终端进行远程控制， 该 控制终端和受控终端可以是带有显示单元， 且具有相同的操作模式的移动终 端， 比如智能手机、 平板电脑以及电子书阅读器等。 该服务器 1200 包括： 总 线 1205， 以及连接到所述总线的处理器 1201、存储器 1202、发射器 1203和接 收器 1204。 其中， 所述存储器 1202用于存储若干个指令， 所述若干个指令被 配置成由所述处理器 1201执行；

所述处理器 1201，用于控制所述接收器 1204和所述发射器 1203建立控制 终端与受控终端之间的控制通道；

在控制终端与受控终端之间的控制通道时，所述接收器 1204，用于在所述 控制终端接入所述服务器之后， 接收所述控制终端发送的控制通道建立请求； 所述处理器 1201，用于判断所述受控终端是否已经接入所述服务器，若判 断结果为所述受控终端已经接入所述服务器， 则控制所述接收器 1204和所述 发射器 1203建立所述控制终端与所述受控终端之间的所述控制通道。

所述处理器 1201，用于若判断结果为所述受控终端未接入所述^^务器， 则 控制所述发射器 1203向所述受控终端发送接入通知， 所述接入通知用于指示 所述受控终端接入所述服务器。

所述处理器 1201，用于控制所述接收器 1204和所述发射器 1203向所述控 制终端提供所述控制终端的地址信息， 并向所述受控终端提供所述受控终端的 地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的 交换后， 由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所 述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并 由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 所述处理器， 用于向所述控制终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述控制终端 4艮据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或 者， 所述处理器， 用于向所述受控终端提供所述控制终端的地址信息和所述受 控终端的地址信息， 由所述受控终端根据所述控制终端的地址信息和所述受控 终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述 控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。

其中，控制通道和数据通道的建立以及控制终端通过控制通道和数据通道 对受控终端进行控制的过程请参考图 2所示实施例中的描述， 此处不再赘述。

综上所述， 本发明实施例提供的服务器， 通过建立控制终端与受控终端之 间的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端 进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 请参考图 16，其示出了本发明一个实施例提供的终端控制方法的方法流程 图， 该方法可以用于在如图 1、 图 2、 图 6或者图 7任一所示的控制终端中对 受控终端进行远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有 相同的操作模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器等。 该方法可以包括：

步骤 1302， 建立与受控终端之间的控制通道和数据通道；

步骤 1304，接收该受控终端通过该数据通道发送的屏幕图像数据，该屏幕 图像数据用于指示该受控终端的屏幕截图；

步骤 1306， 根据该屏幕图像数据显示该受控终端的屏幕截图；

步骤 1308， 根据基于该屏幕截图的操作生成相应的操作信息；

步骤 1310，将该操作信息通过该控制通道发送给该受控终端， 由该受控终 端根据该操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的终端控制方法， 通过建立与受控终端之间 的控制通道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根 据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应 的操作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作 信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信 息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲 突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的 用户操作进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 17，其示出了本发明另一实施例提供的终端控制方法的方法流程 图， 该方法可以用于在如图 1、 图 2、 图 6或者图 7任一所示的控制终端中对 受控终端进行远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有 相同的操作模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器等。 该方法可以包括：

步骤 1402， 建立与受控终端之间的控制通道；

用户想要在控制终端中对受控终端进行控制时， 可以通过控制通道服务器 建立与受控终端之间的控制通道。

或者， 也可以不通过服务器， 控制终端与受控终端直接建立控制通道。 步骤 1404， 建立与受控终端之间的数据通道；

控制终端可以通过该服务器和该控制通道建立与受控终端之间的数据通 道；

控制终端可以从该服务器获取该控制终端的地址信息， 该地址信息包括本 地地址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址； 控制 终端从服务器或者受控终端获取该受控终端的地址信息； 控制终端根据该控制 终端的地址信息和该受控终端的地址信息确定连接路径； 控制终端根据该连接 路径建立该数据通道。

在根据该控制终端的地址信息和该受控终端的地址信息确定连接路径时， 控制终端将该控制终端的地址信息和该受控终端的地址信息合成为地址对， 对 该地址对进行连通性测试， 根据该连通性测试的结果确定该连接路径。

或者， 也可以不通过服务器， 控制终端与受控终端直接建立数据通道。 其中，控制通道和数据通道的建立流程可以参见图 2对应的实施例中的描 述， 此处不再赘述。

步骤 1406，接收该受控终端通过该数据通道发送的屏幕图像数据，该屏幕 图像数据用于指示该受控终端的屏幕截图；

步骤 1408， 根据该屏幕图像数据显示该受控终端的屏幕截图；

步骤 1410， 根据基于该屏幕截图的操作生成相应的操作信息；

操作信息的生成流程可以参见图 2对应的实施例中的描述，此处不再赘述。 步骤 1412，将该操作信息通过该控制通道发送给该受控终端， 由该受控终 端根据该操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的终端控制方法， 通过建立与受控终端之间 的控制通道和数据通道， 接收受控终端通过数据通道发送的屏幕图像数据， 根 据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应 的操作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端根据操作 信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信 息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲 突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的 用户操作进行响应的问题， 达到提高控制效果和用户体验的目的。 请参考图 18，其示出了本发明一个实施例提供的终端控制方法的方法流程 图， 该方法用于在如图 8至 11 所示的受控终端中， 使受控终端接收控制终端 的远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作 模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器等。 该方法可以 包括：

步骤 1502， 建立与控制终端之间的控制通道和数据通道；

步骤 1504， 获取用于指示该受控终端的屏幕截图的屏幕图像数据； 步骤 1506，通过该数据通道向该控制终端发送该屏幕图像数据， 由该控制 终端根据该屏幕数据图像显示该受控终端的屏幕截图；

步骤 1508，接收该控制终端通过该控制通道发送的操作信息，该操作信息 为该控制终端根据基于该屏幕截图的操作生成的信息；

步骤 1510， 根据该操作信息执行相应的控制操作。

综上所述， 本发明实施例提供的方法， 通过建立与控制终端之间的控制通 道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向所述 控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的 操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通道来 传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传 输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截 图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果和用 户体验的目的。 请参考图 19，其示出了本发明另一实施例提供的终端控制方法的方法流程 图， 该方法用于在如图 8至 11 所示的受控终端中， 使受控终端接收控制终端 的远程控制， 该控制终端和受控终端可以是带有显示单元， 且具有相同的操作 模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器等。 该方法可以 包括：

步骤 1602， 建立与控制终端之间的控制通道；

步骤 1604， 建立与控制终端之间的数据通道；

该控制通道和数据通道的建立过程请参见图 2对应的实施例中的描述， 此 处不再赘述。

步骤 1606， 按照指定帧率获取该受控终端的屏幕图像数据；

其中， 该屏幕图像数据用于指示该受控终端的屏幕截图。

步骤 1608，通过该数据通道向该控制终端发送该屏幕图像数据， 由该控制 终端根据该屏幕数据图像显示该受控终端的屏幕截图；

步骤 1610，接收该控制终端通过该控制通道发送的操作信息，该操作信息 为该控制终端根据基于该屏幕截图的操作生成的信息；

步骤 1612， 根据该操作信息执行相应的控制操作。

控制终端生成并发送操作信息的流程， 以及受控终端根据操作信息执行相 应的控制操作的流程请参见图 2对应的实施例中的描述， 此处不再赘述。

综上所述， 本发明实施例提供的方法， 通过建立与控制终端之间的控制通 道和数据通道； 获取所述受控终端的屏幕图像数据并通过所述数据通道向所述 控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的 操作信息， 并根据所述操作信息执行相应的控制操作， 使用两个独立的通道来 传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传 输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截 图无法及时对控制终端侧的用户操作进行响应的问题， 达到提高控制效果和用 户体验的目的。 请参考图 20，其示出了本发明一个实施例提供的终端控制方法的方法流程 图， 该方法用于在如图 12至 15任一所示的服务器中建立如图 1、 2、 6或 7所 示的控制终端以及如图 8至 11任一所示的受控终端之间的连接， 以便控制终 端对受控终端进行远程控制， 该控制终端和受控终端可以是带有显示单元， 且 具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器 等。 该方法可以包括：

步骤 1702， 建立控制终端与受控终端之间的控制通道；

步骤 1704， 向该控制终端提供该控制终端的地址信息， 并向该受控终端提 供该受控终端的地址信息，使该控制终端和该受控终端通过该控制通道进行地 址信息的交换后， 由所述控制终端或者所述受控终端根据该控制终端的地址信 息和该受控终端的地址信息确定连接路径， 并根据连接路径建立该数据通道， 并由该控制终端通过该控制通道和该数据通道对该受控终端进行控制；

步骤 1706，向所述控制终端提供所述控制终端的地址信息和所述受控终端 的地址信息， 由所述控制终端根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终 端通过所述控制通道和所述数据通道对所述受控终端进行控制；

步骤 1708，向所述受控终端提供所述控制终端的地址信息和所述受控终端 的地址信息， 由所述受控终端 4艮据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终 端通过所述控制通道和所述数据通道对所述受控终端进行控制。

综上所述， 本发明实施例提供的方法， 通过建立控制终端与受控终端之间 的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端进 行控制， 使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 请参考图 21，其示出了本发明另一实施例提供的终端控制方法的方法流程 图， 该方法用于在如图 12至 15任一所示的服务器中建立如图 1、 2、 6或 7所 示的控制终端以及如图 8至 11任一所示的受控终端之间的连接， 以便控制终 端对受控终端进行远程控制， 该控制终端和受控终端可以是带有显示单元， 且 具有相同的操作模式的移动终端， 比如智能手机、 平板电脑以及电子书阅读器 等。 该方法可以包括：

步骤 1802，在控制终端接入该服务器之后，接收该控制终端发送的控制通 道建立清求；

步骤 1804， 判断受控终端是否已经接入该服务器； 若是进入步骤 1806， 否则， 进入步骤 1808;

步骤 1806， 向该受控终端发送接入通知， 返回步骤 1804

步骤 1808， 建立该控制终端与该受控终端之间的该控制通道；

其中，服务器建立控制终端和受控终端之间的控制通道的具体流程请参考 图 2所示的实施例中的描述， 此处不再赘述。

步骤 1810， 向该控制终端提供该控制终端的地址信息， 并向该受控终端提 供该受控终端的地址信息；

步骤 1812， 向控制终端提供控制终端的地址信息和受控终端的地址信息； 步骤 1814， 向受控终端提供控制终端的地址信息和受控终端的地址信息。 服务器向控制终端和 /或受控终端提供地址信息， 以便控制终端和 /或受控 终端建立数据通道的流程， 以及控制终端通过控制通道和数据通道对受控终端 进行远程控制的流程请参考图 2所示的实施例中的描述， 此处不再赘述。

综上所述， 本发明实施例提供的方法， 通过建立控制终端与受控终端之间 的控制通道和数据通道； 并由控制终端通过控制通道和数据通道对受控终端进 行控制， 使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数 据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制 终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响 应的问题， 达到提高控制效果和用户体验的目的。 本发明实施例提供了一种终端控制系统的系统构成图，参见图 22，该终端 控制系统用于在控制终端、 被控终端以及服务器之间进行远程控制， 该控制终 端和被控终端可以是智能手机、 平板电脑或者电子书阅读器等移动终端。 该终 端控制系统可以包括：

如图 1、 2、 6或 7所示的控制终端 001、 如图 8至 11任一所示的受控终端

002以及如图 12至 15任一所示的服务器 003。 综上所述， 本发明实施例提供的终端控制系统， 控制终端通过建立与受控 终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像 数据， 根据屏幕图像数据显示受控终端的屏幕截图， 根据基于屏幕截图的操作 生成相应的操作信息， 将操作信息通过控制通道发送给受控终端， 由受控终端 根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间 的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间 上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制 终端侧的用户操作进行响应的问题， 达到提高控制效果和用户体验的目的。 需要说明的是： 上述实施例提供的控制终端在对受控终端进行远程控制 时， 仅以上述各功能模块的划分进行举例说明， 实际应用中， 可以根据需要而 将上述功能分配由不同的功能模块完成， 即将终端的内部结构划分成不同的功 能模块， 以完成以上描述的全部或者部分功能。 另外， 上述实施例提供的控制 终端、 受控终端和服务器与终端控制方法实施例属于同一构思， 其具体实现过 程详见方法实施例， 这里不再赘述。

上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通 过硬件来完成， 也可以通过程序来指令相关的硬件完成， 所述的程序可以存储 于一种计算机可读存储介质中， 上述提到的存储介质可以是只读存储器， 磁盘 或光盘等。

以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的 精神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的 保护范围之内。

Claims (41)

1. 权 利 要 求 书

   1、 一种控制终端， 其特征在于， 所述控制终端包括：

   第一通道建立模块， 用于建立与受控终端之间的控制通道和数据通道； 图像数据接收模块， 用于接收所述受控终端通过所述数据通道发送的屏幕 图像数据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图；

   显示模块， 用于根据所述屏幕图像数据显示所述受控终端的屏幕截图； 操作信息生成模块， 用于根据基于所述屏幕截图的操作生成相应的操作信 息；

   操作信息发送模块， 用于将所述操作信息通过所述控制通道发送给所述受 控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。
2. 2、根据权利要求 1所述的控制终端， 其特征在于， 所述第一通道建立模块， 包括：

   第一通道建立子模块， 用于通过所述服务器建立与所述受控终端之间的控 制通道；

   第二通道建立子模块， 用于通过所述服务器和所述控制通道建立与所述受 控终端之间的数据通道。
3. 3、 根据权利要求 2所述的控制终端， 其特征在于， 所述第二通道建立子模 块， 包括：

   第一地址获取单元， 用于从所述服务器获取所述控制终端的地址信息， 所 述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换 的中继地址；

   第二地址获取单元， 用于从所述服务器或者所述受控终端获取所述受控终 端的地址信息；

   第一路径确定单元， 用于根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径；

   第一建立单元， 用于根据所述连接路径建立所述数据通道。
4. 4、 根据权利要求 1至 3任一所述的控制终端， 其特征在于， 所述操作信息 包括触控信息、 按键信息或者语音信息中的至少一种， 所述操作信息生成模块， 包括：

   监听子模块， 用于当所述操作信息为触控信息时， 监听所述操作对应的触 控事件；

   第一生成子模块， 用于根据所述触控事件生成所述操作信息；

   第一按键类型确定子模块， 用于当所述操作信息为按键信息时， 确定所述 操作对应的按键类型；

   第二生成子模块， 用于生成包含所述按键类型对应的标识的所述操作信息； 语音识别子模块， 用于当所述操作信息为语音信息时， 将所述操作对应的 语音识别为文本；

   第二生成子模块， 用于提取所述文本中包含的控制指令， 生成包含所述控 制指令对应的标识的所述操作信息。
5. 5、 根据权利要求 4所述的控制终端， 其特征在于， 所述第一生成子模块， 包括： 第一生成单元或者第二生成单元；

   所述第一生成单元， 用于将所述触控事件序列化为字节流， 生成包含有所 述字节流的所述操作信息；

   所述第二生成单元， 用于提取所述触控事件的关键信息， 将所述关键信息 编码为指定格式文件， 生成包含所述指定格式文件的所述操作信息， 所述关键 信息包括事件类型、 触控坐标和 /或触控力度。
6. 6、 根据权利要求 3所述的控制终端， 其特征在于， 所述第一路径确定单元 包括：

   合成子单元， 用于将所述控制终端的地址信息和所述受控终端的地址信息 合成为地址对；

   测试子单元， 用于对所述地址对进行连通性测试；

   建立子单元， 用于根据所述连通性测试的结果确定所述连接路径。
7. 7、 一种控制终端， 其特征在于， 所述控制终端包括： 总线， 以及连接到所 述总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若干 个指令， 所述若干个指令被配置成由所述处理器执行； 所述处理器， 用于控制所述接收器和所述发射器， 建立与受控终端之间的 控制通道和数据通道；

   所述接收器， 用于接收所述受控终端通过所述数据通道发送的屏幕图像数 据， 所述屏幕图像数据用于指示所述受控终端的屏幕截图；

   所述处理器， 用于根据所述屏幕图像数据在显示设备中显示所述受控终端 的屏幕截图， 根据基于所述屏幕截图的操作生成相应的操作信息；

   所述处理器， 用于控制所述发射器将所述操作信息通过所述控制通道发送 给所述受控终端， 由所述受控终端根据所述操作信息执行相应的控制操作。
8. 8、 根据权利要求 7所述的控制终端， 其特征在于，

   所述处理器， 用于控制所述接收器和所述发射器， 通过所述服务器建立与 述受控终端之间的控制通道；

   所述处理器， 用于控制所述接收器和所述发射器， 通过所述服务器和所述 制通道建立与所述受控终端之间的数据通道。
9. 9、 根据权利要求 8所述的控制终端， 其特征在于，

   所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器获取所述 控制终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址 和中继穿透网络地址转换的中继地址；

   所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器或者所述 受控终端获取所述受控终端的地址信息；

   所述处理器， 用于根据所述控制终端的地址信息和所述受控终端的地址信 息确定连接路径；

   所述处理器， 用于控制所述接收器和所述发射器， 根据所述连接路径建立 所述数据通道。
10. 10、 根据权利要求 7至 9任一所述的控制终端， 其特征在于， 所述操作信 息包括触控信息、 按键信息或者语音信息中的至少一种；

    所述处理器， 用于当所述操作信息为触控信息时， 监听所述操作对应的触 控事件， 根据所述触控事件生成所述操作信息；

    所述处理器， 用于当所述操作信息为按键信息时， 确定所述操作对应的按 键类型， 生成包含所述按键类型对应的标识的所述操作信息；

    所述处理器， 用于当所述操作信息为语音信息时， 将所述操作对应的语音 识别为文本， 提取所述文本中包含的控制指令， 生成包含所述控制指令对应的 标识的所述操作信息。
11. 11、 根据权利要求 10所述的控制终端， 其特征在于，

    所述处理器， 用于将所述触控事件序列化为字节流， 生成包含有所述字节 流的所述操作信息；

    或者

    所述处理器， 用于提取所述触控事件的关键信息， 将所述关键信息编码为 指定格式文件， 生成包含所述指定格式文件的所述操作信息， 所述关键信息包 括事件类型、 触控坐标和 /或触控力度。
12. 12、 根据权利要求 9所述的控制终端， 其特征在于，

    所述处理器， 用于将所述控制终端的地址信息和所述受控终端的地址信息 合成为地址对， 对所述地址对进行连通性测试， 根据所述连通性测试的结果确 定所述连接路径。
13. 13、 一种受控终端， 其特征在于， 所述受控终端包括：

    第二通道建立模块， 用于建立与控制终端之间的控制通道和数据通道； 图像数据获取模块， 用于获取用于指示所述受控终端的屏幕截图的屏幕图 像数据；

    图像数据发送模块， 用于通过所述数据通道向所述控制终端发送所述屏幕 图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截 图；

    操作信息接收模块， 用于接收所述控制终端通过所述控制通道发送的操作 信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息； 执行模块， 用于根据所述操作信息执行相应的控制操作。
14. 14、 根据权利要求 13所述的受控终端， 其特征在于， 所述第二通道建立模 块， 包括： 第三通道建立子模块， 用于通过所述服务器建立与所述控制终端之间的控 制通道；

    第四通道建立子模块， 用于通过所述服务器和所述控制通道建立与所述控 制终端之间的数据通道。
15. 15、 根据权利要求 14所述的受控终端， 其特征在于， 所述第四通道建立子 模块， 包括：

    第三地址获取单元， 用于从所述服务器获取所述受控终端的地址信息， 所 述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换 的中继地址；

    第四地址获取单元， 用于从所述服务器或者所述控制终端获取所述控制终 端的地址信息；

    第二路径确定单元， 用于根据所述控制终端的地址信息和所述受控终端的 地址信息确定连接路径；

    第二建立单元， 用于根据所述连接路径建立所述数据通道。
16. 16、 根据权利要求 13至 15任一所述的受控终端， 其特征在于， 所述操作 信息包括触控信息、 按键信息或者语音信息中的至少一种， 所述执行模块， 包 括：

    事件还原子模块， 用于当所述操作信息为触控信息时， 根据所述控制信息 还原所述触控操作对应的触控事件；

    第一执行子模块， 用于根据所述触控事件执行所述控制操作；

    第二按键类型确定子模块， 用于当所述操作信息为按键信息时， 根据所述 操作信息中包含的标识确定所述按键操作对应的按键类型；

    第二执行子模块， 用于根据所述按键类型执行所述控制操作；

    指令确定子模块， 用于当所述操作信息为语音信息时， 根据所述操作信息 中包含的标识确定所述语音操作对应的控制指令；

    第三执行子模块， 用于根据所述控制指令执行所述控制操作。
17. 17、根据权利要求 16所述的受控终端， 其特征在于， 所述事件还原子模块， 包括： 第一还原单元或者第二还原单元； 所述第一还原单元， 用于对所述操作信息中包含的字节流进行反序列化， 以还原所述触控事件；

    所述第一还原单元， 用于从所述操作信息中包含的指定格式文件中提取所 述触控事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关键信息 包括事件类型、 触控坐标和 /或触控力度。
18. 18、 一种受控终端， 其特征在于， 所述受控终端包括： 总线， 以及连接到 所述总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若 干个指令， 所述若干个指令被配置成由所述处理器执行；

    所述处理器， 用于控制所述接收器和所述发射器， 建立与控制终端之间的 控制通道和数据通道；

    所述处理器， 用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据； 所述处理器， 用于控制所述发射器， 通过所述数据通道向所述控制终端发 送所述屏幕图像数据， 由所述控制终端根据所述屏幕数据图像显示所述受控终 端的屏幕截图；

    所述接收器， 用于接收所述控制终端通过所述控制通道发送的操作信息， 所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；

    所述处理器， 用于根据所述操作信息执行相应的控制操作。
19. 19、 根据权利要求 18所述的受控终端， 其特征在于，

    所述处理器， 用于控制所述接收器和所述发射器， 通过所述服务器建立与 所述控制终端之间的控制通道；

    所述处理器， 用于控制所述接收器和所述发射器， 通过所述服务器和所述 控制通道建立与所述控制终端之间的数据通道。
20. 20、 根据权利要求 19所述的受控终端， 其特征在于，

    所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器获取所述 受控终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址 和中继穿透网络地址转换的中继地址；

    所述处理器， 用于控制所述接收器和所述发射器， 从所述服务器或者所述 控制终端获取所述控制终端的地址信息； 所述处理器， 用于根据所述控制终端的地址信息和所述受控终端的地址信 息确定连接路径；

    所述处理器， 用于控制所述接收器和所述发射器， 根据所述连接路径建立 所述数据通道。
21. 21、 根据权利要求 18至 20任一所述的受控终端， 其特征在于， 所述操作 信息包括触控信息、 按键信息或者语音信息中的至少一种；

    所述处理器， 用于当所述操作信息为触控信息时， 根据所述控制信息还原 所述触控操作对应的触控事件， 根据所述触控事件执行所述控制操作；

    所述处理器， 用于当所述操作信息为按键信息时， 根据所述操作信息中包 含的标识确定所述按键操作对应的按键类型， 根据所述按键类型执行所述控制 操作；

    所述处理器， 用于当所述操作信息为语音信息时， 根据所述操作信息中包 含的标识确定所述语音操作对应的控制指令， 根据所述控制指令执行所述控制 操作。
22. 22、 根据权利要求 21所述的受控终端， 其特征在于，

    所述处理器， 用于对所述操作信息中包含的字节流进行反序列化， 以还原 所述触控事件；

    或者，

    所述处理器， 用于从所述操作信息中包含的指定格式文件中提取所述触控 事件的关键信息， 根据所述关键信息还原所述触控事件， 所述关键信息包括事 件类型、 触控坐标和 /或触控力度。
23. 23、 一种服务器， 其特征在于， 所述服务器包括：

    控制通道建立模块， 用于建立控制终端与受控终端之间的控制通道； 第一地址提供模块， 用于向所述控制终端提供所述控制终端的地址信息， 并向所述受控终端提供所述受控终端的地址信息， 使所述控制终端和所述受控 终端通过所述控制通道进行地址信息的交换后， 由所述控制终端或者所述受控 终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制通道和所 述数据通道对所述受控终端进行控制；

    第二地址提供模块， 向所述控制终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述控制终端根据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；

    第三地址提供模块， 向所述受控终端提供所述控制终端的地址信息和所述 受控终端的地址信息， 由所述受控终端根据所述控制终端的地址信息和所述受 控终端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所 述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
24. 24、根据权利要求 23所述的服务器， 其特征在于， 所述控制通道建立模块， 包括：

    请求接收子模块， 用于在所述控制终端接入所述服务器之后， 接收所述控 制终端发送的控制通道建立请求；

    判断子模块， 用于判断所述受控终端是否已经接入所述服务器；

    通道建立子模块， 用于若所述判断子模块的判断结果为所述受控终端已经 接入所述服务器， 则建立所述控制终端与所述受控终端之间的所述控制通道。
25. 25、 根据权利要求 24所述的服务器， 其特征在于， 所述控制通道建立模块 还包括：

    通知子模块， 用于若所述判断子模块的判断结果为所述受控终端未接入所 述服务器， 则向所述受控终端发送接入通知， 所述接入通知用于指示所述受控 终端接入所述服务器。
26. 26、 一种服务器， 其特征在于， 所述服务器包括： 总线， 以及连接到所述 总线的处理器、 存储器、 发射器和接收器。 其中， 所述存储器用于存储若干个 指令， 所述若干个指令被配置成由所述处理器执行；

    所述处理器， 用于控制所述接收器和所述发射器建立控制终端与受控终端 之间的控制通道；

    所述处理器， 用于控制所述接收器和所述发射器向所述控制终端提供所述 控制终端的地址信息， 并向所述受控终端提供所述受控终端的地址信息， 使所 述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后， 由所述 控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地 址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端 通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 所述处理 器， 用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址 信息， 由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信 息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过 所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 所述处理器， 用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信 息， 由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息 确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所 述控制通道和所述数据通道对所述受控终端进行控制。
27. 27、 根据权利要求 26所述的服务器， 其特征在于，

    所述接收器， 用于在所述控制终端接入所述服务器之后， 接收所述控制终 端发送的控制通道建立请求；

    所述处理器， 用于判断所述受控终端是否已经接入所述服务器， 若判断结 果为所述受控终端已经接入所述服务器， 则控制所述接收器和所述发射器建立 所述控制终端与所述受控终端之间的所述控制通道。
28. 28、 根据权利要求 27所述的服务器， 其特征在于，

    所述处理器， 用于若判断结果为所述受控终端未接入所述服务器， 则控制 所述发射器向所述受控终端发送接入通知， 所述接入通知用于指示所述受控终 端接入所述服务器。
29. 29、 一种终端控制方法， 用于控制终端中， 其特征在于， 所述方法包括： 建立与受控终端之间的控制通道和数据通道；

    接收所述受控终端通过所述数据通道发送的屏幕图像数据， 所述屏幕图像 数据用于指示所述受控终端的屏幕截图；

    根据所述屏幕图像数据显示所述受控终端的屏幕截图；

    根据基于所述屏幕截图的操作生成相应的操作信息； 将所述操作信息通过所述控制通道发送给所述受控终端， 由所述受控终端 根据所述操作信息执行相应的控制操作。
30. 30、 根据权利要求 29所述的方法， 其特征在于， 所述建立与受控终端之间 的控制通道和数据通道， 包括：

    通过所述服务器建立与所述受控终端之间的控制通道；

    通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
31. 31、 根据权利要求 30所述的方法， 其特征在于， 所述通过所述服务器和所 述控制通道建立与所述受控终端之间的数据通道， 包括：

    从所述服务器获取所述控制终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址；

    从所述服务器或者所述受控终端获取所述受控终端的地址信息；

    根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径； 根据所述连接路径建立所述数据通道。
32. 32、 根据权利要求 29至 31任一所述的方法， 其特征在于， 所述操作信息 包括触控信息、 按键信息或者语音信息中的至少一种， 所述根据基于所述屏幕 截图的操作生成操作信息， 包括：

    当所述操作信息为触控信息时， 监听所述操作对应的触控事件， 根据所述 触控事件生成所述操作信息；

    当所述操作信息为按键信息时， 确定所述操作对应的按键类型， 生成包含 所述按键类型对应的标识的所述操作信息；

    当所述操作信息为语音信息时， 将所述操作对应的语音识别为文本， 提取 所述文本中包含的控制指令， 生成包含所述控制指令对应的标识的所述操作信 息。
33. 33、 根据权利要求 32所述的方法， 其特征在于， 所述根据所述触控事件生 成所述操作信息， 包括：

    将所述触控事件序列化为字节流， 生成包含有所述字节流的所述操作信息； 或者， 提取所述触控事件的关键信息， 将所述关键信息编码为指定格式文 件， 生成包含所述指定格式文件的所述操作信息， 所述关键信息包括事件类型、 触控坐标和 /或触控力度。
34. 34、 根据权利要求 31所述的方法， 其特征在于， 所述根据所述控制终端的 地址信息和所述受控终端的地址信息确定连接路径， 包括：

    将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对， 对 所述地址对进行连通性测试， 根据所述连通性测试的结果确定所述连接路径。
35. 35、 一种终端控制方法， 用于受控终端中， 其特征在于， 所述方法包括： 建立与控制终端之间的控制通道和数据通道；

    获取用于指示所述受控终端的屏幕截图的屏幕图像数据；

    通过所述数据通道向所述控制终端发送所述屏幕图像数据， 由所述控制终 端根据所述屏幕数据图像显示所述受控终端的屏幕截图；

    接收所述控制终端通过所述控制通道发送的操作信息， 所述操作信息为所 述控制终端根据基于所述屏幕截图的操作生成的信息；

    根据所述操作信息执行相应的控制操作。
36. 36、 根据权利要求 35所述的方法， 其特征在于， 所述建立与控制终端之间 的控制通道和数据通道， 包括：

    通过所述服务器建立与所述控制终端之间的控制通道；

    通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
37. 37、 根据权利要求 36所述的方法， 其特征在于， 所述根据所述服务器和所 述控制通道建立与所述控制终端之间的数据通道， 包括：

    从所述服务器获取所述受控终端的地址信息， 所述地址信息包括本地地址、 网络地址转换的映射地址和中继穿透网络地址转换的中继地址；

    从所述服务器或者所述控制终端获取所述控制终端的地址信息；

    根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径； 根据所述连接路径建立所述数据通道。
38. 38、 根据权利要求 35至 37任一所述的方法， 其特征在于， 所述操作信息 包括触控信息、 按键信息或者语音信息中的至少一种， 所述根据所述操作信息 执行相应的控制操作， 包括：

    当所述操作信息为触控信息时， 根据所述操作信息还原所述操作对应的触 控事件， 根据所述触控事件执行所述控制操作；

    当所述操作信息为按键信息时， 根据所述操作信息中包含的标识确定所述 操作对应的按键类型， 根据所述按键类型执行所述控制操作；

    当所述操作信息为语音信息时， 根据所述操作信息中包含的标识确定所述 操作对应的控制指令， 根据所述控制指令执行所述控制操作。
39. 39、 根据权利要求 38所述的方法， 其特征在于， 所述根据所述控制信息还 原所述触控操作对应的触控事件， 包括：

    对所述操作信息中包含的字节流进行反序列化， 以还原所述触控事件； 或者， 从所述操作信息中包含的指定格式文件中提取所述触控事件的关键 信息， 根据所述关键信息还原所述触控事件， 所述关键信息包括事件类型、 触 控坐标和 /或触控力度。
40. 40、 一种终端控制方法， 用于服务器中， 其特征在于， 所述方法包括： 建立控制终端与受控终端之间的控制通道；

    向所述控制终端提供所述控制终端的地址信息， 并向所述受控终端提供所 述受控终端的地址信息， 使所述控制终端和所述受控终端通过所述控制通道进 行地址信息的交换后， 由所述控制终端或者所述受控终端根据所述控制终端的 地址信息和所述受控终端的地址信息确定连接路径， 并根据连接路径建立所述 数据通道， 并由所述控制终端通过所述控制通道和所述数据通道对所述受控终 端进行控制； 或者， 向所述控制终端提供所述控制终端的地址信息和所述受控 终端的地址信息， 由所述控制终端根据所述控制终端的地址信息和所述受控终 端的地址信息确定连接路径， 并根据连接路径建立所述数据通道， 并由所述控 制终端通过所述控制通道和所述数据通道对所述受控终端进行控制； 或者， 向 所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息， 由所 述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接 路径， 并根据连接路径建立所述数据通道， 并由所述控制终端通过所述控制通 道和所述数据通道对所述受控终端进行控制。 41、 根据权利要求 40所述的方法， 其特征在于， 所述建立控制终端与受控 终端之间的控制通道， 包括：

    在所述控制终端接入所述服务器之后， 接收所述控制终端发送的控制通道 建立请求；

    判断所述受控终端是否已经接入所述服务器；

    若判断结果为所述受控终端已经接入所述服务器， 则建立所述控制终端与 所述受控终端之间的所述控制通道。
41. 42、 根据权利要求 41所述的方法， 其特征在于， 所述方法还包括： 若判断结果为所述受控终端未接入所述服务器， 则向所述受控终端发送接 入通知， 所述接入通知用于指示所述受控终端接入所述服务器。