CN105493621B - 终端、服务器及终端控制方法 - Google Patents

终端、服务器及终端控制方法 Download PDF

Info

Publication number
CN105493621B
CN105493621B CN201480046287.XA CN201480046287A CN105493621B CN 105493621 B CN105493621 B CN 105493621B CN 201480046287 A CN201480046287 A CN 201480046287A CN 105493621 B CN105493621 B CN 105493621B
Authority
CN
China
Prior art keywords
terminal
controlled terminal
address
information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480046287.XA
Other languages
English (en)
Other versions
CN105493621A (zh
Inventor
吉昊
卜德锋
邹现军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105493621A publication Critical patent/CN105493621A/zh
Application granted granted Critical
Publication of CN105493621B publication Critical patent/CN105493621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/04—Key management, e.g. using generic bootstrapping architecture [GBA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/54—Organization of routing tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Selective Calling Equipment (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种终端、服务器及终端控制方法，属于移动终端领域。所述终端包括：第一通道建立模块、图像数据接收模块、显示模块、操作信息生成模块以及操作信息发送模块。本发明通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息并通过控制通道发送给受控终端，由受控终端根据操作信息执行相应操作，解决了屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。

Description

终端、服务器及终端控制方法
技术领域
本发明涉及移动终端领域，特别涉及一种终端、服务器及终端控制方法。
背景技术
得益于电子和通信技术的迅速发展，移动终端的通信和处理能力也越来越强，基于移动终端之间的远程控制的应用也得以迅速发展。
在现有的移动终端之间的远程控制中，控制终端与受控终端首先建立连接，受控终端将屏幕数据通过该连接发送给控制终端，控制终端根据该屏幕数据在控制终端的屏幕中显示受控终端的屏幕截图，用户在控制终端的屏幕中对受控终端的屏幕截图进行触控等操作，控制终端将接收到的操作信息通过该连接发送给受控终端，由受控终端根据该操作信息进行相应的操作，从而达到远程控制的目的。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
控制终端和受控终端之间通过同一连接进行屏幕数据和操作信息的交互，屏幕数据和操作信息在传输逻辑和传输时间上存在冲突，从而导致控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应，影响控制效果和用户体验。
发明内容
为了解决现有技术中屏幕数据和操作信息在传输逻辑和传输时间上存在冲突，从而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，本发明实施例提供了一种终端、服务器及终端控制方法。所述技术方案如下：
第一方面，提供了一种控制终端，所述控制终端包括：
第一通道建立模块，用于建立与受控终端之间的控制通道和数据通道；
图像数据接收模块，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
显示模块，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图；
操作信息生成模块，用于根据基于所述屏幕截图的操作生成相应的操作信息；
操作信息发送模块，用于将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
在第一方面的第一种可能实现方式中，所述第一通道建立模块，包括：
第一通道建立子模块，用于通过所述服务器建立与所述受控终端之间的控制通道；
第二通道建立子模块，用于通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述第二通道建立子模块，包括：
第一地址获取单元，用于从所述服务器获取所述控制终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第二地址获取单元，用于从所述服务器或者所述受控终端获取所述受控终端的地址信息；
第一路径确定单元，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第一建立单元，用于根据所述连接路径建立所述数据通道。
结合第一方面、第一方面的第一种可能实现方式或者第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述操作信息生成模块，包括：
监听子模块，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件；
第一生成子模块，用于根据所述触控事件生成所述操作信息；
第一按键类型确定子模块，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型；
第二生成子模块，用于生成包含所述按键类型对应的标识的所述操作信息；
语音识别子模块，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本；
第二生成子模块，用于提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述第一生成子模块，包括：第一生成单元或者第二生成单元；
所述第一生成单元，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
所述第二生成单元，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述第一路径确定单元包括：
合成子单元，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对；
测试子单元，用于对所述地址对进行连通性测试；
建立子单元，用于根据所述连通性测试的结果确定所述连接路径。
第二方面，提供了一种控制终端，所述控制终端包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器。其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器，建立与受控终端之间的控制通道和数据通道；
所述接收器，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
所述处理器，用于根据所述屏幕图像数据在显示设备中显示所述受控终端的屏幕截图，根据基于所述屏幕截图的操作生成相应的操作信息；
所述处理器，用于控制所述发射器将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
在第二方面的第一种可能实现方式中，所述处理器，用于控制所述接收器和所述发射器，通过所述服务器建立与所述受控终端之间的控制通道；
所述处理器，用于控制所述接收器和所述发射器，通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述处理器，用于控制所述接收器和所述发射器，从所述服务器获取所述控制终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器或者所述受控终端获取所述受控终端的地址信息；
所述处理器，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器，用于控制所述接收器和所述发射器，根据所述连接路径建立所述数据通道。
结合第二方面、第二方面的第一种可能实现方式或者第二方面的第二种可能实现方式，在第二方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；
所述处理器，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件，根据所述触控事件生成所述操作信息；
所述处理器，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型，生成包含所述按键类型对应的标识的所述操作信息；
所述处理器，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本，提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
结合第二方面的第三种可能实现方式，在第二方面的第四种可能实现方式中，所述处理器，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
或者
所述处理器，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
结合第二方面的第二种可能实现方式，在第二方面的第五种可能实现方式中，所述处理器，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对，对所述地址对进行连通性测试，根据所述连通性测试的结果确定所述连接路径。
第三方面，提供了一种受控终端，所述受控终端包括：
第二通道建立模块，用于建立与控制终端之间的控制通道和数据通道；
图像数据获取模块，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
图像数据发送模块，用于通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
操作信息接收模块，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
执行模块，用于根据所述操作信息执行相应的控制操作。
在第三方面的第一种可能实现方式中，所述第二通道建立模块，包括：
第三通道建立子模块，用于通过所述服务器建立与所述控制终端之间的控制通道；
第四通道建立子模块，用于通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
结合第三方面的第一种可能实现方式，在第三方面的第二种可能实现方式中，所述第四通道建立子模块，包括：
第三地址获取单元，用于从所述服务器获取所述受控终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第四地址获取单元，用于从所述服务器或者所述控制终端获取所述控制终端的地址信息；
第二路径确定单元，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第二建立单元，用于根据所述连接路径建立所述数据通道。
结合第三方面、第三方面的第一种可能实现方式或者第三方面的第二种可能实现方式，在第三方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述执行模块，包括：
事件还原子模块，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件；
第一执行子模块，用于根据所述触控事件执行所述控制操作；
第二按键类型确定子模块，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型；
第二执行子模块，用于根据所述按键类型执行所述控制操作；
指令确定子模块，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令；
第三执行子模块，用于根据所述控制指令执行所述控制操作。
结合第三方面的第三种可能实现方式，在第三方面的第四种可能实现方式中，所述事件还原子模块，包括：第一还原单元或者第二还原单元；
所述第一还原单元，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
所述第一还原单元，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
第四方面，提供了一种受控终端，所述受控终端包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器。其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器，建立与控制终端之间的控制通道和数据通道；
所述处理器，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
所述处理器，用于控制所述发射器，通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
所述接收器，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
所述处理器，用于根据所述操作信息执行相应的控制操作。
在第四方面的第一种可能实现方式中，
所述处理器，用于控制所述接收器和所述发射器，通过所述服务器建立与所述控制终端之间的控制通道；
所述处理器，用于控制所述接收器和所述发射器，通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
结合第四方面的第一种可能实现方式，在第四方面的第二种可能实现方式中，所述处理器，用于控制所述接收器和所述发射器，从所述服务器获取所述受控终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器或者所述控制终端获取所述控制终端的地址信息；
所述处理器，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器，用于控制所述接收器和所述发射器，根据所述连接路径建立所述数据通道。
结合第四方面、第四方面的第一种可能实现方式或者第四方面的第二种可能实现方式，在第四方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；
所述处理器，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件，根据所述触控事件执行所述控制操作；
所述处理器，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型，根据所述按键类型执行所述控制操作；
所述处理器，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令，根据所述控制指令执行所述控制操作。
结合第四方面的第三种可能实现方式，在第四方面的第四种可能实现方式中，所述处理器，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
或者，
所述处理器，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
第五方面，提供一种服务器，所述服务器包括：
控制通道建立模块，用于建立控制终端与受控终端之间的控制通道；
第一地址提供模块，用于向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第二地址提供模块，向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第三地址提供模块，向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
在第五方面的第一种可能实现方式中，所述控制通道建立模块，包括：
请求接收子模块，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
判断子模块，用于判断所述受控终端是否已经接入所述服务器；
通道建立子模块，用于若所述判断子模块的判断结果为所述受控终端已经接入所述服务器，则建立所述控制终端与所述受控终端之间的所述控制通道。
结合第五方面的第一种可能实现方式，在第五方面的第二种可能实现方式中，所述控制通道建立模块还包括：
通知子模块，用于若所述判断子模块的判断结果为所述受控终端未接入所述服务器，则向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
第六方面，提供了一种服务器，所述服务器包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器。其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器建立控制终端与受控终端之间的控制通道；
所述处理器，用于控制所述接收器和所述发射器向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
在第六方面的第一种可能实现方式中，所述接收器，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
所述处理器，用于判断所述受控终端是否已经接入所述服务器，若判断结果为所述受控终端已经接入所述服务器，则控制所述接收器和所述发射器建立所述控制终端与所述受控终端之间的所述控制通道。
结合第六方面的第一种可能实现方式，在第六方面的第二种可能实现方式中，所述处理器，用于若判断结果为所述受控终端未接入所述服务器，则控制所述发射器向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
第七方面，提供了一种终端控制方法，用于控制终端中，所述方法包括：
建立与受控终端之间的控制通道和数据通道；
接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
根据所述屏幕图像数据显示所述受控终端的屏幕截图；
根据基于所述屏幕截图的操作生成相应的操作信息；
将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
在第七方面的第一种可能实现方式中，所述建立与受控终端之间的控制通道和数据通道，包括：
通过所述服务器建立与所述受控终端之间的控制通道；
通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
结合第七方面的第一种可能实现方式，在第七方面的第二种可能实现方式中，所述通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道，包括：
从所述服务器获取所述控制终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
从所述服务器或者所述受控终端获取所述受控终端的地址信息；
根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
根据所述连接路径建立所述数据通道。
结合第七方面、第七方面的第一种可能实现方式或者第七方面的第二种可能实现方式，在第七方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述根据基于所述屏幕截图的操作生成操作信息，包括：
当所述操作信息为触控信息时，监听所述操作对应的触控事件，根据所述触控事件生成所述操作信息；
当所述操作信息为按键信息时，确定所述操作对应的按键类型，生成包含所述按键类型对应的标识的所述操作信息；
当所述操作信息为语音信息时，将所述操作对应的语音识别为文本，提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
结合第七方面的第三种可能实现方式，在第七方面的第四种可能实现方式中，所述根据所述触控事件生成所述操作信息，包括：
将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
或者，提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
结合第七方面的第三种可能实现方式，在第七方面的第四种可能实现方式中，所述根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，包括：
将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对，对所述地址对进行连通性测试，根据所述连通性测试的结果确定所述连接路径。
第八方面，提供了一种终端控制方法，用于受控终端中，所述方法包括：
建立与控制终端之间的控制通道和数据通道；
获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
根据所述操作信息执行相应的控制操作。
在第八方面的第一种可能实现方式中，所述建立与控制终端之间的控制通道和数据通道，包括：
通过所述服务器建立与所述控制终端之间的控制通道；
通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
结合第八方面的第一种可能实现方式，在第八方面的第二种可能实现方式中，所述根据所述服务器和所述控制通道建立与所述控制终端之间的数据通道，包括：
从所述服务器获取所述受控终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
从所述服务器或者所述控制终端获取所述控制终端的地址信息；
根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
根据所述连接路径建立所述数据通道。
结合第八方面、第八方面的第一种可能实现方式或者第八方面的第二种可能实现方式，在第八方面的第三种可能实现方式中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述根据所述操作信息执行相应的控制操作，包括：
当所述操作信息为触控信息时，根据所述操作信息还原所述操作对应的触控事件，根据所述触控事件执行所述控制操作；
当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述操作对应的按键类型，根据所述按键类型执行所述控制操作；
当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述操作对应的控制指令，根据所述控制指令执行所述控制操作。
结合第八方面的第三种可能实现方式，在第八方面的第四种可能实现方式中，所述根据所述控制信息还原所述触控操作对应的触控事件，包括：
对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
或者，从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
第九方面，提供了一种终端控制方法，用于服务器中，所述方法包括：
建立控制终端与受控终端之间的控制通道；
向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
在第九方面的第一种可能实现方式中，所述建立控制终端与受控终端之间的控制通道，包括：
在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
判断所述受控终端是否已经接入所述服务器；
若判断结果为所述受控终端已经接入所述服务器，则建立所述控制终端与所述受控终端之间的所述控制通道。
结合第九方面的第一种可能实现方式，在第九方面的第二种可能实现方式中，所述方法还包括：
若判断结果为所述受控终端未接入所述服务器，则向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
本发明实施例提供的技术方案带来的有益效果是：
通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的控制终端的结构示意图；
图2是本发明另一实施例提供的控制终端的结构示意图；
图3是本发明另一实施例提供的触控坐标映射示意图；
图4是本发明另一实施例提供的远程控制操作示意图；
图5是本发明另一实施例提供的远程涂鸦操作示意图；
图6是本发明一个实施例提供的控制终端的框图；
图7是本发明另一实施例提供的控制终端的框图；
图8是本发明一个实施例提供的受控终端的结构示意图；
图9是本发明另一实施例提供的受控终端的结构示意图；
图10是本发明一个实施例提供的受控终端的框图；
图11是本发明另一实施例提供的受控终端的框图；
图12是本发明一个实施例提供的服务器的结构示意图；
图13是本发明另一实施例提供的服务器的结构示意图；
图14是本发明一个实施例提供的服务器的框图；
图15是本发明另一实施例提供的服务器的框图；
图16是本发明一个实施例提供的终端控制方法的方法流程图；
图17是本发明另一实施例提供的终端控制方法的方法流程图；
图18是本发明一个实施例提供的终端控制方法的方法流程图；
图19是本发明另一实施例提供的终端控制方法的方法流程图；
图20是本发明一个实施例提供的终端控制方法的方法流程图；
图21是本发明另一实施例提供的终端控制方法的方法流程图；
图22是本发明一个实施例提供的终端控制系统的系统构成图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，其示出了本发明一个实施例提供的控制终端的结构示意图，该控制终端用于对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该控制终端可以包括：
第一通道建立模块101，用于建立与受控终端之间的控制通道和数据通道；
图像数据接收模块102，用于接收所述受控终端通过所述数据通道，以指定帧率发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
显示模块103，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图；
操作信息生成模块104，用于根据基于所述屏幕截图的操作生成相应的操作信息；
操作信息发送模块105，用于将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
综上所述，本发明实施例提供的控制终端，建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图2，其示出了本发明另一实施例提供的控制终端的结构示意图，该控制终端用于对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该控制终端可以包括：
第一通道建立模块201，用于建立与受控终端之间的控制通道和数据通道；
其中，所述第一通道建立模块201，包括：
第一通道建立子模块2011，用于通过所述服务器建立与所述受控终端之间的控制通道；
其中，服务器可以按照功能划分为连接服务器、控制通道服务器和数据通道服务器三个部分。控制终端和受控终端在初始时刻接入连接服务器，并通过心跳连接的方式维持在线。
在实际应用中，该连接服务器、控制通道服务器和数据通道服务器可以集成为同一个服务器实体。
用户想要在控制终端中对受控终端进行控制时，可以通过控制通道服务器建立与受控终端之间的控制通道，其具体的建立流程可以包括如下步骤：
1)控制终端接入控制通道服务器；
以控制终端为智能手机A，受控终端为智能手机B为例，用户在智能手机A上开启远程控制功能后，智能手机A即与控制通道服务器建立连接。
2)控制终端向控制通道服务器发送控制通道建立请求；
其中，该控制通道建立请求用于指示控制通道服务器建立该控制终端和受控终端之间的控制通道。
用户在智能手机A中选择智能手机B为控制对象后，智能手机A向控制通道服务器发送控制通道建立请求，该控制通道建立请求中包含有智能手机B的标识，以便控制通道服务器确定智能手机A所请求的控制对象。
3)若被控终端已经接入控制通道服务器，则控制通道服务器建立该控制通道；
控制通道服务器首先判断智能手机B是否已经接入该控制通道服务器。如果智能手机B已经与控制通道服务器建立连接，则直接建立智能手机A和智能手机B之间的控制通道。
4)若被控终端未接入控制通道服务器，则控制通道服务器向受控终端发送接入通知；
如果控制通道服务器判断出智能手机B尚未接入，则向智能手机B发送接入通知，指示该智能手机B接入控制通道服务器。
5)受控终端根据该接入通知接入控制通道服务器；
智能手机B接收到该接入通知后，即发起接入流程，以接入该控制通道服务器。
6)控制通道服务器建立该控制通道。
控制通道服务器在确认智能手机B根据该接入通知接入成功后，建立该控制通道。
需要说明的是，按照上述步骤建立的控制通道，以控制通道服务器为中继进行信息的转发。同时，由于经过控制通道发送的控制信令数据量较小，且对数据传输的可靠性以及准确性的要求较高，因此，该控制通道基于可靠的TCP协议建立。
第二通道建立子模块2012，用于通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
其中，所述第二通道建立子模块2012，包括：
第一地址获取单元2012a，用于从所述服务器获取所述控制终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第二地址获取单元2012b，用于从所述服务器或者所述受控终端获取所述受控终端的地址信息；
其中，控制终端可以从服务器获取受控终端的地址信息，也可以通过控制通道从受控终端获取该受控终端的地址信息。控制终端可以向服务器发送收集该受控终端的地址信息的请求，并接收服务器反馈的该受控终端的地址；或者，控制终端也可以通过已经建立的控制通道向受控终端请求该受控终端的地址信息。
第一路径确定单元2012c，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第一建立单元2012d，用于根据所述连接路径建立所述数据通道。
所述第一路径确定单元2012c包括：
合成子单元2012c1，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对；
测试子单元2012c2，用于对所述地址对进行连通性测试；
建立子单元2012c3，用于根据所述连通性测试的结果确定所述连接路径。
以控制终端和受控终端通过该服务器和该控制通道进行地址信息的获取和交换，并根据双方的地址信息进行数据通道的建立，数据通道可以由控制终端或者受控终端发起建立，控制终端主动发起数据通道的建立为例，其具体流程可以如下：
1)控制终端通过控制通道向受控终端发起数据通道建立指令；
智能手机A通过以控制通道服务器为中继的控制通道向智能手机B发送数据通道建立指令。
2)控制终端从数据通道服务器获取该控制终端的地址信息；
智能手机A向数据通道服务器发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机A的地址信息返回给智能手机A。该地址信息可以包括三类，分别为智能手机的本地地址、NAT(Network Address Translation，网络地址转换)公网映射地址和TURN(Traversal Using Relays around NAT，中继穿透NAT)的中继地址等。
3)受控终端从数据通道服务器获取该受控终端的地址信息；
同样的，智能手机B在接收到数据通道建立指令后，也向数据通道服务器发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机B的地址信息返回给智能手机B。
4)控制终端通过控制通道从受控终端获取受控终端的地址信息；
智能手机A接收智能手机B通过控制通道发送的，该智能手机B的地址信息。
5)控制终端根据控制终端的地址信息和受控终端的地址信息确定连接路径；
智能手机A将自身的三类地址与智能手机B的三类地址合成地址对，对合成获得的地址对进行连通性测试，根据连通性测试的结果确定最优的路径作为连接路径。
6)控制终端通过确定的连接路径建立数据通道。
控制终端也可以直接从服务器获取受控终端的地址信息，比如，控制终端可以向服务器发送收集受控终端的地址信息的请求，服务器将受控终端的地址信息发送给控制终端，由控制终端根据自身的地址信息和受控终端的地址信息确定连接路径并建立数据通道。
或者，上述数据通道的建立过程也可以由受控终端发起，其建立流程与上述过程类似。
需要说明的是，该数据通道可以通过中继方式进行建立，也可以通过直连方式建立，比如，当控制终端和受控终端之间可以通过无线局域网或者蓝牙等进行直接连接时，可以通过直连方式建立该数据通道；当控制终端和受控终端之间只能通过互联网络建立连接时，可以建立以服务器为中继的数据通道。
此外，由于图像信息数据量较大，且对传输的可靠性以及准确性的要求不高，可允许一定的丢包，因此，该数据通道可以基于UDP(User Data Protocol，用户数据报协议)协议建立。
上述控制通道和数据通道的建立过程都需要通过服务器进行中继，在实际应用中，也可以不通过服务器，直接建立控制通道和/或数据通道。
比如，当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围内时，可以通过无线局域网或者蓝牙直接建立该控制通道和该数据通道，不需要经过服务器进行中继转发。
或者，当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围内时，可以通过无线局域网或者蓝牙直接建立该控制通道，并通过服务器建立该数据通道。
或者，当控制终端和受控终端处于同一无线局域网或者处于蓝牙连接范围内时，可以通过服务器建立该控制通道，并通过无线局域网或者蓝牙直接建立该数据通道。
图像数据接收模块202，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据；
受控终端屏幕点亮时，可以按照指定的帧率抓取屏幕图像数据，该指定帧率可以是一个固定的帧率，比如，受控终端可以设置该指定帧率为固定的30FPS(Frames PerSecond，每秒传输帧数)，即每秒抓取30帧屏幕图像的图像数据；或者，受控终端也可以根据屏幕显示的内容动态设定指定帧率，比如，当屏幕中显示的内容为静态的页面时，可以为该指定帧率设置一个较低的数值(比如10)，当屏幕中显示的内容为动态的视频时，可以为该指定帧率设置一个较高的数值(比如60)。
数据通道建立起来后，受控终端就可以进行图像和/或音频等媒体数据的传输。受控终端将按照指定帧率抓取的屏幕图像数据进行编码(比如按照H.264方式进行编码)后，通过数据通道传输到控制终端。
显示模块203，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图；
智能手机A接收到智能手机B通过数据通道发送的屏幕图像数据后，以合适的分辨率在屏幕中显示智能手机B的屏幕截图。
操作信息生成模块204，用于根据基于所述屏幕截图的操作生成相应的操作信息；
其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述操作信息生成模块204包括：
监听子模块2041，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件；
第一生成子模块2042，用于根据所述触控事件生成所述操作信息；
第一按键类型确定子模块2043，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型；
第二生成子模块2044，用于生成包含所述按键类型对应的标识的所述操作信息；
语音识别子模块2045，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本；
第二生成子模块2046，用于提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
所述第一生成子模块2042，包括：第一生成单元2042a或者第二生成单元2042b；
所述第一生成单元2042a，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
所述第二生成单元2042b，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
操作信息发送模块205，用于将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
以智能手机为例，用户在智能手机A中的操作可以分为触控操作、按键操作以及语音操作，对应生成的操作信息分别为触控信息、按键信息以及语音信息，其处理方法分别如下：
1)对于触控信息，当用户在智能手机A侧基于智能手机B的屏幕截图进行触控操作，比如进行滑屏、点击、长按或者手势等操作时，智能手机A对生成的触控事件MotionEvent进行序列化为字节流并发送出去，智能手机B对字节流进行反序列化，还原触控事件。或者，智能手机A提取触控事件里面的关键信息(包括事件类型、触控坐标、触控力度等)，将关键信息编码为xml或json等格式的文件。智能手机B根据xml或json等格式的文件提取关键信息，并据以还原触控事件。智能手机B根据还原的触控事件执行相应的控制操作。
以xml格式为例，编码后的文件可以如下：
<？xml version＝″1.0″encoding＝″UTF-8″？>
<motionevent>
<surfacex>1080.0</surfacex>
<surfacey>1519.0</surfacey>
<extra>122.0</extra>
<action>0</action>
<pointlist><point><pointx>563.0</pointx><pointy>764.0</pointy></point></pointlist><pressure>0.31764707</pressure>
<size>0.0</size>
<metastate>0</metastate>
<buttonstate>0</buttonstate>
<xprecision>1.0</xprecision>
<yprecision>1.0</yprecision>
<edgeflags>0</edgeflags>
<source>4098</source>
<flags>0</flags>
</motionevent>
控制终端显示受控终端的屏幕截图时，在控制终端中显示的屏幕截图的分辨率与受控终端实际显示的屏幕图像的分辨率通常并不一致，相应的，用户在控制终端中基于受控终端的屏幕截图进行触控操作时，生成的触控事件中包含的触控坐标与该触控操作映射在受控终端实际屏幕图像中的坐标也不一致，对此，控制终端首先需要将原始的触控事件中的触控坐标转化为映射在受控终端的屏幕中的映射坐标，使用该映射坐标替换原始的触控事件中的触控坐标，再根据替换映射坐标后的触控事件生成触控信息。具体的，受控终端可以通过控制通道将受控终端的分辨率发送给控制终端，控制终端根据屏幕截图的显示区域坐标，原始的触控事件中的触控坐标以及受控终端的屏幕分辨率确定该映射坐标。
或者，上述坐标转化的步骤也可以由受控终端来完成，即控制终端不对原始的触控事件进行处理，直接生成触控信息，受控终端通过控制通道获取控制终端中的屏幕截图的显示区域坐标，从触控信息中提取原始的触控事件中的触控坐标，并根据该屏幕截图的显示区域坐标、提取出的触控坐标以及受控终端自身的屏幕分辨率确定该映射坐标。
以上述坐标转化步骤由控制终端完成为例，请参考图3所示的触控坐标映射示意图，其中，智能手机A与智能手机B建立控制通道和数据通道后，智能手机A接收智能手机B的屏幕图像数据，在智能手机A屏幕中的截图显示区域显示该智能手机B的屏幕截图，该截图显示区域为智能手机A的屏幕中的一部分，用户在智能手机A屏幕中的截图显示区域进行触控操作时，生成的原始触控事件中包含的触控坐标(x，y)为触控点在智能手机A的屏幕中的坐标，智能手机A监控到该原始的触控事件后，将该原始的触控事件中的触控坐标(x，y)替换为其映射在受控终端的屏幕中的映射坐标(x’，y’)，根据替换触控坐标后的触控事件生成触控信息，比如，对替换触控坐标后的触控事件进行序列化，或者，将映射坐标(x’，y’)作为关键信息进行提取并编码。
用户可以通过触控操作在控制终端中对受控终端进行控制，比如，请参考图4所示的远程控制操作示意图，智能手机A与智能手机B建立控制通道和数据通道后，智能手机A接收智能手机B的屏幕图像数据，并显示智能手机B的屏幕截图，该屏幕截图为智能手机B的主界面截图，该屏幕截图中包含各个应用程序的图标，智能手机A侧的用户点击该屏幕截图中某一应用程序(程序名为“XYZ”)的图标区域时，智能手机A根据触控点的坐标确定该触控点映射在智能手机B中的映射坐标，并将该映射坐标和触控类型编码为触控信息并发送给智能手机B，智能手机B根据该触控信息还原触控事件，根据该触控事件打开应用程序XYZ。进一步的，智能手机B打开应用程序XYZ并显示其应用程序界面后，用户在智能手机A中点击该应用程序界面的截图中的功能按键(比如进入次级页面或者退出应用程序等等)对应的位置时，智能手机B可以根据该功能按键对该应用程序进行控制。
或者，用户也可以通过触控操作在受控终端中进行远程屏幕涂鸦，比如，请参考图5所示的远程涂鸦操作示意图，其中，智能手机A与智能手机B建立控制通道和数据通道后，智能手机B打开涂鸦面板，智能手机A接收智能手机B的屏幕图像数据，并显示该涂鸦面板的截图，智能手机A侧的用户在该涂鸦面板的截图中进行滑动操作，智能手机A根据滑动操作划过的轨迹上的各个坐标确定映射在智能手机B中的各个映射坐标，并将该各个映射坐标和触控类型编码为触控信息并发送给智能手机B，智能手机B根据该触控信息还原触控事件，根据该触控事件在智能手机B显示的涂鸦面板中显示该滑动操作的轨迹图案。
2)对于按键信息，智能手机A可以对按键事件(比如返回键、home键、菜单键、音量键等所有物理按键或虚拟按键)进行编码，将每一种按键类型定义唯一的标识，智能手机A将按键事件对应的按键类型编码为标识发送到智能手机B，智能手机B根据标识还原为相应的按键事件。智能手机B按照还原的按键事件执行相应的控制操作。
3)对于语音信息，智能手机A首先将语音转为为文字，提取文字中的控制指令，为每一种控制指令定义唯一的标识，智能手机A将语音编码为标识发送到智能手机B，智能手机B根据标识还原相应控制指令。比如，用户对智能手机A输入“打电话”声音，智能手机A将“打电话”编码为唯一标识并发送到智能手机B，智能手机B将该唯一标识识别为“打电话”的指令。智能手机B根据识别出的指令进行相应的控制操作。
综上所述，本发明实施例提供的控制终端，通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图6，其示出了本发明一个实施例提供的控制终端的框图。该控制终端300可以用于对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该控制终端300可以包括：总线305，以及连接到总线305的处理器301、存储器302、发射器303和接收器304。其中，存储器302用于存储若干个指令，该若干个指令被配置成由处理器301执行；
所述处理器301，用于控制所述接收器304和所述发射器303，建立与受控终端之间的控制通道和数据通道；
所述接收器304，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
所述处理器301，用于根据所述屏幕图像数据在显示设备中显示所述受控终端的屏幕截图，根据基于所述屏幕截图的操作生成相应的操作信息；
所述处理器301，用于控制所述发射器303将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
综上所述，本发明实施例提供的控制终端，通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图7，其示出了本发明另一实施例提供的控制终端的框图。该控制终端400可以用于对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该控制终端400可以包括：总线405，以及连接到总线405的处理器401、存储器402、发射器403和接收器404。其中，存储器402用于存储若干个指令，该若干个指令被配置成由处理器401执行；
所述处理器401，用于控制所述接收器404和所述发射器403，建立与受控终端之间的控制通道和数据通道；
所述处理器401，用于控制所述接收器404和所述发射器403，通过所述服务器建立与所述受控终端之间的控制通道；
所述处理器401，用于控制所述接收器404和所述发射器403，通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道。
具体的，在建立数据通道时，所述处理器401，用于控制所述接收器404和所述发射器403，从所述服务器获取所述控制终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器401，用于控制所述接收器404和所述发射器403，从所述服务器或者所述受控终端获取所述受控终端的地址信息；
所述处理器401，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器401，用于控制所述接收器404和所述发射器403，根据所述连接路径建立所述数据通道。
其中，在确定连接路径时，所述处理器401，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对，对所述地址对进行连通性测试，根据所述连通性测试的结果确定所述连接路径。
该控制通道和数据通道的建立流程可以如图2对应实施例中的描述，此处不再赘述。
所述接收器404，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
所述处理器401，用于根据所述屏幕图像数据在显示设备中显示所述受控终端的屏幕截图，根据基于所述屏幕截图的操作生成相应的操作信息；
其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；所述处理器401，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件，根据所述触控事件生成所述操作信息；
所述处理器401，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型，生成包含所述按键类型对应的标识的所述操作信息；
所述处理器401，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本，提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
在根据所述触控事件生成所述操作信息时，所述处理器401，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；或者，所述处理器401，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
触控信息的生成步骤请参见图2对应实施例中的描述，此处不再赘述。
所述处理器401，用于控制所述发射器403将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作。
综上所述，本发明实施例提供的控制终端，通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图8，其示出了本发明一个实施例提供的受控终端的结构示意图，该受控终端用于接收如图1、图2、图6或图7任一所示的控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该受控终端可以包括：
第二通道建立模块501，用于建立与控制终端之间的控制通道和数据通道；
图像数据获取模块502，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
图像数据发送模块503，用于通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
操作信息接收模块504，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
执行模块505，用于根据所述操作信息执行相应的控制操作。
综上所述，本发明实施例提供的受控终端，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图9，其示出了本发明另一实施例提供的受控终端的结构示意图，该受控终端用于接收如图1、图2、图6或图7任一所示的控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该受控终端可以包括：
第二通道建立模块601，用于建立与控制终端之间的控制通道和数据通道；
其中，所述第二通道建立模块601，包括：
第三通道建立子模块6011，用于通过所述服务器建立与所述控制终端之间的控制通道；
第四通道建立子模块6012，用于通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
其中，所述第四通道建立子模块6012，包括：
第三地址获取单元6012a，用于从所述服务器获取所述受控终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第四地址获取单元6012b，用于从所述服务器或者所述控制终端获取所述控制终端的地址信息；
第二路径确定单元6012c，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第二建立单元6012d，用于根据所述连接路径建立所述数据通道。
在根据该控制终端的地址信息和该受控终端的地址信息确定连接路径时，受控终端将该控制终端的地址信息和该受控终端的地址信息合成为地址对，对该地址对进行连通性测试，根据该连通性测试的结果确定该连接路径。
以控制终端和受控终端通过该服务器和该控制通道进行地址信息的获取和交换，并根据双方的地址信息进行数据通道的建立，数据通道可以由控制终端或者受控终端发起建立，控制终端主动发起数据通道的建立为例，其具体流程可以如下：
1)控制终端通过控制通道向受控终端发起数据通道建立指令；
智能手机A通过以控制通道服务器为中继的控制通道向智能手机B发送数据通道建立指令。
2)控制终端从数据通道服务器获取该控制终端的地址信息；
智能手机A向数据通道服务器发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机A的地址信息返回给智能手机A。该地址信息可以包括三类，分别为智能手机的本地地址、NAT(Network Address Translation，网络地址转换)公网映射地址和TURN(Traversal Using Relays around NAT，中继穿透NAT)的中继地址等。
3)受控终端从数据通道服务器获取该受控终端的地址信息；
同样的，智能手机B在接收到数据通道建立指令后，也向数据通道服务器发送地址收集请求，数据通道服务器根据该地址收集请求将智能手机B的地址信息返回给智能手机B。
4)受控终端通过控制通道从控制终端获取控制终端的地址信息；
智能手机A将自身的地址信息通过控制通道发送给智能手机B。
5)受控终端根据控制终端的地址信息和受控终端的地址信息确定连接路径；
智能手机B同样将自身的三类地址与智能手机A的三类地址合成地址对，对合成获得的地址对进行连通性测试，根据连通性测试的结果确定最优的路径作为连接路径。
6)受控终端通过确定的连接路径建立数据通道。
控制终端也可以直接从服务器获取受控终端的地址信息，比如，控制终端可以向服务器发送收集受控终端的地址信息的请求，服务器将受控终端的地址信息发送给控制终端，由控制终端根据自身的地址信息和受控终端的地址信息确定连接路径并建立数据通道。
图像数据获取模块602，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
图像数据发送模块603，用于通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
操作信息接收模块604，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
执行模块605，用于根据所述操作信息执行相应的控制操作。
其中，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述执行模块605，包括：
事件还原子模块6051，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件；
第一执行子模块6052，用于根据所述触控事件执行所述控制操作；
第二按键类型确定子模块6053，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型；
第二执行子模块6054，用于根据所述按键类型执行所述控制操作；
指令确定子模块6055，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令；
第三执行子模块6056，用于根据所述控制指令执行所述控制操作。
所述事件还原子模块，包括：第一还原单元6051a或者第二还原单元6051b；
所述第一还原单元6051a，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
所述第二还原单元6051b，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
其中，受控终端接收控制终端的具体过程请参考图2对应的实施例中的描述，此处不再赘述。
综上所述，本发明实施例提供的受控终端，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图10，其示出了本发明一个实施例提供的受控终端的框图。该受控终端700用于接收如图1、图2、图6或图7任一所示的控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该受控终端700可以包括：总线705，以及连接到总线705的处理器701、存储器702、发射器703和接收器704。其中，存储器702用于存储若干个指令，该若干个指令被配置成由处理器701执行；
所述处理器701，用于控制所述接收器704和所述发射器703，建立与控制终端之间的控制通道和数据通道；
所述处理器701，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
所述处理器701，用于控制所述发射器703，通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
所述接收器704，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
所述处理器701，用于根据所述操作信息执行相应的控制操作。
综上所述，本发明实施例提供的受控终端，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图11，其示出了本发明另一实施例提供的受控终端的框图。该受控终端800用于接收如图1、图2、图6或图7任一所示的控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该受控终端800可以包括：总线805，以及连接到总线805的处理器801、存储器802、发射器803和接收器804。其中，存储器802用于存储若干个指令，该若干个指令被配置成由处理器801执行；
所述处理器801，用于控制所述接收器804和所述发射器803，建立与控制终端之间的控制通道和数据通道；
所述处理器801，用于控制所述接收器804和所述发射器803，通过所述服务器建立与所述控制终端之间的控制通道；
所述处理器801，用于控制所述接收器804和所述发射器803，通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道。
在建立所述数据通道时，所述处理器801，用于控制所述接收器804和所述发射器803，从所述服务器获取所述受控终端的地址信息，所述地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器801，用于控制所述接收器804和所述发射器803，从所述服务器或者所述控制终端获取所述控制终端的地址信息；
所述处理器801，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器801，用于控制所述接收器804和所述发射器803，根据所述连接路径建立所述数据通道。
所述处理器801，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
所述处理器801，用于控制所述发射器803，通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
所述接收器804，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
所述处理器801，用于根据所述操作信息执行相应的控制操作。
所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；在执行控制操作时，所述处理器801，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件，根据所述触控事件执行所述控制操作；
在根据控制信息还原触控操作对应的触控事件时，所述处理器801，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；或者，所述处理器801，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
所述处理器801，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型，根据所述按键类型执行所述控制操作。
所述处理器801，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令，根据所述控制指令执行所述控制操作。
综上所述，本发明实施例提供的受控终端，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图12，其示出了本发明一个实施例提供的服务器的结构示意图，该服务器用于建立如图1、图2、图6或图7任一所示的控制终端和如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该服务器可以包括：
控制通道建立模块901，用于建立控制终端与受控终端之间的控制通道；
第一地址提供模块902，用于向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第二地址提供模块903，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第三地址提供模块904，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
综上所述，本发明实施例提供的服务器，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图13，其示出了本发明另一实施例提供的服务器的结构示意图，该服务器用于建立如图1、图2、图6或图7任一所示的控制终端和如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该服务器可以包括：
控制通道建立模块1001，用于建立控制终端与受控终端之间的控制通道；
其中，所述控制通道建立模块1001，包括：
请求接收子模块10011，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
判断子模块10012，用于判断所述受控终端是否已经接入所述服务器；
通道建立子模块10013，用于若所述判断子模块10012的判断结果为所述受控终端已经接入所述服务器，则建立所述控制终端与所述受控终端之间的所述控制通道。
所述控制通道建立模块1001还包括：
通知子模块10014，用于若所述判断子模块10012的判断结果为所述受控终端未接入所述服务器，则向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
第一地址提供模块1002，用于向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第二地址提供模块1003，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第三地址提供模块1004，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
控制通道和数据通道的建立以及控制终端通过控制通道和数据通道对受控终端进行控制的过程请参考图2所示实施例中的描述，此处不再赘述。
综上所述，本发明实施例提供的服务器，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图14，其示出了本发明一个实施例提供的服务器的框图，该服务器1100用于建立如图1、图2、图6或图7任一所示的控制终端和如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该服务器1100包括：总线1105，以及连接到所述总线的处理器1101、存储器1102、发射器1103和接收器1104。其中，所述存储器1102用于存储若干个指令，所述若干个指令被配置成由所述处理器1101执行；
所述处理器1101，用于控制所述接收器1104和所述发射器1103建立控制终端与受控终端之间的控制通道；
所述处理器1101，用于控制所述接收器1104和所述发射器1103向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
综上所述，本发明实施例提供的服务器，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图15，其示出了本发明另一实施例提供的服务器的框图，该服务器1200用于建立如图1、图2、图6或图7任一所示的控制终端和如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该服务器1200包括：总线1205，以及连接到所述总线的处理器1201、存储器1202、发射器1203和接收器1204。其中，所述存储器1202用于存储若干个指令，所述若干个指令被配置成由所述处理器1201执行；
所述处理器1201，用于控制所述接收器1204和所述发射器1203建立控制终端与受控终端之间的控制通道；
在控制终端与受控终端之间的控制通道时，所述接收器1204，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
所述处理器1201，用于判断所述受控终端是否已经接入所述服务器，若判断结果为所述受控终端已经接入所述服务器，则控制所述接收器1204和所述发射器1203建立所述控制终端与所述受控终端之间的所述控制通道。
所述处理器1201，用于若判断结果为所述受控终端未接入所述服务器，则控制所述发射器1203向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
所述处理器1201，用于控制所述接收器1204和所述发射器1203向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
其中，控制通道和数据通道的建立以及控制终端通过控制通道和数据通道对受控终端进行控制的过程请参考图2所示实施例中的描述，此处不再赘述。
综上所述，本发明实施例提供的服务器，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图16，其示出了本发明一个实施例提供的终端控制方法的方法流程图，该方法可以用于在如图1、图2、图6或者图7任一所示的控制终端中对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1302，建立与受控终端之间的控制通道和数据通道；
步骤1304，接收该受控终端通过该数据通道发送的屏幕图像数据，该屏幕图像数据用于指示该受控终端的屏幕截图；
步骤1306，根据该屏幕图像数据显示该受控终端的屏幕截图；
步骤1308，根据基于该屏幕截图的操作生成相应的操作信息；
步骤1310，将该操作信息通过该控制通道发送给该受控终端，由该受控终端根据该操作信息执行相应的控制操作。
综上所述，本发明实施例提供的终端控制方法，通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图17，其示出了本发明另一实施例提供的终端控制方法的方法流程图，该方法可以用于在如图1、图2、图6或者图7任一所示的控制终端中对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1402，建立与受控终端之间的控制通道；
用户想要在控制终端中对受控终端进行控制时，可以通过控制通道服务器建立与受控终端之间的控制通道。
或者，也可以不通过服务器，控制终端与受控终端直接建立控制通道。
步骤1404，建立与受控终端之间的数据通道；
控制终端可以通过该服务器和该控制通道建立与受控终端之间的数据通道；
控制终端可以从该服务器获取该控制终端的地址信息，该地址信息包括本地地址、网络地址转换的映射地址和中继穿透网络地址转换的中继地址；控制终端从服务器或者受控终端获取该受控终端的地址信息；控制终端根据该控制终端的地址信息和该受控终端的地址信息确定连接路径；控制终端根据该连接路径建立该数据通道。
在根据该控制终端的地址信息和该受控终端的地址信息确定连接路径时，控制终端将该控制终端的地址信息和该受控终端的地址信息合成为地址对，对该地址对进行连通性测试，根据该连通性测试的结果确定该连接路径。
或者，也可以不通过服务器，控制终端与受控终端直接建立数据通道。
其中，控制通道和数据通道的建立流程可以参见图2对应的实施例中的描述，此处不再赘述。
步骤1406，接收该受控终端通过该数据通道发送的屏幕图像数据，该屏幕图像数据用于指示该受控终端的屏幕截图；
步骤1408，根据该屏幕图像数据显示该受控终端的屏幕截图；
步骤1410，根据基于该屏幕截图的操作生成相应的操作信息；
操作信息的生成流程可以参见图2对应的实施例中的描述，此处不再赘述。
步骤1412，将该操作信息通过该控制通道发送给该受控终端，由该受控终端根据该操作信息执行相应的控制操作。
综上所述，本发明实施例提供的终端控制方法，通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图18，其示出了本发明一个实施例提供的终端控制方法的方法流程图，该方法用于在如图8至11所示的受控终端中，使受控终端接收控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1502，建立与控制终端之间的控制通道和数据通道；
步骤1504，获取用于指示该受控终端的屏幕截图的屏幕图像数据；
步骤1506，通过该数据通道向该控制终端发送该屏幕图像数据，由该控制终端根据该屏幕数据图像显示该受控终端的屏幕截图；
步骤1508，接收该控制终端通过该控制通道发送的操作信息，该操作信息为该控制终端根据基于该屏幕截图的操作生成的信息；
步骤1510，根据该操作信息执行相应的控制操作。
综上所述，本发明实施例提供的方法，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图19，其示出了本发明另一实施例提供的终端控制方法的方法流程图，该方法用于在如图8至11所示的受控终端中，使受控终端接收控制终端的远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1602，建立与控制终端之间的控制通道；
步骤1604，建立与控制终端之间的数据通道；
该控制通道和数据通道的建立过程请参见图2对应的实施例中的描述，此处不再赘述。
步骤1606，按照指定帧率获取该受控终端的屏幕图像数据；
其中，该屏幕图像数据用于指示该受控终端的屏幕截图。
步骤1608，通过该数据通道向该控制终端发送该屏幕图像数据，由该控制终端根据该屏幕数据图像显示该受控终端的屏幕截图；
步骤1610，接收该控制终端通过该控制通道发送的操作信息，该操作信息为该控制终端根据基于该屏幕截图的操作生成的信息；
步骤1612，根据该操作信息执行相应的控制操作。
控制终端生成并发送操作信息的流程，以及受控终端根据操作信息执行相应的控制操作的流程请参见图2对应的实施例中的描述，此处不再赘述。
综上所述，本发明实施例提供的方法，通过建立与控制终端之间的控制通道和数据通道；获取所述受控终端的屏幕图像数据并通过所述数据通道向所述控制终端发送所述屏幕图像数据，接收所述控制终端通过所述控制通道发送的操作信息，并根据所述操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图20，其示出了本发明一个实施例提供的终端控制方法的方法流程图，该方法用于在如图12至15任一所示的服务器中建立如图1、2、6或7所示的控制终端以及如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1702，建立控制终端与受控终端之间的控制通道；
步骤1704，向该控制终端提供该控制终端的地址信息，并向该受控终端提供该受控终端的地址信息，使该控制终端和该受控终端通过该控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端根据该控制终端的地址信息和该受控终端的地址信息确定连接路径，并根据连接路径建立该数据通道，并由该控制终端通过该控制通道和该数据通道对该受控终端进行控制；
步骤1706，向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
步骤1708，向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，并根据连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
综上所述，本发明实施例提供的方法，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
请参考图21，其示出了本发明另一实施例提供的终端控制方法的方法流程图，该方法用于在如图12至15任一所示的服务器中建立如图1、2、6或7所示的控制终端以及如图8至11任一所示的受控终端之间的连接，以便控制终端对受控终端进行远程控制，该控制终端和受控终端可以是带有显示单元，且具有相同的操作模式的移动终端，比如智能手机、平板电脑以及电子书阅读器等。该方法可以包括：
步骤1802，在控制终端接入该服务器之后，接收该控制终端发送的控制通道建立请求；
步骤1804，判断受控终端是否已经接入该服务器；若是进入步骤1806，否则，进入步骤1808；
步骤1806，向该受控终端发送接入通知，返回步骤1804
步骤1808，建立该控制终端与该受控终端之间的该控制通道；
其中，服务器建立控制终端和受控终端之间的控制通道的具体流程请参考图2所示的实施例中的描述，此处不再赘述。
步骤1810，向该控制终端提供该控制终端的地址信息，并向该受控终端提供该受控终端的地址信息；
步骤1812，向控制终端提供控制终端的地址信息和受控终端的地址信息；
步骤1814，向受控终端提供控制终端的地址信息和受控终端的地址信息。
服务器向控制终端和/或受控终端提供地址信息，以便控制终端和/或受控终端建立数据通道的流程，以及控制终端通过控制通道和数据通道对受控终端进行远程控制的流程请参考图2所示的实施例中的描述，此处不再赘述。
综上所述，本发明实施例提供的方法，通过建立控制终端与受控终端之间的控制通道和数据通道；并由控制终端通过控制通道和数据通道对受控终端进行控制，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
本发明实施例提供了一种终端控制系统的系统构成图，参见图22，该终端控制系统用于在控制终端、被控终端以及服务器之间进行远程控制，该控制终端和被控终端可以是智能手机、平板电脑或者电子书阅读器等移动终端。该终端控制系统可以包括：
如图1、2、6或7所示的控制终端001、如图8至11任一所示的受控终端002以及如图12至15任一所示的服务器003。
综上所述，本发明实施例提供的终端控制系统，控制终端通过建立与受控终端之间的控制通道和数据通道，接收受控终端通过数据通道发送的屏幕图像数据，根据屏幕图像数据显示受控终端的屏幕截图，根据基于屏幕截图的操作生成相应的操作信息，将操作信息通过控制通道发送给受控终端，由受控终端根据操作信息执行相应的控制操作，使用两个独立的通道来传输两个终端之间的控制信息和屏幕图像数据，避免屏幕数据和操作信息在传输逻辑和传输时间上存在冲突而导致的控制终端侧显示的受控终端的屏幕截图无法及时对控制终端侧的用户操作进行响应的问题，达到提高控制效果和用户体验的目的。
需要说明的是：上述实施例提供的控制终端在对受控终端进行远程控制时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的控制终端、受控终端和服务器与终端控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (27)

1.一种控制终端，其特征在于，所述控制终端包括：
第一通道建立模块，用于建立与受控终端之间的控制通道和数据通道，所述受控终端为移动终端；
图像数据接收模块，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
显示模块，用于根据所述屏幕图像数据显示所述受控终端的屏幕截图；
操作信息生成模块，用于根据基于所述屏幕截图的操作生成相应的操作信息；
操作信息发送模块，用于将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作；
所述第一通道建立模块，包括：
第一通道建立子模块，用于向服务器发送控制通道建立请求，所述控制通道建立请求中包含有所述受控终端的标识，以使所述服务器基于所述受控终端的标识建立所述受控终端与所述控制终端之间的控制通道；
第二通道建立子模块，用于通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道；
所述第二通道建立子模块，包括：
第一地址获取单元，用于从所述服务器获取所述控制终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第二地址获取单元，用于从所述服务器或者所述受控终端获取所述受控终端的地址信息；
第一路径确定单元，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第一建立单元，用于根据所述连接路径建立所述数据通道；
所述第一路径确定单元包括：
合成子单元，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对；
测试子单元，用于对三类所述地址对进行连通性测试；
建立子单元，用于根据所述连通性测试的结果将三类所述地址对中最优的路径作为所述连接路径。
2.根据权利要求1所述的控制终端，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述操作信息生成模块，包括：
监听子模块，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件；
第一生成子模块，用于根据所述触控事件生成所述操作信息；
第一按键类型确定子模块，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型；
第二生成子模块，用于生成包含所述按键类型对应的标识的所述操作信息；
语音识别子模块，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本；
第二生成子模块，用于提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
3.根据权利要求2所述的控制终端，其特征在于，所述第一生成子模块，包括：第一生成单元或者第二生成单元；
所述第一生成单元，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
所述第二生成单元，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
4.一种控制终端，其特征在于，所述控制终端包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器，其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器，建立与受控终端之间的控制通道和数据通道，所述受控终端为移动终端；
所述接收器，用于接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
所述处理器，用于根据所述屏幕图像数据在显示设备中显示所述受控终端的屏幕截图，根据基于所述屏幕截图的操作生成相应的操作信息；
所述处理器，用于控制所述发射器将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作；
所述处理器，用于控制所述接收器和所述发射器，向服务器发送控制通道建立请求，所述控制通道建立请求中包含有所述受控终端的标识，以使所述服务器基于所述受控终端的标识建立所述受控终端与所述控制终端之间的控制通道；
所述处理器，用于控制所述接收器和所述发射器，通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器获取所述控制终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器或者所述受控终端获取所述受控终端的地址信息；
所述处理器，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器，用于控制所述接收器和所述发射器，根据所述连接路径建立所述数据通道；
所述处理器，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为地址对，对所述地址对进行连通性测试，根据所述连通性测试的结果确定所述连接路径。
5.根据权利要求4所述的控制终端，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；
所述处理器，用于当所述操作信息为触控信息时，监听所述操作对应的触控事件，根据所述触控事件生成所述操作信息；
所述处理器，用于当所述操作信息为按键信息时，确定所述操作对应的按键类型，生成包含所述按键类型对应的标识的所述操作信息；
所述处理器，用于当所述操作信息为语音信息时，将所述操作对应的语音识别为文本，提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
6.根据权利要求5所述的控制终端，其特征在于，
所述处理器，用于将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
或者
所述处理器，用于提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
7.一种受控终端，其特征在于，所述受控终端为移动终端，所述受控终端包括：
第二通道建立模块，用于建立与控制终端之间的控制通道和数据通道；
图像数据获取模块，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
图像数据发送模块，用于通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
操作信息接收模块，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
执行模块，用于根据所述操作信息执行相应的控制操作；
所述第二通道建立模块，包括：
第三通道建立子模块，用于通过服务器建立与所述控制终端之间的控制通道，所述控制通道由所述服务器在接收到所述受控终端发送的控制通道建立请求后，基于所述控制通道建立请求中包含的所述受控终端的标识建立；
第四通道建立子模块，用于通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道；
所述第四通道建立子模块，包括：
第三地址获取单元，用于从所述服务器获取所述受控终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
第四地址获取单元，用于从所述服务器或者所述控制终端获取所述控制终端的地址信息；
第二路径确定单元，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
第二建立单元，用于根据所述连接路径建立所述数据通道；
所述第二路径确定单元还用于将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为所述连接路径。
8.根据权利要求7所述的受控终端，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述执行模块，包括：
事件还原子模块，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件；
第一执行子模块，用于根据所述触控事件执行所述控制操作；
第二按键类型确定子模块，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型；
第二执行子模块，用于根据所述按键类型执行所述控制操作；
指令确定子模块，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令；
第三执行子模块，用于根据所述控制指令执行所述控制操作。
9.根据权利要求8所述的受控终端，其特征在于，所述事件还原子模块，包括：第一还原单元或者第二还原单元；
所述第一还原单元，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
所述第一还原单元，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
10.一种受控终端，其特征在于，所述受控终端为移动终端，所述受控终端包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器，其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器，建立与控制终端之间的控制通道和数据通道；
所述处理器，用于获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
所述处理器，用于控制所述发射器，通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
所述接收器，用于接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
所述处理器，用于根据所述操作信息执行相应的控制操作；
所述处理器，用于控制所述接收器和所述发射器，通过服务器建立与所述控制终端之间的控制通道，所述控制通道由所述服务器在接收到所述受控终端发送的控制通道建立请求后，基于所述控制通道建立请求中包含的所述受控终端的标识建立；
所述处理器，用于控制所述接收器和所述发射器，通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器获取所述受控终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
所述处理器，用于控制所述接收器和所述发射器，从所述服务器或者所述控制终端获取所述控制终端的地址信息；
所述处理器，用于根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
所述处理器，用于控制所述接收器和所述发射器，根据所述连接路径建立所述数据通道；
所述处理器，用于将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为所述连接路径。
11.根据权利要求10所述的受控终端，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种；
所述处理器，用于当所述操作信息为触控信息时，根据所述控制信息还原所述触控操作对应的触控事件，根据所述触控事件执行所述控制操作；
所述处理器，用于当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述按键操作对应的按键类型，根据所述按键类型执行所述控制操作；
所述处理器，用于当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述语音操作对应的控制指令，根据所述控制指令执行所述控制操作。
12.根据权利要求11所述的受控终端，其特征在于，
所述处理器，用于对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
或者，
所述处理器，用于从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
13.一种服务器，其特征在于，所述服务器包括：
控制通道建立模块，用于接收控制终端发送控制通道建立请求，并基于所述控制通道建立请求中的包含的受控终端的标识建立所述受控终端与所述控制终端之间的控制通道，所述受控终端为移动终端；
第一地址提供模块，用于向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第二地址提供模块，向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；
第三地址提供模块，向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
14.根据权利要求13所述的服务器，其特征在于，所述控制通道建立模块，包括：
请求接收子模块，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
判断子模块，用于判断所述受控终端是否已经接入所述服务器；
通道建立子模块，用于若所述判断子模块的判断结果为所述受控终端已经接入所述服务器，则建立所述控制终端与所述受控终端之间的所述控制通道。
15.根据权利要求14所述的服务器，其特征在于，所述控制通道建立模块还包括：
通知子模块，用于若所述判断子模块的判断结果为所述受控终端未接入所述服务器，则向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
16.一种服务器，其特征在于，所述服务器包括：总线，以及连接到所述总线的处理器、存储器、发射器和接收器，其中，所述存储器用于存储若干个指令，所述若干个指令被配置成由所述处理器执行；
所述处理器，用于控制所述接收器和所述发射器接收控制终端发送控制通道建立请求，并基于所述控制通道建立请求中的包含的受控终端的标识建立所述受控终端与所述控制终端之间的控制通道；
所述处理器，用于控制所述接收器和所述发射器向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，所述处理器，用于向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
17.根据权利要求16所述的服务器，其特征在于，
所述接收器，用于在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
所述处理器，用于判断所述受控终端是否已经接入所述服务器，若判断结果为所述受控终端已经接入所述服务器，则控制所述接收器和所述发射器建立所述控制终端与所述受控终端之间的所述控制通道。
18.根据权利要求17所述的服务器，其特征在于，
所述处理器，用于若判断结果为所述受控终端未接入所述服务器，则控制所述发射器向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
19.一种终端控制方法，用于控制终端中，其特征在于，所述方法包括：
建立与受控终端之间的控制通道和数据通道，所述受控终端为移动终端；
接收所述受控终端通过所述数据通道发送的屏幕图像数据，所述屏幕图像数据用于指示所述受控终端的屏幕截图；
根据所述屏幕图像数据显示所述受控终端的屏幕截图；
根据基于所述屏幕截图的操作生成相应的操作信息；
将所述操作信息通过所述控制通道发送给所述受控终端，由所述受控终端根据所述操作信息执行相应的控制操作；
所述建立与受控终端之间的控制通道和数据通道，包括：
向服务器发送控制通道建立请求，所述控制通道建立请求中包含有所述受控终端的标识，以使所述服务器基于所述受控终端的标识建立所述受控终端与所述控制终端之间的控制通道；
通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道；
所述通过所述服务器和所述控制通道建立与所述受控终端之间的数据通道，包括：
从所述服务器获取所述控制终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
从所述服务器或者所述受控终端获取所述受控终端的地址信息；
根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
根据所述连接路径建立所述数据通道；
所述根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，包括：
将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为所述连接路径。
20.根据权利要求19所述的方法，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述根据基于所述屏幕截图的操作生成操作信息，包括：
当所述操作信息为触控信息时，监听所述操作对应的触控事件，根据所述触控事件生成所述操作信息；
当所述操作信息为按键信息时，确定所述操作对应的按键类型，生成包含所述按键类型对应的标识的所述操作信息；
当所述操作信息为语音信息时，将所述操作对应的语音识别为文本，提取所述文本中包含的控制指令，生成包含所述控制指令对应的标识的所述操作信息。
21.根据权利要求20所述的方法，其特征在于，所述根据所述触控事件生成所述操作信息，包括：
将所述触控事件序列化为字节流，生成包含有所述字节流的所述操作信息；
或者，提取所述触控事件的关键信息，将所述关键信息编码为指定格式文件，生成包含所述指定格式文件的所述操作信息，所述关键信息包括事件类型、触控坐标和/或触控力度。
22.一种终端控制方法，用于受控终端中，其特征在于，所述受控终端为移动终端，所述方法包括：
建立与控制终端之间的控制通道和数据通道；
获取用于指示所述受控终端的屏幕截图的屏幕图像数据；
通过所述数据通道向所述控制终端发送所述屏幕图像数据，由所述控制终端根据所述屏幕数据图像显示所述受控终端的屏幕截图；
接收所述控制终端通过所述控制通道发送的操作信息，所述操作信息为所述控制终端根据基于所述屏幕截图的操作生成的信息；
根据所述操作信息执行相应的控制操作；
所述建立与控制终端之间的控制通道和数据通道，包括：
通过服务器建立与所述控制终端之间的控制通道，所述控制通道由所述服务器在接收到所述受控终端发送的控制通道建立请求后，基于所述控制通道建立请求中包含的所述受控终端的标识建立；
通过所述服务器和所述控制通道建立与所述控制终端之间的数据通道；
所述根据所述服务器和所述控制通道建立与所述控制终端之间的数据通道，包括：
从所述服务器获取所述受控终端的地址信息，所述地址信息包括网络地址转换的映射地址和中继穿透网络地址转换的中继地址；
从所述服务器或者所述控制终端获取所述控制终端的地址信息；
根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径；
根据所述连接路径建立所述数据通道；
所述根据所述控制终端的地址信息和所述受控终端的地址信息确定连接路径，包括：
将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为所述连接路径。
23.根据权利要求22所述的方法，其特征在于，所述操作信息包括触控信息、按键信息或者语音信息中的至少一种，所述根据所述操作信息执行相应的控制操作，包括：
当所述操作信息为触控信息时，根据所述操作信息还原所述操作对应的触控事件，根据所述触控事件执行所述控制操作；
当所述操作信息为按键信息时，根据所述操作信息中包含的标识确定所述操作对应的按键类型，根据所述按键类型执行所述控制操作；
当所述操作信息为语音信息时，根据所述操作信息中包含的标识确定所述操作对应的控制指令，根据所述控制指令执行所述控制操作。
24.根据权利要求23所述的方法，其特征在于，所述根据所述控制信息还原所述触控操作对应的触控事件，包括：
对所述操作信息中包含的字节流进行反序列化，以还原所述触控事件；
或者，从所述操作信息中包含的指定格式文件中提取所述触控事件的关键信息，根据所述关键信息还原所述触控事件，所述关键信息包括事件类型、触控坐标和/或触控力度。
25.一种终端控制方法，用于服务器中，其特征在于，所述方法包括：
接收控制终端发送控制通道建立请求，并基于所述控制通道建立请求中的包含的所述受控终端的标识建立受控终端与所述控制终端之间的控制通道，所述受控终端为移动终端；
向所述控制终端提供所述控制终端的地址信息，并向所述受控终端提供所述受控终端的地址信息，使所述控制终端和所述受控终端通过所述控制通道进行地址信息的交换后，由所述控制终端或者所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，向所述控制终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述控制终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制；或者，向所述受控终端提供所述控制终端的地址信息和所述受控终端的地址信息，由所述受控终端将所述控制终端的地址信息和所述受控终端的地址信息合成为三类地址对，对三类所述地址对进行连通性测试，根据所述连通性测试的结果将三类所述地址对中最优的路径作为连接路径，并根据所述连接路径建立所述数据通道，并由所述控制终端通过所述控制通道和所述数据通道对所述受控终端进行控制。
26.根据权利要求25所述的方法，其特征在于，所述建立控制终端与受控终端之间的控制通道，包括：
在所述控制终端接入所述服务器之后，接收所述控制终端发送的控制通道建立请求；
判断所述受控终端是否已经接入所述服务器；
若判断结果为所述受控终端已经接入所述服务器，则建立所述控制终端与所述受控终端之间的所述控制通道。
27.根据权利要求26所述的方法，其特征在于，所述方法还包括：
若判断结果为所述受控终端未接入所述服务器，则向所述受控终端发送接入通知，所述接入通知用于指示所述受控终端接入所述服务器。
CN201480046287.XA 2014-08-04 2014-08-04 终端、服务器及终端控制方法 Active CN105493621B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/083643 WO2016019495A1 (zh) 2014-08-04 2014-08-04 终端、服务器及终端控制方法

Publications (2)

Publication Number Publication Date
CN105493621A CN105493621A (zh) 2016-04-13
CN105493621B true CN105493621B (zh) 2019-08-20

Family

ID=55262979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046287.XA Active CN105493621B (zh) 2014-08-04 2014-08-04 终端、服务器及终端控制方法

Country Status (8)

Country Link
US (1) US9961210B2 (zh)
EP (1) EP3163972B1 (zh)
JP (1) JP6368033B2 (zh)
KR (1) KR101842559B1 (zh)
CN (1) CN105493621B (zh)
AU (1) AU2014403138B2 (zh)
BR (1) BR112017002073B1 (zh)
WO (1) WO2016019495A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657211A (zh) * 2015-02-03 2015-05-27 百度在线网络技术（北京）有限公司 一种用于操作对应设备上目标应用的方法与设备
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN108228125A (zh) * 2017-12-29 2018-06-29 广州酷狗计算机科技有限公司 智能设备的远程控制方法及系统
CN109683780A (zh) * 2018-12-26 2019-04-26 上海司南卫星导航技术股份有限公司 控制移动终端的方法、系统和被控终端
CN109803452A (zh) * 2019-03-14 2019-05-24 李清庭 受控装置、方法及系统
CN110300031B (zh) * 2019-07-12 2021-12-07 中国电信集团工会上海市委员会 一种网关设备的远程管理系统
CN112527221A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种数据传输的方法及相关设备
CN110602805B (zh) * 2019-09-30 2021-06-15 联想(北京)有限公司 信息处理方法、第一电子设备和计算机系统
CN112346799A (zh) * 2020-10-14 2021-02-09 视联动力信息技术股份有限公司 一种终端控制方法、装置、电子设备及存储介质
CN112351093A (zh) * 2020-10-30 2021-02-09 深圳Tcl新技术有限公司 截屏图像共享方法、装置、设备及计算机可读存储介质
CN112306610A (zh) * 2020-11-02 2021-02-02 北京字节跳动网络技术有限公司 终端控制方法、装置和电子设备
CN112714272A (zh) * 2020-12-14 2021-04-27 深圳市鹏创软件有限公司 设备间控制方法、终端和计算机可读存储介质
CN112788193A (zh) * 2020-12-30 2021-05-11 北京达佳互联信息技术有限公司 图像传输方法、装置、电子设备及存储介质
CN114845035B (zh) * 2021-01-30 2024-04-26 华为技术有限公司 一种分布式拍摄方法，电子设备及介质
CN113542488B (zh) * 2021-06-30 2024-03-15 青岛海信移动通信技术有限公司 采用终端设备控制受控终端的方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206548B1 (en) * 2004-10-29 2007-04-17 Sprint Spectrum L.P. Method and system for network-based remote control and testing of wireless communication devices
CN103336677A (zh) * 2013-06-25 2013-10-02 北京小米科技有限责任公司 一种向显示设备输出图像的方法、装置和系统
CN103366659A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 显示控制方法及相关设备
CN103874228A (zh) * 2012-12-11 2014-06-18 联想(北京)有限公司 无线数据通道建立方法、电子设备、服务器和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2367727B (en) 2000-10-07 2002-10-09 Complementary Tech Ltd Communications with remote embedded applications
JP4894449B2 (ja) * 2006-10-17 2012-03-14 日本電気株式会社 携帯端末の遠隔操作方法、携帯端末及びプログラム
US20090077184A1 (en) 2007-09-18 2009-03-19 Martin John Brewer Remote Control of Mobile Terminal via Remote Control Proxy and SMS
US20110287757A1 (en) 2008-05-08 2011-11-24 Unify4Life Corporation Remote control system and method
KR101542744B1 (ko) * 2009-03-18 2015-08-10 삼성전자주식회사 네트워크에서 피제어장치를 제어하는 방법 및 그 장치
KR101602461B1 (ko) * 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
KR101595762B1 (ko) 2009-11-10 2016-02-22 삼성전자주식회사 휴대 단말기의 원격 제어 방법 및 이를 위한 시스템
CN101883317A (zh) * 2010-05-18 2010-11-10 中兴通讯股份有限公司 移动终端及用户位置通知方法
CN102378257A (zh) * 2010-08-10 2012-03-14 华宝通讯股份有限公司 具有遥控功能的无线通信系统及其无线通信模块
TWM410273U (en) * 2010-12-08 2011-08-21 Elitegroup Computer Sys Co Ltd Control transfer apparatus and control transfer system
US8769039B2 (en) * 2011-01-21 2014-07-01 Kaseya International Limited Method and apparatus of performing remote computer file exchange
CN103563346B (zh) * 2011-03-31 2017-10-24 索尼移动通信公司 用于建立通信会话的系统和方法
JP5951938B2 (ja) * 2011-05-25 2016-07-13 株式会社オプティム 端末のリモートシステム、リモート操作方法
JP5972398B2 (ja) * 2012-01-17 2016-08-17 テレフオンアクチーボラゲット エルエム エリクソン（パブル） Ｉｃｅベースｎａｔトラバーサル
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same
US20130308628A1 (en) * 2012-05-15 2013-11-21 Viber Media, Inc. Nat traversal for voip
CN102710869A (zh) 2012-06-29 2012-10-03 北京德天泉机电设备有限公司 一种基于智能手机的远程控制系统
KR101422808B1 (ko) 2012-09-21 2014-08-14 주식회사 팬택 드로잉 화면 공유 서비스의 제공 장치 및 방법과 이를 위한 휴대 단말
US9609386B2 (en) * 2012-12-18 2017-03-28 Rentak Corporation System and methods for analyzing content engagement in conjunction with social media
US9432330B2 (en) * 2013-05-29 2016-08-30 Huawei Technologies Co., Ltd. Data interaction method, apparatus, and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206548B1 (en) * 2004-10-29 2007-04-17 Sprint Spectrum L.P. Method and system for network-based remote control and testing of wireless communication devices
CN103366659A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 显示控制方法及相关设备
CN103874228A (zh) * 2012-12-11 2014-06-18 联想(北京)有限公司 无线数据通道建立方法、电子设备、服务器和系统
CN103336677A (zh) * 2013-06-25 2013-10-02 北京小米科技有限责任公司 一种向显示设备输出图像的方法、装置和系统

Also Published As

Publication number Publication date
EP3163972A1 (en) 2017-05-03
AU2014403138A1 (en) 2017-02-23
CN105493621A (zh) 2016-04-13
US20170230510A1 (en) 2017-08-10
AU2014403138B2 (en) 2018-05-17
BR112017002073B1 (pt) 2023-02-07
KR101842559B1 (ko) 2018-03-27
KR20170032445A (ko) 2017-03-22
US9961210B2 (en) 2018-05-01
BR112017002073A2 (pt) 2018-07-03
WO2016019495A1 (zh) 2016-02-11
EP3163972A4 (en) 2017-06-21
JP6368033B2 (ja) 2018-08-01
EP3163972B1 (en) 2020-02-05
JP2017531353A (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
CN105493621B (zh) 终端、服务器及终端控制方法
KR100652957B1 (ko) 멀티미디어 컨텐츠 이동방법 및 그 시스템
CN104426939B (zh) 一种信息处理方法及电子设备
CN112153140A (zh) 远程控制方法、装置、设备、存储介质及系统
CN109688369A (zh) 视频会议控制方法
CN110087126A (zh) 传屏方法和多屏互动装置、系统
CN102981613A (zh) 终端和终端控制方法
EP3075147B1 (en) Method for remote monitoring, and system for signal capturing and remote monitoring
KR20150079640A (ko) 실시간 통신 및 경험 공유 세션 동안 서비스를 업데이트하는 기법
WO2014036833A1 (zh) 基于社交网络的图标交互系统及其方法
KR102426933B1 (ko) 단말을 통해 클라우드 웹사이트에 액세스하여 영상 콘텐츠를 제공하는 교육용 플랫폼
CN103686287A (zh) 一种实现智能电视触摸屏的方法和系统
CN108616643A (zh) 通过计算设备控制手机的方法、装置及系统
Chen et al. Touch-driven interaction via an NFC-enabled smartphone
CN106354254B (zh) 智能路由器的沉浸式交互方法及装置
CN108322691A (zh) 视频会议实现方法、装置和系统、计算机可读存储介质
TW201716975A (zh) 即時視訊互動方法與裝置
CN106681483A (zh) 一种智能设备的交互方法及系统
CN112714272A (zh) 设备间控制方法、终端和计算机可读存储介质
CN110430228A (zh) 一种通过移动端对计算设备进行操作的方法
CN108337300A (zh) 一种应用于窄带物联网的人机接口通信方法和系统
CN106411835A (zh) 一种基于AllJoyn Control Panel的传输方法和装置
CN118075564A (zh) 一种显示设备及语音交互方法
CN117813579A (zh) 模型控制方法、装置、设备、系统以及计算机存储介质
CN117215416A (zh) 移动终端全息交流方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210420

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.