CN108055704A - 交互控制方法、系统、终端及存储介质 - Google Patents

交互控制方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN108055704A
CN108055704A CN201711403620.XA CN201711403620A CN108055704A CN 108055704 A CN108055704 A CN 108055704A CN 201711403620 A CN201711403620 A CN 201711403620A CN 108055704 A CN108055704 A CN 108055704A
Authority
CN
China
Prior art keywords
control
event
terminal
screen
manipulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711403620.XA
Other languages
English (en)
Inventor
曹桐军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201711403620.XA priority Critical patent/CN108055704A/zh
Publication of CN108055704A publication Critical patent/CN108055704A/zh
Priority to PCT/CN2018/117881 priority patent/WO2019120054A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了交互控制方法、系统、终端及存储介质。系统包括：主控终端和被控终端，主控终端用于在同步显示基于无线传屏接收的当前界面后，与被控终端建立数据传输通道；分析当前作用在屏幕上的控制操作，生成操控事件；发送包含操控事件的数据包给被控终端；被控终端用于接收并解析上述数据包，获得操控事件；根据操控事件生成控制事件，并将控制事件反馈给虚拟输入模块；获取虚拟输入模块形成的操作指令，并响应操作指令对应的操作。利用该系统，在终端间建立无线传屏后，之前只能进行画面观摩的终端能够作为主控终端控制另外一个画面共享的被控终端，从而实现了终端对终端的远程遥控，进而提升了终端间无线传屏的用户体验。

Description

交互控制方法、系统、终端及存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及交互控制方法、系统、终端及存储介质。
背景技术
无线传屏已成为终端间进行画面同步的一种常见的实现方式，一般地，第一终端(可以是智能手机以及智能平板等)与第二终端(可以是集成了安卓系统的大型智能设备如智能白板、智能会议机以及智能电视等)建立无线传屏连接后，可以向第二终端发起画面同步请求，之后第二终端可以根据该请求实时录制屏幕的当前界面并反馈给第一终端，最终第一终端就可以在自身屏幕上显示所接收的当前界面，从而实现终端间画面的同步显示。
然而，基于现有的无线传屏技术将第二终端的当前界面同步显示在第一终端后，第一终端只能对该当前界面进行观摩，并不能在画面同步的基础上实现与第二终端其他交互操作。
发明内容
本发明实施例提供了交互控制方法、系统、终端及存储介质，能够在终端间基于无线传屏实现画面同步后，进一步实现一个终端对另一终端的交互控制。
第一方面，本发明实施例提供了一种交互控制方法，包括：
在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；
分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；
基于所述数据传输通道发送包含所述操控事件的数据包。
第二方面，本发明实施例提供了一种交互控制方法，包括：
接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；
根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；
获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
第三方面，本发明实施例提供一种交互控制系统，包括：主控终端和被控终端，
其中，所述主控终端包括：
传输通道建立模块，用于在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；
操控事件生成模块，用于分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；
数据发送模块，用于基于所述数据传输通道发送包含所述操控事件的数据包；
所述被控终端包括：
事件获取模块，用于接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；
事件转换模块，用于根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；
指令获取模块，用于获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
第四方面，本发明实施例提供了一种终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面提供的交互控制方法。
第五方面，本发明实施例提供了一种终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第二方面提供的交互控制方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面提供的交互控制方法。
第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第二方面提供的交互控制方法。
在上述交互控制方法、系统、终端及存储介质中，主控终端的屏幕上同步显示基于无线传屏接收的当前界面后，首先采用选定的通信方式与被控终端建立数据传输通道；然后分析当前作用在屏幕上的控制操作，生成设定格式的对应于该控制操作的操控事件；最后基于数据传输通道发送包含该操控事件的数据包给被控终端。进而，被控终端接收并解析数据包，获得数据包中的操控事件，之后根据操控事件生成设定表述格式的控制事件，并将控制事件反馈给预先设定的虚拟输入模块；最终被控终端获取虚拟输入模块形成的操作指令，并响应该操作指令对应的操作。上述技术方案，在终端间建立无线传屏后，之前只能进行画面观摩的终端能够作为主控终端控制另外一个画面共享的被控终端，从而实现了终端对终端的远程遥控，进而提升了终端间无线传屏的用户体验。
附图说明
图1为本发明实施例一提供的一种交互控制方法的流程示意图；
图2为本发明实施例二提供的一种交互控制方法的流程示意图；
图3为本发明实施例三提供的一种交互控制方法的流程示意图；
图4a为本发明实施例四提供的一种交互控制系统的结构框图；
图4b为本发明实施例四提供的另一种交互控制系统的结构框图；
图5为本发明实施例五提供的一种作为交互控制系统中主控终端的硬件结构示意图；
图6为本发明实施例六提供的一种作为交互控制系统中被控终端的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种交互控制方法的流程示意图。该方法适用于终端基于无线传屏同步另一终端的当前界面后对另一终端进行遥控控制的情况，该方法可以由交互控制系统中的主控终端执行。一般的，该主控终端可以是手机、平板电脑及智能可穿戴设备等智能移动终端。
需要说明的是，本实施例所提供交互控制方法的应用场景可以是，对设置有无线网络连接模块的两个终端设备而言，可以根据无线传屏技术将其中一个终端屏幕上的当前界面实时的投屏到另一终端上，从而可以在另一终端上进行画面观摩。当两终端处于面同步显示时，采用本实施例提供的交互控制方法可以将进行画面观摩的终端看做主控终端，从而通过在该主控终端上的控制操作来实现对另一个终端的遥控控制。
如图1所示，本发明实施例一提供的一种交互控制方法，包括如下操作：
S101、在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道。
具体地，可认为本实施例提供的方法步骤具体由主控终端执行，首先，本步骤可以在通过无线传屏接收另一终端的当前界面并实时同步显示后，再次选取合适的通信方式建立进行交互控制数据传输的数据传输通道。
其中，本实施例中选取的通信方式具体依据主控终端及另一终端具备的通信连接软件或所具有的硬件结构来确定。示例性的，可以直接采用通信编程接口套接字Socket的方式建立通信连接形成数据传输通道，也可以在终端中安装有蓝牙芯片时，通过蓝牙驱动建立蓝牙通信连接形成数据传输通道；还可以红外线通信技术或者近距离无线通信技术等方式建立通信连接形成数据传输通道。
S102、分析当前作用在屏幕上的控制操作，生成设定格式的对应于控制操作的操控事件。
需要说明的是，作用在屏幕上的控制操作具体有用户触发，本实施例中，另一终端的当前界面显示在主控终端的屏幕上后，用户可以确定当前界面中具体包含的内容，并由此确定当前界面是一个以操作为主的功能图标展示桌面，还是一个以文字或图面展示为主的浏览界面，若当前界面是一个功能图标展示桌面，用户可以直接在该当前界面上进行各种操作，如对图标或功能按钮进行单击、双击以及拖拽等操作；若当前界面是一个以信息展示为主的浏览界面，用户可以触发屏幕上的悬浮按钮，主控终端弹出一个对应于该当前界面的遥控窗口，用户可以在该遥控窗口进行操作，如在遥控窗口中包含功能按钮时对各功能按钮进行单击、双击等操作或者直接在遥控窗口中进行滑动等操作。
上述用户进行的操作均相当于本实施例作用在屏幕上的控制操作，但需要说明的是，该主控终端对用户作用在屏幕上的控制操作是实时监听的，可以获得用户在屏幕上进行的任一个操作动作，如本步骤可以监听到用户作用在屏幕上的一个按下动作，并将该按下动作确定为一个控制操作，又如还可以监听到用户在按下动作后又作用在屏幕上一个抬起动作，由此也可以将该抬起动作再次确定一个新的控制操作。
可以理解的是，本步骤在分析出用户作用在屏幕上的控制操作后，需要将该控制操作形成设定格式的数据信息，并将该控制操作对应的数据信息传递给另一终端，由此本步骤在确定控制操作后，还进一步生成了设定格式的对应于控制操作的操控事件。该操控事件具体可理解为一个能够表示控制操作的数据信息，该操控事件具体可用于指示另一终端生成相应的控制指令。本实施例中，对于一个控制操作而言，其需要表示的数据信息可以有该控制操作实际作用的屏幕位置，以及该控制操作实际具有的控制含义等。
进一步的，分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件，包括：监听作用在所述屏幕上的控制操作，确定所述控制操作对应的屏幕点位置，并分析所述控制操作所属的操作类型；根据所述屏幕点位置及所述操作类型，生成以设定格式表示的操控事件。
具体地，本步骤实际相当于实时对作用在屏幕上的操控动作(控制操作)进行监听，然后确定控制操作在屏幕上实际作用的屏幕点位置，并且通过对用户所进行具体操控动作为分析确定该控制操作所述的操作类型；之后就可以根据上述获得的屏幕点位置以及操作类型等信息形成以设定格式表示的对应于控制操作的操控事件。
进一步地，分析所述控制操作所属的操作类型，包括：分析产生所述控制操作的触发形式，并在预设的触发类型关系库中查找所述触发形式对应的操作类型，其中，所述操作类型包括以下至少之一：左键按下、左键抬起、右键按下、右键抬起、按下移动。
在本实施例中，在对作用在屏幕上的控制操作进行监听时，可以对形成控制操作时用户实际采用的触发形式进行分析，该触发形式可以指用户在屏幕上进行操作时的操作形式，该触发形式可以有用户单手指按下及后续的单手指抬起，还可以有用户双手指按下及后续的双手指抬起等。
需要说明的是，用户在屏幕上采用的触发形式不同，所产生的控制操作具备的操作类型就不同，而上述触发形式与操作类型之间的对应关系可以预先人为设定，如，人为设定的触发类型关系库，其中包含了用户可能采用的触发形式，并对应给出了其所代表的操作类型。示例性的，触发形式为用户单手指按下时，其对应的操作类型可以为左键按下；触发形式为用户单手指抬起时，其对应的操作类型可以为左键抬起；触发形式为用户双手指按下时，其对应的操作类型可以为右键按下，依次的，用户双手指抬起对应的操作类型就可以时右键抬起。此外，还可以监听到用户单手按下并移动时，确定其所属的操作类型为按下移动。
其中，根据所述屏幕点位置及所述操作类型，生成以设定格式表示的操控事件，包括：确定所述屏幕点位置在设定统一坐标系中对应的横坐标值和纵坐标值；基于所述横坐标值、纵坐标值及所述操作类型形成三元组，并以所述三元组格式表示所述控制操作的操控事件。
具体地，本步骤确定出的屏幕点位置实际为用户作用在屏幕上的基于终端自身屏幕坐标系表示的坐标位置。由于主控终端及与之进行界面同步的另一终端的屏幕尺寸存在不一致的情况，此时，主控终端所具备屏幕坐标系的坐标空间大小实际与另一终端所具备屏幕坐标系的坐标空间大小也可能不同，例如主控终端的坐标空间大小为800x480，而另一终端的坐标空间大小为1920x1080，本实施例为了避免因两终端坐标空间差异对交互控制到来的影响，设置了一个设定统一坐标系，即，设置了一个统一空间大小的坐标系，由此将屏幕点位置转换在该设定统一坐标系中，获得屏幕点位置在该设定统一坐标系中的横坐标值及纵坐标值，且本步骤基于确定的横坐标值、纵坐标值及所属的操作类型一起形成三元组，该三元组就可作为当前所产生控制操作对应的操控事件。
需要说明的是，对于作为操控事件的三元组，当操作类型为左键按下、左键抬起、右键按下、右键抬起中的任一类型时，其所形成三元组中的横坐标值和纵坐标值均为屏幕点位置在设定统一坐标系中的绝对坐标值，但是，对于操作类型为按下移动时，其所形成三元组中的横坐标值及纵坐标值可以是屏幕点位置在设定统一坐标系中的绝对坐标值，也可以是相对之前操作类型为左键按下所对应三元组中横纵坐标值的偏移值。
具体地，三元组中横纵坐标具体为绝对坐标值或偏移值的主要依据用户当前进行操作的操作界面。如果进行操作的操作界面是一个功能图标展示桌面，用户往往进行的是对桌面中某个功能图标或按钮的拖动操作，此时，随着按下移动的进行，功能图标或按钮的位置也相应发生变化，由此可以在确定用户当前操作的操作界面为功能图标展示桌面时，将操作类型为按下移动的三元组中的横纵坐标确定为绝对坐标值，该绝对坐标值相当于被拖动图标或按钮在坐标系中实际对应的坐标值，其中，对于按下移动的情况，往往基于设定采集周期来周期性的获取拖动对象的当前坐标位置，如按下移动过程中形成的一组三元组表示为：(350，1240，按下移动)，…，(370，1340，按下移动)以及(378，1356，移动)；
此外，如果进行操作的操作界面是一个遥控窗口，用户往往进行的是对浏览界面的上下或者左右方向的滚动操作，此时，随着按下移动的进行，同步显示的当前界面中并没有组件的位置发生具体变化，仅是用户手指在屏幕上的位置发生了变化，由此可以在确定用户当前操作的操作界面为遥控窗口时，将操作类型为按下移动的三元组中的横纵坐标看作相对于用户手指起初按下位置的偏移值，可以理解的是，该种情况下按下移动也是基于设定采集周期来周期性的获取滚动过程中的偏移值，如当前按下移动过程中形成的一组三元组表示为：(10，0，按下移动)，(20,0，按下移动)…以及(80，0，按下移动)，各三元组理解为相对于手指起初按下时所对应坐标值发生横向(向左)偏移，其偏移值逐渐为10，20，...，以及80，且纵向(上下方向)一直没有发生偏移。
S103、基于数据传输通道发送包含操控事件的数据包。
具体地，本实施例根据建立数据传输通道时所采用通信方式的不同，可以确定进行数据传输时所遵循的通信协议也不同，由此可以在进行数据包传输前根据遵循的通信协议确定数据传输的数据报文格式，从而将操控事件作为该数据报文格式下的用户数据，并与该数据报文格式对应的控制数据一同封装形成数据包，最终通过数据传输通道发送数据包。
本发明实施例一提供的一种交互控制方法，能够在基于无线传屏接收另一中终端的当前界面并同步显示后，首先采用选定的通信方式建立用于交互控制的数据传输通道；然后通过分析当前作用在屏幕上的控制操作，生成设定格式的对应于控制操作的操控事件，最终能够将该操控事件以数据包形式通过数据传输通道发送给被控终端。通过上述技术方案，主控终端实现了遥控控制所需操控事件的生成及发送，进而为对被控终端的遥控控制所需操作指令的生成提供了信息基础。
实施例二
图2为本发明实施例二提供的一种交互控制方法的流程示意图。该方法适用于基于无线传屏技术将当前界面共享给另一终端后，接收另一终端对自身遥控控制的情况。该方法可以由交互控制系统中的被控终端执行。一般的，该被控终端可以是智能白板、智能会议机以及智能电视等集成了安卓操作系统的大型固定式的智能设备。
需要说明的是，本实施例所提供交互控制方法的应用场景可以是，当前终端基于无线传屏技术对当前界面进行录制并同步显示给另一终端后，另一终端在同步显示的当前界面上进行控制操作，并将控制操作所对应的操控事件通过另行建立的数据传输通道发送到当前终端，本实施例提供的交互控制方法可将进行当前界面共享的当前终端看做被控终端，从而基于对所接收数据包的解析和转换响应另一终端对自身(被控终端)的遥控控制。
如图2所示，本发明实施例二提供的一种交互控制方法，具体包括如下操作：
S201、接收并解析基于建立的数据传输通道传输的数据包，获得数据包中的操控事件。
具体地，可认为本实施例提供的方法步骤具体由被控终端执行，同时可认为在执行本步骤之前，被控终端与建立了无线传屏的另一终端再次建立了用户交互控制的数据传输通道。本步骤可以基于所建立的数据传输通道接收数据包，并对数据包进行解封，由此获得数据包作为用户数据的操控事件。
S202、根据操控事件生成设定表述格式的控制事件，并将控制事件反馈给预先设定的虚拟输入模块。
本步骤在获得操控事件后，并不能直接响应该操控事件中包含的控制操作信息，原因在于：操控事件中包含的控制操作信息并不是一个完整的操作指令，而是形成操作指令所需一系列事件中的一条事件；此外，解析出的操控事件并不能直接能够被该被控终端中生成操作指令所依赖的模块识别，由此，本步骤需要将操控事件进一步转换成生成操作指令所依赖模块可识别的控制事件，其中，该被控终端中生成操作指令所依赖的模块可具体称为虚拟输入模块，且该虚拟输入模块可预先设定。
一般的，作为被控终端的智能设备中通常设置有进行虚拟输入的芯片/组件，被控终端上安装了该芯片/组件的驱动后就具备了虚拟输入功能，本实施例将具备虚拟输入功能的芯片/组件称为虚拟输入模块，其中，该芯片/组件对应的驱动可以是应用于安卓操作系统下的Uinput(模拟/虚拟输入)设备驱动。
进一步的，根据所述操控事件生成设定表述格式的控制事件，包括：将所述操控事件中包含的横坐标值和纵坐标值分别转换成当前屏幕坐标系对应的当前横坐标值和当前纵坐标值，形成当前操作坐标；在预设的操作标识库中查找所述操控事件中所包含操作类型对应的操作标识码；基于所述当前操作坐标及所述操作标识码形成二元关系组的控制事件。
基于上述实施例一的描述，可以知道，所述操控事件具体以三元组形式表示，三元组中具体包含了横坐标值、纵坐标值以及操作类型，其中，横纵坐标均为设定统一坐标系中的坐标值，同时可以知道的是，操作类型为按下移动时，三元组中可能以横纵坐标的偏移值表示。在上述已知条件下，可以将操控事件中的横纵坐标值再次转换成被控终端所具有当前屏幕坐标系下的当前横纵坐标值，由此形成该被控终端屏幕对应的当前操作坐标，同理，也可对操控事件中的横纵坐标偏移值以相同形式进行转换，形成该被控终端换屏幕对应的当前操作偏移坐标。
此外，操控事件中的操作类型也同样需要转换表述形式，本实施例具体通过预先设定的操作标识库确定各操作类型对应的操作标识码，该操作标识码具体可理解为虚拟输入模块可识别的标识码，其中该操作标识库可预先人为设定，其中包括了操作类型与操作标识码之间的对应关系，示例性地，操作类型为左键按下时对应的操作标识码可以是鼠标左键按下的标识；操作类型为右键按下时对应的操作标识码可以是鼠标右键按下的标识等等。本实施例可以根据确定的当前操作坐标及操作标识码形成二元组形式的控制事件，其中，该控制事件可以被虚拟输入模块识别，并可以基于识别结果确定该控制事件可以生成哪些操作指令。
进一步地，所述虚拟输入模块用于对接收的控制事件进行分析，并在分析结果满足组合要求时基于选定的一组控制事件形成操作指令。
在本实施例中，被控终端最终响应的操作指令由虚拟输入模块生成，具体地，该虚拟输入模块可以接收上述转换后的控制事件，并可对控制事件中实际包含的数据信息进行分析，示例性的，当被控终端转换形成一个控制事件后，就实时将该控制事件反馈给虚拟输入模块，虚拟输入模块根据该控制事件中的当前坐标点可以分析出用户通过主控终端(向被控终端发送操控事件的终端)触发产生的控制操作在该被控终端上实际对应的控制位置，同时，根据该控制事件中的操作标识码，可以分析出用户在主控终端上实际触发进行的控制操作的操作类型，如左键按下、左键抬起、按下移动等。
但是，虚拟输入模块基于一个控制事件并不能形成操作指令，而是需要对接收的每一个控制事件进行分析，但根据分析结果确定一组控制事件可以组合生成一个操控指令时，就基于确定的一组控制事件形成操作指令，如，虚拟输入模块首先分析当前的一个控制事件的操作类型为左键按下，接着又分析出后续的一个控制事件为左键抬起，此时，虚拟输入事件就确定左键按下的控制事件可以与左键抬起的控制事件组合成一个单击指令。
本实施例中，所述操作指令包括以下至少之一：单击指令、双击指令、长按指令、滚动指令、拖动指令。
具体地，虚拟输入模块可以通过对所接收各控制事件的分析，组合形式上述任一各操作指令。其中，虚拟输入模块通常将一个操作类型为按下(左键按下或右键按下)的控制事件看做组成操作指令的起始事件，并将一个操作类型为抬起(左键抬起或右键抬起)的控制事件看做组成操作指令的终止事件，然后该起始事件和终止事件之间还可以存在其他操作类型的控制事件，由此基于起始事件和终止事件及其中间包括的一系列其他操作类型的控制事件，就可根据不同操作指令的组合规则组合形成一个操作指令。
示例性的，左键按下之后紧跟左键抬起时，根据单击指令的组合规则，可以组合形成一个单击指令，但实际操作中，虚拟输入模块在识别出左键按下紧跟左键抬起后，需要先停滞设定时间阈值，如果在该设定时间阈值内再次识别出左键按下紧跟左键抬起的事件，则相当于符合双击指令的组合规则，便将两次左键按下紧跟左键抬起的事件一起组合成双击指令，否则，就根据单击指令组合规则将一次左键按下紧跟左键抬起组合成单击指令，该单击指令在被控终端屏幕上的位置实际为左键按下/左键抬起事件中的当前操作坐标对应的位置；此外，在分析出左键按下后，没有接收到其他控制事件，且在经过一段时间(如500ms)后才接收到左键抬起的控制事件，则可认为符合长按指令的组合规则，由此可将该左键按下和左键抬起组合成一个长按指令。
同样，在分析出左键按下后，后续接收到一系列按下移动且对应的坐标均为绝对坐标，则在接收到一个左键抬起的控制事件时，将该左键按下事件连同左键抬起事件及其之间的一系列按下移动事件一起组合形成拖动指令，且该拖动指令的起始点为左键按下对应的当前操作坐标，终结点为左键抬起对应的当前操作坐标，同时沿一系列按下移动事件中的当前操作坐标形成移动轨迹。
对于滚动指令，则与上述拖动指令的区别主要在于一系列按下移动事件中的当前操作坐标，当分析出该当前操作坐标为坐标偏移值时，虚拟输入设备则根据左键按下事件连同左键抬起事件及其之间的一系列按下移动事件一起组合形成滚动指令，且该滚动指令可以控制被控终端的当前页面发生滚动，其滚动起始点为左键按下对应的当前操作坐标，终结点为左键抬起对应的当前操作坐标，同时滚动的方向及偏移量可以基于形成滚动指令时的一系列按下移动事件的偏移坐标值确定。
需要说明的是，用户在主控终端上还可以形成操作类型为右键按下，右键抬起的操控事件，该操控事件在被控终端上转换为控制事件反馈给虚拟输入设备后，虚拟输入设备往往将上述右键按下和右键抬起组合成一个单击指令，当该单击指令具有特殊的控制功能，即，该单击指令用于使被控终端响应返回操作。
S203、获取虚拟输入模块基于一组控制事件形成的操作指令，并响应操作指令对应的操作。
在本实施例中，本步骤可以直接获取上述通过虚拟输入模块形成的操作指令，并对操作指令进行响应。示例性的，获取到操作指令为单击指令时，则在该单击指令对应的屏幕位置触发一个单击操作(如某个功能图标或按钮被触发)；获取到操作指令为拖动操作时，则触发该拖动指令所对应屏幕位置的功能图标或按钮进行拖拽移动。
在本实施例上述实现步骤的基础上，本实施例在响应所述操作指令对应的操作之后，还优化增加了：对屏幕上显示的当前界面进行录制并基于无线传屏方式发送，以实现所述当前界面的同步显示。
在本实施例中，被控终端基于上述交互控制方法响应了操作指令对应的操作后，其当前界面的内容往往会发生变动，本实施例为保证被控终端仍旧能够与建立无线传屏的主控终端进行当前界面的同步共享，则进一步对响应操作后的当前界面进行录制，然后再次基于之前建立的无线传屏连接，将新的当前界面发送给主控终端换，从而再次实现当前界面的同步显示。由此一直循环往复的进行上述交互控制及后续的界面同步显示，从而更好地实现了终端间的遥控控制及同步显示，提升无线传屏的用户体验。
本发明实施例二提供的一种交互控制方法，能够基于建立的数据传输通道接收数据包并对数据包解析获得其中包含的操控事件；然后能够根据操控事件生成设定表述格式的控制事件，并将控制事件反馈给预先设定的虚拟输入模块；最终可获取虚拟输入模块基于一组控制事件形成的操作指令，并响应该操作指令对应操作。基于该方法，实现了对另一终端操控事件的响应，即相当于在基于无线传屏与另一终端实现画面共享的前提下进一步实现了通过另一终端对自身的遥控控制，该方法进一步提升了无线传屏过程中的用户体验。
实施例三
图3为本发明实施例三提供的一种交互控制方法的流程示意图，该方法适用于终端间基于无线传屏实现画面同步显示后，一个终端作为主控终端对另一个终端进行遥控的情况，其中，该方法可以由交互控制系统执行。
可以理解的是，本实施例提供的交互控制方法具体可看作对上述实施例一以及实施例二所提供交互控制方法的融合，相当于整体描述了建立无线传屏的两终端实现一个终端对另一终端远程遥控侧操作步骤。
如图3所示，本发明实施例三提供的一种交互控制方法的流程示意图，具体包括如下操作：
S301、主控终端在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式与被控终端建立用于交互控制的数据传输通道。
示例性的，主控终端可以在基于无线传屏同步显示被控终端的当前界面后，采用Socket编程接口的通信方式建立用于交互控制的数据传输通道。
S302、主控终端分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于控制操作的操控事件。
示例性的，主控终端可以实时监听用户在当前界面或当前界面所对应遥控窗口中的控制操作，然后分析确定出用户作用的屏幕点位置和控制操作的操作类型，由此生成三元组形式的对应于该控制操作的操控事件。
S303、主控终端基于数据传输通道发送包含操控事件的数据包给被控终端。
示例性的，采用Socket编程接口的通信方式建立数据传输通道时，可根据该Socket编程接口通信遵循的通信协议确定数据报文格式，由此将操控事件作为用户数据，结合该数据报文格式对应的控制数据进行封装形成数据包发送给被控终端。
S304、被控终端接收并解析数据包，获得数据包中的操控事件。
示例性的，被控终端可以对接收的数据包进行解封，由此获取作为用户数据的操控事件。
S305、被控终端根据操控事件生成设定表述格式的控制事件，并将控制事件反馈给预先设定的虚拟输入模块。
示例性的，被控终端将操控事件转换成虚拟输入设备可识别的控制事件，其中，操控事件中的横纵坐标可以转换成控制事件中的当前操作坐标，操控事件中的操作类型可以转换成虚拟输入设备和识别的操作标识码。
本步骤可以将转换后的控制事件反馈给虚拟输入模块，虚拟输入模块可以对所接收的每个控制事件进行分析并在可以形成操作指令时基于指令组合规则将选定的一组控制事件组合形成一个操作指令，其操作指令可以有单击指令、双击指令、滚动指令以及拖动指令等。
S306、被控终端获取虚拟输入模块基于一组控制事件形成的操作指令，并响应操作指令对应的操作。
示例性的，本步骤可以获取虚拟输入模块形成的操作指令，并实时响应该操作指令对应的操作。
可以理解的是，基于上述操作实现主控终端对被控终端的遥控操作后，被控终端的当前界面可能发生变化，此时，被控终端可以再次对发生变化的当前界面进行录制，然后基于无线传屏实时同步给主控终端，由此循环往复直至退出无线传屏。
示例性的，一个移动终端与一个大型智能白板建立无线传屏，智能白板将包含教学演示文档的当前界面同步传屏给移动终端，此后，基于本实施例提供的交互控制方法，可以将移动终端看做一个主控终端，将大型智能白板看做一个被控终端，用户分析该教学演示文档属于浏览性界面，由此可以触发弹出遥控窗口，并在遥控窗口中进行控制操作，该控制操作对应的操控事件可以发送给被控终端，被控终端可以将操控事件转换成其上所具备虚拟输入模块可识别的控制事件，并可通过虚拟输入模块将一组控制事件组合形成对应于控制操作的操作指令，被控终端对该操作指令的响应，就相当于对主控终端所进行控制操作的响应。
本发明实施例三提供的一种交互控制方法，主控终端的屏幕上同步显示基于无线传屏接收的当前界面后，首先采用选定的通信方式与被控终端建立数据传输通道；然后分析当前作用在屏幕上的控制操作，生成设定格式的对应于该控制操作的操控事件；最后基于数据传输通道发送包含该操控事件的数据包给被控终端。进而，被控终端接收并解析数据包，获得数据包中的操控事件，之后根据操控事件生成设定表述格式的控制事件，并将控制事件反馈给预先设定的虚拟输入模块；最终被控终端获取虚拟输入模块形成的操作指令，并响应该操作指令对应的操作。利用该方法，在终端间建立无线传屏后，只能进行画面观摩的终端就能作为主控终端控制另外一个画面共享的被控终端，从而实现了终端对终端的远程遥控，进而提升了终端间无线传屏的用户体验。
实施例四
图4a为本发明实施例四提供的一种交互控制系统的结构框图，该系统用于执行交互控制方法，如图4a所示，该系统包括：主控终端41和被控终端42。一般的，主控终端可以是共享同步显示被控终端当前界面的手机及平板电脑等智能移动终端，被控终端可以是将当前界面共享给主控终端的智能白板及智能会议机等大型固定式的智能设备。
其中，主控终端41包括：
传输通道建立模块411，用于在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；
操控事件生成模块412，用于分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；
数据发送模块413，用于基于所述数据传输通道发送包含所述操控事件的数据包；
被控终端42包括：
事件获取模块421，用于接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；
事件转换模块422，用于根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；
指令获取模块423，用于获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
在本实施例中，该系统首先由主控终端41通过其上的传输通道建立模块411在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；并通过其上的操控事件生成模块412分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；以及通过其上的数据发送模块413基于所述数据传输通道发送包含所述操控事件的数据包。然后基于该系统中的被控终端42通过事件获取模块421接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；并通过其上的事件转换模块422根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；最终通过其上的指令获取模块43获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
本发明实施例四提供的一种交互控制系统，能够在系统中的终端间建立无线传屏后，将之前只能进行画面观摩的终端作为主控终端遥控控制另外一个画面共享的被控终端，从而实现了终端对终端的远程遥控，进而提升了终端间无线传屏的用户体验。
进一步的，操控事件生成模块421，包括：
信息获取单元，用于监听作用在所述屏幕上的控制操作，确定所述控制操作对应的屏幕点位置，并分析所述控制操作所属的操作类型；
事件生成单元，用于根据所述屏幕点位置及所述操作类型，生成以设定格式表示的操控事件。
在上述优化的基础上，所述信息获取单元，具体用于：
监听作用在所述屏幕上的控制操作，确定所述控制操作对应的屏幕点位置；分析产生所述控制操作的触发形式，并在预设的触发类型关系库中查找所述触发形式对应的操作类型，其中，所述操作类型包括以下至少之一：左键按下、左键抬起、右键按下、右键抬起、按下移动。
其中，所述事件生成单元，具体用于：
确定所述屏幕点位置在设定统一坐标系中对应的横坐标值和纵坐标值；基于所述横坐标值、纵坐标值及所述操作类型形成三元组，并以所述三元组格式表示所述控制操作的操控事件。
进一步的，事件转换模块422，具体用于：
将所述操控事件中包含的横坐标值和纵坐标值分别转换成当前屏幕坐标系对应的当前横坐标值和当前纵坐标值，形成当前操作坐标；在预设的操作标识库中查找所述操控事件中所包含操作类型对应的操作标识码；基于所述当前操作坐标及所述操作标识码形成二元关系组的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块。
进一步的，被控终端42，还包括：虚拟输入模块；
所述虚拟输入模块用于对接收的控制事件进行分析，并在分析结果满足组合要求时基于选定的一组控制事件形成操作指令。
进一步的，被控终端42，还包括：
界面同步模块，用于在响应所述操作指令对应的操作之后，对屏幕上显示的当前界面进行录制并基于无线传屏方式发送给所述主控终端，以实现所述当前界面的同步显示。
在上述实施例的基础上，所述操作指令包括以下至少之一：单击指令、双击指令、长按指令、滚动指令、拖动指令。
此外，本实施例四还提供了另一种交互控制系统，图4b为本发明实施例四提供的另一种交互控制系统的结构框图。如图4b所示，该交互控制系统具体包括了：被控终端401和主控终端402，其中，被控终端401，用于在屏幕上实时显示根据所述主控终端上检测到的操控事件对应形成的当前界面；主控终端402，用于同步显示所述被控终端基于无线传屏反馈的当前界面，并检测作用在自身屏幕上的操控事件。
可以理解的是，该交互系统中的被控终端可以具体为安装有安卓系统的智能大板(如智能白板或智能会议机等)，主控终端可以具体为移动终端(如手机及电脑等)。此外，可认为该交互控制系统中包括的被控终端和主控终端之间同样以网络通信形式连接，该网络通信连接方式可以是基于无线热点的无线传屏连接，且在无线传屏连接的同时，还可以建立Socket方式的通信连接，又或者，基于蓝牙、红外线以及近距离无线通信技术方式的连接。
本实施例四上述提供的另外一种交互控制系统，同样能够在终端间建立无线传屏后，实现了终端对终端的远程遥控，使得用户能够通过一个终端来控制另一终端显示内容的变化，由此提升了终端间无线传屏的用户体验。
实施例五
图5为本发明实施例五提供的一种作为交互控制系统中主控终端的硬件结构示意图。如图5所示，该主控终端具体包括了：处理器51和存储装置52。该主控终端中的处理器可以是一个或多个，图5中以一个处理器51为例，所述主控终端中的处理器51和存储装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
该主控终端中的存储装置52作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一所提供交互控制方法对应的程序指令/模块(例如，附图4所示的主控终端中的模块，包括：传输通道建立模块411、操控事件生成模块412以及数据发送模块413)。处理器51通过运行存储在存储装置52中的软件程序、指令以及模块，从而执行主控终端的各种功能应用以及数据处理，即实现上述方法实施例一中的交互控制方法。
存储装置52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且，当上述主控终端所包括一个或者多个程序被所述一个或者多个处理器51执行时，程序进行如下操作：
在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；基于所述数据传输通道发送包含所述操控事件的数据包。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例一提供的交互控制方法，该方法包括：在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；基于所述数据传输通道发送包含所述操控事件的数据包。
实施例六
图6为本发明实施例六提供的一种作为交互控制系统中被控终端的硬件结构示意图。如图6所示，本发明实施例六提供的被控终端，包括：处理器61和存储装置62。该被控终端中的处理器可以是一个或多个，图6中以一个处理器61为例，所述被控终端中的处理器61和存储装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
该被控终端中的存储装置62作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例二所提供交互控制方法对应的程序指令/模块(例如，附图4所示的被控终端中的模块，包括：事件获取模块421、事件转换模块422以及指令获取模块423，还包括：虚拟输入模块以及界面同步模块)。处理器61通过运行存储在存储装置62中的软件程序、指令以及模块，从而执行被控终端的各种功能应用以及数据处理，即实现上述方法实施例二中的交互控制方法。
存储装置62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且，当上述被控终端所包括一个或者多个程序被所述一个或者多个处理器61执行时，程序进行如下操作：
接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例二提供的交互控制方法，该方法包括：接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种交互控制方法，其特征在于，包括：
在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；
分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；
基于所述数据传输通道发送包含所述操控事件的数据包。
2.根据权利要求1所述的方法，其特征在于，所述分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件，包括：
监听作用在所述屏幕上的控制操作，确定所述控制操作对应的屏幕点位置，并分析所述控制操作所属的操作类型；
根据所述屏幕点位置及所述操作类型，生成以设定格式表示的操控事件。
3.根据权利要求2所述的方法，其特征在于，所述分析所述控制操作所属的操作类型，包括：
分析产生所述控制操作的触发形式，并在预设的触发类型关系库中查找所述触发形式对应的操作类型，其中，所述操作类型包括以下至少之一：左键按下、左键抬起、右键按下、右键抬起、按下移动。
4.根据权利要求2所述的方法，其特征在于，所述根据所述屏幕点位置及所述操作类型，生成以设定格式表示的操控事件，包括：
确定所述屏幕点位置在设定统一坐标系中对应的横坐标值和纵坐标值；
基于所述横坐标值、纵坐标值及所述操作类型形成三元组，并以所述三元组格式表示所述控制操作的操控事件。
5.一种交互控制方法，其特征在于，包括：
接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；
根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；
获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
6.根据权利要求5所述的方法，其特征在于，所述根据所述操控事件生成设定表述格式的控制事件，包括：
将所述操控事件中包含的横坐标值和纵坐标值分别转换成当前屏幕坐标系对应的当前横坐标值和当前纵坐标值，形成当前操作坐标；
在预设的操作标识库中查找所述操控事件中所包含操作类型对应的操作标识码；
基于所述当前操作坐标及所述操作标识码形成二元关系组的控制事件。
7.根据权利要求5所述的方法，其特征在于，所述虚拟输入模块用于对接收的控制事件进行分析，并在分析结果满足组合要求时基于选定的一组控制事件形成操作指令。
8.根据权利要求5所述的方法，其特征在于，其特征在于，所述在响应所述操作指令对应的操作之后，还包括：
对屏幕上显示的当前界面进行录制并基于无线传屏方式发送，以实现所述当前界面的同步显示。
9.根据权利要求5-8任一项所述的方法，其特征在于，所述操作指令包括以下至少之一：单击指令、双击指令、长按指令、滚动指令、拖动指令。
10.一种交互控制系统，其特征在于，包括：主控终端和被控终端，
其中，所述主控终端包括：
传输通道建立模块，用于在屏幕上同步显示基于无线传屏接收的当前界面后，采用选定的通信方式建立用于交互控制的数据传输通道；
操控事件生成模块，用于分析当前作用在所述屏幕上的控制操作，生成设定格式的对应于所述控制操作的操控事件；
数据发送模块，用于基于所述数据传输通道发送包含所述操控事件的数据包；
所述被控终端包括：
事件获取模块，用于接收并解析基于建立的数据传输通道传输的数据包，获得所述数据包中的操控事件；
事件转换模块，用于根据所述操控事件生成设定表述格式的控制事件，并将所述控制事件反馈给预先设定的虚拟输入模块；
指令获取模块，用于获取所述虚拟输入模块基于一组控制事件形成的操作指令，并响应所述操作指令对应的操作。
11.一种交互控制系统，其特征在于，包括：被控终端和主控终端；
所述被控终端，用于在屏幕上实时显示根据所述主控终端上检测到的操控事件对应形成的当前界面；
所述主控终端，用于同步显示所述被控终端基于无线传屏反馈的当前界面，并检测作用在自身屏幕上的操控事件。
12.一种终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一所述的交互控制方法。
13.一种终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5-9任一所述的交互控制方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的交互控制方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5-9任一所述的交互控制方法。
CN201711403620.XA 2017-12-22 2017-12-22 交互控制方法、系统、终端及存储介质 Pending CN108055704A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711403620.XA CN108055704A (zh) 2017-12-22 2017-12-22 交互控制方法、系统、终端及存储介质
PCT/CN2018/117881 WO2019120054A1 (zh) 2017-12-22 2018-11-28 交互控制方法以及系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711403620.XA CN108055704A (zh) 2017-12-22 2017-12-22 交互控制方法、系统、终端及存储介质

Publications (1)

Publication Number Publication Date
CN108055704A true CN108055704A (zh) 2018-05-18

Family

ID=62130851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711403620.XA Pending CN108055704A (zh) 2017-12-22 2017-12-22 交互控制方法、系统、终端及存储介质

Country Status (2)

Country Link
CN (1) CN108055704A (zh)
WO (1) WO2019120054A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032485A (zh) * 2018-07-10 2018-12-18 广州视源电子科技股份有限公司 显示方法、装置、电子设备、智能平板及存储介质
CN109144450A (zh) * 2018-08-27 2019-01-04 惠州Tcl移动通信有限公司 一种远程操作控制方法、移动终端及存储介质
CN109308175A (zh) * 2018-11-02 2019-02-05 盛子望 利用移动设备及显示设备进行同屏显示的电子装置及方法
CN109408168A (zh) * 2018-09-25 2019-03-01 维沃移动通信有限公司 一种远程交互方法和终端设备
CN109753263A (zh) * 2019-01-07 2019-05-14 深圳市先智物联科技有限公司 一种可回控终端操作系统的同屏控制方法
WO2019120054A1 (zh) * 2017-12-22 2019-06-27 广州视源电子科技股份有限公司 交互控制方法以及系统、终端及存储介质
CN111212230A (zh) * 2020-01-15 2020-05-29 源德盛塑胶电子（深圳）有限公司 一种拍摄控制系统及其控制方法和自拍杆
CN111586451A (zh) * 2020-04-27 2020-08-25 安徽康佳电子有限公司 一种电视机与手机双向操作系统
CN111770368A (zh) * 2020-05-15 2020-10-13 广州视源电子科技股份有限公司 大屏幕显示设备的控制方法、装置、存储介质和电子设备
CN111782167A (zh) * 2020-06-30 2020-10-16 北京大米科技有限公司 数据同步交互方法、装置、电子设备和可读存储介质
CN112214264A (zh) * 2020-10-10 2021-01-12 交通运输部规划研究院 Ais交互操作处理方法及装置
CN112445567A (zh) * 2020-12-08 2021-03-05 安徽鸿程光电有限公司 显示数据的控制方法、装置、设备及计算机可读存储介质
CN112714272A (zh) * 2020-12-14 2021-04-27 深圳市鹏创软件有限公司 设备间控制方法、终端和计算机可读存储介质
CN113282262A (zh) * 2021-06-18 2021-08-20 深圳康佳电子科技有限公司 投屏显示画面的控制方法、装置、移动终端及存储介质
CN113556588A (zh) * 2020-04-23 2021-10-26 深圳市万普拉斯科技有限公司 反向控制方法、装置、计算机设备和存储介质
CN113946303A (zh) * 2021-09-24 2022-01-18 深圳市道通科技股份有限公司 一种基于局域网的汽车四轮检测结果的共享方法及系统
CN114003139A (zh) * 2021-10-27 2022-02-01 北京乐驾科技有限公司 车载设备操作方法以及装置、存储介质、电子装置
CN114296608A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 信息交互方法、装置、设备和介质
CN114442866A (zh) * 2020-10-20 2022-05-06 北京小米移动软件有限公司 终端设备的外设功能实现方法、装置、系统、设备及介质
CN114465838A (zh) * 2022-02-16 2022-05-10 海信视像科技股份有限公司 显示设备、智能家居系统及多屏控制方法
CN115004133A (zh) * 2020-02-19 2022-09-02 Oppo广东移动通信有限公司 移动设备、用于视觉增强系统的交互方法以及存储介质
WO2022252600A1 (zh) * 2021-06-01 2022-12-08 刘启成 一种数据处理方法和装置
CN115699683A (zh) * 2021-05-28 2023-02-03 京东方科技集团股份有限公司 一种远程控制系统、方法及存储介质
CN116029746A (zh) * 2023-03-28 2023-04-28 深圳市湘凡科技有限公司 数据处理方法及相关装置
WO2023103586A1 (zh) * 2021-12-09 2023-06-15 郑州大学第一附属医院 基于视频会议共享辅流的远程协作的方法、系统及存储设备
WO2023230765A1 (zh) * 2022-05-30 2023-12-07 京东方科技集团股份有限公司 屏幕信息同步方法及系统
CN118426357A (zh) * 2024-07-02 2024-08-02 珠海格力电器股份有限公司 运行设备控制方法、装置、运行系统和计算机设备
CN114442866B (zh) * 2020-10-20 2024-09-24 北京小米移动软件有限公司 终端设备的外设功能实现方法、装置、系统、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434101B (zh) * 2021-06-22 2023-06-09 青岛海尔科技有限公司 设备的控制方法、装置、存储介质及电子装置
CN113934390A (zh) * 2021-09-22 2022-01-14 青岛海尔科技有限公司 一种投屏的反向控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981613A (zh) * 2012-10-26 2013-03-20 东莞宇龙通信科技有限公司 终端和终端控制方法
CN103150132A (zh) * 2013-02-21 2013-06-12 海信集团有限公司 一种传屏方法及电子设备
CN104811760A (zh) * 2015-04-08 2015-07-29 深圳市鱼丸互动科技有限公司 一种多屏互动方法及系统
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN107071551A (zh) * 2017-04-26 2017-08-18 四川长虹电器股份有限公司 应用于智能电视系统中的多屏互动屏幕响应方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094638A (zh) * 2015-06-17 2015-11-25 深圳市美贝壳科技有限公司 移动终端与智能家居设备的图片屏幕共享方法及移动终端
CN108055704A (zh) * 2017-12-22 2018-05-18 广州视源电子科技股份有限公司 交互控制方法、系统、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981613A (zh) * 2012-10-26 2013-03-20 东莞宇龙通信科技有限公司 终端和终端控制方法
CN103150132A (zh) * 2013-02-21 2013-06-12 海信集团有限公司 一种传屏方法及电子设备
CN104811760A (zh) * 2015-04-08 2015-07-29 深圳市鱼丸互动科技有限公司 一种多屏互动方法及系统
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN107071551A (zh) * 2017-04-26 2017-08-18 四川长虹电器股份有限公司 应用于智能电视系统中的多屏互动屏幕响应方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120054A1 (zh) * 2017-12-22 2019-06-27 广州视源电子科技股份有限公司 交互控制方法以及系统、终端及存储介质
CN109032485A (zh) * 2018-07-10 2018-12-18 广州视源电子科技股份有限公司 显示方法、装置、电子设备、智能平板及存储介质
CN109144450B (zh) * 2018-08-27 2021-06-22 惠州Tcl移动通信有限公司 一种远程操作控制方法、移动终端及存储介质
CN109144450A (zh) * 2018-08-27 2019-01-04 惠州Tcl移动通信有限公司 一种远程操作控制方法、移动终端及存储介质
CN109408168A (zh) * 2018-09-25 2019-03-01 维沃移动通信有限公司 一种远程交互方法和终端设备
CN109308175A (zh) * 2018-11-02 2019-02-05 盛子望 利用移动设备及显示设备进行同屏显示的电子装置及方法
CN109753263A (zh) * 2019-01-07 2019-05-14 深圳市先智物联科技有限公司 一种可回控终端操作系统的同屏控制方法
CN111212230A (zh) * 2020-01-15 2020-05-29 源德盛塑胶电子（深圳）有限公司 一种拍摄控制系统及其控制方法和自拍杆
CN115004133A (zh) * 2020-02-19 2022-09-02 Oppo广东移动通信有限公司 移动设备、用于视觉增强系统的交互方法以及存储介质
CN113556588A (zh) * 2020-04-23 2021-10-26 深圳市万普拉斯科技有限公司 反向控制方法、装置、计算机设备和存储介质
CN113556588B (zh) * 2020-04-23 2023-05-05 深圳市万普拉斯科技有限公司 反向控制方法、装置、计算机设备和存储介质
CN111586451A (zh) * 2020-04-27 2020-08-25 安徽康佳电子有限公司 一种电视机与手机双向操作系统
CN111770368A (zh) * 2020-05-15 2020-10-13 广州视源电子科技股份有限公司 大屏幕显示设备的控制方法、装置、存储介质和电子设备
CN111782167A (zh) * 2020-06-30 2020-10-16 北京大米科技有限公司 数据同步交互方法、装置、电子设备和可读存储介质
CN112214264A (zh) * 2020-10-10 2021-01-12 交通运输部规划研究院 Ais交互操作处理方法及装置
CN114442866A (zh) * 2020-10-20 2022-05-06 北京小米移动软件有限公司 终端设备的外设功能实现方法、装置、系统、设备及介质
CN114442866B (zh) * 2020-10-20 2024-09-24 北京小米移动软件有限公司 终端设备的外设功能实现方法、装置、系统、设备及介质
CN112445567B (zh) * 2020-12-08 2023-12-26 安徽鸿程光电有限公司 显示数据的控制方法、装置、设备及计算机可读存储介质
CN112445567A (zh) * 2020-12-08 2021-03-05 安徽鸿程光电有限公司 显示数据的控制方法、装置、设备及计算机可读存储介质
CN112714272A (zh) * 2020-12-14 2021-04-27 深圳市鹏创软件有限公司 设备间控制方法、终端和计算机可读存储介质
CN115699683A (zh) * 2021-05-28 2023-02-03 京东方科技集团股份有限公司 一种远程控制系统、方法及存储介质
WO2022252600A1 (zh) * 2021-06-01 2022-12-08 刘启成 一种数据处理方法和装置
CN113282262A (zh) * 2021-06-18 2021-08-20 深圳康佳电子科技有限公司 投屏显示画面的控制方法、装置、移动终端及存储介质
CN113282262B (zh) * 2021-06-18 2023-12-22 深圳康佳电子科技有限公司 投屏显示画面的控制方法、装置、移动终端及存储介质
CN113946303A (zh) * 2021-09-24 2022-01-18 深圳市道通科技股份有限公司 一种基于局域网的汽车四轮检测结果的共享方法及系统
CN114003139A (zh) * 2021-10-27 2022-02-01 北京乐驾科技有限公司 车载设备操作方法以及装置、存储介质、电子装置
WO2023103586A1 (zh) * 2021-12-09 2023-06-15 郑州大学第一附属医院 基于视频会议共享辅流的远程协作的方法、系统及存储设备
CN114296608A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 信息交互方法、装置、设备和介质
CN114465838B (zh) * 2022-02-16 2023-10-31 海信视像科技股份有限公司 显示设备、智能家居系统及多屏控制方法
CN114465838A (zh) * 2022-02-16 2022-05-10 海信视像科技股份有限公司 显示设备、智能家居系统及多屏控制方法
WO2023230765A1 (zh) * 2022-05-30 2023-12-07 京东方科技集团股份有限公司 屏幕信息同步方法及系统
CN116029746A (zh) * 2023-03-28 2023-04-28 深圳市湘凡科技有限公司 数据处理方法及相关装置
CN116029746B (zh) * 2023-03-28 2023-07-04 深圳市湘凡科技有限公司 数据处理方法及相关装置
CN118426357A (zh) * 2024-07-02 2024-08-02 珠海格力电器股份有限公司 运行设备控制方法、装置、运行系统和计算机设备

Also Published As

Publication number Publication date
WO2019120054A1 (zh) 2019-06-27

Similar Documents

Publication Publication Date Title
CN108055704A (zh) 交互控制方法、系统、终端及存储介质
CN111601120A (zh) 一种无线传屏显示系统与显示方法
WO2017101440A1 (zh) 远程批注同步的方法与系统
CN105630452A (zh) 一种传屏方法及电子设备
WO2021072926A1 (zh) 文件共享方法、装置、系统、交互智能设备、源端设备及存储介质
CN104426939B (zh) 一种信息处理方法及电子设备
CN104391625A (zh) 一种聊天内容显示方法和装置
JP2001510671A (ja) 通信方法及び端末
CN111580764A (zh) 智能交互平板的屏幕共享方法、装置、设备和存储介质
CN105493621A (zh) 终端、服务器及终端控制方法
CN102915114A (zh) Ppt远程控制方法
CN107071551A (zh) 应用于智能电视系统中的多屏互动屏幕响应方法
EP2894556A1 (en) Terminal device, and method and system for display in one screen
JP2012238218A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN109806590A (zh) 对象控制方法和装置、存储介质及电子装置
TW201531916A (zh) 多視窗快速排列方法與系統及其行動裝置
CN110221759A (zh) 一种元素拖拽方法、装置、存储介质及交互智能平板
CN108228020A (zh) 一种信息处理方法及终端
CN104980475B (zh) 显示内容的同步呈现方法和装置
CN103309872A (zh) 一种动态表情处理方法及装置
CN103049191A (zh) 在拼接墙显示系统上实现鼠标交互操作的方法及装置
CN106933585A (zh) 一种分布式云环境下的自适应多通道界面选择方法
CN108616643A (zh) 通过计算设备控制手机的方法、装置及系统
CN107066253A (zh) 用于映射终端的方法、装置及电子设备
JP6136206B2 (ja) 会議システム、サーバ、及び、会議情報生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication