CN105278843B - 一种基于远程控制的手势快捷操作方法及系统 - Google Patents

Abstract

本发明公开了一种远程控制的手势快捷操作方法及系统，该系统包括电脑、大屏和远程控制端，其中具体的手势快捷操作方法为：在所述远程控制端上设置一个手势触控虚拟按钮，通过触发该按钮使远程控制端进入快捷操作状态并等待响应手势触控，实现了简单、快捷地手势触控响应；通过在水平方向上执行向上手势触控，将远程控制端的显示画面传屏到所述大屏以及电脑上，实现了大小屏同步传屏；通过在水平方向上执行向下手势触控，将所述电脑上的显示画面和控制信号传递到所述远程控制端，实现了远程控制端在大屏和电脑上的同步显示，同时向所述电脑发送操作指令实现了远程控制。

Description

一种基于远程控制的手势快捷操作方法及系统

技术领域

本发明涉及一种基于远程控制的移动端控制方法及系统，特别是指一种基于远程控制的手势快捷操作方法及系统。

背景技术

传统的课堂教学，老师在教室里言传声教，学生通过笔记、声音记录下课堂的教学内容。然而这样传统的方式常常会导致学生心思涣散，学生分心且不容易把关注点停留在授课老师身上。现在，大多数教师利用现代科技的便利，使用投影仪或者幻灯片来取代传统的黑板，以此提高学生的注意力。

现在较为常见的是通过大屏播放PPT演示画面或者计算机中的图像来进行课堂教学。但是因为一般而言与大屏连接的台式机或者个人计算机都是有线连接，在教师授课时就会受限于台式电脑安装的位置、个人计算机的连接线的长度，妨碍了教学的效果。比如不能够在教室中与学生实时地互动，不能够随时观察学生对课堂教学效果的反映以便对教学安排做出及时调整，对大屏中PPT演示的远程控制仅限于红外激光笔或者翻页笔。所以大多数教师对现代设备的有限使用和教师的移动性缺乏以及大屏和远程控制端切换工作状态时操作的冗余，都直接导致了学生对课堂的关注度和兴趣。

发明内容

有鉴于此，本发明的目的在于提出一种基于远程控制的手势快捷操作方法，能够通过手势操作快捷地进入需要的工作模式，且操作简单方便。

本发明的另一目的在于提出一种基于远程控制的手势快捷操作系统，建立了大屏、电脑和远程控制端的有效连接，并可实现快捷地工作状态切换。

基于上述目的本发明提供的一种基于远程控制的手势快捷操作方法，包括：

在一区域中设置无线AP，将电脑、大屏分别与所述无线AP连接，所述电脑与所述大屏通过视频显示接口连接，将远程控制端接入所述无线AP；

在所述远程控制端上设置一个手势触控虚拟按钮，若所述手势触控虚拟按钮在触发状态，则所述远程控制端进入快捷操作状态并等待响应手势触控，若所述手势触控虚拟按钮在非触发状态，则所述远程控制端执行正常操作；

所述快捷操作状态下，在水平方向上执行向上手势触控，通过所述无线AP将远程控制端的显示画面传屏到所述大屏以及电脑上；在水平方向上执行向下手势触控，通过所述无线AP将所述电脑上的显示画面和控制信号传递到所述远程控制端，并且所述远程控制端向所述电脑发送操作指令进行远程控制。

在一些实施例中，所述响应手势触控的方法为：

根据手势触控得到响应手势触控信号，并在可触发范围内检测到第一触控点；

记录从所述第一触控点开始的滑动轨迹，在滑动过程中当不满足设定的偏移量时，则继续记录滑动轨迹，当满足设定的偏移量时，则默认滑动轨迹为放弃操作；

当所述滑动轨迹结束，检测并记录第二触控点；

根据所述第二触控点和第一触控点的像素差判断出滑动轨迹的像素大小，当像素差在设定的阈值内，则确认触发此次操作，当像素差不在设定的阈值，则认为放弃操作。

在一些实施例中，所述设定的偏移量为不大于15像素的横向偏移量，所述横向偏移量根据所述滑动轨迹在变化过程中实时记录并检测。

在一些实施例中，所述可触发范围在所述远程控制端上的屏幕边缘至15像素范围内，并将检测到的所述可触发范围内的首次触发点设置为第一触发点。

在一些实施例中，所述滑动轨迹的像素大于153像素，并且小于360像素，并将检测到的最后触发点设置为第二触发点。

在一些实施例中，在所述放弃操作后还包括重置手势状态：重新检测触控点和计算滑动轨迹的像素差。

在一些实施例中，将所述远程控制端与云端服务器连接，上传并同步远程控制端上的用户个人数据，和/或下载云端服务器中的共享数据，并通过用户个人账号登陆到云端服务器的云平台。

在一些实施例中，将所述远程控制端的IP地址预先储存后，并按照UDP网络通信协议，在设置无线AP的区域内搜寻指定的远程控制端。

本发明还提出了一种基于远程控制的手势快捷操作系统，在设置有无线AP的区域中，包括：

大屏，用于显示电脑的显示画面和/或远程控制端的显示画面；

电脑，与所述大屏通过视频显示接口连接，用于将显示画面和控制信号传递到远程控制端；

远程控制端，与所述无线AP连接，用于接收电脑的显示画面和控制信号，并发送控制指令到电脑；以及将本身的显示画面传屏到大屏和电脑上；

在所述远程控制端启动手势触控操作，并在水平方向上沿滑动轨迹向上时触发无线传屏，将所述远程控制端本身的显示画面传屏到大屏和电脑上；以及在水平方向上沿滑动轨迹向下时触发远程控制，接收所述电脑的显示画面和控制信号，并向所述电脑发送操作指令。

在一些实施例中，所述远程控制端包括：外部显示触控单元和内部操作显示单元，所述外部显示触控单元，用于在触发手势快捷操作后，根据水平方向沿滑动轨迹的方向判断手势快捷操作的内容；所述内部操作显示单元，用于显示所述远程控制端本身的操作指令以及接受无线信号后显示画面。

在一些实施例中，所述远程控制端设置的一个透明的悬浮手势触控虚拟按钮，用于对所述外部显示触控单元和内部操作显示单元进行操作切换。

从上面所述可以看出，本发明提供的一种远程控制的手势快捷操作方法在所述远程控制端上设置一个手势触控虚拟按钮，通过触发该按钮使远程控制端进入快捷操作状态并等待响应手势触控，实现了简单、快捷地手势触控响应；通过在水平方向上执行向上手势触控，将远程控制端的显示画面传屏到所述大屏以及电脑上，实现了大小屏同步传屏；通过在水平方向上执行向下手势触控，将所述电脑上的显示画面和控制信号传递到所述远程控制端，实现了远程控制端在大屏和电脑上的同步显示，同时向所述电脑发送操作指令实现了远程控制。

本发明提供的基于远程控制的手势快捷操作系统，通过在所述远程控制端启动手势触控操作，使用户能够快捷地切换工作状态；通过在水平方向上沿滑动轨迹向上时触发无线传屏，通过水平方向上沿滑动轨迹向下时触发远程控制；在无线区域中实现了三端的画面互传和远程控制端对电脑的远程控制。

附图说明

图1为本发明一实施例中基于远程控制的手势快捷操作方法的流程示意图；

图2为本发明一实施例中手势快捷操作方法的响应手势触控方法流程示意图；

图3为本发明一实施例示中在远程控制端上触控点与偏移量等位置关系示意图；

图4为本发明一实施例中远程控制端与云端服务器连接流程示意图；

图5为本发明一实施例中远程控制端与电脑间的无线传输示意图；

图6为本发明一实施例中基于远程控制的手势快捷操作系统的传递关系时序示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参考图1，步骤从S101开始，到S109结束，S101一般需要在无线AP可覆盖的区域内设置，可采用本领域中公知的无线路由设置方法。

S101，在一区域中设置无线AP，将电脑、大屏分别与所述无线AP连接，电脑可以是个人笔记本电脑或者是安装在固定位置的台式电脑，以教学场景为例，教师可以将家中的笔记本电脑带到教室中，并接通区域内的无线AP，或者直接使用教学台上的固定位置的台式电脑，并将课件通过USB带到教室，再进行教学。同样也以教学场景为例：大屏并不同于常见的仅有显示投影功能的大屏，这里将大屏设定为具有安卓操作系统的智能大屏，所以大屏可以通过无线网卡与无线AP建立连接。

S102，所述电脑与所述大屏通过视频显示接口连接，将远程控制端接入所述无线AP，本领域中已知，视频显示接口可以是VGA(Video Graphics Array)视频图形阵列的数字传输视频显示接口连接或者是HDMI(High Definition Multimedia Interface)高清晰度多媒体视频显示接口。远程控制端可以根据无线AP的IP地址找寻到对应的无线AP进行连接。

S103，在所述远程控制端上设置一个手势触控虚拟按钮，本领中公知的是可以使用安卓开发出符合用户UI的虚拟按钮，且该按钮一般为悬浮、透明状态，并不影响远程控制端上的原有操作。这里以辅助触控(assistive touch)为例，可以用单点触摸，来实现多点触摸的功能，不用在远程控制端找寻相关功能切换的按钮，直接触发手势触控虚拟按钮就能较好地将手势触控融入远程控制端中，后面将详细说明如何具体实现的。

S104，所述手势触控虚拟按钮是否在触发状态？若不是在触发状态即非触发状态下，用户还是在远程控制端上进行S105执行正常操作，可以正常的实现PPT演示、批注以及上网等功能。若是在触发状态，则进入S106。

S106，进入快捷操作状态并等待响应手势触控，在进入了快捷操作状态后，对远程控制端上的所有自身的操作将会被视为无效，此时只能识别在远程控制端屏幕上的触控像素，通过触控像素来切换功能。

S107，在水平方向上执行向上手势触控，通过所述无线AP将远程控制端的显示画面传屏到所述大屏以及电脑上，水平方向即是手指和远程控制端的屏幕接触的运动轨迹方向，通过一次滑动触发了一次快捷操作，然后通过无线AP中的UDP协议将远程控制端的显示画面传屏到大屏以及电脑上，电脑与大屏通过VGA相连接，大屏可以实时显示电脑上的显示画面。

S108，在水平方向上执行向下手势触控，通过所述无线AP将所述电脑上的显示画面和控制信号传递到所述远程控制端，通过一次滑动触发了一次快捷操作，然后通过无线AP中的UDP协议将电脑上的显示画面和控制信号，再通过厂商提供的传输接口将显示画面和控制信号都传递给远程控制端。

S109，向所述电脑发送操作指令进行远程控制，这是S108的进一步操作，在远程控制端接收到电脑的显示画面和控制信号后，为了实现远程控制在远程控制端会向电脑发送操作指令，操作指令包括但不限于：鼠标指针相对位置信号、键盘输入信号、键盘快捷键控制信号、PPT操作信号、批注位置信号、缩放控制信号或开关机信号到电脑，对电脑进行PPT播放、批注、开关机、键盘录入、快捷键操作等远程控制。

请参考图2，步骤包括响应手势触控的方法，

S201，根据手势触控得到相应手势触控信号，这里不考虑屏幕的灵敏度或者手势触控信号的响应时间。在本领域技术中已知，手势触控可以通过感应器将手指按压的压力转化为手势触控信号，转化为手势触控信号后会保持等待，等待进一步检测到触控点。

S202，在可触发范围内检测到第一触控点，所谓的第一触控点是在触控范围内检测到的首次出现的触控点，检测方式也容易实现可以通过在屏幕的感应器上设定阈值，当在阈值内则直接开始检测，若不在阈值内则不触发任何操作。

S203，记录从所述第一触控点开始的滑动轨迹，记录后可以存放在RAM中，滑动轨迹不因为触控的按压力度和时间而改变。

S204，在滑动过程中是否满足设定的偏移量时，设定的偏移量以远程控制端在横轴方向(即将远程控制端拟定为长方形，长方形的长为横轴)的位置为例，偏移量就是滑动轨迹在横轴上的正向或者负向的变化趋势。

若在滑动过程中是满足设定的偏移量，则进入S205，默认滑动轨迹为放弃操作，满足设定的偏移量是指滑动过程中的偏移量大于所设定的偏移量，故在满足时，则认为是超出了设定。

若在滑动过程中不满足设定的偏移量，则进入S206，继续记录滑动轨迹，不满足设定的偏移量是指滑动过程中的偏移量不大于所设定的偏移量，故在不满足时，则认为是没有超于设定的偏移量，则可以继续记录从第一触控点开始的滑动轨迹。

S207，当所述滑动轨迹结束，检测并记录第二触控点，滑动轨迹结束是指手指(这里主要是单个手指)离开了远程控制端的屏幕，同时在此时检测出手指即将离开的最后触控点即第二触控点。在本领域中已知，可以根据屏幕的灵敏度、触发时间判断出第二触控点。

S208，根据所述第二触控点和第一触控点的像素差判断出滑动轨迹的像素大小，滑动轨迹的像素大小一般不大于1/3的远程控制端的屏幕大小，进入S209，判断像素差是否在设定的阈值内，若否则进入S209，认为放弃操作，若是则进入S211，确定触发此次操作。当滑动轨迹的像素大小在这个范围内时，则认为触发了手势快捷操作。这里从触发虚拟按钮到相应手势的上下滑动轨迹，再到切换大屏、电脑和远程控制端的工作状态，操作时间很短实现的准确率高、出错的概率较小，且响应速度相比于找寻特殊的操作指令执行按键更加快捷，而且节约了在远程控制端上的二次开发成本，用户仅通过手势控制就能够实现远程控制、大小屏传屏等多种互动操作。更进一步而言，整个操作时间一般会控制在1.5s内完成。

请参考图3，其中301是指第二触控点，302是指偏移量，303是指第一触控点，PX是指在远程控制端上的像素。并采用下面的方式响应手势触控：

根据手势触控得到响应手势触控信号，并在可触发范围内检测到第一触控点303；

记录从所述第一触控点303开始的滑动轨迹，在滑动过程中当不满足设定的偏移量302时，则继续记录滑动轨迹，当满足设定的偏移量302时，则默认滑动轨迹为放弃操作；

当所述滑动轨迹结束，检测并记录第二触控点301；

根据所述第二触控点301和第一触控点303的像素差判断出滑动轨迹的像素大小，当像素差大于设定的阈值，则确认触发此次操作，当像素差小于设定的阈值，则认为放弃操作。

其中所述设定的偏移量303为不大于+(-)15像素的横向偏移量，所述横向偏移量根据所述滑动轨迹在变化过程中实时记录并检测。具体而言，所述可触发范围在所述远程控制端上的屏幕边缘至15像素范围内，并将检测到的所述可触发范围内的首次触发点设置为第一触发点303。具体而言，所述滑动轨迹的像素大于153像素，并且小于360像素，并将检测到的最后触发点设置为第二触发点301。

更进一步，在所述放弃操作后还包括重置手势状态：重新检测触控点和计算滑动轨迹的像素差。在重置手势状态后需要对手势触控的触控点进行重新地检测，并且重新计算出滑动轨迹的像素差是否大于设定的阈值(153PX)，当像素差大于设定的阈值，则确认触发此次操作，当像素差小于设定的阈值，则认为放弃操作。更进一步，若大于设定的阈值(153PX)，还需要满足在360PX(1/3的远程控制端显示屏幕大小)内。

请参考图4，是远程控制端与其它服务器连接过程：

S401，将所述远程控制端与云端服务器连接，为了保证远程控制端上的数据以及用户登录信息的安全性和缓存数据的拓展性，需要与云端的服务器建立连接，执行S404，通过用户个人账号登陆到云端服务器的云平台。

以教学场景为例，教师可以在远程控制端上保存数据比如课件，在到教室上课的时候就可以先与云端服务器建立连接，再通过个人用户登录的方式查找到存放在远程控制端上的课件或者到云端服务器直接调用备份的课件。

S402，上传并同步远程控制端上的用户个人数据，用户个人数据会被保存到远端并备份。

或者执行：

S403，下载云端服务器中的共享数据，用户可以将较大的共享数据通过镜像或者其它的方式上传到云端服务器上，这样在需要使用时就能够从云服务器上下载共享数据。

请参考图5，S501，选择指定的远程控制端建立连接后发送操作指令，正在远程控制端接入无线AP时，会提示选择哪一个远程控制端进行无线连接，若有指定的远程控制端则无需要选择直接接入，当然如果没有选择指定的远程控制端就需要根据其本身的IP地址判断是否为该无线AP所指定可接入的远程控制端。

S502，通过UDP网络协议发送到电脑，电脑接收，在建立了无线连接后，则可通过UDP网络协议实现电脑显示画面的传输控制信号的传输，为远程控制端上的远程控制操作提供了传输保证。

S503，调用操作系统中相关指令对电脑进行操作，电脑在接受到从远程控制端发来的操作指令后后直接调用操作系统中的相对应指令，对电脑进行远程控制，并且在大屏上实时显示控制的画面。比如，所述开关机信号通过UDP网络协议将shutdowm指令发送给计算机，所述计算机接收到该shutdowm指令后调用操作系统中的关机指令关闭计算机。

请参考图6，以教学场景为例，其中教师601，电脑602，大屏603，远程控制端604，按照如下步骤执行：

S601，601教师开机启动电脑602。

S602，电脑602通过VGA或者HDMI视频显示接口与连接。

S603，启动手势触控操作，通过UDP网络协议方式在无线AP中搜索出所有远程控制端，可根据远程控制端604的IP地址进行搜索，UDP网络协议作为电脑602、大屏603和远程控制端604三端传递的保证。

启动手势触控操作前需要响应手势触控：

根据手势触控得到响应手势触控信号，并在可触发范围内检测到第一触控点；记录从所述第一触控点开始的滑动轨迹，在滑动过程中当不满足设定的偏移量时，则继续记录滑动轨迹，当满足设定的偏移量时，则默认滑动轨迹为放弃操作；当所述滑动轨迹结束，检测并记录第二触控点；根据所述第二触控点和第一触控点的像素差判断出滑动轨迹的像素大小，当像素差在设定的阈值内，则确认触发此次操作，当像素差不在设定的阈值，则认为放弃操作。

更进一步，所述远程控制端604包括：外部显示触控单元和内部操作显示单元，所述外部显示触控单元，用于在触发手势快捷操作后，根据水平方向沿滑动轨迹的方向判断手势快捷操作的内容；所述内部操作显示单元，用于显示所述远程控制端本身的操作指令以及接受无线信号后显示画面。更进一步，所述远程控制端604设置的一个透明的悬浮手势触控虚拟按钮，用于对所述外部显示触控单元和内部操作显示单元进行操作切换。

S604，在水平方向上沿滑动轨迹向上时触发无线传屏，将所述远程控制端604本身的显示画面传屏到大屏603和电脑602上，实现大小屏传屏。

S605，在水平方向上沿滑动轨迹向下时触发远程控制，接收所述电602脑的显示画面和控制信号，并向所述电脑602发送操作指令，

在水平方向上沿滑动轨迹向上时触发无线传屏或者在水平方向上沿滑动轨迹向下时触发远程控制需要满足如下条件：

所述设定的偏移量为不大于15像素的横向偏移量，所述横向偏移量根据所述滑动轨迹在变化过程中实时记录并检测。

所述可触发范围在所述远程控制端上的屏幕边缘至15像素范围内，并将检测到的所述可触发范围内的首次触发点设置为第一触发点。

所述滑动轨迹的像素大于153像素，并且小于360像素，并将检测到的最后触发点设置为第二触发点。

在所述放弃操作后还包括重置手势状态：重新检测触控点和计算滑动轨迹的像素差。

S606，大屏603显示远程控制端显示画面，对大小传屏的响应；

S607，对电脑602进行远程控制，并同步显示在大屏603上，响应远程控制。

综上，本发明实施例中提供的基于远程控制的手势快捷操作方法，通过设置的手势触控虚拟按钮，实现了手势触控的及时触发；通过在水平方向上执行向上手势触控，实现了大小屏传屏；通过在水平方向上执行向下手势触控，实现了远程控制端对电脑的远程控制。本发明实施例中的手势快捷操作方法，响应速度快、简化了教学、产品演示以及视频会议等方面的操作，且手势快捷操作的准确率高、识别后简化操作的效果明显。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于远程控制的手势快捷操作方法，其特征在于，包括：

在一区域中设置无线AP，将电脑、大屏分别与所述无线AP连接，所述电脑与所述大屏通过视频显示接口连接，将远程控制端接入所述无线AP；

在所述远程控制端上设置一个手势触控虚拟按钮，若所述手势触控虚拟按钮在触发状态，则所述远程控制端进入快捷操作状态并等待响应手势触控，若所述手势触控虚拟按钮在非触发状态，则所述远程控制端执行正常操作；

所述快捷操作状态下，在水平方向上执行向上手势触控，通过所述无线AP将远程控制端的显示画面传屏到所述大屏以及电脑上；在水平方向上执行向下手势触控，通过所述无线AP将所述电脑上的显示画面和控制信号传递到所述远程控制端，并且所述远程控制端向所述电脑发送操作指令进行远程控制；

其中，所述响应手势触控的方法为：

根据手势触控得到响应手势触控信号，并在可触发范围内检测到第一触控点；

记录从所述第一触控点开始的滑动轨迹，在滑动过程中当不满足设定的偏移量时，则继续记录滑动轨迹，当满足设定的偏移量时，则默认滑动轨迹为放弃操作；

当所述滑动轨迹结束，检测并记录第二触控点；

根据所述第二触控点和第一触控点的像素差判断出滑动轨迹的像素大小，当像素差在设定的阈值内，则确认触发此次操作，当像素差不在设定的阈值，则认为放弃操作。

2.根据权利要求1所述的基于远程控制的手势快捷操作方法，其特征在于，所述设定的偏移量为不大于15像素的横向偏移量，所述横向偏移量根据所述滑动轨迹在变化过程中实时记录并检测。

3.根据权利要求1所述的基于远程控制的手势快捷操作方法，其特征在于，所述可触发范围在所述远程控制端上的屏幕边缘至15像素范围内，并将检测到的所述可触发范围内的首次触发点设置为第一触发点。

4.根据权利要求1或3所述的基于远程控制的手势快捷操作方法，其特征在于，所述滑动轨迹的像素大于153像素，并且小于360像素，并将检测到的最后触发点设置为第二触发点。

5.根据权利要求1所述的基于远程控制的手势快捷操作方法，其特征在于，在所述放弃操作后还包括重置手势状态：重新检测触控点和计算滑动轨迹的像素差。

6.根据权利要求1所述的基于远程控制的手势快捷操作方法，其特征在于，将所述远程控制端与云端服务器连接，上传并同步远程控制端上的用户个人数据，和/或下载云端服务器中的共享数据，并通过用户个人账号登陆到云端服务器的云平台。

7.根据权利要求1所述的基于远程控制的手势快捷操作方法，其特征在于，将所述远程控制端的IP地址预先储存后，并按照UDP网络通信协议，在设置无线AP的区域内搜寻指定的远程控制端。

8.一种基于远程控制的手势快捷操作系统，其特征在于，在设置有无线AP的区域中，包括：

大屏，用于显示电脑的显示画面和/或远程控制端的显示画面；

电脑，与所述大屏通过视频显示接口连接，用于将显示画面和控制信号传递到远程控制端；

远程控制端，与所述无线AP连接，用于接收电脑的显示画面和控制信号，并发送控制指令到电脑；以及将本身的显示画面传屏到大屏和电脑上；

在所述远程控制端启动手势触控操作，并在水平方向上沿滑动轨迹向上时触发无线传屏，将所述远程控制端本身的显示画面传屏到大屏和电脑上；以及在水平方向上沿滑动轨迹向下时触发远程控制，接收所述电脑的显示画面和控制信号，并向所述电脑发送操作指令。

9.根据权利要求8所述的基于远程控制的手势快捷操作系统，其特征在于，所述远程控制端包括：外部显示触控单元和内部操作显示单元，所述外部显示触控单元，用于在触发手势快捷操作后，根据水平方向沿滑动轨迹的方向判断手势快捷操作的内容；所述内部操作显示单元，用于显示所述远程控制端本身的操作指令以及接受无线信号后显示画面。

10.根据权利要求9的基于远程控制的手势快捷操作系统，其特征在于，所述远程控制端设置的一个透明的悬浮手势触控虚拟按钮，用于对所述外部显示触控单元和内部操作显示单元进行操作切换。

Images