CN115437542A - 一种显示设备及投屏反控方法 - Google Patents

Abstract

本申请一些实施例提供一种显示设备及投屏反控方法，所述方法能够在投屏过程中响应于用户输入的触控交互操作，检测触控交互操作中的触控参数。其中，触控参数包括触控开始时间和触控轨迹趋势。所述方法在多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于投屏区域内的触控轨迹趋势相同时，可以将多个触控轨迹中的一个封装为反控指令并发送给终端设备，进而解决了显示设备边界区域操控不响应的问题，提高用户体验。

Description

一种显示设备及投屏反控方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及投屏反控方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、通信终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

显示设备还可以通过无线局域网等通信方式与通信终端建立投屏连接关系，即显示设备可以接收通信终端共享的投屏数据，并实时显示接收到的投屏数据，即显示通信终端的当前画面或者在通信终端上播放的媒资画面。当显示设备可以进行触控操控时，则可以在显示设备上操控投屏的通信终端。但是，由于通信终端与显示设备的屏幕尺寸不同，通常投屏画面区域会小于显示设备的画面显示区域，从而导致在投屏操控过程中出现显示设备边界区域操控不响应的情况，降低用户体验。

发明内容

本申请提供了一种显示设备及投屏反控方法，以解决投屏操控过程中出现显示设备边界区域操控不响应的情况的问题。

第一方面，本申请提供了一种显示设备，包括：显示器、通信器、触控组件以及控制器。其中，所述显示器被配置为显示投屏界面，所述投屏界面中包括投屏区域；所述通信器被配置为与终端设备建立投屏连接；所述触控组件被配置为检测用户触控交互操作；所述控制器被配置为执行以下程序步骤：

响应于用户输入的触控交互操作，检测所述触控交互操作中的触控参数，所述触控参数包括触控开始时间和触控轨迹趋势；

如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将所述反控指令发送给所述终端设备；

如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令，以及将多个所述反控指令发送给所述终端设备。

第二方面，本申请还提供一种投屏反控方法，包括：

响应于用户输入的触控交互操作，检测所述触控交互操作中的触控参数，所述触控参数包括触控开始时间和触控轨迹趋势；

如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将所述反控指令发送给终端设备；

如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令，以及将多个所述反控指令发送给终端设备。

由以上技术方案可知，本申请提供的显示设备及投屏反控方法可以在投屏过程中响应于用户输入的触控交互操作，检测触控交互操作中的触控参数。其中，触控参数包括触控开始时间和触控轨迹趋势。所述方法在多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于投屏区域内的触控轨迹趋势相同时，可以将多个触控轨迹中的一个封装为反控指令并发送给终端设备，进而解决了显示设备边界区域操控不响应的问题，提高用户体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例提供的显示设备与控制装置之间操作场景的示意图；

图2为本申请一些实施例提供的显示设备的硬件配置示意图；

图3为本申请一些实施例提供的控制装置的硬件配置示意图；

图4为本申请一些实施例提供的显示设备的软件配置示意图；

图5为本申请一些实施例提供的投屏效果示意图；

图6为本申请一些实施例提供的投屏操作流程示意图；

图7为本申请一些实施例提供的投屏过程中通过终端设备端控制的效果示意图；

图8为本申请一些实施例提供的投屏过程中通过显示设备端控制的效果示意图；

图9为本申请一些实施例提供的触控轨迹在投屏区域外的效果示意图；

图10为本申请一些实施例提供的投屏反控方法流程示意图；

图11为本申请一些实施例提供的触控轨迹示意图；

图12为本申请一些实施例提供的一种双指操作的触控轨迹示意图；

图13为本申请一些实施例提供的另一种双指操作的触控轨迹示意图；

图14为本申请一些实施例提供的判断有效触控轨迹触控开始时间的流程示意图；

图15为本申请一些实施例提供的另一种双指操作的触控轨迹示意图；

图16为本申请一些实施例提供的另一种双指操作的触控轨迹示意图；

图17为本申请一些实施例提供的另一种双指操作的触控轨迹示意图；

图18为本申请一些实施例提供的另一种双指操作的触控轨迹示意图；

图19为本申请一些实施例提供的单指操作的触控轨迹示意图；

图20为本申请一些实施例提供的投屏反控指令生成流程示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过终端设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用终端设备300(如移动电话、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在终端设备300上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200可以不使用上述的终端设备300或控制装置100接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和终端设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音终端设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

如图2所示，显示设备200可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，控制器250可以包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260可以包括以下组件，即：用于呈现画面的显示屏组件；驱动图像显示的驱动组件；用于接收源自控制器250输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面的组件等。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。

用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，控制器250包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM RandomAccess Memory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

图3示出了根据一些实施例的控制装置100的硬件配置框图。如图3所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。

如图4所示，本申请一些实施例中应用程序框架层包括管理器(Managers)、内容提供者(Content Provider)和视图系统(View System)等。

在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能。

在一些实施例中，窗口管理器用于管理所有的窗口程序。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被访问时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。

在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。

在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。

基于上述显示设备200，如图5所示，显示设备200可以通过与终端设备300建立投屏连接，使显示设备200播放显示终端设备300中的内容。在一些实施例中，如图6所示，为了建立投屏连接关系，可以通过同一网络通信协议将终端设备300与显示设备200建立通讯连接，进而进行投屏相关的协议操作，并通过协议层约定。其中，显示设备200与终端设备300之间的通讯过程中携带相关的协议信息。

显示设备200可以通过不同连接方式实现与终端设备300之间的投屏连接。例如，在显示设备200和终端设备300接入同一个无线局域网时，可以基于WiFi网络建立投屏连接。又例如，在显示设备200和终端设备300上均设有NFC(Near Field Communication，近场通信)组件时，可以通过NFC组件建立投屏连接关系。显然，显示设备200与终端设备300之间还可以采用其他有线或无线连接方式，从而建立投屏连接关系，例如RF射频连接、红外连接、蜂窝网络以及本领域技术人员在上述实施例提供的连接方式基础上所能够联想到的其他连接方式。

显示设备200可以基于上述实施例中提供的任一种投屏连接方式，与终端设备300建立投屏连接。在建立投屏连接后，显示设备200可以通过投屏数据通道接收终端设备300的相关数据，从而在显示设备200中播放相关内容。在不同的投屏数据传输协议下，显示设备200获取的投屏数据形式不同。例如，在DLNA(Digital Living Network Alliance，数字生活网络联盟)协议下，显示设备200可以通过投屏数据通道获取终端设备300中某一资源的链接地址，并通过访问该链接地址获取媒资内容数据，从而播放该媒资数据。同时显示设备200还可以在播放媒资数据时，通过投屏数据通道获取终端设备300发送的控制指令，如快进、暂停、停止投屏等。例如，通过通讯协议建立好连接后，手机等终端设备300与显示设备200会进行设备功能与网络条件的协商，以选择适合的影音传输格式。建立影音串流的联机协议(Session)后，再通过一连串的实时串流协议(Real Time Streaming Protocol，RTSP)控制命令，以控制影音串流的播放及终止。

可见，在显示设备200与终端设备300建立投屏连接后，用户可以通过操作控制终端设备300，进而同步控制显示设备200的播放画面。在一些实施例中，终端设备300支持触控操作，即终端设备300可以根据用户的不同动作的触摸操作，完成不同的控制操作。例如：终端设备300正在播放视频片段A，显示设备200通过显示器260同步显示终端设备300的播放内容。如图7所示，用户的手指在终端设备300上做出右滑的触控动作，进而触发了视频片段A的快进操作。此时，显示设备200根据与终端设备300之间的协议传输数据流，同步显示终端设备300中的快进画面。

在本申请一些实施例中，显示设备200还设置有触控组件，即显示设备200也支持触控操作。触控组件为设置在显示器260屏幕上的一个触控面板，可以实时检测用户在显示器260上的触摸操作。例如，可以根据显示设备200的实际应用场景不同，采用电容式触摸屏、电阻式触摸屏、红外线式触摸屏、表面声波式触摸屏等。用户可以通过触控组件与显示设备200进行触控交互，具体的触摸感应原理可以根据实际的交互动作要求进行确定。例如：触控组件可以包括设置在显示器260上的感应单元以及设置在显示设备200中的信号处理单元。其中，感应单元可以用于感知用户的触摸操作，并将触摸操作转化为电信号；信号处理单元可以针对产生的电信号进行处理，包括特征提取、降噪、放大等。

通常，用户在触摸屏上实施的交互动作可以包括点击、长按、滑动等操作，进而控制显示器260显示相应的界面。为了能够支持更多的交互方式，触摸屏还可以支持多点触控。触摸屏支持触控的点数越多，相应可以实施的交互动作越多。例如，可以实现多指点击、多指长按、多指滑动等。针对不同的交互动作，可以针对产生的触控信号获取触控信号的特点，例如触摸点位置，触摸点数量等。根据触摸点所产生的信号特点判断触控信号的种类，从而生成触控指令。其中，根据触摸点的位置，可以检测出用户的触摸位置即执行交出操作的位置；通过触摸点的数量可以确定用户触摸交互操作中所使用的手指数量；通过判断触摸信号的持续时间，可以确定用户是执行点击操作还是长按操作；通过触摸点的位置变化情况，可以确定用户执行的滑动操作。为了能够支持更多的交互方式，触控组件还可以支持多点触控。触控组件支持触控的点数越多，相应可以实施的交互动作越多。例如，可以实现多指点击、多指长按、多指滑动等。

显然，显示设备200也可以对用户的触控交互操作进行实时检测。因此，在一些实施例中，显示设备200在与终端设备300建立投屏连接后，用户可以通过在显示设备200的触控组件上输入触控交互操作，从而反向控制终端设备300的播放画面。例如：终端设备300正在播放视频片段A，显示设备200通过显示器260同步显示终端设备300的播放内容。如图8所示，用户的手指在显示设备200上做出右滑的触控动作，显示设备200将右滑操作的触控轨迹封装为反控指令传输至终端设备300。终端设备300响应于所述反控指令，触发对视频片段A的快进操作。此时，显示设备200根据与终端设备300之间的协议传输数据流渲染投屏画面，以使显示设备200也同步显示终端设备300中的快进画面。

基于此，在建立投屏连接的过程中，显示设备200会与终端设备300进行协议交互，从而判断显示设备200是否支持反控功能。即在一些实施例中，显示设备200首先获取终端设备300发出的投屏连接请求，然后响应于投屏连接请求，向终端设备300发送功能信息。其中，功能信息包括用于表示当前显示设备200支持反控功能的参数。如图6所示，用户操作终端设备300向显示设备200发出投屏连接请求，显示设备200在接收到投屏连接请求后立即向终端设备300发送功能信息。其中，功能信息中可以包括设备名称，设备id，功能名称，ip地址以及是否支持同屏反控等信息。

例如：功能信息的具体格式可以为：

{"Devicename":"客厅电视,"deviceId":"##","featureId":"##","featureName":"同屏反控","ip":"##","isReControlSupport":true,"port":##,"others":##}

终端设备300获取否支持同屏反控(isReControlSupport)的属性，isReControlSupport的属性为true，则表示当前电视端支持同屏反控功能。如果终端设备300检测到当前显示设备200支持同屏反控功能，则进行相关功能的启动，比如开启终端设备300的无障碍服务、启动对应的投屏服务等，从而进行投屏连接前的准备工作。对应的服务启动成功后，显示设备200与终端设备300开始建立投屏连接。终端设备300向显示设备200端发送投屏数据，显示设备200接收终端设备300发送的投屏数据，进而控制显示器260显示投屏数据。其中，投屏数据是终端设备300根据所述功能信息启动投屏服务后发送的视频数据，即在投屏过程中投屏数据可以传输显示设备200端的用户操控信息。

另外，由于显示器260的尺寸大小与终端设备300的尺寸大小不相同，在控制显示器260显示投屏数据的画面前，还需要在显示器260的投屏界面中划分投屏区域。即在一些实施例中，控制显示器260显示投屏数据时，首先读取投屏数据中的画面尺寸，以及获取显示器260的屏幕尺寸。然后根据屏幕尺寸和画面尺寸，对投屏数据执行缩放，进行解析、渲染，以最终形成投屏画面。例如，若显示器260的长度尺寸为W1(像素)，终端设备300的长度尺寸为W2(像素)，则可以设置缩放比例A＝W1/W2。然后以显示器260的中心点为投屏画面的中心，将终端设备300的显示内容根据缩放比例A调整到对应画面大小并投放到显示器260的投屏界面上。最后在投屏界面中查找投屏画面的边界坐标，并根据边界坐标在投屏界面中划定投屏区域。其中，边界坐标可以为投屏画面的四个顶点坐标，也可以为投屏画面中对角线的两个顶点坐标，又或者为投屏画面四边的中点坐标等。

另外，终端设备300按照其使用方式的不同，可能处于不同的放置状态，如对于智能手机等终端设备300，其在使用中可能处于竖屏状态和横屏状态。其中，竖屏状态是指所显示画面的宽度小于高度的状态，横屏状态是指所显示画面的宽度大于高度的状态。在不同的放置状态下，终端设备300可以呈现不同的画面布局方式。基于此，显示设备200会因为终端设备300所处放置状态的不同，而呈现为不同的画面比例。

基于上述显示设备200，由于终端设备300与显示设备200的显示器260屏幕尺寸不同，导致显示器260的投屏区域通常会小于显示器260的投屏界面区域。如图9所示，用户在显示设备200端进行触控操作时，输入的触控轨迹可能会超出投屏区域的范围。如果触控操作的触控轨迹一部分在投屏区域外，支持反控操作的显示设备通常不会响应其对应的触控操作。并且显示设备200一次只能向终端设备300传输一条触控轨迹对应的反控指令。当用户进行多指操作时，即显示设备200中出现多条触控轨迹时，显示设备200需要多次传输每条轨迹对应的反控指令，从而导致显示设备200的响应速度过慢，降低用户体验。

基于此，为了提升用户的体验感，解决显示设备200不响应触控轨迹在投屏区域外的触控操作的问题。本申请一些实施例提供了一种投屏反控方法。所述方法具体包括如下内容：

S100：获取用户输入的触控交互操作。

其中，触控交互操作可以为用户通过手指在触控组件做出的触控交互操作，也可以为用户通过电容笔等方式在触控组件输入的触控交互操作。用户可以通过在触控组件上输入触控动作，随着触控动作的输入，触控组件可以产生相应的电信号，实现对输入的触控动作进行检测。再将产生的电信号发送给控制器260或内置的微处理器进行判断。控制器260或内置的微处理器可以通过分析电信号的具体值和变化规律，确定输入的具体触控交互操作。其中，通过分析电信号，可以确定触控动作中的参数，包括触摸点位置、触摸点数量、触摸操作持续时间等。通过触摸点位置可以确定用户执行触控指令的位置，以及通过触摸点位置的变化可以确定用户是否输入了滑动指令。通过触摸点数量可以确定用户是以单指或多指输入。通过触摸持续时间则可以确定用户输入的是点击、长按、多次点击等触控动作。

S200：响应于用户输入的触控交互操作，检测触控交互操作中的触控参数。

显示设备200在接收到触控交互操作后，响应于用户输入的触控交互操作，检测触控交互操作中的触控参数，触控参数包括触控开始时间和触控轨迹趋势。通常，触控参数可以包括按下点和抬起点等触摸信息，相应具有，按下时间、按下位置、抬起时间、抬起位置等相关触摸信息，触摸信息可以通过触控组件产生的电信号获得。例如，触摸动作会被触控组件检测到，使触控组件在触摸位置上的电压发生变化，形成电信号。形成的电信号在发送给控制器260后，控制器260可以对电信号中电压的变化情况进行识别，并确定其位置、时间，形成触控参数。因此，触控开始时间即为第一个落下的触摸点形成时间。触控轨迹趋势为轨迹的走向趋势，可以根据计算两个相邻触摸点之间的斜率得出。

即在一些实施例中，在检测触控交互操作中的触控参数的过程中，监听输入触控交互操作时的触摸事件。所述触摸事件包括落下事件、移动事件以及抬起事件中的一种。落下时间为用户在触控组件上进行的第一个触摸事件，即可将其认定为整条触控轨迹的开始时间，则记录触摸事件为落下事件的触摸点的时间，从而获得触控开始时间。例如：如图11所示，图11中触控轨迹为[A(down)-B(move)-C(move)-D(up)]。其中，down表示落下事件，move表示移动事件，up表示抬起事件。则在检测触控交互操作中的触控参数时，将触摸点A的时间记录为触控开始时间。

在一些实施例中，检测触控交互操作中的触控参数的过程中，还需要遍历触控交互操作中触控轨迹的触摸点坐标；然后根据触摸点坐标，计算触控轨迹中相邻触摸点之间的斜率。例如：已知触控轨迹中两个相邻的触摸点坐标分别为(x1,y1),(x2,y2)；则可以计算出两个触摸点的斜率为(y1-y2)/(x1-x2)。由于斜率表示一条直线或曲线的切线关于横坐标轴倾斜程度的量，所以可以通过斜率的数值表示出该条直线或曲线的线条趋势。因此，按照此种方式，计算出触控轨迹中所有相邻触摸点的逐的斜率。然后将触控轨迹中相邻触摸点之间的斜率构成斜率集合，以生成触控轨迹趋势。

显然，如果两个触控轨迹触摸点的斜率集合完全相同，则两条触控轨迹的触控轨迹趋势一定相同。但如果两个触控轨迹触摸点的斜率集合存在部分不同，考虑实际应用场景以及误差允许的范围，两条触控轨迹的触控轨迹趋势不一定不相同。对此，可以设置一个斜率阈值，如果两条触控轨迹斜率差值的绝对值在设定的斜率阈值内，即可以认为两条触控轨迹的触控轨迹趋势相同。如果两条触控轨迹斜率差值的绝对值超出斜率阈值，即认为两条触控轨迹的触控轨迹趋势不相同。

例如：以双指操作为例，如图12所示，用户在显示设备200输入两条触控出轨迹，分别为：触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]与触控轨迹[A1(down)-B1(move)-C1(move)-D1(move)-E1(move)-F1(up)]，斜率阈值为0.05。则计算触摸点A与触摸点B的斜率K1以及触摸点A1与触摸点B1的斜率K1*,计算得出K1-K1*的差值小于0.05；然后计算触摸点B与触摸点C的斜率K2以及触摸点B1与C1的斜率K2*，计算得出K1-K1*的差值小于0.05；按此方式依次计算剩余的触摸点斜率，经过计算得出所有斜率的差值均小于0.05，则触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]与触控轨迹[A1(down)-B1(move)-C1(move)-D1(move)-E1(move)-F1(up)]的触控轨迹趋势相同。

在检测触控交互操作中的触控参数后，如图10所示，显示设备200还需要将触控轨迹封装为反控指令并传输至终端设备300，从而使终端设备300及时响应用户的触控交互操作。由于显示设备200一次只能传输一个反控指令，当出现多个触控轨迹，即用户进行多指操作时，为了加快触控交互操作的响应速度，可以根据多个触控轨迹的具体情况对触控轨迹进行选择。

S300：如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令。

在进行投屏反控时，如果用户在一个短时间内做出多个触控轨迹，并且多个触控轨迹的趋势相同，即可以认定为用户的一次操作。因此，如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于投屏区域内的触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将反控指令发送给终端设备300。其中，时间阈值可以根据用户的习惯进行设置。

例如：以双指操作为例，如图12所示，用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]与触控轨迹[A1(down)-B1(move)-C1(move)-D1(move)-E1(move)-F1(up)]；两条触控轨迹在投屏区域内的触控轨迹趋势相同。其中，触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]的触摸点落下时间为：

{action＝ACTION_DOWN,actionButton＝0,id[0]＝0,x[0]＝575.00397,y[0]＝416.57614,toolType[0]＝TOOL_TYPE_FINGER,buttonState＝0,metaState＝0,flags＝0x0,edgeFlags＝0x0,pointerCount＝1,historySize＝0,eventTime＝20205466,downTime＝20205466,deviceId＝11,source＝0x1002}；

触控轨迹[A1(down)-B1(move)-C1(move)-D1(move)-E1(move)-F1(up)]的触摸点落下时间为：

{action＝ACTION_POINTER_DOWN(1),actionButton＝0,id[0]＝0,x[0]＝586.3705,y[0]＝426.3973,toolType[0]＝TOOL_TYPE_FINGER,id[1]＝1,x[1]＝584.9643,y[1]＝477.48062,toolType[1]＝TOOL_TYPE_FINGER,buttonState＝0,metaState＝0,flags＝0x2,edgeFlags＝0x0,pointerCount＝2,historySize＝0,eventTime＝20205750,downTime＝20205466,deviceId＝11,source＝0x1002}。

然后根据用户多指之间按下的操作时间进行轨迹确认，即ACTION_DOWN对应的开始时间(eventTime)及ACTION_POINTER_DOWN(1)对应的开始时间(eventTime)。按照用户操作习惯设定时间阈值为500，则eventTime差值低于500的可以保留其中任意一条触控轨迹。比如可以将触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]封装为反控指令并发送给终端设备300。

在一些实施例中，如果多条触控轨迹的触控轨迹趋势相同，且触控轨迹趋势杂乱无章，则无需计算多个触控轨迹之间触控开始时间的差值，直接将其中任意一个封装为反控指令并发送给终端设备300即可。由于用户在实际操作过程，杂乱无章的触控轨迹很难在两次操作中被复刻。因此，如果多指之间的触控轨迹趋势杂乱无章且相同，则一定为用户的一次操作，执行一次触控轨迹对应的操作即可。其中，触控轨迹趋势杂乱无章的判断依据可以根据对比触控轨迹相邻触摸点的斜率得出；如果存在连续N个以上相邻斜率的差值大于一定预设数值，证明触控轨迹存在多次抖动，则判断触控轨迹趋势杂乱无章。其中，N的数值可以根据实际情况进行设定。

例如：以双指操作为例，如图17所示，用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A-B-C-D-E-F-G]与触控轨迹[A1-B1-C1-D1-E1-F1-G1]；设置N为3，预设数值为0.3。两条触控轨迹的触控轨迹趋势相同，选择其中任意一条判断其触控轨迹趋势。选择触控轨迹[A1-B1-C1-D1-E1-F1-G1]进行判断，触摸点A1、B1的斜率为K1，B1、C1之间的斜率为K2，C1、D1之间的斜率为K3，D1、E1之间的斜率为K4，E1、F1之间的斜率为K5，F1、G1之间的斜率为K6；K1与K2之间、K2与K3之间、K3与K4之间以及K5与K6之间的斜率差值的绝对值均大于0.3，从而得出触控轨迹的触控轨迹趋势杂乱无章，则可以将最后抬起的触控轨迹[A1-B1-C1-D1-E1-F1-G1]封装为反控指令。

S400：如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令。

显然，如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于投屏区域内的触控轨迹趋势不同，显示设备200则需要将多个触控轨迹分别封装为多个反控指令，并将多个反控指令发送给终端设备300。例如：以双指操作为例，设置时间阈值为500，用户在显示设备200输入两条触控轨迹。两条触控轨迹的触控开始时间分别为eventTime＝20205466、eventTime＝20205978，两条触控轨迹的触控开始时间的差值为512，触控开始时间差值大于时间阈值500，则将两条轨迹分别封装为两个反控指令并依次发送给终端设备300。

此外，由于响应反控指令的是终端设备300，在投屏区域外的触控轨迹不属于终端设备300的执行范围，比如图11中的触摸点D，终端设备300则无法对其进行响应。因此，在一些实施例中，将投屏区域内的触控轨迹设置为有效触控轨迹。即在封装反控指令的过程中，遍历有效触控轨迹的触控开始时间。其中，有效触控轨迹为与投屏区域有交集的触控轨迹。比如图11中的ABC或图12中的CDEF及C1D1E1F1。然后如图14所示，分别计算每两个有效触控轨迹的触控开始时间的差值，如果多个有效触控轨迹的触控开始时间差值均在预设时间阈值内，则证明两条触控轨迹可能为用户的一次操作，封装一条触控轨迹为反控指令即可。

计算有效触控轨迹的触控轨迹趋势，以及对比触控轨迹趋势。当有效触控轨迹的触控轨迹趋势相同时，可以将其中任意一条触控轨迹封装为反控指令，并发送给终端设备300。当多条有效触控轨迹的触控轨迹趋势趋势不同时，可以设置一个更短的选择时间阈值对触控轨迹进行取舍。由于用户在正常操作过程中不会在较短的时间内输入多个操作指令，所以多个触控轨迹的触控开始时间差值小于选择时间阈值时，可以仅保留其中一条触控轨迹，从而尽量减少封装的反控指令数量，加快终端设备300的响应速度。

例如：以双指操作为例，如图13所示，用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A-B-C-D-E-F]与触控轨迹[A1-B1-C1-D1-E1-F1]。根据投屏区域确定有效触控轨迹，即为[B-C-D-E-F]与[E1-F1]。其中，选择时间阈值为100。两条有效触控轨迹的触控开始时间差值小于100，则可以将触控轨迹[A1-B1-C1-D1-E1-F1]舍弃，仅将触控轨迹[A-B-C-D-E-F]封装为反控指令。

同理，如果任意两个有效触控轨迹的触控开始时间差值超过预设时间阈值，则证明两条触控轨迹为用户的两次操作，则将触控开始时间差值超过预设时间阈值的至少两个有效触控轨迹分别封装为反控指令。例如：以双指为例，如图15所示。用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A-B-C-D-E-F]与触控轨迹[A1-B1-C1-D1-E1-F1]。根据投屏区域确定有效触控轨迹，即为[C-D-E-F]与[D1-E1-F1]。其中，两条有效触控轨迹的触控开始时间不在预设时间阈值内，认为两条触控轨迹为用户输入的两次操作，则将两条触控轨迹均保留，即将触控轨迹[A-B-C-D-E-F]与触控轨迹[A1-B1-C1-D1-E1-F1]分别封装为两个反控指令并依次发送给终端设备300。

然而，显示设备200对多个触控轨迹进行取舍并将其封装为反控指令的过程不会过长。因此，在每次检测触控交互操作中的触控参数并封装反控指令的过程中，如果有多个有效触控轨迹的整体触控轨迹趋势相同，则也可以证明多个轨迹为用户的一次操作。为了加快终端设备300的响应速度，还可以对多个趋势相同的触控轨迹进行取舍。

也就是说，在一些实施例中，如果多个有效触控轨迹的触控轨迹趋势相同，则计算有效触控轨迹在所述投屏区域内的长度。然后获取在投屏区域内的长度最大的有效触控轨迹，并根据获取的有效触控轨迹封装反控指令。例如：以双指为例，如图16所示，用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A-B-C-D-E-F]与触控轨迹[A1-B1-C1-D1-E1-F1]，两条触控轨迹的触控轨迹趋势相同。根据投屏区域确定有效触控轨迹，即为[C-D-E-F]与[E1-F1]。计算[C-D-E-F]与[E1-F1]的长度，[C-D-E-F]为4，[E1-F1]的长度为2，则将触控轨迹[A1-B1-C1-D1-E1-F1]舍弃，仅将触控轨迹[A-B-C-D-E-F]封装为反控指令。

又由于在投屏区域外的触控轨迹不属于终端设备300的执行范围，所以在封装触控指令时可以仅保留该触控轨迹在投屏区域内的触摸点，以便终端设备300进行识别响应。因此，在一些实施例中，在对触控轨迹进行取舍后，获取待封装触控轨迹。其中，待封装触控轨迹为长度大于或等于长度阈值的触控轨迹。根据用户习惯设置长度阈值，低于长度阈值的触控轨迹可认定为用户的误触操作，因此可直接不将其封装为反控指令。然后根据投屏区域在待封装触控轨迹中截取目标轨迹，目标轨迹为待封装触控轨迹在投屏区域内的部分。最后，将目标轨迹封装为反控指令。

例如：以双指为例，如图18所示，用户在显示设备200输入两条触控轨迹，分别为：触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(up)]与触控轨迹[A1(down)-B1(move)-C1(move)-D1(move)-E1(move)-F1(up)]。预设的长度阈值为3，两条触控轨迹的长度均6，则截取两条触控轨迹在投屏区域部分的目标轨迹，即目标轨迹为[C-D-E-F]与[D1-E1-F1]。为了使截取后的触控轨迹形成完整的触控事件，将触摸点C转换为down事件、触摸点D1转换为down事件，然后将[C(down)D(move)-E(move)-F(up)]与[D1(down)-E1(move)-F1(up)]封装为反控指令并发送给终端设备300。

另外，由于终端设备300与显示设备200的尺寸大小不同，其对应的触摸点坐标也不相同。为了使终端设备300在接收到反控指令后可以直接进行响应，无需再进行坐标的转换。在一些实施例中，在将目标轨迹封装为反控指令时，还根据投屏区域建立映射坐标系，将目标轨迹的触控点坐标映射为映射坐标系内的触控点坐标。其中，映射坐标系即为根据显示设备200坐标系与终端设备300坐标系得出的映射坐标系。目标轨迹的触控点坐标在经过映射处理后，得出的坐标均为终端设备300坐标系的触控点坐标。

基于以上技术方案，在一些实施例中，当用户操作为单指操作时，监听用户完整的触控操作轨迹，并判断Down、Move、Up事件是否在投屏区域内。如果触控轨迹的Down、Move以及Up事件均在投屏区域内，则将整个触控轨迹保留；如果触控轨迹的Down事件不在投屏区域，但存在Move事件在投屏区域内，则需要将首次在投屏区域内的Move事件转换成Down事件，然后与剩下的事件组成完整的触控事件；同理，如果Up事件不在投屏区域，但存在Move事件在投屏区域内，则需要将最后一个落在投屏区域的Move事件转换成Up事件，组成完整的触控事件。最后将转换完的触控轨迹封装为反控指令，并发送给终端设备300。

例如：如图19所示，为用户的单指操作。用户在显示设备200输入触控轨迹[A(down)-B(move)-C(move)-D(up)]，触摸点D对应的up事件不在投屏区域内，则将最后一个落在投屏区域的触摸点C对应的move事件转换为up事件，形成新的触控轨迹[A(down)-B(move)-C(up)]。将[A(down)-B(move)-C(up)]封装为反控指令并传输至终端设备300。

基于上述实施例中提供的投屏反控方法，在本申请的部分实施例中还提供一种显示设备200。如图10所示，所述显示设备200包括：显示器260、通信器220、触控组件以及控制器250。其中，显示器260被配置为显示投屏界面，通信器220被配置为与终端设备300建立投屏连接，触控组件被配置为检测用户触控交互操作，如图20所示，控制器250被配置为执行以下程序步骤：

S100：获取用户输入的触控交互操作；

S200：响应于用户输入的触控交互操作，检测所述触控交互操作中的触控参数，所述触控参数包括触控开始时间和触控轨迹趋势；

S300：如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将所述反控指令发送给所述终端设备；

S400：如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令，以及将多个所述反控指令发送给所述终端设备。

由以上技术方案可知，本申请一些实施例提供的显示设备200可以在投屏过程中响应于用户输入的触控交互操作，检测触控交互操作中的触控参数。其中，触控参数包括触控开始时间和触控轨迹趋势。所述方法在多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于投屏区域内的触控轨迹趋势相同时，可以将多个触控轨迹中的一个封装为反控指令并发送给终端设备300，进而解决了显示设备200边界区域操控不响应的问题，提高用户体验。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示投屏界面，所述投屏界面中包括投屏区域；

通信器，被配置为与终端设备建立投屏连接；

触控组件，被配置为检测用户触控交互操作；

控制器，被配置为：

响应于用户输入的触控交互操作，检测所述触控交互操作中的触控参数，所述触控参数包括触控开始时间和触控轨迹趋势；

如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将所述反控指令发送给所述终端设备；

如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令，以及将多个所述反控指令发送给所述终端设备。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

获取终端设备发出的投屏连接请求；

响应于所述投屏连接请求，向所述终端设备发送功能信息，所述功能信息包括用于表示当前显示设备支持反控功能的参数；

接收所述终端设备发送的投屏数据，所述投屏数据是所述终端设备根据所述功能信息启动投屏服务后发送的视频数据；

控制所述显示器显示所述投屏数据。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器执行控制所述显示器显示所述投屏数据，还被配置为：

读取所述投屏数据中的画面尺寸，以及获取所述显示器的屏幕尺寸；

根据所述屏幕尺寸和所述画面尺寸，对所述投屏数据执行缩放，以形成投屏界面；

在所述投屏界面中查找投屏画面的边界坐标；

根据所述边界坐标在所述投屏界面中划定投屏区域。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器执行检测所述触控交互操作中的触控参数，还被配置为：

遍历所述触控交互操作中触控轨迹的触摸点坐标；

根据所述触摸点坐标，计算触控轨迹中相邻触摸点之间的斜率；

将所述触控轨迹中相邻触摸点之间的斜率构成斜率集合，以生成所述触控轨迹趋势。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器执行检测所述触控交互操作中的触控参数，还被配置为：

监听输入所述触控交互操作时的触摸事件，所述触摸事件为落下事件、移动事件以及抬起事件中的一种；

记录所述触摸事件为落下事件的触摸点的时间，以获得所述触控开始时间。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

遍历有效触控轨迹的触控开始时间，所述有效触控轨迹为与所述投屏区域有交集的触控轨迹；

分别计算每两个所述有效触控轨迹的触控开始时间的差值；

如果多个有效触控轨迹的触控开始时间差值均在预设时间阈值内，计算所述有效触控轨迹的触控轨迹趋势，以及对比所述触控轨迹趋势；

如果任意两个有效触控轨迹的触控开始时间差值超过预设时间阈值，将触控开始时间差值超过预设时间阈值的至少两个有效触控轨迹分别封装为反控指令。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器执行对比所述触控轨迹趋势，还被配置为：

如果多个有效触控轨迹的触控轨迹趋势相同，则计算所述有效触控轨迹在所述投屏区域内的长度；

获取在所述投屏区域内的长度最大的有效触控轨迹，以及根据获取的有效触控轨迹封装反控指令。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器在封装反控指令时，还被配置为：

获取待封装触控轨迹，所述待封装触控轨迹为长度大于或等于长度阈值的所述触控轨迹；

根据所述投屏区域在所述待封装触控轨迹中截取目标轨迹，所述目标轨迹为所述待封装触控轨迹在所述投屏区域内的部分；

将所述目标轨迹封装为所述反控指令。

9.根据权利要求8所述的显示设备，其特征在于，所述控制器执行将所述目标轨迹封装为所述反控指令，还被配置为：

根据所述投屏区域建立映射坐标系；

将所述目标轨迹的触摸点坐标映射为所述映射坐标系内的触摸点坐标。

10.一种投屏反控方法，其特征在于，包括：

响应于用户输入的触控交互操作，检测所述触控交互操作中的触控参数，所述触控参数包括触控开始时间和触控轨迹趋势；

如果多个触控轨迹的触控开始时间差值在预设时间阈值内，且多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势相同，则将多个触控轨迹中的一个封装为反控指令，以及将所述反控指令发送给终端设备；

如果多个触控轨迹的触控开始时间差值超过预设时间阈值，或者，多个触控轨迹中位于所述投屏区域内的所述触控轨迹趋势不同，则将多个触控轨迹分别封装为多个反控指令，以及将多个所述反控指令发送给终端设备。

Images