CN115243082A - 一种显示设备及终端控制方法 - Google Patents

一种显示设备及终端控制方法 Download PDF

Info

Publication number
CN115243082A
CN115243082A CN202210854818.4A CN202210854818A CN115243082A CN 115243082 A CN115243082 A CN 115243082A CN 202210854818 A CN202210854818 A CN 202210854818A CN 115243082 A CN115243082 A CN 115243082A
Authority
CN
China
Prior art keywords
touch
track
terminal
touch track
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210854818.4A
Other languages
English (en)
Inventor
马晓燕
宋子全
刘美玉
庞秀娟
刘德昌
李金昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202210854818.4A priority Critical patent/CN115243082A/zh
Publication of CN115243082A publication Critical patent/CN115243082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请一些实施例示出一种显示设备及终端控制方法，所述方法包括在与第一终端建立投屏连接后，控制显示器在用户界面中显示第一投屏界面，第一终端支持反向控制功能，第一终端包括第二触控屏；响应于用户基于第一触控屏输入的触控指令，获取触控指令的第一触控轨迹；获取第一投屏界面在用户界面的第一显示范围；基于第一显示范围内的触控点确定第二触控轨迹；将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，第三触控轨迹与第二触控屏对应；发送第三触控轨迹至第一终端，以使第一终端执行第三触控轨迹对应的操作。在用户触控区域涉及显示设备的边界区域时，仍可以将用户指令发送至终端，提升用户体验。

Description

一种显示设备及终端控制方法
技术领域
本申请涉及显示设备技术领域，尤其涉及一种显示设备及终端控制方法。
背景技术
智能安卓电视及新型显示终端不断涌现，多个屏幕之间进行屏幕共享成为一种主流，而屏幕共享大多数是通过协议进行投屏实现的，如果投屏显示界面可以进行触控操控，则可以在投屏显示界面进行操控投屏的设备，如手机、pad或其他终端，在操控过程中会出现投屏设备边界区域操控不响应的情况，这样影响用户的操控及体验。
发明内容
本申请一些实施例提供了一种显示设备及终端控制方法，在用户触控区域涉及显示设备的边界区域时，仍可以将用户指令发送至终端，提升用户体验。
第一方面，本申请一些实施例中提供一种显示设备，包括：
显示器，被配置为显示用户界面，所述显示器包括第一触控屏；
通信器，被配置为与第一终端建立投屏连接；
控制器，被配置为：
在与所述第一终端建立投屏连接后，控制显示器在用户界面中显示第一终端的第一投屏界面，所述第一终端支持反向控制功能，所述反向控制功能用于使用户通过向显示设备发送指令控制第一终端，所述第一终端包括第二触控屏；
响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹，所述第一触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围；
基于第一显示范围内的触控点确定第二触控轨迹；
将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应；
发送所述第三触控轨迹至第一终端，以使第一终端执行所述第三触控轨迹对应的操作。
在一些实施例中，所述触控点的信息包括位置信息和触控事件，所述触控事件包括下落事件、移动事件和抬起事件；所述控制器执行所述基于第一显示范围内的触控点确定第二触控轨迹，被进一步配置为：
根据所述第一触控轨迹中触控点的位置信息，移除不在所述第一显示范围内的触控点，得到第一待修正触控轨迹；
如果所述第一待修正触控轨迹中第一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为下落事件；
如果第一待修正触控轨迹中最后一个触控点的触控事件为移动事件，则将所述最后一个触控点的触控事件更改为抬起事件；
根据修改触控事件后的第一待修正触控轨迹生成第二触控轨迹。
在一些实施例中，所述通信器还被配置为与第二终端建立通信连接，所述第二终端包括第三触控屏；所述控制器被配置为：
在与第二终端建立投屏连接后，控制显示器在所述用户界面中显示第二终端的第二投屏界面，所述第一投屏界面与所述第二投屏界面不重叠。
在一些实施例中，所述控制器执行响应于用户基于第一触控屏输入的触控指令，被进一步配置为：
获取所述触控指令的第四触控轨迹，所述第四触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围和所述第二投屏界面在所述用户界面的第二显示范围；
如果所述第四触控轨迹在所述第一显示范围和第二显示范围内均有触控点，基于第一显示范围内的触控点确定第五触控轨迹，基于第二显示范围内的触控点确定第七触控轨迹；
将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，所述第六触控轨迹与所述第二触控屏对应；
发送所述第六触控轨迹至所述第一终端，以使第一终端执行所述第六触控轨迹对应的操作；
将第七触控轨迹中的触控点经位置转换生成第八触控轨迹，所述第八触控轨迹与所述第三触控屏对应；
发送所述第八触控轨迹至所述第二终端，以使第二终端执行所述第八触控轨迹对应的操作。
在一些实施例中，所述控制器执行基于第二显示范围内的触控点确定第七触控轨迹，被进一步配置为：
根据所述第七触控轨迹中触控点的位置信息，移除不在所述第二显示范围内的触控点，得到第二待修正触控轨迹；
如果第二待修正触控轨迹中第一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为下落事件；
如果第二待修正触控轨迹中最后一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为抬起事件；
根据修改触控事件后的第二待修正触控轨迹生成第七触控轨迹。
在一些实施例中，所述控制器被进一步配置为：
如果第五触控轨迹的触控点数量超过预设数量；或者，
第五触控轨迹的触控点包括第四触控轨迹中的下落触控点或抬起触控点，所述下落触控点为触控事件为下落的触控点，所述抬起触控点为触控事件为抬起的触控点；或者，
第五触控轨迹中至少有一个触控点与第一边界的距离超过预设值，则将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，所述第一边界为第一投屏界面中与第二投屏界面相邻的边界。
在一些实施例中，所述控制器被进一步配置为：
如果第七触控轨迹的触控点数量超过预设数量；或者，
第七触控轨迹的触控点包括第四触控轨迹中的下落触控点或抬起触控点；或者，
第七触控轨迹中至少有一个触控点与第二边界的距离超过预设值，第二边界为第二投屏界面中与第一投屏界面相邻的边界。
在一些实施例中，所述控制器，被配置为：
如果第五触控轨迹的触控点数量未超过预设数量；或者，
第五触控轨迹的触控点不包括第四触控轨迹中的下落触控点或抬起触控点，或者，
第五触控轨迹中的触控点与第一边界的距离均未超过预设值，则移除第五触控轨迹。
在一些实施例中，所述控制器，被配置为：
如果第七触控轨迹的触控点数量未超过预设数量；或者，
第七触控轨迹的触控点不包括第四触控轨迹中的下落触控点或抬起触控点，或者，
第七触控轨迹中的触控点与第二边界的距离均未超过预设值，则移除第七触控轨迹。
第二方面，本申请一些实施例中提供一种终端控制方法，包括：
在与所述第一终端建立投屏连接后，控制显示器在用户界面中显示第一终端的第一投屏界面，所述第一终端支持反向控制功能，所述反向控制功能用于使用户通过向显示设备发送指令控制第一终端，所述第一终端包括第二触控屏；
响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹，所述第一触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围；
基于所述第一显示范围内的触控点确定第二触控轨迹；
将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应；
发送所述第三触控轨迹至所述第一终端，以使第一终端执行所述第三触控轨迹对应的操作。
本申请的一些实施例提供一种显示设备及终端控制方法，获取用户在显示设备(被投屏端)触发的触控轨迹，将第一显示范围内的触控点生成新的触控轨迹，再将新的触控轨迹的触控点经位置转换发送至第一终端(投屏端)，以达到反向控制第一终端的目的。本申请实施例可以在触控轨迹不全在第一投屏界面时，仍可以将用户意图发送至第一终端，从而实现对第一终端的控制，提升用户体验。
附图说明
图1示出了根据一些实施例的显示设备与控制装置之间操作场景；
图2示出了根据一些实施例的控制设备100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了根据一些实施例提供的单一投屏下控制器执行步骤的流程图；
图6示出了根据一些实施例提供的一种手机投屏到显示设备的用户界面的示意图；
图7示出了根据一些实施例提供的一种显示设备与第一终端交互的示意图；
图8示出了根据一些实施例提供的一种建立直角坐标系的示意图；
图9示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图10示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图11示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图12示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图13示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图14示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图15示出了根据一些实施例提供的一种第二触控轨迹触控点坐标转换的示意图；
图16示出了根据一些实施例提供的两个投屏下控制器执行步骤的流程图；
图17示出了根据一些实施例提供的一种两个手机投屏到显示设备的用户界面示意图；
图18示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图19示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图20示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图21示出了根据一些实施例提供的一种用户触控效果展示的示意图；
图22示出了根据一些实施例提供的一种用户触控效果展示的示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
显示器260还包括触控屏，触控屏用于接收用户手指在触控屏上滑动或点击等动作输入控制指令。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
屏幕共享大多数是通过协议进行投屏实现的，如果投屏显示界面可以进行触控操控，则可以在投屏显示界面进行操控投屏的设备，如手机、pad或其他终端，在操控过程中会出现投屏设备边界区域操控不响应的情况，这样影响用户的操控及体验。
为了解决以上技术问题，本申请实施例提供一种显示设备200，显示设备200的结构及各部分的功能可以参阅上述实施例。此外，在上述实施例示出的显示设备200的基础上，本实施例对显示设备200的一些功能做进一步的完善，如图5所示，控制器250执行以下步骤：
步骤S501:接收第一终端发送的投屏请求，与第一终端建立投屏连接；
第一终端包括显示设备、手机、平板电脑和电脑等。第一终端与显示设备通过同一网络通信协议连接，进行投屏相关的协议操作，通过协议层约定，通讯过程中携带相关的协议信息。第一终端包括第二触控屏，第一终端支持用户触控操作。
在一些实施例中，用户在需要将第一终端的界面投屏至显示设备时，会在第一终端的操作界面点击投屏，操作界面会显示与第一终端连接在同一网络的可投屏设备。用户在选中想要投屏的显示设备时，第一终端则将发送投屏请求至该显示设备。显示设备的投屏服务在接收到第一终端发送的投屏请求后与第一终端通过协议交互建立投屏连接。
步骤S502:控制显示器在用户界面显示第一投屏界面，所述第一投屏界面为第一终端的用户界面；
在与第一终端建立投屏连接后，通过协议交互，首先进行第一终端的用户界面投屏，即第一终端实时抓取当前用户界面并传输至显示设备，控制器在接收到传输数据后，控制显示器显示抓取的用户界面。显示器包括第一触控屏，显示器支持用户触控操作。
在一些实施例中，第一终端的用户界面宽高比与显示设备的用户界面宽高比相同，在显示时可等比例将第一终端的用户界面完全覆盖在显示器的显示屏幕上。
在一些实施例中，第一终端的用户界面宽高比与显示设备的用户界面宽高比不匹配，则按照预设比例放大第一终端的用户界面宽高，并居中显示，不显示第一终端用户界面的部分设置为背景色，如黑色或白色。还可以确定第一终端用户界面与显示设备用户界面的宽度比和高度比，选取宽度比和高度比中较小的一个放大第一终端用户界面宽度和高度，并居中显示，不显示第一终端用户界面的部分设置为背景色，如黑色或白色。示例性的，将手机的用户界面投屏到显示设备的显示器上的效果，如图6所示。
步骤S503:与所述第一终端确认支持反控功能，以使用户通过向显示设备发送指令以控制第一终端；
在显示器显示第一投屏界面后，第一终端与显示设备进行协议交互，确认显示设备是否支持反控功能，即可在显示设备端输入指令来控制第一终端。显示设备会将可支持反控功能的信息发送至第一终端，第一终端在接收到信息后进行相应的初始化准备操作，以使第一终端可接收用户在显示设备端输入的指令，并执行对应的操作。
在一些实施例中，如图7所示，第一终端(投屏端)为投屏协议的客户端和控制处理的客户端，显示设备(显示端)为投屏协议的服务端和控制处理的服务端。投屏协议的客户端和投屏协议的服务端通过协议交互建立连接。第一终端实时抓取用户界面(录屏)并通过协议传输数据流发送至显示设备显示投屏界面。控制处理的客户端与控制处理的服务端通过控制交互处理确定控制方法。
步骤S504：响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹；
在一些实施例中，用户的手指或其他可在触控屏上识别的部位，以下简称手指，可在第一触控屏上触摸以输入指令。控制器可获取用户手指在第一触控屏移动形成的第一触控轨迹，第一触控轨迹包括至少一个触控点，每个触控点携带其对应的位置信息和触控事件。需要说明的是，本申请的用户操作均为单指在第一触控屏的操作。
在一些实施例中，以第一触控屏相邻两边作为x轴和y轴，以第一触控屏相邻两边的交点作为坐标原点建立直角坐标系，如图8所示。每个触控点的位置信息以其所在坐标点来确定。例如：触控点的位置信息可以以(x，y)表示。
触控事件包括下落事件(down)、移动事件(move)和抬起事件(up)。其中，如果一个触控点携带下落事件说明用户在该触控点的位置将手指按下。如果一个触控点携带移动事件说明在该触控点的位置将手指移动。如果一个触控点携带抬起事件说明在该触控点的位置将手指抬起。
第一触控轨迹包括至少一个触控点。一个完整的触控轨迹由下落事件、移动事件和抬起事件组成。理想状态下，一个触控点可同时携带下落事件、移动事件和抬起事件三个事件，即用户手指在同一个触控点执行按下、移动和抬起操作。但实际上，用户手指在操控过程中不可避免产生些许移动，故触控轨迹由下落事件、一系列移动事件和抬起事件组成。
步骤S505：获取所述第一投屏界面在所述用户界面的第一显示范围；
在一些实施例中，在如图8所示的直角坐标系中可确定第一投屏界面在所述用户界面的第一显示范围。第一显示范围可由第一投屏界面中对角点的坐标表示。例如：A1(min_x，min_y)和A2(max_x，max_y)，A1与A2互为对角点。
步骤S506：基于所述第一显示范围内的触控点确定第二触控轨迹；
在一些实施例中，确定第二触控轨迹的步骤包括：
获取第一触控轨迹中的触控点的坐标信息；
根据触控点的位置信息判断触控点是否在第一显示范围内；
其中，可通过判断触控点的横坐标和纵坐标是否在第一投屏界面的两个对角点的横坐标和纵坐标之间来确定该触控点是否在第一显示范围内。例如：触控点B的坐标为(x1，y1)，如果min_x≤x1≤max_x且min_y≤y1≤max_y，则触控点B在第一显示范围内。如果min_x＞x1或x1＞max_x，和/或，min_y＞y1或y1＞max_y，则触控点B不在第一显示范围内。
如果触控点不在第一显示范围内，移除所述触控点信息；
如果触控点在第一显示范围内，保留所述触控点信息。
将第一触控轨迹中的每个触控点都进行判断后，剩余触控点信息组成第一待修正触控轨迹。
如果第一待修正触控轨迹中第一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为下落事件；
如果第一待修正触控轨迹中第一个触控点的触控事件为下落事件，不做任何修改。
如果第一待修正触控轨迹中最后一个触控点的触控事件为移动事件，则将所述最后一个触控点的触控事件更改为抬起事件；
如果第一待修正触控轨迹中第一个触控点的触控事件为抬起事件，不做任何修改。
需要说明的是，随着用户手指在触控屏上滑动产生的触控点按照时间顺序排列，可在记录触控轨迹的信息中直接确定第一待修正触控轨迹中第一个触控点和最后一个触控点。
在对第一待修正触控轨迹进行修改后即为第二触控轨迹。
示例性的，如图9所示，用户触控的区域均在第一显示范围内，即第一触控轨迹[A(down)-B(move)-C(move)-D(move)-E(up)]的坐标均在第一显示范围内，则确定第二触控轨迹为[A(down)-B(move)-C(move)-D(move)-E(up)]。
如图10所示，根据用户触控原动作显示触控区域部分在第一显示范围内、部分在第一显示范围外，即第一触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(up)]中，A/B/C在第一显示范围外部，D/E/F/G在第一显示范围内部。移除不在第一显示范围内的触控点信息，得到第一待修正触控轨迹为[D(move)-E(move)-F(move)-G(up)]，生成第二触控轨迹为[D(down)-E(move)-F(move)-G(up)]，其第二触控轨迹与图10的触控映射动作对应。
如图11所示，根据用户触控原动作显示触控区域部分在第一显示范围内、部分在第一显示范围外，即第一触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(up)]中，D/E/F/G在第一显示范围外部，A/B/C在第一显示范围内部。移除不在第一显示范围内的触控点信息，得到第一待修正触控轨迹为[A(down)-B(move)-C(move)]，生成第二触控轨迹为[A(down)-B(move)-C(up)]，其第二触控轨迹与图11的触控映射动作对应。
如图12所示，第一投屏界面的左上角A1坐标为(701，5)，右下角A2坐标为(1218，1075)。每个触控点的信息包括(x，y，key)。根据用户触控原动作显示触控区域部分在第一显示范围内、部分在第一显示范围外，即第一触控轨迹可表示为：
((x＝700.3，y＝647.0833，down)，
(x＝720.8，y＝650.80246，move)，
(x＝700.3，y＝651.80246，move)，
(x＝702.3，y＝652.80246，move)，
(x＝730.3，y＝651.1，move)，
(x＝750.3，y＝652.80246，move)
......
(x＝1217.3，y＝652.80246，move)
(x＝1219.3，y＝653.80246，move)
(x＝1412.0，y＝654.14832，up))
根据A1和A2的坐标确定第一显示范围的范围，即min_x是701，max_x是1218，min_y是5，max_y是1075。
以第三个触控点为例(x＝700.3，y＝651.80246，move)，700.3<min_x，所以第三个触控点在投屏区域外，舍弃。而第四个触控点(x＝702.3，y＝652.80246，move)，max_x＞702.3>min_x，max_y＞652.80246>min_y，所以保留。
得到第一待修正轨迹如下：
((x＝702.3，y＝652.80246，move)，
(x＝730.3，y＝651.1，move)，
(x＝750.3，y＝652.80246，move)
......
(x＝1217.3，y＝652.80246，move))
由于每个完整的触控轨迹由一系列down-move-up组成，生成第二触控轨迹如下：
((x＝702.3，y＝652.80246，down)，
(x＝730.3，y＝651.1，move)，
(x＝750.3，y＝652.80246，move)
......
(x＝1217.3，y＝652.80246，up))
其第二触控轨迹与图12中触控映射动作对应。
在一些实施例中，在移除不在所述第一显示范围内的触控点后，剩余触控点信息可能组成不只一条触控轨迹。在出现至少两条触控轨迹的情况下，可以将触控轨迹都移除，不再执行与用户触控操作相关的任何操作；还可以选择其中一条触控轨迹，即确定其中一条触控轨迹为第一待修正触控轨迹，还可以将两条触控轨迹都作为第一待修正触控轨迹，并在后续步骤中对两条第一待修正触控轨迹都进行处理，同时或先后发送给第一终端。
在一些实施例中，以得到两条触控轨迹为例，通过第一备选触控轨迹和第二备选触控轨迹的命名加以区分，确定第一待修正触控轨迹的方法包括：
统计第一备选触控轨迹和第二备选触控轨迹的触控点数量，如果第一备选触控轨迹的触控点数量大于第二触控轨迹的触控点数量，则确定第一备选触控轨迹为第一待修正触控轨迹。如果第一备选触控轨迹的触控点数量小于或等于第二触控轨迹的触控点数量，则确定第二备选触控轨迹为第一待修正触控轨迹。
在一些实施例中，确定第一待修正触控轨迹的方法包括：
判断第一备选触控轨迹中是否包括下落触控点，所述下落触控点为触控事件为下落事件的触控点，如果第一备选触控轨迹中包括下落触控点，则确定第一备选触控轨迹为第一待修正触控轨迹。
如果第一备选触控轨迹中不包括下落触控点，判断第二备选触控轨迹中是否包括下落触控点，如果第二备选触控轨迹中包括下落触控点，则确定第二备选触控轨迹为第一待修正触控轨迹。
如果第二备选触控轨迹中不包括下落触控点，则移除第一备选触控轨迹和第二备选触控轨迹，不执行与用户触控操作的相关操作。
在一些实施例中，确定第一待修正触控轨迹的方法包括：
判断第一备选触控轨迹中是否包括抬起触控点，所述抬起触控点为触控事件为抬起事件的触控点；
如果第一备选触控轨迹中包括抬起触控点，则确定第一备选触控轨迹为第一待修正触控轨迹。
如果第一备选触控轨迹中不包括抬起触控点，判断第二备选触控轨迹中是否包括抬起触控点；
如果第二备选触控轨迹中包括抬起触控点，则确定第二备选触控轨迹为第一待修正触控轨迹。
如果第二备选触控轨迹中不包括抬起触控点，则第一备选触控轨迹和第二备选触控轨迹移除，不再执行与用户触控操作的相关操作。
示例性的，如图13所示，根据用户触控原动作显示触控区域部分在第一显示范围内、部分在第一显示范围外，即第一触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(up)]中，D在第一显示范围外部，A/B/C/E/F/G在第一显示范围内部。移除不在第一显示范围内的触控点信息，第一备选触控轨迹为[A(down)-B(move)-C(move)]，第二备选触控轨迹为[E(move)-F(move)-G(up)]。当得到两条触控轨迹时，根据交互定义1将两条触控轨迹都移除，不再执行与用户触控操作的相关操作，触控映射动作如效果1所示。根据交互定义2需要保留含有下落触控点的触控轨迹，即第一待修正触控轨迹为[A(down)-B(move)-C(move)]，第二触控轨迹为[A(down)-B(move)-C(up)]，触控映射动作如效果2所示。根据交互定义3需要保留含有抬起触控点的触控轨迹，即第一待修正触控轨迹为[E(move)-F(move)-G(up)]，第二触控轨迹为[E(down)-F(move)-G(up)]，触控映射动作如效果3所示。根据交互定义4将两条触控轨迹都保留，第一待修正触控轨迹为[A(down)-B(move)-C(move)]和[E(move)-F(move)-G(up)]，第二触控轨迹为[A(down)-B(move)-C(up)]和[E(down)-F(move)-G(up)]，触控映射动作如效果4所示，其中交互定义是指对出现两条触控轨迹时选取的判定方法。
示例性的，如图14所示，根据用户触控原动作显示触控区域部分在第一显示范围内、部分在第一显示范围外，即第一触控轨迹[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(move)-H(move)-I(up)]中，A/E/I在第一显示范围外部，B/C/D/F/G/H在第一显示范围内部。移除不在第一显示范围内的触控点信息，第一备选触控轨迹为[B(move)-C(move)-D(move)]，第二备选触控轨迹为[E(move)-F(move)-G(move)]。当得到两条触控轨迹时，根据交互定义1两条触控轨迹均没有下落触控点或抬起触控点，移除两条触控轨迹，不再执行与用户触控操作的相关操作，触控映射动作如效果1所示，根据交互定义2将两条触控轨迹都保留，触控映射动作如效果2所示。
步骤S507：将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应。
第二触控轨迹中的触控点的坐标信息是基于显示设备建立的直角坐标系确定的，如果直接将第二触控轨迹中的触控点发送至第一终端，第一终端无法识别，因此需要进行坐标转换，以使第一终端可以识别该触控轨迹。需要说明的是，第二触控轨迹中的触控点在位置转换的过程中只对位置信息进行修改，触控事件不做改变。
在一些实施例中，将第二触控轨迹中的触控点经位置转换生成第三触控轨迹的步骤包括：
确定第一投屏界面的显示相邻两个显示边界值，分别为x轴边界值和y轴边界值，显示边界值由第一投屏界面的显示边界在显示设备的直角坐标系中的坐标确定；
计算触控点的原始坐标分别与其对应的边界值的差值，得到转换后的坐标。计算触控点的x值与x轴边界值的差值，得到转换后触控点的x值，计算触控点的y值与y轴边界值的差值，得到转换后触控点的y值。
示例性的，如图15所示，第一投屏界面的左侧边界在显示设备的直角坐标系中可表示为x＝701，第一投屏界面的上侧边界在显示设备的直角坐标系中可表示为y＝5。因此，确定x轴边界值为701和y轴边界值为5。第二触控轨迹中的其中一个触控点A信息为A(x＝730.3，y＝651.1，move)，则该触控点在第三触控轨迹中可表示为(x＝29.3，y＝646.1，move)。
步骤S508：发送所述第三触控轨迹至所述第一终端，以使第一终端执行所述第三触控轨迹对应的操作。
在一些实施例中，控制器在得到第三触控轨迹后，将第三触控轨迹发送至第一终端，第一终端获取第三触控轨迹后，对第三触控轨迹进行处理，执行第三触控轨迹对应的操作。
例如：第三触控轨迹为：
((x＝584.3784，y＝498.96857，down)，
(x＝589.3784，y＝494.96857，move)，
......
(x＝680.3784，y＝490.96857，move)，
(x＝696.28564，y＝488.3564，up)
以下落触控点和抬起触控点的坐标计算x方向差值696.28564-584.3784＝111.90723，y方向差值498.96857-488.3564＝10.612152，x方向差值大于y方向差值，则第三触控轨迹方向为横向移动，比较下落触控点的x值和抬起触控点的x值，其中，下落触控点的x值小于抬起触控点的x值，则第三触控轨迹是向右滑动。第一终端执行向右滑动的操作。
以上实施例是在获取到整个第一触控轨迹后，对第一触控轨迹进行处理得到第二触控轨迹，并将整个第二触控轨迹一同发送给第一终端。在一些实施例中，控制器可以在获取一个触控点后对该触控点进行处理，然后发送至第一终端，具体方法如下：
获取触控点的坐标信息；
判断所述触控点是否在第一显示范围内；
如果所述触控点不在第一显示范围内，则移除所述触控点；
如果所述触控点在第一显示范围内，则判断与所述触控点关联的前一个触控点是否在第一显示范围内；
如果与所述触控点关联的前一个触控点不在第一显示范围内，判断所述触控点的触控事件是否为下落事件，如果不是下落事件，则将所述触控点的触控事件更改为下落事件；如果是下落事件，不对所述触控点进行处理，即保留所述触控点的信息。
其中，如果所述触控点没有可关联的前一个触控点，可直接判断所述触控点的触控事件是否为下落事件。
如果与所述触控点关联的前一个触控点在第一显示范围内，判断与所述触控点关联的后一个触控点是否在第一显示范围内；
如果与所述触控点关联的后一个触控点不在第一显示范围内，判断所述触控点的触控事件是否为抬起事件，如果不是抬起事件，则将所述触控点的触控事件更改为抬起事件。
其中，如果所述触控点没有可关联的后一个触控点，可直接判断所述触控点的触控事件是否为抬起事件，不对所述触控点进行处理，即保留所述触控点的信息。
如果与所述触控点关联的后一个触控点在第一显示范围内，不对所述触控点进行处理，即保留所述触控点的信息。
需要说明的是，保留的触控点的位置信息均要通过坐标转换后发送至第一终端，以使第一终端在接收到触控点的信息后执行对应的操作。
本申请实施例可快速将触控点的信息发送至第一终端，以使第一终端可以在获取到部分触控点信息后执行对应的操作。例如用户在拖拽某一显示图标时，第一终端无需等待手指抬起时再完成图标拖拽，第一终端可实时执行用户在显示设备端输入的拖拽指令。
在一些实施例中，用户可将多个终端的用户界面都投屏到显示设备的用户界面中。本申请以两个终端为例，如图16所示，控制器250执行步骤如下：
步骤S1601:接收第一终端和第二终端发送的投屏请求，与第一终端和第二终端建立投屏连接；
第一终端和第二终端包括显示设备、手机、平板电脑和电脑等。第一终端和第二终端分别与显示设备通过同一网络通信协议连接，进行投屏相关的协议操作，通过协议层约定，通讯过程中携带相关的协议信息。第一终端包括第二触控屏，第二终端包括第三触控屏，第一终端和第二终端支持用户触控操作。
步骤S1602:控制显示器在用户界面显示第一投屏界面和第二投屏界面，所述第一投屏界面为第一终端的用户界面，所述第二投屏界面为第二终端的用户界面；
在与第一终端和第二终端建立投屏连接后，通过协议交互，首先进行第一终端和第二终端的用户界面投屏，即第一终端和第二终端实时抓取当前用户界面并传输至显示设备，控制器在接收到传输数据后，控制显示器显示抓取的用户界面。
在一些实施例中，按照第一预设比例放大第一终端的用户界面宽高，按照第二预设比例放大第二终端的用户界面宽高，第一投屏界面与第二投屏界面显示位置不重叠，第一预设比例与第二预设比例可以相同，也可以不同。第一投屏界面与第二投屏界面可以横向排列，第一投屏界面与第二投屏界面可以纵向排列。不显示第一投屏界面与第二投屏界面的部分设置为背景色，如黑色或白色。示例性的，将两个手机的用户界面投屏到显示设备的显示器上的效果，如图17所示。
步骤S1603:分别与所述第一终端和第二终端确认支持反控功能，以使用户通过向显示设备发送指令以控制第一终端和第二终端；
在显示器显示第一投屏界面和第二投屏界面后，第一终端和第二终端分别与显示设备进行协议交互，确认显示设备是否支持反控功能，即可在显示设备端输入指令来控制第一终端和第二终端。显示设备会将可支持反控功能的信息发送至第一终端和第二终端，第一终端和第二终端在接收到信息后进行相应的初始化准备操作，以使第一终端和第二终端可接收用户在显示设备端输入的指令，并执行对应的操作。
步骤S1604：响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第四触控轨迹；
在一些实施例中，用户的手指可在第一触控屏上触摸滑动以输入指令。控制器可获取用户手指在第一触控屏移动形成的第四触控轨迹，第四触控轨迹包括至少一个触控点，每个触控点携带其对应的位置信息和触控事件。需要说明的是，本申请的用户操作均为单指在第一触控屏的操作。
步骤S1605：获取所述第一投屏界面在所述用户界面的第一显示范围和所述第二投屏界面在所述用户界面的第二显示范围；
步骤S1606：判断所述第一显示范围和第二显示范围内是否有触控点；
如果所述第一显示范围和第二显示范围内均有触控点，控制器执行步骤S1607：基于第一显示范围内的触控点确定第五触控轨迹，基于第二显示范围内的触控点确定第六触控轨迹；
在一些实施例中，确定第五触控轨迹和第七触控轨迹的步骤与确定第二触控轨迹的步骤相似，在此不再赘述。
步骤S1608：判断第五触控轨迹是否是有效轨迹；
在一些实施例中，可根据交互定义来判断第五触控轨迹是否是有效轨迹，交互定义可根据用户习惯或缺省设置。判断第五触控轨迹是否是有效轨迹的步骤包括：
判断第五触控轨迹的触控点数量是否超过预设值；
如果第五触控轨迹的触控点数量超过预设值，则确定第五触控轨迹为有效轨迹；
如果第五触控轨迹的触控点数量未超过预设值，则确定第五触控轨迹为无效轨迹。
示例性的，预设值为20，如果第五触控轨迹的触控点数量为30，则确定第五触控轨迹为有效轨迹。如果第五触控轨迹的触控点数量为5，则确定第五触控轨迹为无效轨迹。
在一些实施例中，判断第五触控轨迹是否是有效轨迹的步骤包括：
判断第五触控轨迹中是否有原始下落触控点，所述原始下落触控点为第四触控轨迹中的下落触控点，可通过对第四触控轨迹中的下落触控点做标记，以在后续步骤中与其他下落触控点加以区分；
如果第五触控轨迹中有原始下落触控点，则确定第五触控轨迹为有效轨迹；
如果第五触控轨迹中没有原始下落触控点，则确定第五触控轨迹为无效轨迹。
在一些实施例中，判断第五触控轨迹是否是有效轨迹的步骤包括：
判断第五触控轨迹中是否有原始抬起触控点，所述原始抬起触控点为第四触控轨迹中的抬起触控点，可通过对第四触控轨迹中的抬起触控点做标记，以在后续步骤中与其他抬起触控点加以区分；
如果第五触控轨迹中有原始抬起触控点，则确定第五触控轨迹为有效轨迹；
如果第五触控轨迹中没有原始抬起触控点，则确定第五触控轨迹为无效轨迹；
示例性的，如图18所示，根据用户触控原动作显示触控区域部分在第一显示范围和第二显示范围内、部分在第一显示范围和第二显示范围外，即第四触控轨迹为[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(move)-H(move)-I(move)-J(up)]，F在第一显示范围和第二显示范围外，A/B/C/D/E在第一显示范围内，G/H/I/J在第二显示范围内。将A和J做标记为A*和J*，移除F触控点信息，第一待修正触控轨迹为[A*(down)-B(move)-C(move)-D(move)-E(move)]，第五触控轨迹为[A*(down)-B(move)-C(move)-D(move)-E(up)]，第二待修正触控轨迹为[G(move)-H(move)-I(move)-J*(up)]。第七触控轨迹为[G(down)-H(move)-I(move)-J*(up)]。根据交互定义1触控轨迹中有原始下落触控点的为有效轨迹，触控映射动作如效果1所示。根据交互定义2触控轨迹中有原始抬起触控点的为有效轨迹，触控映射动作如效果2所示，根据交互定义3触控轨迹中有原始下落触控点或原始抬起触控点的为有效轨迹，触控映射动作如效果3所示。
示例性的，如图19所示，用户触控原动作显示触控轨迹贯穿第一显示范围和第二显示范围。根据交互定义1两条触控轨迹均为有效轨迹，触控映射动作如效果1所示。根据交互定义2触控轨迹中有原始下落触控点或原始抬起触控点的为有效轨迹，两条触控轨迹均为无效轨迹，触控映射动作如效果2所示。
在一些实施例中，可在基于第一显示范围内的触控点确定第五触控轨迹的过程中，判断第一待修正触控轨迹中是否有下落触控点；
如果第一待修正触控轨迹中有下落触控点，则保留第一待修正触控轨迹，并对其进行修正，得到第五触控轨迹；
如果第一待修正触控轨迹中没有下落触控点，则移除第一待修正触控轨迹。
在一些实施例中，可在基于第一显示范围内的触控点确定第五触控轨迹的过程中，判断第一待修正触控轨迹中是否有抬起触控点；
如果第一待修正触控轨迹中有抬起触控点，则保留第一待修正触控轨迹，并对其进行修正，得到第五触控轨迹；
如果第一待修正触控轨迹中没有抬起触控点，则移除第一待修正触控轨迹。
在一些实施例中，判断第五触控轨迹是否是有效轨迹的步骤包括：
判断第五触控轨迹中的触控点与第一边界的距离超过预设值，第一边界为第一投屏界面中与第二投屏界面相邻的边界。
如果第五触控轨迹中至少一个触控点与第一边界的距离超过预设值，则确定第五触控轨迹为有效轨迹；
如果第五触控轨迹中所有触控点与第一边界的距离均未超过预设值，则确定第五触控轨迹为无效轨迹。
示例性的，如图20所示，第一投屏界面的对角点A1(295，5)，A2(812，1075)，第一投屏界面的对角点C1(1107，5)，C2(1624，1075)，预设值为第一显示范围高度或宽度位置的10％。第一投屏界面和第二投屏界面的宽度为517，高度为1070。
第四触控轨迹[A(down)-B-C-D-E-F(up)]对应的坐标如下所示：
A(x＝833.3，y＝247.0833，down)，
B(x＝780.8，y＝260.80246，move)，
C(x＝829.3，y＝290.80246，move)，
D(x＝1130.3，y＝29280246，move)，
E(x＝1250.3，y＝321.1，move)，
F(x＝1301.3，y＝335.80246，up)。
经计算发现A/C点不在第一显示范围和第二显示范围内，B点在第一显示范围内，D/E/F点在第二显示范围内。B点距离第一边界(x＝812)的距离d＝812-780.8＝31.2，31.2÷517＝6％＜10％。则B点为无效轨迹。F点距离第一边界(x＝1107)的距离d＝1301.3-1107＝194.3，194.3÷517＝38％＞10％。则D-E-F为有效轨迹。
在一些实施例中，判断第五触控轨迹是否是有效轨迹的步骤包括：
判断第五触控轨迹中的触控点与第一边界的距离超过预设值，第一边界为第一投屏界面中与第二投屏界面相邻的边界。
如果第五触控轨迹中至少一个触控点与第一边界的距离超过预设值，则第五触控轨迹为有效轨迹；
如果第五触控轨迹中所有触控点与第一边界的距离均未超过预设值，计算第五触控轨迹中下落触控点与抬起触控点的横坐标差值和纵坐标差值；
如果横坐标差值和纵坐标差值中至少有一个差值大于预设差值，则第五触控轨迹为有效轨迹；
如果横坐标差值和纵坐标差值均小于或等于预设差值，则第五触控轨迹为无效轨迹。
示例性的，如图21所示，第四触控轨迹为[A(down)-B(move)-C(move)-D(move)-E(move)-F(move)-G(up)]，D在第一显示范围外部，A/B/C在第一显示范围内，E/F/G在第二显示范围内。移除D触控点信息，第五触控轨迹为[A(down)-B(move)-C(up)]，第七触控轨迹为[E(down)-F(move)-G(up)]。A/B/C距离第一边界(x＝a)的距离均小于预设值，但是A与C的纵坐标差值大于预设差值，因此，确定第五触控轨迹为有效轨迹。
如果第五触控轨迹是有效轨迹，执行步骤S1609：将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，以使所述第六触控轨迹与所述第二触控屏对应，发送所述第六触控轨迹至所述第一终端，以使第一终端执行所述第六触控轨迹对应的操作。
如果第五触控轨迹是无效轨迹，执行步骤S1610：移除第五触控轨迹；
步骤S1611：判断第七触控轨迹是否是有效轨迹；
判断第七触控轨迹是否是有效轨迹的步骤与判断第五触控轨迹是否是有效轨迹的步骤相似，在此不再赘述。
在一些实施例中，在存在两条触控轨迹的情况下，只允许确定其中一条触控轨迹为有效轨迹。可通过比较第五触控轨迹和第七触控轨迹中触控点的数量来确定。如果第五触控轨迹的触控点数量大于第七触控轨迹的触控点数量，则确定第五触控轨迹为有效轨迹，第七触控轨迹为无效轨迹。如果第五触控轨迹的触控点数量小于或等于第七触控轨迹的触控点数量，则确定第五触控轨迹为无效轨迹，第七触控轨迹为有效轨迹。
在一些实施例中，在存在两条触控轨迹的情况下，只允许确定其中一条触控轨迹为有效轨迹。可通过比较第五触控轨迹和第七触控轨迹中触控点的产生时间来确定。示例性的，如图22所示，第五触控轨迹产生的时间早于第七触控轨迹产生的时间，则确定第五触控轨迹为有效轨迹，触控映射动作如效果1所示。第七触控轨迹为无效轨迹；后者第七触控轨迹产生的时间晚于第五触控轨迹产生的时间，则确定第七触控轨迹为有效轨迹，触控映射动作如效果2所示。
如果第七触控轨迹是有效轨迹，执行步骤S1612：将第七触控轨迹中的触控点经位置转换生成第八触控轨迹，以使所述第八触控轨迹与所述第二触控屏对应，发送所述第八触控轨迹至所述第一终端，以使第一终端执行所述第八触控轨迹对应的操作。
如果第七触控轨迹是无效轨迹，执行步骤S1613：移除第七触控轨迹。
如果所述第一显示范围内有触控点，第二显示范围没有触控点，则基于第一显示范围内的触控点生成第五触控轨迹，将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，以使所述第六触控轨迹与所述第二触控屏对应；发送所述第六触控轨迹至所述第一终端，以使第一终端执行所述第六触控轨迹对应的操作；
如果所述第一显示范围内没有触控点，第二显示范围有触控点，基于第二显示范围内的触控点生成第七触控轨迹；将第七触控轨迹中的触控点经位置转换生成第八触控轨迹，以使所述第八触控轨迹与所述第三触控屏对应；发送所述第八触控轨迹至所述第二终端，以使第二终端执行所述第八触控轨迹对应的操作。
本申请的一些实施例提供一种终端控制方法，所述方法适用于显示设备，显示设备包括显示器、通信器和控制器，所述控制器被配置为：在与所述第一终端建立投屏连接后，控制显示器在用户界面中显示第一终端的第一投屏界面，所述第一终端支持反向控制功能，所述反向控制功能用于使用户通过向显示设备发送指令控制第一终端，所述第一终端包括第二触控屏；响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹，所述第一触控轨迹包括至少一个触控点；获取所述第一投屏界面在所述用户界面的第一显示范围；基于第一显示范围内的触控点确定第二触控轨迹；将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应；发送所述第三触控轨迹至第一终端，以使第一终端执行所述第三触控轨迹对应的操作。在用户触控区域涉及显示设备的边界区域时，仍可以将用户指令发送至终端，提升用户体验。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面，所述显示器包括第一触控屏；
通信器，被配置为与第一终端建立投屏连接；
控制器，被配置为：
在与所述第一终端建立投屏连接后，控制显示器在用户界面中显示第一终端的第一投屏界面，所述第一终端支持反向控制功能，所述反向控制功能用于使用户通过向显示设备发送指令控制第一终端，所述第一终端包括第二触控屏；
响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹，所述第一触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围；
基于第一显示范围内的触控点确定第二触控轨迹；
将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应；
发送所述第三触控轨迹至第一终端，以使第一终端执行所述第三触控轨迹对应的操作。
2.根据权利要求1所述的显示设备，其特征在于，所述触控点的信息包括位置信息和触控事件，所述触控事件包括下落事件、移动事件和抬起事件；所述控制器执行所述基于第一显示范围内的触控点确定第二触控轨迹，被进一步配置为：
根据所述第一触控轨迹中触控点的位置信息，移除不在所述第一显示范围内的触控点，得到第一待修正触控轨迹；
如果所述第一待修正触控轨迹中第一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为下落事件；
如果第一待修正触控轨迹中最后一个触控点的触控事件为移动事件，则将所述最后一个触控点的触控事件更改为抬起事件；
根据修改触控事件后的第一待修正触控轨迹生成第二触控轨迹。
3.根据权利要求1所述显示设备，其特征在于，所述通信器还被配置为与第二终端建立通信连接，所述第二终端包括第三触控屏；所述控制器被配置为：
在与第二终端建立投屏连接后，控制显示器在所述用户界面中显示第二终端的第二投屏界面，所述第一投屏界面与所述第二投屏界面不重叠。
4.根据权利要求3所述显示设备，其特征在于，所述控制器执行响应于用户基于第一触控屏输入的触控指令，被进一步配置为：
获取所述触控指令的第四触控轨迹，所述第四触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围和所述第二投屏界面在所述用户界面的第二显示范围；
如果所述第四触控轨迹在所述第一显示范围和第二显示范围内均有触控点，基于第一显示范围内的触控点确定第五触控轨迹，基于第二显示范围内的触控点确定第七触控轨迹；
将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，所述第六触控轨迹与所述第二触控屏对应；
发送所述第六触控轨迹至所述第一终端，以使第一终端执行所述第六触控轨迹对应的操作；
将第七触控轨迹中的触控点经位置转换生成第八触控轨迹，所述第八触控轨迹与所述第三触控屏对应；
发送所述第八触控轨迹至所述第二终端，以使第二终端执行所述第八触控轨迹对应的操作。
5.根据权利要求4所述的显示设备，其特征在于，所述控制器执行基于第二显示范围内的触控点确定第七触控轨迹，被进一步配置为：
根据所述第七触控轨迹中触控点的位置信息，移除不在所述第二显示范围内的触控点，得到第二待修正触控轨迹；
如果第二待修正触控轨迹中第一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为下落事件；
如果第二待修正触控轨迹中最后一个触控点的触控事件为移动事件，则将所述第一个触控点的触控事件更改为抬起事件；
根据修改触控事件后的第二待修正触控轨迹生成第七触控轨迹。
6.根据权利要求4所述的显示设备，其特征在于，所述控制器被进一步配置为：
如果第五触控轨迹的触控点数量超过预设数量；或者，
第五触控轨迹的触控点包括第四触控轨迹中的下落触控点或抬起触控点，所述下落触控点为触控事件为下落的触控点，所述抬起触控点为触控事件为抬起的触控点；或者，
第五触控轨迹中至少有一个触控点与第一边界的距离超过预设值，则将第五触控轨迹中的触控点经位置转换生成第六触控轨迹，所述第一边界为第一投屏界面中与第二投屏界面相邻的边界。
7.根据权利要求6所述的显示设备，其特征在于，所述控制器被进一步配置为：
如果第七触控轨迹的触控点数量超过预设数量；或者，
第七触控轨迹的触控点包括第四触控轨迹中的下落触控点或抬起触控点；或者，
第七触控轨迹中至少有一个触控点与第二边界的距离超过预设值，第二边界为第二投屏界面中与第一投屏界面相邻的边界。
8.根据权利要求6所述的显示设备，其特征在于，所述控制器，被配置为：
如果第五触控轨迹的触控点数量未超过预设数量；或者，
第五触控轨迹的触控点不包括第四触控轨迹中的下落触控点或抬起触控点，或者，
第五触控轨迹中的触控点与第一边界的距离均未超过预设值，则移除第五触控轨迹。
9.根据权利要求7所述的显示设备，其特征在于，所述控制器，被配置为：
如果第七触控轨迹的触控点数量未超过预设数量；或者，
第七触控轨迹的触控点不包括第四触控轨迹中的下落触控点或抬起触控点，或者，
第七触控轨迹中的触控点与第二边界的距离均未超过预设值，则移除第七触控轨迹。
10.一种终端控制方法，其特征在于，包括：
在与所述第一终端建立投屏连接后，控制显示器在用户界面中显示第一终端的第一投屏界面，所述第一终端支持反向控制功能，所述反向控制功能用于使用户通过向显示设备发送指令控制第一终端，所述第一终端包括第二触控屏；
响应于用户基于第一触控屏输入的触控指令，获取所述触控指令的第一触控轨迹，所述第一触控轨迹包括至少一个触控点；
获取所述第一投屏界面在所述用户界面的第一显示范围；
基于所述第一显示范围内的触控点确定第二触控轨迹；
将第二触控轨迹中的触控点经位置转换生成第三触控轨迹，所述第三触控轨迹与所述第二触控屏对应；
发送所述第三触控轨迹至所述第一终端，以使第一终端执行所述第三触控轨迹对应的操作。
CN202210854818.4A 2022-07-18 2022-07-18 一种显示设备及终端控制方法 Pending CN115243082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210854818.4A CN115243082A (zh) 2022-07-18 2022-07-18 一种显示设备及终端控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210854818.4A CN115243082A (zh) 2022-07-18 2022-07-18 一种显示设备及终端控制方法

Publications (1)

Publication Number Publication Date
CN115243082A true CN115243082A (zh) 2022-10-25

Family

ID=83674058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210854818.4A Pending CN115243082A (zh) 2022-07-18 2022-07-18 一种显示设备及终端控制方法

Country Status (1)

Country Link
CN (1) CN115243082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024113187A1 (zh) * 2022-11-29 2024-06-06 京东方科技集团股份有限公司 一种多设备协同控制的方法、显示设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282677A (zh) * 2018-01-24 2018-07-13 上海哇嗨网络科技有限公司 通过客户端实现内容投屏的方法、投屏装置及系统
CN112905136A (zh) * 2021-03-11 2021-06-04 北京小米移动软件有限公司 投屏控制方法、装置以及存储介质
CN113556588A (zh) * 2020-04-23 2021-10-26 深圳市万普拉斯科技有限公司 反向控制方法、装置、计算机设备和存储介质
CN113986167A (zh) * 2021-10-12 2022-01-28 深圳Tcl新技术有限公司 投屏控制方法、装置、存储介质及显示设备
WO2022042656A1 (zh) * 2020-08-26 2022-03-03 华为技术有限公司 一种界面显示方法及设备
CN114201130A (zh) * 2020-09-18 2022-03-18 青岛海信移动通信技术股份有限公司 一种投屏的方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282677A (zh) * 2018-01-24 2018-07-13 上海哇嗨网络科技有限公司 通过客户端实现内容投屏的方法、投屏装置及系统
CN113556588A (zh) * 2020-04-23 2021-10-26 深圳市万普拉斯科技有限公司 反向控制方法、装置、计算机设备和存储介质
WO2022042656A1 (zh) * 2020-08-26 2022-03-03 华为技术有限公司 一种界面显示方法及设备
CN114201130A (zh) * 2020-09-18 2022-03-18 青岛海信移动通信技术股份有限公司 一种投屏的方法、装置及存储介质
CN112905136A (zh) * 2021-03-11 2021-06-04 北京小米移动软件有限公司 投屏控制方法、装置以及存储介质
CN113986167A (zh) * 2021-10-12 2022-01-28 深圳Tcl新技术有限公司 投屏控制方法、装置、存储介质及显示设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024113187A1 (zh) * 2022-11-29 2024-06-06 京东方科技集团股份有限公司 一种多设备协同控制的方法、显示设备及系统
WO2024114069A1 (zh) * 2022-11-29 2024-06-06 京东方科技集团股份有限公司 一种多设备协同控制的方法、显示设备及系统

Similar Documents

Publication Publication Date Title
US20140223490A1 (en) Apparatus and method for intuitive user interaction between multiple devices
CN114296670B (zh) 显示设备及多设备投屏同屏显示的控制方法
CN114501107A (zh) 一种显示设备及涂色方法
CN115437542A (zh) 一种显示设备及投屏反控方法
CN113645494A (zh) 一种屏幕融合方法、显示设备、终端设备及服务器
CN111061381A (zh) 屏幕全局输入控制系统及方法
CN115129214A (zh) 一种显示设备和颜色填充方法
CN115243082A (zh) 一种显示设备及终端控制方法
CN114115637A (zh) 显示设备及电子画板优化方法
WO2024066538A1 (zh) 显示设备和显示设备控制方法
CN114299100A (zh) 一种屏幕定位方法、终端设备及显示设备
CN113485613A (zh) 显示设备及自由画屏幕边缘涂色实现方法
CN113076031B (zh) 显示设备、触摸定位方法及装置
CN114760513A (zh) 一种显示设备及光标定位方法
CN115550717A (zh) 一种显示设备及多指触控显示方法
CN116801027A (zh) 显示设备和投屏方法
CN114793298A (zh) 一种显示设备和菜单显示方法
CN116347143A (zh) 显示设备及双应用同屏显示方法
CN114302206B (zh) 一种内容显示方法、显示设备及服务器
CN114928762B (zh) 一种显示设备及时区信息显示方法
WO2024139950A1 (zh) 显示设备及用于显示设备的处理方法
CN114995932A (zh) 一种显示设备和界面显示方法
CN116954422A (zh) 一种显示设备及图像缩放方法
CN116248968A (zh) 显示设备及界面范围切换方法
CN117608426A (zh) 显示设备及多应用同屏显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination