CN113360116A - 控制终端的方法、装置、设备以及存储介质 - Google Patents

控制终端的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN113360116A
CN113360116A CN202110716053.3A CN202110716053A CN113360116A CN 113360116 A CN113360116 A CN 113360116A CN 202110716053 A CN202110716053 A CN 202110716053A CN 113360116 A CN113360116 A CN 113360116A
Authority
CN
China
Prior art keywords
touch
screen projection
touch event
terminal
bluetooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110716053.3A
Other languages
English (en)
Inventor
黄启立
王昌明
陈言强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202110716053.3A priority Critical patent/CN113360116A/zh
Publication of CN113360116A publication Critical patent/CN113360116A/zh
Priority to JP2022100557A priority patent/JP2022126793A/ja
Priority to US17/846,991 priority patent/US20220324327A1/en
Priority to KR1020220076892A priority patent/KR20220098323A/ko
Priority to EP22180696.1A priority patent/EP4060465A3/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B60K2360/1438—
    • B60K2360/577—
    • B60K2360/5911—
    • B60K35/10—
    • B60K35/80—
    • B60K35/85—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

本公开提供了一种控制终端的方法、装置、设备、存储介质以及程序产品，涉及车联网技术领域，尤其涉及车机互联/映射技术领域。具体实现方案为：响应于针对投屏图像的触摸操作，根据触摸操作的触摸位置坐标，生成与触摸操作对应的触摸事件，其中，投屏图像与终端设备的操作界面对应；以及基于蓝牙人机交互设备协议，将触摸事件通过与终端设备之间的蓝牙连接发送至终端设备，以使终端设备根据触摸事件控制操作界面中的控件。

Description

控制终端的方法、装置、设备以及存储介质
技术领域
本公开涉及车联网技术领域，尤其涉及车机互联/映射技术领域。
背景技术
随着车联网的发展，汽车中的车机设备可以与移动终端实现互联。例如，用户可以利用USB(Universal Serial Bus，通用串行总线)或WLAN(Wireless Local Area Network，无线局域网)等技术将手机等移动终端与汽车中的车机设备连接起来，从而使移动终端中的显示内容投屏到车机设备的显示屏中，以通过车机设备的显示屏显示移动终端的显示内容。
发明内容
本公开提供了一种控制终端的方法、装置、设备、存储介质以及程序产品。
根据本公开的一方面，提供了一种控制终端的方法，包括：响应于针对投屏图像的触摸操作，根据所述触摸操作的触摸位置坐标，生成与所述触摸操作对应的触摸事件，其中，所述投屏图像与终端设备的操作界面对应；以及基于蓝牙人机交互设备协议，将所述触摸事件通过与终端设备之间的蓝牙连接发送至所述终端设备，以控制所述终端设备。
根据本公开的另一方面，提供了一种控制终端的装置，包括：生成模块，用于响应于针对投屏图像的触摸操作，根据所述触摸操作的触摸位置坐标，生成与所述触摸操作对应的触摸事件，其中，所述投屏图像与终端设备的操作界面对应；以及发送模块，用于基于蓝牙人机交互设备协议，将所述触摸事件通过与终端设备之间的蓝牙连接发送至所述终端设备，以控制所述终端设备。
本公开的另一个方面提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种计算机程序产品，计算机程序，所述计算机程序在被处理器执行时实现本公开实施例所示的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以应用控制终端的方法和装置的示例性系统架构；
图2示意性示出了根据本公开的实施例的控制终端的方法的流程图；
图3示意性示出了根据本公开的实施例的生成与触摸操作对应的触摸事件的方法的流程图；
图4A示意性示出了根据本公开的实施例的终端设备的屏幕的示意图；
图4B示意性示出了根据本公开的实施例的投屏设备的屏幕的示意图；
图4C示意性示出了根据本公开的实施例的终端设备的界面显示在投屏设备中的示意图；
图5示意性示出了根据本公开的实施例的控制终端的方法的示意图；
图6示意性示出了根据本公开实施例的控制终端的装置的框图；以及
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示意性示出了根据本公开实施例的可以应用控制终端的方法和装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括投屏设备110和终端设备120。其中，投屏设备110包括显示屏111，显示屏111可以支持触摸操作。移动终端121包括显示屏121。显示屏121可以支持触摸操作，也可以不支持触摸操作。
投屏设备110可以是具有支持触摸操作的显示屏，且支持与其他终端进行通讯的各种电子设备，例如车机设备。终端设备120可以是具有显示屏，并且支持与其他终端进行通讯的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。投屏设备110与终端设备120上可以安装有各种通讯客户端应用，例如车联网应用、网页浏览器应用、搜索类应用、即时通信工具等。
终端设备120与投屏设备110之间可以建立有线或无线的连接。其中，有线连接例如可以包括USB(Universal Serial Bus，通用串行总线)连接、HDMI(High DefinitionMultimedia Interface，高清多媒体接口)连接等，无线连接例如可以包括WLAN(WirelessLocal Area Network，无线局域网)连接、NFC(Near Field Communication，近场通讯)连接、蓝牙连接等。终端设备120与投屏设备110可以通过彼此之间的连接实现交互，例如终端设备120可以将显示屏121中显示的操作界面的图像通过连接发送至投屏设备110，投屏设备110在接收到来自终端设备120的图像后，可以在投屏设备110的显示屏111中显示该图像，以实现投屏。另外，用户可以通过显示屏111执行触摸操作，投屏设备110可以根据触摸操作生成相应的触摸事件，发送至移动终端120，以控制移动终端120。
需要说明的是，本公开实施例所提供的控制终端的方法可以由投屏设备110执行。相应地，本公开实施例所提供的控制终端的装置可以设置于投屏设备110中。本公开实施例所提供的控制终端的方法也可以由不同于投屏设备110且能够与终端设备120和/或投屏设备110通信的设备执行。相应地，本公开实施例所提供的控制终端的装置也可以设置于不同于投屏设备110且能够与终端设备120和/或投屏设备110通信的设备中。
本领域技术人员可以理解，图1中的终端设备和投屏设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和投屏设备。
图2示意性示出了根据本公开的实施例的控制终端的方法的流程图。
如图2所示，该控制终端的方法200包括操作S210～S220。该方法例如可以由上文所示的投屏设备执行。
在操作S210，响应于针对投屏图像的触摸操作，根据触摸操作的触摸位置坐标，生成与触摸操作对应的触摸事件。
在操作S220，基于蓝牙人机交互设备(Human Interface Device，HID)协议，将触摸事件通过与终端设备之间的蓝牙连接发送至终端设备，以控制终端设备。
根据本公开的实施例，投屏设备可以与终端设备预先建立有线或无线连接。示例性地，有线连接例如可以包括USB连接、HDMI连接，无线连接例如可以包括WLAN连接、蓝牙连接等。在操作S210，终端设备可以将当前显示的操作界面的图像实时通过连接发送至投屏设备。投屏设备在接收到来自终端设备的图像后，可以实时在该投屏设备的显示屏中显示该图像。投屏设备所显示的图像即投屏图像。可以理解的是，投屏图像与终端设备的操作界面是对应的。
根据本公开的实施例，用户可以对投屏设备的显示屏中显示的投屏图像进行触摸操作。示例性地，本实施例中，触摸操作例如可以包括滑动、点击、双击、长按、多点触摸等等，相应地，触摸事件例如可以包括滑动事件、点击事件、双击事件、长按事件、双指触摸事件等等。
需要说明的是，本实施例中，根据触摸操作的不同，触摸操作的触摸位置坐标可以为一个也可以为多个，例如点击操作的触摸位置为一个，滑动操作的触摸位置为多个，该多个触摸位置对应于滑动操作的滑动轨迹。
在操作S220，基于蓝牙人机交互设备(Human Interface Device，HID)协议，将触摸事件通过与终端设备之间的蓝牙连接发送至终端设备，以控制终端设备。使终端设备根据触摸事件控制操作界面中的控件。
根据本公开的实施例，除了上述用于传输投屏图像的连接之外，投屏设备还可以建立与终端设备之间的蓝牙连接。示例性地，本实施例中，在建立该蓝牙连接时，投屏设备可以加载蓝牙人机交互设备的配置文件，然后作为蓝牙人机交互设备与述终端设备进行匹配，以建立蓝牙连接。
根据本公开的实施例，投屏设备可以基于蓝牙人机交互设备协议，将触摸事件封装成数据包。然后，将数据包通过蓝牙连接发送至终端设备的蓝牙输入接口。示例性地，以基于安卓(Android)系统的终端设备为例，终端设备的蓝牙输入接口例如可以为BluetoothGattService.writeToParcel。
根据本公开的实施例，终端设备的操作界面中可以包括一个或多个控件，例如按钮、选择框、滚动条等等。终端设备在接收到数据包后，可以解析数据包得到触摸事件，然后根据触摸事件判断触发了操作界面中的哪个或哪些控件。接下来，执行被触发的控件所对应的操作。
根据本公开的实施例，通过蓝牙人机交互设备协议发送触摸事件，可以实现通过对投屏设备进行触摸来控制终端设备，从而提高了控制终端设备时的便利性。
根据一种相关技术，投屏设备和终端设备可以安装有相对应的互联应用，由投屏设备中的互联应用产生的触摸事件，然后通过有线或无线的方式传递至终端设备中的互联应用。终端设备的互联应用在接收到触摸事件之后，由于系统(例如Android系统)的限制，该触摸事件只能在该互联应用的进程中进行注入和消费，并不能注入系统层面，从而也不能由除该互联应用之外的其他应用的进程进行消费，即无法实现跨进程控制其他应用。
根据本公开的实施例，投屏设备基于蓝牙人机交互设备协议发送触摸事件至终端设备，该获取触摸事件的途径是符合系统规范的，因此终端设备接收到触摸事件后可以将触摸事件注入系统层面，以供各应用的进程进行消费，从而实现了跨进程控制其他应用的技术效果。
另外，根据本公开的实施例的控制终端的方法只需要通过开启蓝牙，不需要在终端设备中打开开发者权，或者获取终端设备的ROOT权限等获取权限的操作，更易实现。
图3示意性示出了根据本公开的实施例的生成与触摸操作对应的触摸事件的方法的流程图。
如图3所示，该生成与触摸操作对应的触摸事件的方法310包括操作S311～S312。
在操作S311，根据触摸位置坐标，确定与操作界面对应的目标坐标。
在操作S312，根据目标坐标，生成触摸事件。
根据本公开的实施例，可以获取投屏图像的第一分辨率和操作界面的第二分辩率。然后根据第一分辨率和第二分辩率，将触摸位置坐标转换为操作界面中的目标坐标。接着，根据目标坐标，生成触摸事件。其中，触摸事件例如可以包括滑动事件、点击事件、双击事件、长按事件、双指触摸事件等等。
根据本公开的实施例，通过将触摸位置坐标转换为操作界面中的目标坐标，然后根据目标坐标生成触摸事件，终端设备在接收到触摸事件后，可以根据触摸事件确定操作界面中哪个位置发生了触摸操作。
由于投屏设备与终端设备的屏幕分辨率可能不同，因此投屏设备所显示的投屏图像的分辨率可能与终端设备操作界面的分辨率并不相同。例如，在投屏设备与终端设备的屏幕分辨率不同的情况下，可以将投屏图像的纵向高度设置为与投屏设备的屏幕的纵向高度相同，投屏图像的宽度可以根据与投屏图像对应的操作界面的比例自适应设置。或者，可以将投屏图像的横向宽度设置为与投屏设备的屏幕的横向宽度相同，投屏图像的纵向高度可以根据与投屏图像对应的操作界面的比例自适应设置。
基于此，根据本公开的实施例，可以获取投屏图像的第一分辨率和操作界面的第二分辩率。然后根据第一分辨率和第二分辩率，将触摸位置坐标转换为操作界面中的目标坐标，从而可以在任何投屏设备上都能对终端设备进行精准控制。
下面参考图4A-图4C，结合具体实施例对触摸位置坐标转换为操作界面中的目标坐标的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
图4A示意性示出了根据本公开的实施例的终端设备的屏幕的示意图。
如图4A所示，例如，终端设备的屏幕410的分辨率可以为1920×1280像素，其中，屏幕410的纵向高度为1920像素，可以表示为A＝1920，屏幕410的横向宽度为1280像素，可以表示为B＝1280。
图4B示意性示出了根据本公开的实施例的投屏设备的屏幕的示意图。
如图4B所示，投屏设备的屏幕420的分辨率可以为1280×1920像素，其中，屏幕420的纵向高度为1280像素，可以表示为A1＝1280，屏幕420的横向宽度为1920像素，可以表示为B1＝1920。
图4C示意性示出了根据本公开的实施例的终端设备的界面显示在投屏设备中的示意图。
如图4C所示，当与屏幕410对应的投屏图像430显示在屏幕420中时，投屏图像430可以居中显示在屏幕420中。投屏图像430的纵向高度与屏幕420的纵向高度相同，投屏图像430的横向宽度根据与投屏图像430对应的操作界面的比例自适应设置。示例性地，本实施例中，投屏图像430的纵向高度为1280像素，横向宽度可以为A1*B/A＝1920×1280÷1280＝853像素。即终端设备在投屏设备中显示时的分辨率为1280*853像素。
假设用户在投屏设备的屏幕420中的触摸位置坐标为(600，200)时，即横向坐标X＝600，纵向坐标Y＝200。通过终端设备在投屏设备中显示时的分辨率，计算转换后的坐标：转换后的横向坐标X’＝X-(B1-A1*B/A)/2＝600-(1920-1280×1280÷1920)÷2＝1133，换后的横向坐标Y’＝Y＝200。即转换后的坐标为(1133，200)。
下面参考图5，结合具体实施例对上文所示的控制终端的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
示例性地，本实施例中，投屏设备例如可以为车机设备。终端设备例如可以为手机等移动终端设备。终端设备基于Android系统。
图5示意性示出了根据本公开的实施例的控制终端的方法的示意图。
在图5中示出了，在操作S510A，投屏设备加载蓝牙输入设备的配置文件。
在操作S520A，投屏设备向终端设备发起蓝牙连接请求。
根据本公开的实施例，投屏设备可以打开蓝牙，搜索并匹配终端设备。
在操作S510B，终端设备接收蓝牙连接请求，建立与终端设备的蓝牙连接。
根据本公开的实施例，终端设备可以接受匹配，从而建立与终端设备的蓝牙连接。
根据本公开的实施例，在投屏设备与终端设备进行蓝牙连接的过程中，投屏设备可以作为主设备，终端设备可以作为从设备。
根据本公开的另一些实施例，也可以由终端设备向投屏设备发起蓝牙连接请求，由投屏设备接受蓝牙请求，以建立投屏设备与终端设备之间的蓝牙连接。本公开对此不作具体限定。
在操作S520B，终端设备将操作界面所对应的投屏图像传输至投屏设备，并将操作界面的分辨率发送至投屏设备。
根据本公开的实施例，终端设备可以将当前显示的操作界面所对应的投屏图像通过WLAN、HDMI或USB等方式发送至投屏设备。
可选地，当终端设备所显示的操作界面的分辨率出现变化时，可以执行操作S530B，实时将变化后的分辨率传输至投屏设备。
在操作S530A，投屏设备接收用户的触摸操作，获取触摸操作的触摸位置坐标。
示例性地，本实施例中，触摸操可以作为滑动操作。根据本公开的实施例，可以获取滑动操作所对应的轨迹点的位置坐标。
在操作S540A，投屏设备根据投屏设备显示的投屏图像的分辨率与终端设备操作界面的的分辨率，计算对应于终端设备的触摸位置坐标。
根据本公开的实施例，可以根据投屏图像与操作界面的分辨率，将轨迹点的位置坐标转换为操作界面中的坐标。
在操作S550A，投屏设备根据触摸位置坐标，生成触摸事件。
根据本公开的实施例，投屏设备可以根据触摸位置坐标，生成支持蓝牙传输的触摸事件。
在操作S560A，投屏设备将触摸事件基于HID协议发送至终端设备。
根据本公开的实施例，投屏设备可以基于HID协议将摸事件基打包为数据包，通过蓝牙连接发送至终端设备。
在操作S540B，终端设备在系统层面消费通过蓝牙传来的触摸事件。
由于投屏设备与终端设备是两个独立的设备，投屏设备需要通过传递触摸事件到终端设备来控制终端设备的滑动、点击、长按等事件。但是对于基于Android系统的终端设备来说，由于Android系统不允许非法的事件注入到系统中，因此无法通过直接传递触摸事件来实现跨进程的事件注入和消费。根据本公开的实施例，投屏设备基于HID协议传递触摸事件，该传递触摸事件的途径是符合Android系统规范的，从而可以实现跨进程的事件注入和消费。
图6示意性示出了根据本公开实施例的控制终端的装置的框图。
如图6所示，控制终端的装置600包括生成模块610和发送模块620。
生成模块610，可以用于响应于针对投屏图像的触摸操作，根据触摸操作的触摸位置坐标，生成与触摸操作对应的触摸事件，其中，投屏图像与终端设备的操作界面对应。
发送模块620，可以用于基于蓝牙人机交互设备协议，将触摸事件通过与终端设备之间的蓝牙连接发送至终端设备，以使终端设备根据触摸事件控制操作界面中的控件。
根据本公开的实施例，上述生成模块例如可以包括第一确定子模块和生成子模块。第一确定子模块，可以用于根据触摸位置坐标，确定与操作界面对应的目标坐标。生成子模块，可以用于根据目标坐标，生成触摸事件。
根据本公开的实施例，上述生成子模块可以包括获取子模块和转换子模块。获取子模块，可以用于获取投屏图像的第一分辨率和操作界面的第二分辩率。转换子模块，可以用于根据第一分辨率和第二分辩率，将触摸位置坐标转换为操作界面中的目标坐标。
根据本公开的实施例，上述发送模块例如可以包括封装子模块和发送子模块。封装子模块，可以用于基于蓝牙人机交互设备协议，将触摸事件封装成数据包。发送子模块，可以用于将数据包通过蓝牙连接发送至终端设备的蓝牙输入接口。
根据本公开的实施例，上述装置还可以包括接收模块和展示模块。接收模块，可以用于接收来自终端设备的与操作界面对应的投屏图像。展示模块，可以用于展示投屏图像。
根据本公开的实施例，上述装置还可以包括加载模块和建立模块。加载模块，可以用于加载蓝牙人机交互设备的配置文件。建立模块，可以用于建立与终端设备之间的蓝牙连接。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如控制终端的方法。例如，在一些实施例中，控制终端的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的控制终端的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行控制终端的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种控制终端的方法，包括：
响应于针对投屏图像的触摸操作，根据所述触摸操作的触摸位置坐标，生成与所述触摸操作对应的触摸事件，其中，所述投屏图像与终端设备的操作界面对应；以及
基于蓝牙人机交互设备协议，将所述触摸事件通过与终端设备之间的蓝牙连接发送至所述终端设备，以控制所述终端设备。
2.根据权利要求1所述的方法，其中，所述根据所述触摸操作的触摸位置坐标，生成与所述触摸操作对应的触摸事件，包括：
根据触摸位置坐标，确定与所述操作界面对应的目标坐标；以及
根据所述目标坐标，生成触摸事件。
3.根据权利要求2所述的方法，其中，所述根据触摸位置坐标，确定与所述操作界面对应的目标坐标，包括：
获取所述投屏图像的第一分辨率和所述操作界面的第二分辩率；以及
根据所述第一分辨率和所述第二分辩率，将所述触摸位置坐标转换为所述操作界面中的目标坐标。
4.根据权利要求1所述的方法，其中，所述基于蓝牙人机交互设备协议，将所述触摸事件通过与终端设备之间的蓝牙连接发送至所述终端设备，包括：
基于蓝牙人机交互设备协议，将所述触摸事件封装成数据包；以及
将所述数据包通过所述蓝牙连接发送至所述终端设备的蓝牙输入接口。
5.根据权利要求1所述的方法，还包括：
接收来自终端设备的与所述操作界面对应的投屏图像；以及
展示所述投屏图像。
6.根据权利要求1所述的方法，还包括：
加载蓝牙人机交互设备的配置文件；以及
建立与所述终端设备之间的蓝牙连接。
7.一种控制终端的装置，包括：
生成模块，用于响应于针对投屏图像的触摸操作，根据所述触摸操作的触摸位置坐标，生成与所述触摸操作对应的触摸事件，其中，所述投屏图像与终端设备的操作界面对应；以及
发送模块，用于基于蓝牙人机交互设备协议，将所述触摸事件通过与终端设备之间的蓝牙连接发送至所述终端设备，以控制所述终端设备。
8.根据权利要求7所述的装置，其中，所述生成模块包括：
第一确定子模块，用于根据触摸位置坐标，确定与所述操作界面对应的目标坐标；以及
生成子模块，用于根据所述目标坐标，生成触摸事件。
9.根据权利要求8所述的装置，其中，所述生成子模块包括：
获取子模块，用于获取所述投屏图像的第一分辨率和所述操作界面的第二分辩率；以及
转换子模块，用于根据所述第一分辨率和所述第二分辩率，将所述触摸位置坐标转换为所述操作界面中的目标坐标。
10.根据权利要求7所述的装置，其中，所述发送模块包括：
封装子模块，用于基于蓝牙人机交互设备协议，将所述触摸事件封装成数据包；以及
发送子模块，用于将所述数据包通过所述蓝牙连接发送至所述终端设备的蓝牙输入接口。
11.根据权利要求7所述的装置，还包括：
接收模块，用于接收来自终端设备的与所述操作界面对应的投屏图像；以及
展示模块，用于展示所述投屏图像。
12.根据权利要求7所述的装置，还包括：
加载模块，用于加载蓝牙人机交互设备的配置文件；以及
建立模块，用于建立与所述终端设备之间的蓝牙连接。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN202110716053.3A 2021-06-25 2021-06-25 控制终端的方法、装置、设备以及存储介质 Pending CN113360116A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110716053.3A CN113360116A (zh) 2021-06-25 2021-06-25 控制终端的方法、装置、设备以及存储介质
JP2022100557A JP2022126793A (ja) 2021-06-25 2022-06-22 端末の制御方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
US17/846,991 US20220324327A1 (en) 2021-06-25 2022-06-22 Method for controlling terminal, electronic device and storage medium
KR1020220076892A KR20220098323A (ko) 2021-06-25 2022-06-23 단말을 제어하는 방법, 단말을 제어하는 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
EP22180696.1A EP4060465A3 (en) 2021-06-25 2022-06-23 Method and apparatus for controlling terminal, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110716053.3A CN113360116A (zh) 2021-06-25 2021-06-25 控制终端的方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113360116A true CN113360116A (zh) 2021-09-07

Family

ID=77536717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110716053.3A Pending CN113360116A (zh) 2021-06-25 2021-06-25 控制终端的方法、装置、设备以及存储介质

Country Status (5)

Country Link
US (1) US20220324327A1 (zh)
EP (1) EP4060465A3 (zh)
JP (1) JP2022126793A (zh)
KR (1) KR20220098323A (zh)
CN (1) CN113360116A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089865A (zh) * 2021-11-25 2022-02-25 广州朗国电子科技股份有限公司 基于蓝牙的电子白板协作方法、电子白板、从设备和介质
CN114237479A (zh) * 2021-12-08 2022-03-25 阿波罗智联(北京)科技有限公司 一种应用程序的控制方法、装置及电子设备
CN114296608A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 信息交互方法、装置、设备和介质
CN116208796A (zh) * 2022-12-30 2023-06-02 深圳创维－Rgb电子有限公司 投屏控制方法、投屏控制装置、处理器和投屏系统
WO2024045985A1 (zh) * 2022-08-31 2024-03-07 京东方科技集团股份有限公司 屏幕控制方法、屏幕控制装置、电子设备、程序及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689695B1 (en) * 2022-12-15 2023-06-27 Northern Trust Corporation Computing technologies for screensharing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346122B1 (en) * 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
CN110169079A (zh) * 2017-02-06 2019-08-23 惠普发展公司，有限责任合伙企业 在信宿设备上的源设备的媒体内容控制
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110169079A (zh) * 2017-02-06 2019-08-23 惠普发展公司，有限责任合伙企业 在信宿设备上的源设备的媒体内容控制
US10346122B1 (en) * 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089865A (zh) * 2021-11-25 2022-02-25 广州朗国电子科技股份有限公司 基于蓝牙的电子白板协作方法、电子白板、从设备和介质
CN114237479A (zh) * 2021-12-08 2022-03-25 阿波罗智联(北京)科技有限公司 一种应用程序的控制方法、装置及电子设备
CN114296608A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 信息交互方法、装置、设备和介质
WO2024045985A1 (zh) * 2022-08-31 2024-03-07 京东方科技集团股份有限公司 屏幕控制方法、屏幕控制装置、电子设备、程序及介质
CN116208796A (zh) * 2022-12-30 2023-06-02 深圳创维－Rgb电子有限公司 投屏控制方法、投屏控制装置、处理器和投屏系统

Also Published As

Publication number Publication date
EP4060465A3 (en) 2022-12-28
JP2022126793A (ja) 2022-08-30
EP4060465A2 (en) 2022-09-21
US20220324327A1 (en) 2022-10-13
KR20220098323A (ko) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113360116A (zh) 控制终端的方法、装置、设备以及存储介质
KR102546578B1 (ko) 미니 프로그램 데이터 획득 방법, 장치, 기기 및 저장 매체
EP2914040A1 (en) Terminal and synchronization control method thereof
CN104391581A (zh) 移动终端及其应用程序的操作界面的投影方法
CN113050940A (zh) 小程序的预览方法、相关装置及计算机程序产品
CN113329373A (zh) 车机互联方法和装置
EP4033342A2 (en) Method and apparatus for controlling interface focus on interface, electronic device and storage medium
CN114726906A (zh) 设备交互方法、装置、电子设备和存储介质
CN113778593A (zh) 云桌面控制方法、装置、电子设备、存储介质及程序产品
CN110309462B (zh) 数据展示方法及系统
CN113312122A (zh) 虚拟键盘调用方法、装置、计算机存储介质及电子设备
CN104144212A (zh) 一种虚拟桌面图像传输方法、装置及系统
CN108667902B (zh) iOS设备的远程控制系统、方法、装置及设备
CN113691937B (zh) 用于确定位置信息的方法、云手机和终端设备
CN107015874B (zh) 数据传输控制方法、装置及终端
CN114091909A (zh) 一种协同开发的方法、系统、装置及电子设备
CN113467737A (zh) 传输画面数据的方法、装置、设备及存储介质
CN113535020A (zh) 用于生成应用图标的方法、装置、设备、介质和产品
CN108874347B (zh) 定位标识控制方法及系统
CN108363525B (zh) 一种响应网页中用户手势操作的方法、装置和终端设备
CN113992729B (zh) 云手机控制方法、相关装置及计算机程序产品
CN111737372A (zh) 地图数据生成方法和装置
CN114116095B (zh) 一种输入方法、装置、电子设备、介质及产品
CN113157360B (zh) 用于处理api的方法、装置、设备、介质和产品
CN115904514B (zh) 基于三维场景中云渲染像素流实现方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination