CN113867580B - 窗口内指针的显示控制方法及装置、设备、存储介质 - Google Patents

窗口内指针的显示控制方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN113867580B
CN113867580B CN202111002753.2A CN202111002753A CN113867580B CN 113867580 B CN113867580 B CN 113867580B CN 202111002753 A CN202111002753 A CN 202111002753A CN 113867580 B CN113867580 B CN 113867580B
Authority
CN
China
Prior art keywords
pointer
window
mouse pointer
mouse
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111002753.2A
Other languages
English (en)
Other versions
CN113867580A (zh
Inventor
刘诗聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111002753.2A priority Critical patent/CN113867580B/zh
Priority to CN202210693117.7A priority patent/CN115729399A/zh
Publication of CN113867580A publication Critical patent/CN113867580A/zh
Priority to PCT/CN2022/089062 priority patent/WO2023029526A1/zh
Priority to EP22862672.7A priority patent/EP4290361A1/en
Application granted granted Critical
Publication of CN113867580B publication Critical patent/CN113867580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例提供一种窗口内指针的显示控制方法及装置、设备、存储介质，第一设备在第二设备上投屏生成协同窗口，在用户通过第二设备的鼠标操作时，响应于所述第二设备的鼠标指针处于所述协同窗口内第一区域内，以第一形状显示鼠标指针，响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针，进而实现第二设备根据指针形状信息动态配置第二设备的指针在所述协同窗口内的显示形状。

Description

窗口内指针的显示控制方法及装置、设备、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种窗口内指针的显示控制方法及装置、设备、存储介质。
背景技术
用户手机协同目标设备(例如PC设备、PAD或者大屏设备)作业时，手机上的应用以协同窗口方式显示在目标设备。由于协同窗口传递的是点击事件而并非鼠标，若用户想要通过鼠标在协同窗口内进行文本选择，因缺失鼠标指针移动到文本上并变换为文本指针后单击拖动选择目标文本的方式，用户只能通过长按鼠标触发选中文本，导致操作不便捷，影响用户体验。
发明内容
本申请实施例提供一种窗口内指针的显示控制方法及装置、设备、存储介质，第一设备在第二设备上投屏生成协同窗口，在用户通过第二设备的鼠标操作时，响应于所述第二设备的鼠标指针处于所述协同窗口内第一区域内，以第一形状显示鼠标指针，响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针，进而实现第二设备根据指针形状信息动态配置第二设备的指针在所述协同窗口内的显示形状。
第一方面，本申请一个实施例提供一种窗口内指针的显示控制方法，第一设备在第二设备上投屏生成协同窗口，该方法包括：响应于所述第二设备的鼠标指针处于所述协同窗口内第一区域内，以第一形状显示鼠标指针；响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针。
进一步地，所述协同窗口内显示内容与所述第一设备的显示界面内显示内容相同；所述第二区域包括所述协同窗口内各控件占用的区域，所述第一区域为所述协同窗口内所述第二区域以外的区域。
进一步地，所述协同窗口内各显示控件占用的区域包括文本区域和图像区域；其中，所述文本区域为所述协同窗口内文本控件占用的区域，所述图像区域为所述协同窗口内图像控件占用的区域。
进一步地，所述响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针包括所述第一设备执行的以下步骤：接收第二设备发送的所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息；若确定所述相对位置信息在所述第一设备显示控件的目标子区域内，则获取与所述目标子区域匹配的指针形状信息；以及将与所述目标子区域匹配的指针形状信息反馈给所述第二设备，以使所述第二设备响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针。
进一步地，所述确定所述相对位置信息在所述第一设备显示控件的目标子区域之前，还包括：根据所述第二设备的鼠标指针在所述第一设备的显示界面的相对位置信息模拟鼠标指针输入。
进一步地，确定所述相对位置信息在所述第一设备显示控件的目标子区域内包括：在所述模拟鼠标指针输入的阶段，根据监控到的鼠标指针移动事件确定所述鼠标指针的当前位置是否落入所述第一设备显示控件的目标子区域内，若是，则确定所述相对位置信息在所述第一设备显示控件的目标子区域内。
进一步地，在所述模拟鼠标指针输入的阶段，设置所述鼠标指针的属性；其中，所述鼠标指针的属性包括可见属性，所述设置所述鼠标指针的属性包括将所述鼠标指针的可见属性设置为隐藏。
进一步地，所述获取与所述目标子区域匹配的鼠标指针形状信息包括：根据所述目标子区域与鼠标形状的映射关系确定所述鼠标指针的当前位置所落入的所述目标子区域对应的鼠标指针形状信息。
进一步地，所述接收第二设备发送的所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息之前，还包括：将所述第一设备侧的一套或多套指针图标库通过给所述第二设备，以使所述第二设备基于接收到的所述指针图标库解析与所述目标子区域匹配的指针形状信息，进而获取当前指针形状。
进一步地，所述响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针包括所述第二设备执行的以下步骤：将所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备；接收所述第一设备反馈的指针形状信息，并根据所述指针形状信息配置所述协同窗口内鼠标指针的显示形状。
进一步地，所述将协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备之前，还包括：获取所述第二设备的鼠标指针在所述协同窗口内的位置信息，并根据所述协同窗口与所述第一设备的显示界面的比例，将所述第二设备的鼠标指针在所述协同窗口内的位置信息转换为所述第二设备的鼠标指针在所述第一设备的显示界面的相对位置信息。
进一步地，所述将协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备之前，还包括：获取第一设备同步的一套或多套指针图标库；所述根据所述指针形状信息配置所述协同窗口内鼠标指针的显示形状包括：基于接收到的所述指针图标库解析与所述目标子区域匹配的指针形状信息，进而获取当前指针形状。
第二方面，本申请实施例还提供一种窗口内指针的显示控制方法，第一设备在第二设备上投屏生成协同窗口，所述方法包括：接收所述第二设备发送的所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息；若确定所述相对位置信息在所述第一设备显示控件的目标子区域内，则获取与所述目标子区域匹配的指针形状信息；以及将与所述目标子区域匹配的指针形状信息反馈给所述第二设备，以使得响应于所述第二设备的鼠标指针处于所述协同窗口内第一区域内，所述第二设备以第一形状显示鼠标指针；响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，所述第二设备以第二形状显示鼠标指针。
第三方面，本申请实施例还提供一种窗口内指针的显示控制装置，所述装置包括：处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面或第二方面提供的窗口内指针的显示控制方法。
在一种实施方式中，第二方面提供的窗口内指针的显示控制装置可以为一种终端的组成元件，其中，该组成元件可以为一种芯片。
第四方面，本申请实施例还提供一种电子设备，该电子设备包括第三方面提供的窗口内指针的显示控制装置。其中，该电子设备为一种具有显示功能的设备。
第五方面，本申请实施例还提供一种电子设备，该电子设备包括一个或多个处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面或第二方面提供的窗口内指针的显示控制方法。
第六方面，本申请实施例还提供一种系统，该系统包括第一设备和第二设备，所述第一设备和第二设备为第三方面或第四方面提供的电子设备。在一种实施方式中，该第一设备可以为手机，第二设备可以为PC设备，且手机向PC设备进行投屏并在PC设备上生成相应的协同窗口，该协同窗口的显示内容可以与手机的显示界面的显示内容一致。
第七方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的窗口内指针的显示控制方法或者第二方面提供的窗口内指针的显示控制方法。
通过上述技术方案，第一设备在第二设备上投屏生成协同窗口，在用户通过第二设备的鼠标操作时，可以获取第二设备的指针相对于第一设备显示屏的位置信息，若确定该位置信息落入显示控件的目标子区域内，则将该目标子区域对应的指针形状信息反馈给第二设备，以使第二设备根据指针形状信息动态配置第二设备的指针在所述协同窗口内的显示形状，进而提高用户操作的便捷性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中协同窗口示意图；
图2为本申请再一个实施例提供的协同作业系统架构示意图；
图3为本申请一个实施例提供的窗口内指针的显示控制方法的流程图；
图4a为本申请一个实施例提供的第一设备向第二设备提供指针图标库的流程示意图；
图4b为本申请一个实施例提供的协同窗口区域划分示意图；
图5为本申请再一个实施例提供的窗口内指针的显示控制方法的流程图；
图6为本申请一个实施例提供的相对像素位置转换的示意图；
图7为本申请一个实施例提供的鼠标指针变换示意图；
图8为本申请再一个实施例提供的窗口内指针的显示控制装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一些相关场景中，用户使用手机协同其他显示设备进行协同作业，例如，用户使用手机向PC设备进行投屏，并在PC设备上生成相应的协同窗口，然而用户通过PC设备的鼠标在协同窗口中进行方向控制操作时，PC设备的鼠标指针形状不能实现基于鼠标指针的实时位置进行变换。图1为相关技术中协同窗口示意图，如图1所示，用户手机D1向PC设备D2进行投屏，进而在PC设备D2的PC显示界面10中生成协同窗口20。图1所示的协同窗口为手机备忘录的应用界面，当用户通过操作PC设备D2的鼠标并将鼠标指针101滑到协同窗口20的文本区域进行文本选择时，处于协同窗口20的文本区域中的鼠标指针101的类型仍是正常选择类型。若用户想要通过操作PC设备D2的鼠标在协同窗口20进行文本选择，用户只能通过长按鼠标触发文本选择，进而在触发文本选择后，分别拖动文本选择标记条的起始位置102和结束位置103以选中目标文本。
在上述相关场景中，通过PC设备D2的鼠标在协同窗口20内进行操作时，传递的是点击事件，即，通过鼠标点击替代用户通过手指(或触控笔)在手机显示屏上点击的操作。因此导致用户在通过PC设备的鼠标进行操作时缺失鼠标指针101移动到文本区域后，指针(正常选择类型)变换为文本选择指针，并通过长按拖动文本选择指针选择目标文本的体验。
以上通过文本选择为例进行说明，在其他场景中同样存在相应问题，例如，在PC设备D2的鼠标指针101移动到协同窗口20中图片的边界上时，鼠标指针101并不能变换为尺寸调整指针(水平调整指针、垂直调整指针或者沿对角线调整指针)，进而用户缺失通过长按拖动尺寸调整指针以实现调整图片大小的体验。其他场景中存在的相应问题，在此不再一一赘述。
为克服上述技术问题，本申请实施例提供一种窗口内指针的显示控制方法，在第一设备向第二设备进行投屏以在第二设备上生成协同窗口的应用场景中，在用户通过第二设备的鼠标在协同窗口内操作时，响应于所述协同窗口内的鼠标指针处于第一区域内，以第一形状显示鼠标指针，响应于所述协同窗口内的鼠标指针处于第二区域内，以第二形状显示鼠标指针，进而第二设备可以根据指针形状信息动态配置第二设备的指针在所述协同窗口内的显示形状，可以提高用户操作的便捷性。
为实现上述窗口内指针的显示控制方法，本申请实施例提供一种协同作业系统架构，如图2所示，第一设备包括协同管理模块a10、桌面绘制模块a20、视频流转换模块a30以及短距无线传输模块a40。第二设备包括协同管理模块b10、窗口绘制模块b20、视频流解码模块b30以及短距无线传输模块b40。在第一设备在第二设备上投屏生成协同窗口的应用场景中，第一设备的视频流转换模块a30将投屏数据转换为投射视频流，进而第一设备可以通过短距无线传输模块a40将投射视频流传输给第二设备，该第二设备通过短距无线传输模块b40接收第一设备传输的投射视频流。第二设备通过视频流解码模块b30对接收到的投射视频流进行解码，并通过窗口绘制模块绘制在第二设备的显示界面上协同窗口，并保持协同窗口与第一设备的显示界面状态同步。可以由第一设备的协同管理模块a10和第二设备的协同管理模块b10分别执行相应步骤以实现窗口内指针的显示控制方法。具体说明如下：
图3为本申请一个实施例提供的一种窗口内指针的显示控制方法，如图3所示，该窗口内指针的显示控制方法可以包括以下步骤：
步骤201：第二设备获取鼠标指针在第一设备的显示界面中的相对位置信息。
步骤202：第二设备发送第一消息给第一设备，该第一消息包括鼠标指针在第一设备的显示界面中的相对位置信息。
步骤203：第一设备若确定第一消息中的相对位置信息在第一设备显示控件的目标子区域内，则获取与该目标子区域相匹配的指针形状信息。
步骤204：第一设备发送第二消息给第二设备，该第二消息包括与该目标子区域相匹配的指针形状信息。
步骤205：第二设备根据指针形状信息配置指针在协同窗口内的显示形状。
在一种场景中，第一设备可以为手机，第二设备可以为大屏设备，手机向大屏进行投屏并在大屏的显示界面上生成相应的协同窗口。但并不限制于上述场景，第一设备或第二设备还可以为其他具有显示功能的智能设备。
在执行步骤201之前，第一设备还可以将本设备的相应数据同步给第二设备。
具体地，在第一设备向第二设备进行投屏以在第二设备上绘制相应协同窗口之前，第一设备可以通过第一设备与第一设备之间协同连接将本设备应用的指针图标库的相应数据同步给第二设备，以使第一设备和第二设备两侧的指针图标库同步。
其中，第一设备侧可以存储多套指针图标数据库，其中每套指针图标数据库中可以包括各个类型的指针图标形状。
在一种实施方式中，第一设备可以将预存的所有套指针图标库的数据同步给第二设备。
在另一种实施方式中，第一设备可以将用户选择使用的目标指针图标库的数据同步给第二设备。
图4a为本申请一个实施例提供的第一设备向第二设备提供指针图标库的流程示意图，如图4a所示，第一设备与第二设备建立协同连接后，第一设备可以将指针图标库的数据同步给第二设备，该同步过程可以包括以下步骤：
步骤001：第一设备与第二设备建立协同连接。
步骤002：第一设备侧协同管理模块中的协同管理软件向鼠标控制模拟系统请求注册模拟鼠标。
步骤003：第一设备侧鼠标控制模拟系统根据该请求模拟鼠标生成，并将模拟鼠标生成完毕的结果反馈给协同管理软件。
步骤004：第一设备侧协同管理软件还可以请求从鼠标指针绘制系统获取鼠标指针图标库的数据。
步骤005：第一设备侧鼠标指针绘制系统基于该请求将当前的鼠标指针图标库中所有鼠标指针图标形状上报至协同管理软件。
步骤006：第一设备的协同管理软件将各个鼠标指针图标转换为相应位图。
步骤007：第一设备的协同管理软件将各个鼠标指针图标的位图同步给第二设备的协同管理软件。
步骤008：第二设备的鼠标指针绘制系统将获取到的各个鼠标指针图标添加至指针图标库中。
以上为第一设备将指针图标库的数据同步给第二设备的同步过程的一种实施方式。需要说明的是，本申请实施例的指针图标库数据同步过程包括但不限于图4a所示实施例提供的同步过程。
在第一设备(如手机D1)向第二设备(如PC设备D2，下文中也简称PC)开始投屏后，第二设备在协同窗口20b显示第一设备的投屏内容，在一种实施方式中，协同窗口内的显示内容可以与第一设备显示界面的显示内同一致。为方便用户操作，第二设备还可以为协同窗口配置窗口控制栏20a，具体地，用户可以通过点击窗口控制栏20a内的按钮调整窗口大小(最小化或最大化)或者关闭窗口。进一步地，第二设备还可以为协同窗口配置操作控制栏20c，该操作控制栏可以模拟第一设备(如手机D1)的触控案件，进而用户可以通过点击操作控制栏20c中的设备模拟按键实现与第一设备侧(如手机D1)相同的操作体验。
在一种实施方式中，协同窗口20b可以划分为第一区域和第二区域两个种类的区域。图4b为本申请一个实施例提供的协同窗口区域划分示意图，如图4b所示，所述第二区域包括所述协同窗口内各控件占用的区域，所述第一区域为所述协同窗口内所述第二区域以外的区域。在一些场景种，所述协同窗口内各显示控件占用的区域可以包括文本区域和图像区域；其中，所述文本区域为所述协同窗口内文本控件占用的区域，所述图像区域为所述协同窗口内图像控件占用的区域，该第二区域可以为多个不同类型的子区域。
在步骤201的具体实施中，在第二设备的指针移动到协同窗口内后，第二设备可以获取到第二设备的指针在协同窗口内的位置信息，进而可以根据第二设备显示界面中的协同窗口与第一设备的显示界面的比例，将第二设备的指针在协同窗口内的位置信息转换为第二设备的指针在第一设备的显示界面内的相对位置信息。
在其中一种实施方式中，“第二设备获取鼠标指针在第一设备的显示界面中的相对位置信息”的具体实施具体可以通过执行图5所示实施例提供的步骤301和步骤302实现，其中，以第一设备为手机第二设备为PC的场景进行举例说明，但并不限制于上述场景本申请实施例提供的窗口内指针的显示控制方法还适用于其他设备构成的其他场景。
步骤301：第二设备(PC)的鼠标指针绘制系统将PC鼠标位置上报给协同窗口。
步骤302：协同窗口将第二设备(PC)鼠标相对协同窗口的位置(X,Y)发送给第二设备(PC)的协同管理软件，以使第二设备(PC)的协同管理软件将PC鼠标相对协同窗口的位置(X,Y)转换为第二设备(PC)鼠标相对于第一设备(手机)显示界面的位置(M,N)。
图6为本申请一个实施例提供的相对像素位置转换的示意图，如图6所示，当第二设备(如PC设备D2)的鼠标指针101移动到协同窗口20b内，则第二设备的鼠标指针绘制系统可以获取第二设备的指针在协同窗口内的像素位置(X,Y)，并将指针在协同窗口内的像素位置(X,Y)上报给第二设备的协同窗口，进而第二设备的协同窗口根据该协同窗口与第一设备(如手机D1)的显示界面的比例将第二设备的指针101在协同窗口内的像素位置(X,Y)转换为指针101在第一设备显示界面中的相对像素位置(M，N)，即获取到第二设备的鼠标指针在第一设备的显示界面中的相对位置信息。其中需要说明的是，图6所示的第一设备的显示界面中的指针101为示出第二设备的指针101的在第一设备显示界面中的相对位置。
在步骤202的具体实施中，第二设备可以发送第一消息给第一设备，该第一消息可以包括步骤201中所确定的相对位置信息，其中该相对位置信息为第二设备的指针当前在第一设备的显示界面内的相对位置信息。在其中一种实施方式中，“第二设备发送第一消息给第一设备，该第一消息包括鼠标指针在第一设备的显示界面中的相对位置信息”的具体实施可以通过执行图5所示实施例提供的步骤303实现。
步骤303：第二设备中的协同管理软件可以将指针在第一设备(手机)显示界面中的相对像素位置(M，N)发送给第一设备的协同管理软件。
进而第二设备可以通过步骤201和步骤202基于第二设备的指针在协同窗口内的实时位置信息实时确定该指针相对于第一设备显示界面的相对位置信息，并将该指针相对于第一设备显示界面的相对位置信息同步给第一设备。
在步骤203的具体实施中，第一设备若确定第一消息中的相对位置信息在第一设备显示控件的目标子区域内，则获取与该目标子区域相匹配的指针形状信息。在其中一种实施方式中，“第一设备若确定第一消息中的相对位置信息在第一设备显示控件的目标子区域内，则获取与该目标子区域相匹配的指针形状信息”的具体实施可以通过执行图5所示实施例提供的步骤304到步骤308实现，其中步骤304到步骤308的实施步骤如下：
步骤304：第一设备(手机)的协同管理软件根据第二设备同步过来的相对像素位置(M，N)在显示界面的相应位置生成模拟鼠标。
步骤305：第一设备(手机)的鼠标控制模拟系统根据第二设备实时同步过来的相对像素位置(M，N)模拟鼠标移动，第一设备(手机)的view系统可以基于模拟鼠标移动确定模拟输入的鼠标指针是否进入第一设备显示控件的目标子区域，若确定进入某一目标子区域，则执行步骤306，若未进入任何目标子区域，则继续监控模拟输入的鼠标指针的移动事件，其中，该目标子区域为鼠标指针需要从正常指针形态变换为该区域对应鼠标指针形态的区域，即，某个显示控件所占用的区域，举例来说，鼠标指针移动到文本区域，鼠标指针变换为text光标。
步骤306：第一设备(手机)的view系统中相应控件根据目标子区域与鼠标指针类型的映射关系匹配模拟输入的鼠标指针当前进入的目标子区域所对应的指针类型，根据所述指针类型在目标指针图标库中获取所述指针类型对应的指针形状信息。
步骤307：第一设备(手机)的view系统中相应控件将所述指针类型对应的指针形状信息发送给第一设备(手机)的鼠标指针绘制系统。
步骤308：第一设备(手机)的鼠标指针绘制系统根据接收到的指针形状信息重新绘制模拟鼠标的形状，并上报一次鼠标形状变更信息给第一设备(手机)的协同管理软件，其中，该鼠标形状变更信息中包括变更后鼠标的形状信息，具体地，该变更后鼠标的形状信息中可以包括鼠标形状标签，第二设备(PC)的协同管理软件可以基于鼠标形状标签分析得到手机侧变更后鼠标形状。
在第一设备将自身设备的鼠标指针图形同步给第二设备后，第一设备可以根据模拟鼠标指针当前进入的目标子区域所对应的指针类型。具体地，第一设备可以基于目标子区域与鼠标指针类型的映射关系确定模拟鼠标指针当前进入的目标子区域所对应的指针类型。其中，目标子区域与鼠标指针类型的映射关系可以预存在第一设备中。举例来说，若所述模拟输入的鼠标指针当前处于文本区域，则对应的鼠标指针类型为文本选择类型，若所述模拟输入的鼠标指针当前处于图像区域，则对应的鼠标指针类型可以为尺寸调整类型。具体地，若模拟输入的鼠标指针在图像区域水平方向上的两条侧边上，则尺寸调整指针为水平调整指针，若模拟输入的鼠标指针在图像区域垂直方向上的两条侧边上，则尺寸调整指针为垂直调整指针，若模拟输入的鼠标指针在图像区域的某一角上，则尺寸调整指针为沿对角线调整指针。其他目标子区域所对应的指针类型可以基于上述目标子区域与鼠标指针类型的映射关系确定，在此不再赘述。
第一设备的协同管理模块在确定模拟输入的鼠标指针当前进入的目标子区域所对应的指针类型后，进一步地，可以根据指针类型在用户选择使用的目标指针图标库中获取该指针类型对应的指针形状信息。第一设备侧的鼠标指针绘制系统可以根据针类型对应的指针形状信息重新绘制模拟输入的鼠标指针形状。
在一些实施方式中，第一设备侧在模拟鼠标指针输入的过程中，还可以设置模拟输入的鼠标指针的属性，该模拟输入的鼠标指针的属性可以包括鼠标指针的可见属性，具体地，第一设备的协同管理模块可以将模拟输入的鼠标指针设置为隐藏状态，即，用户在第一设备的显示界面上看不到模拟输入的鼠标指针，且第一设备的协同管理模块还可以对隐藏状态下模拟输入的鼠标指针进行移动监控。
在步骤204的具体实施中，第一设备可将第二消息发送给第二设备，该第二消息可以包括模拟输入的鼠标指针当前进入的目标子区域所对应的指针形状信息。在其中一种实施方式中，步骤204的具体实施可以通过执行图5所示实施例提供的步骤309实现。
步骤309：第一设备(手机)的协同管理软件将匹配得到上述变更后的指针形状信息同步给第二设备的协同管理软件。
在步骤205的具体实施中，第二设备可以根据接收到的第二消息中包含的指针形状信息配置指针在协同窗口内的显示形状。步骤205的具体实施可以通过执行图5所示实施例提供的步骤310到步骤312实现。具体地，步骤310到步骤312包括：
步骤310：第二设备(PC)的协同管理软件在接收到的鼠标形状变更信息，对其中包含的鼠标形状标签进行分析以确定变更后的鼠标形状。具体地，第二设备(PC)的协同管理软件可以通过鼠标形状标签在鼠标指针图标库中进行匹配以得到相应的鼠标形状信息。
步骤311：第二设备(PC)的协同管理软件将分析得到的鼠标形状信息发送给第二设备(PC)的鼠标指针绘制系统。
步骤312：第二设备(PC)的鼠标指针绘制系统根据接收到的鼠标形状信息重新绘制鼠标，以使协同窗口内的PC鼠标与手机侧的鼠标形状同步。
通过上述步骤201到步骤205第一设备可以根据第二设备同步的指针实时位置信息在第一设备的显示界面模拟输入鼠标指针，并对模拟输入的鼠标指针的移动事件进行监控，进而根据监控信息确定模拟输入的鼠标指针是否进入目标子区域，若确定进入目标子区域，则获取与模拟输入的鼠标指针当前进入的目标子区域相匹配的指针形状信息，并将获取到的该指针形状信息同步给第二设备，第二设备可以根据接收到的指针形状信息配置协同窗口内的指针形状。进而协同窗口内的指针进行相应变换后，用户再操作鼠标时，即可实现通过变换后的鼠标指针对目标子区域内的目标元素进行相应操作。图7为本申请一个实施例提供的鼠标指针变换示意图，举例来说，如图7所示，在指针进入协同窗口的文本区域内后，指针101a变换为文本选择指针101b后，用户可以通过单击拖动鼠标选择目标文本，使选择目标文本的操作更加快捷，提高了用户体验。同样的，在指针进入协同窗口的图像区域内后，指针101a变换为尺寸调整指针101c，用户可以通过单击拖动鼠标调整目标图片的大小。
图8为本申请再一个实施例提供的窗口内指针的显示控制装置的结构示意图，如图8所述，该装置可以包括处理器801和存储器802，所述存储器802用于存储至少一条指令，所述指令由所述处理器801加载并执行时以实现本申请任一实施例提供的窗口内指针的显示控制方法。
在一种实施方式中，图8所示实施例提供的窗口内指针的显示控制装置可以为一种设备的组成元件，例如，该组成元件为一种芯片或者芯片模组。
本申请实施例还提供一种电子设备，该电子设备可以包括图8所示实施例提供的窗口内指针的显示控制装置。该电子设备既可以作为上述第一设备也可以作为上述第二设备。并且第一设备向第二设备投屏所生成的协同窗口可以为第一设备屏幕当前所显示的显示界面或者第一设备(前台或后台)正在运行的应用的投屏界面。
本申请实施例还提供一种系统，该系统包括第一设备和第二设备，所述第一设备和第二设备为第三方面提供的电子设备。在一种实施方式中，该第一设备可以为手机D1，第二设备可以为PC设备D2，且手机D1向PC设备D2进行投屏并在PC设备D2上生成相应的协同窗口，该协同窗口的显示内容可以与手机D1的显示界面的显示内容一致。
需要说明的是，本申请实施例中所涉及的电子设备可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、具有显示功能的智能穿戴设备、大屏设备等。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例提供的窗口内指针的显示控制方法。
可以理解的是，所述应用可以是安装在终端上的应用程序(nat iveApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本申请实施例对此不进行限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种窗口内指针的显示控制方法，其特征在于，第一设备在第二设备上投屏生成协同窗口，所述方法包括：
响应于所述第二设备的鼠标指针处于所述协同窗口内第一区域内，以第一形状显示鼠标指针；
响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针；
其中，所述第二区域包括所述协同窗口内各控件占用的区域，所述第一区域为所述协同窗口内所述第二区域以外的区域；
所述响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针包括所述第一设备执行的以下步骤：
接收第二设备发送的所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息；
若确定所述相对位置信息在所述第一设备显示控件的目标子区域内，则获取与所述目标子区域匹配的指针形状信息；以及
将与所述目标子区域匹配的指针形状信息反馈给所述第二设备，以使所述第二设备响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针。
2.根据权利要求1所述的方法，其特征在于，所述协同窗口内显示内容与所述第一设备的显示界面内显示内容相同。
3.根据权利要求2所述的方法，其特征在于，所述协同窗口内各显示控件占用的区域包括文本区域和图像区域；
其中，所述文本区域为所述协同窗口内文本控件占用的区域，所述图像区域为所述协同窗口内图像控件占用的区域。
4.根据权利要求1所述的方法，其特征在于，所述确定所述相对位置信息在所述第一设备显示控件的目标子区域之前，还包括：
根据所述第二设备的鼠标指针在所述第一设备的显示界面的相对位置信息模拟鼠标指针输入。
5.根据权利要求4所述的方法，其特征在于，确定所述相对位置信息在所述第一设备显示控件的目标子区域内包括：
在所述模拟鼠标指针输入的阶段，根据监控到的鼠标指针移动事件确定鼠标指针的当前位置是否落入所述第一设备显示控件的目标子区域内，若是，则确定所述相对位置信息在所述第一设备显示控件的目标子区域内。
6.根据权利要求4所述的方法，其特征在于，在所述模拟鼠标指针输入的阶段，设置所述鼠标指针的属性；
其中，所述鼠标指针的属性包括可见属性，所述设置所述鼠标指针的属性包括将所述鼠标指针的可见属性设置为隐藏。
7.根据权利要求5所述的方法，其特征在于，所述获取与所述目标子区域匹配的鼠标指针形状信息包括：
根据所述目标子区域与鼠标形状的映射关系确定所述鼠标指针的当前位置所落入的所述目标子区域对应的鼠标指针形状信息。
8.根据权利要求1所述的方法，其特征在于，所述接收第二设备发送的所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息之前，还包括：
将所述第一设备侧的一套或多套指针图标库通过给所述第二设备，以使所述第二设备基于接收到的所述指针图标库解析与所述目标子区域匹配的指针形状信息，进而获取当前指针形状。
9.根据权利要求1-3任一项所述的方法，其特征在于，所述响应于所述第二设备的鼠标指针处于所述协同窗口内第二区域内，以第二形状显示鼠标指针包括所述第二设备执行的以下步骤：
将所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备；
接收所述第一设备反馈的指针形状信息，并根据所述指针形状信息配置所述协同窗口内鼠标指针的显示形状。
10.根据权利要求9所述的方法，其特征在于，所述将所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备之前，还包括：
获取所述第二设备的鼠标指针在所述协同窗口内的位置信息，并根据所述协同窗口与所述第一设备的显示界面的比例，将所述第二设备的鼠标指针在所述协同窗口内的位置信息转换为所述第二设备的鼠标指针在所述第一设备的显示界面的相对位置信息。
11.根据权利要求9所述的方法，其特征在于，所述将所述协同窗口内鼠标指针相对于所述第一设备的显示界面的相对位置信息发送给第一设备之前，还包括：
获取第一设备同步的一套或多套指针图标库；
所述根据所述指针形状信息配置所述协同窗口内鼠标指针的显示形状包括：
基于接收到的所述指针图标库解析与目标子区域匹配的指针形状信息，进而获取当前指针形状。
12.一种电子设备，其特征在于，包括：
一个或多个处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现权利要求1-11任一项所述的窗口内指针的显示控制方法。
13.一种协同交互系统，其特征在于，所述系统包括第一设备和第二设备，所述第一设备和第二设备为权利要求12所述的电子设备。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任意一项所述的窗口内指针的显示控制方法。
CN202111002753.2A 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质 Active CN113867580B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111002753.2A CN113867580B (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质
CN202210693117.7A CN115729399A (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质
PCT/CN2022/089062 WO2023029526A1 (zh) 2021-08-30 2022-04-25 窗口内指针的显示控制方法及装置、设备、存储介质
EP22862672.7A EP4290361A1 (en) 2021-08-30 2022-04-25 Display control method and apparatus for pointer in window, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002753.2A CN113867580B (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210693117.7A Division CN115729399A (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN113867580A CN113867580A (zh) 2021-12-31
CN113867580B true CN113867580B (zh) 2022-07-12

Family

ID=78988847

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111002753.2A Active CN113867580B (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质
CN202210693117.7A Pending CN115729399A (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210693117.7A Pending CN115729399A (zh) 2021-08-30 2021-08-30 窗口内指针的显示控制方法及装置、设备、存储介质

Country Status (3)

Country Link
EP (1) EP4290361A1 (zh)
CN (2) CN113867580B (zh)
WO (1) WO2023029526A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867580B (zh) * 2021-08-30 2022-07-12 荣耀终端有限公司 窗口内指针的显示控制方法及装置、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399657A (zh) * 2013-07-31 2013-11-20 北京小米科技有限责任公司 鼠标指针的控制方法、装置及终端设备
CN109426360A (zh) * 2017-08-31 2019-03-05 夏普株式会社 显示控制装置、指针显示方法以及非暂时性记录介质
CN110471584A (zh) * 2019-07-05 2019-11-19 深圳市格上格创新科技有限公司 一种手持输入设备的鼠标光标控制方法和装置
CN111880870A (zh) * 2020-06-19 2020-11-03 维沃移动通信有限公司 控制电子设备的方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI305892B (en) * 2005-11-23 2009-02-01 Inst Information Industry Apparatus, computer equipment, method and computer readable media for simultaneously controlling a cursor and an optical pointer
CN102918490B (zh) * 2010-04-01 2014-07-23 思杰系统有限公司 与在平板计算装置的虚拟桌面内显示的远程应用交互
CN110347269B (zh) * 2019-06-06 2022-02-15 华为技术有限公司 一种空鼠模式实现方法及相关设备
CN110471639B (zh) * 2019-07-23 2022-10-18 华为技术有限公司 显示方法及相关装置
CN112905136A (zh) * 2021-03-11 2021-06-04 北京小米移动软件有限公司 投屏控制方法、装置以及存储介质
CN113867580B (zh) * 2021-08-30 2022-07-12 荣耀终端有限公司 窗口内指针的显示控制方法及装置、设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399657A (zh) * 2013-07-31 2013-11-20 北京小米科技有限责任公司 鼠标指针的控制方法、装置及终端设备
CN109426360A (zh) * 2017-08-31 2019-03-05 夏普株式会社 显示控制装置、指针显示方法以及非暂时性记录介质
CN110471584A (zh) * 2019-07-05 2019-11-19 深圳市格上格创新科技有限公司 一种手持输入设备的鼠标光标控制方法和装置
CN111880870A (zh) * 2020-06-19 2020-11-03 维沃移动通信有限公司 控制电子设备的方法、装置和电子设备

Also Published As

Publication number Publication date
CN113867580A (zh) 2021-12-31
WO2023029526A1 (zh) 2023-03-09
EP4290361A1 (en) 2023-12-13
CN115729399A (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
US7974494B2 (en) Image control from composed composite image using HID signal conversion to source image coordinates
CN111475097B (zh) 一种笔迹选择方法、装置、计算机设备和存储介质
US20130321306A1 (en) Common drawing model
KR101733115B1 (ko) 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
JP2018535459A (ja) ロボットによるプロセス自動化
CN107608668B (zh) H5页面制作兼容显示的方法、装置、终端设备及存储介质
US9177405B2 (en) Image processing apparatus, computer program product, and image processing system
CN111857468A (zh) 内容分享方法及装置、设备、存储介质
US10853152B2 (en) Touch application programming interfaces
CN114357345A (zh) 图片处理方法、装置、电子设备及计算机可读存储介质
JP5935456B2 (ja) 画像処理装置
CN113867580B (zh) 窗口内指针的显示控制方法及装置、设备、存储介质
CN107391914B (zh) 一种参数显示方法、装置及设备
CN113536173A (zh) 一种页面处理方法、装置、电子设备及可读存储介质
CN106855772A (zh) 一种信息展示方法及装置
CN108399058B (zh) 一种信号显示控制方法及装置
CN111324398A (zh) 最近内容的处理方法、装置、终端及存储介质
CN114911402A (zh) 远程应用和本地系统间的拖拽交互方法及系统
CN110543370B (zh) 一种重写ue4渲染引擎底层及其通信机制的方法
JP2021033719A (ja) 情報処理システム及び情報処理方法
CN113285981B (zh) 远程控制方法、被控制方法及装置、设备、存储介质
CN113162840B (zh) 显示方法、显示装置、电子设备及可读存储介质
CN117707670A (zh) 应用程序的数据处理方法、装置、存储介质和电子装置
CN114968238A (zh) 图表绘制方法、装置、设备、以及计算机可读存储介质
CN114442862A (zh) 一种基于激光感应的交互控制方法、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant