CN117348829A - 处理方法及装置、电子设备 - Google Patents
处理方法及装置、电子设备 Download PDFInfo
- Publication number
- CN117348829A CN117348829A CN202311331308.XA CN202311331308A CN117348829A CN 117348829 A CN117348829 A CN 117348829A CN 202311331308 A CN202311331308 A CN 202311331308A CN 117348829 A CN117348829 A CN 117348829A
- Authority
- CN
- China
- Prior art keywords
- target
- display
- information
- display content
- operation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 238000003825 pressing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
Abstract
本申请提供了处理方法及装置、电子设备,该电子设备获得显示内容的节点信息和显示数据;该节点信息能够表达该显示内容,该显示数据用于输出显示以呈现该显示内容,通过响应于第一操作信息,基于该节点信息和该显示数据,生成目标图像;响应于第二操作信息,通过连接目标设备的连接通道发送目标图像;其中,第一操作信息和第二操作信息均来自目标设备,且是在对目标对象执行同一个操作的两个阶段产生。
Description
技术领域
本申请主要涉及设备互联应用领域,更具体地说是涉及处理方法及装置、电子设备。
背景技术
随着电子技术和互联网的发展,用户可以使用如手机、笔记本电脑、台式电脑以及智能家居设备(如电视)等多个电子设备,通过有线或无线方式进行互联,满足不同应用需求,如操作者可以使用互联的手机和电脑进行协同办公等,非常方便。
发明内容
本申请提出了以下技术方案:
一方面,本申请提出了一种处理方法,所述处理方法包括:
获得显示内容的节点信息和显示数据;所述节点信息能够表达所述显示内容,所述显示数据用于输出显示以呈现所述显示内容;
响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;所述目标图像用于表征目标对象;
响应于第二操作信息,通过连接通道发送所述目标图像;
其中,所述第一操作信息和所述第二操作信息均来自通过所述连接通道连接的目标设备,且是在对所述目标对象执行同一个操作的两个阶段产生。
可选的,所述处理方法还包括以下任意一个:
确定连接通道成功建立,执行步骤所述获得显示内容的节点信息;所述连接通道用于连接目标设备;
确定进入针对目标设备的第一模式,执行步骤所述获得显示内容的节点信息,所述第一模式包括:将显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现所述显示内容;
确定处于第二模式,执行步骤所述获得显示内容的节点信息;所述第二模式包括:通过连接通道获得所述目标设备发送的用于表征目标对象移动的坐标信息,基于所述坐标信息显示所述目标对象,所述目标对象用于操作所述显示内容,所述连接通道与所述目标设备连接;
通过连接通道获得所述目标设备发送的坐标信息,执行步骤所述获得显示内容的节点信息;其中,所述坐标信息用于显示目标对象。
可选的,所述获得显示内容的节点信息,包括:
获得显示内容包含的多个节点;所述多个节点包括第一类节点和第二类节点;
其中,每个所述第一类节点包括单位量字符信息以及单位量字符位于所述显示内容的区域坐标,每个所述第二类节点包括图片描述信息以及图片位于所述显示内容的区域坐标。
可选的,所述响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像,包括:
获得第一操作信息;所述第一操作信息包括第一操作事件和第一操作坐标;
基于所述第一操作坐标和所述节点信息,确定目标区域;
基于所述目标区域和所述显示数据,获得与所述目标区域对应的目标显示数据;
基于所述目标显示数据,生成目标图像。
可选的,如果处于第一模式,将所述显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现的情况下,通过连接通道获得的对所述目标显示屏上呈现的所述目标对象执行同一个操作的两个阶段产生的第一操作信息和第二操作信息;
如果处于第二模式,在所述显示内容未传输给所述目标设备的情况下,通过连接通道获得的所述目标设备的输入设备针对电子设备的显示屏上呈现的所述目标对象执行一个操作的两个阶段产生的第一操作信息和第二操作信息。
可选的,所述处理方法还包括:
基于所述目标显示数据,生成缩略图图像;所述缩略图图像小于所述目标图像;
响应于第三操作信息,发送所述缩略图图像;所述第三操作信息是在对所述目标对象执行所述同一个操作的两个阶段之间产生的。
可选的,所述处理方法还包括:
在所述发送所述缩略图图像过程中,基于所述第三操作信息,显示所述缩略图图像。
另一方面,本申请还提出了一种处理装置,所述处理装置包括:
获得模块,用于获得显示内容的节点信息和显示数据;所述节点信息能够表达所述显示内容,所述显示数据用于输出显示以呈现所述显示内容;
目标图像生成模块,用于响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;所述目标图像用于表征目标对象;
目标图像发送模块,用于响应于第二操作信息,通过连接通道发送所述目标图像;
其中,所述第一操作信息和所述第二操作信息均来自通过所述连接通道连接的目标设备,且是在对所述目标对象执行同一个操作的两个阶段产生。
可选的,所述目标图像生成模块包括
第一操作信息获得单元,用于获得第一操作信息;所述第一操作信息包括第一操作事件和第一操作坐标;
目标区域确定单元,用于基于所述第一操作坐标和所述节点信息,确定目标区域;
目标显示数据获得单元,用于基于所述目标区域和所述显示数据,获得与所述目标区域对应的目标显示数据;
目标图像生成单元,用于基于所述目标显示数据,生成目标图像。
又一方面,本申请还提出了一种电子设备,所述电子设备包括:
显示屏,用于对显示内容的显示数据输出显示,呈现所述显示内容;
连接端口,用于连接目标设备,以在所述电子设备与所述目标设备之间形成连接通道,能够通过所述连接通道接收所述目标设备发送的目标对象的各操作信息;
处理器,用于获得所述显示内容的节点信息和显示数据;响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;响应于第二操作信息,通过所述连接通道发送所述目标图像;
其中,所述节点信息能够表达所述显示内容,所述目标图像用于表征所述目标对象,且所述第一操作信息和所述第二操作信息是在对所述目标对象执行同一个操作的两个阶段产生。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提出的处理方法的可选实施例一的流程示意图;
图2为适用于本申请提出的处理方法的一可选应用环境的系统架构示意图;
图3为适用于本申请提出的处理方法一可选应用场景示意图;
图4a为适用于本申请提出的处理方法的另一可选应用场景示意图;
图4b为适用于本申请提出的处理方法中,获得的显示内容的节点信息的一可选场景示意图;
图5为本申请提出的处理方法的可选实施例二的流程示意图;
图6为本申请提出的处理方法的可选实施例三的流程示意图;
图7为适用于本申请提出的处理方法的又一可选应用场景示意图;
图8为本申请提出的处理装置的可选实施例一的结构示意图;
图9为本申请提出的处理装置的可选实施例二的结构示意图;
图10为适用于本申请提出的处理方法的电子设备的一可选实施例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,为本申请提出的处理方法的可选实施例一的流程示意图,该方法可以适用于电子设备,该电子设备可以包括但并不局限于手机,平板电脑,个人电脑(personalcomputer,PC),个人数字助理(personal digital assistant,PDA),可穿戴式设备(如智能手表),智能家居设备(如电视),车载电脑,游戏机,以及增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等终端,本申请对电子设备的具体形式不做特殊限制,下文实施例仅以电子设备为手机为例进行说明,对于其他形式的电子设备的处理方法类似,本申请不做一一举例详述。基于此,如图1所示,本实施例提出的处理方法可以包括但并不局限于以下步骤:
步骤S101,获得显示内容的节点信息和显示数据;该节点信息能够表达显示内容,该显示数据用于输出显示以呈现显示内容;
本申请中,显示内容可以是电子设备具有的某应用APP(Application)所加载的显示于该应用的显示界面中的页面内容,如浏览器应用访问某网站页面时加载的页面内容等。其中,该应用APP可以是可下载的应用,可以是预先安装到电子设备中的应用,或者是操作者下载安装到电子设备中的第三方应用,本申请对应用APP类型及其安装方式不做限制。
本申请所要处理的显示内容来自于访问的网络地址所对应的服务器,该显示内容在该运行所述应用程序的电子设备没有对应存储的文件。所以,当需要拖拽操作(选中)某一部分显示内容(例如,图像所对应的数据),该电子设备无法知道拖拽起始点(选中)所对应的文件是什么,所以无法实现响应实现拖拽操作。为了能够识别所获得的显示内容中的不同内容,如浏览器应用访问加载的某一页面中的图片等,本申请对该显示内容包含的内容类型(如图片、文字等)不做限制,电子设备将获得显示内容的节点信息,由节点信息来表达该显示内容,以便后续可以通过操作的节点,来确定对应区域内容,本申请对节点信息的内容及其表示方式不做限制。
可选的,在电子设备配置有Android(安卓)系统的情况下,在需要识别显示内容时,可以通过预设快捷键或语音指令等任一触发方式,开启电子设备的Android(安卓)系统提供的无障碍服务AccessibilityService,以使电子设备进入辅助模式,通过对电子设备显示屏信息的识别能力,获得显示内容的节点信息,但并不局限于这种节点信息获得方法。
在实际应用中,在需要将显示内容显示于显示屏(如电子设备的显示屏,和/或目标设备的目标显示屏),电子设备可以对其来源发送的原始数据进行渲染,得到该显示内容的显示数据,如各像素点的像素值,在该显示屏上输出显示该显示数据,能够使该显示屏上呈现对应的显示内容。可见,该显示数据可以是显示内容经过渲染得到的能够直接显示的数据,该显示数据的输出显示,达到在显示屏上对应位置呈现显示内容的效果,本申请对显示内容的显示数据的获得过程不做详述。
需要说明,本申请对显示内容的节点信息和显示内容的显示数据的获得顺序不做限制。其中,在显示数据输出显示后,显示内容可以呈现在电子设备的显示屏,和/或投屏到与该电子设备连接的目标设备的目标显示屏上显示,可以依据电子设备所处的模式确定,本申请对显示内容的呈现方式和对象不做限制。
步骤S102,响应于第一操作信息,基于该显示内容的节点信息和显示数据,生成目标图像;该目标图像用于表征目标对象;即,通过上述方法步骤,生成了一个与拖拽的起始位置(选中操作)对应的目标图像文件,从而能够响应拖拽操作。
继上述分析,结合图2所示的适用于本申请提出的处理方法的一可选应用场景,以电子设备为手机,与电子设备建立连接通道,实现互联的目标设备为PC为例进行说明,互联的手机和PC可以共享使用电子设备的输入设备,如鼠标、键盘、触摸板等,图2仅以鼠标这一输入设备为例进行说明。借助键鼠共享技术(即使用一个终端的输入设备,实现对其他终端控制的技术),操作者可以使用该输入设备对手机和PC进行操作,本申请对如何使用该输入设备对手机进行操作控制过程不做详述。
基于此,在需要对显示内容的至少部分内容进行跨设备发送,如图2所示应用场景下,需要将手机的显示内容1中的部分内容快速发送至PC的显示内容2中进行显示,如需要利用手机共享的PC的鼠标,通过拖拽等快捷操作方式,将来自手机的浏览器应用所加载的页面内容(即一种显示内容1)中的图片插入到PC输出的文档(即一种显示内容2)中进行显示。按照上文描述的方法,获得该页面内容的节点信息以及显示数据,通过输出显示该显示数据,呈现该页面内容后,操作者可以使用PC的输入设备(如图2所示的鼠标,但并不局限于这种输入设备),直接将页面内容中的图片拖拽到文档应用的显示区域内。在上述拖拽操作执行过程中,需要从图片开始执行,如在目标对象呈现于需要拖拽的图片所在显示区域内时执行按下操作,PC检测到由此产生的操作信息,如目标对象的操作坐标和操作事件(如输入设备按下事件)等,可以通过连接通道发送至手机,以使得手机结合该操作信息,以及已获得的显示内容的节点信息和显示数据,生成用于表征目标对象的目标图像,该目标图像的内容可以直接显示于显示屏,以呈现上述显示内容中所操作的内容,如浏览器应用所加载页面内容中的图片等,本申请对该目标图像的生成过程不做限制。
需要说明的是,结合上文对获得的显示内容的相关描述,由于该显示内容可以是电子设备中应用(其可以包括但并不局限于上文列举的任一类型应用程序)运行所加载的页面内容,按照上文描述的方法所生成的目标图像是运行应用所加载的页面内容中的图片或文本等类别的内容对应的显示数据的图像。
其中,在对目标对象执行的上述按下操作不结束的情况(如鼠标按键维持按下状态)下执行步骤S101,后续可以继续对目标对象执行移动操作,从而完成跨设备的整个拖拽操作。可见,本申请实施例中针对图片执行的同一个拖拽操作可以包括不同阶段执行的按下操作、移动操作和结束按压操作,在如图2所示应用场景下,该按下操作可以是鼠标按键的按下操作,移动操作可以是鼠标移动操作、结束按压操作可以是鼠标按键放开操作。所以说,该第一阶段的按下操作并不是目标对象的一个完整操作,其与后续所要执行的其他阶段操作(如上述移动操作、结束按压操作等)连续执行构成一个完整操作。
在实际应用中,PC可以侦听目标对象的各输入事件,获得相应的操作信息(本申请可以记为第一操作信息),如对应类型的操作事件和操作坐标等,此时PC的操作系统并不会响应第一操作信息,甚至可以直接通过输入侦听方式,将捕获拦截到的第一操作信息,通过连接通道直接发送给手机进行响应,完成步骤S102的内容。本申请对目标设备如何将针对上述显示内容的第一操作信息发送至电子设备的实现方法不做限制。对于共享PC鼠标的手机来说,可以创建虚拟输入设备模拟第一操作信息包含的操作事件,再对其进行响应,生成目标图像,本申请对虚拟输入设备的创建实现过程不做详述,且对于步骤S102的实现方式包括但并不局限于本实施例描述的这种实现方式。
需要说明,在对显示内中至少部分内容进行跨设备传输时,获得目标对象的第一操作信息实现过程,如执行整个拖拽操作中的第一阶段的按下操作后所检测到的操作信息的获得过程,包括但并不局限于上文示例描述的实现方式,还可以基于语音识别技术,通过语音指令操作实现,在不同操作方式中的目标对象可以不同,本申请可以以使用鼠标执行操作的实现方式为例进行说明。其中,在语音指令操作场景下,还可以通过播放方式输出显示内容,以便特殊群体可以据此说出第一阶段操作内容,获得第一操作信息。
可选的,在操作者针对呈现的显示内容执行第一阶段操作后,还可以基于所获得的对应第一操作信息,调整构成目标图像的显示数据的显示状态参数,如控制所选择的图片进行高亮显示等,以突出显示内容中的需要发送的内容,本申请对该显示状态内容及其调整控制方法不做限制。
步骤S103,响应于第二操作信息,通过连接通道发送目标图像;该第二操作信息和上述第一操作信息均来自通过该连接通道所连接的目标设备,且是在对目标对象执行同一个操作的两个阶段产生。
继上述分析,仍以图2所示的手机与PC之间建立连接通道,手机共享PC的鼠标实现本申请提出的处理方法的应用场景为例进行说明,在需要将来自手机的显示内容拖拽到PC上进行显示,使用鼠标继上述按下操作后,可以拖拽该显示内容到PC的显示区域,如PC显示屏的整个显示区域,或PC处于分屏显示模式下,需要插入来自手机的显示内容的目标应用显示界面对应的显示区域等,可以依据手机与PC互联所处的模式确定。在执行结束按下操作,手机可以将生成的目标图像通过连接通道发送至目标设备,以使目标设备的对应显示区域显示电子设备的所发送的目标图像,呈现所操作的内容。
参照上文对第一操作信息的获得过程的相关描述,本申请可以按照相应的方法获得第二操作信息,即对目标对象执行的同一个操作(如拖拽操作)中区别于产生第一操作信息的阶段的另一阶段所产生的操作信息,如上述拖拽来自手机运行的浏览器应用所加载的页面内容中的图片到PC文档的示例中,操作者使用PC的鼠标,在鼠标光标显示于该图片的显示区域内,执行按下操作,通过连接通道将检测到的第一操作信息发送至手机,按照步骤S102所示方法生成目标图像,确定其拖拽到PC文档显示区域,如目标对象显示于PC文档显示区域,操作者执行结束按下操作,将通过连接通道将检测到的第二操作发送至手机,手机将执行步骤S103发送目标图像。本申请对第二操作信息的获得过程不做详述。
关于对目标对象执行的同一个操作包括但并不局限于上下文描述的使用鼠标执行的拖拽操作,也可以使用目标设备的其他类型的输入设备执行该操作,如针对键盘预先配置的快捷按键或组合按键等,或通过语音控制方式,在不同阶段输入的语音信号类型的第一操作信息和第二操作信息等,可以结合操作者使用习惯或需求确定,本申请在此不做一一举例详述。
综上,在本申请实施例中,在电子设备与目标设备之间建立连接通道,使得电子设备可以共享目标设备的输入设备,即操作者可以使用该输入设备完成对电子设备和目标设备各自呈现的显示内容的输入操作的场景下,如果需要将来自电子设备的显示内容中的部分内容快速发送至目标设备的另一显示内容进行显示,电子设备将获得其显示内容的节点信息和显示数据后,获得来自目标设备的目标对象的第一操作信息,响应该第一操作信息过程中,将结合该节点信息和显示数据,生成表征目标对象的目标图像,通过响应于来自目标设备的该目标对象的第二操作信息,直接通过连接通道发送目标图像。
可见,在上述电子设备的显示内容为第三方应用的内容,无论该第三应用是否支持图片的保存,如在第三方应用内保存图片的功能,按照本申请这种处理方法,都能够将电子设备中第三应用显示内容中的图片快速发送给目标设备,提高了显示内容跨设备的传输效率和可靠性。
结合上文对本申请提出的处理方法的相关描述,对于上述获得显示内容的节点信息的执行步骤,可以是在满足预设触发条件后才执行,如具有安卓系统的电子设备,确定开启安卓系统的无障碍服务功能,进入相应的辅助模式下,才会获得显示内容的节点信息。对于预先配置的其他内容预设触发条件,也可以按照但并不局限于下文描述的任一种实现方法,确定是否要获得显示内容的节点信息。
在第一种可能的实现方式中,电子设备可以确定用于连接目标设备的连接通道成功建立后,才执行上述获得显示内容的节点信息这一步骤。其中,该连接通道可以通过WIFI或蓝牙或近场通信等无线方式建立,以按照相应的通信协议进行数据传输,本申请对连接通信的建立实现过程及其通信原理不做详述。
在第二种可能的实现方式中,电子设备也可以在确定进入针对目标设备的第一模式,才执行上述获得显示内容的节点信息这一步骤。其中,该第一模式可以包括电子设备将显示内容(其可以是电子设备获得但未显示的内容,也可以是电子设备已经显示的内容)传输给目标对象,以在目标对象的目标显示屏上呈现该显示内容。此时,电子设备的显示屏上可以不呈现该显示内容,如图3所示投屏应用场景,便于操作者对电子设备执行其他操作。可选的,此时,电子设备的显示屏上也可以呈现该显示内容,即将该显示内容在电子设备的显示屏上显示,并将该显示内容通过连接通道传输至目标设备,在目标设备的目标显示屏上同时显示,附图并未示出该应用场景,本申请对电子设备处于第一模式的应用场景不做限制。
在第三种可能的实现方式中,电子设备也可以在确定处于第二模式,再执行上述获得显示内容的节点信息这一步骤。其中,该第二模式可以包括通过连接通道(其与目标设备连接)获得目标设备发送的用于表征目标对象(其用于操作电子设备的显示内容)移动的坐标信息,基于坐标信息显示目标对象,如图4a所示应用场景下,PC的显示屏显示的光标(即鼠标指针)能够跨屏移动到手机上显示的模式等。
可选的,可以在PC开启键鼠共享模式,将自身的输入设备共享给PC连接的手机,使得操作者可以操作PC鼠标,将鼠标指针显示于手机的显示内容上,以实现针对该显示内容的操作。基于此,PC可以通过针对鼠标指针的侦听器,侦听使用鼠标执行的各种操作事件,以及鼠标指针对应产生的坐标信息,即对应操作事件的操作坐标,通过连接通道发送至手机,手机通过该连接通道接收到该坐标信息,在自身的显示屏上显示鼠标指针的模式下,手机将获得显示内容的节点信息。需要说明,关于电子设备的第二模式的内容,包括但并不限于上文可选实施例描述的场景。
在第四种可能的实现方式中,电子设备可以在通过连接通道获得目标设备发送的坐标信息(如上述分析,该坐标信息用于显示目标对象),如PC的鼠标指针已经跨屏移动到手机的显示屏上显示,可以获得显示内容的节点信息。关于上述各种实现方式中,获得显示内容的节点信息后的处理步骤,可以参照上下文实施例对应部分的描述,本申请在此不做一一举例详述。
在一些实施例中,结合上文对电子设备所具有的第一模式和第二模式的相关描述,在本申请提出的处理方法实现过程中,电子设备处于不同模式,上下文实施例中第一操作信息和第二操作信息的获得过程不同。
其中,如果电子设备处于第一模式,在将电子设备的显示内容传输给目标设备,以在目标设备的目标显示屏上呈现的情况下,参照但并不局限于图3所示应用场景,电子设备将通过连接通道获得对目标显示屏上呈现的目标对象执行同一个操作的两个节点产生的第一操作信息和第二操作信息,可见,在处于第一模式下,目标设备的输入设备的目标对象(如鼠标指针)显示于目标显示屏上,直接移动输入设备,以控制目标对象移动至目标显示屏上呈现的来自电子设备的显示内容中需要发送的内容所在显示区域内,开始执行上述同一操作的第一阶段,如跨设备拖拽图片场景下所执行的拖拽操作包含的按下操作,目标设备将检测到的对应的第一操作信息发送至电子设备。
而在电子设备处于第二模式下,由于电子设备的显示内容为传输给目标设备,如图4a所示,目标设备的目标显示屏上不会显示来自电子设备的显示内容,这种情况下,需要将目标设备的输入设备共享给电子设备,使得目标对象能够跨屏移动到电子设备的显示屏上呈现,如图4a中PC鼠标的光标呈现在手机的显示屏上,在该模式下,操作者操作输入设备所执行的操作,是对电子设备的显示屏上呈现的目标设备执行的操作,目标设备将获得该操作执行过程中的每一阶段所产生的操作信息后,通过连接通道发送至电子设备,由电子设备响应该操作信息,按照本申请提出的处理方法中对应步骤中的描述内容实现后续处理。
参照图5所示,为本申请提出的处理方法的可选实施例二的流程示意图,该方法仍可以由电子设备执行,本实施例可以对上文描述的处理方法中的一可选细化实现过程进行描述,如图5所示,该处理方法可以包括:
步骤S501,获得显示内容的节点信息和显示数据;该节点信息能够表达该显示内容,该显示数据用于输出显示以呈现该显示内容;
关于步骤S501的实现过程,可以参照上文实施例对应部分的描述,如步骤S101对应部分的描述,本实施例不做赘述。
在一些实施例中,确定需要执行步骤S501的情况下,在显示内容的节点信息的一可选实现方式中,电子设备可以获得显示内容包含的多个节点;这多个节点可以包括第一类节点和第二类节点,每个第一类节点可以包括单位量(如一个段落等)字符信息以及单位量字符位于显示内容的区域坐标,每个第二类节点包括图片描述信息以及图片位于显示内容的区域坐标等。
结合上文图3和图4a所示应用场景给出的电子设备的显示内容的示例,可以在开启电子设备的无障碍服务功能后,基于该无障碍服务功能获得电子设备的显示内容的节点信息。如该示例中,参照图4b所示的获得的显示内容的节点信息的一可选场景示意图,将浏览器应用所加载的页面内容(其可以包括手机显示屏已经呈现出的内容,以及属于该浏览器应用已加载但未呈现的同一页面内容中的部分内容)分配成多个节点,对于其中的文字部分,可以将每一个段落的内容可以分配为一个节点,记为第一类节点,一幅图片内容可以分配为一个节点,记为第二类节点,但并不局限于这种节点分配方式,可以依据该无障碍服务功能的配置文件确定,本申请仅以此为例进行说明。
其中,为了准确表达从整个显示内容中分配到的节点,可以通过电子设备已具有的显示屏信息识别能力,识别显示内容中属于每一个第一类节点中的字符信息及其对应字符位于整个显示内容的区域坐标,并获得每一个第二类别节点的图片描述信息,识别对应描述的图片位于整个显示内容的区域坐标,以便后续可以基于操作的目标对象的坐标信息,确定想要将显示内容中哪部分内容显示于目标设备中。
需要说明,关于电子设备的显示内容的节点信息的获得方法,包括但并不局限于基于本实施例描述的无障碍服务功能实现,在电子设备配置的其他服务功能具有显示内容识别能力的情况下,也可以调用该其他服务功能,获得显示内容的节点信息,实现过程本申请不做详述。
其中,在关闭电子设备的该无障碍服务功能,电子设备将进入第三模式,如内容阅览模式等,无法再获得显示内容的节点信息,仍可以获得来自目标设备的操作信息(其是对目标对象执行的区别于上述产生第一操作信息和第二操作信息所执行的操作的另一操作),响应于该操作信息,调整电子设备的显示屏呈现的显示内容,如翻页显示等。
步骤S502,获得第一操作信息;该第一操作信息包括第一操作事件和第一操作坐标;
关于目标对象的第一操作信息的获得过程,可以参照上文实施例对应部分的描述,本实施例在此不做详述。本实施例仅以图3和图4a所示应用场景下,操作者使用PC的鼠标,将目标对象移动到来自手机的浏览器应用所加载的页面内容中图片所在显示区域内呈现,执行按下操作的场景为例进行说明。此时,该第一操作事件可以鼠标按下事件,第一操作坐标可以是执行该鼠标按下事件时,目标对象呈现位置处的坐标信息。
步骤S503,基于第一操作坐标和该显示内容的节点信息,确定目标区域;
步骤S504,基于目标区域和显示内容的显示数据,获得与目标区域对应的目标显示数据;
步骤S505,基于该目标显示数据,生成目标图像;
结合上文对显示内容的节点信息的相关描述,获得目标对象的第一操作坐标后,可以将其与显示内容包含的各节点中的区域坐标进行比较,确定第一操作坐标属于哪个区域坐标,由此确定第一操作事件所确定显示内容中的目标区域,如图3所示的图片区域的边界框四个顶点坐标信息等。
之后,可以从整个显示内容的显示数据中,获得所确定的目标区域对应的目标显示数据,如图3所示应用场景中,光标位于图片显示区域内执行按下操作,获得图片的显示数据。结合上文实施例步骤S101对应部分对显示内容的显示数据的相关描述,该显示数据是电子设备的渲染层上显示屏所显示的数据,将其直接存储为图片格式的文件即目标图像,这样,在显示内容为第三方应用的页面内容的情况下,无需关注该第三方应用是否支持页面内容中图片保存功能,本申请这种处理方法都能够获得用于显示该图片的目标图像,提高了跨设备传输显示内容的适用范围,大大减少了执行步骤,提高了显示内容跨设备传输效率。
步骤S506,获得第二操作信息;该第二操作信息包括第二操作事件和第二操作坐标;该第二操作信息和上述第一操作信息均来自目标设备,且是在对目标对象执行同一个操作的两个阶段产生;
步骤S507,基于第二操作坐标,通过连接通道将目标图像发送给目标设备。
关于第二操作信息的产生和获得过程,可以参照上文实施例对应部分的描述,电子设备通过连接通道获得来自目标设备的第二操作信息后,确定其包含的第二操作事件为操作完成事件,如结束按下操作对应的结束按下事件等,如图3和图4a所示的应用场景中,操作者松开鼠标按键,PC侦听在该第二操作事件,识别对应的第二操作坐标,将由此构成的第二操作信息通过连接通道发送至手机,手机响应于该第二操作信息,通过连接通道发送当前所生成的目标图像过程中,可以确定第二操作事件为结束按下事件或目标对象移动离开电子设备的显示屏的离开事件,基于对应的第二操作坐标,确定将目标图像发送给哪个设备,以通过对应连接通道发送该目标图像,以使该设备接收到目标图像后输出,以在其显示屏上直接显示对应的内容。
其中,在如图3所示的应用场景,电子设备基于获得的第二操作信息中的第二操作坐标,确定目标对象从手机呈现的显示内容的右侧移动离开,确定将对应的目标图像发送至位于手机右侧的PC,由于目标图像是渲染层上的目标显示数据的图片,PC可以直接显示目标图像,如在PC输出的文档中呈现手机中浏览器应用所加载的页面内容中的图片,即将手机浏览器应用所加载的页面内容中的图片快速插入PC文档中,PC无需再进行渲染操作。
可选的,若拖拽图片之前PC显示多个应用的显示界面,如多个文档等,按照上文描述的方法将目标图像发送给目标设备,可以由目标设备获得结束按下事件产生时目标对象所在的坐标信息,结合PC中多个显示界面各自的显示区域坐标,确定将目标图像发送给PC的哪个应用显示,该过程可以由PC接收到目标图像后实现,本申请对该实现过程不做详述。
需要说明,关于电子设备响应于第二操作信息,通过连接目标设备的连接通道发送目标图像的实现过程,包括但并不局限于上文描述的实现方法。且关于上下文各实施例描述的通过连接通道对目标图像的传输,可以依据该连接通道所支持的通信协议即通信传输机制,发送目标图像,本申请对目标图像的发送实现过程不做详述。
参照图6,为本申请提出的处理方法的可选实施例三的流程示意图,该方法仍可以由电子设备执行,本实施例可以是对上文各实施例描述的处理方法的一可选扩展实现方法,如图6所示,该处理方法可以包括:
步骤S601,获得显示内容的节点信息和显示数据;该节点信息能够表达显示内容,该显示数据用于输出显示以呈现显示内容;
步骤S602,响应于第一操作信息,基于该显示内容的节点信息和显示数据,获得目标区域对应的目标显示数据;
关于步骤S601和步骤S602的实现过程,可以参照上文实施例对应部分的描述,本实施例在此不做详述。
步骤S603,基于目标显示数据,生成目标图像和缩略图图像;该缩略图图像小于目标图像;
在一些实施例中,结合图7所示的应用场景,操作者对手机的浏览器应用所加载的页面内容中的图片感兴趣,使用PC的鼠标点击该图片,按照上述步骤自动识别到该图片的目标显示数据后,可以生成对应的目标图像,还可以生成该目标图像的缩略图图像,如图7所示的TXT格式的缩略图,也可以是其他格式缩略图图像,本申请对该缩略图图像的生成方法不做详述,以便操作者可以通过缩略图图像核对待发送的目标图像是否正确。
步骤S604,响应于第三操作信息,发送缩略图图像,并在该缩略图图像发送过程中,基于该第三操作信息显示该缩略图图像;
继上述分析,在对目标对象执行同一操作的开始阶段(如上述第一阶段)后,在其相邻后续阶段,如长按鼠标进行移动操作(即拖拽操作中的第三阶段的操作),目标设备将获得第三操作信息,通过连接通道将第三操作信息发送至电子设备,这样,电子设备可以获得第三操作信息,该第三操作信息包含第三操作事件(如移动事件)及其对应的第三操作坐标(如目标对象的移动轨迹的坐标信息),使得电子设备可以基于第三操作坐标,发送缩略图图像。
可选的,如图7所示,在发送缩略图图像过程中,可以基于第三操作坐标,显示缩略图图像,即该缩略图图像的显示位置可以随着目标对象的第三操作坐标的变化而改变,使得显示的缩略图图像可以按照目标对象的移动轨迹进行同步移动显示,实现过程本申请不做限制。
在另一些实施例中,本申请也可以基于显示内容的显示数据,生成对应的缩略图标识或显示预先配置的拖拽标识,按照上文描述的方法,控制与目标对象的移动轨迹进行同步显示,以使操作者可以通过显示的缩略图图像,直观得知目标图像的发送路径。
需要说明的是,在基于第三操作信息,发送缩略图图像过程中,也可以不显示该缩略图图像,可以依据预先配置要求,确定是否显示该缩略图图像。可选的,在获得第三操作信息后,也可以不用生成缩略图图像,基于第三操作坐标,显示目标对象的移动路径等,实现过程本申请不做详述。
步骤S605,响应于第二操作信息,发送目标图像;上述第一操作信息、第二操作信息和第三操作信息均来自通过该连接通道所连接的目标设备,且是在对目标对象执行同一个操作的三个连续阶段顺次产生。
关于步骤S605的实现过程,可以参照上文实施例对第二操作信息和目标图像的相关部分的描述,本实施例在此不做详述。如图3和图4a所示的应用场景下,操作者点击手机浏览器应用所加载的页面内容的图片,按照上文方法生成目标图像后,操作者移动PC鼠标,即执行拖拽移动操作,根据需要可以显示该图片的缩略图图像,还可以按照鼠标移动轨迹进行同步显示,直至光标移动到PC的文档应用的显示界面上松开鼠标,可以将手机的浏览器应用所加载的页面内容中的图片插入PC输出的文档中。
由于手机发送的目标图像是基于浏览器应用所加载的页面内容的节点信息和显示数据,结合所获得的第一操作信息,确定图片的目标显示数据后,该可以直接输出显示的目标显示数据生成,无论该浏览器应用是否支持图片保存,本申请通过这种拖拽浏览器应用所加载的页面内容的图片,快速将生成的目标图像发送至PC,PC无需再执行图像渲染操作,可以直接在文档中显示目标图像,即将手机浏览器应用所加载的页面内容的图片插入PC输出的文档中显示,操作非常方便,提高用户使用体验。
需要说明的是,对于上述拖拽的内容包括但并不局限于手机浏览器应用所加载的页面内容的一幅图片,按照上文描述的方法拖拽该页面内容中的多幅图片,还可以选择部分段落的文字内容拖拽插入PC文档中显示,也就是说,在上文各实施例描述的处理方法中,上述确定的目标区域可以是显示内容包含多个节点中的一个或多个节点(其可以是同类型的多个节点,如多个第一类节点或多个第二类节点,也可以是不同类型的多个节点,如至少一个第一类节点和至少一个第二类节点等)的区域,对于这些场景下的处理方法与上文各实施例描述的处理方法类似,本申请不再举例详述。
另外,对于本申请提出的处理方法所适用的应用场景的系统结构,包括但并不局限于图2所示的手机与PC互联的场景,也可以是更多设备(其包括但并不局限于本申请列举的各类型的终端)互联后的应用场景,对于其中任意两个设备之间的内容传输,都可以按照上文实施例描述的处理方法实现,本申请不再一一举例详述。
参照图8,为本申请提出的处理装置的可选实施例一的结构示意图,该处理装置可以包括:
获得模块810,用于获得显示内容的节点信息和显示数据;所述节点信息能够表达所述显示内容,所述显示数据用于输出显示以呈现所述显示内容;
目标图像生成模块820,用于响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;所述目标图像用于表征目标对象;
目标图像发送模块830,用于响应于第二操作信息,通过连接通道发送所述目标图像;
其中,所述第一操作信息和所述第二操作信息均来自通过所述连接通道连接的目标设备,且是在对所述目标对象执行同一个操作的两个阶段产生。
可选的,在上述获得模块810执行之前,还可以包括以下任一确定模块或坐标信息获得模块:
第一确定模块,用于确定连接通道成功建立,触发获得模块810获得显示内容的节点信息;所述连接通道用于连接目标设备;
第二确定模块,用于确定进入针对目标设备的第一模式,触发获得模块810获得显示内容的节点信息,所述第一模式包括:将显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现所述显示内容;
第三确定模块,用于确定处于第二模式,触发获得模块810获得显示内容的节点信息;所述第二模式包括:通过连接通道获得所述目标设备发送的用于表征目标对象移动的坐标信息,基于所述坐标信息显示所述目标对象,所述目标对象用于操作所述显示内容,所述连接通道与所述目标设备连接;
坐标信息获得模块,用于通过连接通道获得所述目标设备发送的坐标信息,触发获得模块810获得显示内容的节点信息;其中,所述坐标信息用于显示目标对象。
在本申请实际应用中,如果处于第一模式,将所述显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现的情况下,通过连接通道获得的对所述目标显示屏上呈现的所述目标对象执行同一个操作的两个阶段产生的第一操作信息和第二操作信息。如果处于第二模式,在所述显示内容未传输给所述目标设备的情况下,通过连接通道获得的所述目标设备的输入设备针对电子设备的显示屏上呈现的所述目标对象执行一个操作的两个阶段产生的第一操作信息和第二操作信息。
可选的,上述获得模块810可以包括:
第一获得单元,用于获得显示内容包含的多个节点;所述多个节点包括第一类节点和第二类节点;
其中,每个所述第一类节点包括单位量字符信息以及单位量字符位于所述显示内容的区域坐标,每个所述第二类节点包括图片描述信息以及图片位于所述显示内容的区域坐标
第二获得单元,用于获得显示内容的显示数据。
基于上下文实施例描述的处理装置,如图9所示的处理装置的可选实施例二的结构示意图,上述目标图像生成模块820可以包括
第一操作信息获得单元821,用于获得第一操作信息;所述第一操作信息包括第一操作事件和第一操作坐标;
目标区域确定单元822,用于基于所述第一操作坐标和所述节点信息,确定目标区域;
目标显示数据获得单元823,用于基于所述目标区域和所述显示数据,获得与所述目标区域对应的目标显示数据;
目标图像生成单元824,用于基于所述目标显示数据,生成目标图像。
基于上述处理装置,该处理装置还可以包括:
缩略图图像生成模块,用于基于所述目标显示数据,生成缩略图图像;所述缩略图图像小于所述目标图像;
缩略图图像发送模块,用于响应于第三操作信息,发送所述缩略图图像;所述第三操作信息是在对所述目标对象执行所述同一个操作的两个阶段之间产生的。
可选的,上述处理装置还可以包括:
缩略图图像显示模块,用于在所述发送所述缩略图图像过程中,基于所述第三操作信息,显示所述缩略图图像。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
本申请还提供了一种计算机可读存储介质,其上可以存储至少一个计算机指令集,处理设备通过执行该计算机指令,实现本申请提出的处理方法,关于该处理方法的实现过程,可以参照上文方法实施例对应部分的描述,本申请在此不做一一举例详述。
参照图10,为适用于本申请提出的处理方法的电子设备的一可选实施例的硬件结构示意图,结合上文图2、图3、图4a以及图7所示的应用场景,如图10所示,该电子设备可以包括显示屏1010、连接端口1020和处理器1030,其中:
显示屏1010可以能够用于对显示内容的显示数据输出显示,呈现该显示内容。该显示屏1010可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括一个或多个显示屏,本申请对显示屏的布局及其内容显示原理不做详述。
连接端口1020可以用于连接目标设备,以在电子设备与目标设备之间形成连接通道,能够通过该连接通道接收目标设备发送的目标对象的各操作信息,如上述第一操作信息、第二操作信息和第三操作信息等,应该理解的是,这三种操作信息是对目标对象执行同一个操作的三个阶段顺次产生的,由目标设备检测到每一操作信息后通过该连接通道发送至电子设备,实现过程本实施例在此不做详述。
可选的,上述连接端口1020可以是支持如wifi、蓝牙和/或近场通道方式等无线通信方式对应的通讯元件,以使得电子设备可以通过该通讯元件,基于相应的通讯机制,实现与其他设备(如上述目标设备或其他设备)进行数据交互,本申请对通讯元件1020的组成结构及其对应的通讯机制不做限制,可视情况而定。
当然,连接端口1020也可以是支持电子设备与目标设备有线方式连接的端口,如相应类型的USB接口等,还可以包括实现电子设备内容组成部分之间通信连接的一个或多个接口,如通用输入输出(general-purpose input/output,GPIO)接口、USB接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口等,可以依据数据传输需求确定连接端口1020的类型及其数量,本申请不做限制。其中,对于电子设备中的各组成部分之间可以通过通信总线,如数据总线、指令总线等进行数据交互。
处理器1030可以用于获得显示内容的节点信息和显示数据;响应于第一操作信息,基于该节点信息和显示数据,生成目标图像;响应于第二操作信息,通过连接目标设备的连接通道发送该目标图像。其中,该节点信息能够表达显示内容,该目标图像用于表征目标对象。关于该处理电路1030对这些处理步骤的实现过程,可以参照上文方法实施例对应的部分的描述,本实施例在此不做详述。
可选的,处理器1030可以包括至少一个存储单元和至少一个处理单元,处理单元可以执行存储单元存储的程序代码,实现本申请提出的处理方法。其中,处理单元可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphicsprocessing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP)、中央处理器(CentralProcessing Unit,CPU)、特定应用集成电路(application-specific integratedcircuit,ASIC)现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。存储单元可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件等,本申请对处理器1030的组成结构不做限制。
可选的,在处理器1030内部具有存储空间的情况下,如上文列举的各处理器等,可以不用集成或连接如上文列举的各存储器,直接实现本申请提出的处理方法。
应该理解的是,图10所示的电子设备的结构并不构成对本申请实施例中电子设备的限定,在实际应用中,电子设备可以包括比图10所示的更多或更少的部件,或者组合某些部件,如摄像头、拾音器等至少一个输入组件;如扬声器、振动机构、灯等至少一个输出组件;天线;包含各类传感器的传感器模组;电源管理模组,天线等,可以依据电子设备类型及其功能需求确定硬件结构,本申请在此不做一一列举。
最后,需要说明的是,关于上述各实施例中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
本申请涉及到的术语诸如“第一”、“第二”等仅用于描述目的,用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种处理方法,所述处理方法包括:
获得显示内容的节点信息和显示数据;所述节点信息能够表达所述显示内容,所述显示数据用于输出显示以呈现所述显示内容;
响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;所述目标图像用于表征目标对象;
响应于第二操作信息,通过连接通道发送所述目标图像;
其中,所述第一操作信息和所述第二操作信息均来自通过所述连接通道连接的目标设备,且是在对所述目标对象执行同一个操作的两个阶段产生。
2.根据权利要求1所述的处理方法,所述处理方法还包括以下任意一个:
确定连接通道成功建立,执行步骤所述获得显示内容的节点信息;所述连接通道用于连接目标设备;
确定进入针对目标设备的第一模式,执行步骤所述获得显示内容的节点信息,所述第一模式包括:将显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现所述显示内容;
确定处于第二模式,执行步骤所述获得显示内容的节点信息;所述第二模式包括:通过连接通道获得所述目标设备发送的用于表征目标对象移动的坐标信息,基于所述坐标信息显示所述目标对象,所述目标对象用于操作所述显示内容,所述连接通道与所述目标设备连接;
通过连接通道获得所述目标设备发送的坐标信息,执行步骤所述获得显示内容的节点信息;其中,所述坐标信息用于显示目标对象。
3.根据权利要求1所述的处理方法,所述获得显示内容的节点信息,包括:
获得显示内容包含的多个节点;所述多个节点包括第一类节点和第二类节点;
其中,每个所述第一类节点包括单位量字符信息以及单位量字符位于所述显示内容的区域坐标,每个所述第二类节点包括图片描述信息以及图片位于所述显示内容的区域坐标。
4.根据权利要求1-3任一项所述的方法,所述响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像,包括:
获得第一操作信息;所述第一操作信息包括第一操作事件和第一操作坐标;
基于所述第一操作坐标和所述节点信息,确定目标区域;
基于所述目标区域和所述显示数据,获得与所述目标区域对应的目标显示数据;
基于所述目标显示数据,生成目标图像。
5.根据权利要求1-3任一项所述的处理方法,其中:
如果处于第一模式,将所述显示内容传输给所述目标设备,以在所述目标设备的目标显示屏上呈现的情况下,通过连接通道获得的对所述目标显示屏上呈现的所述目标对象执行同一个操作的两个阶段产生的第一操作信息和第二操作信息;
如果处于第二模式,在所述显示内容未传输给所述目标设备的情况下,通过连接通道获得的所述目标设备的输入设备针对电子设备的显示屏上呈现的所述目标对象执行一个操作的两个阶段产生的第一操作信息和第二操作信息。
6.根据权利要求4所述的处理方法,所述处理方法还包括:
基于所述目标显示数据,生成缩略图图像;所述缩略图图像小于所述目标图像;
响应于第三操作信息,发送所述缩略图图像;所述第三操作信息是在对所述目标对象执行所述同一个操作的两个阶段之间产生的。
7.根据权利要求6所述的处理方法,所述处理方法还包括:
在所述发送所述缩略图图像过程中,基于所述第三操作信息,显示所述缩略图图像。
8.一种处理装置,所述处理装置包括:
获得模块,用于获得显示内容的节点信息和显示数据;所述节点信息能够表达所述显示内容,所述显示数据用于输出显示以呈现所述显示内容;
目标图像生成模块,用于响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;所述目标图像用于表征目标对象;
目标图像发送模块,用于响应于第二操作信息,通过连接通道发送所述目标图像;
其中,所述第一操作信息和所述第二操作信息均来自通过所述连接通道连接的目标设备,且是在对所述目标对象执行同一个操作的两个阶段产生。
9.根据权利要求8所述的处理装置,所述目标图像生成模块包括
第一操作信息获得单元,用于获得第一操作信息;所述第一操作信息包括第一操作事件和第一操作坐标;
目标区域确定单元,用于基于所述第一操作坐标和所述节点信息,确定目标区域;
目标显示数据获得单元,用于基于所述目标区域和所述显示数据,获得与所述目标区域对应的目标显示数据;
目标图像生成单元,用于基于所述目标显示数据,生成目标图像。
10.一种电子设备,所述电子设备包括:
显示屏,用于对显示内容的显示数据输出显示,呈现所述显示内容;
连接端口,用于连接目标设备,以在所述电子设备与所述目标设备之间形成连接通道,能够通过所述连接通道接收所述目标设备发送的目标对象的各操作信息;
处理器,用于获得所述显示内容的节点信息和显示数据;响应于第一操作信息,基于所述节点信息和所述显示数据,生成目标图像;响应于第二操作信息,通过所述连接通道发送所述目标图像;
其中,所述节点信息能够表达所述显示内容,所述目标图像用于表征所述目标对象,且所述第一操作信息和所述第二操作信息是在对所述目标对象执行同一个操作的两个阶段产生。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311331308.XA CN117348829A (zh) | 2023-10-13 | 2023-10-13 | 处理方法及装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311331308.XA CN117348829A (zh) | 2023-10-13 | 2023-10-13 | 处理方法及装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117348829A true CN117348829A (zh) | 2024-01-05 |
Family
ID=89356996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311331308.XA Pending CN117348829A (zh) | 2023-10-13 | 2023-10-13 | 处理方法及装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117348829A (zh) |
-
2023
- 2023-10-13 CN CN202311331308.XA patent/CN117348829A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022156368A1 (zh) | 推荐信息展示方法及装置 | |
US20240053879A1 (en) | Object Drag Method and Device | |
CN107831974B (zh) | 信息分享方法、装置及存储介质 | |
CN113741765B (zh) | 页面跳转方法、装置、设备、存储介质和程序产品 | |
CN110990075B (zh) | 快应用的启动方法、装置、设备及存储介质 | |
CN111414225B (zh) | 三维模型远程展示方法、第一终端、电子设备及存储介质 | |
WO2022089209A1 (zh) | 一种图片评论的处理方法、装置、电子设备和存储介质 | |
JP2023503679A (ja) | マルチウィンドウ表示方法、電子デバイス及びシステム | |
CN112230909A (zh) | 小程序的数据绑定方法、装置、设备及存储介质 | |
US11061641B2 (en) | Screen sharing system, and information processing apparatus | |
WO2022156606A1 (zh) | 信息处理方法、装置及电子设备 | |
US10990344B2 (en) | Information processing apparatus, information processing system, and information processing method | |
US20230342104A1 (en) | Data Transmission Method and Device | |
WO2021175143A1 (zh) | 图片获取方法及电子设备 | |
WO2021017691A1 (zh) | 内容显示方法及终端设备 | |
US20140229823A1 (en) | Display apparatus and control method thereof | |
CN110971974B (zh) | 配置参数创建方法、装置、终端及存储介质 | |
US20240073488A1 (en) | Live video processing method and apparatus, device and medium | |
US11507633B2 (en) | Card data display method and apparatus, and storage medium | |
CN107220371B (zh) | 页面显示方法、装置及存储介质 | |
CN111817944A (zh) | 图片分享的方法、装置及电子设备 | |
WO2022242628A1 (zh) | 投屏方法、装置、设备及存储介质 | |
CN110888854A (zh) | 内容分享方法及电子设备 | |
CN111708533B (zh) | 在应用瘦客户端中设置鼠标显示状态的方法及装置 | |
CN117348829A (zh) | 处理方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |