CN113778575A - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113778575A CN113778575A CN202010518144.1A CN202010518144A CN113778575A CN 113778575 A CN113778575 A CN 113778575A CN 202010518144 A CN202010518144 A CN 202010518144A CN 113778575 A CN113778575 A CN 113778575A
- Authority
- CN
- China
- Prior art keywords
- display control
- layer data
- control message
- merging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000009877 rendering Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004075 alteration Effects 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical group [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开公开了一种图像处理方法、装置及电子设备,该方法包括:获取待处理的显示控制消息集合;获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据。该方法可以降低图像处理过程中的计算复杂度,提升终端设备的响应速度。
Description
技术领域
本公开涉及图像处理技术领域,更具体地,涉及一种图像处理方法、装置及电子设备。本申请同时还涉及图像展示方法。
背景技术
随着通信技术的不断发展,为了减轻终端设备的硬件压力以及提升应用程序的响应速度,越来越多的应用程序被部署在服务器中,并以云应用的方式为用户提供服务。
以安卓系统(AndroidSystem)中的安卓云应用为例,目前针对安卓云应用的图像处理方法是基于安卓传统对图层的处理方法,即,由安卓系统中的SurfaceFlinger服务将接收到的与不同应用程序对应的、用于控制界面图像变化的显示控制消息转换为对应的图层数据,并在满足图层合并处理条件的情况下,对该图层数据进行合并和渲染处理,以获得供终端设备展示的界面图像。
上述方法与针对安卓本地应用的图像处理方法并无本质不同,然而,在云应用场景中,用户通常仅关注终端设备中运行的目标应用的界面变化;但是,上述图像处理方法在处理界面图像时,仍会处理目标应用以外的其他应用,如桌面(Launcher)中桌面、状态栏或通知栏等应用的界面图像变化,这将增加图像处理时待处理的图层数据的数量,进而增加计算复杂度,降低终端设备的响应速度。
以上,是以安卓系统中的安卓云应用为例说明现有的图像处理方法存在的计算复杂度高以及响应速度慢的问题。需要说明的是,针对其他操作系统,例如,苹果系统(iOS,iPhoneOperationSystem)或Windows系统中的云应用的图像处理方法同样存在上述问题。
发明内容
本公开实施例的一个目的是提供一种用于图像处理的新技术方案。
根据本公开的第一方面,提供了一种图像处理方法,该方法包括:
获取待处理的显示控制消息集合;
获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;
根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据。
可选地,所述获取与所述显示控制消息集合中的显示控制消息对应的图层数据,包括:
获取与所述显示控制消息对应的对象标识;
根据所述对象标识,确定所述图层数据的合并标识信息。
可选地,所述根据所述对象标识,确定所述图层数据的合并标识信息,包括:
在所述对象标识为设定的目标对象标识的情况下,确定所述图层数据为与目标对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示参与图层合并处理的第一合并标识信息。
可选地,所述根据所述对象标识,确定所述待处理图层数据的合并标识信息,还包括:
在所述对象标识不为设定的目标对象标识的情况下,确定所述图层数据为与其他对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示不参与图层合并处理的第二合并标识信息。
可选地,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据,包括:
根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据;
对所述目标图层数据进行合并和渲染处理,获得所述目标图像数据。
可选地,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据,包括:
在所述图层数据的合并标识信息为所述第一合并标识信息的情况下,确定所述图层数据为所述目标图层数据。
可选地,所述方法还包括:
接收用于获取所述目标图像数据的数据请求消息;
根据所述数据请求消息,执行所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据的步骤。
可选地,所述方法还包括:
接收显示控制消息,并将所述显示控制消息存储在缓冲区内;
在获得所述目标图像数据之后,清空所述缓冲区;
所述获取待处理的显示控制消息集合,包括:
获取存储在所述缓冲区内的显示控制消息,构成所述显示控制消息集合。
可选地,所述方法应用于运行有安卓系统的服务器中。
可选地,所述方法还包括:
将所述目标图像数据提供给所述终端设备。
可选地,所述将所述目标图像数据提供给所述终端设备,包括:
将所述目标图像数据以视频流的方式提供给所述终端设备。
根据本公开的第二方面,还提供一种图像展示方法,应用于终端设备,包括:
发送待处理的显示控制消息至服务器进行图像处理,其中,所述图像处理包括:获取待处理的显示控制消息集合;获取与所述显示控制消息集合中的显示控制消息对应的图层数据,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;以及,根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得目标图像数据;
获取所述服务器进行所述图像处理后提供的所述目标图像数据;
展示所述目标图像数据。
可选地,所述终端设备包括以下至少一种计算设备:移动终端设备、智能家居设备。
根据本公开的第三方面,还提供另一种图像展示方法,应用于终端设备,包括:
获取图像变更信息,其中,所述图像变更信息包括目标对象和目标对象以外的其他对象的图像变更信息;
生成与所述图像变更信息对应的显示控制消息;
将所述显示控制消息发送至服务器;
获取所述服务器返回的、与所述目标对象对应的目标图像数据;
展示所述目标图像数据。
可选地,所述目标对象的图像变更信息包括图像帧的变更信息。
可选地,所述获取图像变更信息,包括:
接收针对所述目标对象的触发操作;
响应于所述触发操作,生成与所述目标对象对应的图像变更信息。
可选地,所述获取图像变更信息,包括:
获取所述其他对象的状态变更信息;
根据所述状态变更信息,生成与所述其他对象对应的图像变更信息。
可选地,所述目标对象包括以下至少一种应用程序:游戏类应用程序、视频类应用程序以及直播类应用程序。
根据本公开的第四方面,还提供一种图像处理装置,包括:
控制消息集合获取模块,用于获取待处理的显示控制消息集合;
图层数据获取模块,用于获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;
图像数据获得模块,用于根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备显示的目标图像数据。
根据本公开的第五方面,还提供一种电子设备,包括根据本公开的第四方面所述的装置;或者,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,运行所述电子设备执行根据本公开的第一方面、第二方面或者第三方面所述的方法。
根据本公开的第六方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据本公开的第一方面、第二方面或者第三方面所述的方法。
根据本公开的实施例,在获取到与待处理的显示控制消息集合中的显示控制消息对应的图层数据之后,不需要对显示控制消息集合所对应的全部图层数据进行合并和渲染处理,而是根据图层数据中的合并标识信息,自适应的选择适合的图层数据进行合并和渲染处理,可以降低计算复杂度,提升终端设备的响应速度。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其他特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且连同其说明一起用于解释本公开的原理。
图1a是示意本公开实施例提供的一种现有的图像处理方法的处理示意图。
图1b是示意本公开实施例的作用效果的应用场景示意图。
图1c是可用于实现本公开实施例的图像处理方法的一种可供选择的数据处理系统的硬件配置结构图。
图2是根据本公开实施例的图像处理方法的流程示意图。
图3是根据本公开实施例的图像处理方法的处理示意图。
图4是根据本公开另一实施例的图像展示方法的流程示意图。
图5是根据本公开又一实施例的图像展示方法的流程示意图。
图6是根据本公开实施例的图像处理装置的示意性原理框图。
图7a是根据本公开一个实施例的电子设备的示意性原理框图。
图7b是是根据本公开另一个实施例的电子设备的示意性原理框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其他例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
随着通信技术的不断发展,为了减轻终端设备的硬件压力以及提升应用程序的响应速度,通过在终端设备1200上安装云应用,从而为用户提供服务的方式越来越受到重视,其中,云应用,是指被部署和运行在服务器上,并通过网络将对应的界面图像数据发送到终端设备上进行显示的应用程序。请参看图1a,其为本公开实施例提供的一种现有的图像处理方法的处理示意图。如图1a所示,目前针对云应用,例如,针对安卓云应用的一种图像处理方法是由终端设备1200发送与云应用对应的显示控制消息,例如,用于启动云应用的显示控制消息到服务器1100,服务器1100在接收到终端设备1200发送的显示控制消息之后,创建与该云应用对应的Activity组件,并为其创建用于承载界面图像数据的界面(Surface)组件;之后,服务器1100针对该显示控制消息,通过安卓系统内置的SurfaceFlinger服务为不同的显示控制消息创建不同的图层数据(Layer),并在获取到终端设备1200发送的垂直同步(VSync,VerticalSynchronization)信号或其他类似作用的同步显示信号后,服务器1100对接收到的、与不同应用对应的图层数据进行合并处理,即,通过doComposition方法将多个图层数据按照既定的显示区域,进行合并和渲染处理,以获得显示图像数据,并将该显示图像数据通过postComposition方法发送给终端设备1200。需要说明的是,因为现有技术中有针对SurfaceFlinger服务中相关方法函数的详细说明,此处不再赘述。
然而,需要说明的是,用户在实际使用云应用时,通常仅关注其打开的目标应用的界面图像,而在上述图像处理方法中,服务器1100在等待VSync信号以合并与目标应用对应的图层数据的过程中,还可能接收到其他应用,例如,还可能接收到与桌面(Launcher)屏幕消息对应的图层数据,这将使得服务器1100需要处理的图层数据的数量以及层次变多,进而增加对图层数据进行合并处理时的计算复杂度,降低终端设备的响应速度。另外,当目标应用为游戏类、视频类或者直播类等需要全屏幕展示的应用程序时,服务器1100在进行图层合并时,如果还存在其他应用的图层数据,则在进行图层合并处理的同时,服务器1100还需要额外计算不同应用对应的可见区域,以避免其他应用的界面图像遮挡目标应用的界面图像,这又将进一步增加图层合并处理时的计算复杂度。此外,由于云应用场景中用户一般仅关注其打开的目标应用的界面图像的变化,而如果在用户使用目标应用的过程中,用户还查看到了服务器发送的其他应用,例如,桌面、状态栏或者控制栏等应用相关的界面图像,这势必会降低用户体验。
针对上述图像处理方法存在的计算复杂度高、响应速度慢以及用户体验差的问题,本公开实施例提供的图像处理方法在服务器1100获取到待处理的显示控制消息集合,并在获取与显示控制消息集合中的显示控制消息对应的图层数据时,通过在该图层数据中加入用于指示对应图层数据是否参与图层合并处理的合并标识信息,进而使得服务器1100在进行图层数据的合并处理时,可以根据图层数据中的合并标识信息,自适应的选择需要进行合并处理的图层数据进行合并以及渲染处理,可以降低计算复杂度,并快速的获得供终端设备1200展示的目标图像数据,提升用户体验。
如图1b所示,其为示意本公开实施例提供的图像处理方法的作用效果的应用场景示意图,在终端设备1200向服务器1100发送启动“云应用1”的显示控制消息之后,服务器1100在获取与该显示控制消息对应的图层数据时,会在该图层数据中加入用于指示该图层数据参与图层合并处理的合并标识信息,而在等待终端设备1200发送的同步显示信号的过程中,服务器1100会将终端设备1200发送的与其他应用,如状态栏中的电量信息、时间信息等对应的图层数据中的合并标识信息设置为不参与图层合并处理的合并标识信息,进而使得服务器1100可以仅对与“云应用1”对应的图层数据进行图层合并和渲染处理,以获得仅与“云应用1”对应的目标图像数据,之后,服务器1100将该目标图像数据提供给终端设备1200;终端设备1200即可快速的展示“云应用1”对应的界面图像数据。
<硬件配置>
图1c为可以应用根据本公开实施例的图像处理方法的一种数据处理系统的组成结构示意图。
如图1c所示,本实施例的数据处理系统1000包括服务器1100、终端设备1200以及网络1300。
服务器1100例如可以是刀片服务器、机架式服务器等,服务器1100也可以是部署在云端的服务器集群,在此不做限定。
如图1c所示,服务器1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110例如可以是中央处理器CPU等。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括USB接口、串行接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏。输入装置1160例如可以包括触摸屏、键盘等。
本实施例中,服务器1100可用于参与实现根据本公开任意实施例的图像处理方法。
应用于本公开实施例中,服务器1100的存储器1120用于存储指令,所述指令用于控制所述处理器1110进行操作以支持实现根据本公开任意实施例的图像处理方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图1c中示出了服务器1100的多个装置,但是,本公开实施例的服务器1100可以仅涉及其中的部分装置,例如,只涉及处理器1110和存储器1120。
如图1c所示,终端设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、输入装置1260、音频输出装置1270、音频输入装置1280,等等。其中,处理器1210可以是中央处理器CPU、微处理器MCU等。存储器1220例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1230例如包括USB接口、耳机接口等。通信装置1240例如能够进行有线或无线通信。显示装置1250例如是液晶显示屏、触摸显示屏等。输入装置1260例如可以包括触摸屏、键盘等。终端设备1200可以通过音频输出装置1270输出音频信息,该音频输出装置1270例如包括扬声器。终端设备1200可以通过音频拾取装置1280拾取用户输入的语音信息,该音频拾取装置1280例如包括麦克风。终端设备1200中既可以安装云应用,也可以安装本地应用。
终端设备1200可以是智能手机、便携式电脑、台式计算机、平板电脑、可穿戴设备、智能音箱、机顶盒、智能电视等,其中,终端设备1200可以具有音频输出装置1270以进行媒体文件的播放,也可以连接音频输出装置1270以进行媒体文件的播放。
本实施例中,终端设备1200可用于参与实现根据本公开任意实施例的图像处理方法。
应用于本公开的实施例中,终端设备1200的存储器1220用于存储指令,所述指令用于控制所述处理器1210进行操作以支持实现根据本公开任意实施例的图像处理方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图1c中示出了终端设备1200的多个装置,但是,本公开实施例的终端设备1200可以仅涉及其中的部分装置,例如,只涉及处理器1210、存储器1220等。
通信网络1300可以是无线网络也可以是有线网络,可以是局域网也可以是广域网。终端设备1200可以通过通信网络1300与服务器1100进行通信。
图1c所示的数据处理系统1000仅是解释性的,并且决不是为了要限制本公开、其应用或用途。例如,尽管图1c仅示出一个服务器1100和一个终端设备1200,但不意味着限制各自的数量,该数据处理系统1000中可以包含多个服务器1100和/或多个终端设备1200。
需要说明的是,本公开任意实施例提供的图像处理方法是应用于云应用场景下,即,应用于终端设备1200与服务器1100的交互场景中,因此,该方法可以应用于服务器1100中,当然,根据具体需要,也可以将该方法应用于终端设备1200中,此处不做特殊限定。
<方法实施例1>
图2是根据本公开实施例的图像处理方法的流程示意图。
根据图2所示,本实施例的处理方法可以包括如下步骤S2100~S2300。
步骤S2100,获取待处理的显示控制消息集合。
在本实施例中,显示控制器消息集合,可以是包含至少一条显示控制消息的集合,在具体实施时,该集合可以是队列、数据表等数据结构,此处不做特殊限制。
显示控制消息,是用于控制应用程序的界面图像发生变化的消息,其中,该应用程序包括目标应用和目标应用以外的其他应用;目标应用可以是游戏类、视频类或者直播类等需要全屏幕展示的应用程序;其他应用可以是桌面、状态栏或者控制栏等应用程序。
例如,在云应用场景中,当用户在终端设备中点击目标应用,例如“云应用1”对应的应用图标时,响应于该点击操作,终端设备将会生成与“云应用1”对应的图像变更信息,并根据该图像变更信息,生成对应的显示控制消息“启动云应用1”,之后,终端设备将该显示控制消息发送至服务器,服务器接收到该显示控制消息之后,将会根据该显示控制消息,获取“云应用1”启动后需要显示的图像数据。
又例如,在云应用场景中,当终端设备当前播放的云应用程序为游戏类、视频类或者直播类等目标应用时,由于该类应用会跟随时间变化播放对应的图像帧,因此,当目标应用的图像帧发生变更时,终端设备可以根据该图像帧的变更信息,生成对应的显示控制消息“播放下一图像帧”,并将该显示控制消息发送至服务器,以获取对应的图像数据。
当然,显示控制消息也可以是终端设备中的目标应用以外的其他应用对应的显示控制消息。例如,在云应用场景中,在用户使用终端设备的过程中,当终端设备获取到其他应用的状态变更信息,例如,获取到状态栏中的电池图像的变更信息,又或者是接收到系统推送消息,例如,接收到短信息时,终端设备将根据该状态变更信息,生成与状态栏对应的图像变更信息,并根据该图像变更信息生成对应的显示控制消息,并将该显示控制消息发送至服务器,以获取对应的图像数据。
在具体实施时,本实施例提供的图像处理方法,还包括:接收显示控制消息,将所述显示控制消息存储在缓冲区内;在获得供终端设备展示的目标图像数据之后,清空所述缓冲区,其中,所述获取待处理的显示控制消息集合,可以是:获取存储在上述缓冲区内的显示控制消息,构成所述显示控制消息集合。
即,服务器在获得终端设备发送的、与不同应用程序对应的至少一条显示控制消息之后,可以先将这些显示控制消息存储在缓冲区内,并按照一定的存取规则处理这些显示控制消息。
例如,针对安卓云应用,终端设备可以在向服务器发送“启动云应用1”的显示控制消息的同时,向服务器发送“电量为低电量”的显示控制消息;服务器在接收到终端设备发送的上述显示控制消息之后,可以按照接收顺序,以队列的形式存储上述显示控制消息,并依次从该队列中获取待处理的显示控制消息,以创建与该显示控制消息对应的图层数据。
需要说明的是,在本实施例中,以服务器为运行安卓系统的服务器,终端设备为运行有安卓云应用的终端设备为例,说明本实施例提供的云应用场景下的图像处理方法,其中,所述运行安卓系统的服务器,具体可以是将安卓系统运行在服务器中的安卓虚拟机或安卓容器(Container)中;当然,在具体实施时,也可以将该方法应用于其他操作系统中,此处不做特殊限定。
步骤S2200,获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息。
在本实施例中,图层数据(Layer),是与显示控制消息对应的、用于描绘该显示控制消息中的待处理对象所对应的界面图像的数据结构,其中,待处理对象可以是待处理应用,即,可以是待获得界面图像的应用程序。
例如,在安卓云应用场景中,针对一条显示控制消息,一般可以使用安卓系统内置的SurfaceFlinger服务中的createLayer(constString8&name,constsp<Client>&client,uint32_tw,uint32_th,PixelFormatformat,uint32_tflags,sp<IBinder>*handle,sp<IGraphicBufferProducer>*gbp)接口创建与该显示控制消息对应的图层数据,其中,有关createLayer接口函数的详细说明因为现有技术中有详细说明,此处不再赘述。
请参看图3,其为根据本公开实施例的图像处理方法的处理示意图。如图3所示,为了降低图层合并处理时的计算复杂度,以提升终端设备的响应速度,在服务器获取到终端设备发送的、与目标应用以及其他应用对应的至少一条显示控制消息,即显示控制消息集合之后,服务器在为不同的显示控制消息创建对应的图层数据时,会在该图层数据中,增加用于指示该图层数据是否参与图层合并处理的合并标识信息,例如,可以是图3中所示的doComposition标识。
例如,在安卓云应用场景中,为了过滤掉与用户关注的目标应用无关的图层数据,可以在创建图层数据时,增加合并标识信息,即,通过创建与createLayer对应的多态函数或者对createLayer进行封装的方式增加该合并标识信息,具体可以为createLayer(constString8&name,constsp<Client>&client,uint32_tw,uint32_th,PixelFormatformat,uint32_tflags,sp<IBinder>*handle,sp<IGraphicBufferProducer>*gbp,booldoComposition),即,在创建图层数据时增加布尔类型的doComposition参数来指示图层数据是否参与图层合并处理。
在具体实施时,所述获取与所述显示控制消息集合中的显示控制消息对应的图层数据,包括:获取与所述显示控制消息对应的对象标识;根据所述对象标识,确定所述图层数据的合并标识信息。
在本实施例中,对象标识,是用于唯一性的标识待处理对象的标识。具体来讲,针对不同的应用程序,终端设备在向服务器发送显示控制消息时,通常会在该显示控制消息中记载与该显示控制消息对应的应用程序的标识信息。例如,与“启动云应用1”对应的显示控制消息可以是[“云应用1”,“startapp”…]的形式。
在具体实施时,所述根据所述对象标识,确定所述图层数据的合并标识信息,包括:在所述对象标识为设定的目标对象标识的情况下,确定所述图层数据为与目标对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示参与图层合并处理的第一合并标识信息,其中,所述目标对象标识用于标识所述目标对象。
在本实施例中,目标对象,可以是用户关注的目标应用,具体可以是在服务器中预先设置的应用程序,更进一步的,该应用程序具体可以是在运行时需要全屏幕展示以为用户提供较佳体验的应用程序,例如,目标对象可以为以下至少一种应用程序:游戏类应用程序、视频类应用程序以及直播类应用程序;当然,为了方便设置,目标应用也可以是由用户在终端设备提供的设置菜单中设置的应用程序,此处不做特殊限定。
例如,用户在使用终端设备时,在观看视频、直播或使用游戏类的云应用时,一般希望该类云应用能够被全屏展示,并且在展示的过程中不被其他无关应用的界面图像干扰,因此,可以由服务器预先将该类应用设置为目标应用;当服务器接收到终端设备发送的与该类应用对应的显示控制消息之后,服务器根据从该显示控制消息中获取到的应用标识,确定该显示控制消息对应的图层数据需要进行合并图层处理,则在创建该图层数据时,服务器可以将该图层数据中的合并标识信息设置为“True”,即,设置为第一合并标识信息。需要说明的是,此处以第一合并标识信息为“True”进行举例说明,在具体实施时,第一合并标识信息也可以为其他形式,例如,还可以以“1”或“是”等形式来表示第一合并标识信息,此处不再赘述。
对应的,所述根据所述对象标识,确定所述待处理图层数据的合并标识信息,还包括:在所述对象标识不为设定的目标对象标识的情况下,确定所述图层数据为与其他对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示不参与图层合并处理的第二合并标识信息。
例如,当显示控制消息中的应用标识为桌面、状态栏或者控制栏应用等目标应用以外的应用标识时,则服务器可以根据该应用标识确定该显示控制消息对应的图层数据不需要进行图层合并处理,则可以将该图层数据中的合并标识信息设置为False,即,设置为第二合并标识信息。需要说明的是,此处以第二合并标识信息为“True”进行举例说明,在具体实施时,与第一合并标识信息相对应,第二合并标识信息也可以为其他形式,例如,还可以以“0”或“否”的形式来表示第二合并标识信息,此处不再赘述。
以上,详细说明了本实施例提供的图像处理方法在获取与显示控制消息集合中的显示控制消息对应的图层数据时,如何设置对应图层数据中的合并标识信息,在服务器为显示控制消息集合中的显示控制消息创建对应的图层数据之后,即可对与显示控制消息集合对应的图层数据进行合并和渲染处理。
在步骤S2200之后,执行步骤S2300,根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据。
即,在经过步骤S2200获取到与显示控制消息集合对应的图层数据之后,即可根据图层数据中的合并标识信息,对该图层数据进行合并和渲染处理,以获得供终端设备展示的目标图像数据。
需要说明的是,在实际中,终端设备在展示界面图像时,为了避免系统渲染图像的帧率与显示设备的刷新频率不一致而带来的图像撕裂问题,通常会由硬件产生一个用于同步显示的信号,例如,VSync信号,以用于解决该问题。即,在执行步骤S2300之前,本实施例提供的该方法还包括:接收用于获取所述目标图像数据的数据请求消息;根据所述数据请求消息,执行步骤S2300。
例如,在安卓系统中,在进行图层合并处理之前,通常是在安卓系统接收到硬件VSync信号之后,由SurfaceFlinger服务将该VSync信号转换为软件VSync信号,在接收到该软件VSync信号之后,SurfaceFlinger服务即可对已获得的、与不同应用对应的图层数据进行图层合并处理,并将合并后的图层数据交由图形处理器(GPU,GraphicsProcessingUnit)或渲染软件进行渲染,以获得目标图像数据。
请参看图3,与步骤S2200对应,为了减少待处理的图层数据的数量,以降低计算复杂度,本实施例提供的图层处理方法在进行图层合并处理时,还包括图层过滤模块,即,LayerHandler模块,以根据图层数据中的合并标识信息对待处理的图层数据进行过滤处理。
具体来讲,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据,包括:根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据;对所述目标图层数据进行合并和渲染处理,获得所述目标图像数据。
其中,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据,包括:在所述图层数据的合并标识信息为所述第一合并标识信息的情况下,确定所述图层数据为所述目标图层数据。
例如,针对待处理的图层数据,可以获取该图层数据中的doComposition参数,并在该doComposition为“True”的情况下,将该图层数据确定为与目标应用对应的、需要进行图层合并处理的目标图层数据;而当doComposition为“False”时,则可以将该图层数据确定为与其他应用对应的、不需要进行图层合并处理的图层数据,可以忽略掉该图层数据,以降低计算复杂度。
在经过图层过滤模块,确定待进行图层合并处理的目标图层数据之后,即可使用SurfaceFlinger服务中的图层合并模块对目标图层数据进行图层合并处理,并对合并处理后的图层数据进行渲染处理,以获得供终端设备展示的、仅与目标应用对应的目标图像数据,其中,因为现有技术中有针对如何对合并后的图层数据进行渲染处理的详细说明,此处不再赘述。
在具体实施时,在经过上述步骤获得目标图像数据之后,本实施例提供的图像处理方法还包括:将所述目标图像数据提供给终端设备。更具体的,因为终端设备不需要进行图像处理,而仅用于展示图像数据,因此,服务器还可以将目标图像数据以视频流的方式提供给终端设备,此处不再赘述。
需要说明的是,由于实施该图像处理方法之后,终端设备中仅会展示与目标应用对应的目标图像数据,而不会展示其他应用,如桌面、状态栏、控制栏等应用对应的界面图像。因此,在具体实施时,还可以在终端设备中预先设置用于启用或停用该方法的控制操作,并将该控制操作对应的处理优先级设置为第一优先级,以避免被服务器给忽略掉;在服务器获取到该控制操作后,响应于该控制操作,服务器将会启用或停止实施该图像处理方法,并清空缓冲区中的待处理的显示控制消息以及待进行图层合并处理的图层数据,以使得终端设备在展示用户关注的目标应用对应的图像数据的同时,还可以同步的展示其他应用对应的图像数据。或者,也可以是在终端设备启动目标应用时,服务器启动该图像处理方法以提升用户体验,而在终端设备退出目标应用时,服务器可以停止该图像处理方法,并继续使用现有的图像处理方法进行图像处理。当然,在具体实施时,还可以通过其他方式来启用或停止该图像处理方法,此处不再赘述。
综上可知,本实施例提供的图像处理方法在获取到与待处理的显示控制消息集合中的显示控制消息对应的图层数据之后,不需要对显示控制消息集合所对应的全部图层数据进行合并和渲染处理,而是根据图层数据中的合并标识信息,自适应的选择适合的图层数据进行合并和渲染处理,可以降低计算复杂度,提升终端设备的响应速度。
<方法实施例2>
与方法实施例1中的图像处理方法相对应,本实施例还提供一种图像展示方法,请参看图4,其是根据本实施例的图像展示方法的流程示意图,该方法可以由终端设备实施,具体可以是运行有云应用的终端设备,例如可以由图1中的终端设备1200实施。
如图4所示,本实施例的方法应用于终端设备,具体可以包括步骤S4100~S4300。
步骤S4100,发送待处理的显示控制消息至服务器进行图像处理,其中,所述图像处理包括:获取待处理的显示控制消息集合;获取与所述显示控制消息集合中的显示控制消息对应的图层数据,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;以及,根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得目标图像数据。
步骤S4200,获取所述服务器进行所述图像处理后提供的所述目标图像数据。
步骤S4300,展示所述目标图像数据。
本实施例中,该终端设备可以是智能手机、便携式电脑、台式计算机、平板电脑、可穿戴设备等移动终端设备,也可以是智能音箱、机顶盒、智能电视等智能家居设备,此处不做特殊限定。
根据本实施例的图像展示方法,终端设备在展示用户关注的目标应用的图像数据的过程中,仅会展示与该目标应用对应的图像数据,而不会展示与其他应用对应的图像数据,可以避免其他应用对应的图像数据遮挡或干扰目标应用对应的图像数据的展示,进而可以提升终端设备的响应速度,提升用户体验。
<方法实施例3>
与方法实施例1中的图像处理方法相对应,本实施例还提供另一种图像展示方法,请参看图5,其是根据本实施例的图像展示方法的流程示意图,该方法可以由终端设备实施,具体可以是运行有云应用的终端设备,例如可以由图1中的终端设备1200实施。
如图5所示,本实施例的方法可以应用于终端设备,具体可以包括步骤S5100~S5500。
步骤S5100,获取图像变更信息,其中,所述图像变更信息包括目标对象和目标对象以外的其他对象的图像变更信息。
在本实施例中,目标对象,可以是用户关注的目标应用,具体可以是在服务器中预先设置的云应用程序,更进一步的,目标应用可以是在运行时需要全屏幕展示以为用户提供较佳体验的云应用程序。例如,目标对象可以为以下至少一种应用程序:游戏类应用程序、视频类应用程序以及直播类应用程序。
图像变更信息,是用于指示对象将当前呈现的图像变更为其它图像的指令信息。
针对终端设备中的目标对象,图像变更信息可以为图像帧的变更信息。
例如,目标对象为终端设备中的视频类应用程序,由于视频类应用程序在播放视频时,随着视频播放时间的变更,其播放的图像帧,即视频帧也会发生变更,因此,在用户使用终端设备中的视频类应用程序观看视频时,图像变更信息可以为待播放的下一视频帧的信息。
在具体实施时,所述获取图像变更信息,还可以是:接收针对所述目标对象的触发操作;响应于所述触发操作,生成与所述目标对象对应的图像变更信息。
例如,终端设备在运行视频类应用程序播放视频时,用户可以通过拖动进度条的方式观看特定时间的视频画面;因此,响应于用户的拖动操作,终端设备可以生成与该视频类应用程序对应的图像变更信息。
需要说明的是,以上是以目标对象为视频类应用程序为例说明图像变更信息的获取方式,在具体实施时,当目标对象为其他应用程序,例如为游戏类应用程序或直播类应用程序时,其图像变更信息的获取方式与上述方式基本一致,此处不再赘述。
另外,在具体实施时,图像变更信息也可以是目标对象以外的其它对象的图像变更信息例如,当终端设备的电量变更为低电量时,终端设备的桌面中通常会显示形如“当前电量低于10%”的低电量提示弹窗。又例如,当终端设备接收到短信息或者其它应用推送的推送信息时,状态栏将会有相应的提示信息。因此,在本实施例中,所述获取图像变更信息,还包括:获取所述其他对象的状态变更信息;根据所述状态变更信息,生成与所述其他对象对应的图像变更信息。
步骤S5200,生成与所述图像变更信息对应的显示控制消息。
步骤S5300,将所述显示控制消息发送至服务器。
步骤S5400,获取所述服务器返回的、与所述目标对象对应的目标图像数据。
在具体实施时,所述目标图像数据可以是由服务器使用上述方法实施例1中的任意一项图像处理方法对获取到的显示控制消息进行处理后、获得的仅与目标对象对应的图像数据,此处不再赘述。
步骤S5500,展示所述目标图像数据。
本实施例中,该终端设备可以是智能手机、便携式电脑、台式计算机、平板电脑、可穿戴设备等移动终端设备,也可以是智能音箱、机顶盒、智能电视等智能家居设备,此处不做特殊限定。
<装置实施例>
与上述实施例对应,本实施例还提供一种图像处理装置,如图6所示,其是根据本公开实施例的图像处理装置的示意性原理框图。
根据图6所示,本实施例的图像处理装置6000包括控制消息集合获取模块6100、图层数据获取模块6200和图像数据获得模块6300。
消息集合获取模块6100,用于获取待处理的显示控制消息集合。
在一个实施例中,该装置还包括:
接收模块,用于接收显示控制消息,并将所述显示控制消息存储在缓冲区内;
清空模块,用于在获得所述目标图像数据之后,清空所述缓冲区;
所述消息集合获取模块6100在获取待处理的显示控制消息集合时,可以用于获取存储在所述缓冲区内的显示控制消息,构成所述显示控制消息集合。
图层数据获取模块6200,用于获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息。
在一个实施例中,该图层数据获取模块6200在获取与所述显示控制消息集合中的显示控制消息对应的图层数据时,可以用于:获取与所述显示控制消息对应的对象标识;根据所述对象标识,确定所述图层数据的合并标识信息。
在一个实施例中,该图层数据获取模块6200在根据所述对象标识,确定所述图层数据的合并标识信息时,可以用于:在所述对象标识为设定的目标对象标识的情况下,确定所述图层数据为与目标对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示参与图层合并处理的第一合并标识信息。
在一个实施例中,该图层数据获取模块6200在根据所述对象标识,确定所述图层数据的合并标识信息时,还可以用于:在所述对象标识不为设定的目标对象标识的情况下,确定所述图层数据为与其他对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示不参与图层合并处理的第二合并标识信息。
图像数据获得模块6300,用于根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备显示的目标图像数据。
在一个实施例中,该图像数据获得模块6300在根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据时,可以用于:根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据;对所述目标图层数据进行合并和渲染处理,获得所述目标图像数据。
在一个实施例中,该图像数据获得模块6300在根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据时,可以用于:在所述图层数据的合并标识信息为所述第一合并标识信息的情况下,确定所述图层数据为所述目标图层数据。
<设备实施例>
与上述方法实施例对应,本实施例提供一种电子设备,如图7a所示,该电子设备100包括根据本公开任意实施例的图像处理装置6000.
在另一个实施例中,如图7b所示,该电子设备100可以包括存储器110和处理器120,该存储器110用于存储可执行的指令;该处理器120用于根据该可执行的指令的控制,执行如本公开任意方法实施例的方法。
在本实施例中,电子设备100在用于图像处理时可以是服务器,例如是图1中的服务器1100;而在用于图像展示时可以是终端设备,例如是图1中的终端设备1200,在此不做限定。
<介质实施例>
与上述方法实施例对应,在本实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质存储有可被计算机读取并运行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行如本公开以上任意实施例所述的方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。
Claims (21)
1.一种图像处理方法,包括:
获取待处理的显示控制消息集合;
获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;
根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据。
2.根据权利要求1所述的方法,所述获取与所述显示控制消息集合中的显示控制消息对应的图层数据,包括:
获取与所述显示控制消息对应的对象标识;
根据所述对象标识,确定所述图层数据的合并标识信息。
3.根据权利要求2所述的方法,所述根据所述对象标识,确定所述图层数据的合并标识信息,包括:
在所述对象标识为设定的目标对象标识的情况下,确定所述图层数据为与目标对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示参与图层合并处理的第一合并标识信息。
4.根据权利要求3所述的方法,所述根据所述对象标识,确定所述待处理图层数据的合并标识信息,还包括:
在所述对象标识不为设定的目标对象标识的情况下,确定所述图层数据为与其他对象对应的图层数据,并将所述图层数据的合并标识信息设置为指示不参与图层合并处理的第二合并标识信息。
5.根据权利要求4所述的方法,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据,包括:
根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据;
对所述目标图层数据进行合并和渲染处理,获得所述目标图像数据。
6.根据权利要求5所述的方法,所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行过滤处理,获取与所述目标对象对应的目标图层数据,包括:
在所述图层数据的合并标识信息为所述第一合并标识信息的情况下,确定所述图层数据为所述目标图层数据。
7.根据权利要求1所述的方法,其中,所述方法还包括:
接收用于获取所述目标图像数据的数据请求消息;
根据所述数据请求消息,执行所述根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备展示的目标图像数据的步骤。
8.根据权利要求1所述的方法,其中,所述方法还包括:
接收显示控制消息,并将所述显示控制消息存储在缓冲区内;
在获得所述目标图像数据之后,清空所述缓冲区;
所述获取待处理的显示控制消息集合,包括:
获取存储在所述缓冲区内的显示控制消息,构成所述显示控制消息集合。
9.根据权利要求1所述的方法,所述方法应用于运行有安卓系统的服务器中。
10.根据权利要求9所述的方法,其中,所述方法还包括:
将所述目标图像数据提供给所述终端设备。
11.根据权利要求10所述的方法,所述将所述目标图像数据提供给所述终端设备,包括:
将所述目标图像数据以视频流的方式提供给所述终端设备。
12.一种图像展示方法,应用于终端设备,包括:
发送待处理的显示控制消息至服务器进行图像处理,其中,所述图像处理包括:获取待处理的显示控制消息集合;获取与所述显示控制消息集合中的显示控制消息对应的图层数据,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;以及,根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得目标图像数据;
获取所述服务器进行所述图像处理后提供的所述目标图像数据;
展示所述目标图像数据。
13.根据权利要求12所述的方法,所述终端设备包括以下至少一种计算设备:移动终端设备、智能家居设备。
14.一种图像展示方法,应用于终端设备,包括:
获取图像变更信息,其中,所述图像变更信息包括目标对象和目标对象以外的其他对象的图像变更信息;
生成与所述图像变更信息对应的显示控制消息;
将所述显示控制消息发送至服务器;
获取所述服务器返回的、与所述目标对象对应的目标图像数据;
展示所述目标图像数据。
15.根据权利要求14所述的方法,所述目标对象的图像变更信息包括图像帧的变更信息。
16.根据权利要求14所述的方法,所述获取图像变更信息,包括:
接收针对所述目标对象的触发操作;
响应于所述触发操作,生成与所述目标对象对应的图像变更信息。
17.根据权利要求14所述的方法,所述获取图像变更信息,包括:
获取所述其他对象的状态变更信息;
根据所述状态变更信息,生成与所述其他对象对应的图像变更信息。
18.根据权利要求14所述的方法,所述目标对象包括以下至少一种应用程序:游戏类应用程序、视频类应用程序以及直播类应用程序。
19.一种图像处理装置,包括:
控制消息集合获取模块,用于获取待处理的显示控制消息集合;
图层数据获取模块,用于获取与所述显示控制消息集合中的显示控制消息对应的图层数据,其中,所述图层数据包括用于指示对应图层数据是否参与图层合并处理的合并标识信息;
图像数据获得模块,用于根据所述合并标识信息,对与所述显示控制消息集合对应的图层数据进行合并和渲染处理,获得供终端设备显示的目标图像数据。
20.一种电子设备,包括权利要求19所述的装置;或者,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,运行所述电子设备执行根据权利要求1-18中任意一项所述的方法。
21.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据权利要求1-18中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518144.1A CN113778575A (zh) | 2020-06-09 | 2020-06-09 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518144.1A CN113778575A (zh) | 2020-06-09 | 2020-06-09 | 图像处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113778575A true CN113778575A (zh) | 2021-12-10 |
Family
ID=78834669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010518144.1A Pending CN113778575A (zh) | 2020-06-09 | 2020-06-09 | 图像处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113778575A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105825535A (zh) * | 2016-03-18 | 2016-08-03 | 广东欧珀移动通信有限公司 | 一种图层合并方法及系统 |
CN106055294A (zh) * | 2016-05-23 | 2016-10-26 | 福州瑞芯微电子股份有限公司 | 一种图层合成优化方法和装置 |
CN108132779A (zh) * | 2017-12-07 | 2018-06-08 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于arinc661的可视化df的设计验证方法 |
CN109448077A (zh) * | 2018-11-08 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种多图层合并的方法、装置、设备以及存储介质 |
US10242119B1 (en) * | 2015-09-28 | 2019-03-26 | Amazon Technologies, Inc. | Systems and methods for displaying web content |
CN109785410A (zh) * | 2019-01-30 | 2019-05-21 | 郑州云海信息技术有限公司 | 一种图层合并方法、装置及相关组件 |
CN110703978A (zh) * | 2019-09-25 | 2020-01-17 | 掌阅科技股份有限公司 | 信息显示方法、阅读器以及计算机存储介质 |
-
2020
- 2020-06-09 CN CN202010518144.1A patent/CN113778575A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242119B1 (en) * | 2015-09-28 | 2019-03-26 | Amazon Technologies, Inc. | Systems and methods for displaying web content |
CN105825535A (zh) * | 2016-03-18 | 2016-08-03 | 广东欧珀移动通信有限公司 | 一种图层合并方法及系统 |
CN106055294A (zh) * | 2016-05-23 | 2016-10-26 | 福州瑞芯微电子股份有限公司 | 一种图层合成优化方法和装置 |
CN108132779A (zh) * | 2017-12-07 | 2018-06-08 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于arinc661的可视化df的设计验证方法 |
CN109448077A (zh) * | 2018-11-08 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种多图层合并的方法、装置、设备以及存储介质 |
CN109785410A (zh) * | 2019-01-30 | 2019-05-21 | 郑州云海信息技术有限公司 | 一种图层合并方法、装置及相关组件 |
CN110703978A (zh) * | 2019-09-25 | 2020-01-17 | 掌阅科技股份有限公司 | 信息显示方法、阅读器以及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618177B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN109640188B (zh) | 视频预览方法、装置、电子设备及计算机可读存储介质 | |
EP4087258A1 (en) | Method and apparatus for displaying live broadcast data, and device and storage medium | |
US11632576B2 (en) | Live video broadcast method, live broadcast device and storage medium | |
WO2020010819A1 (zh) | 基于直播间的数据交互方法、装置、终端和存储介质 | |
CN111541930B (zh) | 直播画面的显示方法、装置、终端及存储介质 | |
AU2021314277B2 (en) | Interaction method and apparatus, and electronic device and computer-readable storage medium | |
CN111790148B (zh) | 游戏场景中的信息交互方法、设备及计算机可读介质 | |
CN107908447B (zh) | 应用切换方法、设备及虚拟现实设备 | |
CN104243463A (zh) | 一种展示虚拟物品的方法和装置 | |
CN107765976B (zh) | 一种消息推送方法、终端及系统 | |
CN110401877B (zh) | 视频播放的控制方法、装置、电子设备、及存储介质 | |
WO2023104102A1 (zh) | 一种直播评论展示方法、装置、设备、程序产品及介质 | |
US11645338B2 (en) | Method, apparatus and device, and storage medium for controlling display of comments | |
CN108495169A (zh) | 信息展示方法及装置 | |
CN109168012B (zh) | 用于终端设备的信息处理方法和装置 | |
CN109582274B (zh) | 音量调节方法、装置、电子设备及计算机可读存储介质 | |
CN111131850A (zh) | 显示虚拟礼物特效的方法、装置及电子设备 | |
CN109714626B (zh) | 信息交互方法、装置、电子设备、和计算机可读存储介质 | |
CN111818279A (zh) | 字幕的生成方法、展示方法及交互方法 | |
CN110162350B (zh) | 通知栏信息的显示方法、装置、服务器及存储介质 | |
CN109091866B (zh) | 显示控制方法、装置、计算机可读介质及电子设备 | |
EP4344234A1 (en) | Live broadcast room presentation method and apparatus, and electronic device and storage medium | |
CN111667313A (zh) | 广告展示方法、装置、客户端设备及存储介质 | |
CN109144354B (zh) | 旋转播放器视图层的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |