CN115040866A - 云游戏图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

云游戏图像处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115040866A
CN115040866A CN202110257330.9A CN202110257330A CN115040866A CN 115040866 A CN115040866 A CN 115040866A CN 202110257330 A CN202110257330 A CN 202110257330A CN 115040866 A CN115040866 A CN 115040866A
Authority
CN
China
Prior art keywords
game
preset
image
cloud game
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110257330.9A
Other languages
English (en)
Inventor
潘博渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110257330.9A priority Critical patent/CN115040866A/zh
Publication of CN115040866A publication Critical patent/CN115040866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种涉及云技术领域的云游戏图像处理方法、装置、设备及计算机可读存储介质;方法包括:获取云游戏运行的当前场景画面;在预设场景库中,确定是否存在与当前场景画面匹配的目标图像;预设场景库中包含至少一个预设场景图像,至少一个预设场景图像对应的游戏操作方式与云游戏的预设操作方式不同;当确定不存在目标图像时,确定关闭当前场景画面对应的操作引导图层;操作引导图层用于指示云游戏对应的游戏操作设备在当前场景画面中的操作方式。通过本申请,能够提高云游戏的图像处理速度,降低云游戏的显示延迟。

Description

云游戏图像处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及云技术领域,尤其涉及一种云游戏图像处理方法、装置、设备及计算机可读存储介质。
背景技术
云游戏是云技术中一个重要的分支,在近年来受到了各大云服务商的重视。云游戏也称作游戏点播,云游戏运行在云端服务器上,用户可以使用多种类型的终端与云端服务器建立通信,如此,云端服务器可以向终端发送正在运行的云游戏的音频和视频,并接收终端针对云游戏的操作指令,以此来实现游戏的交互控制和画面播放。由于云游戏的运行、计算和画面渲染主要集中在云端,因此对终端的硬件要求较低,其只要求终端接入比较流畅的互联网即可。
然而,由于不同类型终端,如手机,机顶盒、电脑等对游戏的操作方式不同,终端从网络接收到云游戏画面之后并不能直接显示在屏幕上,需要通过终端上的客户端合成引导渲染层,同时需要调用终端操作系统的画面合成功能将云游戏画面与引导渲染层合成为最终显示的游戏画面。这两步的开销将会加重客户端的负担,降低云游戏的图像处理速度,并加大了云游戏画面显示到屏幕上的延迟。
发明内容
本申请实施例提供一种云游戏图像处理方法、装置、设备及计算机可读存储介质,能够提高云游戏的图像处理速度,降低云游戏的显示延迟。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种云游戏图像处理方法,包括:
获取云游戏运行的当前场景画面;
在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像;所述预设场景库中包含至少一个预设场景图像,所述至少一个预设场景图像对应的游戏操作方式与所述云游戏的预设操作方式不同;
当确定不存在所述目标图像时,确定关闭所述当前场景画面对应的操作引导图层;所述操作引导图层用于指示所述云游戏对应的游戏操作设备在所述当前场景画面中的操作方式。
本申请实施例提供一种云游戏图像处理装置,包括:。
获取模块,用于获取云游戏运行的当前场景画面;
图像匹配模块,用于在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像;所述预设场景库中包含至少一个预设场景图像,所述至少一个预设场景图像对应的游戏操作方式与所述云游戏的预设操作方式不同;
确定模块,用于当确定不存在所述目标图像时,确定关闭所述当前场景画面对应的操作引导图层;所述操作引导图层用于指示所述云游戏对应的游戏操作设备在所述当前场景画面中的操作方式。
上述装置中,所述云游戏图像处理装置还包括渲染模块与合成显示模块,所述至少一个预设场景图像中的每个预设场景图像对应有预设操作渲染数据集,所述预设操作渲染数据集中包含的至少一种预设操作渲染数据与至少一种预设设备类型一一对应,所述获取模块,还用于所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之后,当确定存在所述目标图像时,获取所述游戏操作设备的设备类型;所述确定模块,还用于确定所述目标图像对应的目标预设操作渲染数据集;所述获取模块,还用于从所述目标预设操作渲染数据集中,获取所述设备类型对应的目标操作渲染数据;所述渲染模块,还用于根据所述目标操作渲染数据进行图像渲染,得到所述操作引导图层;所述合成显示模块,还用于将所述操作引导图层与所述当前场景画面进行图像合成,得到云游戏图像并显示。
上述装置中,所述云游戏在服务器中运行,所述服务器与至少一个终端连接,每个终端上配置有所述游戏操作设备,所述方法应用于所述服务器或所述终端。
当上述装置应用于所述终端时,所述获取模块,还用于所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之前,从所述终端的预设菜单目录中,获取预设渲染控件的当前开关状态;
所述确定模块,还用于当所述当前开关状态为关闭时,确定关闭所述操作引导图层。
当上述装置应用于所述服务器时,所述获取模块,还用于获取所述云游戏运行的当前游戏画面数据;基于所述当前游戏画面数据,生成所述当前场景画面;其中,在所述获取所述云游戏运行的当前游戏画面数据之后,获取所述云游戏的终端上游戏操作设备的设备类型;根据所述设备类型,获取所述当前游戏画面数据对应的目标引导渲染数据;所述当前游戏画面数据对应有至少一种预设引导渲染数据,所述至少一种预设引导渲染数据与至少一种预设设备类型一一对应;
所述渲染模块,还用于使用所述当前游戏画面数据与所述目标引导渲染数据进行并行渲染,得到云游戏图像,并将所述云游戏图像发送至所述终端进行显示。
上述装置中,所述云游戏图像处理装置还包括控件响应模块,所述控件响应模块,用于在所述预设菜单目录对应的显示界面中,接收针对所述预设渲染控件的操作指令;响应于所述操作指令,对所述预设渲染控件的开关状态进行更新。
上述装置中,至少一个预设场景图像为至少一个预设元素图像,所述图像匹配模块,还用于将所述至少一个预设元素图像与所述当前场景画面中包含的至少一个当前画面元素进行匹配;当所述至少一个当前画面元素与所述至少一个预设元素图像中存在匹配图像时,将所述匹配图像确定为目标图像。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的云游戏图像处理方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的云游戏图像处理方法。
本申请实施例具有以下有益效果:
基于当前场景画面与至少一个预设场景图像的匹配,可以确定出当前场景画面对应的游戏操作方式与云游戏的预设游戏操作方式是否相同,当操作方式相同时,关闭对操作引导图层的渲染,实现了根据游戏场景智能地控制云游戏图像的渲染层级,从而了减轻终端进行图像渲染的任务负荷,提高了云游戏的图像处理速度,降低了云游戏的显示延迟,使得云游戏在终端的运行更加流畅。
附图说明
图1是本申请实施例提供的目前主流的云游戏客户端使用的图像处理方法的示意图;
图2是本申请实施例提供的云游戏系统架构的一个可选的结构示意图;
图3是本申请实施例提供的服务器的一个可选的结构示意图;
图4是本申请实施例提供的云游戏服务器和游戏客户端之间的关系架构图;
图5是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图;
图6是本申请实施例提供的云游戏服务器合成当前场景图像过程示意图;
图7是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图;
图8是本申请实施例提供的通过图层叠加的方法合成游戏图像的过程示意图;
图9是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图;
图10是本申请实施例提供的通过提示功能控件控制渲染层级的过程示意图;
图11是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图;
图12是本申请实施例提供的通过云游戏服务器实施图像处理方法的过程示意图;
图13是本申请实施例提供的单层显示方法与目前的多层显示方法的过程对比示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
2)云计算(cloud computing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
3)云游戏(Cloud gaming)又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
4)渲染层:已经绘制好的,可以展示在客户端显示器上的画面。
目前,主流的云游戏客户端使用的图像处理方法可以如图1所示,通常是通过两个渲染层合成最终用户看到的画面。一层是云游戏在云服务器上运行时所产生的游戏画面,由云游戏服务器将其发送至终端作为游戏画面层;一层是用来引导提示用户的提示引导层画面,由终端上的云游戏客户端构建生成,用于描述用户此时应该如何操作。示例性地,提示引导层画面上显示有按下游戏手柄的确认键进入游戏下一步的提示。游戏画面层和提示引导层都准备好之后,终端的云游戏客户端将这两层交给终端的操作系统进行叠加,将这两层画面合成为最终画面发送给显示屏显示,通过显示屏的屏幕向云游戏的用户进行展现。至此,用户可以看到云游戏画面并根据提示进行游戏操作。
可以看出,目前的云游戏处理方法中,终端上的云游戏客户端需要构建提示引导画面,并调用操作系统进行多级层级图像渲染,才能合成最终游戏画面,从而增加了客户端图像处理的任务和负担,降低了云游戏图像处理的速度,影响了云游戏在终端上的流畅运行。
本申请实施例提供一种云游戏图像处理方法、装置、设备和计算机可读存储介质,能够提高云游戏的运行速度,下面说明本申请实施例提供的电子设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明设备实施为服务器时示例性应用。
参见图2,图2是本申请实施例提供的云游戏系统100的一个可选的架构示意图,为实现支撑一个云游戏应用,终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
终端400上安装有云游戏客户端,用于通过云游戏客户端登录在服务器200中运行的云游戏,并接收服务器200发送的云游戏图像,如云游戏视频画面,在图形界面410(示例性示出了图形界面410-1和图形界面410-2)进行播放与显示。终端400上配置有游戏操作设备,可以通过游戏操作设备根据云游戏视频画面生成游戏操作指令,并将游戏操作指令回传至服务器200,并继续接收服务器200中的云游戏根据游戏操作指令生成的更新后的游戏视频画面,作为新的云游戏图像的继续在图形界面410中进行显示。本申请实施例中,服务器200上运行有生成云游戏视频数据的进程,该进程根据终端400发送的游戏操作指令,生成游戏视频数据,例如用户指示游戏中的虚拟角色对敌方角色进行攻击,则服务器200在运行游戏程序时,接收关于攻击的游戏操作数据,生成云游戏画面数据的进程,并根据该游戏操作数据渲染出该虚拟角色攻击敌方角色后的云视频数据。其中,云端服务器在对游戏操作进行数据处理时,需要对终端400的游戏操作设备类型进行识别,以使得云端服务器中的游戏程序执行相应的游戏操作数据的处理过程。
服务器200用于获取云游戏运行的当前游戏画面数据,并基于当前游戏画面数据,生成当前场景画面;在预设场景库中,确定是否存在与当前场景画面匹配的目标图像;预设场景库中包含至少一个预设场景图像,至少一个预设场景图像对应的游戏操作方式与云游戏的预设操作方式不同;当确定不存在目标图像时,确定关闭当前场景画面对应的操作引导图层;操作引导图层用于指示云游戏对应的游戏操作设备在当前场景画面中的操作方式;当确定存在目标图像时,获取游戏操作设备的设备类型;确定目标图像对应的目标预设操作渲染数据集;从目标预设操作渲染数据集中,获取设备类型对应的目标操作渲染数据;根据目标操作渲染数据进行图像渲染,得到操作引导图层;将操作引导图层与当前场景画面进行图像合成,得到云游戏图像并显示。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器200也可以是虚拟化集群,例如VPS(VirtualPrivate Server,虚拟专用服务器),采用虚拟软件,在一台物理服务器上虚拟出一个或多个类似独立服务的部分;服务器200也可以是虚拟化集群的宿主机等。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
应当理解,在云游戏场景下,如图2所示的终端400可以是包含至少一个用户终端的用户终端集群,用户终端集群中的每个用户终端均可以安装有游戏客户端,当该游戏客户端运行于各用户终端中时,可以分别与服务器200之间进行数据交互。这里,游戏客户端可以包含竞速类游戏客户端、跑酷类游戏客户端、射击类游戏客户端以及棋牌类游戏客户端等。其中,为便于理解,本申请实施例可以在图2所示的多个用户终端中选择一个用户终端作为云游戏对应的终端,这里的游戏终端可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等具有多媒体数据加载功能的智能终端。例如,本申请实施例可以将图2所示的用户终端400-1作为云游戏对应的终端,这里云游戏对应的终端具体可以包括但不限于手游终端。
参见图3,图3是本申请实施例提供的服务器200的结构示意图,图2所示的服务器200包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器200中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的装置可以采用软件方式实现,图3示出了存储在存储器450中的云游戏图像处理装置455,其可以是程序和插件等形式的软件,包括以下软件模块:获取模块4551、图像匹配模块4552、和确定模块4553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的装置可以采用硬件方式实现,作为示例,本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的云游戏图像处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
需要说明的是,当本申请实施例提供的电子设备实施为终端时,基于图2,终端400可以通过接收服务器200发送的云游戏画面数据,生成当前场景画面,并在终端侧存储的预设场景库中,确定是否存在与当前场景画面匹配的目标图像;预设场景库中包含至少一个预设场景图像,至少一个预设场景图像对应的游戏操作方式与云游戏的预设操作方式不同;当确定不存在目标图像时,确定关闭当前场景画面对应的操作引导图层;操作引导图层用于指示云游戏对应的游戏操作设备在当前场景画面中的操作方式。当确定存在目标图像时,读取终端400上配置的游戏操作设备的设备类型;确定目标图像对应的目标预设操作渲染数据集;从目标预设操作渲染数据集中,获取设备类型对应的目标操作渲染数据;根据目标操作渲染数据渲染,得到操作引导图层;将操作引导图层与当前场景画面进行图像合成,得到云游戏图像并显示。
需要说明的是,当电子设备实施为终端时,终端的结构示意图以及存储在终端存储器中的云游戏图像处理装置的配置与服务器侧的配置一致,此处不再赘述。
参见图4,图4是本申请实施例提供的云游戏服务器和游戏客户端之间的关系架构图。其中,用户选择的云游戏在云游戏服务器中运行。云游戏服务器通过音视频获取器获取云游戏软件的音视频流,然后经由音视频编码器编码,再通过实时流传输协议(RealTimeStreaming Protocol,RTSP)等互联网通信协议将经过编码的音视频流发送至游戏客户端。游戏客户端收到经过编码的音视频流后,通过音视频解码器对音视频流进行解码,再由音视频播放器播放游戏的画面和声音,那么用户就可以在终端看到游戏画面以及听到游戏的声音。游戏客户端监听用户的输入指令(包括来自鼠标、键盘和触摸屏等输入设备的输入指令),会根据用户输入的指令进行事件编码,然后经过自定义通信协议,将编码后的输入事件发送到云游戏服务器。云游戏服务器在接收到这些经过编码的输入事件后,将其进行解码,然后再重现用户的输入。
将结合本申请实施例提供的示例性应用和实施,说明本申请实施例提供的云游戏图像处理方法。
参见图5,图5是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图,将结合图5示出的步骤进行说明。
S101、获取云游戏运行的当前场景画面。
本申请实施例中,云游戏预先安装并运行在云端的服务器侧,当由服务器侧执行S101时,服务器中可部署有CPU(Central Processing Unit,中央处理器),该CPU可用于运行云游戏的服务端。具体地,服务器上可运行有一个或多个仿真器(Virtual Device),该仿真器具体可以为虚拟机,该虚拟机中可运行游戏程序,该虚拟机的内存中可包含游戏资源,如游戏的图像资源、字符资源、音频资源,等等。服务器可以从云游戏的服务端读取云游戏正在运行的游戏数据作为当前游戏画面数据,根据当前游戏画面数据进行图像渲染,得到当前场景画面。
这里,仿真器(也可称为虚拟容器)是指通过计算机程序模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在仿真器中都能够实现。仿真器可包括Android仿真器、Java仿真器、Linux仿真器,windows仿真器,等等。
本申请实施例中,当由终端侧执行S101时,终端可以通过接收服务器发送的游戏视频流,获取到云游戏运行的当前场景画面。如图6所示,图6示出了云游戏服务器渲染出当前场景画面并通过网络传输发送给终端上的云游戏客户端的过程。
S102、在预设场景库中,确定是否存在与当前场景画面匹配的目标图像;预设场景库中包含至少一个预设场景图像,至少一个预设场景图像对应的游戏操作方式与云游戏的预设操作方式不同。
本申请实施例中,对于不同的游戏操作设备,在不同游戏场景下的操作方式也会存在差异,因此,需要通过操作引导图层,来向用户提示当前所使用的设备类型,在当前场景画面中的操作方式。云游戏中通常预设有默认的设备类型对应的操作方式,如云游戏的开发者以手机为默认设备类型所制作的云游戏,在游戏中进行如角色选择、地图选择、技能选择等操作时通常是以屏幕点击的作为预设操作方式,当用户通过连接游戏手柄的智能电视登录云游戏时,无法在这些场景下通过屏幕点击发出操控指令,因此需要在当前场景画面中构建操作引导图层来指示用户当前的游戏操作设备的操作方式。
本申请实施例中,服务器或终端可以预先收集云游戏所支持的各种预设设备类型与默认设备类型存在操作方式差异的游戏场景画面,进而将与默认设备类型操作方式不同的游戏场景作为至少一个预设场景图像,形成预设场景库。这样,在云游戏运行过程中,就可以基于当前场景画面与预设场景库的匹配,确定当前场景画面的操作方式是否与云游戏的预设操作方式相同,进而确定是否在当前场景画面上渲染出操作引导图层。
在一些实施例中,根据设备类型的不同,游戏操作方式也可以包括多种方式,如设备类型为手机时,游戏操作方式可以包括对虚拟角色、游戏场景、游戏选项进行点击、按压或滑动等触控操作;当设备类型为PC时,游戏操作方式可以包括通过鼠标、键盘输入的对游戏角色的控制操作等;或者,根据具体游戏类型的不同,例如在射击类游戏中,游戏操作方式可以包括对目标对象的瞄准和射击操作;在棋牌类游戏中,可以包括目标卡片的选择和确定操作等,在其他类型游戏中,还可以包括跳跃操作、移动操作等等。具体的根据实际情况进行选择,本申请实施例不做限定。
在一些实施例中,当由服务器侧执行S102时,预设场景库可以存储在服务器上。或者,当由终端侧执行S102时,预设场景库也可以存储在终端上,具体的根据实际情况进行选择,本申请实施例不做限定。
在一些实施例中,预设场景库中的至少一个预设场景图像可以是完整的画面图像,服务器或终端可以从当前场景画面与至少一个预设场景图像中分别提取特征点对集合,通过训练好的图像匹配模型或图像匹配算法,根据特征点对集合,计算当前场景画面与至少一个预设场景图像的匹配度,将匹配度大于预设匹配度阈值的预设场景图像作为目标图像。或者,也可以将匹配度大于预设匹配度阈值,且匹配度最大的预设场景图像作为目标图像,具体的根据实际情况进行选择,本申请实施例不作限定。
在一些实施例中,预设场景库中的至少一个预设场景图像也可以是至少一个预设元素图像,如标志性的场景画面元素。示例性地,游戏购买界面中包含有钱袋的图像,则可以通过对游戏购买界面进行图像分割,得到钱袋图像,作为预设元素图像。服务器或终端在预设场景库中确定是否存在与当前场景画面匹配的目标图像时,可以将至少一个预设元素图像与当前场景画面中包含的至少一个当前画面元素进行匹配;当至少一个当前画面元素与至少一个预设元素图像中存在匹配图像时,将匹配图像确定为目标图像。
示例性地,服务器可以将预设场景图中的钱袋图像与当前场景画面包含的至少一个当前画面元素进行对比,当发现可以在至少一个当前画面元素中找到与钱袋图像匹配的画面元素时,说明当前场景画面中也包含钱袋图像,可能是预设的购买场景,服务器可以确定匹配到目标图像,并将钱袋图像作为目标图像。
S103、当确定不存在目标图像时,确定关闭当前场景画面对应的操作引导图层;操作引导图层用于指示云游戏对应的游戏操作设备在当前场景画面中的操作方式。
本申请实施例中,操作引导图层用于指示云游戏对应的游戏操作设备在当前场景画面中的操作方式。当确定不存在目标图像,也即未匹配到目标图像时,说明终端当前使用的游戏操作设备在当前场景画面中对应的操作方式与云游戏的预设操作方式一致,因此在未匹配到目标图像的情况下无需对用户进行提示,从而可以不进行操作引导图层的渲染,以节约计算资源,减轻终端的数据处理任务,从而达到提高云游戏的图像处理速度,降低云游戏的显示延迟的效果。
可以理解的是,本申请实施例中,基于当前场景画面与至少一个预设场景图像的匹配,可以确定出当前场景画面对应的游戏操作方式与云游戏的预设游戏操作方式是否相同,当操作方式相同时,关闭对操作引导图层的渲染,实现了根据游戏场景智能地控制云游戏图像的渲染层级,从而了减轻终端进行图像渲染的任务负荷,提高了云游戏的图像处理速度,降低了云游戏的显示延迟,使得云游戏在终端的运行更加流畅。
在一些实施例中,参见图7,图7是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图,其中,至少一个预设场景图像中的每个预设场景图像对应有预设操作渲染数据集,预设操作渲染数据集中包含的至少一种预设操作渲染数据与至少一种预设设备类型一一对应;图5中的S102之后,还可以执行S104-S108,将结合各步骤进行说明。
S104、当确定存在目标图像时,获取游戏操作设备的设备类型。
本申请实施例中,当确定存在目标图像,也即匹配到目标图像时,说明终端当前使用的游戏操作设备在当前场景画面中对应的操作方式与云游戏的预设操作方式不同,需要向用户提示如何操作,服务器或终端可以确定对操作引导图层进行渲染。示例性地,对于游戏手柄的设备类型,需要通过手柄按键的点击进行游戏操作,而云游戏的预设操作方式是在电视或手机上操作时对应的操控方法,无法对应鼠标操作,因此这种情况下需要云游戏根据设备类型构建出操作引导画面,以引导用户用当前的设备类型对应的操作例如点击手柄的按键,来代替云游戏的预设操控方式。
本申请实施例中,终端在登录服务器上的云游戏时,需要向服务器上报当前终端所连接的游戏操作设备的设备类型,示例性地,设备类型可以是PC、手机、机顶盒,以及不同型号的游戏手柄等等,以使服务器能够根据设备类型识别用户对游戏的操作指令,进而对游戏过程进行处理。当S104由服务器侧执行时,服务器可以从终端的登录请求或连接请求中,获取到游戏操作设备的设备类型。
这里,游戏操作设备是终端上安装的软硬件设备,可以是终端本身配置的外部可输入设备,如手机的触控屏,也可以是终端上通过硬件接口连接的扩展设备,如对于PC终端,游戏操作设备可以是鼠标和键盘,也可以是电脑通过硬件接口外接的游戏手柄等,还可以是终端上的麦克风、摄像头等可以通过声音或姿势发出操控指令的操作设备,具体的根据实际情况进行选择,本申请实施例不作限定。
本申请实施例中,当由终端侧执行S104时,终端可以对其内部或外部连接游戏操作设备进行数据读取,获得设备类型。
S105、确定目标图像对应的目标预设操作渲染数据集。
本申请实施例中,为了保证云游戏能够兼容不同类型的游戏操作设备的操作方式,服务器或终端可以根据至少一种预设设备类型,为每个预设场景图像预先配置每种预设设备类型在该预设场景图像中对应的不同操作方式,并根据每种预设设备类型对应的不同操作方式生成每个预设场景图像对应的至少一种预设操作渲染数据,将至少一种预设操作渲染数据作为每个预设场景图像对应的预设操作渲染数据集。其中,至少一种预设操作渲染数据与至少一种预设设备类型一一对应。
本申请实施例中,当由服务器执行本申请实施例提供的云游戏图像处理方法时,预设操作渲染数据集可以存储在服务器侧,或者,当终端执行方法时也可以存储在终端侧,具体的根据实际情况进行选择,本申请实施例不作限定。
本申请实施例中,对于当前场景图像所匹配到的目标图像,服务器或终端可以在每个预设场景图像与预设操作渲染数据集的对应关系中,获取目标图像对应的预设操作渲染数据集,作为目标预设操作渲染数据集。
S106、从目标预设操作渲染数据集中,获取设备类型对应的目标操作渲染数据。
本申请实施例中,服务器或终端可以在目标预设操作渲染数据集中,进一步根据至少一种预设操作渲染数据与至少一种预设设备类型的对应关系,获取到设备类型所对应的预设操作渲染数据,作为目标操作渲染数据。
S107、根据目标操作渲染数据进行图像渲染,得到操作引导图层。
本申请实施例中,目标操作渲染数据用于渲染出设备类型在当前场景图像中对应的操作方式的提示内容。服务器或终端可以根据目标渲染数据,渲染得到操作引导图层。
在一些实施例中,服务器或终端中可以运行有图形库,图形库是一种用于在显示器上渲染计算机图形的程序库,通过提供一组经过优化的函数来执行常见的渲染任务。示例性地,服务器中可运行有开放式图形库(Open Graphics Library,OpenGL),OpenGL是用于渲染二维和三维矢量图形的跨语言、跨平台的应用程序编程接口(ApplicationProgramming Interface,API)。该接口由近多个不同的函数调用指令组成,其中包括图像渲染指令,用于绘制图像。
S108、将操作引导图层与当前场景画面进行图像合成,得到云游戏图像并显示。
本申请实施例中,服务器或终端渲染得到操作引导图层时,可以将操作引导图层与当前场景画面进行图像合成,得到最终在终端上显示的云游戏图像。
在一些实施例中,如图8所示,服务器或终端可以将操作引导图层以蒙版的方式叠加覆盖在当前场景画面上,生成最终的云游戏图像。当由终端侧执行S108时,可以将云游戏图像发送给终端的操作系统,通过操作系统驱动终端的显示屏幕对云游戏图像进行显示。当由服务器侧执行S108时,可以将云游戏图像通过网络发送至终端,以通过终端的显示屏幕对云游戏图像进行显示。
可以理解的是,本申请实施例中,基于当前场景画面与至少一个预设场景图像的匹配,可以确定出当前场景画面对应的游戏操作方式与云游戏的预设游戏操作方式是否相同,当操作方式相同时,关闭对操作引导图层的渲染,实现了根据游戏场景智能地控制云游戏图像的渲染层级,从而了减轻终端进行图像渲染的任务负荷,提高了云游戏的图像处理速度,降低云游戏的显示延迟,使得云游戏在终端的运行更加流畅。进一步地,当由服务器侧来执行本申请实施例提供的云游戏图像处理方法时,可以进一步减轻终端上进行操作引导层渲染与图像合成的处理压力,从而进一步提高了云游戏的图像处理速度,使得云游戏画面可以更快地显示在终端的屏幕上。
在一些实施例中,参见图9,图9是本申请实施例提供的云游戏图像处理方法的一个可选的流程示意图.当本申请实施例中的云游戏图像处理方法应用于云游戏的终端时,图5或图7中的S102之前,还可以执行S001-S002,将结合各步骤进行说明。
S001、从终端的预设菜单目录中,获取预设渲染控件的当前开关状态。
本申请实施例中,终端可以在预设菜单目录,如设置菜单中添加预设渲染控件,以使终端用户可以根据自身的实际需要,通过操作切换预设渲染控件的开关状态,控制是否对操作引导图像进行渲染,也即将预设渲染控件作为控制操作引导图层的总开关。这样,终端在对操作引导图层进行渲染前,先获取预设渲染控件的当前状态。
在一些实施中,基于图9,本申请实施例提供的云游戏图像处理方法还可以包括:
在预设菜单目录对应的显示界面中,接收针对预设渲染控件的操作指令;响应于操作指令,对预设渲染控件的开关状态进行更新。
这里,用户可以通过预设菜单目录对应的显示界面,对预设渲染控件发出操作指令,以使终端响应于操作指令更新预设渲染控件的开关状态,实现由用户自行控制操作引导图层的渲染开关。
S002、当当前开关状态为关闭时,确定关闭操作引导图层。
本申请实施例中,当当前状态为关闭时,确定关闭操作引导图像,不对操作引导图层进行渲染,以减少用户明确不需要的游戏指引提示。
这里,需要说明的是,目前的一些游戏客户端中也在例如设置菜单等游戏功能菜单中实现了是否显示操作提示的开关控件,但目前的游戏客户端中设置类似开关控件的目的并不是为了减少客户端的图像处理任务,而是为了让用户更聚焦在游戏内容本身。在传统游戏中,引导提示画面是游戏内容本身的一部分,而云游戏中的引导提示画面是云游戏跨端场景下额外产生的操作引导层,因此本申请实施例中通过预设渲染控件控制是否显示操作引导层的目的是为了减少客户端计算任务,提升游戏体验。
这里可理解的是,如图9所示,S102-S103是与S002并列的方法流程,当当前开关状态为开启时,终端执行S102-S103中的方法。
在一些实施例中,预设渲染控件可以是终端上安装的云游戏客户端中的游戏菜单或子菜单中的控件,也开始是终端设备自身的操作系统的设置菜单中的控件。示例性地,终端设备的厂商(例如电视厂商)可以在系统中添加预设渲染控件来供用户控制渲染层级,或者根据云游戏场景来控制渲染层级。
在一些实施例中,如图10所示,预设渲染控件可以是提示功能控件,当用户关闭提示功能控件时,仅使用单层级渲染,显示当前场景画面。当用户开启提示功能时,可以根据当前场景画面确定使用多层级渲染方法,即当当前场景画面在预设场景库中匹配到目标图像时,在当前场景画面上渲染叠加操作引导图层,以向用户提示终端上的游戏操作设备在当前场景画面上的操作方式。
可以理解的是,本申请实施例中,可以通过预设渲染开关由用户自行控制进行单层级图像渲染还是多层级图像渲染,从而增加了终端上云游戏图像处理的灵活性,减少了图像处理的负担,提高了图像处理的速度与游戏运行的流程程度。
在一些实施例中,当本申请实施例中的云游戏图像处理方法应用于云游戏的服务器时,图5中的S101可以通过S1011:获取云游戏运行的当前游戏画面数据;以及S1012:基于当前游戏画面数据,生成当前场景画面的过程来实现。其中,S1011中获取云游戏运行的当前游戏画面数据之后,本申请实施例提供的云游戏图像处理方法还可以如图11所示,执行S201-S203,将结合各步骤进行说明。
S201、获取云游戏的终端上游戏操作设备的设备类型。
本申请实施例中,服务器获取设备类型的过程与S104中描述一致,此处不再赘述。
S202、根据设备类型,获取当前游戏画面数据对应的目标引导渲染数据;当前游戏画面数据对应有至少一种预设引导渲染数据,至少一种预设引导渲染数据与至少一种预设设备类型一一对应。
本申请实施例中,云游戏的预设游戏资源中可以包含每个游戏画面数据对应的至少一种预设引导渲染数据,其中,至少一种预设引导渲染数据与至少一种预设设备类型一一对应,表征每种不同预设设备类型在每个游戏画面中的操作方式。服务器可以获取当前游戏画面数据对应的至少一种预设引导渲染数据,进而根据设备类型获取其中的目标引导渲染数据。
在一些实施例中,服务器可以通过当前游戏画面数据中画面标识数据,确定与当前游戏画面数据对应的至少一种预设引导渲染数据,进而根据设备类型在当前游戏画面数据对应的至少一种预设引导渲染数据中确定出对应的目标引导渲染数据。
S203、使用当前游戏画面数据与目标引导渲染数据进行并行渲染,得到云游戏图像,并将云游戏图像发送至终端进行显示。
本申请实施例中,服务器同时使用当前游戏画面数据与目标引导渲染数据,进行并行的图像渲染,得到最终包含操作引导图层的云游戏图像,将云游戏图像发送给终端进行直接显示。
可以理解的是,使用服务端合成时,可以在对游戏画面的渲染过程中同时渲染操作引导图层,不需要等到完整的游戏画面渲染完成后二次渲染,这样可以提高效率,因为服务器中所包含的功能强大的GPU有时瓶颈不在其自身,而是向其发送渲染指令的速度。因此,减少渲染次数可以有效地减少指令发送次数,进而提高图像处理效率。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
参见图12,图12是本申请实施例提供的通过云游戏服务器实施图像处理方法的过程示意图。图12中,云游戏服务器可以从正在运行的云游戏中读取当前游戏数据,根据当前游戏数据合成游戏画面,并接收云游戏客户端上报的云游戏终端所使用的游戏操作设备的设备类型。其中,游戏画面相当于当前场景图像。云游戏服务器可以根据游戏画面在预设场景库中进行匹配,当匹配到目标图像时,确定在游戏画面中渲染出引导画面,其中引导画面相当于操作引导图层。云游戏服务器进而从目标图像与至少一种预设操作方式的对应关系中,获取设备类型对应的目标操作渲染数据;根据目标操作渲染数据渲染得到包含提示文字、提示图像等元素的引导画面,将引导画面叠加在游戏画面上,得到最终的合成画面,将合成画面通过网络传输至云游戏客户端,通过云游戏客户端在终端的显示屏幕上进行显示。当未匹配到目标图像时,云服务器确定关闭操作引导图层,仅将当前场景画面发送至云游戏客户端进行显示。
可以理解的是,通过控制云游戏客户端的渲染层级,可以减少不必要的渲染合成消耗。如图13所示,相比于目前的云游戏图像处理中常用的多层显示的方法,本申请实施例可以在服务器侧完成操作引导图层的构建与渲染,并且以单层级渲染显示的方式,直接在终端上显示包含操作引导图层的游戏画面,从而可以达到降低云游戏客户端设备(如电视)的功耗,获得更流畅,延迟更低的游戏运行效果。在一些实施例中,基于实验数据,本申请实施例中的方法可以将原本的一帧游戏画面的解码渲染延迟从30ms左右降低到10ms左右,大大提高了云游戏的图像处理速度。
下面继续说明本申请实施例提供的云游戏图像处理装置455的实施为软件模块的示例性结构,在一些实施例中,如图3所示,存储在存储器450的云游戏图像处理装置455中的软件模块可以包括:
获取模块4551,用于获取云游戏运行的当前场景画面;
图像匹配模块4552,用于在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像;所述预设场景库中包含至少一个预设场景图像,所述至少一个预设场景图像对应的游戏操作方式与所述云游戏的预设操作方式不同;
确定模块4553,用于当确定不存在所述目标图像时,确定关闭所述当前场景画面对应的操作引导图层;所述操作引导图层用于指示所述云游戏对应的游戏操作设备在所述当前场景画面中的操作方式。
在一些实施例中,所述云游戏图像处理装置还包括渲染模块与合成显示模块,所述至少一个预设场景图像中的每个预设场景图像对应有预设操作渲染数据集,所述预设操作渲染数据集中包含的至少一种预设操作渲染数据与至少一种预设设备类型一一对应,所述获取模块4551,还用于所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之后,当确定存在所述目标图像时,获取所述游戏操作设备的设备类型;所述确定模块4553,还用于确定所述目标图像对应的目标预设操作渲染数据集;所述获取模块4551,还用于从所述目标预设操作渲染数据集中,获取所述设备类型对应的目标操作渲染数据;所述渲染模块,还用于根据所述目标操作渲染数据进行图像渲染,得到所述操作引导图层;所述合成显示模块,还用于将所述操作引导图层与所述当前场景画面进行图像合成,得到云游戏图像并显示。
在一些实施例中,所述云游戏在服务器中运行,所述服务器与至少一个终端连接,每个终端上配置有所述游戏操作设备,所述方法应用于所述服务器或所述终端。
在一些实施例中,当上述装置应用于所述终端时,所述获取模块4551,还用于所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之前,从所述终端的预设菜单目录中,获取预设渲染控件的当前开关状态;
所述确定模块4553,还用于当所述当前开关状态为关闭时,确定关闭所述操作引导图层。
在一些实施例中,当上述装置应用于所述服务器时,所述获取模块4551,还用于获取所述云游戏运行的当前游戏画面数据;基于所述当前游戏画面数据,生成所述当前场景画面;其中,所述获取所述云游戏运行的当前游戏画面数据之后,获取所述云游戏的终端上游戏操作设备的设备类型;根据所述设备类型,获取所述当前游戏画面数据对应的目标引导渲染数据;所述当前游戏画面数据对应有至少一种预设引导渲染数据,所述至少一种预设引导渲染数据与至少一种预设设备类型一一对应;
所述渲染模块,还用于使用所述当前游戏画面数据与所述目标引导渲染数据进行并行渲染,得到云游戏图像,并将所述云游戏图像发送至所述终端进行显示。
在一些实施例中,所述云游戏图像处理装置还包括控件响应模块,所述控件响应模块,用于在所述预设菜单目录对应的显示界面中,接收针对所述预设渲染控件的操作指令;响应于所述操作指令,对所述预设渲染控件的开关状态进行更新。
在一些实施例中,至少一个预设场景图像为至少一个预设元素图像,所述图像匹配模块4552,还用于将所述至少一个预设元素图像与所述当前场景画面中包含的至少一个当前画面元素进行匹配;当所述至少一个当前画面元素与所述至少一个预设元素图像中存在匹配图像时,将所述匹配图像确定为目标图像。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的云游戏图像处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图5、7、9、11中示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本申请实施例,基于当前场景画面与至少一个预设场景图像的匹配,可以确定出当前场景画面对应的游戏操作方式与云游戏的预设游戏操作方式是否相同,当操作方式相同时,关闭对操作引导图层的渲染,实现了根据游戏场景智能地控制云游戏图像的渲染层级,从而了减轻终端进行图像渲染的任务负荷,提高了云游戏的图像处理速度,降低云游戏的显示延迟,使得云游戏在终端的运行更加流畅。进一步地,当由服务器侧来执行本申请实施例提供的云游戏图像处理方法时,可以进一步减轻终端上进行操作引导层渲染与图像合成的处理压力,从而进一步提高了云游戏的图像处理速度,使得云游戏画面可以更快地显示在终端的屏幕上。进一步地,使用服务端合成时,可以通过在游戏画面的渲染指令中调用的渲染指令,不需要等到完整的游戏画面渲染完成后二次渲染,这样可以有效地减少指令发送次数以提高效率,减少渲染次数,进一步提高了图像处理速度。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (10)

1.一种云游戏图像处理方法,其特征在于,包括:
获取云游戏运行的当前场景画面;
在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像;所述预设场景库中包含至少一个预设场景图像,所述至少一个预设场景图像对应的游戏操作方式与所述云游戏的预设操作方式不同;
当确定不存在所述目标图像时,确定关闭所述当前场景画面对应的操作引导图层;所述操作引导图层用于指示所述云游戏对应的游戏操作设备在所述当前场景画面中的操作方式。
2.根据权利要求1所述的方法,其特征在于,所述至少一个预设场景图像中的每个预设场景图像对应有预设操作渲染数据集,所述预设操作渲染数据集中包含的至少一种预设操作渲染数据与至少一种预设设备类型一一对应,所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之后,所述方法还包括:
当确定存在所述目标图像时,获取所述游戏操作设备的设备类型;
确定所述目标图像对应的目标预设操作渲染数据集;
从所述目标预设操作渲染数据集中,获取所述设备类型对应的目标操作渲染数据;
根据所述目标操作渲染数据进行图像渲染,得到所述操作引导图层;
将所述操作引导图层与所述当前场景画面进行图像合成,得到云游戏图像并显示。
3.根据权利要求1所述的方法,其特征在于,所述云游戏在服务器中运行,所述服务器与至少一个终端连接,每个终端上配置有所述游戏操作设备,所述方法应用于所述服务器或所述终端。
4.根据权利要求3所述的方法,其特征在于,所述方法应用于所述终端,所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像之前,所述方法还包括:
从所述终端的预设菜单目录中,获取预设渲染控件的当前开关状态;
当所述当前开关状态为关闭时,确定关闭所述操作引导图层。
5.根据权利要求3所述的方法,其特征在于,所述方法应用于所述服务器,所述获取云游戏运行的当前场景画面,包括:
获取所述云游戏运行的当前游戏画面数据;
基于所述当前游戏画面数据,生成所述当前场景画面;
其中,所述获取所述云游戏运行的当前游戏画面数据之后,所述方法还包括:
获取所述云游戏的终端上游戏操作设备的设备类型;
根据所述设备类型,获取所述当前游戏画面数据对应的目标引导渲染数据;所述当前游戏画面数据对应有至少一种预设引导渲染数据,所述至少一种预设引导渲染数据与至少一种预设设备类型一一对应;
使用所述当前游戏画面数据与所述目标引导渲染数据进行并行渲染,得到云游戏图像,并将所述云游戏图像发送至所述终端进行显示。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述预设菜单目录对应的显示界面中,接收针对所述预设渲染控件的操作指令;
响应于所述操作指令,对所述预设渲染控件的开关状态进行更新。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述至少一个预设场景图像为至少一个预设元素图像,所述在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像,包括:
将所述至少一个预设元素图像与所述当前场景画面中包含的至少一个当前画面元素进行匹配;
当所述至少一个当前画面元素与所述至少一个预设元素图像中存在匹配图像时,将所述匹配图像确定为目标图像。
8.一种云游戏图像处理装置,其特征在于,包括:
获取模块,用于获取云游戏运行的当前场景画面;
图像匹配模块,用于在预设场景库中,确定是否存在与所述当前场景画面匹配的目标图像;所述预设场景库中包含至少一个预设场景图像,所述至少一个预设场景图像对应的游戏操作方式与所述云游戏的预设操作方式不同;
确定模块,用于当确定不存在所述目标图像时,确定关闭所述当前场景画面对应的操作引导图层;所述操作引导图层用于指示所述云游戏对应的游戏操作设备在所述当前场景画面中的操作方式。
9.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至7任一项所述的方法。
CN202110257330.9A 2021-03-09 2021-03-09 云游戏图像处理方法、装置、设备及计算机可读存储介质 Pending CN115040866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110257330.9A CN115040866A (zh) 2021-03-09 2021-03-09 云游戏图像处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110257330.9A CN115040866A (zh) 2021-03-09 2021-03-09 云游戏图像处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115040866A true CN115040866A (zh) 2022-09-13

Family

ID=83156673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110257330.9A Pending CN115040866A (zh) 2021-03-09 2021-03-09 云游戏图像处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115040866A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391084A (zh) * 2022-10-27 2022-11-25 北京蔚领时代科技有限公司 一种云游戏异常的智能解决方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391084A (zh) * 2022-10-27 2022-11-25 北京蔚领时代科技有限公司 一种云游戏异常的智能解决方法及系统

Similar Documents

Publication Publication Date Title
CN111729293B (zh) 一种数据处理方法、装置及存储介质
US11403124B2 (en) Remotely emulating computing devices
CN113244614B (zh) 图像画面展示方法、装置、设备及存储介质
JP6104246B2 (ja) コンピューティングデバイスの遠隔事前構成
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
US8860720B1 (en) System and method for delivering graphics over network
CN115065684B (zh) 数据处理方法、装置、设备以及介质
US20180243650A1 (en) Virtual Reality Environment Multiplatform Adaptive System
CN114007143A (zh) 信息交互方法、装置、设备及计算机存储介质、程序产品
US9497238B1 (en) Application control translation
CN113617026B (zh) 云游戏的处理方法、装置、计算机设备和存储介质
CN115040866A (zh) 云游戏图像处理方法、装置、设备及计算机可读存储介质
US9471299B1 (en) Updating code within an application
JP7429930B2 (ja) コンピュータプログラム、方法、及び、サーバ装置
US20180088930A1 (en) Updating code within an application
KR101744684B1 (ko) 클라우드 게임 서비스 제공 장치 및 방법
CN114443177A (zh) 应用运行方法、装置、服务器及存储介质
Roberts The AR/VR Technology Stack: A Central Repository of Software Development Libraries, Platforms, and Tools
CN118001751A (zh) 信息显示方法、装置、电子设备、存储介质及程序产品
CN114816082A (zh) 应用于云应用的输入控制方法、装置以及电子设备
CN115730161A (zh) 多媒体内容的显示方法、装置及设备
CN110913247A (zh) 资源转移方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination