CN114377394B - 一种云游戏画面渲染方法及装置 - Google Patents

一种云游戏画面渲染方法及装置 Download PDF

Info

Publication number
CN114377394B
CN114377394B CN202210048867.9A CN202210048867A CN114377394B CN 114377394 B CN114377394 B CN 114377394B CN 202210048867 A CN202210048867 A CN 202210048867A CN 114377394 B CN114377394 B CN 114377394B
Authority
CN
China
Prior art keywords
game
instruction
data
rendering
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210048867.9A
Other languages
English (en)
Other versions
CN114377394A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Province Grinding Iron Mutual Entertainment Mobile Game R&d Co ltd
Original Assignee
Jilin Province Grinding Iron Mutual Entertainment Mobile Game R&d Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Province Grinding Iron Mutual Entertainment Mobile Game R&d Co ltd filed Critical Jilin Province Grinding Iron Mutual Entertainment Mobile Game R&d Co ltd
Priority to CN202210048867.9A priority Critical patent/CN114377394B/zh
Publication of CN114377394A publication Critical patent/CN114377394A/zh
Application granted granted Critical
Publication of CN114377394B publication Critical patent/CN114377394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种云游戏画面渲染方法,方法包括:根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令;基于预设哈希函数,获取游戏渲染指令的哈希值;根据哈希值,确定游戏渲染指令是否为高频调用指令;其中,高频调用指令为调用频率达到第一预设阈值的游戏渲染指令;在游戏渲染指令为高频调用指令的情况下,获取游戏渲染指令的索引值,并发送到游戏客户端,以使游戏客户端根据索引值在内存中查找并执行游戏渲染指令,对当前帧游戏画面进行渲染。用于解决云游戏画面渲染计算量大、带宽需求高,会增大游戏延迟的问题。

Description

一种云游戏画面渲染方法及装置
技术领域
本申请涉及游戏画面处理技术领域,尤其涉及一种云游戏画面渲染方法及装置。
背景技术
云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端,用户的游戏设备不需要任何高端处理器和显卡,只需要基本的视频解压能力就可以了。在云游戏中,当用户请求运行一个游戏时,服务器启动该游戏实例,执行游戏逻辑,响应用户输入,同时对游戏画面进行渲染,最后将渲染后的游戏画面压缩后以视频流的方式传输至客户端。
但是这种基于视频流构建的云游戏延迟高,对于带宽的需求较大,非常影响用户体验。且云游戏是一种计算和渲染任务都极为繁重的应用,因此它对云服务器CPU的逻辑计算能力和渲染能力要求很高,导致云服务器的部署成本高昂,游戏并发能力较弱。
通过边缘计算技术可以实现将逻辑计算和渲染放在在客户端中进行,客户端与服务器会进行一个交互循环,对游戏画面帧进行渲染,但是图形渲染指令的正确执行需要包含正确的指令参数、顶点和索引数据、纹理数据等,这些数据量庞大,传输这些数据将消耗大量的网络带宽。且由于游戏相邻帧画面之间的场景相似性以及用户有时会处于挂机状态,对每一帧游戏画面都执行完整的渲染流程并实现相同的渲染效果,会造成不必要的计算量和数据传输量,增大游戏画面渲染的延迟,给用户造成不好的游戏体验。
发明内容
本申请实施例提供了一种云游戏画面渲染方法及装置,用于解决如下技术问题:云游戏画面渲染计算量大、带宽需求高,会增大游戏延迟。
本申请实施例采用下述技术方案:
一方面,本申请实施例提供了一种云游戏画面渲染方法,方法包括:根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令;基于预设哈希函数,获取所述游戏渲染指令的哈希值;根据所述哈希值,确定所述游戏渲染指令是否为高频调用指令;其中,所述高频调用指令为调用频率达到第一预设阈值的游戏渲染指令;在所述游戏渲染指令为高频调用指令的情况下,获取所述游戏渲染指令的索引值,并发送到所述游戏客户端,以使所述游戏客户端根据所述索引值在内存中查找并执行所述游戏渲染指令,对当前游戏画面帧进行渲染。
在一种可行的实施方式中,2.所述游戏渲染指令至少包括以下一项或多项:指令参数、顶点数据、索引数据、纹理数据;
所述根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令,具体包括:
基于所述图形API调用信息,在服务器缓存中获取对应的指令参数,以及当前场景、当前视角下物体的顶点数据与索引数据;其中,所述顶点数据至少包括以下任一项或多项:顶点坐标、法线向量、切线向量、顶点颜色;所述索引数据至少包括顶点索引值;获取所述游戏客户端中设置的画质信息;根据所述画质信息,确定画面渲染等级;基于所述画面渲染等级,获取对应等级的纹理数据;其中,不同等级的纹理数据对几何图形的渲染效果不同;将所述指令参数、所述顶点数据、所述索引数据以及所述对应等级的纹理数据组合后进行序列化处理,得到所述游戏渲染指令。
在一种可行的实施方式中,所述方法还包括:基于接收到的顶点更新指令以及索引更新指令,获取顶点更新数据以及索引更新数据;计算所述顶点更新数据与所述服务器缓存中的顶点数据的差值,得到所述顶点更新数据的偏移量,并通过所述顶点更新数据的偏移量标识所述顶点更新数据的位置;计算所述索引更新数据与所述服务器缓存中的索引数据的差值,得到所述索引更新数据的偏移量,并通过所述索引更新数据的偏移量标识所述索引更新数据的位置。
在一种可行的实施方式中,根据所述哈希值,确定所述游戏渲染指令是否为高频调用指令,具体包括:基于所述预设哈希函数,确定所述游戏渲染指令中指令参数的哈希值;根据所述指令参数的哈希值,在哈希链表中匹配相同的哈希值;其中,所述哈希链表中存储有所述高频调用指令,以及所述高频调用指令对应的哈希值;在匹配成功的情况下,确定所述游戏渲染指令是高频调用指令;在匹配不成功的情况下,确定所述游戏渲染指令不是高频调用指令。
在一种可行的实施方式中,在所述游戏渲染指令不是高频调用指令的情况下,所述方法还包括:将所述游戏渲染指令压缩后发送到游戏客户端,以使所述游戏客户端执行所述游戏渲染指令,并将所述游戏渲染指令中包含的数据更新在所述内存中;记录所述游戏渲染指令的出现频次;在所述出现频次达到所述第一预设阈值的情况下,将所述游戏渲染指令保存在所述哈希链表中。
在一种可行的实施方式中,将所述游戏渲染指令压缩后发送到游戏客户端,以使所述游戏客户端执行所述游戏渲染指令,具体包括:在序列化处理后得到的游戏渲染指令的数据量达到第二预设阈值的情况下,将已经序列化处理完成的部分游戏渲染指令进行压缩,并传输到所述游戏客户端,以使所述游戏客户端执行接收到的所述部分游戏渲染指令;继续对所述指令参数、所述顶点数据、所述索引数据以及所述对应等级的纹理数据进行序列化处理,直到得到的游戏渲染指令的数据量再次达到所述第二预设阈值则再次传输此部分游戏渲染指令,以使所述服务器与所述游戏客户端同步运行。
在一种可行的实施方式中,在根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令之前,所述方法还包括:在所述游戏客户端预设时间内均没有检测到用户操作,或者接收到挂机指令的情况下,确定所述游戏处于挂机状态;在所述挂机状态下,将游戏的画面帧按照预设间隔分为关键画面帧与非关键画面帧;其中,相邻的两个关键画面帧之间包含预设个非关键画面帧;在所述挂机状态持续时间超过第三预设阈值的情况下,缩小场景镜头的视野至预设视野,以减少游戏画面帧显示的物体数量;在接收到所述图形API调用信息后,判断当前画面帧是否为关键画面帧;在当前画面帧为关键画面帧的情况下,将最低等级的纹理数据封装入游戏渲染指令并发送到所述游戏客户端;在当前画面帧为非关键画面帧的情况下,向所述游戏客户端发送替换指令,将所述非关键画面帧替换为空白画面帧。
在一种可行的实施方式中,在当前画面帧为关键画面帧的情况下,生成对应的游戏渲染指令,具体包括:确定所述关键画面帧预设区域中的顶点数据;其中,所述预设区域为与场景镜头的距离大于预设距离的区域;在所述游戏客户端的内存中获取所述顶点数据的三维坐标;其中,所述顶点数据的z坐标表示所述顶点与场景镜头的距离;建立所述顶点数据的z坐标与雾浓度的对应关系表;通过所述顶点数据的z坐标,在所述对应关系表中查找对应的雾浓度,并将所述顶点的三维坐标以及对应的雾浓度封装在所述游戏渲染指令中发送到所述游戏客户端,以使所述游戏客户端对所述关键画面帧预设区域中的顶点数据进行雾效处理;其中,所述游戏渲染指令中不包含所述顶点数据所在几何图形的纹理数据。
在一种可行的实施方式中,在根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令之后,所述方法还包括:根据所述图形API调用信息,确定需要渲染的当前画面帧;获取所述当前画面帧中每个图形的顶点数据;其中,所述顶点数据中包含所述图形每个顶点的三维坐标;根据所述三维坐标,得到所述每个图形的法向量,并获取所述当前画面帧的二维视野向量;将所述法向量与二维所述视野向量进行点乘计算,得到所述法向量与所述二维视野向量的向量角;在所述向量角属于第一角度区间的情况下,将所述图形的顶点数据、索引数据以及纹理数据在所述游戏渲染指令中删除;在所述向量角属于第二角度区间的情况下,获取所述图形顶点数据的z坐标;在所述z坐标属于第一坐标区间的情况下,获取所述图形的第一等级纹理数据,并封装入所述游戏渲染指令中,以使所述游戏客户端对所述图形进行第一等级渲染;在所述z坐标属于第二坐标区间的情况下,获取所述图形的第二等级纹理数据,并封装入所述游戏渲染指令中,以使所述游戏客户端对所述图形进行第二等级渲染;在所述z坐标属于第三坐标区间的情况下,获取对应的贴图数据,并封装入所述游戏渲染指令中,以使所述游戏客户端在所述位置显示所述贴图数据。
另一方面,本申请实施例还提供了一种云游戏画面渲染装置,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项实施方式。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
1.本申请实施例根据边缘计算原理,将云游戏的渲染过程放在游戏客户端中进行,由服务器生成渲染指令,再发送到客户端执行。为避免相似画面帧渲染时重复传输数据造成延迟,在服务器和客户端中缓存相同的高频调用指令,由服务器判断生成的指令是否为高频调用指令,如果是,则无需传输整个渲染指令给客户端,只需要发送一个索引值,引导客户端在自己的缓存中查找到对应的渲染指令即可,大大节省了数据传输的时间,减少了云游戏延迟。
2.本申请实施例为纹理数据划分了等级,根据用户在游戏客户端中设置的画质等级,选择对应等级的纹理数据封装在渲染指令中,这一过程耗费的时间很短,节省了指令生成时间,且能够满足用户根据自己客户端的配置选择不同渲染画质的需求。
3.在更新服务器中的顶点数据和索引数据时,通过计算更新数据的偏移量,采用偏移量来表示更新数据的位置,可以缩小更新数据的编址长度,提高寻址速度,同样节省更新顶点数据和索引数据所耗费的时间,避免因为更新时间过长导致云游戏暂停登录时间过长的问题,提高用户游戏体验。
4.服务器并不是在渲染指令全部生成完成后才将完整的渲染指令发送到客户端,而是在每次序列化到一定数据量的渲染指令后就立即发送到客户端进行执行,使得渲染指令的生成与客户端的执行同步进行,能够大大缩减客户端渲染游戏的时间。
5.本申请实施例在游戏处于挂机状态时将游戏的画面帧设置为关键画面帧和非关键画面帧,只对关键画面帧进行最低等级的渲染,可以最大限度地节省挂机时的渲染数据量和渲染质量,为游戏客户端节省电量,同时保证游戏长时间运行的流畅度,避免因游戏长时间运行而累积产生不可忽视的延迟。
6.本申请实施例采用改进后的剔除算法计算出游戏画面帧帧中被遮挡的或者不需要显示的图形,渲染指令中不需要包含这些图形的顶点数据、索引数据以及纹理数据,并且根据物体距离场景镜头的远近对物体进行不同程度的渲染,很远的场景物体直接用贴图来显示,大大节省了需要传输的数据量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附
图中:
图1为本申请实施例提供的一种云游戏画面渲染方法流程图;
图2为本申请实施例提供的一种云游戏画面渲染装置示意图。
具体实施方式
本申请实施例提供了一种云游戏画面渲染方法及装置。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1为本申请实施例提供的一种云游戏画面渲染方法流程图,如图1所示,云游戏画面渲染方法具体可包括以下步骤:
S101、云游戏服务器根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令。
具体地,云游戏服务器中缓存有云游戏的指令参数、顶点数据、索引数据、纹理数据等大量数据,其中,顶点数据至少包括顶点坐标、法线向量、切线向量、顶点颜色等数据,索引数据至少包括顶点索引值等数据。游戏客户端中也缓存有高频使用的一些指令参数、顶点数据、索引数据、纹理数据等数据。
进一步地,云游戏服务器在接收到游戏客户端发送的图形API调用信息后,基于图形API调用信息的内容,确定需要渲染的当前游戏画面帧,并在缓存中获取对应的指令参数。然后获取当前游戏画面帧中物体的顶点数据与索引数据。然后获取游戏客户端中用户设置的画质信息,根据画质信息,确定画面渲染等级,基于画面渲染等级,获取对应等级的纹理数据,不同等级的纹理数据对几何图形的渲染效果不同。最后将获取的指令参数、顶点数据、索引数据以及对应等级的纹理数据组合后进行序列化处理,并封装为游戏渲染指令。
作为一种可行的实施方式,云游戏场景中的几何图形由一个个三角形组成。云游戏服务器可获取当前画面帧中每个三角形的顶点数据,顶点数据中包含三角形每个顶点的三维坐标。然后根据三角形顶点的三维坐标,得到每个三角形的法向量,并获取当前画面帧的二维视野向量。将三角形的法向量与二维视野向量进行点乘计算,从而得到法向量与二维视野向量的向量角。
在一个实施例中,假设某个三角形的三个顶点为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3),则三角形ABC的法向量
Figure BDA0003473017670000071
通过投影变换当前画面帧的三维视野向量坐标归一化为二维视野向量
Figure BDA0003473017670000072
然后将法向量
Figure BDA0003473017670000073
与二维视野向量
Figure BDA0003473017670000081
进行点乘计算,得到向量角θ。
进一步地,在向量角属于第一角度区间的情况下,将该三角形的顶点数据、索引数据以及纹理数据在游戏渲染指令中删除。在向量角属于第二角度区间的情况下,获取该三角形顶点数据的z坐标;在该三角形某个顶点数据的z坐标属于第一坐标区间的情况下,获取该三角形的第一等级纹理数据,并封装入游戏渲染指令中,以使游戏客户端对该三角形进行第一等级渲染;在该三角形某个顶点数据的z坐标属于第二坐标区间的情况下,获取该图形的第二等级纹理数据,并封装入游戏渲染指令中,以使游戏客户端对该三角形进行第二等级渲染。在该三角形的顶点数据的z坐标均属于第三坐标区间的情况下,获取对应的贴图数据,并封装入游戏渲染指令中,以使游戏客户端在该三角形所在位置显示贴图数据。
在一个实施例中,在向量角θ属于[90度,180度)区间时,说明该三角形是位于物体背面的,在当前视角下看不到该三角形,所以无需对它进行渲染,则将该三角形的顶点数据、索引数据以及纹理数据在游戏渲染指令中删除即可,或者在生成游戏渲染指令之前就将这些数据删除,直接不封装进游戏渲染指令。在向量角θ属于[0度,90度)区间时,说明该三角形位于面向镜头的一面,需要对这些三角形进行渲染。获取这些三角形顶点的z坐标,也就是三角形顶点与场景镜头的距离,然后通过最高等级的纹理数据对z坐标小于第一阈值的顶点所在的三角形进行最高等级的渲染,通过第二等级的纹理数据对z坐标大于第一阈值且小于第二阈值的顶点所在的三角形进行第二等级的渲染,对于所有顶点的z坐标都超过第二阈值的三角形,直接获取贴图数据,在游戏客户端中显示贴图即可。也就是对距离场景镜头较近的物体进行最高等级的渲染,较远的物体进行较低等级的渲染,特别远的物体直接用贴图来显示即可。需要说明的是,随着游戏角色的移动带动场景镜头同时移动,原本距离场景镜头的距离超过第二阈值的三角形可能会变得离场景镜头很近,那时则需要对该三角形进行对应等级的渲染,而不是再用贴图来显示。
作为一种可行的实施方式,由于游戏中的地形并不是时时变化的,固定性较高,因此每次地形更新后在云游戏服务器保存各场景下的原始地形数据,在游戏客户端中保存各场景下的原始地形渲染数据。在接收到图形API调用信息后,云游戏服务器在当前画面帧中读取当前场景的地形数据,并与内存中该场景下的原始地形数据进行对比,确定是否发生了变化,若没有发生变化,则无需将地形数据封装入游戏渲染指令中,而是指示游戏客户端直接调用本地内存中的原始地形渲染数据进行渲染即可。
作为一种可行的实施方式,在接收到顶点更新指令和索引更新指令,需要对缓存中的顶点数据和索引数据进行大量的更新时,获取顶点更新数据以及索引更新数据,并计算顶点更新数据与服务器缓存中的顶点数据的差值,得到顶点更新数据的偏移量,并通过顶点更新数据的偏移量标识顶点更新数据的位置。同时计算索引更新数据与服务器缓存中的索引数据的差值,得到索引更新数据的偏移量,并通过索引更新数据的偏移量标识索引更新数据的位置。
S102、云游戏服务器基于预设哈希函数,获取游戏渲染指令的哈希值,根据获取的哈希值,确定游戏渲染指令是否为高频调用指令。
具体地,云游戏服务器基于预设哈希函数,确定游戏渲染指令中指令参数的哈希值。根据指令参数的哈希值,在哈希链表中匹配相同的哈希值。其中,哈希链表中存储有高频调用指令的指令参数,以及高频调用指令的指令参数对应的哈希值。在匹配成功的情况下,确定该游戏渲染指令是高频调用指令,在匹配不成功的情况下,确定该游戏渲染指令不是高频调用指令。
作为一种可行的实施方式,云游戏服务器中建立有一个哈希链表,其中存储了所有调用频率达到第一预设阈值的游戏渲染指令,即高频调用指令,并根据高频调用指令的指令参数,设定一个哈希函数,使得每个高频调用指令的指令参数经过该哈希函数计算之后获得的哈希值是唯一的。在云游戏服务器根据游戏客户端发送的图形API调用信息确定对应的游戏渲染指令的指令参数后,通过相同的哈希函数获取该游戏渲染指令的指令参数的哈希值,并在哈希链表中查找,若查找到了相同的哈希值,说明该游戏渲染指令是高频调用指令。
S103、云游戏服务器在游戏渲染指令为高频调用指令的情况下,获取游戏渲染指令的索引值,并发送到游戏客户端,以使游戏客户端根据索引值在内存中查找并执行游戏渲染指令,对当前游戏画面帧进行渲染。
作为一种可行的实施方式,客户端中同步建立一个数组,数组中保存有与哈希链表中完全相同的高频调用指令,并通过索引值将数组中的高频调用指令与哈希链表中的每条高频调用指令一一对应。在云游戏服务器确定当前生成的游戏渲染指令是高频调用指令的情况下,获取该高频调用指令的索引值,直接发送索引值到游戏客户端,从而无需发送数据量庞大的游戏渲染指令。游戏客户端接收到索引值后,根据索引值在数组中查找对应的高频调用指令,并执行,即可对当前画面帧进行渲染。
由于游戏渲染指令的正确执行需要包含正确的指令参数以及大量的几何数据,如顶点数据、索引数据、纹理数据等,传输起来比较费时,且对带宽的要求很高,而游戏的相邻画面帧之间会存在大量的相似场景,宏观上看游戏场景的数量其实是有限的,势必会出现一些重复的或者相似性较高的游戏渲染指令,如果每次都传输指令会造成比较大的延迟和不必要的数据传输,因此在云游戏服务器和游戏客户端中同时缓存高频调用指令,可以非常有效地节省数据传输时间,减小云游戏延迟,同时对游戏客户端带宽的压力也会降低一些。
作为一种可行的实施方式,云游戏服务器和游戏客户端中缓存一部分历史游戏渲染指令。在检测完游戏渲染指令是否为高频调用指令之后,云游戏服务器可以进一步计算当前帧游戏渲染指令与上一帧游戏渲染指令之间的相似度,若相似度超过相似度阈值,则提取当前帧游戏渲染指令与上一帧游戏渲染指令中不同的数据,只将这部分不同的数据封装压缩后发送到游戏客户端,并通过指令指示游戏客户端调取本地缓存的上一帧游戏渲染指令,将上一帧游戏渲染指令中对应部分的数据替换为接收到的数据之后执行替换数据后的上一帧游戏渲染指令。其中,相似度阈值可以设为一个较高的值。此方法可以减少相似画面帧的渲染数据重复传输的情况,减少数据传输的总时长,进而缩小延迟。
S104、在游戏渲染指令不是高频调用指令的情况下,云游戏服务器根据当前游戏状态以及预设规则生成对应的游戏渲染指令,压缩后发送到游戏客户端。
具体地,在游戏渲染指令不是高频调用指令的情况下,云游戏服务器将获取的指令参数、顶点数据、索引数据以及对应等级的纹理数据进行序列化处理成游戏渲染指令,并通过LZO算法对序列化处理后生成的游戏渲染指令进行快速无损压缩,然后将压缩后的游戏渲染指令发送到游戏客户端。游戏客户端解压并执行该游戏渲染指令,并将该游戏渲染指令中包含的数据更新在游戏客户端的内存中。同时云游戏服务器和游戏客户端同时记录该游戏渲染指令的出现频次,在出现频次达到第一预设阈值时,将该游戏渲染指令保存在云游戏服务器的哈希链表和游戏客户端的数组中。
作为一种可行的实施方式,在游戏渲染指令不是高频调用指令的情况下,若云游戏服务器序列化处理后的游戏渲染指令的数据量已经达到第二预设阈值,则将已经序列化处理完成的部分游戏渲染指令进行压缩,并传输到游戏客户端,以使游戏客户端执行接收到的部分游戏渲染指令。然后云游戏服务器继续对指令参数、顶点数据、索引数据以及对应等级的纹理数据进行序列化处理,直到得到的游戏渲染指令的数据量再次达到第二预设阈值则再次传输此部分游戏渲染指令,以使云游戏服务器与游戏客户端同步运行。
在一个实施例中,若云游戏服务器序列化处理后的游戏渲染指令的数据量已经达到一个最大传输单元(Maximum Transmission Unit,MTU),即可现将这一个MTU的游戏渲染指令进行压缩并立即发送到游戏客户端,此时游戏客户端接收到游戏渲染指令后即可立即开始执行这部分指令,然后云游戏服务器继续进行序列化处理,并在数据量再次达到一个MTU之后进行压缩传输。这样云游戏服务器和游戏客户端即可实现同时运行。此方法比生成完整的游戏渲染指令后发送给游戏客户端,游戏客户端再执行完整的游戏渲染指令所用的时间会有大幅度的缩短。
S105、在游戏处于挂机状态时,云游戏服务器将游戏画面帧分为关键画面帧与非关键画面帧,根据物体距离场景镜头的距离对关键画面帧中的物体进行渲染。
具体地,在游戏客户端预设时间内均没有检测到用户操作的情况下,或者接收到用户输入的挂机指令的情况下,确定游戏处于挂机状态。在挂机状态下,将游戏的画面帧按照预设间隔分为关键画面帧与非关键画面帧;其中,相邻的两个关键画面帧之间包含预设个非关键画面帧;在挂机状态持续时间超过第三预设阈值的情况下,缩小场景镜头的视野至预设视野,以减少游戏画面帧显示的物体数量;在接收到图形API调用信息后,判断当前画面帧是否为关键画面帧;在当前画面帧为关键画面帧的情况下,将最低等级的纹理数据封装入游戏渲染指令并发送到游戏客户端。在当前画面帧为非关键画面帧的情况下,向游戏客户端发送替换指令,将非关键画面帧替换为空白画面帧。
在一个实施例中,在确定游戏处于挂机状态之后,可以每隔三个画面帧确定一个关键画面帧,两个关键画面帧之间的三个画面帧即为非关键画面帧。需要说明的是,每隔几个画面帧确定一个关键画面帧可以根据游戏客户端的分辨率、CPU配置等信息通过算法进行自动调整,并不是固定数值。
进一步地,确定关键画面帧预设区域中的顶点数据,预设区域为与场景镜头的距离大于预设距离的区域。在游戏客户端的内存中获取顶点数据的三维坐标,顶点数据的z坐标表示顶点与场景镜头的距离。建立顶点数据的z坐标与雾浓度的对应关系表,通过顶点数据的z坐标,在对应关系表中查找对应的雾浓度,并将顶点的三维坐标以及对应的雾浓度封装在游戏渲染指令中,且不在游戏渲染指令中封装这些顶点数据所在几何图形的纹理数据。将得到的游戏渲染指令发送到游戏客户端,以使游戏客户端对关键画面帧预设区域中的顶点数据进行雾效处理。在挂机状态下,用户对于画质和较远物体清晰度的需求并没有那么高,因此对于距离场景镜头较远的物体或几何图形,可直接进行雾效处理,使远处的物体隐藏在雾中,即可不对远处的物体进行纹理映射,节省这部分物体的纹理数据传输量。
在一个实施例中,挂机状态下生成的带有雾浓度的游戏渲染指令也可以作为高频调用指令存储在哈希链表中,只要该指令出现的次数超过第一预设阈值。
另外,本申请实施例还提供了一种云游戏画面渲染装置,如图2所示,装置包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行S101-S105中任一个或多个步骤。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种云游戏画面渲染方法,其特征在于,所述方法包括:
根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令;所述游戏渲染指令至少包括以下一项或多项:指令参数、顶点数据、索引数据、纹理数据;
所述根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令,具体包括:
基于所述图形API调用信息,在服务器缓存中获取对应的指令参数,以及当前场景、当前视角下物体的顶点数据与索引数据;其中,所述顶点数据至少包括以下任一项或多项:顶点坐标、法线向量、切线向量、顶点颜色;所述索引数据至少包括顶点索引值;获取所述游戏客户端中设置的画质信息;根据所述画质信息,确定画面渲染等级;基于所述画面渲染等级,获取对应等级的纹理数据;其中,不同等级的纹理数据对几何图形的渲染效果不同;将所述指令参数、所述顶点数据、所述索引数据以及所述对应等级的纹理数据组合后进行序列化处理,得到所述游戏渲染指令;
基于预设哈希函数,获取所述游戏渲染指令的哈希值;
根据所述哈希值,确定所述游戏渲染指令是否为高频调用指令;其中,所述高频调用指令为调用频率达到第一预设阈值的游戏渲染指令;
在所述游戏渲染指令为高频调用指令的情况下,获取所述游戏渲染指令的索引值,并发送到所述游戏客户端,以使所述游戏客户端根据所述索引值在内存中查找并执行所述游戏渲染指令,对当前游戏画面帧进行渲染。
2.根据权利要求1所述的一种云游戏画面渲染方法,其特征在于,所述方法还包括:
基于接收到的顶点更新指令以及索引更新指令,获取顶点更新数据以及索引更新数据;
计算所述顶点更新数据与所述服务器缓存中的顶点数据的差值,得到所述顶点更新数据的偏移量,并通过所述顶点更新数据的偏移量标识所述顶点更新数据的位置;
计算所述索引更新数据与所述服务器缓存中的索引数据的差值,得到所述索引更新数据的偏移量,并通过所述索引更新数据的偏移量标识所述索引更新数据的位置。
3.根据权利要求1所述的一种云游戏画面渲染方法,其特征在于,根据所述哈希值,确定所述游戏渲染指令是否为高频调用指令,具体包括:
基于所述预设哈希函数,确定所述游戏渲染指令中指令参数的哈希值;
根据所述指令参数的哈希值,在哈希链表中匹配相同的哈希值;其中,所述哈希链表中存储有所述高频调用指令,以及所述高频调用指令对应的哈希值;
在匹配成功的情况下,确定所述游戏渲染指令是高频调用指令;
在匹配不成功的情况下,确定所述游戏渲染指令不是高频调用指令。
4.根据权利要求3所述的一种云游戏画面渲染方法,其特征在于,在所述游戏渲染指令不是高频调用指令的情况下,所述方法还包括:
将所述游戏渲染指令压缩后发送到游戏客户端,以使所述游戏客户端执行所述游戏渲染指令,并将所述游戏渲染指令中包含的数据更新在所述内存中;
记录所述游戏渲染指令的出现频次;
在所述出现频次达到所述第一预设阈值的情况下,将所述游戏渲染指令保存在所述哈希链表中。
5.根据权利要求4所述的一种云游戏画面渲染方法,其特征在于,将所述游戏渲染指令压缩后发送到游戏客户端,以使所述游戏客户端执行所述游戏渲染指令,具体包括:
在序列化处理后得到的游戏渲染指令的数据量达到第二预设阈值的情况下,将已经序列化处理完成的部分游戏渲染指令进行压缩,并传输到所述游戏客户端,以使所述游戏客户端执行接收到的所述部分游戏渲染指令;
继续对所述指令参数、所述顶点数据、所述索引数据以及所述对应等级的纹理数据进行序列化处理,直到得到的游戏渲染指令的数据量再次达到所述第二预设阈值则再次传输此部分游戏渲染指令,以使所述服务器与所述游戏客户端同步运行。
6.根据权利要求1所述的一种云游戏画面渲染方法,其特征在于,在根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令之前,所述方法还包括:
在所述游戏客户端预设时间内均没有检测到用户操作,或者接收到挂机指令的情况下,确定所述游戏处于挂机状态;
在所述挂机状态下,将游戏的画面帧按照预设间隔分为关键画面帧与非关键画面帧;其中,相邻的两个关键画面帧之间包含预设个非关键画面帧;
在所述挂机状态持续时间超过第三预设阈值的情况下,缩小场景镜头的视野至预设视野,以减少游戏画面帧显示的物体数量;
在接收到所述图形API调用信息后,判断当前画面帧是否为关键画面帧;
在当前画面帧为关键画面帧的情况下,将最低等级的纹理数据封装入游戏渲染指令并发送到所述游戏客户端;
在当前画面帧为非关键画面帧的情况下,向所述游戏客户端发送替换指令,将所述非关键画面帧替换为空白画面帧。
7.根据权利要求6所述的一种云游戏画面渲染方法,其特征在于,在当前画面帧为关键画面帧的情况下,生成对应的游戏渲染指令,具体包括:
确定所述关键画面帧预设区域中的顶点数据;其中,所述预设区域为与场景镜头的距离大于预设距离的区域;
在所述游戏客户端的内存中获取所述顶点数据的三维坐标;其中,所述顶点数据的z坐标表示所述顶点与场景镜头的距离;
建立所述顶点数据的z坐标与雾浓度的对应关系表;
通过所述顶点数据的z坐标,在所述对应关系表中查找对应的雾浓度,并将所述顶点的三维坐标以及对应的雾浓度封装在所述游戏渲染指令中发送到所述游戏客户端,以使所述游戏客户端对所述关键画面帧预设区域中的顶点数据进行雾效处理;其中,所述游戏渲染指令中不包含所述顶点数据所在几何图形的纹理数据。
8.根据权利要求1所述的一种云游戏画面渲染方法,其特征在于,在根据游戏客户端发送的图形API调用信息,生成对应的游戏渲染指令之后,所述方法还包括:
根据所述图形API调用信息,确定需要渲染的当前画面帧;
获取所述当前画面帧中每个图形的顶点数据;其中,所述顶点数据中包含所述图形每个顶点的三维坐标;
根据所述三维坐标,得到所述每个图形的法向量,并获取所述当前画面帧的二维视野向量;
将所述法向量与所述二维视野向量进行点乘计算,得到所述法向量与所述二维视野向量的向量角;
在所述向量角属于第一角度区间的情况下,将所述图形的顶点数据、索引数据以及纹理数据在所述游戏渲染指令中删除;
在所述向量角属于第二角度区间的情况下,获取所述图形顶点数据的z坐标;
在所述z坐标属于第一坐标区间的情况下,获取所述图形的第一等级纹理数据,并封装入所述游戏渲染指令中,以使所述游戏客户端对所述图形进行第一等级渲染;
在所述z坐标属于第二坐标区间的情况下,获取所述图形的第二等级纹理数据,并封装入所述游戏渲染指令中,以使所述游戏客户端对所述图形进行第二等级渲染;
在所述z坐标属于第三坐标区间的情况下,获取对应的贴图数据,并封装入所述游戏渲染指令中,以使所述游戏客户端在所述图形所在的位置显示所述贴图数据。
9.一种云游戏画面渲染装置,其特征在于,所述装置包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8任一项所述的一种云游戏画面渲染方法。
CN202210048867.9A 2022-01-17 2022-01-17 一种云游戏画面渲染方法及装置 Active CN114377394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210048867.9A CN114377394B (zh) 2022-01-17 2022-01-17 一种云游戏画面渲染方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210048867.9A CN114377394B (zh) 2022-01-17 2022-01-17 一种云游戏画面渲染方法及装置

Publications (2)

Publication Number Publication Date
CN114377394A CN114377394A (zh) 2022-04-22
CN114377394B true CN114377394B (zh) 2023-05-05

Family

ID=81201330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210048867.9A Active CN114377394B (zh) 2022-01-17 2022-01-17 一种云游戏画面渲染方法及装置

Country Status (1)

Country Link
CN (1) CN114377394B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292020B (zh) * 2022-09-26 2022-12-20 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备以及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598292B (zh) * 2014-12-15 2017-10-03 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法
CN104991827A (zh) * 2015-06-26 2015-10-21 季锦诚 云游戏中gpu资源共享的方法
CN105727556B (zh) * 2016-01-29 2019-05-31 腾讯科技(深圳)有限公司 一种图像绘制的方法、相关设备及系统
CN110138769B (zh) * 2019-05-09 2021-06-15 深圳市腾讯网域计算机网络有限公司 一种图像传输的方法以及相关装置
CN111790145A (zh) * 2019-09-10 2020-10-20 厦门雅基软件有限公司 数据处理的方法、装置、云游戏引擎及计算机存储介质
US11731043B2 (en) * 2019-11-19 2023-08-22 Sony Interactive Entertainment Inc. Adaptive graphics for cloud gaming
CN111084983B (zh) * 2019-11-25 2021-12-14 腾讯科技(深圳)有限公司 一种云游戏服务方法、装置、设备及存储介质
CN111359220B (zh) * 2020-03-04 2023-06-13 深圳市腾讯网域计算机网络有限公司 游戏广告生成方法、装置和计算机设备
CN112316433B (zh) * 2020-11-09 2024-04-23 腾讯科技(深圳)有限公司 游戏画面渲染方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
CN114377394A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
JP7561254B2 (ja) レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
JP4004408B2 (ja) ビデオ情報圧縮方法
US20180115743A1 (en) Predictive virtual reality content streaming techniques
US11587298B2 (en) Caching and updating of dense 3D reconstruction data
CN109285211B (zh) 画面渲染方法、装置、终端及存储介质
CN112370784B (zh) 虚拟场景显示方法、装置、设备以及存储介质
US20130263199A1 (en) Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
KR101536501B1 (ko) 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
US6806876B2 (en) Three dimensional rendering including motion sorting
US11893705B2 (en) Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
US20230147759A1 (en) Viewpoint dependent brick selection for fast volumetric reconstruction
US9019268B1 (en) Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
US20200402308A1 (en) Image generation apparatus and image generation method
CN113838184A (zh) 渲染方法、设备以及系统
CN114377394B (zh) 一种云游戏画面渲染方法及装置
WO2022237289A1 (zh) 震动控制方法、装置、移动终端及存储介质
KR102345295B1 (ko) 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법
WO2021249358A1 (zh) 渲染方法、设备以及系统
KR102345297B1 (ko) 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법
CN113963103A (zh) 一种三维模型的渲染方法和相关装置
WO2019193699A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
WO2019193698A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
Cheng Foveated 3d model simplification
CN118217630A (zh) 一种游戏画面渲染方法及装置
CN116129011A (zh) 视频处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230419

Address after: Room 2106, Vitality City, Changchun.Intersection of Chongqing Road and Dajing Road, Nanguan District, Changchun City, Jilin Province, 130000

Applicant after: Jilin Province Grinding Iron Mutual Entertainment Mobile Game R&D Co.,Ltd.

Address before: 100020 courtyard a 1, tuofangying Road, Chaoyang District, Beijing (1135 Jiangtai incubator)

Applicant before: Beijing Yongli Xinda Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant