CN114666658A - 云渲染方法、装置及系统、用户终端 - Google Patents
云渲染方法、装置及系统、用户终端 Download PDFInfo
- Publication number
- CN114666658A CN114666658A CN202210310650.0A CN202210310650A CN114666658A CN 114666658 A CN114666658 A CN 114666658A CN 202210310650 A CN202210310650 A CN 202210310650A CN 114666658 A CN114666658 A CN 114666658A
- Authority
- CN
- China
- Prior art keywords
- scene
- video frame
- file
- rendered video
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002452 interceptive effect Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims description 13
- 230000001172 regenerating effect Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及云渲染方法、装置及系统、用户终端、电子设备、计算机可存储介质，涉及计算机技术领域。在云端执行的云渲染方法包括：生成渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；发送所述渲染视频帧及其描述文件到用户终端，所述描述文件用于辅助解析用户在所述用户终端对所述场景对象的交互输入；根据所述用户在所述用户终端对所述场景对象的交互输入的解析结果，调整所述渲染视频帧。根据本公开，可以在降低用户终端成本、体积和功耗的同时，增强多人协同场景渲染的同步性，提升用户体验。
Description
技术领域
本公开涉及计算机技术领域，特别涉及云渲染方法、装置及系统、用户终端、电子设备、计算机可存储介质。
背景技术
随着游戏制作、设计制造、数字化分析等行业的不断发展，视频渲染技术应用广泛。
相关技术中，采用计算终端加载场景模型文件并在终端本地进行渲染。
发明内容
相关技术中，视频渲染的计算量非常大，对计算终端的本地性能要求高，导致终端成本高、终端计算单元体积大，从而限制了终端的轻便化发展。另外，不同终端上由于性能差异、网络差异导致多人互动的3D场景同步性较差。
针对上述技术问题，本公开提出了一种解决方案，可以在降低用户终端成本、体积和功耗的同时，增强多人协同场景渲染的同步性，提升用户体验。
根据本公开的第一方面，提供了一种云渲染方法，在云端执行，包括：生成渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；发送所述渲染视频帧及其描述文件到用户终端，所述描述文件用于辅助解析用户在所述用户终端对所述场景对象的交互输入；根据所述用户在所述用户终端对所述场景对象的交互输入的解析结果，调整所述渲染视频帧。
在一些实施例中，调整所述渲染视频帧包括：根据所述解析结果和与所述渲染视频帧对应的渲染场景，生成与所述交互输入对应的场景调整文件，所述场景调整文件用于辅助调整所述渲染场景中的场景对象；根据所述场景调整文件，重新生成所述渲染视频帧。
在一些实施例中，根据所述场景调整文件，重新生成所述渲染视频帧包括：加载与所述渲染场景对应的场景模型文件，所述场景模型文件用于描述所述渲染场景；根据所述场景模型文件和所述场景调整文件，重新生成所述渲染视频帧。
在一些实施例中，所述场景调整文件用于描述对在重新生成所述渲染视频帧的过程中对所述场景对象执行旋转、位移、新增和消除中的至少一种调整操作。
在一些实施例中，所述交互输入包括鼠标输入、触屏输入、语音输入和视觉输入中的至少一种。
在一些实施例中，云渲染方法，还包括：根据调整后的渲染视频帧，更新所述描述文件中对所述场景对象的描述。
在一些实施例中，生成描述文件包括：生成所述渲染视频帧的帧标识及对象描述文件，所述对象描述文件用于描述所述渲染视频帧内的场景对象。
在一些实施例中，所述对象描述文件包括与所述渲染视频帧对应的二维画面中的场景对象的描述信息。
在一些实施例中，所述对象描述文件包括对象名称、对象标识、对象的集合边缘信息、对象的坐标位置信息和对象的图层层级信息。
在一些实施例中，发送所述渲染视频帧及其描述文件到用户终端包括：压缩所述渲染视频帧；拼接压缩后的渲染视频帧和所述描述文件，得到云渲染结果；发送所述云渲染结果到所述用户终端。
在一些实施例中，生成渲染视频帧包括：加载场景模型文件，所述场景模型文件用于描述渲染场景；根据所述场景模型文件，生成所述渲染视频帧。
在一些实施例中，加载场景模型文件包括：加载场景文件，所述场景文件用于描述所述场景模型文件的加载地址；基于所述场景文件，加载所述场景模型文件。
在一些实施例中，所述场景模型文件包括渲染场景的几何信息、纹理信息、坐标信息和光照信息。
根据本公开第二方面，提供了一种云渲染方法，在用户终端执行，包括：接收来自云端的渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；接收用户在所述用户终端对所述场景对象的交互输入；根据所述描述文件，解析所述用户对所述场景对象的交互输入；发送解析结果到所述云端，所述解析结果用于辅助所述云端调整所述渲染视频帧。
根据本公开第三方面，提供了一种云渲染装置，包括：生成模块，被配置为生成渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；发送模块，被配置为发送所述渲染视频帧及其描述文件到用户终端，所述描述文件用于辅助解析用户在所述用户终端对所述场景对象的交互输入；调整模块，被配置为根据所述用户在所述用户终端对所述场景对象的交互输入的解析结果，调整所述渲染视频帧。
根据本公开第四方面，提供了一种用户终端，包括：第一接收模块，被配置为接收来自云端的渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；第二接收模块，被配置为接收用户在所述用户终端对所述场景对象的交互输入；解析模块，被配置为根据所述描述文件，解析所述用户对所述场景对象的交互输入；发送模块，被配置为发送解析结果到所述云端，所述解析结果用于辅助所述云端调整所述渲染视频帧。
根据本公开第五方面，提供了一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的云渲染方法。
根据本公开第六方面，提供了一种云渲染系统，包括：云渲染装置，被配置为执行本公开任意一些实施例中的在云端执行的云渲染方法；和用户终端，被配置为执行本公开任意一些实施例中的在用户终端执行的云渲染方法。
根据本公开的第七方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的云渲染方法。
在上述实施例中，可以在降低用户终端成本、体积和功耗的同时，增强多人协同场景渲染的同步性，提升用户体验。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的云渲染方法的流程图；
图2是示出根据本公开一些实施例的渲染视频帧的示意图；
图3是示出根据本公开一些实施例的渲染视频帧的描述文件的内容示意图；
图4是示出根据本公开一些实施例的交互输入的解析结果的示意图；
图5是示出根据本公开另一些实施例的云渲染方法的流程图；
图6是示出根据本公开一些实施例的云渲染装置的框图；
图7是示出根据本公开一些实施例的用户终端的框图；
图8是示出根据本公开一些实施例的电子设备的框图；
图9是示出根据本公开一些实施例的云渲染系统的框图；
图10是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的云渲染方法的流程图。
如图1所示，云渲染方法包括步骤S110-步骤S130。云渲染方法在云端执行。例如，云渲染方法由部署在云端的云渲染装置执行。
在步骤S110中，生成渲染视频帧及其描述文件。描述文件包括对渲染视频帧内的场景对象的描述。描述文件也可以称为帧描述文件。
在一些实施例中，生成描述文件包括生成渲染视频帧的帧标识及对象描述文件。对象描述文件用于描述渲染视频帧内的场景对象。描述文件可以用JSON(JavaScriptObject Notation,JS对象简谱)、XML(Extensible Markup Language，可扩展标记语言)或BINARY(二进制)等形式表示，本公开不做约束。
在一些实施例中，帧标识为渲染视频帧的唯一编号，该编号可以在用户操作时，标记用户是基于哪个渲染视频帧而做出的操作，以更加准确地重新生成渲染视频帧，利于后面的帧画面的准确生成。
在一些实施例中，对象描述文件包括与渲染视频帧对应的二维画面中的场景对象的描述信息。在一些实施例中，对象描述文件包括对象名称、对象标识、对象的集合边缘信息、对象的坐标位置信息和对象的图层层级信息。
下面将结合图2详细说明对象描述文件的内容。
图2是示出根据本公开一些实施例的渲染视频帧的示意图。
如图2所示，渲染视频帧的画面包括场景对象001、002和003。对象描述文件包括对渲染视频帧中场景对像的描述。在一些实施例中，对象描述文件中可以不需要复杂的3D信息描述，对用户可以看见的二维画面进行简单描述即可。对象描述文件的目的是可以辅助标记用户操作的场景对象。场景对象可以是一个或多个。
对象描述文件包括每一个场景对象的描述。每个场景对象的描述包括对象名称、唯一的对象编号、对象的几何边缘信息、对象的座标位置、对象的图层层级。对于对象的几何边缘信息，例如可以描述场景对象在当前画面上的轮廓，而不需要3D、光照和纹理信息。又例如，对象的图层层级可以描述为图2中三角形003在正方形002的上方，可以用数字代表层叠关系，在某一场景对象层级后面的场景对象全部或部分不可见，代表用户不可直接操作。
图3是示出根据本公开一些实施例的渲染视频帧的描述文件的内容示意图。
如图3所示，渲染视频帧的描述文件的内容包括渲染视频帧的唯一编号和渲染视频帧内的场景对象描述。例如，场景对象描述包括对象1、对象2和对象3的描述。在一些实施例中，对象1的描述采用键值对的形式描述。
下面以对象1、2、3分别为图2中的对象001、002、003为例，说明对象的描述信息。
例如，对象1的描述包括“名称：圆形”、“编号：001”、“几何边缘：{}”、“坐标：{}”、“层级：2”。以“名称：圆形”为例，“名称：圆形”表示对象2的名称为圆形。其他描述类似，此处不再赘述。对于“几何边缘：{}”，符号“{}”中省略了几何边缘的具体描述信息。
又例如，对象2的描述包括“名称：正方形”、“编号：002”、“几何边缘：{}”、“坐标：{}”、“层级：2”。
又例如，对象3的描述包括“名称：三角形”、“编号：003”、“几何边缘：{}”、“坐标：{}”、“层级：1”。
在一些实施例中，生成渲染视频帧包括加载场景模型文件，根据场景模型文件，生成渲染视频帧。场景模型文件用于描述渲染场景。例如，先加载用于描述场景模型文件的加载地址的场景文件，再基于场景文件，加载场景模型文件。在一些实施例中，加载地址可以是云端地址，也可以是除云端以外的外部地址。
在一些实施例中，场景模型文件的格式可以为OBJ、USD、FBX或OSGB等3D模型文件格式。
在一些实施例中，渲染场景为3D场景，场景模型文件为3D场景模型文件。加载场景模型文件的过程可以实在云端在线创作。例如，可以是利用本地3D软件编辑3D场景，也可以是在线3D软件编辑3D场景，得到场景模型文件。云端按照用户预设的帧率进行场景渲染，得到渲染视频帧。
在一些实施例中，场景模型文件包括渲染场景的几何信息、纹理信息、坐标信息和光照信息。
返回图1，在步骤S120中，发送渲染视频帧及其描述文件到用户终端。描述文件用于辅助解析用户在用户终端对场景对象的交互输入。在一些实施例中，交互输入包括鼠标输入、触屏输入、语音输入和视觉输入中的至少一种。视觉输入也称为图像输入。
在一些实施例中，本公开的用户终端可以为PC(Personal Computer，个人计算机)终端、手机终端、PAD终端、AR(Augmented Reality，增强现实)终端或VR(Virtual Reality，虚拟现实)终端等。
在一些实施例中，通过如下方式实现上述步骤S120。
首先，压缩渲染视频帧。
然后，拼接压缩后的渲染视频帧和描述文件，得到云渲染结果。拼接过程即打包过程。
最后，发送云渲染结果到用户终端。用户终端通过解码渲染视频帧，可以向用户呈现渲染视频帧的内容画面。
在步骤S130中，根据用户在用户终端对场景对象的交互输入的解析结果，调整渲染视频帧。在一些实施例中，用户可以基于用户终端呈现的内容画面进行鼠标、触控板、键盘、语言或图像等各种互动操作，实现交互输入。用户终端(即本地计算终端)对用户的操作进行解析、结合渲染视频帧的内容画面的描述进行所操作的场景对象的描述补充，得到解析结果。解析结果可以用JSON、XML或BINARY等形式表示，本公开不做约束。
图4是示出根据本公开一些实施例的交互输入的解析结果的示意图。
如图4所示，交互输入的解析结果包括交互输入针对的渲染视频帧的唯一编号和用户操作信息。
在一些实施例中，用户操作信息包括鼠标或触屏操作、语音输入操作和图像输入等。例如，鼠标或触屏操作的解析内容包括操作类型、操作描述和操作覆盖对象。在一些实施例中，某一用户的操作类型包括单击、双击和滑动，操作描述包括坐标和起始位置等，操作覆盖对象包括图2所示的场景对象003。用户操作的描述与图3的对象描述类似，采用键值对描述，此处不再赘述。
例如，在用户操作信息指示用户在三角形上右滑一下，那么下一帧云渲染的逻辑就是把整个三角形往右移。
在上述实施例中，通过在云端生成渲染视频帧的情况下，也生成对渲染视频帧内的场景对象的描述，以辅助用户终端解析用户对场景对象的交互输入，从而实现渲染视频帧内场景对象的调整，完整实现了渲染-呈现-交互-改变的完整循环。通过云端渲染的方式可以降低终端的成本和功耗、减小终端的体积。通过云端渲染、终端交互的形式可以增强多人协同场景渲染的同步性，增强用户体验。
在一些实施例中，可以通过如下方式实现上述步骤S130。
首先，根据解析结果和与渲染视频帧对应的渲染场景，生成与交互输入对应的场景调整文件。场景调整文件用于辅助调整渲染场景中的场景对象。在一些实施例中，场景调整文件用于描述对在重新生成渲染视频帧的过程中对场景对象执行旋转、位移、新增和消除中的至少一种调整操作。
然后，根据场景调整文件，重新生成渲染视频帧。在一些实施例中，加载与渲染场景对应的场景模型文件，根据场景模型文件和场景调整文件，重新生成渲染视频帧。场景模型文件用于描述渲染场景。例如，先根据场景模型文件进行视频帧渲染，得到渲染视频帧，进而根据场景调整文件对渲染视频帧中的场景对象进行调整，得到调整后的渲染视频帧，即重新生成的渲染视频帧。
在一些实施例中，还可以根据调整后的渲染视频帧，更新描述文件中对场景对象的描述。例如，根据调整后的渲染视频帧，重新生成描述文件。
图5是示出根据本公开另一些实施例的云渲染方法的流程图。
如图5所示，云渲染方法包括步骤S510-步骤S520。云渲染方法在用户终端执行。
在步骤S510中，接收来自云端的渲染视频帧及其描述文件。描述文件包括对渲染视频帧内的场景对象的描述。
在步骤S520中，接收用户在用户终端对场景对象的交互输入。
在步骤S530中，根据描述文件，解析用户对场景对象的交互输入。
在步骤S540中，发送解析结果到云端。解析结果用于辅助云端调整渲染视频帧。
在一些实施例中，与图5相关的步骤的展开描述可参考图1。
图6是示出根据本公开一些实施例的云渲染装置的框图。
如图6所示，云渲染装置61包括生成模块611、发送模块612和调整模块613。云渲染装置61部署在云端。
生成模块611被配置为生成渲染视频帧及其描述文件，描述文件包括对渲染视频帧内的场景对象的描述，例如执行如图1所示的步骤S110。
发送模块612被配置为发送渲染视频帧及其描述文件到用户终端，描述文件用于辅助解析用户在用户终端对场景对象的交互输入，例如执行如图1所示的步骤S120。
调整模块613被配置为根据用户在用户终端对场景对象的交互输入的解析结果，调整渲染视频帧，例如执行如图1所示的步骤S130。
在一些实施例中，生成模块611和调整模块613可以合并为一个模块，或者部分功能合并。例如，生成模块611可以包括第一生成单元6111和第二生成单元6112。第一生成单元6111被配置为生成渲染视频帧。第二生成单元6112被配置为生成渲染视频帧的描述文件。
在一些实施例中，发送模块612包括压缩单元6121、打包和发送单元6122。压缩单元6121被配置为对渲染视频帧进行压缩。打包和发送单元6122被配置为拼接压缩后的渲染视频帧和描述文件，并发送到用户终端。
在一些实施例中，调整模块613包括第三生成单元6131。第三生成单元6131被配置为根据解析结果和与渲染视频帧对应的渲染场景，生成与交互输入对应的场景调整文件。场景调整文件用于辅助调整所述渲染场景中的场景对象。
在一些实施例中，调整模块613和生成模块611共用第一生成单元6111。第三生成单元6131将场景调整文件发送到第一生成单元6111，并由第一生成单元6111根据场景调整文件，重新生成渲染视频帧。
图7是示出根据本公开一些实施例的用户终端的框图。
如图7所示，用户终端72包括第一接收模块721、第二接收模块722、解析模块723和发送模块724。
第一接收模块721被配置为接收来自云端的渲染视频帧及其描述文件，描述文件包括对渲染视频帧内的场景对象的描述，例如执行如图5所示的步骤S510。
第二接收模块722被配置为接收用户在用户终端对场景对象的交互输入，例如执行如图5所示的步骤S520。
第一解析模块723被配置为根据描述文件，解析用户对场景对象的交互输入，例如执行如图5所示的步骤S530。
发送模块724被配置为发送解析结果到云端，解析结果用于辅助云端调整渲染视频帧，例如执行如图5所示的步骤S540。
在一些实施例中，用户终端还包括视频解码模块725和第二解析模块726。
视频解码模块725被配置为对渲染视频帧进行解码，并呈现给用户。
第二解析模块726被配置为解析渲染视频帧的描述文件，并发送到第一解析模块723以辅助解析用于对场景对象的交互输入。
图8是示出根据本公开一些实施例的电子设备的框图。
如图8所示，电子设备8包括存储器81；以及耦接至该存储器81的处理器82。存储器81用于存储执行云渲染方法对应实施例的指令。处理器82被配置为基于存储在存储器81中的指令，执行本公开中任意一些实施例中的云渲染方法。
图9是示出根据本公开一些实施例的云渲染系统的框图。
如图9所示，云渲染系统9包括云渲染装置91和用户终端92。云渲染装置91被配置为执行本公开任意一些实施例中的在云端执行的云渲染方法，例如为本公开任意一些实施例中的云渲染装置。用户终端92被配置为执行本公开任意一些实施例中的在用户终端执行的云渲染方法。
图10是示出用于实现本公开一些实施例的计算机系统的框图。
如图10所示，计算机系统100可以通用计算设备的形式表现。计算机系统100包括存储器1010、处理器1020和连接不同系统组件的总线1000。
存储器1010例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行云渲染方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器1020可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线1000可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统100还可以包括输入输出接口1030、网络接口1040、存储接口1050等。这些接口1030、1040、1050以及存储器1010和处理器1020之间可以通过总线1000连接。输入输出接口1030可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口1040为各种联网设备提供连接接口。存储接口1050为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的云渲染方法、装置及系统、用户终端、电子设备、计算机可存储介质，可以在降低用户终端成本、体积和功耗的同时，增强多人协同场景渲染的同步性，提升用户体验。
至此，已经详细描述了根据本公开的云渲染方法、装置及系统、用户终端、电子设备、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
Claims (19)
1.一种云渲染方法，在云端执行，包括：
生成渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；
发送所述渲染视频帧及其描述文件到用户终端，所述描述文件用于辅助解析用户在所述用户终端对所述场景对象的交互输入；
根据所述用户在所述用户终端对所述场景对象的交互输入的解析结果，调整所述渲染视频帧。
2.根据权利要求1所述的云渲染方法，其中，调整所述渲染视频帧包括：
根据所述解析结果和与所述渲染视频帧对应的渲染场景，生成与所述交互输入对应的场景调整文件，所述场景调整文件用于辅助调整所述渲染场景中的场景对象；
根据所述场景调整文件，重新生成所述渲染视频帧。
3.根据权利要求2所述的云渲染方法，其中，根据所述场景调整文件，重新生成所述渲染视频帧包括：
加载与所述渲染场景对应的场景模型文件，所述场景模型文件用于描述所述渲染场景；
根据所述场景模型文件和所述场景调整文件，重新生成所述渲染视频帧。
4.根据权利要求2或3所述的云渲染方法，其中，所述场景调整文件用于描述对在重新生成所述渲染视频帧的过程中对所述场景对象执行旋转、位移、新增和消除中的至少一种调整操作。
5.根据权利要求1所述的云渲染方法，其中，所述交互输入包括鼠标输入、触屏输入、语音输入和视觉输入中的至少一种。
6.根据权利要求1所述的云渲染方法，还包括：
根据调整后的渲染视频帧，更新所述描述文件中对所述场景对象的描述。
7.根据权利要求1所述的云渲染方法，其中，生成描述文件包括：
生成所述渲染视频帧的帧标识及对象描述文件，所述对象描述文件用于描述所述渲染视频帧内的场景对象。
8.根据权利要求7所述的云渲染方法，其中，所述对象描述文件包括与所述渲染视频帧对应的二维画面中的场景对象的描述信息。
9.根据权利要求7或8所述的云渲染方法，其中，所述对象描述文件包括对象名称、对象标识、对象的集合边缘信息、对象的坐标位置信息和对象的图层层级信息。
10.根据权利要求1所述的云渲染方法，其中，发送所述渲染视频帧及其描述文件到用户终端包括：
压缩所述渲染视频帧；
拼接压缩后的渲染视频帧和所述描述文件，得到云渲染结果；
发送所述云渲染结果到所述用户终端。
11.根据权利要求1所述的云渲染方法，其中，生成渲染视频帧包括：
加载场景模型文件，所述场景模型文件用于描述渲染场景；
根据所述场景模型文件，生成所述渲染视频帧。
12.根据权利要求11所述的云渲染方法，其中，加载场景模型文件包括：
加载场景文件，所述场景文件用于描述所述场景模型文件的加载地址；
基于所述场景文件，加载所述场景模型文件。
13.根据权利要求11所述的云渲染方法，其中，所述场景模型文件包括渲染场景的几何信息、纹理信息、坐标信息和光照信息。
14.一种云渲染方法，在用户终端执行，包括：
接收来自云端的渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；
接收用户在所述用户终端对所述场景对象的交互输入；
根据所述描述文件，解析所述用户对所述场景对象的交互输入；
发送解析结果到所述云端，所述解析结果用于辅助所述云端调整所述渲染视频帧。
15.一种云渲染装置，部署于云端，包括：
生成模块，被配置为生成渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；
发送模块，被配置为发送所述渲染视频帧及其描述文件到用户终端，所述描述文件用于辅助解析用户在所述用户终端对所述场景对象的交互输入；
调整模块，被配置为根据所述用户在所述用户终端对所述场景对象的交互输入的解析结果，调整所述渲染视频帧。
16.一种用户终端，包括：
第一接收模块，被配置为接收来自云端的渲染视频帧及其描述文件，所述描述文件包括对所述渲染视频帧内的场景对象的描述；
第二接收模块，被配置为接收用户在所述用户终端对所述场景对象的交互输入；
解析模块，被配置为根据所述描述文件，解析所述用户对所述场景对象的交互输入；
发送模块，被配置为发送解析结果到所述云端，所述解析结果用于辅助所述云端调整所述渲染视频帧。
17.一种电子设备，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至14任一项所述的云渲染方法。
18.一种云渲染系统，包括：
云渲染装置，被配置为执行如权利要求1-13任一项所述的云渲染方法；和
用户终端，被配置为执行如权利要求14所述的云渲染方法。
19.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至14任一项所述的云渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310650.0A CN114666658A (zh) | 2022-03-28 | 2022-03-28 | 云渲染方法、装置及系统、用户终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310650.0A CN114666658A (zh) | 2022-03-28 | 2022-03-28 | 云渲染方法、装置及系统、用户终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114666658A true CN114666658A (zh) | 2022-06-24 |
Family
ID=82032459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210310650.0A Pending CN114666658A (zh) | 2022-03-28 | 2022-03-28 | 云渲染方法、装置及系统、用户终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114666658A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912385A (zh) * | 2023-09-15 | 2023-10-20 | 深圳云天畅想信息科技有限公司 | 视频帧自适应渲染处理方法、计算机装置及存储介质 |
| CN118573918A (zh) * | 2024-08-01 | 2024-08-30 | 炫我信息技术(北京)有限公司 | 一种视频处理方法、装置、设备、介质以及产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127844A (zh) * | 2016-06-22 | 2016-11-16 | 民政部零研究所 | 移动终端用户实时交互访问远程3d场景的渲染交互方法 |
| CN107370714A (zh) * | 2016-05-13 | 2017-11-21 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 面向云渲染的高效通讯方法 |
| CN109448089A (zh) * | 2018-10-22 | 2019-03-08 | 美宅科技（北京）有限公司 | 一种渲染方法及装置 |
| CN112929728A (zh) * | 2021-01-20 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 一种视频渲染方法、装置、系统、电子设备及存储介质 |
| CN113205583A (zh) * | 2021-04-28 | 2021-08-03 | 北京字跳网络技术有限公司 | 场景渲染方法、装置、电子设备及可读存储介质 |
| CN113727142A (zh) * | 2021-09-02 | 2021-11-30 | 北京沃东天骏信息技术有限公司 | 云渲染方法及装置、计算机可存储介质 |
-
2022
- 2022-03-28 CN CN202210310650.0A patent/CN114666658A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107370714A (zh) * | 2016-05-13 | 2017-11-21 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 面向云渲染的高效通讯方法 |
| CN106127844A (zh) * | 2016-06-22 | 2016-11-16 | 民政部零研究所 | 移动终端用户实时交互访问远程3d场景的渲染交互方法 |
| CN109448089A (zh) * | 2018-10-22 | 2019-03-08 | 美宅科技（北京）有限公司 | 一种渲染方法及装置 |
| CN112929728A (zh) * | 2021-01-20 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 一种视频渲染方法、装置、系统、电子设备及存储介质 |
| CN113205583A (zh) * | 2021-04-28 | 2021-08-03 | 北京字跳网络技术有限公司 | 场景渲染方法、装置、电子设备及可读存储介质 |
| CN113727142A (zh) * | 2021-09-02 | 2021-11-30 | 北京沃东天骏信息技术有限公司 | 云渲染方法及装置、计算机可存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912385A (zh) * | 2023-09-15 | 2023-10-20 | 深圳云天畅想信息科技有限公司 | 视频帧自适应渲染处理方法、计算机装置及存储介质 |
| CN116912385B (zh) * | 2023-09-15 | 2023-11-17 | 深圳云天畅想信息科技有限公司 | 视频帧自适应渲染处理方法、计算机装置及存储介质 |
| CN118573918A (zh) * | 2024-08-01 | 2024-08-30 | 炫我信息技术(北京)有限公司 | 一种视频处理方法、装置、设备、介质以及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111240669B (zh) | 界面生成方法、装置、电子设备及计算机存储介质 | |
| US10664980B2 (en) | Vector graphics handling processes for user applications | |
| WO2017032078A1 (zh) | 一种界面控制方法及移动终端 | |
| CN108900788B (zh) | 视频生成方法、视频生成装置、电子装置及存储介质 | |
| CN112101252B (zh) | 一种基于深度学习的图像处理方法、系统、设备及介质 | |
| WO2023035935A1 (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| WO2023216724A1 (zh) | 终端控制方法、装置、电子设备及存储介质 | |
| CN111127469A (zh) | 缩略图显示方法、装置、存储介质以及终端 | |
| CN114666658A (zh) | 云渲染方法、装置及系统、用户终端 | |
| CN105721872A (zh) | 一种图像压缩的方法及终端 | |
| KR20210046967A (ko) | 증강현실 콘텐츠 저작을 위한 저작 플랫폼 제공 방법, 장치 및 컴퓨터-판독가능 기록 매체 | |
| CN110782504A (zh) | 曲线确定方法、装置、计算机可读存储介质及设备 | |
| CN106933439B (zh) | 一种基于社交平台的图片处理方法及系统 | |
| CN117056507A (zh) | 长文本分析方法、长文本分析模型训练方法及相关设备 | |
| US9344733B2 (en) | Feature-based cloud computing architecture for physics engine | |
| CN116342880A (zh) | 对视频进行关键内容分割的方法及电子设备 | |
| CN113836101A (zh) | 压缩方法、装置及电子设备 | |
| CN114596394A (zh) | 一种骨骼动画生成的方法、装置、系统及存储介质 | |
| CN110223367B (zh) | 动画显示方法、装置、终端及存储介质 | |
| CN110877332B (zh) | 机器人舞蹈文件生成方法、装置、终端设备及存储介质 | |
| CN110189388B (zh) | 动画检测方法、可读存储介质及计算机设备 | |
| CN114153539B (zh) | 前端应用界面生成方法、装置、电子设备和存储介质 | |
| CN116152403B (zh) | 一种形象生成方法、装置、存储介质及电子设备 | |
| CN112114779B (zh) | 动效对象的处理方法、系统、装置、电子设备和存储介质 | |
| CN116246014B (zh) | 一种形象生成方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |