CN116467318A - 一种基于云渲染的媒体内容处理方法、设备及存储介质 - Google Patents

一种基于云渲染的媒体内容处理方法、设备及存储介质 Download PDF

Info

Publication number
CN116467318A
CN116467318A CN202210030534.3A CN202210030534A CN116467318A CN 116467318 A CN116467318 A CN 116467318A CN 202210030534 A CN202210030534 A CN 202210030534A CN 116467318 A CN116467318 A CN 116467318A
Authority
CN
China
Prior art keywords
media content
rendering
cloud
target
interest point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210030534.3A
Other languages
English (en)
Inventor
娄帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210030534.3A priority Critical patent/CN116467318A/zh
Publication of CN116467318A publication Critical patent/CN116467318A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2329—Optimistic concurrency control using versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例提供了一种基于云渲染的媒体内容处理方法、设备及存储介质，可应用于云技术、地图、人工智能、智慧交通、车载等各种场景，该方法包括：云端边缘节点采用接收的针对目标兴趣点的待处理媒体内容，更新本地存储的媒体内容集合，由于更新前的媒体内容集合包括其他云端边缘节点同步的目标兴趣点的历史媒体内容，因此更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么对目标兴趣点以及关联的地图区域进行渲染获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而提高兴趣点的云渲染质量和效果，丰富兴趣点的扩展维度以及实时交互效果。

Description

一种基于云渲染的媒体内容处理方法、设备及存储介质
技术领域
本发明实施例涉及云技术领域，尤其涉及一种基于云渲染的媒体内容处理方法、设备及存储介质。
背景技术
渲染技术是指，在计算机绘图过程中，通过软件基于模型生成相应的图像。渲染技术被广泛用于游戏、地图、模拟、影视特效以及可视化设计等实际应用场景。渲染技术包括本地渲染技术和云渲染技术，其中，云渲染技术是将渲染操作移到云端运行，然后把最终的渲染结果，通过图片方式传送给终端设备进行显示。
相关技术中，针对目标场景中的同一兴趣点(Point of Interest，简称POI)，不同的终端设备通过不同的云渲染实例对该兴趣点进行评论时，不同的云渲染实例基于各自接收的评论信息，分别对兴趣点执行相应的渲染操作，并分别将各自获得的渲染图像发送至相应的终端设备，此时，不同终端设备展示的渲染图像中仅包含部分评论信息，从而导致兴趣点的云渲染效果较差。
发明内容
本申请实施例提供了一种基于云渲染的媒体内容处理方法、设备及存储介质，用于提高兴趣点的云渲染效果和质量。
一方面，本申请实施例提供了一种基于云渲染的媒体内容处理方法，应用于云渲染系统中的每个云端边缘节点，所述云渲染系统包括多个云端边缘节点，包括：
接收终端设备针对目标兴趣点发送的操作指令，所述操作指令中包括：所述目标兴趣点的待处理媒体内容；
采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的所述目标兴趣点的历史媒体内容；
对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果；
将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果。
一方面，本申请实施例提供了一种基于云渲染的媒体内容处理装置，应用于云渲染系统中的每个云端边缘节点，所述云渲染系统包括多个云端边缘节点，包括：
接收模块，用于接收终端设备针对目标兴趣点发送的操作指令，所述操作指令中包括：所述目标兴趣点的待处理媒体内容；
更新模块，用于采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的所述目标兴趣点的历史媒体内容；
渲染模块，用于对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果；
融合模块，用于将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果。
可选地，所述更新模块具体用于：
从本地缓存池中的多个兴趣点信息列表中，确定所述目标兴趣点对应的目标兴趣点信息列表，其中，所述目标兴趣点信息列表用于存储所述目标兴趣点对应的媒体内容集合；
将所述待处理媒体内容添加至所述目标兴趣点信息列表，以更新所述目标兴趣点对应的媒体内容集合。
可选地，所述目标兴趣点为云渲染地图中的兴趣点；
所述更新模块还用于：
若所述目标兴趣点信息列表中媒体内容的数量，大于所述目标兴趣点信息列表的存储上限值，则删除最早添加至所述目标兴趣点信息列表中的历史媒体内容；
若从所述云渲染地图中删除所述目标兴趣点，则相应删除所述目标兴趣点信息列表。
可选地，所述更新模块还用于：
采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合之后，对所述待处理媒体内容进行加密，获得加密媒体内容；
对所述加密媒体内容进行拆分，获得多个媒体内容区块，其中，每个媒体内容区块对应一个顺序编号；
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块发送至所述其他云端边缘节点，以使所述其他云端边缘节点基于接收的媒体内容区块以及相应的顺序编号，更新本地存储的所述目标兴趣点对应的媒体内容集合。
可选地，所述更新模块具体用于：
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块广播给所述其他云端边缘节点；或者，
采用预设的有向无环图，确定所述多个云端边缘节点之间的关联关系；
按照所述多个媒体内容区块各自对应的顺序编号，以及所述多个云端边缘节点之间的关联关系，将所述多个媒体内容区块发送至所述其他云端边缘节点。
可选地，每个云端边缘节点包括多个云渲染实例；
所述渲染模块具体用于：
若所述多个云渲染实例中，存在至少一个空闲状态的云渲染实例，则从所述至少一个空闲状态的云渲染实例中确定目标云渲染实例；
采用所述目标云渲染实例，对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
可选地，所述渲染模块还用于：
若所述多个云渲染实例中，不存在空闲状态的云渲染实例，则基于所述多个云端边缘节点之间的关联关系，从其他云端边缘节点中确定目标边缘节点，并将所述操作指令发送至所述目标边缘节点，以及停止接收所述终端设备发送的操作指令。
可选地，还包括发送模块：
所述发送模块具体用于：
将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果之后，对所述目标渲染结果进行分辨率适配处理以及压缩编码，获得云端渲染像素流；
通过推流服务，将所述云端渲染像素流发送至所述终端设备，以使所述终端设备对所述云端渲染像素流进行解码，获得分辨率适配的目标渲染结果，并展示分辨率适配的目标渲染结果。
可选地，所述融合模块具体用于：
通过所述目标云渲染实例，确定所述更新后的媒体内容集合，在所述初始渲染结果中的第一嵌入位置；
通过所述目标云渲染实例，在所述第一嵌入位置，渲染所述更新后的媒体内容集合，获得目标渲染结果。
可选地，所述融合模块具体用于：
若所述目标云渲染实例的实例缓存中包括更新前的媒体内容集合与所述初始渲染结果的历史融合结果，则通过所述目标云渲染实例，确定所述待处理媒体内容，在所述初始渲染结果中的第二嵌入位置，并在所述第二嵌入位置，渲染所述待处理媒体内容，获得中间渲染结果；
通过所述目标云渲染实例，将所述历史融合结果与所述中间渲染结果融合，获得所述目标渲染结果。
可选地，所述媒体内容集合包括以下至少一项媒体内容：
文本内容、图像内容、语音内容和视频内容，其中，视频内容是基于接收的待处理视频中的多个关键帧生成的。
一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于云渲染的媒体内容处理方法的步骤。
一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述基于云渲染的媒体内容处理方法的步骤。
一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述基于云渲染的媒体内容处理方法的步骤。
本申请实施例中，云端边缘节点接收到终端设备发送的针对目标兴趣点的待处理媒体内容后，采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。由于更新前的媒体内容集合包括其他云端边缘节点同步的历史媒体内容，因此，更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么，云端边缘节点对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而避免了渲染结果中目标兴趣点的媒体内容不全面的问题，进而提高了兴趣点的云渲染质量和效果，也丰富了云渲染地图中兴趣点的扩展维度以及实时交互效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统架构的结构示意图；
图2为本申请实施例提供的一种基于云渲染的媒体内容处理方法的流程示意图；
图3为本申请实施例提供的一种基于云渲染的媒体内容处理方法的流程示意图；
图4为本申请实施例提供的一种云渲染系统的结构示意图；
图5为本申请实施例提供的一种评论文本区块分发的流程示意图；
图6为本申请实施例提供的一种云渲染系统的结构示意图；
图7为本申请实施例提供的一种操作指令分发的流程示意图；
图8为本申请实施例提供的一种操作指令分发的流程示意图；
图9为本申请实施例提供的一种操作指令分发的流程示意图；
图10为本申请实施例提供的一种基于云渲染的媒体内容处理方法的流程示意图；
图11为本申请实施例提供的一种基于云渲染的媒体内容处理装置的结构示意图；
图12为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解，下面对本发明实施例中涉及的名词进行解释。
云技术(Cloud technology)：基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云渲染：云渲染模式与常规的云计算类似，即将3D程序放在远程的服务器中渲染，采用云+端的形式，业务端产品和云渲染客户端对接，无需关心云渲染云端架构和计算资源管理。终端设备通过Web软件或者直接在本地的3D程序中点击一个“云渲染”按钮并借助高速互联网接入访问资源，指令从终端设备中发出，服务器根据指令执行对应的渲染任务，获得渲染结果，然后将渲染结果发送至终端设备进行显示。
WebRTC：Web Real-Time Communications，一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(Peer-to-Peer)的连接，实现任意数据的传输(比如，视频流、音频流)。WebRTC包含的标准使得可以在无需安装任何插件或者第三方的软件的情况下，创建点对点(Peer-to-Peer)的数据传输共享。WebRTC SDK指实时通讯程序包。
边缘计算:指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据，在云端执行边缘计算的设备为云端边缘节点。
有向无环图：(Directed Acyclic Graph，简称DAG)，在图论中，如果一个有向图从任意顶点出发无法经过若干条边回到该点，则这个图是一个有向无环图。因为有向图中一个点经过两种路线到达另一个点未必形成环，因此有向无环图未必能转化成树，但任何有向树均为有向无环图。
POI：Point of Interest，兴趣点，在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。
下面对本申请实施例的设计思想进行介绍。
在相关云渲染技术中，针对目标场景中的同一兴趣点，不同的终端设备通过不同的云渲染实例对该兴趣点进行评论时，不同的云渲染实例基于各自接收的评论信息，分别对兴趣点执行相应的渲染操作，并分别将各自获得的渲染图像发送至相应的终端设备，此时，不同终端设备展示的渲染图像中仅包含部分评论信息，从而导致兴趣点的云渲染效果较差。
考略到若针对每个兴趣点，多个云端边缘节点维护一个统一的评论信息列表，该评论信息列表用于保存多个云端边缘节点各自接收针对该兴趣点的评论信息。那么，云端边缘节点中不同的云渲染实例基于该评论信息列表中的评论信息，分别对该兴趣点执行相应的渲染操作，并分别将各自获得的渲染图像发送至相应的终端设备时，不同终端设备将展示包含全部评论信息的渲染图像，从而提高兴趣点的云渲染效果。
鉴于此，本申请实施例提供了一种基于云渲染的媒体内容处理方法，应用于云渲染系统中的每个云端边缘节点，云渲染系统包括多个云端边缘节点该方法包括：
接收终端设备针对目标兴趣点发送的操作指令，其中，操作指令中包括目标兴趣点的待处理媒体内容。然后采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的目标兴趣点的历史媒体内容。再对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。最后将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果。
本申请实施例中，云端边缘节点接收到终端设备发送的针对目标兴趣点的待处理媒体内容后，采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。由于更新前的媒体内容集合包括其他云端边缘节点同步的目标兴趣点的历史媒体内容，因此，更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么，云端边缘节点对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而避免了渲染结果中目标兴趣点的媒体内容不全面的问题，进而提高了兴趣点的云渲染质量和效果，也丰富了云渲染地图中兴趣点的扩展维度以及实时交互效果。
参考图1，其为本申请实施例适用的一种云渲染系统的系统架构图，该系统架构至少包括终端设备101和N个云端边缘节点，N个云端边缘节点分别为云端边缘节点102～1、云端边缘节点102～2、…、云端边缘节点102～N，N为大于1的整数，需要说明的是，终端设备101的数量可以是一个或多个，本申请对终端设备101的数量不做具体限定。
终端设备101中预先安装目标应用，其中，目标应用是客户端应用、网页版应用、小程序应用等，目标应用具备地图功能，终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、智能语音交互设备、智能车载设备等，但并不局限于此。
N个云端边缘节点是目标应用的后台服务器，N个云端边缘节点均可以为目标应用提供相应的服务。云端边缘节点可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101与N个云端边缘节点可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中的基于云渲染的媒体内容处理方法可以由终端设备与云端边缘节点交互执行，以终端设备101与云端边缘节点102～1交互执行举例来说：
终端设备101针对目标兴趣点发送操作指令至云端边缘节点102～1，其中，操作指令中包括目标兴趣点的待处理媒体内容。云端边缘节点102～1采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的目标兴趣点的历史媒体内容。然后对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。最后将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果。云端边缘节点102～1将目标渲染结果发送至终端设备101，终端设备101在显示界面中展示目标渲染结果。
在实际应用中，本申请实施例中基于云渲染的媒体内容处理方法可以应用于智慧文旅、智慧交通、景区等场景。
以景区场景举例来说，设定目标对象处于景区内，终端设备启动云渲染地图后，云渲染地图采用3D形式展示景区内的物体。设定目标对象点击云渲染地图中展示的建筑物A并输入建筑物A的目标评论信息“这个房子真漂亮”。终端设备101针对建筑物A发送操作指令至云端边缘节点102～1，其中，操作指令包括目标评论信息。
云端边缘节点102～1采用目标评论信息，更新本地存储的建筑物A对应的评论信息集合，其中，更新前的媒体内容集合包括云端边缘节点102～1接收的终端设备发送的针对建筑物A的历史评论信息，以及其他云端边缘节点同步的针对建筑物A的历史评论信息。然后从多个云渲染实例中，选取空闲状态的目标云渲染实例。通过目标云渲染实例，对建筑物A以及关联的地图区域进行渲染，获得初始渲染结果。最后通过目标云渲染实例，将更新后的评论信息集合与初始渲染结果融合，获得目标渲染结果，其中，目标渲染结果中包括多个目标渲染帧。云端边缘节点102～1将目标渲染结果发送至终端设备101。
终端设备101在云渲染地图中以3D形式展示建筑物A，同时，在建筑物A的相应位置展示评论信息集合中的各个评论信息，其中，各个评论信息包括目标对象以及其他对象对建筑物A的评论，这样，目标对象不仅可以看到自己发布的评论信息，还可以看到其他对象发布的评论信息。
当评论信息为文本形式时，云渲染地图展示各个评论信息对应的缩略文本，目标对象可以点击缩略文本，查看评论信息对应的全部文本内容；
当评论信息为图像形式时，云渲染地图展示各个评论信息对应的缩略图像，目标对象可以点击缩略图像，查看评论信息对应的全部图像。
当评论信息为语音形式时，云渲染地图展示各个评论信息对应的语音图标，目标对象点击语音图标时，云渲染地图播放评论信息对应的语音内容。
当评论信息为视频形式时，云渲染地图展示各个评论信息对应的视频图标，目标对象点击视频图标时，云渲染地图播放评论信息对应的视频内容。
本申请实施例中，在云端对兴趣点的评论信息进行云渲染，然后将获得渲染结果传输至终端设备进行展示，从而提高兴趣点的云渲染质量和效果，提升云渲染地图的可视化效果。同时，终端设备实时展示针对兴趣点的所有评论信息，使得目标对象不仅可以看到自身发布的评论信息，还可以看到其他对象发布的评论信息，从而提高了对象之间的互动性。
基于图1所示的系统架构图，本申请实施例提供了一种基于云渲染的媒体内容处理方法的流程，如图2所示，该方法的流程由终端设备与云端边缘节点交互执行，包括以下步骤：
步骤S201，终端设备针对目标兴趣点发送操作指令至云端边缘节点。
具体地，当目标对象在云渲染地图中针对目标兴趣点进行操作时，终端设备响应操作，下发操作指令至WebRTC SDK，然后通过WebRTC SDK，发送操作指令至云端边缘节点，云端边缘节点为云渲染系统中的任意一个云端边缘节点，云渲染系统包括多个云端边缘节点。
目标兴趣点可以是云渲染地图任意一个POI。比如，目标兴趣点为云渲染地图中的商店、邮局、公交站等。操作指令包括以下至少一项：点击、双击、移动、兴趣点评论等，操作指令中包括目标兴趣点的待处理媒体内容。待处理媒体内容的形式可以是以下至少一种：文本、语音、图像、视频等。
步骤S202，云端边缘节点采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。
具体地，更新前的媒体内容集合至少包括：其他云端边缘节点同步的目标兴趣点的历史媒体内容。可选地，更新前的媒体内容集合还可以本云端边缘节点接收的终端设备发送的历史媒体内容。
云端边缘节点中包括本地缓存池，用于缓存POI信息。每个兴趣点在本地缓存池中均对应一个兴趣点信息列表(也可以称之为POI信息列表)，POI信息列表用于保存本云端边缘节点接收的终端设备发送的媒体内容，以及其他云端边缘节点同步的媒体内容。
本申请实施例中，从本地缓存池中的多个兴趣点信息列表中，确定目标兴趣点对应的目标兴趣点信息列表(也可以称之为目标POI信息列表)，其中，目标兴趣点信息列表用于存储目标兴趣点对应的媒体内容集合。然后对待处理媒体内容进行合规性验证，并在验证通过后，将待处理媒体内容添加至目标兴趣点信息列表，以更新目标兴趣点对应的媒体内容集合。
具体地，目标POI信息列表是动态更新的。云端边缘节点接收到目标兴趣点的待处理媒体内容之后，可以直接将待处理媒体内容添加至目标POI信息列表，以更新目标兴趣点对应的媒体内容集合；也可以先对待处理媒体内容进行合规性验证，在验证通过之后，将待处理媒体内容添加至目标POI信息列表，以更新目标兴趣点对应的媒体内容集合。
另外，若目标兴趣点信息列表中媒体内容的数量，大于目标兴趣点信息列表的存储上限值，则删除最早添加至目标兴趣点信息列表中的历史媒体内容，以保证目标兴趣点信息列表始终保存最新部分的媒体内容。若从云渲染地图中删除目标兴趣点，则相应删除目标兴趣点信息列表，以减少本地缓存池的内存消耗。
步骤S203，云端边缘节点对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
具体地，每个云端边缘节点包括多个云渲染实例，云渲染实例指部署在云端边缘节点的容器(Docker)。从多个云渲染实例中选取目标云渲染实例，然后通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
云端边缘节点接收到终端设备发送的操作指令之后，将操作指令划分为基础地图指令和POI指令，然后将基础地图指令下发给目标云渲染实例。通过目标云渲染实例，采用3D地图引擎，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。将POI指令下发给POI信息缓存池，以采用待处理媒体内容，更新目标POI信息列表。
步骤S204，云端边缘节点将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果。
具体地，通过目标云渲染实例，从目标POI信息列表中获取更新后的媒体内容集合，再将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果，其中，目标渲染结果包括多个目标渲染帧。将多个目标渲染帧发送至终端设备之后，终端设备基于多个目标渲染帧获得渲染视频，并展示渲染视频。
本申请实施例中，云端边缘节点接收到终端设备发送的针对目标兴趣点的待处理媒体内容后，采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。由于更新前的媒体内容集合包括其他云端边缘节点同步的目标兴趣点的历史媒体内容，因此，更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么，云端边缘节点通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而避免了渲染结果中目标兴趣点的媒体内容不全面的问题，进而提高了兴趣点的云渲染质量和效果，也丰富了云渲染地图中兴趣点的扩展维度以及实时交互效果。
可选地，上述媒体内容集合包括以下至少一项媒体内容：
文本内容、图像内容、语音内容和视频内容，其中，视频内容是基于接收的待处理视频中的多个关键帧生成的。
具体实施中，当云端边缘节点接收的待处理媒体内容为待处理视频时，考虑到待处理视频的时长、分辨率、文件大小可能导致POI信息缓存池中维护的数据量过大的问题。本申请实施例中，从待处理视频中抽取多个关键帧，作为视频内容，并采用视频内容更新POI信息缓存池中目标兴趣点对应的媒体内容集合，从而降低POI信息缓存池中维护的数据量，进而节约了缓存资源。
可选地，将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果之后，对目标渲染结果进行分辨率适配处理以及压缩编码，获得云端渲染像素流。然后通过推流服务，将云端渲染像素流发送至终端设备，以使终端设备对云端渲染像素流进行解码，获得分辨率适配的目标渲染结果，并展示分辨率适配的目标渲染结果。
具体地，不同的终端设备对应的分辨率也是不相同的，为了使不同的终端设备在展示目标渲染结果时，可以获得好的展示效果。本申请实施例中，针对不同的终端设备的分辨率，云端边缘节点通过目标云渲染实例，将目标渲染结果进行相应的分辨率适配处理。在获得与终端设备的分辨率适配的目标渲染结果之后，对目标渲染结果压缩编码，获得云端渲染像素流。云端边缘节点通过推流服务，将云端渲染像素流发送至终端设备的WebRTCSDK。
终端设备通过WebRTC SDK接收云端渲染像素流之后，对云端渲染像素流进行解码，获得分辨率适配的目标渲染结果，并在云渲染地图中展示分辨率适配的目标渲染结果。由于目标渲染结果中包括多个目标渲染帧，因此终端设备可以基于多个目标渲染帧生成渲染视频，然后在云渲染地图中展示渲染视频。
举例来说，参见图3，为本申请实施例提供了一种基于云渲染的媒体内容处理方法的流程，该方法由终端设备和云端边缘节点交互执行，包括以下步骤：
步骤S301，终端设备针对目标兴趣点下发地图操作指令至WebRTC SDK。
其中，目标兴趣点为云渲染地图中的兴趣点，地图操作指令中包括针对目标兴趣点的目标评论文本。
步骤S302，终端设备通过WebRTC SDK，发送地图操作指令至云端边缘节点。
步骤S303，云端边缘节点将地图操作指令划分为基础地图指令和POI指令。
步骤S304，云端边缘节点将基础地图指令下发给目标云渲染实例，将POI指令下发给POI信息缓存池。
步骤S305，云端边缘节点通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
具体地，采用3D地图引擎，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
步骤S306，云端边缘节点采用目标评论文本，更新POI信息缓存池中的目标POI信息列表。
其中，目标POI信息列表用于保存多个云端边缘节点接收的目标兴趣点的评论信息。
步骤S307，云端边缘节点通过目标云渲染实例，将初始渲染结果与更新后的目标POI信息列表中的评论信息集合融合，获得目标渲染结果。
步骤S308，云端边缘节点通过目标云渲染实例，对目标渲染结果进行分辨率适配处理以及压缩编码，获得云端渲染像素流。
步骤S309，云端边缘节点通过推流服务，将云端渲染像素流发送给终端设备的WebRTC SDK。
步骤S310，终端设备对云端渲染像素流进行解码，获得分辨率适配的目标渲染结果。
步骤S311，终端设备在云渲染地图中展示分辨率适配的目标渲染结果。
本申请实施例中，针对不同的终端设备的分辨率，云端边缘节点将目标渲染结果进行相应的分辨率适配处理，使得目标渲染结果在终端设备可以获得好的展示效果。同时，对目标渲染结果进行分辨率适配处理后，可以减少编码和解码的耗时，也可以减少云端渲染像素流的大小，节约了传输资源。
可选地，云端边缘节点采用待处理媒体内容，更新目标兴趣点对应的媒体内容集合之后，对待处理媒体内容进行加密，获得加密媒体内容，然后对加密媒体内容进行拆分，获得多个媒体内容区块，其中，每个媒体内容区块对应一个顺序编号。然后按照多个媒体内容区块各自对应的顺序编号，将多个媒体内容区块发送至其他云端边缘节点，以使其他云端边缘节点基于接收的媒体内容区块以及相应的顺序编号，更新本地存储的目标兴趣点对应的媒体内容集合。
具体地，对多个媒体内容区块进行排序，获得多个媒体内容区块各自对应的顺序编号。需要说明的是，本申请实施例中也可以直接将待处理媒体内容进行拆分，获得多个媒体内容区块，对此，本申请不做具体限定。
另外，可以按照多个媒体内容区块各自对应的顺序编号，直接将多个媒体内容区块广播给其他云端边缘节点，也可以采用预设的有向无环图，确定多个云端边缘节点之间的关联关系。然后按照多个媒体内容区块各自对应的顺序编号，以及多个云端边缘节点之间的关联关系，将多个媒体内容区块发送至其他云端边缘节点。
其他云端边缘节点每接收到一个媒体内容区块之后，便可以采用媒体内容区块更新本地存储的目标兴趣点对应的媒体内容集合，同时对媒体内容区块进行解析和渲染，获得部分渲染结果，并将部分渲染结果实时传输至终端设备。其他云端边缘节点在接收到多个媒体内容区块之后，可以采用相应的顺序编号，对接收到的多个媒体内容区块进行校验，避免媒体内容集合中媒体内容区块遗漏或重复。
举例来说，如图4所示，设定云渲染系统中包括3个云端边缘节点，分别为云端边缘节点401、云端边缘节点402和云端边缘节点403，其中，云端边缘节点401接收到终端设备针对目标兴趣点发送的目标评论文本，并采用目标评论文本更新目标POI信息列表，其中，目标POI信息列表保存了目标兴趣点的媒体内容集合。云端边缘节点401对目标评论文本加密后，将目标评论文本进行拆分，获得5个评论文本区块，5个评论文本区块各自对应的顺序编号分别为1、2、3、4、5。按照5个评论文本区块各自对应的顺序编号，将5个评论文本区块广播给云端边缘节点402和云端边缘节点403。
参见图5，假设云端边缘节点402接收到评论文本区块1，则云端边缘节点402采用接收的评论文本区块1更新维护的目标POI信息列表。云端边缘节点402也可以实时基于部分更新的目标POI信息列表中的多媒体信息集合进行渲染，获得渲染结果，并将渲染结果实时发送至终端设备。云端边缘节点402除了接收评论文本区块1之外，后续会逐步接收其他评论文本区块，在接收到5个评论文本区块之后，校验5个评论文本区块是否为评论文本区块1、评论文本区块2、评论文本区块3、评论文本区块4和评论文本区块5，若是，则按照顺序编号将各个评论文本区块进行拼接后，更新目标POI信息列表，否则去除重复接收的评论文本区块。
同样地，云端边缘节点403接收评论文本区块1、评论文本区块2、评论文本区块3、评论文本区块4和评论文本区块5，并基于接收的各个评论文本区块更新目标POI信息列表。
本申请实施例中，对待处理媒体内容进行拆分，获得多个媒体内容区块，相较于整个待处理媒体内容来说，传输每个媒体内容区块的时间更短，因此，通过将多个媒体内容区块发送给其他云端边缘节点，使得其他云端边缘节点可以更加快速地更新兴趣点对应的媒体内容集合，从而提高其他云端边缘节点的更新频率，进而提高其他云端边缘节点对兴趣点进行云渲染的质量和效果。
需要说明的是，在更新其他云端边缘节点中目标兴趣点对应的媒体内容集合时，本申请实施例并不仅限于上述一种实施方式，也可以不对待处理媒体内容进行拆分，直接将待处理媒体内容广播至其他云端边缘节点，用于通知其他云端边缘节点更新其各自维护的目标POI信息列表；还可以通过多个云端边缘节点之间的关联关系，将待处理媒体内容逐步扩散给其他云端边缘节点，用于通知其他云端边缘节点更新其各自维护的目标POI信息列表，对此，本申请不做具体限定。
可选地，通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果之前，至少采用以下方式确定目标云渲染实例：
若多个云渲染实例中，存在至少一个空闲状态的云渲染实例，则从至少一个空闲状态的云渲染实例中确定目标云渲染实例。
具体地，云端边缘节点采用实例池管理云渲染实例，实例池中包括多个云渲染实例。在初始创建实例池时，将实例池中多个云渲染实例所能处理的操作指令的上限值设置为预设数量，预设数量可以根据实际情况进行设置。比如，将预设数量设置为每秒查询率(Query Per Second，简称QPS)。一个云渲染实例可以处理一个操作指令，也可以并行处理多个操作指令。
当云端边缘节点并发接收的操作指令的数量小于等于预设数量时，云端边缘节点中多个云渲染实例可以对接收的所有操作指令进行处理。因此，针对一个操作指令，云端边缘节点从处于空闲状态的云渲染实例中，选取一个云渲染实例作为目标云渲染实例。然后将操作指令下发至目标云渲染实例。当目标云渲染实例对操作指令处理结束，并将相应的目标渲染结果发送至终端设备之后，云端边缘节点释放目标云渲染实例，并将目标云渲染实例设置为空闲状态。
本申请实施例中，云端边缘节点动态更新各个云渲染实例的空闲状态，并基于各个云渲染实例的空闲状态，动态分配执行操作指令的云渲染实例，保证了云端边缘节点中各个云渲染实例得到充分利用，避免了云渲染资源浪费。
可选地，每个云渲染实例维护各自对应的实例缓存，并判决实例缓存是否匹配后续操作指令，若是，则直接将实例缓存作为后续操作指令的处理结果。
比如，通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，以及将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果之后，目标云渲染实例缓存初始渲染结果以及目标渲染结果。当目标云渲染实例处理后续操作指令时，若后续操作指令也涉及上述初始渲染结果，则目标云渲染实例不需要重新渲染，可以直接使用缓存的初始渲染结果。若后续操作指令也涉及上述目标渲染结果，则目标云渲染实例不需要重新渲染和融合，可以直接使用缓存的目标渲染结果，这样既避免了重复计算带来的资源浪费，同时提高了云渲染的效率。
可选地，若多个云渲染实例中，不存在空闲状态的云渲染实例，则基于多个云端边缘节点之间的关联关系，从其他云端边缘节点中确定目标边缘节点，并将操作指令发送至目标边缘节点，以及停止接收终端设备发送的操作指令。
具体地，当云端边缘节点并发接收的操作指令的数量大于预设数量时，云端边缘节点中的多个云渲染实例只能处理预设数量的操作指令，超出预设数量的操作指令需要作为待转发操作指令，转发给其他云端边缘节点。
云渲染系统中，多个云端边缘节点之间的关联关系可以采用有向无环图网络结构表示。通过有向无环图网络结构，可以从其他云端边缘节点中确定目标边缘节点，并将待转发操作指令发送至目标边缘节点，同时断开与终端设备中的WebRTC SDK的连接，停止接收终端设备发送的操作指令。
需要说明的是，此处虽断开了与WebRTC SDK的连接，但是云端边缘节点依然会与终端设备保持推流连接，以便通过推流服务将已接收的操作指令的渲染结果实时发送至终端设备。后续当云端边缘节点中存在释放的云渲染实例时，云端边缘节点可再次与终端设备的WebRTC SDK建立连接，并接收终端设备后续发送的操作指令。
目标边缘节点也可以与终端设备建立连接，然后将待转发操作指令的渲染结果实时发送至终端设备。当目标边缘节点中的多个云渲染实例无法处理全部的待转发操作指令时，目标边缘节点可以采用相同的方式将无法处理的待转发操作指令转发给其他云端边缘节点，并停止接收终端设备发送的操作指令。
举例来说，如图6所示，设定云渲染系统中包括3个云端边缘节点，分别为云端边缘节点601、云端边缘节点602和云端边缘节点603。云端边缘节点601的实例池中包括云渲染实例A1、云渲染实例B1和云渲染实例C1。云端边缘节点602的实例池中包括云渲染实例A2、云渲染实例B2和云渲染实例C2。云端边缘节点603的实例池中包括云渲染实例A3、云渲染实例B3和云渲染实例C3，每个云渲染实例维护各自对应的实例缓存，并判决实例缓存是否匹配后续操作指令。每个云端边缘节点所能处理的并发的操作指令的上限值分别为3个。云端边缘节点601与终端设备建立连接，云端边缘节点601与云端边缘节点602，云端边缘节点602与云端边缘节点603连接。
参见图7，云端边缘节点601并发接收5个操作指令，分别为操作指令1、操作指令2、操作指令3、操作指令4、操作指令5。云端边缘节点601中处于空闲状态的云渲染实例分别为云渲染实例B1和云渲染实例C1，则将操作指令1下发给云渲染实例B1，将操作指令2下发给云渲染实例C1。将操作指令3、操作指令4、操作指令5转发给云端边缘节点602，并停止接收终端设备发送的操作指令，云端边缘节点602与终端设备建立连接。
参见图8，云端边缘节点602中处于空闲状态的云渲染实例分别为云渲染实例A2和云渲染实例B2，则将操作指令3下发给云渲染实例A2，将操作指令4下发给云渲染实例B2。将操作指令5转发给云端边缘节点603，并停止接收终端设备发送的操作指令，云端边缘节点603与终端设备的建立连接。
云端边缘节点603中处于空闲状态的云渲染实例分别为云渲染实例A3、云渲染实例B3和云渲染实例C3，则将操作指令5下发给云渲染实例A3。
参见图9，当云端边缘节点601中云渲染实例B1对操作指令1处理结束后，云端边缘节点601释放云渲染实例B1，并将云渲染实例B1设置为空闲状态，云端边缘节点601重新开始接收终端设备发送的操作指令。当云端边缘节点601接收到终端设备发送的操作指令6时，将操作指令6下发给云渲染实例B1进行处理。
本申请实施例中，将并发的多个操作指令动态分配至多个云端边缘节点进行处理，分散单个云端边缘节点的并发压力，也提高了对兴趣点进行边缘渲染的效率。其次，各个云端边缘节点动态更新云渲染实例的空闲状态，并基于各个云渲染实例的空闲状态，动态分配执行操作指令的云渲染实例，保证了云端边缘节点中各个云渲染实例得到充分利用，避免了云渲染资源浪费。
可选地，将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，本申请实施例至少提供以下几种实施方式：
实施方式一、通过目标云渲染实例，确定更新后的媒体内容集合，在初始渲染结果中的第一嵌入位置。然后通过目标云渲染实例，在第一嵌入位置，渲染更新后的媒体内容集合，获得目标渲染结果。
具体地，初始渲染结果包括多个初始渲染帧，可以将多个初始渲染帧中至少一个初始渲染帧作为更新后的媒体内容集合的第一嵌入位置。
针对媒体内容集合中的文本内容，在至少一个初始渲染帧上叠加文本框，然后在文本框内渲染文本内容。
针对媒体内容集合中的图像内容，在至少一个初始渲染帧上叠加图像框，然后在图像框内渲染图像内容。
针对媒体内容集合中的语音内容，对语音内容的音轨建立时间轴，并随时间平滑过渡，再基于时间轴将语音内容融合到至少一个初始渲染帧中。
针对媒体内容集合中的视频内容，基于视频内容中多个关键帧之间的连接关系执行动态扩展变换，同时过渡相邻帧之间的变换过程，再通过延展叠加以及二次加工，获得一段基于关键帧平滑的视频片段。再将视频片段融合到至少一个初始渲染帧中。
当待处理媒体内容包括文本内容、图像内容、语音内容和视频内容中的至少两种内容时，该待处理媒体内容中包括的至少两种内容，在初始渲染结果中的嵌入位置相同，以保证终端设备可以对应展示待处理媒体内容包括的两种内容。
以待处理媒体内容为评论信息举例来说，设定评论信息中包括评论文本和评论视频，则在多个初始渲染帧中选取嵌入该待处理媒体内容的至少一个待嵌入渲染帧，先将评论文本与至少一个待嵌入渲染帧融合，获得文本融合结果。然后在文本融合结果的基础上，融合评论视频，获得目标渲染结果。
本申请实施例中，先确定更新后的媒体内容集合在初始渲染结果中的第一嵌入位置。然后在第一嵌入位置渲染更新后的媒体内容集合，获得目标渲染结果，实现将初始渲染结果与媒体内容集合绑定和嵌套，故终端设备在展示目标兴趣点时，可以同步展示与目标兴趣点关联的所有媒体内容集合，从而提高云渲染地图的交互性。
实施方式二、若目标云渲染实例的实例缓存中包括更新前的媒体内容集合与初始渲染结果的历史融合结果，则通过目标云渲染实例，确定待处理媒体内容，在初始渲染结果中的第二嵌入位置，并在第二嵌入位置，渲染待处理媒体内容，获得中间渲染结果。再通过目标云渲染实例，将历史融合结果与中间渲染结果融合，获得目标渲染结果。
具体地，当目标云渲染实例的实例缓存中包括更新前的媒体内容集合与初始渲染结果的历史融合结果时，说明可以直接从目标云渲染实例的实例缓存中获取历史融合结果，不需要重复将更新前的媒体内容集合与初始渲染结果进行融合，而只需要将待处理媒体内容与初始渲染结果进行融合，获得中间渲染结果。再将历史融合结果与中间渲染结果融合，即可获得目标渲染结果，其中，待处理媒体内容包括文本内容、图像内容、语音内容以及视频内容中的至少一种。
本申请实施例中，通过云渲染实例的实例缓存获得更新前的媒体内容集合与初始渲染结果的历史融合结果，然后只对最新获得的待处理媒体内容与初始渲染结果进行融合，获得中间渲染结果，再将历史融合结果与中间渲染结果融合，获得目标渲染结果，避免了对同一媒体内容进行重复渲染和融合，从而提高了云渲染的效率，同时避免了计算资源的浪费。
为了更好地解释本申请实施例，下面结合具体实施场景介绍本申请实施例提供的一种基于云渲染的媒体内容处理方法，该方法的流程由终端设备和云端边缘节点交互执行，如图10所示，包括以下步骤：
步骤1001，终端设备响应于针对目标兴趣点的地图操作指令，执行指令分发。
其中，目标兴趣点为云渲染地图中的兴趣点，地图操作指令包括兴趣点评论指令和地图移动指令，其中，兴趣点评论指令包括针对目标兴趣点的目标评论文本，终端设备将兴趣点评论指令和地图移动指令分发至WebRTC SDK。
步骤1002，终端设备通过WebRTC SDK，发送地图操作指令至云端边缘节点的渲染服务。
步骤1003，云端边缘节点执行地图渲染和POI信息更新。
具体地，将地图操作指令划分为基础地图指令和POI指令。云端边缘节点的将POI指令下发给POI信息缓存池。云端边缘节点的将基础地图指令下发给云渲染实例1。
云端边缘节点对目标评论文本合规性通过后，将目标评论文本添加至POI信息缓存池中的目标POI信息列表，目标POI信息列表用于保存针对目标兴趣点的评论信息。云端边缘节同时将目标评论文本广播给其他云端边缘节点，以便通知其他云端边缘节点更新目标兴趣点的目标POI信息列表。另外，云端边缘节点也接收其他云端边缘节点广播的针对目标兴趣点的评论信息，并基于接收的评论信息更新目标POI信息列表。
云端边缘节点包括云渲染实例1、云渲染实例2和云渲染实例3，云渲染实例1为处于空闲状态的云渲染实例。云渲染实例1采用3D地图引擎，对目标兴趣点以及关联的地图区域进行地图渲染，获得初始渲染结果，初始渲染结果包括多个初始渲染帧。
步骤1004，云端边缘节点执行文本融合。
具体地，针对更新后的目标POI信息列表中的评论文本，云渲染实例1在至少一个初始渲染帧上叠加文本框，然后在文本框内渲染评论文本，获得文本融合结果。
步骤1005，云端边缘节点执行音、视频融合。
针对目标POI信息列表中的评论语音和评论视频，云渲染实例1在文本融合结果的基础上，融合评论语音和评论视频，获得目标渲染结果，其中，目标渲染结果包括多个目标渲染帧。
步骤1006，云端边缘节点执行分辨率适配。
基于终端设备的分辨率，对多个目标渲染帧进行分辨率适配处理。
步骤1007，云端边缘节点执行压缩编码。
对分辨率适配的多个目标渲染帧进行压缩编码，获得云端渲染像素流。
步骤1008，云端边缘节点通过推流服务，将云端渲染像素流发送给终端设备的WebRTC SDK。
步骤1009，终端设备对云端渲染像素流进行解码，获得分辨率适配的目标渲染结果。
步骤1010，终端设备执行地图画面展示。
终端设备在云渲染地图中展示分辨率适配的目标渲染结果。
本申请实施例中，云端边缘节点接收到终端设备发送的针对目标兴趣点的待处理媒体内容后，采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。由于更新前的媒体内容集合包括其他云端边缘节点同步的目标兴趣点的历史媒体内容，因此，更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么，云端边缘节点通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而避免了渲染结果中目标兴趣点的媒体内容不全面的问题，进而提高了兴趣点的云渲染质量和效果，也丰富了云渲染地图中兴趣点的扩展维度以及实时交互效果。
基于相同的技术构思，本申请实施例提供了一种基于云渲染的媒体内容处理装置的结构示意图，应用于云渲染系统中的每个云端边缘节点，云渲染系统包括多个云端边缘节点，如图11所示，该装置1100包括：
接收模块1101，用于接收终端设备针对目标兴趣点发送的操作指令，所述操作指令中包括：所述目标兴趣点的待处理媒体内容；
更新模块1102，用于采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的所述目标兴趣点的历史媒体内容；
渲染模块1103，用于对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果；
融合模块1104，用于将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果。
可选地，所述更新模块1102具体用于：
从本地缓存池中的多个兴趣点信息列表中，确定所述目标兴趣点对应的目标兴趣点信息列表，其中，所述目标兴趣点信息列表用于存储所述目标兴趣点对应的媒体内容集合；
将所述待处理媒体内容添加至所述目标兴趣点信息列表，以更新所述目标兴趣点对应的媒体内容集合。
可选地，所述目标兴趣点为云渲染地图中的兴趣点；
所述更新模块1102还用于：
若所述目标兴趣点信息列表中媒体内容的数量，大于所述目标兴趣点信息列表的存储上限值，则删除最早添加至所述目标兴趣点信息列表中的历史媒体内容；
若从所述云渲染地图中删除所述目标兴趣点，则相应删除所述目标兴趣点信息列表。
可选地，所述更新模块1102还用于：
采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合之后，对所述待处理媒体内容进行加密，获得加密媒体内容；
对所述加密媒体内容进行拆分，获得多个媒体内容区块，其中，每个媒体内容区块对应一个顺序编号；
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块发送至所述其他云端边缘节点，以使所述其他云端边缘节点基于接收的媒体内容区块以及相应的顺序编号，更新本地存储的所述目标兴趣点对应的媒体内容集合。
可选地，所述更新模块1102具体用于：
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块广播给所述其他云端边缘节点；或者，
采用预设的有向无环图，确定所述多个云端边缘节点之间的关联关系；
按照所述多个媒体内容区块各自对应的顺序编号，以及所述多个云端边缘节点之间的关联关系，将所述多个媒体内容区块发送至所述其他云端边缘节点。
可选地，每个云端边缘节点包括多个云渲染实例；
所述渲染模块1103具体用于：
若所述多个云渲染实例中，存在至少一个空闲状态的云渲染实例，则从所述至少一个空闲状态的云渲染实例中确定目标云渲染实例；
采用所述目标云渲染实例，对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
可选地，所述渲染模块1103还用于：
若所述多个云渲染实例中，不存在空闲状态的云渲染实例，则基于所述多个云端边缘节点之间的关联关系，从其他云端边缘节点中确定目标边缘节点，并将所述操作指令发送至所述目标边缘节点，以及停止接收所述终端设备发送的操作指令。
可选地，还包括发送模块1105：
所述发送模块1105具体用于：
将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果之后，对所述目标渲染结果进行分辨率适配处理以及压缩编码，获得云端渲染像素流；
通过推流服务，将所述云端渲染像素流发送至所述终端设备，以使所述终端设备对所述云端渲染像素流进行解码，获得分辨率适配的目标渲染结果，并展示分辨率适配的目标渲染结果。
可选地，所述融合模块1104具体用于：
通过所述目标云渲染实例，确定所述更新后的媒体内容集合，在所述初始渲染结果中的第一嵌入位置；
通过所述目标云渲染实例，在所述第一嵌入位置，渲染所述更新后的媒体内容集合，获得目标渲染结果。
可选地，所述融合模块1104具体用于：
若所述目标云渲染实例的实例缓存中包括更新前的媒体内容集合与所述初始渲染结果的历史融合结果，则通过所述目标云渲染实例，确定所述待处理媒体内容，在所述初始渲染结果中的第二嵌入位置，并在所述第二嵌入位置，渲染所述待处理媒体内容，获得中间渲染结果；
通过所述目标云渲染实例，将所述历史融合结果与所述中间渲染结果融合，获得所述目标渲染结果。
可选地，所述媒体内容集合包括以下至少一项媒体内容：
文本内容、图像内容、语音内容和视频内容，其中，视频内容是基于接收的待处理视频中的多个关键帧生成的。
本申请实施例中，云端边缘节点接收到终端设备发送的针对目标兴趣点的待处理媒体内容后，采用待处理媒体内容，更新本地存储的目标兴趣点对应的媒体内容集合。由于更新前的媒体内容集合包括其他云端边缘节点同步的目标兴趣点的历史媒体内容，因此，更新后的媒体内容集合包含针对目标兴趣点的所有媒体内容，那么，云端边缘节点通过目标云渲染实例，对目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，并将更新后的媒体内容集合与初始渲染结果融合，获得目标渲染结果时，目标渲染结果中也包含针对目标兴趣点的所有媒体内容，从而避免了渲染结果中目标兴趣点的媒体内容不全面的问题，进而提高了兴趣点的云渲染质量和效果，也丰富了云渲染地图中兴趣点的扩展维度以及实时交互效果。
基于相同的技术构思，本申请实施例提供了一种计算机设备，该计算机设备可以是图1所示的终端设备和云端边缘节点，如图12所示，包括至少一个处理器1201，以及与至少一个处理器连接的存储器1202，本申请实施例中不限定处理器1201与存储器1202之间的具体连接介质，图12中处理器1201和存储器1202之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中，存储器1202存储有可被至少一个处理器1201执行的指令，至少一个处理器1201通过执行存储器1202存储的指令，可以执行上述基于云渲染的媒体内容处理方法的步骤。
其中，处理器1201是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1202内的指令以及调用存储在存储器1202内的数据，从而实现对兴趣点的云渲染。可选的，处理器1201可包括一个或多个处理单元，处理器1201可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1201中。在一些实施例中，处理器1201和存储器1202可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1201可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1202可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1202是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机设备存取的任何其他介质，但不限于此。本申请实施例中的存储器1202还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行上述基于云渲染的媒体内容处理方法的步骤。
基于同一发明构思，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述基于云渲染的媒体内容处理方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种基于云渲染的媒体内容处理方法，应用于云渲染系统中的每个云端边缘节点，所述云渲染系统包括多个云端边缘节点，其特征在于，包括：
接收终端设备针对目标兴趣点发送的操作指令，所述操作指令中包括：所述目标兴趣点的待处理媒体内容；
采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的所述目标兴趣点的历史媒体内容；
对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果；
将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果。
2.如权利要求1所述的方法，其特征在于，所述采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合之后，还包括：
对所述待处理媒体内容进行加密，获得加密媒体内容；
对所述加密媒体内容进行拆分，获得多个媒体内容区块，其中，每个媒体内容区块对应一个顺序编号；
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块发送至所述其他云端边缘节点，以使所述其他云端边缘节点基于接收的媒体内容区块以及相应的顺序编号，更新本地存储的所述目标兴趣点对应的媒体内容集合。
3.如权利要求2所述的方法，其特征在于，所述按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块发送至所述其他云端边缘节点，包括：
按照所述多个媒体内容区块各自对应的顺序编号，将所述多个媒体内容区块广播给所述其他云端边缘节点；或者，
采用预设的有向无环图，确定所述多个云端边缘节点之间的关联关系；
按照所述多个媒体内容区块各自对应的顺序编号，以及所述多个云端边缘节点之间的关联关系，将所述多个媒体内容区块发送至所述其他云端边缘节点。
4.如权利要求1所述的方法，其特征在于，所述采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，包括：
从本地缓存池中的多个兴趣点信息列表中，确定所述目标兴趣点对应的目标兴趣点信息列表，其中，所述目标兴趣点信息列表用于存储所述目标兴趣点对应的媒体内容集合；
将所述待处理媒体内容添加至所述目标兴趣点信息列表，以更新所述目标兴趣点对应的媒体内容集合。
5.如权利要求4所述的方法，其特征在于，所述目标兴趣点为云渲染地图中的兴趣点；
所述将所述待处理媒体内容添加至所述目标兴趣点信息列表之后，还包括：
若所述目标兴趣点信息列表中媒体内容的数量，大于所述目标兴趣点信息列表的存储上限值，则删除最早添加至所述目标兴趣点信息列表中的历史媒体内容；
若从所述云渲染地图中删除所述目标兴趣点，则相应删除所述目标兴趣点信息列表。
6.如权利要求1所述的方法，其特征在于，每个云端边缘节点包括多个云渲染实例；
所述对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果，包括：
若所述多个云渲染实例中，存在至少一个空闲状态的云渲染实例，则从所述至少一个空闲状态的云渲染实例中确定目标云渲染实例；
采用所述目标云渲染实例，对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果。
7.如权利要求6所述的方法，其特征在于，还包括：
若所述多个云渲染实例中，不存在空闲状态的云渲染实例，则基于所述多个云端边缘节点之间的关联关系，从其他云端边缘节点中确定目标边缘节点，并将所述操作指令发送至所述目标边缘节点，以及停止接收所述终端设备发送的操作指令。
8.如权利要求1所述的方法，其特征在于，所述将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果之后，还包括：
对所述目标渲染结果进行分辨率适配处理以及压缩编码，获得云端渲染像素流；
通过推流服务，将所述云端渲染像素流发送至所述终端设备，以使所述终端设备对所述云端渲染像素流进行解码，获得分辨率适配的目标渲染结果，并展示分辨率适配的目标渲染结果。
9.如权利要求6所述的方法，其特征在于，所述将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果，包括：
通过所述目标云渲染实例，确定所述更新后的媒体内容集合，在所述初始渲染结果中的第一嵌入位置；
通过所述目标云渲染实例，在所述第一嵌入位置，渲染所述更新后的媒体内容集合，获得目标渲染结果。
10.如权利要求6所述的方法，其特征在于，所述将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果，包括：
若所述目标云渲染实例的实例缓存中包括更新前的媒体内容集合与所述初始渲染结果的历史融合结果，则通过所述目标云渲染实例，确定所述待处理媒体内容，在所述初始渲染结果中的第二嵌入位置，并在所述第二嵌入位置，渲染所述待处理媒体内容，获得中间渲染结果；
通过所述目标云渲染实例，将所述历史融合结果与所述中间渲染结果融合，获得所述目标渲染结果。
11.如权利要求1至10任一所述的方法，其特征在于，所述媒体内容集合包括以下至少一项媒体内容：
文本内容、图像内容、语音内容和视频内容，其中，视频内容是基于接收的待处理视频中的多个关键帧生成的。
12.一种基于云渲染的媒体内容处理装置，应用于云渲染系统中的每个云端边缘节点，所述云渲染系统包括多个云端边缘节点，其特征在于，包括：
接收模块，用于接收终端设备针对目标兴趣点发送的操作指令，所述操作指令中包括：所述目标兴趣点的待处理媒体内容；
更新模块，用于采用所述待处理媒体内容，更新本地存储的所述目标兴趣点对应的媒体内容集合，其中，更新前的媒体内容集合至少包括：其他云端边缘节点同步的所述目标兴趣点的历史媒体内容；
渲染模块，用于对所述目标兴趣点以及关联的地图区域进行渲染，获得初始渲染结果；
融合模块，用于将更新后的媒体内容集合与所述初始渲染结果融合，获得目标渲染结果。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～11任一所述的方法的步骤。
14.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～11任一所述的方法的步骤。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行权利要求1-11任一项所述的方法的步骤。
CN202210030534.3A 2022-01-12 2022-01-12 一种基于云渲染的媒体内容处理方法、设备及存储介质 Pending CN116467318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030534.3A CN116467318A (zh) 2022-01-12 2022-01-12 一种基于云渲染的媒体内容处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030534.3A CN116467318A (zh) 2022-01-12 2022-01-12 一种基于云渲染的媒体内容处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116467318A true CN116467318A (zh) 2023-07-21

Family

ID=87175816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030534.3A Pending CN116467318A (zh) 2022-01-12 2022-01-12 一种基于云渲染的媒体内容处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116467318A (zh)

Similar Documents

Publication Publication Date Title
CN108449409B (zh) 动画推送方法、装置、设备和存储介质
CN113099258A (zh) 云导播系统及直播处理方法、装置、计算机可读存储介质
US10757482B2 (en) System and method for predicting user viewpoint using location information of sound source in 360 VR contents
US20150106730A1 (en) Framework for screen content sharing system with generalized screen descriptions
CN108200444B (zh) 一种视频直播的方法、装置和系统
JP2018513441A (ja) 画像の重畳しようとする領域の決定、画像重畳、画像表示方法及び装置
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
JP2022553965A (ja) ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム
CN114513520A (zh) 基于客户端和服务器同步渲染的Web三维可视化技术
WO2023147758A1 (zh) 云游戏资源数据处理方法、装置、计算机设备和存储介质
JP2023522266A (ja) マルチメディアデータ配信の方法、装置、デバイス及び媒体
CN111031399B (zh) 弹幕处理方法和系统
EP4080507A1 (en) Method and apparatus for editing object, electronic device and storage medium
CN103152429B (zh) 基于web跨平台与拼墙互动的方法及装置
Noguera et al. A scalable architecture for 3D map navigation on mobile devices
CN116758201B (zh) 三维场景的渲染处理方法、设备、系统及计算机存储介质
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN116467318A (zh) 一种基于云渲染的媒体内容处理方法、设备及存储介质
CN114071170B (zh) 一种网络直播互动方法及设备
KR102516831B1 (ko) 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR101979432B1 (ko) 360도 vr 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 장치 및 방법
CN117041628B (zh) 直播画面的渲染方法、系统、装置、设备及介质
CN114598692B (zh) 点云文件传输方法、应用方法、装置、设备及存储介质
US20230334726A1 (en) Blockchain-based data processing method and apparatus, device, storage medium, and program product
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40090787

Country of ref document: HK