CN113628347A - 基于边缘计算的云ar实景共享方法及系统 - Google Patents
基于边缘计算的云ar实景共享方法及系统 Download PDFInfo
- Publication number
- CN113628347A CN113628347A CN202110804187.0A CN202110804187A CN113628347A CN 113628347 A CN113628347 A CN 113628347A CN 202110804187 A CN202110804187 A CN 202110804187A CN 113628347 A CN113628347 A CN 113628347A
- Authority
- CN
- China
- Prior art keywords
- real
- scene
- edge node
- virtual
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 abstract description 14
- 230000003993 interaction Effects 0.000 abstract description 13
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/502—Proximity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于边缘计算的云AR实景共享方法及系统，涉及AR信息技术领域，解决了不同地域间用户AR不能实现实景共享的技术问题，其技术方案要点是依托第一终端(即主导终端)进行实景拍摄、本地虚景渲染及虚实融合等能力，融合第一边缘节点(即主导边缘节点)实景识别、三维注册等数字化处理能力，完成实景和虚景逻辑分享基础处理。由于边缘节点之间的高速分发机制，第二边缘节点(互动边缘节点)能够快速获取实景视频和虚景逻辑等并下发到第二终端(互动终端)，并由互动终端完成虚景渲染和虚实融合过程，最终实现基于主导终端统一的实景和数据化逻辑的云AR多人互动。
Description
技术领域
本公开涉及AR信息技术领域，尤其涉及一种基于边缘计算的云AR实景共享方法及系统。
背景技术
AR技术是一种实时计算摄影机影像的位置及角度并加上相应图像的技术，将真实世界信息和虚拟世界信息“无缝”集成的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界中并进行互动。AR技术实现了真实与虚拟的无缝衔接，不仅带来现实的数字化增强，而且为虚拟景象赋予了现实场景的基础，极具深度和广度的应用场景，具备在游戏、教育、工业制造等多个领域良好的发展前景。
现有AR技术主要基于手机或AR眼镜等本地化AR终端，通过终端个体实景视频采集、三维建模/注册、虚实融合和实时交互等处理过程，实现基于用户本地AR服务机制。AR本地运行方式使得终端运行压力较大，且在多人互动的AR应用场景下，主要互动方式限于积分排名等简单场景，缺乏多人趣味互动属性，难以构成用户间有效互动，这样也导致了当前AR应用的碎片化和小型化。
为实现多人互动机制和降低终端侧运行压力，需要通过AR上云方式解决。对于云AR而言，处理海量用户个性化实景将给云端带来极大的计算压力，同时也存在时延问题，影响多用户互动。
发明内容
本公开提供了一种基于边缘计算的云AR实景共享方法及系统，其技术目的是实现不同地域用户间的AR实景共享；实现多人的AR应用实景与虚景一致性，有效支持多人AR互动；实现针对实景视频的更加精准的识别与处理，有效减少终端侧处理压力，并保障整体的时延体验。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种基于边缘计算的云AR实景共享方法，包括：
第一终端对周边实景进行拍摄，获取所述实景并将所述实景同步至第一边缘节点；
所述第一边缘节点接收所述实景，对所述实景进行识别，识别完成后进行三维注册，然后生成虚景逻辑，将所述虚景逻辑发送给所述第一终端，将所述实景及所述虚景逻辑共享给至少一个第二边缘节点，将所述虚景逻辑上传至中心云调度模块；
所述第一终端接收所述虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后得到第一本地操控，将所述第一本地操控同步至所述第一边缘节点；
所述第一边缘节点将所述第一本地操控上传至所述中心云调度模块；
所述第二边缘节点将所述实景和所述虚景逻辑发送给至少一个第二终端；
所述第二终端根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后生成第二本地操控，并将所述第二本地操控同步至第二边缘节点；
所述第二边缘节点将所述第二本地操控上传至所述中心云调度模块；
所述中心云调度根据所述第一本地操控和所述第二本地操控对所述第一边缘节点和所述第二边缘节点进行管理调度，实现对所述第一终端和所述第二终端的云AR实景共享。
一种基于边缘计算的云AR实景共享系统，包括：
第一终端，对周边实景进行拍摄，获取所述实景并将所述实景同步至第一边缘节点；接收虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后得到第一本地操控，将所述第一本地操控同步至所述第一边缘节点；
第一边缘节点，接收所述实景，对所述实景进行识别，识别完成后进行三维注册，然后生成虚景逻辑，将所述虚景逻辑发送给所述第一终端，将所述实景及所述虚景逻辑共享给至少一个第二边缘节点，将所述虚景逻辑上传至中心云调度模块；将所述第一本地操控上传至所述中心云调度模块；
至少一个第二边缘节点，将所述实景和所述虚景逻辑发送给至少一个第二终端；接收第二本地操控，将所述第二本地操控上传至所述中心云调度模块；
至少一个第二终端，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后生成所述第二本地操控，并将所述第二本地操控同步至第二边缘节点；
中心云调度模块，与所述第一边缘节点和所述第二边缘节点都连接，根据所述第一本地操控和所述第二本地操控对所述第一边缘节点和所述第二边缘节点进行管理调度，实现对所述第一终端和所述第二终端的云AR实景共享。
本公开的有益效果在于：本申请所述的基于边缘计算的云AR实景共享方法及系统，在实现过程中，依托第一终端(即主导终端)进行实景拍摄、本地虚景渲染及虚实融合等能力，融合第一边缘节点(即主导边缘节点)实景识别、三维注册等数字化处理能力，完成实景和虚景逻辑分享基础处理。由于边缘节点之间的高速分发机制，第二边缘节点(互动边缘节点)能够快速获取实景视频和虚景逻辑等并下发到第二终端(互动终端)，并由互动终端完成虚景渲染和虚实融合过程，最终实现基于主导终端统一的实景和数据化逻辑的云AR多人互动。
附图说明
图1为本申请所述方法的流程图；
图2为本申请所述系统的示意图；
图3为本申请具体实施例的示意图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在本申请的描述中，需要理解地是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用于区分不同的组成部分。
图1为本申请所述方法的流程图，如图1所示，包括：步骤S1：第一终端对周边实景进行拍摄，获取所述实景并将所述实景同步至第一边缘节点。
步骤S2：所述第一边缘节点接收所述实景，对所述实景进行识别，识别完成后进行三维注册，然后生成虚景逻辑，将所述虚景逻辑发送给所述第一终端，将所述实景及所述虚景逻辑共享给至少一个第二边缘节点，将所述虚景逻辑上传至中心云调度模块。
步骤S41：所述第一终端接收所述虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后得到第一本地操控，将所述第一本地操控同步至所述第一边缘节点。
步骤S42：所述第一边缘节点将所述第一本地操控上传至所述中心云调度模块。
步骤S31：所述第二边缘节点将所述实景和所述虚景逻辑发送给至少一个第二终端。
步骤S32：所述第二终端根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后生成第二本地操控，并将所述第二本地操控同步至第二边缘节点。
步骤S33：所述第二边缘节点将所述第二本地操控上传至所述中心云调度模块。
步骤S5：所述中心云调度根据所述第一本地操控和所述第二本地操控对所述第一边缘节点和所述第二边缘节点进行管理调度，实现对所述第一终端和所述第二终端的云AR实景共享。
步骤S2完成后，步骤S31、步骤S32、步骤S33与步骤S41、步骤S42是同时进行的，互不干扰。当中心云调度模块收到第一本地操控和第二本地操控后，将各个本地操控进行同步，实现云AR多端互动。
图2为本申请所述系统的示意图，如图2所示，该系统包括第一终端、第一边缘节点、至少一个第二终端、至少一个第二边缘节点和中心云调度模块，第一终端和第一边缘节点对应，第二终端的数量和第二边缘节点的数量一样，一个第二终端对应一个第二边缘节点。
作为具体实施例地，第一终端和第一边缘节点组成主导计算单元，第一终端为主导终端，第一边缘节点为主导边缘计算节点。第二终端和第二边缘节点组成互动计算单元，第二终端为互动终端，第二边缘节点为互动边缘计算节点。
主导终端完成实景拍摄和实景上传，主导边缘计算单元完成实景接收/流媒体处理、实景识别、三维注册、生成虚景逻辑、虚景逻辑上传/实景流媒体上传等。互动边缘计算节点完成实景视频流媒体获取、虚景逻辑获取，并下发到互动终端。互动终端完成实景、虚景逻辑获取后，完成虚景渲染以及虚实融合处理。中心云调度模块完成相关的主导终端、互动终端相关操控互动逻辑同步，并完成各边缘节点的逻辑同步，如图3所示。
本申请尤其在针对具有地域性特色的AR应用，通过本申请所述的方法能够实现不同地域用户间的AR实景趣味共享的新型玩法；通过主导终端实景共享及边缘计算就近处理，能够实现多人的AR应用实景与虚景一致性，能够有效支持多人AR互动，打破现有以用户个人终端为主的AR模式；通过边缘计算，实现针对实景视频的更加精准的识别与处理，能够有效减少终端侧处理压力，通过边缘计算处理又可保障整体的时延体验。
以上为本申请示范性实施例，本申请的保护范围由权利要求书及其等效物限定。
Claims (2)
1.一种基于边缘计算的云AR实景共享方法，其特征在于，包括：
第一终端对周边实景进行拍摄，获取所述实景并将所述实景同步至第一边缘节点；
所述第一边缘节点接收所述实景，对所述实景进行识别，识别完成后进行三维注册，然后生成虚景逻辑，将所述虚景逻辑发送给所述第一终端，将所述实景及所述虚景逻辑共享给至少一个第二边缘节点，将所述虚景逻辑上传至中心云调度模块；
所述第一终端接收所述虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后得到第一本地操控，将所述第一本地操控同步至所述第一边缘节点；
所述第一边缘节点将所述第一本地操控上传至所述中心云调度模块；
所述第二边缘节点将所述实景和所述虚景逻辑发送给至少一个第二终端；
所述第二终端根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后生成第二本地操控，并将所述第二本地操控同步至第二边缘节点；
所述第二边缘节点将所述第二本地操控上传至所述中心云调度模块；
所述中心云调度根据所述第一本地操控和所述第二本地操控对所述第一边缘节点和所述第二边缘节点进行管理调度，实现对所述第一终端和所述第二终端的云AR实景共享。
2.一种基于边缘计算的云AR实景共享系统，其特征在于，包括：
第一终端，对周边实景进行拍摄，获取所述实景并将所述实景同步至第一边缘节点；接收虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后得到第一本地操控，将所述第一本地操控同步至所述第一边缘节点；
第一边缘节点，接收所述实景，对所述实景进行识别，识别完成后进行三维注册，然后生成虚景逻辑，将所述虚景逻辑发送给所述第一终端，将所述实景及所述虚景逻辑共享给至少一个第二边缘节点，将所述虚景逻辑上传至中心云调度模块；将所述第一本地操控上传至所述中心云调度模块；
至少一个第二边缘节点，将所述实景和所述虚景逻辑发送给至少一个第二终端；接收第二本地操控，将所述第二本地操控上传至所述中心云调度模块；
至少一个第二终端，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合，最后生成所述第二本地操控，并将所述第二本地操控同步至第二边缘节点；
中心云调度模块，与所述第一边缘节点和所述第二边缘节点都连接，根据所述第一本地操控和所述第二本地操控对所述第一边缘节点和所述第二边缘节点进行管理调度，实现对所述第一终端和所述第二终端的云AR实景共享。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110804187.0A CN113628347A (zh) | 2021-07-16 | 2021-07-16 | 基于边缘计算的云ar实景共享方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110804187.0A CN113628347A (zh) | 2021-07-16 | 2021-07-16 | 基于边缘计算的云ar实景共享方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113628347A true CN113628347A (zh) | 2021-11-09 |
Family
ID=78379853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110804187.0A Pending CN113628347A (zh) | 2021-07-16 | 2021-07-16 | 基于边缘计算的云ar实景共享方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628347A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110545363A (zh) * | 2018-05-28 | 2019-12-06 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
| US20200269132A1 (en) * | 2019-02-25 | 2020-08-27 | Niantic, Inc. | Augmented Reality Mobile Edge Computing |
| CN111612933A (zh) * | 2020-05-18 | 2020-09-01 | 上海齐网网络科技有限公司 | 基于边缘云服务器的增强现实智能巡检系统 |
-
2021
- 2021-07-16 CN CN202110804187.0A patent/CN113628347A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110545363A (zh) * | 2018-05-28 | 2019-12-06 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
| US20200269132A1 (en) * | 2019-02-25 | 2020-08-27 | Niantic, Inc. | Augmented Reality Mobile Edge Computing |
| CN111612933A (zh) * | 2020-05-18 | 2020-09-01 | 上海齐网网络科技有限公司 | 基于边缘云服务器的增强现实智能巡检系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109874021A (zh) | 直播互动方法、装置及系统 | |
| JP7135141B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
| CN103517142B (zh) | 一种基于智能电视的互动评论信息处理方法及系统 | |
| CN112738010A (zh) | 数据交互方法及系统、交互终端、可读存储介质 | |
| CN106705972B (zh) | 一种基于用户反馈的室内语义地图更新方法与系统 | |
| CN103412953A (zh) | 基于增强现实的社交方法 | |
| CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111970524B (zh) | 交互类直播连麦的控制方法、装置、系统、设备及介质 | |
| CN106713942B (zh) | 视频处理方法和装置 | |
| CN102340690A (zh) | 一种互动电视节目系统及实现方法 | |
| CN112672090B (zh) | 一种云视频会议中优化音视频效果的方法 | |
| CN103810360A (zh) | 虚拟现实旅游系统 | |
| WO2024001661A1 (zh) | 视频合成方法、装置、设备和存储介质 | |
| CN103841299A (zh) | 虚拟演播室系统 | |
| CN110433491A (zh) | 虚拟观众的动作同步响应方法、系统、装置和存储介质 | |
| CN108881706A (zh) | 控制多媒体设备工作的方法及装置 | |
| CN114327055A (zh) | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 | |
| CN116744027A (zh) | 一种元宇宙直播系统 | |
| CN113628347A (zh) | 基于边缘计算的云ar实景共享方法及系统 | |
| CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
| CN110362199A (zh) | 一种体感ar及vr互动控制管理系统 | |
| CN116016837A (zh) | 一种沉浸式虚拟网络会议方法和装置 | |
| CN115494962A (zh) | 一种虚拟人实时互动系统及方法 | |
| Chen et al. | Research about mobile AR system based on cloud computing | |
| CN108989327B (zh) | 一种虚拟现实服务器系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |