CN116156142A - Ar视频数据的离线渲染方法及装置 - Google Patents
Ar视频数据的离线渲染方法及装置 Download PDFInfo
- Publication number
- CN116156142A CN116156142A CN202310014670.8A CN202310014670A CN116156142A CN 116156142 A CN116156142 A CN 116156142A CN 202310014670 A CN202310014670 A CN 202310014670A CN 116156142 A CN116156142 A CN 116156142A
- Authority
- CN
- China
- Prior art keywords
- data
- rendering
- positioning
- track data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 10
- 238000007499 fusion processing Methods 0.000 abstract description 5
- 238000012800 visualization Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例公开了一种AR视频数据的离线渲染方法及装置。其中，该方法包括：采集移动设备的轨迹数据和通过移动设备拍摄真实环境的图像数据；将轨迹数据同步到对应的虚拟地图中，并将轨迹数据保存到云端服务器；将轨迹数据、所述图像数据、AR内容以及虚拟地图发送到3D渲染引擎中；将轨迹数据在3D渲染引擎的插件上进行顺序播放；将图像数据和AR内容进行渲染，并在3D渲染引擎上记录渲染过程。该方法能够将真实环境的图像数据和3D虚拟内容进行融合并在3D渲染引擎中记录融合过程，实现AR视频数据的离线渲染，比现场体验渲染具有更好的体验效果，将不准确定位和定位错误问题可视化，降低开发的成本以及提高了开发效率。
Description
技术领域
本公开涉及增强现实技术领域，尤其涉及一种AR视频数据的离线渲染方法及装置。
背景技术
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互以及传感等多种技术手段，通常将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息进行模拟仿真后，应用到真实世界中，将虚拟信息和真实世界这两种信息互为补充，从而实现对真实世界的“增强”。
AR空间视觉定位技术是一种根据当前设备获取的真实空间的图像与构建地图的匹配关系来估计相机在构建地图中的位姿(位置和方向)的技术。在AR内容制作时，需考虑对应区域的定位精度来设置合适的虚拟内容，例如在低精度定位的地图中如果设置了遮挡、真实虚拟内容交互等对精度要求较高的内容，则很可能影响AR内容的体验效果。因此AR内容的制作需要得到地图相关的精度信息来辅助制作，或者进行地图补采重建，提高虚拟内容贴合度。
在相关技术中，将真实空间中获取的图像通过算法，在构建的地图空间中获得该图像所在位置、朝向，以及对齐真实、虚拟空间。但该过程中的算法存在误差，且无法评估获得结果精度，存在定位可能错误即定位到不正确的地点、定位不精准、部分区域无法定位等问题。并且，周围的环境也会影响到AR定位算法返回的结果，进而影响到AR内容的贴合度，增加了开发时间和成本，降低了开发效率。
发明内容
有鉴于此，本公开实施例提供了一种AR视频数据的离线渲染方法及装置，能够将真实环境的图像数据和3D虚拟内容进行融合并在3D渲染引擎中记录融合过程，实现AR视频数据的离线渲染，比现场体验渲染具有更好的体验效果，并通过对真实环境和虚拟内容的贴合度计算，将不准确定位和定位错误问题可视化，降低了开发时间和开发成本以及提高了开发效率。
第一方面，本公开实施例提供了一种AR视频数据的离线渲染方法，采用如下技术方案：
采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据；
将所述轨迹数据同步到对应的虚拟地图中，并将所述轨迹数据保存到云端服务器；
将所述轨迹数据、所述图像数据、AR内容以及所述虚拟地图发送到3D渲染引擎中；
将所述轨迹数据在所述3D渲染引擎的插件上进行顺序播放；
将所述图像数据和所述AR内容进行渲染，并在所述3D渲染引擎上记录渲染过程。
在一些实施例中，所述方法还包括：
获取所述图像数据的深度信息；
根据所述深度信息对所述图像数据中目标对象所在区域进行云定位，输出定位结果；
在所述3D渲染引擎上记录所述定位结果；
将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度。
在一些实施例中，将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度，包括：
获取所述定位结果与所述轨迹数据的贴合度；
当所述贴合度小于预设贴合度阈值时，确认所述轨迹数据的定位精度未达到预设精度；
当所述贴合度大于或等于预设贴合度阈值时，确认所述轨迹数据的定位精度已达到预设精度。
在一些实施例中，所述方法还包括：
在所述轨迹数据的定位精度未达到预设精度时，采集所述轨迹数据中不符合定位要求的包含若干个点的点集；
对所述点集中的若干个点进行补采，得到补采轨迹数据；
将所述补采轨迹数据更新到所述虚拟地图中。
在一些实施例中，所述方法还包括：
在所述轨迹数据的定位精度未达到预设精度时，在待显示区域确定所述AR内容的目标显示位置；
将所述AR内容由在当前显示位置调整到在所述目标显示位置进行显示。
在一些实施例中，采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据，包括：
根据所述移动设备的视觉惯性里程计采集的视觉惯性信息生成所述轨迹数据；
获取通过所述移动设备上的摄像装置拍摄所述真实环境所得到的图像数据；
将所述视觉惯性信息和所述图像数据进行合并处理得到数据体；
将所述数据体发送至所述云端服务器。
第二方面，本公开实施例还提供了一种AR视频数据的离线渲染装置，采用如下技术方案：
输入模块，被配置为采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据；
数据处理与存储模块，被配置为将所述轨迹数据同步到对应的虚拟地图中，并将所述轨迹数据保存到云端服务器；
数据呈现模块，被配置为将所述轨迹数据、所述图像数据、AR内容以及所述虚拟地图发送到3D渲染引擎中；
数据播放模块，被配置为将所述轨迹数据在所述3D渲染引擎的插件上进行顺序播放；
数据融合模块，被配置为将所述图像数据和所述AR内容进行渲染，并在所述3D渲染引擎上记录渲染过程。
在一些实施例中，所述装置还包括：
获取模块，被配置为获取所述图像数据的深度信息；
定位模块，被配置为根据所述深度信息对所述图像数据中目标对象所在区域进行云定位，输出定位结果；
记录模块，被配置为在所述3D渲染引擎上记录所述定位结果；
匹配模块，被配置为将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度。
第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：
所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的AR视频数据的离线渲染方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的AR视频数据的离线渲染方法。
本公开实施例提供的一种AR视频数据的离线渲染方法及装置，该离线渲染方法通过采集移动设备的轨迹数据和通过移动设备拍摄真实环境的图像数据；将轨迹数据同步到对应的虚拟地图中，并将轨迹数据保存到云端服务器；将轨迹数据、所述图像数据、AR内容以及虚拟地图发送到3D渲染引擎中；将轨迹数据在3D渲染引擎的插件上进行顺序播放；将图像数据和AR内容进行渲染，并在3D渲染引擎上记录渲染过程。本公开实施例能够将真实环境的图像数据和3D虚拟内容进行融合并在3D渲染引擎中记录融合过程，实现AR视频数据的离线渲染，比现场体验渲染具有更好的体验效果，并通过对真实环境和虚拟内容的贴合度计算，将不准确定位和定位错误问题可视化，降低了开发时间和开发成本以及提高了开发效率。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种AR视频数据的离线渲染方法的流程示意图；
图2为本公开实施例提供的AR视频数据的渲染示意图；
图3为本公开实施例提供的一种AR视频数据的离线渲染装置的结构示意图；
图4为本公开实施例提供的一种电子设备的原理框图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目各方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
如图1所示，本公开实施例提供了一种AR视频数据的离线渲染方法，包括：
S101、采集移动设备的轨迹数据和通过移动设备拍摄真实环境的图像数据。
可选地，通过例如手机等移动设备上的视觉惯性里程计来采集移动设备的VIO信息(即视觉惯性信息)；通过移动设备上设置的例如摄像头等拍摄装置来拍摄真实环境的图像数据。并将视觉惯性信息和图像数据合并后上传到云端服务器。
需要说明的是，用户可以根据实际需求设置移动设备和拍摄装置，本公开实施例对此不做限定。
S102、将轨迹数据同步到对应的虚拟地图中，并将轨迹数据保存到云端服务器。
可选地，将根据VIO信息形成的轨迹数据匹配到对应构建的虚拟地图中，并建立轨迹数据与虚拟地图的映射关系，以及将映射关系保存到云端服务器。
S103、将轨迹数据、图像数据、AR内容以及虚拟地图发送到3D渲染引擎中。
S104、将轨迹数据在3D渲染引擎的插件上进行顺序播放。
可选地，将轨迹数据在3D渲染引擎上开发的插件上按照轨迹数据记录的时间顺序进行播放。
S105、将图像数据和AR内容进行渲染，并在3D渲染引擎上记录渲染过程。
可选地，如图2所示，为本公开实施例提供的AR视频数据的渲染示意图，本公开实施例将图像数据和AR内容融合，在3D渲染引擎上记录渲染过程，实现对AR视频数据进行离线渲染，该离线渲染方式相比现场体验渲染，采用桌面级计算和渲染单元处理，获得质量更好的AR视频数据。
本公开实施例能够将真实环境的图像数据和3D虚拟内容进行融合并在3D渲染引擎中记录融合过程，实现AR视频数据的离线渲染，比现场体验渲染具有更好的体验效果，并通过对真实环境和虚拟内容的贴合度计算，将不准确定位和定位错误问题可视化，降低了开发时间和开发成本以及提高了开发效率。
在一些实施例中，该方法还包括：
获取图像数据的深度信息；
根据深度信息对图像数据中目标对象所在区域进行云定位，输出定位结果；
在3D渲染引擎上记录定位结果；
将定位结果与轨迹数据进行匹配，得到轨迹数据的定位精度。
可选地，通过判断云定位的定位结果和轨迹数据是否贴合，来判断在当前实际的AR体验过程中是否存在轨迹数据定位不准确或定位错误的问题，为后续解决定位不准确或定位错误做了铺垫。
在一些实施例中，将定位结果与轨迹数据进行匹配，得到轨迹数据的定位精度，包括：
获取定位结果与轨迹数据的贴合度；
当贴合度小于预设贴合度阈值时，确认轨迹数据的定位精度未达到预设精度；
当贴合度大于或等于预设贴合度阈值时，确认轨迹数据的定位精度已达到预设精度。
例如，贴合度阈值可以设置为90％，当贴合度大于或等于90％时，确认定位精度已达到预设精度；当贴合度小于90％时，确认定位精度未达到预设精度。需要说明的是，可以根据用户实际需求设置贴合度阈值，本公开实施例对此不做限定。
在一些实施例中，该方法还包括：
在轨迹数据的定位精度未达到预设精度时，采集轨迹数据中不符合定位要求的包含若干个点的点集；
对点集中的若干个点进行补采，得到补采轨迹数据；
将补采轨迹数据更新到虚拟地图中。
可选地，当轨迹数据中存在定位不正确的点、定位不准确的点、或者部分区域中无法定位的点，则判定这些点不符合定位要求。在轨迹数据的定位精度未达到预设精度的情况下，可以在构建的虚拟地图中对这些点所在的区域进行补采。
在一些实施例中，该方法还包括：
在轨迹数据的定位精度未达到预设精度时，在待显示区域确定AR内容的目标显示位置；
将AR内容由在当前显示位置调整到在目标显示位置进行显示。
可选地，例如可以通过对AR内容的摆放位置进行调整，可以避免在某些特殊场景进行AR体验，以避免特殊场景下的AR体验效果不好，例如：在落地镜前进行内容创作，由于视觉问题，识别到了镜面的场景，导致定位到了对面与预想效果不符。如果提前建议避免在玻璃前进行AR内容创作，可以节省开发时间提高开发效率。
在一些实施例中，采集移动设备的轨迹数据和通过移动设备拍摄真实环境的图像数据，包括：
根据移动设备的视觉惯性里程计采集的视觉惯性信息生成轨迹数据；
获取通过移动设备上的摄像装置拍摄真实环境所得到的图像数据；
将视觉惯性信息和图像数据进行合并处理得到数据体；
将数据体发送至云端服务器。
如图3所示，本公开实施例还提供了一种AR视频数据的离线渲染装置，包括：
输入模块31，被配置为采集移动设备的轨迹数据和通过移动设备拍摄真实环境的图像数据；
数据处理与存储模块32，被配置为将轨迹数据同步到对应的虚拟地图中，并将轨迹数据保存到云端服务器；
数据呈现模块33，被配置为将轨迹数据、图像数据、AR内容以及虚拟地图发送到3D渲染引擎中；
数据播放模块34，被配置为将轨迹数据在3D渲染引擎的插件上进行顺序播放；
数据融合模块35，被配置为将图像数据和AR内容进行融合，并在3D渲染引擎上记录融合过程。
在一些实施例中，该装置还包括：
获取模块，被配置为获取图像数据的深度信息；
定位模块，被配置为根据深度信息对图像数据中目标对象所在区域进行云定位，输出定位结果；
记录模块，被配置为在3D渲染引擎上记录定位结果；
匹配模块，被配置为将定位结果与轨迹数据进行匹配，得到轨迹数据的定位精度。
根据本公开实施例的电子设备包括存储器和处理器。该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令，使得该电子设备执行前述的本公开各实施例的AR视频数据的离线渲染方法全部或部分步骤。
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
如图4为本公开实施例提供的一种电子设备的结构示意图。其示出了适于用来实现本公开实施例中的电子设备的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常，以下装置可以连接至I/O接口：包括例如传感器或者视觉信息采集设备等的输入装置；包括例如显示屏等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备(比如边缘计算设备)进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的AR视频数据的离线渲染方法的全部或部分步骤。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例的AR视频数据的离线渲染方法的全部或部分步骤。
上述计算机可读存储介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种AR视频数据的离线渲染方法，其特征在于，包括：
采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据；
将所述轨迹数据同步到对应的虚拟地图中，并将所述轨迹数据保存到云端服务器；
将所述轨迹数据、所述图像数据、AR内容以及所述虚拟地图发送到3D渲染引擎中；
将所述轨迹数据在所述3D渲染引擎的插件上进行顺序播放；
将所述图像数据和所述AR内容进行渲染，并在所述3D渲染引擎上记录渲染过程。
2.根据权利要求1所述的AR视频数据的离线渲染方法，其特征在于，所述方法还包括：
获取所述图像数据的深度信息；
根据所述深度信息对所述图像数据中目标对象所在区域进行云定位，输出定位结果；
在所述3D渲染引擎上记录所述定位结果；
将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度。
3.根据权利要求1所述的AR视频数据的离线渲染方法，其特征在于，将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度，包括：
获取所述定位结果与所述轨迹数据的贴合度；
当所述贴合度小于预设贴合度阈值时，确认所述轨迹数据的定位精度未达到预设精度；
当所述贴合度大于或等于预设贴合度阈值时，确认所述轨迹数据的定位精度已达到预设精度。
4.根据权利要求3所述的AR视频数据的离线渲染方法，其特征在于，所述方法还包括：
在所述轨迹数据的定位精度未达到预设精度时，采集所述轨迹数据中不符合定位要求的包含若干个点的点集；
对所述点集中的若干个点进行补采，得到补采轨迹数据；
将所述补采轨迹数据更新到所述虚拟地图中。
5.根据权利要求3所述的AR视频数据的离线渲染方法，其特征在于，所述方法还包括：
在所述轨迹数据的定位精度未达到预设精度时，在待显示区域确定所述AR内容的目标显示位置；
将所述AR内容由在当前显示位置调整到在所述目标显示位置进行显示。
6.根据权利要求1所述的AR视频数据的离线渲染方法，其特征在于，采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据，包括：
根据所述移动设备的视觉惯性里程计采集的视觉惯性信息生成所述轨迹数据；
获取通过所述移动设备上的摄像装置拍摄所述真实环境所得到的图像数据；
将所述视觉惯性信息和所述图像数据进行合并处理得到数据体；
将所述数据体发送至所述云端服务器。
7.一种AR视频数据的离线渲染装置，其特征在于，包括：
输入模块，被配置为采集移动设备的轨迹数据和通过所述移动设备拍摄真实环境的图像数据；
数据处理与存储模块，被配置为将所述轨迹数据同步到对应的虚拟地图中，并将所述轨迹数据保存到云端服务器；
数据呈现模块，被配置为将所述轨迹数据、所述图像数据、AR内容以及所述虚拟地图发送到3D渲染引擎中；
数据播放模块，被配置为将所述轨迹数据在所述3D渲染引擎的插件上进行顺序播放；
数据融合模块，被配置为将所述图像数据和所述AR内容进行渲染，并在所述3D渲染引擎上记录渲染过程。
8.根据权利要求7所述的AR视频数据的离线渲染装置，其特征在于，所述装置还包括：
获取模块，被配置为获取所述图像数据的深度信息；
定位模块，被配置为根据所述深度信息对所述图像数据中目标对象所在区域进行云定位，输出定位结果；
记录模块，被配置为在所述3D渲染引擎上记录所述定位结果；
匹配模块，被配置为将所述定位结果与所述轨迹数据进行匹配，得到所述轨迹数据的定位精度。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一所述的AR视频数据的离线渲染方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1至6任一所述的AR视频数据的离线渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310014670.8A CN116156142A (zh) | 2023-01-05 | 2023-01-05 | Ar视频数据的离线渲染方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310014670.8A CN116156142A (zh) | 2023-01-05 | 2023-01-05 | Ar视频数据的离线渲染方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116156142A true CN116156142A (zh) | 2023-05-23 |
Family
ID=86361262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310014670.8A Pending CN116156142A (zh) | 2023-01-05 | 2023-01-05 | Ar视频数据的离线渲染方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116156142A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109085915A (zh) * | 2017-12-29 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种增强现实方法、系统、设备及移动终端 |
| US20190096081A1 (en) * | 2017-09-28 | 2019-03-28 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
| US20200309944A1 (en) * | 2018-04-26 | 2020-10-01 | SCRRD, Inc. | Augmented reality platform and method for use of same |
| CN115388902A (zh) * | 2022-10-28 | 2022-11-25 | 苏州工业园区测绘地理信息有限公司 | 室内定位方法和系统、ar室内定位导航方法和系统 |
-
2023
- 2023-01-05 CN CN202310014670.8A patent/CN116156142A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190096081A1 (en) * | 2017-09-28 | 2019-03-28 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
| CN109085915A (zh) * | 2017-12-29 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种增强现实方法、系统、设备及移动终端 |
| US20200309944A1 (en) * | 2018-04-26 | 2020-10-01 | SCRRD, Inc. | Augmented reality platform and method for use of same |
| CN115388902A (zh) * | 2022-10-28 | 2022-11-25 | 苏州工业园区测绘地理信息有限公司 | 室内定位方法和系统、ar室内定位导航方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101748593B1 (ko) | 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐 | |
| Saito et al. | Appearance-based virtual view generation of temporally-varying events from multi-camera images in the 3D room | |
| US6388666B1 (en) | System and method for generating stereoscopic image data | |
| TWI547901B (zh) | 模擬立體圖像顯示方法及顯示設備 | |
| CN104735435B (zh) | 影像处理方法及电子装置 | |
| JP7164045B2 (ja) | 骨格認識方法、骨格認識プログラムおよび骨格認識システム | |
| WO2011121117A1 (en) | Virtual camera system | |
| JP2008204458A (ja) | ２次元実写映像から３次元モデルを生成する方法及び装置 | |
| CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
| CN104104936A (zh) | 用于形成光场图像的设备和方法 | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| TWI536316B (zh) | 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法 | |
| US9076249B2 (en) | Hole filling method for multi-view disparity maps | |
| CN114821055A (zh) | 房屋模型的构建方法、装置、可读存储介质和电子设备 | |
| CN113034350B (zh) | 一种植被模型的处理方法和装置 | |
| CN114399610A (zh) | 基于引导先验的纹理映射系统和方法 | |
| Ponto et al. | Effective replays and summarization of virtual experiences | |
| CN113220123A (zh) | 一种音效控制的方法、装置、电子设备及存储介质 | |
| WO1997026758A1 (en) | Method and apparatus for insertion of virtual objects into a video sequence | |
| JP7013244B2 (ja) | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 | |
| CN116156142A (zh) | Ar视频数据的离线渲染方法及装置 | |
| CN101686407A (zh) | 一种采样点信息的获取方法和装置 | |
| CN103530869B (zh) | 用于匹配移动质量控制的系统和方法 | |
| CN108346183A (zh) | 一种用于ar基准定位的方法及系统 | |
| TW202312100A (zh) | 網格生成方法、電子設備及電腦可讀儲存介質 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |