CN117197385A - 三维模型的平面重建的测试方法、装置、电子设备及介质 - Google Patents
三维模型的平面重建的测试方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117197385A CN117197385A CN202210603579.5A CN202210603579A CN117197385A CN 117197385 A CN117197385 A CN 117197385A CN 202210603579 A CN202210603579 A CN 202210603579A CN 117197385 A CN117197385 A CN 117197385A
- Authority
- CN
- China
- Prior art keywords
- model
- dimensional
- planar
- test
- real scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 139
- 230000008569 process Effects 0.000 claims abstract description 75
- 230000003190 augmentative effect Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010998 test method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011990 functional testing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种三维模型的平面重建的测试方法、装置、电子设备及介质，包括：利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；测试视频数据中包括多帧测试图像；基于测试视频数据对现实场景进行三维模型的平面重建，得到现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；基于三维模型的平面重建过程的耗时信息、三维平面模型、以及现实场景对应的标准三维平面模型，确定测试结果。这样，根据测试结果，可以筛选出存在处理速率问题，或者建模精度问题的AR设备，进而可以针对上述问题对三维模型的平面重建的相关方法进一步的优化，从而提升AR设备的性能。
Description
技术领域
本公开涉及增强现实AR技术领域，具体而言，涉及一种三维模型的平面重建的测试方法、装置、电子设备及介质。
背景技术
增强现实(Augmented Reality，AR)是一种基于计算机实时计算和多传感器融合，将现实场景与虚拟对象结合起来的技术，该技术通过模拟人的视觉、听觉、嗅觉、触觉等感受进行模拟和再输出，并将虚拟信息叠加到现实场景上，并呈献给使用者真实的感官体验。
目前，针对AR技术中的实时三维模型的平面重建技术，通常是在大型的计算机设备中设计相关算法，得到软件程序，然后将软件程序部署到嵌入式设备中；但嵌入式设备的硬件资源有限，且不同嵌入式设备的配置各不相同；在讲软件程序部署到嵌入式设备中后，存在重建三维平面模型的尺度信息相对于现实场景的尺度信息误差较大的问题、以及在重建过程中由于耗时较长导致模型重建跟不上镜头场景刷新，而出现的滞后、卡顿问题。
发明内容
本公开实施例至少提供一种三维模型的平面重建的测试方法、装置、电子设备及介质。
第一方面，本公开实施例提供了一种三维模型的平面重建的测试方法，包括：
利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
这样，根据测试结果，可以筛选出存在处理速率问题，或者建模精度问题的AR设备，进而可以针对上述问题对三维模型的平面重建的相关方法进一步的优化，从而提升AR设备的性能。
一种可选的实施方式中，所述AR设备包括：惯性测量单元；
所述方法还包括：获取所述惯性测试单元记录的所述AR设备在获取所述测试视频数据时的惯性测量数据；
所述基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息，包括：
基于所述测试视频数据、以及所述惯性测量数据，对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
这样，基于测试视频数据、以及惯性测量数据，可以提升三维平面模型的鲁棒性。
一种可选的实施方式中，所述惯性测量单元的时钟与获取所述测试视频数据的摄像头的时钟之间的匹配误差小于或等于5毫秒；所述惯性测量数据的采样频率大于或等于200赫兹。
这样，能够尽量减小惯性测量数据和图像数据之间的时间误差，减少由于AR设备对平面三维重建过程的精度影响，从而能够得到每帧图像较为精确的惯性测量数据，提升三维模型的平面重建的精度。
一种可选的实施方式中，所述现实场景，包括：具有预设尺寸的测试房间；
所述测试房间设置有多个墙面以及待检测物品；
所述多个墙面中至少一个墙面上具有预设纹理；所述待检测物品有多种；多种待检测物品在所述测试房间内按照预设方式摆放；所述测试房间内布置至少1种颜色的，且照度可调范围在预设范围的光源。
这样，可以标准化测试场景，消除一些不可控因素对测试的影响，从而提高测试结果的准确性。
一种可选的实施方式中，所述利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据，包括：
控制所述AR设备在所述现实场景内移动，并在移动过程中获取所述测试视频数据；所述AR设备的移动路径构成闭合回路；
所述测试视频数据的帧率大于预设帧率。
这样，通过预设帧率控制采集测试视频数据的质量，从而减少不符合标准的测试视频数据，提升测试的准确性。
一种可选的实施方式中，所述基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息，包括：
按照预设的抽帧频率，从所述测试视频数据中抽取关键帧图像；所述关键帧图像的数量大于或等于预设数量；
基于所述关键帧图像，对所述现实场景进行三维模型的平面重建，得到所述三维平面模型；以及
确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
这样，通过抽取关键帧对现实场景进行三维模型的平面重建，确定关键帧图像进行三维模型的平面重建过程中的耗时信息。实现在满足测试标准的情况下，减少AR设备的计算资源，提升AR设备的处理效率。
一种可选的实施方式中，所述方法还包括：在基于所述关键帧图像，对所述现实场景进行三维模型的平面重建中，在三维模型的平面重建日志中记录每帧关键帧图像对应的单帧执行时间；
确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息，包括：
在三维模型的平面重建结束后，从所述三维模型的平面重建日志中读取执行所述三维模型的平面重建过程中，每帧关键帧图像对应的单帧执行时间；
基于多帧关键帧图像分别对应的单帧执行时间，确定每帧关键帧图像对应的平均执行时间；
将每帧关键帧图像对应的平均执行时间，确定为基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
一种可选的实施方式中，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果，包括：
将所述耗时信息和预设的耗时阈值进行比对，得到第一比对结果；以及
基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差；基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果；
基于第一比对结果和第二比对结果，确定所述测试结果。
一种可选的实施方式中，响应于所述第一比对结果为：所述耗时信息小于或者等于所述耗时阈值，且所述第二比对结果为：所述重建误差小于或等于所述误差阈值，则将所述测试结果确定为通过测试；
响应于所述第一比对结果为：所述耗时信息大于所述耗时阈值，或者所述第二比对结果为：重建误差大于所述误差阈值，则将所述测试结果确定为未通过测试。
一种可选的实施方式中，所述预设时长为：1秒；所述数量阈值为6；所述误差阈值为：2厘米/米。
一种可选的实施方式中，所述基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差，包括：
基于所述标准三维平面模型的顶点坐标，对所述三维平面模型的顶点坐标进行对齐处理，得到对齐处理后的三维平面模型；
确定所述对齐处理后的三维平面模型中各个顶点的顶点坐标、与所述标准三维平面模型表面的最近距离的平均值；
将该平均值确定为所述三维平面模型的重建误差。
这样，通过重建误差，可以确定三维平面模型的建模精度，进而可以根据建模精度确定AR设备中相关算法的准确性。
一种可选的实施方式中，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果之前，还包括：
基于所述现实场景中不同位置点之间的真实距离，对所述现实场景进行建模，得到所述标准三维平面模型。
第二方面，本公开实施例还提供一种三维模型的平面重建的测试装置，所述装置包括：
第一获取模块，用于利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
处理模块，用于基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
确定模块，用于基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
一种可选的实施方式中，所述AR设备包括：惯性测量单元；
所述第一获取模块还用于：获取所述惯性测试单元记录的所述AR设备在获取所述测试视频数据时的惯性测量数据；
所述处理模块用于：基于所述测试视频数据、以及所述惯性测量数据，对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
一种可选的实施方式中，所述处理模块还用于：
按照预设的抽帧频率，从所述测试视频数据中抽取关键帧图像；所述关键帧图像的数量大于或等于预设数量；
基于所述关键帧图像，对所述现实场景进行三维模型的平面重建，得到所述三维平面模型；以及
确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
一种可选的实施方式中，所述确定模块还用于：
将所述耗时信息和预设的耗时阈值进行比对，得到第一比对结果；以及
基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差；基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果；
基于第一比对结果和第二比对结果，确定所述测试结果。
一种可选的实施方式中，所述装置还包括判断模块，所述判断模块用于：
响应于所述第一比对结果为：所述耗时信息小于或者等于所述耗时阈值，且所述第二比对结果为：所述重建误差小于或等于所述误差阈值，则将所述测试结果确定为通过测试；
响应于所述第一比对结果为：所述耗时信息大于所述耗时阈值，或者所述第二比对结果为：重建误差大于所述误差阈值，则将所述测试结果确定为未通过测试。
一种可选的实施方式中，所述装置还包括对比模块，所述对比模块用于：
基于所述标准三维平面模型的顶点坐标，对所述三维平面模型的顶点坐标进行对齐处理，得到对齐处理后的三维平面模型；
确定所述对齐处理后的三维平面模型中各个顶点的顶点坐标、与所述标准三维平面模型表面的最近距离的平均值；
将该平均值确定为所述三维平面模型的重建误差。
一种可选的实施方式中，所述装置还包括第二获取模块，所述第二获取模块用于：
在基于所述三维平面模型、以及所述现实场景图像对应的标准三维平面模型，确定测试结果之前，基于所述现实场景中不同位置点之间的真实距离，对所述现实场景进行建模，得到所述标准三维平面模型。
第三方面，本公开可选实现方式还提供一种电子设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的一种三维模型的平面重建的测试方法、装置、电子设备及介质，首先，利用增强现实AR设备拍摄现实场景获取测试视频数据；然后，根据测试视频数据中的信息进行三维模型的平面重建，得到三维平面模型，以及确定三维模型的平面重建过程中的耗时信息；最后，根据耗时信息、三维平面模型以及标准三维平面模型，确定测试结果。这样，根据三维模型的平面重建过程中的耗时信息、以及平面三维模型与标准平面三维模型，可以判断AR设备在三维模型的平面重建过程中的测试结果，筛选出存在处理速率问题，或者建模精度问题的AR设备，进而可以针对上述问题对三维模型的平面重建的相关方法进一步的优化，从而提升AR设备的性能。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种三维模型的平面重建的测试方法的流程图；
图2示出了本公开实施例所提供的一种三维模型的平面重建的测试方法中，基于耗时信息、三维平面模型、以及标准三维平面模型确定测试结果的流程图；
图3示出了本公开实施例所提供的一种三维模型的平面重建的测试方法中，基于三维平面模型、和标准三维平面模型，确定所述三维平面模型的重建误差的流程图；
图4示出了本公开实施例所提供的一种三维模型的平面重建的测试装置的示意图；
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，增强现实(Augmented Reality，AR)技术是借助计算机图形技术和可视化技术生成虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到现实场景中，借助显示设备将虚拟对象与现实场景融为一体，并呈现给使用者真实的感观体验。
即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，在基于SLAM技术的AR技术方案中，AR设备基于获取的待重建的现实场景的相关视频数据对现实场景进行实时三维模型的平面重建，在重建过程中，若AR设备处理三维模型的平面重建的耗时较长，会导致模型重建跟不上镜头场景刷新，从而出现滞后、卡顿的问题，同时，若AR设备的重建精度较低，会导致三维平面模型的尺度信息与现实场景的尺度信息差异较大，从而出现重建精度不足后续无法使用的问题。
基于上述研究，本公开提供了一种三维模型的平面重建的测试方法，针对三维模型的平面重建过程中的耗时信息、以及平面三维模型与标准平面三维模型现实场景的尺度差异信息，确定AR设备在三维模型的平面重建过程中的测试结果，筛选出存在处理速率问题，或者建模精度问题的AR设备，进而可以针对上述问题对部署在AR设备中的三维模型的平面重建方法进一步的优化，从而提升AR设备的性能。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种三维模型的平面重建的测试方法进行详细介绍，本公开实施例所提供的三维模型的平面重建的测试方法的执行主体一般为具有一定计算能力的电子设备，该电子设备还应具有图像采集功能，例如包括：移动设备、蜂窝电话、手持设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该三维模型的平面重建的测试方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以本公开实施例提供的三维模型的平面重建的测试方法加以说明。
参见图1所示，为本公开实施例提供的三维模型的平面重建的测试方法的流程图，所述方法包括步骤S101～S103，其中：
S101：利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像。
S102：基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
S103：基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
本公开实施例提供的三维模型的平面重建的测试方法中，首先，利用增强现实AR设备拍摄现实场景获取测试视频数据；然后，根据测试视频数据中的信息进行三维模型的平面重建，得到三维平面模型，以及确定三维模型的平面重建过程中的耗时信息；最后，根据耗时信息、三维平面模型以及标准三维平面模型，确定测试结果。由于三维平面模型是根据测试视频数据生成的，所以与现实场景存在尺度差异，因而在测试过程中，针对三维平面模型的精度问题需要一个基于现实场景的真实尺度生成的标准三维平面模型，这样，在测试过程中，可以根据三维平面模型与显示测试场景对应的标准三维平面模型之间的尺度差异确定三维平面模型的建模精度；同时，由于AR设备的处理能力的不同，因此根据AR设备在三维模型的平面重建过程中的耗时信息，确定AR设备的处理速率。这样，根据三维模型的平面重建过程中的耗时信息、以及平面三维模型与标准平面三维模型，可以判断AR设备在三维模型的平面重建过程中的性能，筛选出存在处理速率问题，或者建模精度问题的AR设备，进而可以针对上述问题对AR设备进一步的优化，从而提升AR设备的性能。
针对上述S101，在利用AR设备对现实场景进行拍摄之前，可以根据测试方法，布置现实场景。
在本公开提供的一个实施例中，现实场景包括：具有预设尺寸的测试房间；所述测试房间设置有多个墙面以及待检测物品；所述多个墙面中至少一个墙面上具有预设纹理；所述待检测物品有多种；多种待检测物品在所述测试房间内按照预设方式摆放；所述测试房间内布置至少1种颜色的，且照度可调范围在预设范围的光源。
示例性的，现实场景可以是一个预设尺寸为5米×5米大小的测试房间，在测试房间的至少2面墙体和地面组成的墙角处放置一张方桌，墙体上设置有花纹壁纸，方桌上设置有花纹桌布，选择至少5种三维物品分别放置在地面或者方桌上，此外，测试房间中还布置有一种白色，且照度范围在20～200流明Lx之间可调节的光源，在测试过程中，可以将该光源的照度调节在100Lx。
布置好现实场景后，利用AR设备对现实场景进行拍摄。在利用AR设备对现实场景进行拍摄过程中，可以通过控制光源的照度，使得现实场景处于不同照度下，以在不同的光照条件下来进行测试过程。
AR设备中部署有用于进行三维模型的平面重建的相关应用程序；运行该应用程序，以实现对现实场景进行三维模型的平面重建过程。此处，应用程序可以根据实际的情况来进行确定，本公开实施例不做限定。
在本公开提供的一个实施例中，控制所述AR设备在所述现实场景内移动，并在移动过程中获取所述测试视频数据；所述AR设备的移动路径构成闭合回路；所述测试视频数据的帧率大于预设帧率。
示例性的，可以选择测试房间中的初始点位开始拍摄，在拍摄过程中AR设备的拍摄路线覆盖测试房间内的可行走区域，最后回到测试房间的初始点位结束拍摄，得到一组帧率大于预设帧率的视频数据。其中，该预设帧率例如包括：24帧/秒。
其中，拍摄过程可以由人工完成，也可以由机器人完成，以机器人完成为例，其拍摄过程例如可以描述为，将机器人投放到一个现实场景中，机器人首先要解决定位问题，然后一边对现实场景进行三维建模，一边确定机器人在所构建的三维平面中的位姿。也即，在AR设备的摄像头对现实场景进行拍摄的同时，还会采集机器人在拍摄过程中AR设备的惯性测量数据，所述惯性测量数据的采集由AR设备中的另一个组件，如惯性测量单元完成，或者由其他的设备，如部署现实场景中的全站仪完成。
在本公开提供的一个实施例中，在所述AR设备包括：惯性测量单元的情况下，还会获取所述惯性测试单元记录的所述AR设备在获取所述测试视频数据时的惯性测量数据；所述基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息，包括：基于所述测试视频数据、以及所述惯性测量数据，对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
其中，惯性测试单元(Inertial Measurement Unit，IMU)是一种通过传感器组合来测量和记录速度、方向、以及重力的电子设备，在本实施例中，可以利用IMU采集的惯性测量数据，确定AR设备的摄像机在采集测试视频数据时，在现实场景中的位姿信息，然后根据该位姿信息、以及图像数据，对现实场景进行三维模型的平面重建。
示例性的，在三维模型的平面重建过程中，根据测试视频数据、以及惯性测量数据，对现实场景进行三维模型的平面重建的过程例如可以是：针对测试视频数据中的多帧图像进行重建，由于测试视频数据是在AR设备移动过程中采集的，这样，可以利用运动重建(Structure From Motion，SFM)方法、或SLAM方法，根据相邻的连续多帧图像之间的位姿变化信息，进行三维模型的平面重建。
需要注意的是，由于惯性测试单元的时钟与摄像头的时钟之间存在误差，若误差较大会影响三维模型的平面重建的质量。因此，在本公开提供的一个实施例中，所述惯性测量单元的时钟与获取所述测试视频数据的摄像头的时钟之间的匹配误差小于或等于5毫秒；所述惯性测量数据的采样频率大于或等于200赫兹。这样，能够尽量减小惯性测量数据和图像数据之间的时间误差，减少由于AR设备对平面三维重建过程的精度影响，从而能够得到每帧图像较为精确的惯性测量数据，提升三维模型的平面重建的精度。
针对上述S102，在获取测试视频数据之后，需要从测试视频数据中的多帧测试图像中抽取一定数量的关键帧图像，用以进行三维模型的平面重建。
在本公开提供的一个实施例中，按照预设的抽帧频率，从所述测试视频数据中抽取关键帧图像；所述关键帧图像的数量大于或等于预设数量；基于所述关键帧图像，对所述现实场景进行三维模型的平面重建，得到所述三维平面模型；以及确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
示例性的，测试视频数据大于或等于24帧/秒，可以根据视频数据每秒的帧数进行抽取，使其关键帧图像大于或等于6帧/秒，该技术可以使用并行定位和建图(ParallelTracking And Mapping，PTAM)，使用PTAM技术可以将定位和建图两个方面的运算分开进行，定位可以是逐帧进行，也即，可以对测试视频数据中的所有测试图像进行逐帧定位，防止位置丢失，而建图可以不逐帧进行，也即，可以对测试视频数据中的多帧测试图像中抽取预设数量的测试图像，即可通过SFM技术进行三维模型的平面重建，可以预见的，当关键帧图像大于或等于6帧/秒时，不会影响三维模型的平面重建质量。
在本公开的一个实施例中，在基于所述关键帧图像，对所述现实场景进行三维模型的平面重建中，在三维模型的平面重建日志中记录每帧关键帧图像对应的单帧执行时间；确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息，包括：在三维模型的平面重建结束后，从所述三维模型的平面重建日志中读取执行所述三维模型的平面重建过程中，每帧关键帧图像对应的单帧执行时间；基于多帧关键帧图像分别对应的单帧执行时间，确定每帧关键帧图像对应的平均执行时间；将每帧关键帧图像对应的平均执行时间，确定为基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
示例性的，在三维模型的平面重建日志中读取每帧关键帧图像对应的单帧执行时间，根据测试视频数据中每秒抽取的关键帧图像数量和单帧关键帧的执行时间，可以得到每秒关键帧处理的总耗时，根据每秒关键帧处理的总耗时以及每秒的关键帧数量，确定每秒关键帧图像对应的平均执行时间。其中，每帧关键帧图像对应的单帧执行时间小于或等于166毫秒/关键帧。
针对上述S103，在本公开提供的实施例中，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
其中，参见图2所示的，基于耗时信息、三维平面模型、以及标准三维平面模型确定测试结果的流程图至少包括下述S201～S203三个步骤：
S201：将所述耗时信息和预设的耗时阈值进行比对，得到第一比对结果。
其中，所述预设时长为1秒，所述数量阈值为6。
示例性的，根据耗时信息，若AR设备在1秒内处理关键帧图像数量大于或等于6，则表示第一对比结果为通过；若AR设备在1秒内处理关键帧图像数量小于6，则表示第一对比结果为不通过。可以理解的是，在三维模型的平面重建过程中，AR设备每秒处理关键帧图像大于或等于6帧时，满足实时三维模型的平面重建的要求，不会出现卡顿，体验不佳的问题。
S202：基于所述三维平面模型、和现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差；基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果。
在本公开提供的一个实施例中，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果之前，基于所述现实场景中不同位置点之间的真实距离，对所述现实场景进行建模，得到所述标准三维平面模型。
根据测试视频数据构建的三维平面模型其结构与现实场景相同，但是没有尺度信息。因此，可以利用建模工具，例如Colmap、3DSMAX或Maya等建模工具，根据现实场景的真实尺度信息构建一个标准三维平面模型，再利用标准三维平面模型对三维平面模型进行校正，使其尺度信息接近于现实场景的尺度信息。
示例性的，标准三维平面模型包括多个特征点，首先，在标准三维平面模型中任选两个特征点之间的距离对应于现实场景中的真实距离，然后，找出三维平面模型中与标准三维平面模型对应的两个特征点进行测距，得到模型距离，最后，根据两个模型之间的尺度差异信息，对三维平面模型进行校正，得到接近于现实场景尺度信息的三维平面模型。
具体的，参见图3所示的，基于三维平面模型、和标准三维平面模型，确定所述三维平面模型的重建误差的流程图，包括下述S2021～S2022步骤：
S2021：基于所述标准三维平面模型的顶点坐标，对所述三维平面模型的顶点坐标进行对齐处理，得到对齐处理后的三维平面模型。
示例性的，三维平面模型和标准三维平面模型都具有多个顶点，每个顶点都对应有坐标信息，可以使用计算工具，例如Cloud Compare v2.12beta，来计算重建精度，计算过程例如可以包括：将三维平面模型的顶点坐标与标准三维平面模型的顶点坐标通过相似变换进行对齐，使得三维平面模型的顶点坐标到标准三维平面模型表面最近距离的平方和最小，即，求取相似变换矩阵S*，可以使用下述公式(1)获得：
其中，表示为获取/>中S的最小值，也即，得到三维平面模型的顶点坐标到标准三维平面模型表面最近距离，/>为三维平面模型的第i个顶点在模型中的坐标的齐次形式/>为顶点/>在真值模型表面最近距离的顶点坐标为顶点/>的法线方向。可以理解的是，通过上述方法可以使三位平面模型的尺度信息最接近于标准三维平面模型的尺度信息。
S2022：确定所述对齐处理后的三维平面模型中各个顶点的顶点坐标、与所述标准三维平面模型表面的最近距离的平均值；将该平均值确定为所述三维平面模型的重建误差。
示例性的，将所有三维平面模型的顶点的坐标通过S*进行变换，变换后的坐标到真值模型表面最近距离的平均值，即为三维平面模型的重建误差。即，求取误差计算公式可以使用下述公式(2)获得：
其中，N表示为该三维平面的顶点数量，S为三维平面模型顶点和标准三维平面模型顶点之间存在的变换矩阵，包含平移和旋转两个部分的信息。与上述公式(1)含义相同。可以理解的是，通过上述公式(2)可以得到变换后的三维平面模型的顶点到标准三维平面模型表面最近距离的平均值。
基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果，其中，预设的误差阈值为2厘米/米。
示例性的，若重建误差小于或等于预设的误差阈值，则表示第二比对结果为通过；若重建误差大于预设的误差阈值，则表示第二比对结果为不通过。可以理解的是，在三维平面模型中，若三维平面模型的尺度信息与现实场景对应的标准三维平面模型的尺度信息之间的误差小于或等于2厘米/米时，表示AR设备的三维平面模型重建精度满足要求。
承接上述S202，本公开实施例中基于耗时信息、三维平面模型、以及标准三维平面模型确定测试结果的具体方法还包括：
S203：基于第一比对结果和第二比对结果，确定所述测试结果。
根据第一对比结果和第二对比结果的不同，确定测试结果至少包括下述m1～m2两种情况：
m1：在本公开的一个实施例中，响应于所述第一比对结果为：所述耗时信息小于或者等于所述耗时阈值，且所述第二比对结果为：所述重建误差小于或等于所述误差阈值，则将所述测试结果确定为通过测试。
m2：响应于所述第一比对结果为：所述耗时信息大于所述耗时阈值，或者所述第二比对结果为：重建误差大于所述误差阈值，则将所述测试结果确定为未通过测试。
可以理解的是，第一对比结果和第二对比结果中若出现任意一个对比结果为不通过，或者两个对比结果均不通过的情况，则测试结果为不通过，若两个对比结果均为通过，则测试结果为通过。
在本公开提供的一个AR设备平面检测的功能测试方法具体示例中，测试环境在一个5米×5米的测试房间中，在测试房间中按照下述a1～a5要求布置标准测试场景：
a1：在房间的天花板上布置红绿蓝白四种光源模式，每种光源均为漫射光，保证场景中的光线均匀照射；红光波长为700nm，绿光波长为550nm，蓝光波长为460nm。白光为红绿蓝三种波长光的同比例混合；允许每种光源的照度在20lx至200lx的范围内调节。
a2：场景中包含三面墙体和一张方桌，墙体表面贴上带图案的墙纸，方桌上铺上带花纹的桌布。
a3：三面墙角上和桌面上均摆设杂物。
a4：在场景中布置5个二维物品和5个三维物品。
a5：基准数据集参照ZJU–Sense Time VISLAM Benchmark，NEAR-VI-Dataset等公开数据集。
测试人员手持AR设备在测试房间的初始采集点开始采集数据，可以顺时针或逆时针覆盖测试房间内的可行走区域，最终回到初始采集点，使采集数据的移动路径构成闭合回路。
采集数据可以包括：视频数据、以及惯性测量数据；其中视频数据大于或等于24帧/秒，惯性测量数据大于或等于200赫兹，拍摄视频数据的摄像头时钟与采集位置数据的IMU时钟之间的匹配误差小于或等于5毫秒。
根据该采集数据进行AR设备平面检测的功能测试方法的示例包括下述A～B两个步骤：
A：将布置的测试环境光照颜色调节成白光，照度调节为100lx。
B：对现实场景进行移动平台上的平面检测，测试AR设备是否具备平面检测功能，平面检测是否具有渐增式的实时拓展性，以及是否可以检测出多个平面。
在本公开提供的一个AR设备平面检测的性能测试方法具体示例中，测试环境与上述平面检测的功能性能测试方法提供的测试环境在方法上一致。
根据该采集数据进行平面检测的示例包括下述C～E三个步骤：
C：根据现实场景的实际测量尺度，利用建模软件工具创建出测试多个三维平面模型作为标准三维平面模型。
D：评估检测的每个三维平面模型与标准三维平面模型之间的重建误差。
其中，三维平面模型是利用AR设备对测试房间进行测试得到的三维平面模型，重建误差可以根据上述S2021～S2022步骤得到，在此不做赘述。重建误差在2厘米/米符合测试标准。
E：在日志中记录平面检测算法的单帧执行时间，通过不少于5分钟的执行时间统计出平面检测的每帧平均检测时间，包括单个平面检测和5个平面检测。
其中，搭载平面检测算法的AR设备针对关键帧图像的平面延伸的单帧执行时间小于或等于166毫秒/关键帧符合测试标准。
在本公开的一个增强现实系统的平面检测的功能测试方法具体示例中，增强现实系统在移动设备上的平面检测应满足以下要求：
a)平面延伸的单帧执行时间不大于166毫秒/关键帧。
b)平面位置误差不超过2厘米/米。
平面检测性能的测试方法如下：
a)根据场景的测量尺寸，使用建模软件(如3DSmax或Maya)构建多个平面模型作为地面真值。
b)评估各平面模型与地面真值之间的位置误差。
c)在日志中记录平面检测算法的单帧执行时间，计算每帧的平均检测时间，总执行时间不小于5分钟，包括单平面检测和5平面检测。
平面检测功能的测试方法如下：
a)调整测试环境的照度颜色为白色，设置照度为100流明。
b)在移动设备的测试环境中进行平面检测，确定该功能是否可用，并检查增强现实系统是否可以检测到多个平面，这些平面是否实时增量扩展。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与三维模型的平面重建的测试方法对应的三维平面的测试装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述三维平面的测试方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种三维模型的平面重建的测试装置的示意图，所述装置包括：第一获取模块41、处理模块42、确定模块43；其中，
第一获取模块41，用于利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
处理模块42，用于基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
确定模块43，用于基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
一种可选的实施方式中，所述AR设备包括：惯性测量单元；
所述第一获取模块41还用于：获取所述惯性测试单元记录的所述AR设备在获取所述测试视频数据时的惯性测量数据；
所述处理模块42用于：基于所述测试视频数据、以及所述惯性测量数据，对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
一种可选的实施方式中，所述处理模块42还用于：
按照预设的抽帧频率，从所述测试视频数据中抽取关键帧图像；所述关键帧图像的数量大于或等于预设数量；
基于所述关键帧图像，对所述现实场景进行三维模型的平面重建，得到所述三维平面模型；以及
确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
一种可选的实施方式中，所述确定模块43还用于：
将所述耗时信息和预设的耗时阈值进行比对，得到第一比对结果；以及
基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差；基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果；
基于第一比对结果和第二比对结果，确定所述测试结果。
一种可选的实施方式中，所述装置还包括判断模块45，所述判断模块45用于：
响应于所述第一比对结果为：所述耗时信息小于或者等于所述耗时阈值，且所述第二比对结果为：所述重建误差小于或等于所述误差阈值，则将所述测试结果确定为通过测试；
响应于所述第一比对结果为：所述耗时信息大于所述耗时阈值，或者所述第二比对结果为：重建误差大于所述误差阈值，则将所述测试结果确定为未通过测试。
一种可选的实施方式中，所述装置还包括对比模块46，所述对比模块46用于：
基于所述标准三维平面模型的顶点坐标，对所述三维平面模型的顶点坐标进行对齐处理，得到对齐处理后的三维平面模型；
确定所述对齐处理后的三维平面模型中各个顶点的顶点坐标、与所述标准三维平面模型表面的最近距离的平均值；
将该平均值确定为所述三维平面模型的重建误差。
一种可选的实施方式中，所述装置还包括第二获取模块44，所述第二获取模块44用于：
在基于所述三维平面模型、以及所述现实场景图像对应的标准三维平面模型，确定测试结果之前，基于所述现实场景中不同位置点之间的真实距离，对所述现实场景进行建模，得到所述标准三维平面模型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，包括：
处理器51和存储器52；所述存储器52存储有处理器51可执行的机器可读指令，处理器51用于执行存储器52中存储的机器可读指令，所述机器可读指令被处理器51执行时，处理器51执行下述步骤：
利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
上述存储器52包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的三维模型的平面重建的测试方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的三维模型的平面重建的测试方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的三维模型的平面重建的测试方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种三维模型的平面重建的测试方法，其特征在于，包括：
利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
2.根据权利要求1所述的方法，其特征在于，所述AR设备包括：惯性测量单元；
所述方法还包括：获取所述惯性测试单元记录的所述AR设备在获取所述测试视频数据时的惯性测量数据；
所述基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息，包括：
基于所述测试视频数据、以及所述惯性测量数据，对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息。
3.根据权利要求2所述的方法，其特征在于，所述惯性测量单元的时钟与获取所述测试视频数据的摄像头的时钟之间的匹配误差小于或等于5毫秒；所述惯性测量数据的采样频率大于或等于200赫兹。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述现实场景，包括：具有预设尺寸的测试房间；
所述测试房间设置有多个墙面以及待检测物品；
所述多个墙面中至少一个墙面上具有预设纹理；所述待检测物品有多种；多种待检测物品在所述测试房间内按照预设方式摆放；所述测试房间内布置至少1种颜色的，且照度可调范围在预设范围的光源。
5.根据权利要求1-4所述的方法，其特征在于，所述利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据，包括：
控制所述AR设备在所述现实场景内移动，并在移动过程中获取所述测试视频数据；所述AR设备的移动路径构成闭合回路；
所述测试视频数据的帧率大于预设帧率。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息，包括：
按照预设的抽帧频率，从所述测试视频数据中抽取关键帧图像；所述关键帧图像的数量大于或等于预设数量；
基于所述关键帧图像，对所述现实场景进行三维模型的平面重建，得到所述三维平面模型；以及
确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：所述基于所述关键帧图像，对所述现实场景进行三维模型的平面重建包括：在三维模型的平面重建日志中记录每帧所述关键帧图像对应的单帧执行时间；
所述确定基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息，包括：
从所述三维模型的平面重建日志中读取每帧所述关键帧图像对应的单帧执行时间；
基于多帧关键帧图像分别对应的单帧执行时间，确定每帧关键帧图像对应的平均执行时间；
将每帧关键帧图像对应的平均执行时间，确定为基于每帧关键帧图像进行三维模型的平面重建过程中的耗时信息。
8.根据权利要求1-7任一所述的方法，其特征在于，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果，包括：
将所述耗时信息和预设的耗时阈值进行比对，得到第一比对结果；以及
基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差；基于所述重建误差和预设的误差阈值进行比对，得到第二比对结果；
基于第一比对结果和第二比对结果，确定所述测试结果。
9.根据权利要求8所述的方法，其特征在于，响应于所述第一比对结果为：所述耗时信息小于或者等于所述耗时阈值，且所述第二比对结果为：所述重建误差小于或等于所述误差阈值，则将所述测试结果确定为通过测试；
响应于所述第一比对结果为：所述耗时信息大于所述耗时阈值，或者所述第二比对结果为：重建误差大于所述误差阈值，则将所述测试结果确定为未通过测试。
10.根据权利要求8或9所述的方法，其特征在于，所述预设时长为：1秒；所述数量阈值为6；所述误差阈值为：2厘米/米。
11.根据权利要求8-10任一项所述的方法，其特征在于，所述基于所述三维平面模型、和所述现实场景对应的标准三维平面模型，确定所述三维平面模型的重建误差，包括：
基于所述标准三维平面模型的顶点坐标，对所述三维平面模型的顶点坐标进行对齐处理，得到对齐处理后的三维平面模型；
确定所述对齐处理后的三维平面模型中各个顶点的顶点坐标、与所述标准三维平面模型表面的最近距离的平均值；
将该平均值确定为所述三维平面模型的重建误差。
12.根据权利要求1-11任一所述的方法，其特征在于，所述基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果之前，还包括：
基于所述现实场景中不同位置点之间的真实距离，对所述现实场景进行建模，得到所述标准三维平面模型。
13.一种三维模型的平面重建的测试装置，其特征在于，所述测试装置包括：
第一获取模块，用于利用增强现实AR设备获取对现实场景进行拍摄得到的测试视频数据；所述测试视频数据中包括多帧测试图像；
处理模块，用于基于所述测试视频数据对所述现实场景进行三维模型的平面重建，得到所述现实场景的三维平面模型，并确定三维模型的平面重建过程中的耗时信息；
确定模块，用于基于三维模型的平面重建过程的所述耗时信息、所述三维平面模型、以及所述现实场景对应的标准三维平面模型，确定测试结果。
14.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至12任一项所述的三维模型的平面重建的测试方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至12任意一项所述的三维模型的平面重建的测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603579.5A CN117197385A (zh) | 2022-05-30 | 2022-05-30 | 三维模型的平面重建的测试方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603579.5A CN117197385A (zh) | 2022-05-30 | 2022-05-30 | 三维模型的平面重建的测试方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197385A true CN117197385A (zh) | 2023-12-08 |
Family
ID=88989263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210603579.5A Pending CN117197385A (zh) | 2022-05-30 | 2022-05-30 | 三维模型的平面重建的测试方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197385A (zh) |
-
2022
- 2022-05-30 CN CN202210603579.5A patent/CN117197385A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
| CN112150575B (zh) | 场景数据获取方法及模型训练方法、装置及计算机设备 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| EP3251090B1 (en) | Occlusion handling for computer vision | |
| Carozza et al. | Markerless vision‐based augmented reality for urban planning | |
| KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
| US20180012411A1 (en) | Augmented Reality Methods and Devices | |
| US9888235B2 (en) | Image processing method, particularly used in a vision-based localization of a device | |
| CN111126304A (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
| AU2018292610A1 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| US20110216090A1 (en) | Real-time interactive augmented reality system and method and recording medium storing program for implementing the method | |
| CN105023010A (zh) | 一种人脸活体检测方法及系统 | |
| JP2008537190A (ja) | 赤外線パターンを照射することによる対象物の三次元像の生成 | |
| CN107657644B (zh) | 一种移动环境下稀疏场景流检测方法和装置 | |
| Kurillo et al. | Wide-area external multi-camera calibration using vision graphs and virtual calibration object | |
| CN103839277A (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| JP6409433B2 (ja) | 画像生成装置、画像検出システム及び画像生成方法 | |
| KR20180039013A (ko) | 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리 | |
| Boom et al. | Interactive light source position estimation for augmented reality with an RGB‐D camera | |
| Radanovic et al. | Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration | |
| Ward et al. | A model-based approach to recovering the structure of a plant from images | |
| CN117197385A (zh) | 三维模型的平面重建的测试方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |