CN114442808A - 一种位姿跟踪模块的测试方法、装置、设备、系统和介质 - Google Patents
一种位姿跟踪模块的测试方法、装置、设备、系统和介质 Download PDFInfo
- Publication number
- CN114442808A CN114442808A CN202210095893.7A CN202210095893A CN114442808A CN 114442808 A CN114442808 A CN 114442808A CN 202210095893 A CN202210095893 A CN 202210095893A CN 114442808 A CN114442808 A CN 114442808A
- Authority
- CN
- China
- Prior art keywords
- pose
- test
- tracking module
- data
- pose tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 424
- 238000000034 method Methods 0.000 claims abstract description 147
- 230000008569 process Effects 0.000 claims abstract description 90
- 238000012512 characterization method Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 56
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本申请公开了一种位姿跟踪模块的测试方法、装置、设备、系统和介质,该方法包括:获取位姿跟踪模块的测试结果,其中,测试结果包括位姿跟踪对待定位对象进行位姿跟踪得到的测试位姿和/或位姿跟踪过程的性能损耗数据;利用测试结果确定位姿跟踪模块的性能表征参数。通过上述方式,基于位姿跟踪模块的测试结果能够确定用于表征位姿跟踪模块性能的性能表征参数,从而确定位姿跟踪模块的性能,实现对位姿跟踪模块进行性能评估。
Description
技术领域
本申请涉及定位技术领域,特别是涉及一种位姿跟踪模块的测试方法、装置、设备和介质。
背景技术
目前,位姿估计的方法被提出并且广泛应用于机器人抓取、虚拟现实/增强现实和人机交互等领域。在对终端进行持续性位姿估计时,往往需要跟踪终端的位姿,因此,常需要使用位姿跟踪模块例如SLAM算法(Simultaneous Localization and Mapping,同步定位与建图)等,实现对终端位姿的跟踪。通常,该位姿跟踪模块作为底层算法,用户是无感知的。
本申请的申请人在长期的研发过程中,发现目前还没有针对位姿跟踪模块本身的跟踪效果以及精度等进行测试和评估的方式,难以确定位姿跟踪模块的跟踪效果以及精度是否符合使用要求。
发明内容
本申请至少提供一种位姿跟踪模块的测试方法、装置、设备、系统和介质。
本申请提供了一种位姿跟踪模块的测试方法,该方法包括:获取位姿跟踪模块的测试结果,其中,测试结果包括位姿跟踪模块对待定位对象进行位姿跟踪得到的测试位姿和/或位姿跟踪过程的性能损耗数据;利用测试结果确定位姿跟踪模块的性能表征参数。
因此,基于位姿跟踪模块的测试结果能够确定用于表征位姿跟踪模块性能的性能表征参数,从而确定位姿跟踪模块的性能,实现对位姿跟踪模块进行性能评估。
其中,利用测试结果确定位姿跟踪模块的性能表征参数,包括:将测试位姿和真值位姿进行比较,得到位姿跟踪模块的位姿精度参数。
因此,通过将比较测试位姿和对应的真值位姿,得到位姿精度参数,反映了测试位姿与真值位姿之间的偏差,从而能够用于确定位姿跟踪模块进行位姿跟踪的精度,反映该模块的性能。
其中,利用测试结果确定位姿跟踪模块的性能表征参数,还包括:基于性能损耗数据,得到位姿跟踪模块的性能损耗参数。
因此,性能损耗参数能够反映位姿跟踪模块的性能消耗,客观地反映位姿跟踪模块的性能。
其中,位姿精度参数包括误差均方根参数、绝对位姿误差参数、相对位姿误差参数、绝对轨迹误差参数和相对轨迹误差参数中的至少一个精度指标参数。
因此,通过能够反映测试位姿与真值位姿差异的精度指标参数作为位姿精度参数,能够客观准确地反映测试位姿与真值位姿之间的偏差。
其中,该方法还包括以下任意一个或多个步骤:显示位姿精度参数;依据跟踪过程中若干定位时刻的测试位姿得到测试空间轨迹点,依据若干定位时刻的真值位姿得到真实空间轨迹点;将测试空间轨迹点和真实空间轨迹点一并显示于同一坐标系中。
因此,通过对测试位姿和真实位姿的进一步处理,能够从至少一个角度直观地展现位姿跟踪模块的性能。
其中,显示位姿精度参数,包括:采用图表方式显示若干待显示位姿精度参数,每个待显示位姿精度参数是基于跟踪过程的一段时间内的测试位姿和真值位姿确定的位姿精度参数、或者基于跟踪过程的一个时刻的测试位姿和真值位姿确定的位姿精度参数。
因此,通过图表能够直观地表现位姿跟踪模块的位姿精度参数。
其中,显示性能表征参数,还包括:显示多个版本的位姿跟踪模块的位姿精度参数。
因此,通过多个版本之间的位姿精度参数的显示,能够比较多个版本的位姿跟踪模块的性能差异。
其中,在将测试位姿和真值位姿进行比较,得到位姿跟踪模块的位姿精度参数之前,该方法还包括:获取真值数据,真值数据表示跟踪过程的采集数据,且比测试数据的精度高;利用真值数据得到真值位姿。
因此,通过位姿跟踪模块对真值数据进行位姿跟踪,能够得到真值位姿,以用于与测试位姿进行比较,确定位姿跟踪模块的性能。
其中,获取真值数据,包括:利用运动捕捉系统采集得到的真值数据,或者从真值数据集中获取真值数据。
因此,可以通过多种方式获取真值数据,以得到真值位姿。
其中,利用真值数据得到真值位姿,包括:通过位姿跟踪模块对真值数据进行位姿跟踪,得到真值位姿。
因此,可以利用位姿跟踪模块对真值数据进行处理得到真值位姿,用于与测试位姿进行比较。
其中,测试数据包括跟踪过程中多个第一采集时刻采集的图像帧,以若干第一采集时刻作为若干定位时刻,测试结果包括各定位时刻的测试位姿;在获取位姿跟踪模块的测试结果之后,该方法还包括:在各定位时刻对应的图像帧上,分别标记对应的定位时刻的测试信息,其中,定位时刻的测试信息包括定位时刻的测试位姿、定位时刻的真值位姿、定位时刻的测试位姿与真值位姿之间的相对位姿、定位时刻对应的性能表征参数、定位时刻的测试位姿的处理时间中至少一者,图像帧上标记的测试信息用于跟随图像帧一并显示。
因此,通过将测试信息标记于图像帧中一并显示,能够直观地展示位姿跟踪模块的性能。
其中,获取位姿跟踪模块的测试结果,包括:获取测试数据,其中测试数据表示待定位对象在跟踪过程采集的数据,通过位姿跟踪模块对测试数据进行位姿跟踪得到测试结果,其中,测试结果包括待定位对象的测试位姿。
因此,可以通过位姿跟踪模块对测试数据进行位姿跟踪的方式的得到测试结果,以用于评估位姿跟踪模块的性能。
其中,测试数据的数量为多组,不同组测试数据表示跟踪过程的发生场景和待定位对象的运动类型中的至少一者不同;该方法还包括:基于每组测试数据对应的性能表征参数,得到位姿跟踪模块的新的性能表征参数,其中,每组测试数据对应的性能表征参数是利用对应组测试数据对位姿跟踪模块进行测试得到的。
因此,分别对每组性能表征参数进行处理得到新的性能表征参数,能够从分组维度确定位姿跟踪模块的性能。
其中,获取位姿跟踪模块的测试结果,包括:获取多个终端设备对应的测试结果,每个终端对应的测试结果是终端设备通过位姿跟踪模块进行位姿跟踪得到的;利用测试结果确定位姿跟踪模块的性能表征参数,包括:利用各终端设备测试结果确定各终端设备关于位姿跟踪模块的性能表征参数,该方法还包括:对于每个终端设备,建立并保存终端设备对应的性能表征参数与终端设备的终端信息之间的关联关系。
因此,由多个终端分别执行测试方法,对每个终端对应的测试结果进行汇总和处理,可以得到位姿跟踪模块在不同终端上的性能表征参数,用于确定位姿跟踪模块的性能。
其中,位姿跟踪模块的测试方法是在位姿跟踪模块集成在应用程序之前执行的。
因此,能够将位姿跟踪模块与应用程序的其他模块进行解耦,相比于利用集成后的应用程序测试应用程序中的位姿跟踪模块的性能来说,仅对位姿跟踪模块进行测试,能够减少应用程序的其他模块对位姿跟踪的影响,进而能够准确地确定位姿跟踪模块自身的性能,而且降低对测试得到的问题的定位分析;另外,通过在集成之前执行位姿跟踪模块的测试方法,能够减少将性能低的位姿跟踪模块集成到应用程序中的概率,进而避免位姿跟踪模块性能差对应用程序的影响。
其中,位姿跟踪模块为SLAM算法。
因此,能够在位姿跟踪模块集成之前对于SLAM算法模块的性能进行准确地评估。
其中,位姿跟踪模块用于集成在增强现实的应用程序中。
因此,通过将位姿跟踪模块集成在增强现实的应用程序中,实现对用于增强现实应用程序的位姿跟踪模块的性能的准确评估,进而后续基于该性能对位姿跟踪模块进行准确改善,后续可提高增强现实应用程序的位姿跟踪性能。
本申请提供了一种位姿跟踪模块的测试方法,该方法包括:获取测试数据,测试数据表示待定位对象在跟踪过程采集的数据;通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果,其中,测试结果包括位姿跟踪得到的待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,测试结果用于反映位姿跟踪模块的性能。
本申请提供了一种位姿跟踪模块的测试装置,该装置包括:第一获取模块,取位姿跟踪模块的测试结果,其中,测试结果是位姿跟踪模块对待定位对象进行位姿跟踪得到的,测试结果包括位姿跟踪得到的待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据;表征模块,利用测试结果确定位姿跟踪模块的性能表征参数。
本申请提供了一种位姿跟踪模块的测试装置,该装置包括:第二获取模块,获取测试数据,测试数据表示待定位对象在跟踪过程采集的数据;跟踪模块,通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果,其中,测试结果包括位姿跟踪得到的待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,测试结果用于反映位姿跟踪模块的性能。
本申请提供了一种电子设备,该电子设备包括处理器和存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现上述任一项方法。
本申请提供了一种位姿跟踪模块的测试系统,该系统包括处理设备和测试设备,其中处理设备用于执行上述执行主体为处理设备的方法,测试设备用于上述执行主体为测试设备的方法。
本申请提供了一种计算机可读存储介质,该计算机可读存储介质用于存储程序数据,程序数据能够被执行用于实现上述任一方法。
在上述方案中,基于位姿跟踪模块的测试结果能够确定用于表征位姿跟踪模块性能的性能表征参数,从而确定位姿跟踪模块的性能,实现对位姿跟踪模块进行性能评估。
附图说明
图1是本申请位姿跟踪模块的测试方法一实施例的流程示意图;
图2是本申请位姿跟踪模块的测试方法另一实施例的流程示意图;
图3是本申请步骤S220另一实施例的流程示意图;
图4是本申请一实施例中位姿精度参数图表的示意图;
图5是本申请位姿跟踪模块的测试方法再一实施例的流程示意图;
图6是本申请位姿跟踪模块的测试方法又一实施例的流程示意图;
图7是本申请位姿跟踪模块的测试装置一实施例的框架示意图;
图8是本申请位姿跟踪模块的测试装置另一实施例的框架示意图;
图9是本申请电子设备一实施例的框架示意图;
图10是本申请位姿跟踪模块的测试系统一实施例的框架示意图;
图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
可以理解的是,本申请方法可以包含任一个下述方法实施例以及任意不冲突的下述方法实施例的组合所提供的方法。
可以理解的是,本申请中的位姿跟踪模块的测试方法可以由一处理设备执行,该处理设备可以为任意具有处理能力的设备,例如,平板电脑、手机、计算机等,该处理设备也可以简称为设备。
需要说明的是,在对位姿跟踪模块进行测试的过程中,可以由测试设备通过位姿跟踪模块对待定位对象进行位姿跟踪。待定位对象为测试数据的采集设备,跟踪得到的位姿为该采集设备在进行该测试数据采集时的位姿。测试设备可以为任意能够通过位姿跟踪模块进行位姿跟踪的设备,而后由处理设备执行本申请位姿跟踪模块的测试方法的相关步骤。测试设备可以与处理设备为同一设备,也可以不同。本申请中进行测试的位姿跟踪模块可以集成在应用程序中进行应用,测试设备中并非通过集成有位姿跟踪模块的应用程序从而获取测试结果,而是单独通过位姿跟踪模块,从而实现单独将位姿跟踪模块与应用程序中的其他模块解耦,单独对位姿跟踪模块进行测试。本申请中的位姿跟踪模块的测试方法是在其集成在应用程序之前执行的,在完成测试之后可以将位姿跟踪模块集成到应用程序中。
请参阅图1,图1是本申请位姿跟踪模块的测试方法一实施例的流程示意图。本实施例中,执行主体为处理设备,该方法包括:
步骤S110:获取位姿跟踪模块的测试结果。
其中,测试结果包括位姿跟踪模块对待定位对象进行位姿跟踪得到的得到的待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,其中,测试位姿也就是待定位对象在跟踪过程中的位姿,该位姿跟踪可以为六自由度(6Degree of Freedom,6DoF)的位姿跟踪。处理设备可以获取测试结果,以用于对位姿跟踪模块的性能进行评估。
可以理解的是,位姿跟踪模块可以用于对某个对象在一段过程中进行位姿跟踪,任意能够利用位姿跟踪模块的设备均可以通过位姿跟踪模块进行位姿跟踪,得到跟踪结果,跟踪结果包括该对象在上述过程中的位姿。该位姿跟踪模块可以但不限为SLAM算法。在测试过程中,该对象也就是待定位对象,该过程为跟踪过程。上述能够通过位姿跟踪模块进行位姿跟踪的设备也就可以作为测试设备,对待定位对象进行位姿跟踪,得到测试结果。
若测试设备与处理设备不相同,处理设备与测试设备之间可以进行通信,处理设备可以从测试设备处获取得到测试结果。若处理设备与测试设备为同一设备,那么通过位姿跟踪模块进行位姿跟踪得到测试结果之后,就可以认为处理设备已经获取到测试结果。
步骤S120:利用测试结果确定位姿跟踪模块的性能表征参数。
测试结果为位姿跟踪模块对待定位对象的跟踪过程进行位姿跟踪得到的,可以用于评估位姿跟踪模块在跟踪过程中的位姿跟踪效果等相关性能。具体地,测试结果中可以包括测试位姿和/或性能损耗数据,测试位姿可以用于确定位姿精度参数,性能损耗数据可以用于确定性能损耗参数,位姿精度参数和性能损耗参数均可以作为性能表征参数,用于表征位姿跟踪模块的性能。对于测试位姿来说,其对应的性能表征参数可以是位姿精度参数,可以由测试位姿和真值位姿比较得来;对于性能损耗数据来说,其可以直接作为性能损耗参数,或者与用户确定的期望值比较,得到性能损耗参数。
在上述方案中,基于位姿跟踪模块的测试结果能够确定用于表征位姿跟踪模块性能的性能表征参数,从而确定位姿跟踪模块的性能,实现对位姿跟踪模块进行性能评估。
请结合参阅图2,图2是本申请位姿跟踪模块的测试方法另一实施例的流程示意图。
需要说明的是,在正常应用的过程中,通过该位姿跟踪模块进行位姿跟踪的终端设备还可以与云端服务器进行通信,从云端服务器获取辅助信息,辅助位姿跟踪模块进行位姿跟踪。为了便于对位姿跟踪模块进行测试,测试设备中的位姿跟踪模块可以为离线运行,也就是不会从云端服务器获取辅助信息,仅利用位姿跟踪模块单独进行位姿跟踪。
本实施例中,执行主体为处理设备,该方法包括:
步骤S210:获取测试数据。
本实施例中以处理设备和测试设备为同一设备为例进行说明,在两者为同一设备的前提下,前述步骤S110可以通过步骤S210和步骤S220来实现。
其中,测试数据表示待定位对象在跟踪过程采集的数据。测试数据的来源可以为标准公开数据集,或者在待定位对象的跟踪过程中采集得来的,实际上,标准公开数据集也可以是在某个待定位对象的跟踪过程中采集得来的。
需要说明的是,若测试数据为在待定位的跟踪过程中采集得来的,该测试数据可以为由采集设备进行采集,而后发送给测试设备的,采集设备、测试设备和处理设备这三者可以为相同的设备,或者也可以为不同的设备。通常来说,采集设备可以包括图像采集模块、传感器模块等,用于在跟踪过程中进行采集,以得到测试数据。在采集设备进行采集时,可以认为采集设备本身作为待定位对象。
具体地,测试数据包括位姿跟踪模块运行所需的所有数据,例如,图像数据、传感器数据以及相应的标定参数等。具体举例来说,图像数据可以为采集设备在跟踪过程中拍摄的视频,其中包括若干帧图像,传感器数据进一步可以包括惯性测量数据(由惯性测量单元,IMU,Inertial Measurement Unit测得)等,标定参数包括相机的内参数和外参数等。
另外,在不同场景以及待定位对象的不同运动过程中,位姿跟踪模块的跟踪效果可能是有所区别的。举例来说,依照室内/室外、光线情况、行人情况、场景中的物品等多个影响因素可以预设多个场景,并且可以预设待定位对象的多种运动类型,例如,直线匀速前进、静止不动,原地转动等。为了对位姿跟踪模块进行全面的测试评估,将场景维度以及运动类型维度均可以纳入测试的考量范围,也就是说,需要分别在不同场景下,进行不同类型的运动,并采集相应的数据以作为测试数据,测试数据包括分别在若干场景中进行若干运动而采集的多个数据,由每个测试数据得到一个测试结果。
步骤S220:通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果。
设备可以通过运行位姿跟踪模块对表示待定位对象在跟踪过程中采集的数据,也就是测试数据进行位姿跟踪,得到测试结果。具体地,测试结果可以包括测试位姿和/或位姿跟踪过程的性能损耗数据,另外还可以包括每个定位时刻与前一定位时刻的测试位姿差等。其中,位姿跟踪过程的性能损耗参数可以包括每个定位时刻的测试位姿的处理时间和/或资源占用情况,进一步地,资源占用情况可以包括CPU占用情况、内存占用情况等。
可以理解的是,为了对位姿跟踪模块进行测试,测试结果可以对应有真值位姿,真值位姿可以认为是待定位对象在跟踪过程中的真实的位姿。基于一对相应的测试位姿和真值位姿可以评估测试位姿的准确性。
真值位姿可以通过多种方式获取,例如,由测量计算得来,或者经由对待定位对象进行跟踪得来等。具体地,由于不同运动过程的位姿变化不同,例如比较简单的静止或者直线行走的运动,其真值位姿也可以简单地计算得来,对于较为复杂的运动过程也可以采取跟踪的方式得到真值位姿,进行跟踪得到真值位姿可以为通过本申请中进行测试的位姿跟踪模块进行位姿跟踪,也可以采用其他方式进行位姿跟踪。以下以通过本申请中进行测试的位姿跟踪模块进行位姿跟踪为例进行说明。
测试数据中包括图像数据、传感器数据和相应的标定参数,其中,图像数据为图像采集模块在跟踪过程中的多个第一采集时刻采集的图像帧,传感器数据为传感器模块在跟踪过程中的多个第二采集时刻采集的惯性测量数据。可以理解的是,多个第一采集时刻和多个第二采集时刻的数量可以是不同的,通常来说第二采集时刻的数量较多,也可以理解为在跟踪过程中,传感器模块和图像采集模块分别以不同的间隔进行采集,传感器的采集间隔较短。另外,一些第一采集时刻与第二采集时刻有可能重合,也可能两者均不重合。
请结合参阅图3,图3是本申请步骤S220另一实施例的流程示意图,步骤S220包括:
步骤S321:将至少一个第一采集时刻作为定位时刻,并分别将每个定位时刻作为当前定位时刻。
在第一采集时刻和第二采集时刻数量不同的情况下,通常可以将至少一个第一采集时刻作为定位时刻,确定定位时刻的位姿,以作为测试结果。在确定定位时刻之后,依次将每个定位时刻作为当前定位时刻进行处理,也就是步骤S322-步骤S324中的相关处理。
步骤S322:利用当前定位时刻与上一定位时刻的图像帧,确定当前定位时刻的初始位姿信息。
当前定位时刻与上一定位时刻分别对应有一帧图像,利用两帧图像能够确定当前定位时刻的初始位姿信息,初始位姿信息为基于图像比对而确定的当前定位时刻与上一定位时刻的位姿差。
具体来说,处理设备可以提取当前定位时刻对应的图像的特征点,将该特征点与上一定位时刻对应的图像的特征点进行匹配,根据两帧图像中特征点的变化情况,得到当前定位时刻的初始位姿信息。
步骤S323:利用与当前定位时刻相关的第二采集时刻的惯性测量数据,确定当前定位时刻的参考位姿信息。
可以理解的是,在确定定位时刻之后,可以将每个第二采集时刻分别与一个定位时刻关联,一个定位时刻可以关联有多个第二采集时刻,每个定位时刻与第二采集时刻的数量比为1:n,n可以为一个或多个,不同的定位时刻关联的第二采集时刻的数量也可以有所区别,将两者进行关联的标准可以依据用户需要确定,例如,将第二采集时刻与其最接近的定位时刻关联等,第二采集时刻可以用于确定其关联的定位时刻对应的参考位姿信息。
具体来说,惯性测量数据可以包括加速度以及角速度等,基于与当前定位时刻相关的若干第二采集时刻的惯性测量数据,能够确定当前定位时刻的参考位姿信息,参考位姿信息为基于惯性测量数据比对而确定的当前定位时刻与上一定位时刻的位姿差。
步骤S324:结合当前定位时刻的初始位姿和参考位姿,确定当前定位时刻的测试位姿。
结合当前定位时刻的初始位姿信息和参考位姿信息,能够得到上一定位时刻与当前定位时刻之间的位姿变化,基于位姿变化以及上一定位时刻的测试位姿,就能够得到当前定位时刻的测试位姿。
可以理解的是,对于第一个定位时刻来说,其不存在上一定位时刻,那么对于第一个定位时刻来说,可以不依照上述过程计算测试位姿,例如,设备可以赋予其一个原始位姿作为测试位姿。
那么每个定位时刻的测试位姿可以作为测试结果而输出,另外,两个定位时刻之间的测试位姿之差和/或每个定位时刻的处理时间也可以作为测试结果而输出。
步骤S230:获取真值数据。
其中,真值数据表示跟踪过程的采集数据,用于得到真值位姿,同样地,真值数据中也包括位姿跟踪模块运行所需要的所有数据。可以理解的是,真值数据和测试数据的来源可以是对应的,若测试数据来源于标准公开数据集,那么真值数据也相应的来源于真值数据集,真值数据集也为公开数据集,且真值数据与标准数据对应,均为针对相同的对象和相同的跟踪过程。
若测试数据为采集设备在待定位对象的跟踪过程中采集得来的,那么真值数据也相应的在相同的待定位对象的相同的跟踪过程中采集得来,真值数据相比于测试数据精度高,真值数据相比于测试数据包含的信息更加丰富,从而得到的真值位姿可以认为是待定位对象在跟踪过程中的真实位姿,其中,精度高可以表现为采集的图像数量更多、采集到的图像信息更为丰富等。需要说明的是,采集真值数据所使用的设备与采集测试数据所使用的设备可以是不同的,控制两设备进行相同的运动,那么就可以认为两设备分别得到的测试数据和真值数据是对相同的待定位对象的相同的跟踪过程采集得到的。另外,采集真值数据所使用的模块也可以与采集测试数据的不同,例如,可以利用运动捕捉系统采集得到真值数据。
步骤S240:利用真值数据得到真值位姿。
步骤S240可以利用测试设备通过本申请中进行测试的位姿跟踪模块对真值数据进行位姿跟踪,得到真值位姿。在一些实施例中,也可以通过其他算法得到真值位姿。
需要说明的是,由位姿跟踪模块对真值数据进行位姿跟踪得到真值位姿的过程,与上述由测试数据得到测试结果的过程基本一致,可以参考前述关于步骤S321-步骤S324的相关内容,在此不做赘述。
另外,由位姿跟踪模块对真值数据进行位姿跟踪得到的结果,除了每个定位时刻对应的真值位姿之外,还可以包括每个定位时刻与前一定位时刻的真值位姿差等。
需要说明的是,通过位姿跟踪模块对真值数据进行位姿跟踪得到的结果中,也可以包括真值数据对应的性能损耗数据,但是其并不能够作为与测试数据对应的性能损耗数据的真值,可以说对于性能损耗参数没有真值可言,其可以与期望值比较。步骤S220需要在步骤S210之后执行,步骤S240需要在步骤S230之后执行,但是步骤S210-步骤S220和步骤S230-步骤S240的执行顺序是可以调换的,不会影响位姿跟踪模块的测试。
可以理解的是,在处理设备与测试设备不为同一设备的情况下,上述步骤S230和步骤S240可以由处理设备或测试设备执行的。例如,步骤S230和步骤S240由测试设备执行,处理设备从测试设备处获取真值位姿,以用于确定位姿精度参数。
步骤S250:利用测试结果确定位姿跟踪模块的性能表征参数。
步骤S250具体可以为将测试位姿和真值位姿进行比较,得到位姿精度参数,位姿精度参数可以包括误差均方根参数、绝对位姿误差参数、相对位姿误差参数、绝对轨迹误差参数和相对轨迹误差参数中的至少一个精度指标参数,位姿精度参数还可以包括其他能够用于表征精度的参数。
具体来说,误差均方根参数也就是RMSE(Root Mean Squared Error),是预测值与真实值偏差的平方与观测次数n比值的平方根,对一个跟踪过程能够得到一个误差均方根。绝对位姿误差参数也就是APE(Absolute Pose Error),可以通过将每个定位时刻对应的测试位姿和真值位姿进行比较得到,每个定位时刻可以对应一个绝对位姿误差。相对位姿误差参数也就是RPE(Relative Pose Error)可以通过将每个定位时刻与上一定位时刻之间的测试位姿差和真值位姿差进行比较得到,相对位姿误差同样与定位时刻对应。绝对轨迹误差参数也就是ATE(Absolute Trajectory Error)是估计位姿和真值位姿的直接差值,首先将测试轨迹和真实轨迹对齐,而后利用RMSE、平均值、中位数等指标来反映ATE。对一个跟踪过程能够得到一个绝对轨迹误差。相对轨迹误差参数也就是RTE(Relative TrajectoryError),首先将测试轨迹和真实轨迹分别划分为若干轨迹段,计算每两个对应的轨迹段起始点和结束点处的差异,对一个跟踪过程能够得到若干个相对轨迹误差。
另外,步骤S250还可以为依据性能损耗数据得到位姿跟踪模块的性能损耗参数。性能损耗数据可以直接作为性能损耗参数,或者也可以与用户确定的期望值比较,得到性能损耗参数。
在一些实施例中,在得到测试结果之后,该方法还可以包括,在各定位时刻对应的图像帧上,分别标记对应的定位时刻的测试信息,测试信息可以包括定位时刻的测试位姿、定位时刻的真值位姿、定位时刻的测试位姿与真值位姿之间的相对位姿、定位时刻对应的性能表征参数、定位时刻的测试位姿处理时间中的至少一者,图像帧上标记的测试信息用于跟随图像帧一并显示,从而可以供用户查看跟踪过程中的图像信息,以及在其中一并能够看到相关的测试信息,便于对位姿跟踪模块的性能有直观的了解。
需要说明的是,步骤S260和步骤S270均为可选步骤,不执行步骤S260和步骤S270也不会影响位姿跟踪模块的测试。
步骤S260:显示位姿精度参数。
具体地,处理设备可以直接显示若干待显示位姿精度参数的具体值供用户查看,另外,还可以以其他可视化形式,例如采用图表方式显示若干待显示位姿精度参数。
具体举例来说,处理设备可以采用图表方式显示若干待显示位姿精度参数,每个待显示位姿精度参数是基于跟踪过程的一段时间内的测试位姿和真值位姿确定的位姿精度参数,或者也可以是基于跟踪过程的一个时刻的测试位姿和真值位姿确定的位姿精度参数。以误差均方根参数,也就是RMSE为例进行说明,误差均方根参数为基于跟踪过程的一段时间内的测试位姿和真值位姿确定的位姿精度参数,那么图表的横坐标可以为多个不同的跟踪过程,纵坐标为误差均方根的值,那么就可以将多个基于不同跟踪过程得到误差均方根显示出来,并且还可以在图表中标注出误差均方根参数的期望值从而可以。请结合参阅图4,图4是本申请一实施例中位姿精度参数图表的示意图。图4为RMSE的图表示例,横坐标为9个不同的跟踪过程,纵坐标为RMSE的值,虚线表示RMSE的期望值。
另外,对于一些基于跟踪过程的一个时刻的测试位姿和真值位姿确定的位姿精度参数来说,图表的横坐标可以是定位时刻,纵坐标是位姿精度参数的值,例如,绝对位姿误差或者相对位姿误差等,以绝对位姿误差为例,图表的横坐标可以为一次跟踪过程中的所有定位时刻,纵坐标为绝对位姿误差的值,那么就可以显示每个定位时刻得到的绝对位姿误差,并且还可以在图表中标注出绝对位姿误差参数的期望值。
在一些实施例中,位姿跟踪模块可以不断更新从而存在多个版本,那么可以显示多个版本的位姿跟踪模块的位姿精度参数,供用户查看并对比不同版本的位姿跟踪模块的性能。具体来说,可以直接将不同版本的位姿精度参数的值显示出来,或者以图表的形式一并显示多个版本的位姿精度参数等。
步骤S270:依据跟踪过程中若干定位时刻的测试位姿得到测试空间轨迹点,依据若干定位时刻的真值位姿得到真实空间轨迹点,将测试空间轨迹点和真实空间轨迹点一并显示于同一坐标系中。
通过步骤S280,设备将测试空间轨迹和真实空间轨迹两者一并可视化显示供用户查看,能够更直观地向用户展现位姿跟踪模块的性能。
在上述方案中,利用位姿跟踪模块对测试数据进行位姿跟踪得到测试结果,基于测试位姿和真值位姿进行比较,能够确定用于表征位姿跟踪模块性能的位姿精度参数,从而确定位姿跟踪模块的性能,并且能够通过多种方式对位姿精度参数进行处理和展示,从而能够直观地展现位姿跟踪模块的性能;另外,还可以通过性能损耗参数反映位姿跟踪模块的性能。
请参阅图5,图5是本申请位姿跟踪模块的测试方法再一实施例的流程示意图,其中,本实施例中,位姿跟踪模块可以为SLAM(simultaneous localization and mapping)算法模块。在其他实施例中,位姿跟踪模块也可以为其他能够实现位姿跟踪的模块。该方法包括:
步骤S510:获取位姿跟踪模块的测试结果。
步骤S520:利用测试结果确定位姿跟踪模块的性能表征参数。
本实施例中,以测试设备与处理设备为不同的设备为例进行说明,执行主体为处理设备,此时步骤S510为从测试设备处获取测试结果,步骤S510-步骤S520可以参考前述关于得到性能表征参数相关步骤的相关描述,在此不做赘述。
另外,需要说明的是,测试数据中包括了在若干场景中,不同运动类型的跟踪过程中分别采集的数据,可以按照场景或运动类型对测试数据进行分组,不同组测试数据表示跟踪过程的打算场景和待定位对象的运动类型中至少一者不同。具体举例来说,可以依照办公室、商场两个场景对测试数据进行分组,那么对于其中一组来说,包括了在该场景下进行采集的所有测试数据,或者可以依照直线运动、转动和曲线运动对测试数据进行分组,对于其中一组来说,包括了在所有场景中,进行同一运动时进行采集的所有测试数据。在进行分组之后,基于每组测试数据对应的性能标准参数,能够评估位姿跟踪模块的不同维度的性能。例如,若依照场景进行分组,那么进行组间比较可以用于评估位姿跟踪模块在不同场景下的性能,若依照运动类型进行分组,那么进行组间比较可以用于评估位姿跟踪模块在不同运动过程中的性能。不同的分组方式是可以同时存在的,那么在步骤S530中,可以分别对不同分组方式下的每组测试数据对应的性能表征参数进行处理。
步骤S530:基于每组测试数据对应的性能表征参数,得到位姿跟踪模块的新的性能表征参数。
其中,每组测试数据对应的性能表征参数是利用对应组测试数据对位姿跟踪模块进行测试得到的,也就是对每组测试数据,均利用位姿跟踪模块进行位姿跟踪,而后基于测试结果得到对应的性能表征参数。具体来说,可以采用统计学方式对每组测试数据对应的性能表征参数进行处理,得到新的性能表征参数,利用同一分组方式下的不同组别的新的性能表征参数,能够表征位姿跟踪模块在这一分组维度下的性能。
测试人员和开发人员能够基于性能表征参数反映的位姿跟踪模块的性能,对其进行相应的调整,以期位姿跟踪模块能够满足预设性能要求。
前述相关测试步骤为由某一测试设备执行的,为了对位姿跟踪模块进行全面的测试和评估,在一些实施例中,还可以选择多个终端设备分别作为测试设备,分别通过位姿跟踪模块进行位姿跟踪,那么每个终端设备均可以得到关于其中的位姿跟踪模块的测试结果。那么步骤S510可以为获取多个终端设备对应的测试结果,步骤S520可以为利用各终端设备的测试结果确定各终端设备关于位姿跟踪模块的性能表征参数,对每个终端设备,处理设备可以建立并保存终端设备对应的性能表征参数与终端设备的终端信息之间的关联关系。而后,汇总所有终端设备的性能表征参数以及与终端信息之间的关联关系,基于上述信息,能够从场景、运动类型以及终端信息三个维度对位姿跟踪模块进行性能的评估,例如,评估位姿跟踪模块在不同设备中的整体性能,或者在相同场景下在不同设备中的性能等。需要说明的是,此时所有终端设备所使用的测试数据可以是相同来源,例如来源于相同的采集设备,在一些实施例中,还可以为不同来源,例如每个进行位姿跟踪的测试设备自行作为测试数据的来源,进行测试数据的采集。在一些实施例中,该处理设备可以与参与测试的其中一个测试设备为同一设备。
需要说明的是,步骤S510-步骤S530中进行测试的位姿跟踪模块可以为单独运行的,为了使位姿跟踪模块能够在各个场景中应用,在一些实施例中,在完成上述测试步骤之后,可以将性能表征参数满足预设性能要求的位姿跟踪模块集成在目标应用程序中,从而用户可以在用户终端上使用该目标应用程序以满足其需要。在用户使用目标应用程序的过程中,用户终端会调用目标应用程序中集成的、经测试的位姿跟踪模块,进行位姿跟踪。进一步地,目标应用程序可以为增强现实的应用程序。
在上述方案中,基于位姿跟踪模块的测试结果能够确定用于表征位姿跟踪模块性能的性能表征参数,从而确定位姿跟踪模块的性能,实现对位姿跟踪模块进行性能评估,并且能够基于不同分组方式从多个角度评估位姿跟踪模块的性能。
请参阅图6,图6是本申请位姿跟踪模块的测试方法又一实施例的流程示意图。本实施例的执行主体为测试设备。该方法包括:
步骤S610:获取测试数据。
其中,测试数据表示待定位对象在跟踪过程采集的数据。
步骤S620:通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果。
其中,测试结果包括位姿跟踪得到的待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,测试结果可以用于反映位姿跟踪模块的性能。
在测试设备得到测试结果之后,可以将测试结果发送给能够与之进行通信的处理设备,而后处理设备可以执行前述实施例中处理设备执行的相关步骤,以得到性能表征参数。当然,在测试设备与处理设备为同一设备的情况下,测试设备在得到测试结果之后,也可直接自行执行前述实施例中处理设备执行的相关步骤。
步骤S610和步骤S620的相关描述可以参考前述实施例的相关步骤,例如上述步骤S210和步骤S220。
在一些实施例中,测试设备还可以获取真值数据,并对真值数据进行处理得到真值位姿,具体内容也可以参考前述实施例的相关步骤,例如上述步骤S230和步骤S240。
请参阅图7,图7是本申请位姿跟踪模块的测试装置一实施例的框架示意图。
本实施例中,位姿跟踪模块的测试装置70包括第一获取模块71和表征模块72。其中,第一获取模块71用于获取位姿跟踪模块的测试结果,其中,测试结果包括位姿跟踪模块对待定位对象进行位姿跟踪得到的测试位姿和/或位姿跟踪过程的性能损耗数据。表征模块72用于利用测试结果确定位姿跟踪模块的性能表征参数。
其中,表征模块72利用测试结果确定位姿跟踪模块的性能表征参数,包括:将测试位姿和真值位姿进行比较,得到位姿跟踪模块的位姿精度参数。
其中,表征模块72利用测试结果确定位姿跟踪模块的性能表征参数,还包括:基于性能损耗数据,得到位姿跟踪模块的性能损耗参数。
其中,位姿精度参数包括误差均方根参数、绝对位姿误差参数、相对位姿误差参数、绝对轨迹误差参数和相对轨迹误差参数中的至少一个精度指标参数。
其中,位姿跟踪模块的测试装置70还包括显示模块,用于显示位姿精度参数,以及还可以用于依据跟踪过程中若干定位时刻的测试位姿得到测试空间轨迹点,依据若干定位时刻的真值位姿得到真实空间轨迹点;将测试空间轨迹点和真实空间轨迹点一并显示于同一坐标系中。
其中,显示模块显示位姿精度参数可以包括:采用图表方式显示若干待显示位姿精度参数,每个待显示位姿精度参数是基于跟踪过程的一段时间内的测试位姿和真值位姿确定的位姿精度参数、或者基于跟踪过程的一个时刻的测试位姿和真值位姿确定的位姿精度参数。
其中,显示模块显示位姿精度参数还可以包括:显示多个版本的位姿跟踪模块的位姿精度参数。
其中,位姿跟踪模块的测试装置70还包括真值处理模块,用于在将测试位姿和真值位姿进行比较,得到位姿跟踪模块的位姿精度参数之前,获取真值数据,真值数据表示跟踪过程的采集数据,且比测试数据的精度高;利用真值数据得到真值位姿。
其中,真值处理模块获取真值数据可以包括利用运动捕捉系统采集得到的真值数据,或者从真值数据集中获取真值数据。
其中,真值处理模块利用真值数据得到真值位姿,包括:通过位姿跟踪模块对真值数据进行位姿跟踪,得到真值位姿。
其中,测试数据包括跟踪过程中多个第一采集时刻采集的图像帧,以若干第一采集时刻作为若干定位时刻,测试结果包括各定位时刻的测试位姿;位姿跟踪模块的测试装置70还包括标记模块,用于在通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果之后,在各定位时刻对应的图像帧上,分别标记对应的定位时刻的测试信息,其中,定位时刻的测试信息包括定位时刻的测试位姿、定位时刻的真值位姿、定位时刻的测试位姿与真值位姿之间的相对位姿、定位时刻对应的性能表征参数、定位时刻的测试位姿的处理时间中至少一者,图像帧上标记的测试信息用于跟随图像帧一并显示。
其中,第一获取模块71获取位姿跟踪模块的测试结果,包括:获取测试数据,其中测试数据表示待定位对象在跟踪过程采集的数据,通过位姿跟踪模块对测试数据进行位姿跟踪得到测试结果,其中,测试结果包括待定位对象的测试位姿。
其中,测试数据的数量为多组,不同组测试数据表示跟踪过程的发生场景和待定位对象的运动类型中的至少一者不同;表征模块72还可以用于基于每组测试数据对应的性能表征参数,得到位姿跟踪模块的新的性能表征参数,其中,每组测试数据对应的性能表征参数是利用对应组测试数据对位姿跟踪模块进行测试得到的。
其中,第一获取模块71获取位姿跟踪模块的测试结果,包括:获取多个终端设备对应的测试结果,每个终端对应的测试结果是终端设备通过位姿跟踪模块进行位姿跟踪得到的。
其中,表征模块72利用测试结果确定位姿跟踪模块的性能表征参数,包括:利用各终端设备测试结果确定各终端设备关于位姿跟踪模块的性能表征参数,另外,表征模块72还可以用于对于每个终端设备,建立并保存终端设备对应的性能表征参数与终端设备的终端信息之间的关联关系。
其中,位姿跟踪模块的测试是在位姿跟踪模块集成在应用程序之前执行的。
其中,位姿跟踪模块为SLAM算法。
其中,位姿跟踪模块用于集成在增强现实的应用程序中。
请参阅图8,图8是本申请位姿跟踪模块的测试装置另一实施例的框架示意图。
本实施例中,位姿跟踪模块的测试装置80包括第二获取模块81和跟踪模块82,其中第二获取模块81用于获取测试数据,其中测试数据表示待定位对象在跟踪过程采集的数据,跟踪模块82用于通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果,其中,测试结果包括位姿得到待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,测试结果用于反映位姿跟踪模块的性能。
请参阅图9,图9是本申请电子设备一实施例的框架示意图。
本实施例中,电子设备90包括存储器91、处理器92,其中存储器91耦接处理器92。具体地,电子设备90的各个组件可通过总线耦合在一起,或者电子设备90的处理器92分别与其他组件一一连接。该电子设备90可以为具有处理能力的任意设备,例如计算机、平板电脑、手机等。
存储器91用于存储处理器92执行的程序数据以及处理器92在处理过程中的数据等。例如,测试位姿、性能损耗数据等。其中,该存储器91包括非易失性存储部分,用于存储上述程序数据。
处理器92控制电子设备90的操作,处理器92还可以称为为CPU(CentralProcessing Unit,中央处理单元)。处理器92可能是一种集成电路芯片,具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器92可以由多个成电路芯片共同实现。
处理器92通过调用存储器91存储的程序数据,用于执行指令以实现上述任一位姿跟踪模块的测试方法。
请参阅图10,图10是本申请位姿跟踪模块的测试系统一实施例的框架示意图。
本实施例中,位姿跟踪模块的测试系统100包括处理设备101和测试设备102,处理设备101和测试设备102为不同的设备,其中,处理设备101可以用于执行前述执行主体为处理设备的位姿跟踪模块的测试方法,对测试结果进行处理,得到性能表征参数,测试设备102可以用于执行前述执行主体为测试设备的位姿跟踪模块的测试方法,通过位姿跟踪模块对测试数据进行位姿跟踪,得到测试结果。在一些实施例中,测试设备102或处理设备101还可用于获取真值位姿。
请参阅图11,图11是本申请计算机可读存储介质一实施例的框架示意图。
本实施例中,该计算机可读存储介质110存储有处理器可运行的程序数据111,该程序数据能够被执行,用以实现上述任一位姿跟踪模块的测试方法。
该计算机可读存储介质110具体可以为U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序数据的介质,或者也可以为存储有该程序数据的服务器,该服务器可将存储的程序数据发送给其他设备运行,或者也可以自运行该存储的程序数据。
在一些实施例中,计算机可读存储介质110还可以为如图9所示的存储器。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (16)
1.一种位姿跟踪模块的测试方法,其特征在于,所述方法包括:
获取位姿跟踪模块的测试结果,其中,所述测试结果包括:所述位姿跟踪模块对待定位对象进行位姿跟踪得到的测试位姿和/或位姿跟踪过程的性能损耗数据;
利用所述测试结果确定所述位姿跟踪模块的性能表征参数。
2.根据权利要求1所述的方法,其特征在于,所述利用所述测试结果确定所述位姿跟踪模块的性能表征参数,包括:
将所述测试位姿和所述待定位对象的真值位姿进行比较,得到所述位姿跟踪模块的位姿精度参数;和/或,
基于所述性能损耗数据,得到所述位姿跟踪模块的性能损耗参数。
3.根据权利要求2所述的方法,其特征在于,所述位姿精度参数包括误差均方根参数、绝对位姿误差参数、相对位姿误差参数、绝对轨迹误差参数和相对轨迹误差参数中的至少一个精度指标参数;
和/或,所述方法还包括以下任意一个或多个步骤:
显示所述位姿精度参数;
依据所述跟踪过程中若干定位时刻的测试位姿得到测试空间轨迹点,依据所述若干定位时刻的所述真值位姿得到真实空间轨迹点;将所述测试空间轨迹点和所述真实空间轨迹点一并显示于同一坐标系中。
4.根据权利要求3所述的方法,其特征在于,所述显示所述位姿精度参数,包括:
采用图表方式显示若干待显示位姿精度参数,每个所述待显示位姿精度参数是基于所述跟踪过程的一段时间内的测试位姿和真值位姿确定的所述位姿精度参数、或者基于所述跟踪过程的一个时刻的测试位姿和真值位姿确定的所述位姿精度参数;和/或,
显示多个版本的所述位姿跟踪模块的所述位姿精度参数。
5.根据权利要求2至4任一项所述的方法,其特征在于,在所述将所述测试位姿和所述待定位对象的真值位姿进行比较,得到所述位姿跟踪模块的位姿精度参数之前,所述方法还包括:
获取真值数据,所述真值数据表示所述跟踪过程的采集数据,且比测试数据的精度高;
利用所述真值数据得到所述真值位姿。
6.根据权利要求5所述的方法,其特征在于,所述获取真值数据,包括:
利用运动捕捉系统采集得到的真值数据,或者从真值数据集中获取所述真值数据;
和/或,所述利用所述真值数据得到所述真值位姿,包括:
通过所述位姿跟踪模块对所述真值数据进行位姿跟踪,得到所述真值位姿。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述测试结果是所述位姿跟踪模块基于所述待定位对象的所述测试数据进行位姿跟踪得到的,所述测试数据包括跟踪过程中多个第一采集时刻采集的图像帧,以若干第一采集时刻作为若干定位时刻,所述测试结果包括各所述定位时刻的测试位姿;在所述获取位姿跟踪模块的测试结果之后,所述方法还包括:
在各所述定位时刻对应的图像帧上,分别标记对应的所述定位时刻的测试信息,其中,所述定位时刻的测试信息包括所述定位时刻的测试位姿、所述定位时刻的真值位姿、所述定位时刻的测试位姿与真值位姿之间的相对位姿、所述定位时刻对应的性能表征参数、所述定位时刻对应的性能损耗数据中至少一者,所述图像帧上标记的测试信息用于跟随所述图像帧一并显示;
和/或,所述获取位姿跟踪模块的测试结果,包括:
获取所述测试数据,所述测试数据表示待定位对象在跟踪过程采集的数据;
通过所述位姿跟踪模块对所述测试数据进行位姿跟踪,得到测试结果,其中,所述测试结果包括所述待定位对象的测试位姿。
8.根据权利要求7所述的方法,其特征在于,所述测试数据的数量为多组,不同组所述测试数据表示所述跟踪过程的发生场景和所述待定位对象的运动类型中的至少一者不同;所述方法还包括:
基于每组所述测试数据对应的性能表征参数,得到所述位姿跟踪模块的新的性能表征参数,其中,每组所述测试数据对应的性能表征参数是利用对应组所述测试数据对所述位姿跟踪模块进行测试得到的。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述获取位姿跟踪模块的测试结果,包括:
获取多个终端设备对应的测试结果,每个所述终端对应的测试结果是所述终端设备通过所述位姿跟踪模块进行位姿跟踪得到的;
所述利用所述测试结果确定所述位姿跟踪模块的性能表征参数,包括:
利用各所述终端设备所述测试结果确定各所述终端设备关于所述位姿跟踪模块的性能表征参数;
所述方法还包括:
对于每个所述终端设备,建立并保存所述终端设备对应的性能表征参数与所述终端设备的终端信息之间的关联关系。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述位姿跟踪模块的测试方法是在所述位姿跟踪模块集成在应用程序之前执行的;
和/或,所述位姿跟踪模块用于集成在增强现实的应用程序中;
和/或,所述位姿跟踪模块为SLAM算法;
和/或,所述性能损耗数据包括每个定位时刻的所述测试位姿的处理时间和资源占用情况中的至少一者。
11.一种位姿跟踪模块的测试方法,其特征在于,包括:
获取测试数据,所述测试数据表示待定位对象在跟踪过程采集的数据;
通过所述位姿跟踪模块对所述测试数据进行位姿跟踪,得到测试结果,其中,所述测试结果包括位姿跟踪得到的所述待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,所述测试结果用于反映所述位姿跟踪模块的性能。
12.一种位姿跟踪模块的测试装置,其特征在于,所述装置包括:
第一获取模块,取位姿跟踪模块的测试结果,其中,所述测试结果是所述位姿跟踪模块对待定位对象进行位姿跟踪得到的,所述测试结果包括位姿跟踪得到的所述待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据;
表征模块,利用所述测试结果确定所述位姿跟踪模块的性能表征参数。
13.一种位姿跟踪模块的测试装置,其特征在于,所述装置包括:
第二获取模块,获取测试数据,所述测试数据表示待定位对象在跟踪过程采集的数据;
跟踪模块,通过所述位姿跟踪模块对所述测试数据进行位姿跟踪,得到测试结果,其中,所述测试结果包括位姿跟踪得到的所述待定位对象的测试位姿和/或位姿跟踪过程的性能损耗数据,所述测试结果用于反映所述位姿跟踪模块的性能。
14.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1-10中任一项或权利要求11所述的方法。
15.一种位姿跟踪模块的测试系统,其特征在于,所述系统包括处理设备和测试设备,其中处理设备用于执行如权利要求1-10中任一项所述的方法,所述测试设备用于执行权利要求11所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序数据,所述程序数据能够被执行用于实现如权利要求1-10中任一项或权利要求11所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210095893.7A CN114442808A (zh) | 2022-01-26 | 2022-01-26 | 一种位姿跟踪模块的测试方法、装置、设备、系统和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210095893.7A CN114442808A (zh) | 2022-01-26 | 2022-01-26 | 一种位姿跟踪模块的测试方法、装置、设备、系统和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114442808A true CN114442808A (zh) | 2022-05-06 |
Family
ID=81369834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210095893.7A Pending CN114442808A (zh) | 2022-01-26 | 2022-01-26 | 一种位姿跟踪模块的测试方法、装置、设备、系统和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114442808A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115507878A (zh) * | 2022-10-28 | 2022-12-23 | 北京开拓航宇导控科技有限公司 | 一种mems惯组导航性能测试方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080123498A1 (en) * | 2006-11-28 | 2008-05-29 | Atlab Inc. | Optical position tracking device and method of testing the same |
US20150269438A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
CN108475114A (zh) * | 2015-12-31 | 2018-08-31 | 微软技术许可有限责任公司 | 用于对象姿势跟踪器的反馈 |
CN108765563A (zh) * | 2018-05-31 | 2018-11-06 | 北京百度网讯科技有限公司 | 基于ar的slam算法的处理方法、装置及设备 |
US20190361518A1 (en) * | 2018-05-22 | 2019-11-28 | Oculus Vr, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
JP2021009557A (ja) * | 2019-07-01 | 2021-01-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN112465871A (zh) * | 2020-12-07 | 2021-03-09 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种视觉跟踪算法准确性的评价方法及系统 |
CN113674412A (zh) * | 2021-08-12 | 2021-11-19 | 浙江工商大学 | 基于位姿融合优化的室内地图构建方法、系统及存储介质 |
CN113701760A (zh) * | 2021-09-01 | 2021-11-26 | 火种源码(中山)科技有限公司 | 基于滑动窗口位姿图优化的机器人抗干扰定位方法及装置 |
-
2022
- 2022-01-26 CN CN202210095893.7A patent/CN114442808A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080123498A1 (en) * | 2006-11-28 | 2008-05-29 | Atlab Inc. | Optical position tracking device and method of testing the same |
US20150269438A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
CN108475114A (zh) * | 2015-12-31 | 2018-08-31 | 微软技术许可有限责任公司 | 用于对象姿势跟踪器的反馈 |
US20190361518A1 (en) * | 2018-05-22 | 2019-11-28 | Oculus Vr, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
CN108765563A (zh) * | 2018-05-31 | 2018-11-06 | 北京百度网讯科技有限公司 | 基于ar的slam算法的处理方法、装置及设备 |
JP2021009557A (ja) * | 2019-07-01 | 2021-01-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN112465871A (zh) * | 2020-12-07 | 2021-03-09 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种视觉跟踪算法准确性的评价方法及系统 |
CN113674412A (zh) * | 2021-08-12 | 2021-11-19 | 浙江工商大学 | 基于位姿融合优化的室内地图构建方法、系统及存储介质 |
CN113701760A (zh) * | 2021-09-01 | 2021-11-26 | 火种源码(中山)科技有限公司 | 基于滑动窗口位姿图优化的机器人抗干扰定位方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115507878A (zh) * | 2022-10-28 | 2022-12-23 | 北京开拓航宇导控科技有限公司 | 一种mems惯组导航性能测试方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110457414B (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
US20170337701A1 (en) | Method and system for 3d capture based on structure from motion with simplified pose detection | |
WO2016062159A1 (zh) | 图像匹配方法及手机应用测试平台 | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
EP3532797A1 (en) | Curated photogrammetry | |
US20220027705A1 (en) | Building positioning method, electronic device, storage medium and terminal device | |
US11244475B2 (en) | Determining a pose of an object in the surroundings of the object by means of multi-task learning | |
CN116958584B (zh) | 关键点检测方法、回归模型的训练方法、装置及电子设备 | |
CN114442808A (zh) | 一种位姿跟踪模块的测试方法、装置、设备、系统和介质 | |
US20220300774A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
EP3074844B1 (en) | Estimating gaze from un-calibrated eye measurement points | |
Song et al. | DGM-VINS: Visual-Inertial SLAM for Complex Dynamic Environments with Joint Geometry Feature Extraction and Multiple Object Tracking | |
CN114120382B (zh) | 一种人脸识别系统的测试方法、装置、电子设备及介质 | |
Radanovic et al. | Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration | |
JP2005092451A (ja) | 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム | |
JP2021154935A (ja) | 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム | |
WO2023142396A1 (zh) | 重定位模块的测试方法及装置、设备、系统、介质、计算机程序、计算机程序产品 | |
CN114694257A (zh) | 多人实时三维动作识别评估方法、装置、设备及介质 | |
Zhang et al. | An approach of region of interest detection based on visual attention and gaze tracking | |
Paletta et al. | A computer vision system for attention mapping in SLAM based 3D models | |
US20220138471A1 (en) | Load estimatation apparatus and method | |
KR102407802B1 (ko) | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 | |
CN110824525A (zh) | 机器人的自定位方法 | |
US11869217B2 (en) | Image processing apparatus, detection method, and non-transitory computer readable medium | |
KR102618069B1 (ko) | 지상조사 로봇의 점군 자료와 시각정보를 이용한 실내건물 재난정보 분석 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |