CN116503483A - 姿态标定方法、装置、设备、存储介质及计算机程序产品 - Google Patents
姿态标定方法、装置、设备、存储介质及计算机程序产品 Download PDFInfo
- Publication number
- CN116503483A CN116503483A CN202211171165.6A CN202211171165A CN116503483A CN 116503483 A CN116503483 A CN 116503483A CN 202211171165 A CN202211171165 A CN 202211171165A CN 116503483 A CN116503483 A CN 116503483A
- Authority
- CN
- China
- Prior art keywords
- positioning device
- gesture
- electronic screen
- shooting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004590 computer program Methods 0.000 title claims abstract description 24
- 230000036544 posture Effects 0.000 claims abstract description 105
- 238000012360 testing method Methods 0.000 claims description 214
- 238000012545 processing Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013479 data entry Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种姿态标定方法、装置、设备、存储介质及计算机程序产品。该方法包括:获取N个拍摄数据;基于N个拍摄数据构建M个拍摄数据组;遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态,可实现对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种姿态标定方法、装置、设备、存储介质及计算机程序产品。
背景技术
虚拟制片指的是各种利用计算机辅助制作和电影可视化制作的数字化工作流程及方法;在实时渲染技术的推动下,可以包括前期虚拟预演、虚拟角色实时动作捕捉、绿幕虚拟制作和电子屏幕虚拟制作,等等。在虚拟制片场景中,通常需要对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系进行标定,进而使得可以基于定位装置在定位装置空间下的实时姿态对虚拟摄像装置相对虚拟屏幕的姿态进行确定,进一步根据确定出的虚拟摄像装置相对虚拟屏幕的姿态实时渲染出在当前拍摄角度下,需要在电子屏幕中进行显示的目标图像,以使摄像装置可以对实时渲染出的目标图像进行拍摄;基于此,如何对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系进行标定是当前的研究热点。
发明内容
本申请实施例提供一种姿态标定方法、装置、设备、存储介质及计算机程序产品,可实现对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定。
一方面,本申请实施例提供了一种姿态标定方法,包括:
获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
一方面,本申请实施例提供了一种姿态标定装置,包括:
获取单元,用于获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
处理单元,用于基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
所述处理单元,还用于遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
所述处理单元,还用于从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
一方面,本申请实施例提供了一种电子设备,其特征在于,所述电子设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述姿态标定方法。
一方面,本申请实施例提供了一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行上述姿态标定方法。
一方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序存储在计算机存储介质中;电子设备的处理器从计算机存储介质中读取该计算机程序,处理器执行该计算机程序,使得电子设备执行上述姿态标定方法。
本申请实施例中,可以在获取包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据之后,基于N个拍摄数据构建M个拍摄数据组;进而可以通过遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;然后可以从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态;可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据,确定出定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态,即可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的多个拍摄数据,实现对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定;并且通过对多个拍摄数据的组合,实现了对确定目标相对姿态以及目标姿态所需的拍摄数据组的扩充。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种虚拟制片系统的结构示意图;
图2是本申请实施例提供的一种姿态标定方法的流程示意图;
图3a是本申请实施例提供的一种参照图像中的角点的示意图;
图3b是本申请实施例提供的另一种参照图像中的角点的示意图;
图4是本申请实施例提供的一种确定参照图像中的各个角点在电子屏幕空间下的三维位置信息的示意图;
图5是本申请实施例提供的另一种姿态标定方法的流程示意图;
图6是本申请实施例提供的另一种姿态标定方法的流程示意图;
图7是本申请实施例提供的一种配置信息录入界面的示意图;
图8是本申请实施例提供的一种姿态标定界面的示意图;
图9是本申请实施例提供的一种更新目标相对姿态以及目标姿态的示意图;
图10是本申请实施例提供的一种更新目标相对姿态以及目标姿态的流程示意图;
图11是本申请实施例提供的姿态标定装置的结构示意图;
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning,ML)/深度学习(Deep Learning,DL)等几大方向。
其中,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、确定和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维(3-dimensional,3D)技术、三维物体重建、虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)、扩展现实(Extended Reality,XR)、同步定位与地图构建等技术,等等。
基于上述所提及的计算机视觉技术中的扩展现实技术,本申请实施例提供了一种姿态标定方案,可以在获取N个拍摄数据之后,基于N个拍摄数据构建M个拍摄数据组;其中,任一拍摄数据包括一个拍摄图像,以及拍摄得到拍摄图像时,定位装置在定位装置空间下的姿态,任一拍摄数据组中的拍摄数据的数量为H,其中,拍摄图像是由绑定在定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数,M为正整数,H∈[Z,N],Z为数量阈值。遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态,m∈[1,M];进而可以从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态;其中,目标相对姿态,以及目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
在具体实现中,该姿态标定方案可以由电子设备执行,该电子设备可以为终端设备或者服务器;此处的终端设备可包括但不限于:计算机、智能手机、平板电脑、笔记本电脑、智能家电、车载终端、智能可穿戴设备等;此处的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的,该姿态标定方案还可以由其他有计算力的电子设备单独或协同执行,本申请实施例不做限制。
该姿态标定方案可以应用于虚拟制片场景中,基于此,本申请实施例提供了一种虚拟制片系统,参见图1,为本申请实施例提供的一种虚拟制片系统的结构示意图。图1所示的虚拟制片系统可以包括电子屏幕101、定位装置102、摄像装置103、电子设备104、虚拟屏幕105以及虚拟摄像装置106。其中,电子屏幕101可以为可以对图像、影像、视频等多媒体数据进行显示的LED屏幕;定位装置102可以为虚拟制片场景中常用的定位装置(即常用的Tracker);摄像装置103可以为摄像机、照相机等成像装置;摄像装置103绑定在定位装置102上,摄像装置103与定位装置102之间满足刚体关系。其中,虚拟屏幕105可以为对电子屏幕101建模得到的虚拟模型;虚拟摄像装置106可以为与摄像装置103相对应的虚拟模型;换言之,当在虚拟制片场景中存在电子屏幕101以及摄像装置103时,对应存在虚拟屏幕105以及虚拟摄像装置106;进一步的,虚拟屏幕105以及虚拟摄像装置106可以是基于任意电子设备得到的,进一步可选的,虚拟屏幕105以及虚拟摄像装置106可以是基于部署于该电子设备的虚幻引擎得到的,本申请实施例以该电子设备为电子设备104为例进行阐述。
具体实现中,电子屏幕101中显示有参照图像;绑定在定位装置102上的摄像装置103,从N个拍摄角度拍摄电子屏幕101中的参照图像,得到N个拍摄图像,并将N个拍摄图像发送至电子设备104中;在摄像装置103从N个拍摄角度中的任一拍摄角度拍摄电子屏幕101中的参照图像时,定位装置102将相应拍摄角度下,定位装置在定位装置空间下的姿态发送至电子设备104中。电子设备104在获取N个拍摄数据之后,可以基于N个拍摄数据构建M个拍摄数据组;其中,N个拍摄数据中的任一拍摄数据包括一个拍摄图像,以及拍摄得到相应拍摄图像时,定位装置在定位装置空间下的姿态;进一步的,电子设备104可以遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;进而可以从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态。
在一个应用场景中,存在一个对象A置于电子屏幕101前方;定位装置102将当前拍摄角度下,定位装置在定位装置空间下的姿态(称为定位装置在定位装置空间下的当前姿态)发送至电子设备104中。电子设备104接收到定位装置在定位装置空间下的当前姿态之后,可以基于定位装置与摄像装置的目标相对姿态,电子屏幕在定位装置空间下的目标姿态,以及定位装置在定位装置空间下的当前姿态,确定出虚拟摄像装置相对虚拟屏幕的当前姿态;进而可以基于虚拟摄像装置相对虚拟屏幕的当前姿态,渲染出在当前拍摄角度下,需要在电子屏幕101中进行显示的目标图像,并将该目标图像发送至电子屏幕101中;电子屏幕101在接收到目标图像后,可以对目标图像进行显示,以使摄像装置102可以在当前拍摄角度下,实现对目标图像以及对象A的拍摄;进一步可以实现移动定位装置102时,显示在电子屏幕101中的目标图像的变化,这种变化与定位装置102的移动是相适应的,由于摄像装置103绑定在定位装置102上,所以说,这种变化与摄像装置103的移动是相适应的,可以准确针对拍摄角度的变化输出适应性的目标图像,可提高拍摄得到的画面的真实性。
特别需要说明的是,在本申请的具体实施方式中,涉及到对象相关的数据,当本申请实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守当地法律法规和标准。
基于上述姿态标定方案,本申请实施例提供了一种姿态标定方法。参见图2,为本申请实施例提供的一种姿态标定方法的流程示意图。图2所示的姿态标定方法可由电子设备执行。图2所示的姿态标定方法可包括如下步骤:
S201,获取N个拍摄数据。
其中,任一拍摄数据包括一个拍摄图像,以及拍摄得到该拍摄图像时,定位装置在定位装置空间下的姿态;其中,该拍摄图像可以是由绑定在定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的;N为正整数,可以根据具体需求对拍摄数据的数量进行设定,例如,可以将拍摄数据的数量设定为8、9,等等。
在一个实施例中,参照图像可以为用于在确定定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态的过程中进行参照的任意图像,例如,参照图像可以为棋盘图、标记图(即Aruco图),等等,本申请实施例以参照图像为棋盘图为例进行阐述;进一步可选的,当参照图像为棋盘图时,当参照图像在电子屏幕中进行显示时,参照图像中的每个棋盘格都需要显示于电子屏幕中;进一步可选的,参照图像可以是电子设备生成并发送至电子屏幕中的,可以根据具体需求设置参照图像的尺寸、参照图像在电子屏幕中的显示位置,等等。
S202,基于N个拍摄数据构建M个拍摄数据组。
其中,任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;可以根据具体需求对数量阈值进行设定,例如可以将数量阈值设定为4、5,等等。
S203,遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态。
其中,m∈[1,M]。
在一个实施例中,参照图像在电子屏幕空间下的位置信息可以包括:参照图像中的各个角点在电子屏幕空间下的三维位置信息。参照图像中的角点为参照图像中的兴趣点,可以根据具体需求进行设定;举例来说,若参照图像为棋盘图,参见图3a,为本申请实施例提供的一种参照图像中的角点的示意图,此时,参照图像中的角点为每个棋盘格的顶点,参见图3b,为本申请实施例提供的另一种参照图像中的角点的示意图,此时,参照图像中的角点为任意四个棋盘格的交点。参照图像中的各个角点在电子屏幕空间下的三维位置信息指的是,参照图像在电子屏幕中进行显示时,参照图像中的各个角点在基于电子屏幕构建的三维坐标系中的坐标信息;可选的,当电子屏幕为矩形屏幕时,可以将矩形屏幕的左上角作为原点构建三维坐标系,当电子屏幕为异形屏幕(例如圆形屏幕)时,可以基于该电子屏幕对应的虚拟屏幕的三维顶点信息构建三维坐标系,本申请实施例以电子屏幕为矩形屏幕为例进行阐述。
由于参照图像可以是电子设备生成并发送至电子屏幕中的,基于此,电子设备在获取N个拍摄数据之前,还可以获取电子屏幕配置信息以及参照图像配置信息,根据参照图像配置信息生成参照图像,并将参照图像发送至电子屏幕中进行显示;其中,电子屏幕配置信息可以用于确定基于电子屏幕构建的三维坐标系的坐标系信息,参照图像配置信息可以用于确定参照图像中的各个角点在电子屏幕空间下的三维位置信息。在一种可行的实施方式中,若参照图像为棋盘图,电子屏幕配置信息可以包括电子屏幕的尺寸,参照图像配置信息可以包括参照图像的尺寸,参照图像在电子屏幕中的显示位置,棋盘格的尺寸;举例来说,参见图4,为本申请实施例提供的一种确定参照图像中的各个角点在电子屏幕空间下的三维位置信息的示意图,若电子屏幕的尺寸为长5米、宽6米、高0米,参照图像的尺寸为长2米、宽3米、高0米,棋盘格的尺寸为长0.5米、宽0.5米、高0米,参照图像在电子屏幕中的显示位置指示,参照图像的左上角在电子屏幕空间下的三维位置信息为(0.5,0.5,0),则可以根据上述参照图像配置信息,来确定参照图像中的各个角点在电子屏幕空间下的三维位置信息,比如,如401标记所示的参照图像中的角点在电子屏幕空间下的三维位置信息为(1,1,0)。在另一种可行的实施方式中,若参照图像为Aruco图,那么此时,在确定参照图像中的各个角点在电子屏幕空间下的三维位置信息的过程中,电子设备可以根据拍摄图像中所拍摄到的部分Aruco图,分别得到相应的标记标识(即MarkId),进而可以根据MarkId映射得到对应的三维位置信息。
S204,从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态。
其中,目标相对姿态,以及目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态;目标相对姿态以及目标姿态,为基于M个拍摄数据组中的同一个拍摄数据组确定出的定位装置与摄像装置的相对姿态,以及电子屏幕在定位装置空间下的姿态。
本申请实施例中,可以在获取包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据之后,基于N个拍摄数据构建M个拍摄数据组;进而可以通过遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;然后可以从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态;可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据,确定出定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态,即可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的多个拍摄数据,实现对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定;并且通过对多个拍摄数据的组合,实现了对确定目标相对姿态以及目标姿态所需的拍摄数据组的扩充。
基于上述姿态标定方法的相关实施例,本申请实施例提供了另一种姿态标定方法。参见图5,为本申请实施例提供的另一种姿态标定方法的流程示意图。图5所示的姿态标定方法可由电子设备执行。图5所示的姿态标定方法可包括如下步骤:
S501,获取N个拍摄数据。
其中,任一拍摄数据包括一个拍摄图像,以及拍摄得到拍摄图像时,定位装置在定位装置空间下的姿态;其中,拍摄图像是由绑定在定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;步骤S501的相关过程与上述步骤S201的相关过程类似,在此不再赘述。
S502,基于N个拍摄数据构建M个拍摄数据组。
其中,任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;步骤S502的相关过程与上述步骤S202的相关过程类似,在此不再赘述。
S503,遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态。
其中,m∈[1,M]。
在一个实施例中,电子设备针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态,可以包括:基于H个拍摄数据中第h个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第h个参考姿态,以得到电子屏幕相对摄像装置的H个参考姿态;基于H个拍摄数据中的定位装置在定位装置空间下的姿态,以及H个参考姿态,确定出定位装置与摄像装置的第m个相对姿态;基于H个拍摄数据中的定位装置在定位装置空间下的姿态,H个参考姿态,以及定位装置与摄像装置的第m个相对姿态,确定出电子屏幕在定位装置空间下的第m个姿态;其中,h∈[1,H]。
具体实现中,第h个拍摄数据中的拍摄图像,可以称为第h个拍摄图像;电子设备基于H个拍摄数据中第h个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第h个参考姿态,可以包括:获取第h个拍摄图像中的各个角点在第h个拍摄图像中的二维位置信息;根据参照图像中的各个角点在电子屏幕空间下的三维位置信息,与第h个拍摄图像中的各个角点在第h个拍摄图像中的二维位置信息之间的位置映射关系,确定电子屏幕相对摄像装置的第h个参考姿态。其中,由于第h个拍摄图像是由绑定在定位装置上的摄像装置,从某一拍摄角度拍摄电子屏幕中的参照图像得到的,所以第h个拍摄图像中的各个角点与参照图像中的各个角点一一对应,且第h个拍摄图像中的各个角点在第h个拍摄图像中的位置,可以视为显示于电子屏幕中的参照图像中的各个角点的投影位置。基于此,电子设备根据参照图像中的各个角点在电子屏幕空间下的三维位置信息,与第h个拍摄图像中的各个角点在第h个拍摄图像中的二维位置信息之间的位置映射关系,确定电子屏幕相对摄像装置的第h个参考姿态时,可以采用姿态估计算法中的PNP(pespective-n-point)算法求解;进一步的,在采用PNP算法求解电子屏幕相对摄像装置的第h个参考姿态时,还需要利用摄像装置的内参;可选的,摄像装置的内参可以采用张正友标定法确定。其中,电子设备在获取第h个拍摄图像中的各个角点在第h个拍摄图像中的二维位置信息时,可以是使用跨平台计算机视觉库(OpenCV)查找到的相应角点的UV信息。
进一步的,电子设备基于H个拍摄数据中的定位装置在定位装置空间下的姿态,以及电子屏幕相对摄像装置的H个参考姿态,确定出定位装置与摄像装置的第m个相对姿态时,可以采用手眼标定算法得到。
更进一步的,H个拍摄数据中第h个拍摄数据中的定位装置在定位装置空间下的姿态,可以称为定位装置在定位装置空间下的第h个姿态;电子设备基于H个拍摄数据中的定位装置在定位装置空间下的姿态,H个参考姿态,以及定位装置与摄像装置的第m个相对姿态,确定出电子屏幕在定位装置空间下的第m个姿态,可以包括:基于定位装置在定位装置空间下的第h个姿态,以及定位装置与摄像装置的第m个相对姿态,确定出摄像装置在定位装置空间下的第h个姿态,以得到摄像装置在定位装置空间下的H个姿态;基于摄像装置在定位装置空间下的H个姿态,以及电子屏幕相对摄像装置的H个参考姿态,确定出电子屏幕在定位装置空间下的第m个姿态。其中,由于电子屏幕在定位装置空间下的姿态满足回路:电子屏幕在定位装置空间下的姿态*电子屏幕相对摄像装置的姿态=摄像装置在定位装置空间下的姿态,并且由于电子屏幕相对摄像装置的姿态在该种情况下包括H个,即电子屏幕相对摄像装置的H个参考姿态,摄像装置在定位装置空间下的姿态包括H个,即摄像装置在定位装置空间下的H个姿态,基于此,基于摄像装置在定位装置空间下的H个姿态,以及电子屏幕相对摄像装置的H个参考姿态,确定出的电子屏幕在定位装置空间下的第m个姿态,可以为采用分解算法(例如奇异值分解算法,即SVD(Singular Value Decomposition)算法)得到的电子屏幕在定位装置空间下的姿态的最优解,即将最优解下的电子屏幕在定位装置空间下的姿态作为电子屏幕在定位装置空间下的第m个姿态。
S504,针对第m个拍摄数据组,基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中的定位装置在定位装置空间下的姿态,确定第m个拍摄数据组对应的标定误差。
其中,第m个拍摄数据组对应的标定误差用于衡量:定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态的准确性。
在一个实施例中,电子设备针对第m个拍摄数据组,基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中的定位装置在定位装置空间下的姿态,确定第m个拍摄数据组对应的标定误差,可以包括:基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中第n个拍摄数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第n个对比姿态,以得到电子屏幕相对摄像装置的N个对比姿态;根据电子屏幕相对摄像装置的N个对比姿态,与电子屏幕相对摄像装置的N个参考姿态之间的差异,确定第m个拍摄数据组对应的标定误差;其中,电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态,是基于第n个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息确定出的,n∈[1,N]。
具体实现中,第n个拍摄数据中的拍摄图像,可以称为第n个拍摄图像;电子设备基于第n个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态,可以包括:获取第n个拍摄图像中的各个角点在第n个拍摄图像中的二维位置信息;根据参照图像中的各个角点在电子屏幕空间下的三维位置信息,与第n个拍摄图像中的各个角点在第n个拍摄图像中的二维位置信息之间的位置映射关系,确定电子屏幕相对摄像装置的第n个参考姿态;该相关过程与基于H个拍摄数据中第h个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第h个参考姿态的相关过程类似,在此不再赘述。
进一步的,N个拍摄数据中第n个拍摄数据中的定位装置在定位装置空间下的姿态,可以称为定位装置在定位装置空间下的第n个姿态,电子设备基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中第n个拍摄数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第n个对比姿态,可以包括:基于定位装置在定位装置空间下的第n个姿态,以及定位装置与摄像装置的第m个相对姿态,确定出摄像装置在定位装置空间下的第n个姿态;基于摄像装置在定位装置空间下的第n个姿态以及电子屏幕在定位装置空间下的第m个姿态,确定出电子屏幕相对摄像装置的第n个对比姿态。
更进一步的,电子设备根据电子屏幕相对摄像装置的N个对比姿态,与电子屏幕相对摄像装置的N个参考姿态之间的差异,确定第m个拍摄数据组对应的标定误差,可以包括:根据电子屏幕相对摄像装置的N个对比姿态中的第n个对比姿态,与电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定第m个拍摄数据组对应的第n个参考误差,以得到第m个拍摄数据组对应的N个参考误差;对第m个拍摄数据组对应的N个参考误差进行误差分析处理,得到第m个拍摄数据组对应的标定误差。可选的,电子设备对第m个拍摄数据组对应的N个参考误差进行误差分析处理,得到的第m个拍摄数据组对应的标定误差,包括但不限于以下几种:对第m个拍摄数据组对应的N个参考误差进行平均处理之后得到的平均误差,对第m个拍摄数据组对应的N个参考误差进行求和处理之后得到的误差和。
具体实现中,电子设备根据电子屏幕相对摄像装置的N个对比姿态中的第n个对比姿态,与电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定第m个拍摄数据组对应的第n个参考误差,可以包括:根据电子屏幕相对摄像装置的第n个参考姿态,从N个拍摄数据中的拍摄图像中,确定与第n个参考姿态相对应的第n个拍摄图像;获取第n个拍摄图像中的各个角点在第n个拍摄图像中的二维位置信息;根据参照图像中的各个角点在电子屏幕空间下的三维位置信息,以及电子屏幕相对摄像装置的第n个对比姿态,确定参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息;基于参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息,与第n个拍摄图像中的各个角点在第n个拍摄图像中的二维位置信息之间的差异,确定第m个拍摄数据组对应的第n个参考误差。
其中,电子设备根据参照图像中的各个角点在电子屏幕空间下的三维位置信息,以及电子屏幕相对摄像装置的第n个对比姿态,确定参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息,可以采用模型投影函数实现。电子设备基于参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息,与第n个拍摄图像中的各个角点在第n个拍摄图像中的二维位置信息之间的差异,确定第m个拍摄数据组对应的第n个参考误差的过程中,可以基于参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息,与第n个拍摄图像中的相应角点在第n个拍摄图像中的二维位置信息,确定相应角点在第n个拍摄图像中的距离。进一步可选的,可以将任一相应角点在第n个拍摄图像中的距离确定为第m个拍摄数据组对应的第n个参考误差,也可以将基于各个相应角点在第n个拍摄图像中的距离确定出的距离之和确定为第m个拍摄数据组对应的第n个参考误差,也可以将基于各个相应角点在第n个拍摄图像中的距离确定出的平均距离确定为第m个拍摄数据组对应的第n个参考误差,等等;其中,相应角点在第n个拍摄图像中的距离可以为物理距离、像素距离等等,本申请实施例以像素距离为例进行阐述。
S505,从M个拍摄数据组对应的标定误差中,确定出最小标定误差。
S506,将最小标定误差所指示的定位装置与摄像装置的相对姿态,确定为目标相对姿态,以及将最小标定误差所指示的电子屏幕在定位装置空间下的姿态确定为目标姿态。
其中,目标相对姿态,以及目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
本申请实施例中,可以在获取包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据之后,基于N个拍摄数据构建M个拍摄数据组;进而可以通过遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;然后可以针对第m个拍摄数据组,基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中的定位装置在定位装置空间下的姿态,确定第m个拍摄数据组对应的标定误差,从M个拍摄数据组对应的标定误差中,确定出最小标定误差,进而将最小标定误差所指示的定位装置与摄像装置的相对姿态,确定为目标相对姿态,以及将最小标定误差所指示的电子屏幕在定位装置空间下的姿态确定为目标姿态。也就是说,在从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态的过程中,可以选取最小标定误差所指示的目标拍摄数据组所对应的定位装置与摄像装置的相对姿态,以及电子屏幕在定位装置空间下的姿态,可提高确定出的目标相对姿态以及目标姿态的准确性,即可提高定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定准确性。
基于上述姿态标定方法的相关实施例,本申请实施例提供了另一种姿态标定方法。参见图6,为本申请实施例提供的另一种姿态标定方法的流程示意图。图6所示的姿态标定方法可由电子设备执行。图6所示的姿态标定方法可包括如下步骤:
S601,获取N个拍摄数据。
其中,任一拍摄数据包括一个拍摄图像,以及拍摄得到该拍摄图像时,定位装置在定位装置空间下的姿态;其中,拍摄图像是由绑定在定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数。
在一个实施例中,电子设备在获取N个拍摄数据之前,还可以获取电子屏幕配置信息以及参照图像配置信息,根据参照图像配置信息生成参照图像,并将参照图像发送至电子屏幕中进行显示;其中,电子屏幕配置信息可以用于确定基于电子屏幕构建的三维坐标系的坐标系信息,参照图像配置信息可以用于确定参照图像中的各个角点在电子屏幕空间下的三维位置信息。
在一种可行的实施方式中,若参照图像为棋盘图,电子屏幕配置信息可以包括电子屏幕的尺寸,参照图像配置信息可以包括参照图像的尺寸,参照图像在电子屏幕中的显示位置,棋盘格的尺寸;以图4所示的显示于电子屏幕中的参照图像为例,此时电子屏幕的尺寸为长5米、宽6米、高0米,参照图像的尺寸为长2米、宽3米、高0米,棋盘格的尺寸为长0.5米、宽0.5米、高0米,参照图像在电子屏幕中的显示位置指示,参照图像的左上角在电子屏幕空间下的三维位置信息为(0.5,0.5,0),则可以根据上述参照图像配置信息,来确定参照图像中的各个角点在电子屏幕空间下的三维位置信息,比如,如401标记所示的参照图像中的角点在电子屏幕空间下的三维位置信息为(1,1,0)。
在另一种可行的实施方式中,若参照图像为棋盘图,电子屏幕配置信息可以包括电子屏幕的尺寸,电子屏幕分块的数量,分块后的电子屏幕的尺寸,分块后的电子屏幕的像素大小,参照图像配置信息可以包括参照图像的尺寸(具体可以用参照图像包括分块后的电子屏幕的数量来表征)、参照图像在电子屏幕中的显示位置(具体可以用参照图像的左上角所指示的棋盘格,在电子屏幕中显示时所对应的分块后的电子屏幕的索引表征);以图4所示显示与电子屏幕中的参照图像为例,此时电子屏幕配置信息中包括的电子屏幕的尺寸为长5米、宽6米、高0米,电子屏幕分块的数量为长10块、宽12块,分块后的电子屏幕的尺寸为长0.5米、宽0.5米,分块后的电子屏幕的像素大小指示分辨率为216*216,参照图像配置信息中包括的参照图像的尺寸,用参照图像包括分块后的电子屏幕的数量来表征时,可以为长4块、宽6块,参照图像在电子屏幕中的显示位置,用参照图像的左上角所指示的棋盘格,在电子屏幕中显示时所对应的分块后的电子屏幕的索引表征时,可以为(2,2)。
进一步的,电子屏幕配置信息以及参照图像配置信息可以是对象录入的,具体可以是通过显示于电子设备中的配置信息录入界面录入的;参见图7,为本申请实施例提供的一种配置信息录入界面的示意图;该配置信息录入界面可以包括如701标记所示的电子屏幕配置信息录入区域,其中,电子设备的存储器中可以存储有预先录入的各种电子屏幕的尺寸、像素大小等信息,通过在如702标记所示的电子屏幕选取区域中选取需要配置的电子屏幕,电子设备就可以从存储器中获取相应电子屏幕的尺寸以及像素大小,此时,该被选取的电子屏幕的屏幕名称,可以显示于如701标记所示的电子屏幕配置信息录入区域中,具体显示为“LED屏名”;进一步的,电子屏幕分块的数量在如701标记所示的电子屏幕配置信息录入区域中,具体显示为“LED屏分块”,分块后的电子屏幕的尺寸在如701标记所示的电子屏幕配置信息录入区域中,具体显示为“块物理尺寸”,分块后的电子屏幕的像素大小在如701标记所示的电子屏幕配置信息录入区域中,具体显示为“块像素大小”。可选的,当录入电子屏幕分块的数量后,电子设备可以根据电子屏幕分块的数量、电子屏幕的尺寸以及像素大小,生成分块后的电子屏幕的尺寸以及分块后的电子屏幕的像素大小,并显示于相应的录入区域中。
该配置信息录入界面可以包括如703标记所示的参照图像配置信息录入区域,其中,用参照图像包括分块后的电子屏幕的数量来表征的参照图像的尺寸时,在如703标记所示的参照图像配置信息录入区域中,具体显示为“生成块长宽”,用参照图像的左上角所指示的棋盘格,在电子屏幕中显示时所对应的分块后的电子屏幕的索引,来表征参照图像在电子屏幕中的显示位置时,在如703标记所示的参照图像配置信息录入区域中,具体显示为“左上角索引”,进一步的,可以通过如703标记所示的参照图像配置信息录入区域中,具体显示为“图片类型”的区域中,选择参照图像的类型,例如可以选择棋盘图(棋盘格)或Aruco图,当选择Aruco图时,需要对起始标记标识(即起始MarkId)进行设定。
进一步可选的,该配置信息录入界面还可以包括如704标记所示的配置操作区域,该配置操作区域中可以包括新增组件、修改组件、删除组件、顶点绑定组件(具体显示为“绑定顶点”)、参照图像生成组件(具体显示为“生成棋盘/Aruco图”);通过对新增组件、修改组件、删除组件的触发,可以分别实现对电子屏幕的尺寸、像素大小等信息的新增录入、修改以及删除,通过对顶点绑定组件的触发,可以实现参照图像的相关信息与基于电子屏幕构建的三维坐标系的绑定,通过对参照图像生成组件的触发,可以生成参照图像,并将参照图像发送至电子屏幕中进行显示,并进一步得到参照图像中的角点在电子屏幕空间下的三维位置信息。
进一步可选的,该配置信息录入界面还可以包括如705标记所示的棋盘信息配置区域,该棋盘信息配置区域可以实现横向角点数量、纵向角点数量、每格横向尺寸、每格纵向尺寸的录入,在该棋盘信息配置区域中录入的相关信息用于在需要对棋盘图进行输出打印时,生成棋盘图并进行打印。
S602,基于N个拍摄数据构建M个拍摄数据组。
其中,任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数。
S603,遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态。
其中,m∈[1,M]。
S604,针对第m个拍摄数据组,基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中的定位装置在定位装置空间下的姿态,确定第m个拍摄数据组对应的标定误差。
其中,第m个拍摄数据组对应的标定误差用于衡量:定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态的准确性。
S605,从M个拍摄数据组对应的标定误差中,确定出最小标定误差。
S606,将最小标定误差所指示的定位装置与摄像装置的相对姿态,确定为目标相对姿态,以及将最小标定误差所指示的电子屏幕在定位装置空间下的姿态确定为目标姿态。
其中,目标相对姿态,以及目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态;步骤S601至步骤S606的相关过程,与上述步骤S501至步骤S506的相关过程类似,在此不再赘述。
在一个实施例中,电子设备还可以输出最小标定误差;输出最小标定误差所指示的目标拍摄数据组对应的N个参考误差;获取在确定目标拍摄数据组对应的第n个参考误差的过程中,得到的参照图像中的各个角点在第n个拍摄图像中的映射后的二维位置信息,作为参照图像中的各个角点在第n个拍摄图像中的目标二维位置信息;将参照图像中的各个角点在第n个拍摄图像中的目标二维位置信息,映射至第n个拍摄图像中进行显示,n∈[1,N];以使对象可以对定位装置与摄像装置的目标相对姿态和电子屏幕在定位装置空间下的目标姿态所对应的标定误差进行直观的了解,以及,对目标相对姿态以及目标姿态下,基于电子屏幕相对摄像装置的各个对比姿态与相应参考姿态,确定出的各个参考误差进行直观的了解,即可以直观了解到N个拍摄数据中,哪些拍摄数据带来的参考误差较大。进一步可选的,电子设备还可以输出N个拍摄数据中,除最小标定误差所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据的指示信息,以提示对象可以删除该其他拍摄数据。
参见图8,为本申请实施例提供的一种姿态标定界面的示意图;该姿态标定界面可以包括如801标记所示的拍摄数据录入区域,电子设备在接收到拍摄数据之后,可以将拍摄数据存储在文件夹中,基于此,可以通过在该拍摄数据录入区域中录入相应的姿态文件夹以及姿态文件名,从相应文件夹中获取拍摄数据;进一步的,该姿态标定界面还可以包括如802标记所示的参考误差显示区域,用于显示最小标定误差所指示的目标拍摄数据组对应的N个参考误差,此时,第1个参考误差为索引0所指示的参考误差5.07,第2个参考误差为索引1所指示的参考误差8.87,依次类推;通过触发该参考误差显示区域内的计算组件,电子设备可以输出最小标定误差,最小标定误差可以在如803标记所示的标定误差显示区域内进行悬浮显示,其中,该最小标定误差为9.13484,目标拍摄数据组包括了索引0、2、4、5、6所指示的拍摄数据,所以可以输出索引1、3,以提示对象可以删除索引1、3所指示的拍摄数据;该姿态标定界面还可以包括如804标记所示的误差对比显示区域,可以在该误差对比显示区域中,显示将参照图像中的各个角点在第n个拍摄图像中的目标二维位置信息,映射至第n个拍摄图像后的图像。进一步可选的,该姿态标定界面还可以包括如805标记所示的摄像装置参数显示区域,用于对摄像装置的内参进行显示,具体包括:焦距Fx和Fy,摄像装置光心在图像中的位置Center,以及畸变系数K1;进一步可选的,该姿态标定界面还可以包括如806标记所示的第一姿态显示区域,用于对定位装置在定位装置空间下的姿态进行显示,进一步可选的,该姿态标定界面还可以包括如807标记所示的第二姿态显示区域,用于对定位装置与摄像装置的目标相对姿态进行显示。进一步可选的,该姿态标定界面还可以包括如808标记所示的摄像装置物理参数显示区域,用于配置摄像装置内传感器的尺寸,其与摄像装置的内参可以确定出计算焦距与真实焦距的差距,可以知道的是该相关配置是非必需的。
S607,获取K个测试数据。
其中,任一测试数据包括一个测试图像,以及拍摄得到该测试图像时,定位装置在定位装置空间下的姿态,其中,测试图像是由绑定在定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,K为正整数。
S608,基于K个测试数据中第k个测试数据中的测试图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第k个测试参考姿态,以得到电子屏幕相对摄像装置的K个测试参考姿态。
其中,k∈[1,K];步骤S608的相关过程与上述基于第n个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态的相关过程类似,在此不再赘述。
S609,基于定位装置与摄像装置的目标相对姿态,电子屏幕在定位装置空间下的目标姿态,以及K个测试数据中第k个测试数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第k个测试对比姿态,以得到电子屏幕相对摄像装置的K个测试对比姿态。
其中,步骤S609的相关过程,与上述基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中第n个拍摄数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第n个对比姿态的相关过程类似,在此不再赘述。
S610,根据电子屏幕相对摄像装置的第k个测试对比姿态,与电子屏幕相对摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差。
其中,步骤S610的相关过程,与上述根据电子屏幕相对摄像装置的N个对比姿态中的第n个对比姿态,与电子屏幕相对摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定第m个拍摄数据组对应的第n个参考误差的相关过程类似,在此不再赘述。
S611,根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至N个拍摄数据中,以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态。
其中,L个测试数据对应的测试参考误差,大于K个测试参考误差中,除L个测试数据对应的测试参考误差外的其他测试参考误差;根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至N个拍摄数据中,是为了从K个测试数据中选取测试参考误差较大的L个测试数据,即选取拍摄角度效果较差的L个测试数据,添加至N个拍摄数据中,以使可以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态,进一步提高目标相对姿态以及目标姿态的准确性。在一种可行的实施方式中,根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,可以从K个测试数据中,选取测试参考误差大于参考误差阈值的测试数据,该参考误差阈值可以根据具体需求进行设定,例如设定为10像素。在另一种可行的实施方式中,根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,可以从K个测试数据中,选取测试参考误差排列在前L大的测试数据,此时L可以是根据具体需求预先设定的数值。
在另一种可行的实施方式中,电子设备还可以从N个拍摄数据中,删除目标相对姿态所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据;那么此时,电子设备根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至N个拍摄数据中,可以包括:根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至删除后的拍摄数据中。也就是说,电子设备可以从N个拍摄数据中,删除最小标定误差所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据,进而根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至删除后的拍摄数据中,以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态,由于N个拍摄数据中,除最小标定误差所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,并非用于确定目标相对姿态以及目标姿态所使用的拍摄数据,所以,将该其他拍摄数据删除,并进一步根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至删除后的拍摄数据中,可以加快基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态的速率。
举例来说,参见图9,为本申请实施例提供的一种更新目标相对姿态以及目标姿态的示意图,在如901标记所示的姿态更新界面中触发开始组件之后,电子设备会根据持续录入的测试数据,生成相应的测试参考误差,并在如902标记所示的区域内,将该测试参考误差所对应的,参照图像中的各个角点在该测试图像中的目标二维位置信息,映射至该测试图像中进行显示;在测试参考误差大于参考误差阈值的情况下,记录下该测试数据。在该姿态更新界面中触发结束组件之后,电子设备会结束录入测试数据,并在如903标记所示的序列化选项被选中之后,将记录下的各个测试数据作为拍摄数据,添加至删除后的拍摄数据中,并进行序列化处理,得到更新后的拍摄数据;进而在计算组件被触发之后,基于更新后的拍摄数据更新目标相对姿态以及目标姿态,此时,更新后的拍摄数据的数量为8个,基于更新后的拍摄数据确定出的最小标定误差,该最小标定误差所指示的目标拍摄数据组对应的8个参考误差等信息在如904标记所示的姿态标定页面中进行显示;其中,最小标定误差为5.562366,目标拍摄数据组包括了索引0、1、2、7所指示的拍摄数据,所以可以输出索引3、4、5、6,以提示对象可以删除索引3、4、5、6所指示的拍摄数据,第1个参考误差为索引0所指示的参考误差6.50,第2个参考误差为索引1所指示的参考误差1.78,依次类推。可选的,如901标记所示的姿态更新界面中还可以包括测试数据记录组件(具体显示为“记录帧”),以使可以通过对该测试数据记录组件的触发,实现对相应测试数据的记录。
参见图10,为本申请实施例提供的一种更新目标相对姿态以及目标姿态的流程示意图;电子设备可以获取电子屏幕配置信息以及参照图像配置信息,根据参照图像配置信息生成参照图像,并将参照图像发送至电子屏幕中进行显示;其中,电子屏幕配置信息可以用于确定基于电子屏幕构建的三维坐标系的坐标系信息,参照图像配置信息可以用于确定参照图像中的各个角点在电子屏幕空间下的三维位置信息。进一步的,电子设备可以获取N个拍摄数据,任一拍摄数据包括一个拍摄图像,以及拍摄得到拍摄图像时,定位装置在定位装置空间下的姿态,并基于N个拍摄数据构建M个拍摄数据组。遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据;基于H个拍摄数据中第h个拍摄数据中的拍摄图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第h个参考姿态,以得到电子屏幕相对摄像装置的H个参考姿态;基于H个拍摄数据中的定位装置在定位装置空间下的姿态,以及H个参考姿态,确定出定位装置与摄像装置的第m个相对姿态;基于H个拍摄数据中的定位装置在定位装置空间下的姿态,H个参考姿态,以及定位装置与摄像装置的第m个相对姿态,确定出电子屏幕在定位装置空间下的第m个姿态。针对第m个拍摄数据组,基于定位装置与摄像装置的第m个相对姿态,电子屏幕在定位装置空间下的第m个姿态,以及N个拍摄数据中的定位装置在定位装置空间下的姿态,确定第m个拍摄数据组对应的标定误差;从M个拍摄数据组对应的标定误差中,确定出最小标定误差;将最小标定误差所指示的定位装置与摄像装置的相对姿态,确定为目标相对姿态,以及将最小标定误差所指示的电子屏幕在定位装置空间下的姿态确定为目标姿态。
进一步的,可以基于获取的K个测试数据、目标相对姿态以及目标姿态更新N个拍摄数据,以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态。具体的,电子设备可以基于K个测试数据中第k个测试数据中的测试图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第k个测试参考姿态,以得到电子屏幕相对摄像装置的K个测试参考姿态;基于定位装置与摄像装置的目标相对姿态,电子屏幕在定位装置空间下的目标姿态,以及K个测试数据中第k个测试数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第k个测试对比姿态,以得到电子屏幕相对摄像装置的K个测试对比姿态;根据电子屏幕相对摄像装置的第k个测试对比姿态,与电子屏幕相对摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差;根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至N个拍摄数据中,以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态。
本申请实施例中,在基于N个拍摄数据得到定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态之后,还可以获取K个测试数据,基于K个测试数据中第k个测试数据中的测试图像,以及参照图像在电子屏幕空间下的位置信息,确定出电子屏幕相对摄像装置的第k个测试参考姿态,以得到电子屏幕相对摄像装置的K个测试参考姿态;基于定位装置与摄像装置的目标相对姿态,电子屏幕在定位装置空间下的目标姿态,以及K个测试数据中第k个测试数据中的定位装置在定位装置空间下的姿态,确定出电子屏幕相对摄像装置的第k个测试对比姿态,以得到电子屏幕相对摄像装置的K个测试对比姿态;根据电子屏幕相对摄像装置的第k个测试对比姿态,与电子屏幕相对摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差;进而可以根据K个测试参考误差,从K个测试数据中选取L个测试数据作为拍摄数据,添加至N个拍摄数据中,以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态;可以从K个测试数据中选取测试参考误差较大的L个测试数据,即选取拍摄角度效果较差的L个测试数据,添加至N个拍摄数据中,以使可以基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态,进一步提高目标相对姿态以及目标姿态的准确性,即可进一步提高定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定准确性。并且,还可以从N个拍摄数据中,删除目标相对姿态所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据,并将选取的L个测试数据作为拍摄数据,添加至删除后的拍摄数据中,可以加快基于更新后的拍摄数据迭代更新目标相对姿态以及目标姿态的速率。
基于上述姿态标定方法的相关实施例,本申请实施例提供了一种姿态标定装置。参见图11,为本申请实施例提供的一种姿态标定装置的结构示意图,该姿态标定装置可包括获取单元1101以及处理单元1102。图11所示的姿态标定装置可运行如下单元:
获取单元1101,用于获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
处理单元1102,用于基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
所述处理单元1102,还用于遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
所述处理单元1102,还用于从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
在一个实施例中,所述处理单元1102从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态时,具体执行如下操作:
针对所述第m个拍摄数据组,基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差;所述第m个拍摄数据组对应的标定误差用于衡量:所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态的准确性;
从所述M个拍摄数据组对应的标定误差中,确定出最小标定误差;
将所述最小标定误差所指示的所述定位装置与所述摄像装置的相对姿态,确定为所述目标相对姿态,以及将所述最小标定误差所指示的所述电子屏幕在定位装置空间下的姿态确定为所述目标姿态。
在一个实施例中,所述处理单元1102基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差时,具体执行如下操作:
基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中第n个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第n个对比姿态,以得到所述电子屏幕相对所述摄像装置的N个对比姿态;n∈[1,N];
根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差;其中,所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态,是基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息确定出的。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;所述第n个拍摄数据中的拍摄图像,称为第n个拍摄图像;
所述处理单元1102基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态时,具体执行如下操作:
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的位置映射关系,确定所述电子屏幕相对所述摄像装置的第n个参考姿态。
在一个实施例中,所述处理单元1102根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差时,具体执行如下操作:
根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差,以得到所述第m个拍摄数据组对应的N个参考误差;
对所述第m个拍摄数据组对应的N个参考误差进行误差分析处理,得到所述第m个拍摄数据组对应的标定误差。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述处理单元1102根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差时,具体执行如下操作:
根据所述电子屏幕相对所述摄像装置的第n个参考姿态,从所述N个拍摄数据中的拍摄图像中,确定与所述第n个参考姿态相对应的第n个拍摄图像;
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,以及所述电子屏幕相对所述摄像装置的第n个对比姿态,确定所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息;
基于所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述处理单元1102还用于:
输出所述最小标定误差;
输出所述最小标定误差所指示的目标拍摄数据组对应的N个参考误差;
获取在确定所述目标拍摄数据组对应的第n个参考误差的过程中,得到的所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,作为所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息;
将所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息,映射至所述第n个拍摄图像中进行显示。
在一个实施例中,所述获取单元1101还用于获取K个测试数据;任一测试数据包括一个测试图像,以及拍摄得到所述测试图像时,所述定位装置在定位装置空间下的姿态,K为正整数;
处理单元1102还用于基于所述K个测试数据中第k个测试数据中的测试图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第k个测试参考姿态,以得到所述电子屏幕相对所述摄像装置的K个测试参考姿态;k∈[1,K];
所述处理单元1102还用于基于所述定位装置与所述摄像装置的目标相对姿态,所述电子屏幕在定位装置空间下的目标姿态,以及所述K个测试数据中第k个测试数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第k个测试对比姿态,以得到所述电子屏幕相对所述摄像装置的K个测试对比姿态;
所述处理单元1102还用于根据所述电子屏幕相对所述摄像装置的第k个测试对比姿态,与所述电子屏幕相对所述摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差;
所述处理单元1102还用于根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中,以基于更新后的拍摄数据迭代更新所述目标相对姿态以及所述目标姿态;其中,所述L个测试数据对应的测试参考误差,大于所述K个测试参考误差中,除所述L个测试数据对应的测试参考误差外的其他测试参考误差。
在一个实施例中,所述处理单元1102还用于从所述N个拍摄数据中,删除所述目标相对姿态所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据;
所述处理单元1102根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中时,具体执行如下操作:
根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述删除后的拍摄数据中。
在一个实施例中,所述处理单元1102基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态时,具体执行如下操作:
基于所述H个拍摄数据中第h个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第h个参考姿态,以得到所述电子屏幕相对所述摄像装置的H个参考姿态,h∈[1,H];
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,以及所述H个参考姿态,确定出所述定位装置与所述摄像装置的第m个相对姿态;
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
在一个实施例中,所述H个拍摄数据中第h个拍摄数据中的所述定位装置在定位装置空间下的姿态,称为所述定位装置在定位装置空间下的第h个姿态;
所述处理单元1102基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态时,具体执行如下操作:
基于所述定位装置在定位装置空间下的第h个姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述摄像装置在定位装置空间下的第h个姿态,以得到所述摄像装置在定位装置空间下的H个姿态;
基于所述摄像装置在定位装置空间下的H个姿态,以及所述电子屏幕相对所述摄像装置的H个参考姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
根据本申请的一个实施例,图2、图5以及图6所示的姿态标定方法所涉及的各个步骤可以是由图11所示的姿态标定装置中的各个单元来执行的。例如,图2所示的步骤S201可由图11所示的姿态标定装置中的获取单元1101来执行;图2所示的步骤S202至步骤S204可由图11所示的姿态标定装置中的处理单元1102来执行。又如,图5所示的步骤S501可由图11所示的姿态标定装置中的获取单元1101来执行;图5所示的步骤S502至步骤S506可由图11所示的姿态标定装置中的处理单元1102来执行。再如,图6所示的步骤S601、步骤S607可由图11所示的姿态标定装置中的获取单元1101来执行;图6所示的步骤S602至步骤S606、步骤S608至步骤S611可由图11所示的姿态标定装置中的处理单元1102来执行。
根据本申请的另一个实施例,图11所示的姿态标定装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于逻辑功能划分的姿态标定装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图5以及图6所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图11中所示的姿态标定装置,以及来实现本申请实施例姿态标定方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,可以在获取包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据之后,基于N个拍摄数据构建M个拍摄数据组;进而可以通过遍历M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于H个拍摄数据,以及参照图像在电子屏幕空间下的位置信息,确定出定位装置与摄像装置的第m个相对姿态,以及电子屏幕在定位装置空间下的第m个姿态;然后可以从基于M个拍摄数据组确定出的定位装置与摄像装置的M个相对姿态,以及电子屏幕在定位装置空间下的M个姿态中,选取定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态;可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的N个拍摄数据,确定出定位装置与摄像装置的目标相对姿态,以及电子屏幕在定位装置空间下的目标姿态,即可以基于包括了拍摄图像以及相应定位装置在定位装置空间下的姿态的多个拍摄数据,实现对定位装置与摄像装置与电子屏幕三者之间的相对姿态关系的标定;并且通过对多个拍摄数据的组合,实现了对确定目标相对姿态以及目标姿态所需的拍摄数据组的扩充。
基于上述姿态标定方法的相关实施例以及姿态标定装置实施例,本申请还提供了一种电子设备。参见图12,为本申请实施例提供的一种电子设备的结构示意图。图12所示的电子设备可至少包括处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204。其中,处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204可通过总线或其他方式连接。
计算机存储介质1204可以存储在电子设备的存储器中,计算机存储介质1204用于存储计算机程序,计算机程序包括程序指令,处理器1201用于执行计算机存储介质1204存储的程序指令。处理器1201(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现上述姿态标定方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory),计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器1201加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速随机存取存储器(random access memory,RAM)存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器1201加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2、图5以及图6的姿态标定方法实施例中的方法的相应步骤,具体实现中处理器1201可用于:
获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
在一个实施例中,所述处理器1201从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态时,具体执行如下操作:
针对所述第m个拍摄数据组,基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差;所述第m个拍摄数据组对应的标定误差用于衡量:所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态的准确性;
从所述M个拍摄数据组对应的标定误差中,确定出最小标定误差;
将所述最小标定误差所指示的所述定位装置与所述摄像装置的相对姿态,确定为所述目标相对姿态,以及将所述最小标定误差所指示的所述电子屏幕在定位装置空间下的姿态确定为所述目标姿态。
在一个实施例中,所述处理器1201基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差时,具体执行如下操作:
基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中第n个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第n个对比姿态,以得到所述电子屏幕相对所述摄像装置的N个对比姿态;n∈[1,N];
根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差;其中,所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态,是基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息确定出的。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;所述第n个拍摄数据中的拍摄图像,称为第n个拍摄图像;
所述处理器1201基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态时,具体执行如下操作:
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的位置映射关系,确定所述电子屏幕相对所述摄像装置的第n个参考姿态。
在一个实施例中,所述处理器1201根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差时,具体执行如下操作:
根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差,以得到所述第m个拍摄数据组对应的N个参考误差;
对所述第m个拍摄数据组对应的N个参考误差进行误差分析处理,得到所述第m个拍摄数据组对应的标定误差。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述处理器1201根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差时,具体执行如下操作:
根据所述电子屏幕相对所述摄像装置的第n个参考姿态,从所述N个拍摄数据中的拍摄图像中,确定与所述第n个参考姿态相对应的第n个拍摄图像;
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,以及所述电子屏幕相对所述摄像装置的第n个对比姿态,确定所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息;
基于所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差。
在一个实施例中,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述处理器1201还用于:
输出所述最小标定误差;
输出所述最小标定误差所指示的目标拍摄数据组对应的N个参考误差;
获取在确定所述目标拍摄数据组对应的第n个参考误差的过程中,得到的所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,作为所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息;
将所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息,映射至所述第n个拍摄图像中进行显示。
在一个实施例中,所述处理器1201还用于:
获取K个测试数据;任一测试数据包括一个测试图像,以及拍摄得到所述测试图像时,所述定位装置在定位装置空间下的姿态,K为正整数;
基于所述K个测试数据中第k个测试数据中的测试图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第k个测试参考姿态,以得到所述电子屏幕相对所述摄像装置的K个测试参考姿态;k∈[1,K];
基于所述定位装置与所述摄像装置的目标相对姿态,所述电子屏幕在定位装置空间下的目标姿态,以及所述K个测试数据中第k个测试数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第k个测试对比姿态,以得到所述电子屏幕相对所述摄像装置的K个测试对比姿态;
根据所述电子屏幕相对所述摄像装置的第k个测试对比姿态,与所述电子屏幕相对所述摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差;
根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中,以基于更新后的拍摄数据迭代更新所述目标相对姿态以及所述目标姿态;其中,所述L个测试数据对应的测试参考误差,大于所述K个测试参考误差中,除所述L个测试数据对应的测试参考误差外的其他测试参考误差。
在一个实施例中,所述处理器1201还用于从所述N个拍摄数据中,删除所述目标相对姿态所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据;
所述处理器1201根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中时,具体执行如下操作:
根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述删除后的拍摄数据中。
在一个实施例中,所述处理器1201基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态时,具体执行如下操作:
基于所述H个拍摄数据中第h个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第h个参考姿态,以得到所述电子屏幕相对所述摄像装置的H个参考姿态,h∈[1,H];
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,以及所述H个参考姿态,确定出所述定位装置与所述摄像装置的第m个相对姿态;
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
在一个实施例中,所述H个拍摄数据中第h个拍摄数据中的所述定位装置在定位装置空间下的姿态,称为所述定位装置在定位装置空间下的第h个姿态;
所述处理器1201基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态时,具体执行如下操作:
基于所述定位装置在定位装置空间下的第h个姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述摄像装置在定位装置空间下的第h个姿态,以得到所述摄像装置在定位装置空间下的H个姿态;
基于所述摄像装置在定位装置空间下的H个姿态,以及所述电子屏幕相对所述摄像装置的H个参考姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序存储在计算机存储介质中;电子设备的处理器从计算机存储介质中读取该计算机程序,处理器执行该计算机程序,使得电子设备执行上述如图2、图5以及图6所示的方法实施例。其中,计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种姿态标定方法,其特征在于,包括:
获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
2.如权利要求1所述的方法,其特征在于,所述从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态,包括:
针对所述第m个拍摄数据组,基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差;所述第m个拍摄数据组对应的标定误差用于衡量:所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态的准确性;
从所述M个拍摄数据组对应的标定误差中,确定出最小标定误差;
将所述最小标定误差所指示的所述定位装置与所述摄像装置的相对姿态,确定为所述目标相对姿态,以及将所述最小标定误差所指示的所述电子屏幕在定位装置空间下的姿态确定为所述目标姿态。
3.如权利要求2所述的方法,其特征在于,所述基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定所述第m个拍摄数据组对应的标定误差,包括:
基于所述定位装置与所述摄像装置的第m个相对姿态,所述电子屏幕在定位装置空间下的第m个姿态,以及所述N个拍摄数据中第n个拍摄数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第n个对比姿态,以得到所述电子屏幕相对所述摄像装置的N个对比姿态;n∈[1,N];
根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差;其中,所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态,是基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息确定出的。
4.如权利要求3所述的方法,其特征在于,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;所述第n个拍摄数据中的拍摄图像,称为第n个拍摄图像;
基于所述第n个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态,包括:
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的位置映射关系,确定所述电子屏幕相对所述摄像装置的第n个参考姿态。
5.如权利要求3所述的方法,其特征在于,所述根据所述电子屏幕相对所述摄像装置的N个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态之间的差异,确定所述第m个拍摄数据组对应的标定误差,包括:
根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差,以得到所述第m个拍摄数据组对应的N个参考误差;
对所述第m个拍摄数据组对应的N个参考误差进行误差分析处理,得到所述第m个拍摄数据组对应的标定误差。
6.如权利要求5所述的方法,其特征在于,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述根据所述电子屏幕相对所述摄像装置的N个对比姿态中的第n个对比姿态,与所述电子屏幕相对所述摄像装置的N个参考姿态中的第n个参考姿态之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差,包括:
根据所述电子屏幕相对所述摄像装置的第n个参考姿态,从所述N个拍摄数据中的拍摄图像中,确定与所述第n个参考姿态相对应的第n个拍摄图像;
获取所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息;
根据所述参照图像中的各个角点在电子屏幕空间下的三维位置信息,以及所述电子屏幕相对所述摄像装置的第n个对比姿态,确定所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息;
基于所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,与所述第n个拍摄图像中的各个角点在所述第n个拍摄图像中的二维位置信息之间的差异,确定所述第m个拍摄数据组对应的第n个参考误差。
7.如权利要求5所述的方法,其特征在于,所述参照图像在电子屏幕空间下的位置信息包括:所述参照图像中的各个角点在电子屏幕空间下的三维位置信息;
所述方法还包括:
输出所述最小标定误差;
输出所述最小标定误差所指示的目标拍摄数据组对应的N个参考误差;
获取在确定所述目标拍摄数据组对应的第n个参考误差的过程中,得到的所述参照图像中的各个角点在所述第n个拍摄图像中的映射后的二维位置信息,作为所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息;
将所述参照图像中的各个角点在所述第n个拍摄图像中的目标二维位置信息,映射至所述第n个拍摄图像中进行显示。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取K个测试数据;任一测试数据包括一个测试图像,以及拍摄得到所述测试图像时,所述定位装置在定位装置空间下的姿态,K为正整数;
基于所述K个测试数据中第k个测试数据中的测试图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第k个测试参考姿态,以得到所述电子屏幕相对所述摄像装置的K个测试参考姿态;k∈[1,K];
基于所述定位装置与所述摄像装置的目标相对姿态,所述电子屏幕在定位装置空间下的目标姿态,以及所述K个测试数据中第k个测试数据中的所述定位装置在定位装置空间下的姿态,确定出所述电子屏幕相对所述摄像装置的第k个测试对比姿态,以得到所述电子屏幕相对所述摄像装置的K个测试对比姿态;
根据所述电子屏幕相对所述摄像装置的第k个测试对比姿态,与所述电子屏幕相对所述摄像装置的第k个测试参考姿态之间的差异,确定第k个测试参考误差,以得到K个测试参考误差;
根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中,以基于更新后的拍摄数据迭代更新所述目标相对姿态以及所述目标姿态;其中,所述L个测试数据对应的测试参考误差,大于所述K个测试参考误差中,除所述L个测试数据对应的测试参考误差外的其他测试参考误差。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
从所述N个拍摄数据中,删除所述目标相对姿态所指示的目标拍摄数据组中的各个拍摄数据外的其他拍摄数据,得到删除后的拍摄数据;
所述根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述N个拍摄数据中,包括:
根据所述K个测试参考误差,从所述K个测试数据中选取L个测试数据作为拍摄数据,添加至所述删除后的拍摄数据中。
10.如权利要求1所述的方法,其特征在于,所述基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态,包括:
基于所述H个拍摄数据中第h个拍摄数据中的拍摄图像,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述电子屏幕相对所述摄像装置的第h个参考姿态,以得到所述电子屏幕相对所述摄像装置的H个参考姿态,h∈[1,H];
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,以及所述H个参考姿态,确定出所述定位装置与所述摄像装置的第m个相对姿态;
基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
11.如权利要求10所述的方法,其特征在于,所述H个拍摄数据中第h个拍摄数据中的所述定位装置在定位装置空间下的姿态,称为所述定位装置在定位装置空间下的第h个姿态;
所述基于所述H个拍摄数据中的所述定位装置在定位装置空间下的姿态,所述H个参考姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态,包括:
基于所述定位装置在定位装置空间下的第h个姿态,以及所述定位装置与所述摄像装置的第m个相对姿态,确定出所述摄像装置在定位装置空间下的第h个姿态,以得到所述摄像装置在定位装置空间下的H个姿态;
基于所述摄像装置在定位装置空间下的H个姿态,以及所述电子屏幕相对所述摄像装置的H个参考姿态,确定出所述电子屏幕在定位装置空间下的第m个姿态。
12.一种姿态标定装置,其特征在于,包括:
获取单元,用于获取N个拍摄数据;任一拍摄数据包括一个拍摄图像,以及拍摄得到所述拍摄图像时,定位装置在定位装置空间下的姿态;其中,所述拍摄图像是由绑定在所述定位装置上的摄像装置,从任一拍摄角度拍摄电子屏幕中的参照图像得到的,N为正整数;
处理单元,用于基于所述N个拍摄数据构建M个拍摄数据组;任一拍摄数据组中的拍摄数据的数量为H,H∈[Z,N],Z为数量阈值,M为正整数;
所述处理单元,还用于遍历所述M个拍摄数据组,针对当前遍历的第m个拍摄数据组中的H个拍摄数据,基于所述H个拍摄数据,以及所述参照图像在电子屏幕空间下的位置信息,确定出所述定位装置与所述摄像装置的第m个相对姿态,以及所述电子屏幕在定位装置空间下的第m个姿态;m∈[1,M];
所述处理单元,还用于从基于所述M个拍摄数据组确定出的所述定位装置与所述摄像装置的M个相对姿态,以及所述电子屏幕在定位装置空间下的M个姿态中,选取所述定位装置与所述摄像装置的目标相对姿态,以及所述电子屏幕在定位装置空间下的目标姿态;所述目标相对姿态,以及所述目标姿态用于确定虚拟摄像装置相对虚拟屏幕的姿态。
13.一种电子设备,其特征在于,所述电子设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的姿态标定方法。
14.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-11任一项所述的姿态标定方法。
15.一种计算机程序产品或计算机程序,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,用于加载并执行如权利要求1-11任一项所述的姿态标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171165.6A CN116503483A (zh) | 2022-09-23 | 2022-09-23 | 姿态标定方法、装置、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171165.6A CN116503483A (zh) | 2022-09-23 | 2022-09-23 | 姿态标定方法、装置、设备、存储介质及计算机程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116503483A true CN116503483A (zh) | 2023-07-28 |
Family
ID=87317200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211171165.6A Pending CN116503483A (zh) | 2022-09-23 | 2022-09-23 | 姿态标定方法、装置、设备、存储介质及计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503483A (zh) |
-
2022
- 2022-09-23 CN CN202211171165.6A patent/CN116503483A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN104715479A (zh) | 基于增强虚拟的场景复现检测方法 | |
CN107430686A (zh) | 用于移动设备定位的区域描述文件的众包创建和更新 | |
CN110648363B (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
Barandiaran et al. | Real-time optical markerless tracking for augmented reality applications | |
US10769811B2 (en) | Space coordinate converting server and method thereof | |
da Silveira et al. | Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications | |
CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
CN115035235A (zh) | 三维重建方法及装置 | |
JP2019095876A (ja) | 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体 | |
KR102566300B1 (ko) | 실내 측위 방법, 장치, 장비 및 저장 매체 | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
CN108028904B (zh) | 移动设备上光场增强现实/虚拟现实的方法和系统 | |
KR20180067426A (ko) | 희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치 | |
KR20130118761A (ko) | 증강 현실 생성을 위한 방법 및 시스템 | |
CN114757822B (zh) | 一种基于双目的人体三维关键点检测方法及系统 | |
CN114089836B (zh) | 标注方法、终端、服务器和存储介质 | |
CN116503483A (zh) | 姿态标定方法、装置、设备、存储介质及计算机程序产品 | |
CN115619944A (zh) | 一种三维场景加载方法、装置和设备 | |
CN112634439B (zh) | 一种3d信息展示方法及装置 | |
CN110196638B (zh) | 基于目标检测和空间投影的移动端增强现实方法和系统 | |
Kim et al. | Vision-based all-in-one solution for augmented reality and its storytelling applications | |
JP7140517B2 (ja) | 生成装置、生成装置が行う生成方法、及びプログラム | |
JP2002135807A (ja) | 3次元入力のためのキャリブレーション方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40089841 Country of ref document: HK |