CN112685919A - 手柄追踪效果评估方法 - Google Patents

手柄追踪效果评估方法 Download PDF

Info

Publication number
CN112685919A
CN112685919A CN202110268998.3A CN202110268998A CN112685919A CN 112685919 A CN112685919 A CN 112685919A CN 202110268998 A CN202110268998 A CN 202110268998A CN 112685919 A CN112685919 A CN 112685919A
Authority
CN
China
Prior art keywords
information
handle
target point
effective
pose information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110268998.3A
Other languages
English (en)
Other versions
CN112685919B (zh
Inventor
曹萌
史明
王西颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qiyuan Technology Co ltd
Original Assignee
Nanjing IQIYI Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing IQIYI Intelligent Technology Co Ltd filed Critical Nanjing IQIYI Intelligent Technology Co Ltd
Priority to CN202110268998.3A priority Critical patent/CN112685919B/zh
Publication of CN112685919A publication Critical patent/CN112685919A/zh
Application granted granted Critical
Publication of CN112685919B publication Critical patent/CN112685919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种手柄追踪效果评估方法,该方法包括:生成该手柄在世界坐标系的初始位姿信息;基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息;根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息;将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息;根据所述有效像素信息及所述相机的位置信息计算所述手柄在世界坐标系下的第二位姿信息;将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。本发明的技术方案可以对手柄的设计进行初步验证,无需对所有设计进行实物评估,验证周期短,速度快,成本低。

Description

手柄追踪效果评估方法
技术领域
本发明涉及虚拟现实技术领域,具体而言,涉及一种手柄追踪效果评估方法。
背景技术
随着科学技术的飞速发展,虚拟现实技术受到了越来越多人的认可,用户可以在虚拟现实世界体验到最真实的感受,其模拟环境的真实性与现实世界难辨真假,让人有种身临其境的感觉。
基于视觉的VR仿真系统中手柄追踪技术中,需要利用手柄在相机中的特征对手柄进行检测,从而实现手柄的多自由度追踪。手柄的结构外形、表面发光特征点、反光特征点或特征图案等外观特征因素决定了手柄在图像中的成像特征,不同外观特征的手柄的成像特征直接影响手柄最终的效果,因此,如何对不同外观特征手柄的追踪效果进行验证成了一个叩待解决的问题。
现有的方案中,往往通过将不同外观特征的手柄均进行实物打样,基于实物的手柄的进行追踪验证,该种方式硬件制作周期长,且人力物力成本较高。
发明内容
鉴于上述问题,本发明实施例的目的在于提供一种手柄追踪效果评估方法,以解决现有技术的不足。
根据本发明的一个实施方式,提供一种手柄追踪效果评估方法,应用于VR仿真系统,所述VR仿真系统包括仿真模拟生成的相机及手柄,该方法包括:
生成该手柄在世界坐标系的初始位姿信息;
基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息;
根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息;
将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息;
根据所述有效像素信息及所述相机的位置信息计算所述手柄在世界坐标系下的第二位姿信息;
将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
在上述的手柄追踪效果评估方法中,所述将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果包括:
计算手柄的所述初始位姿信息与所述第二位姿信息之间的偏差;
基于预先划分的偏差区间及所述偏差确定偏差级别;
基于多位姿下的手柄对应的偏差级别占比确定该位姿匹配结果,基于所述位姿匹配结果确定该手柄追踪效果的评估结果。
在上述的手柄追踪效果评估方法中,该方法还包括:
根据所述第二位姿信息计算所述手柄表面多个有效目标点在世界坐标系的第三位姿信息;
相应地,所述将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果包括:
将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄的位姿匹配结果;
将各有效目标点的所述第一位姿信息及所述第三位姿信息进行比较确定该手柄的标识匹配结果;
根据所述位姿匹配结果及所述标识匹配结果确定该手柄追踪效果的评估结果。
在上述的手柄追踪效果评估方法中,所述标识匹配结果通过以下方式确定:
将所述有效目标点对应的标识作为有效标识;
根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点;
将所述疑似点对应的疑似标识与所述有效标识进行对比确定所述匹配结果。
在上述的手柄追踪效果评估方法中,所述根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点包括:
基于所述多个目标点的分布特性和/或所述相机拍摄所述有效目标点的连续程度在所述多个目标点中筛选出待确定的目标点;
基于所述第一位姿信息与所述第三位姿信息的距离在所述待确定的目标点筛选出与所述有效目标点距离最近的目标点作为所述疑似点。
在上述的手柄追踪效果评估方法中,所述有效目标点通过以下方式确定:
获取在旋转和/或平移后各目标点对应的新位姿信息及各目标点相对于所述手柄的新法向量;
根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角;
基于所述夹角及最大可见角确定所述有效目标点。
在上述的手柄追踪效果评估方法中,所述根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角包括:
基于所述光心坐标及所述新位姿信息确定所述光心与对应目标点之间的第一线段;
计算所述第一线段与所述新法向量之间的夹角。
在上述的手柄追踪效果评估方法中,所述基于所述夹角及最大可见角确定所述有效目标点包括:
将所述夹角小于所述最大可见角的目标点作为所述有效目标点。
在上述的手柄追踪效果评估方法中,该方法还包括:
生成扰动信息;
相应地,所述将所述有效目标点对应的像素信息作为有效像素信息包括:
将所述扰动信息加入至所述有效目标点对应的像素信息中得到扰乱信息,将所述扰乱信息作为所述有效像素信息。
在上述的手柄追踪效果评估方法中,该方法还包括:
将所述评估结果量化为评分。
根据本发明的另一个实施方式,提供一种手柄追踪效果评估追踪装置,应用于VR仿真系统,所述VR仿真系统包括仿真模拟生成的相机及手柄,该装置包括:
生成模块,用于生成该手柄在世界坐标系的初始位姿信息;
第一计算模块,用于基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息;
转换模块,用于根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息;
确定模块,用于将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息;
第二计算模块,用于根据所述有效像素信息及所述相机的位置信息计算所述手柄在世界坐标系下的第二位姿信息;
评估模块,用于将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
根据本发明的再一个实施方式,提供一种VR仿真系统,所述VR仿真系统包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述VR仿真系统执行上述的手柄追踪效果评估方法。
根据本发明的又一个实施方式,提供一种计算机可读存储介质,其存储有所述VR仿真系统中所用的所述计算机程序。
本公开的实施例提供的技术方案可以包括如下有益效果:
本发明中一种手柄追踪效果评估方法,应用于VR仿真系统,所述VR仿真系统包括仿真模拟生成的相机及手柄,该方法包括:在VR仿真系统中仿真模拟相机及手柄,通过对所述手柄进行旋转和/或平移,生成所述手柄在世界坐标系的初始位姿信息,并根据该初始位姿信息计算手柄表面多个目标点在世界坐标系的第一位姿信息,根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息,这里将世界坐标系的位姿信息转换为图像坐标系中的像素信息,将高维信息转换为二维平面信息,以在后续的评估过程中提供对比数据;将相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息,根据所述有效像素信息及所述相机的位置信息计算该有效目标点的第二位姿信息,该第二位姿信息即通过相机采集的二维平面信息反推而来的;将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果,将VR仿真系统生成的初始位姿信息与根据像素信息反推而来的第二位姿信息进行比较,基于比较结果确定该手柄追踪效果的评估结果,无需将不同外观特征的手柄进行打板制作成手柄实体,评估周期短,大大节省了人力物力财力。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明第一实施例提供的一种手柄追踪效果评估方法的流程示意图;
图2示出了本发明第一实施例提供的一种手柄的数学描述模型的示意图;
图3示出了本发明第一实施例提供的一种最大可见角的示意图;
图4示出了本发明第一实施例提供的一种有效目标点的示意图;
图5示出了本发明第二实施例提供的一种手柄追踪效果评估方法的流程示意图;
图6示出了本发明第二实施例提供的一种有效目标点的标识匹配的示意图;
图7示出了本发明第三实施例提供的一种手柄追踪效果评估方法的流程示意图;
图8示出了本发明第四实施例提供的一种手柄追踪效果评估装置的结构示意图。
主要元件符号说明:
400-手柄追踪效果评估装置;410-生成模块;420-第一计算模块;430-转换模块;440-确定模块;450-第二计算模块;460-评估模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1示出了本发明第一实施例提供的一种手柄追踪效果评估方法的流程示意图。
该手柄追踪效果评估方法应用于VR仿真系统,该VR仿真系统包括仿真模拟生成的手柄和相机,该手柄和相机均为仿真模拟生成的,不是实体的设备。
该手柄追踪效果评估方法包括以下步骤:
在步骤S110中,生成该手柄在世界坐标系的初始位姿信息。
具体地,该手柄在世界坐标系下的初始位姿信息是VR仿真系统通过程序按照一定规律仿真生成的。
比如,在仿真模拟生成的相机的视野内,设定相机在不同的深度区间对应平面内,相机在该平面上在水平或竖直方向上每隔预设角度选取一个位置采集初始位姿信息。
该不同的深度区间可以在模拟的相机距离手柄之间距离中,每间隔预设长度选取一个深度区间。比如,相机距离手柄之间距离为65cm,那么深度区间可以在10~65cm的范围内,每隔5cm选取一个深度区间。
本实施例中,所述初始位姿信息为所述手柄的6自由度位姿,该6自由度位姿包括3个转动角度的自由度再加上 上下、前后、左右3个位置相关的自由度。
在步骤S120中,基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息。
本实施例中,所述多个目标点可以为手柄表面设置的特征点,比如发光点、颜色显著标记的点等。
具体地,多个目标点的第一位姿信息是通过手柄的数学描述模型和手柄的初始位姿信息一起计算得到的。
具体地,所述目标点在所述手柄上的位置信息可以通过数学模型进行描述,如图2所示,所述数学模型通过目标点在世界坐标系内的坐标及该目标点的法向量进行表示。
比如,目标点P1的数学模型为(x1,y1,z1,x_n1,y_n1,z_n1),其中,(x1,y1,z1)为P1在世界坐标系内X轴、Y轴及Z轴的坐标值,(x_n1,y_n1,z_n1)为P1在世界坐标系内X轴、Y轴及Z轴的法向量。
在确定了所述手柄上的目标点的数学模型后,基于该手柄在世界坐标系下的初始位姿信息,即可得到该目标点在世界坐标系下的第一位姿信息。
在步骤S130中,根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息。
具体地,所述映射参数包括外参数(也可称为外参数矩阵)及内参数(也可称为内参数矩阵),所述外参数矩阵用于将第一位姿信息经过旋转和/或平移后转换到相机坐标上,第一位姿信息经过外参数矩阵后可得到相机坐标系内的转换数据;所述内参数矩阵用于将转换数据经过相机的镜头、并通过针孔成像和光电转换后落入图片平面的图像坐标系内,转换数据经过内参数矩阵后可得到平面的像素数据;畸变参数(也可以称为畸变参数矩阵)为第一位姿信息经过外参数矩阵及内参数矩阵后得到的理论上的像素信息与相机拍摄的该第一位姿信息的真实的像素信息之间的偏移和变形对应的参数。
上述的内参数矩阵、外参数矩阵及畸变参数的值均可以在真实的手柄追踪的场景中,通过标定获得。所述标定即设定内参数矩阵、外参数矩阵及畸变参数矩阵为未知数,预先设定多个第一位姿信息及与该多个第一位姿信息对应的真实的像素信息,通过该第一位姿信息及与该多个第一位姿信息对应的真实的像素信息反推出未知数:内参数矩阵、外参数矩阵及畸变参数矩阵。
在步骤S140中,将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息。
具体地,以手柄表面的多个发光点为目标点;由于手柄本身的结构限制,如图2所示的圆形手柄,一个相机在某一时刻仅能拍摄到手柄上一部分的目标点,本实施例中,将手柄在整体旋转和/或平移后,相机的视野内可以看到的目标点作为有效目标点,并将该有效目标点的像素信息作为有效像素信息,其中,图2中的
Figure 468472DEST_PATH_IMAGE001
指的是目标点P1点的法向量。
在步骤S150中,根据所述有效像素信息及所述相机的位置信息计算所述手柄在世界坐标系下的第二位姿信息。
具体地,可以通过PnP(Perspective-n-Point)算法(求解3D到2D点对运动的方法)的逆运算来计算第二位姿信息。
PnP算法是根据有效目标点的原始坐标(即有效目标点的初始位姿信息)及有效目标点的有效像素信息来求解相机的位姿信息。
而在本实施例中,已知量为有效像素信息及相机的位姿信息,未知量为手柄的第二位姿信息。
因此,可以根据PnP算法的逆运算,根据已知量为有效像素信息及相机的位姿信息来求解手柄在世界坐标系内的第二位姿信息。
在步骤S160中,将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
手柄追踪效果的评估通过检验手柄上目标点设计在PnP算法上的解算稳定性来确定。也就说通过PnP算法计算得到的手柄第二位姿信息和模拟生成数据中的手柄初始位姿信息之间的偏差(位置偏差和/或角度偏差)来评估手柄追踪效果。偏差越小,手柄追踪效果越好。
进一步地,所述将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果包括:
计算该手柄的各初始位姿信息与该初始位姿信息对应的所述第二位姿信息之间的偏差;基于预先划分的偏差区间及所述偏差确定对应的偏差级别;基于各偏差级别内结果数目占比确定该位姿匹配结果,基于所述位姿匹配结果确定该手柄追踪效果的评估结果。
具体地,可以将初始位姿信息与第二位姿信息之间的偏差(以下可以称为有效位姿解)划分至对应的偏差级别,基于各偏差级别内的结果数目占比来确定位姿匹配结果。
比如,偏差级别由高到低分为一级,二级及三级,其中,级别越高偏差越大,当然在其他的实施例中,也可以设置为级别越高偏差越小,在此不作限定。在一级内有效目标点占比越高,三级内有效目标点占比越小,手柄追踪效果越好。
在级别越高偏差越大的情况下,如果第一组的有效位姿解有10个,落入一级内的有效位姿解有6个,落入二级内的有效位姿解有3个,落入三级的有效位姿解有1个,那么,落入一级内的有效位姿解占比为60%,落入二级的有效位姿解占比为30%,落入三级内的有效位姿解占比为10%。如果有第二组的有效位姿解由10个,落入一级内的有效位姿解占比为70%,落入二级的有效位姿解占比为30%,落入三级内的有效位姿解占比为0%,那么对比可知,第二组有效位姿解对应的手柄追踪效果好于第一组有效位姿解的手柄追踪效果。
进一步地,所述有效目标点通过以下方式确定:
获取在旋转和/或平移后各目标点对应的新位姿信息及各目标点相对于所述手柄的新法向量;根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角;基于所述夹角及最大可见角确定所述有效目标点。
进一步地,所述根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角包括:
基于所述光心坐标及所述新位姿信息确定所述光心与对应目标点之间的第一线段;计算所述第一线段与所述新法向量之间的夹角。
具体地,如图4所示,针对目标点P1,通过相机的光心坐标及目标点P1的新位姿信息确定P1到相机光心Camera的第一线段,基于该第一线段所在向量和新法向量
Figure 340613DEST_PATH_IMAGE002
计算该两个向量之间的夹角α;针对目标点P2,通过相机的光心坐标及目标点P2的新位姿信息确定P2到相机光心Camera的第一线段,基于该第一线段所在向量和新法向量
Figure 537239DEST_PATH_IMAGE003
计算该两个向量之间的夹角β。
进一步地,所述基于所述夹角及最大可见角确定所述有效目标点包括:
将所述夹角小于所述最大可见角的目标点作为所述有效目标点。
具体地,参见图3,左边箭头和右边箭头之间的阴影区域为相机拍摄时光线强度理想的区域,中间箭头指向为目标点的主发光方向(这里设定目标点为发光点)。经验认为,在该阴影区域内,目标点可被拍摄到且成像效果理想。超出该阴影区域,该目标点无法在相机内得到理想的成像。因此,将阴影区域边缘与主发光方向之间的夹角定义为最大可见角。比如,图3中中间箭头方向和右边箭头方向之间的夹角为最大可见角。
进一步地,该方法还包括:
生成扰动信息;
相应地,所述将所述有效目标点对应的像素信息作为有效像素信息包括:
将所述扰动信息加入至所述有效目标点对应的像素信息中得到扰乱信息,将所述扰乱信息作为所述有效像素信息。
具体地,还可以随机生成扰动信息,将所述扰动信息加入至所述有效目标点对应的像素信息中得到扰乱信息,将所述扰乱信息作为所述有效像素信息,这样可以模拟实际图像检测中相机光心出现偏差,或者由于相机标定不准确导致的偏差,并可基于扰乱后的有效像素信息执行本实施例中的手柄追踪效果评估方法,来验证手柄实际使用中遇到不理想情况对手柄追踪带来的影响。
实施例2
图5示出了本发明第二实施例提供的一种手柄追踪效果评估方法的流程示意图。该手柄追踪效果评估方法应用于VR仿真系统,该VR仿真系统包括仿真模拟生成的手柄和相机。
该手柄追踪效果评估方法包括以下步骤:
在步骤S210中,生成该手柄在世界坐标系的初始位姿信息。
该步骤与步骤S110相同,在此不再赘述。
在步骤S220中,基于初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息。
该步骤与步骤S120相同,在此不再赘述。
在步骤S230中,根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息。
该步骤与步骤S130相同,在此不再赘述。
在步骤S240中,将相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息。
该步骤与步骤S140相同,在此不再赘述。
在步骤S250中,根据有效像素信息及相机的位置信息计算该有效目标点的第二位姿信息。
该步骤与步骤S150相同,在此不再赘述。
在步骤S260中,根据第二位姿信息计算手柄表面多个有效目标点在世界坐标系的第三位姿信息。
具体地,利用该手柄的第二位姿信息和有效目标点在手柄表面的原始坐标(也可以称为数学模型)计算有效目标点的第三位姿信息。
在步骤S270中,将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄的位姿匹配结果。
具体地,位姿匹配结果的评估通过检验手柄上目标点设计在PnP算法上的解算稳定性来确定。也就说通过PnP算法计算得到的有效目标点第二位姿信息和初始位姿信息之间的偏差(位置偏差和/或角度偏差)来评估位姿匹配结果。
在步骤S280中,将各有效目标点的第一位姿信息及第三位姿信息进行比较确定手柄的标识匹配结果。
进一步地,所述标识匹配结果通过以下方式确定:
将所述有效目标点对应的标识作为有效标识;根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点;将所述疑似点对应的疑似标识与所述有效标识进行对比确定所述匹配结果。
进一步地,所述根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点包括:
基于所述多个目标点的分布特性和/或所述相机拍摄所述有效目标点的连续程度在所述多个目标点中筛选出待确定的目标点;基于所述第一位姿信息与所述第三位姿信息的距离在所述待确定的目标点筛选出与所述有效目标点距离最近的目标点作为所述疑似点。
具体地,基于有效目标点的第一位姿信息与计算到的第三位姿信息进行匹配,也就是计算第一位姿信息与计算到的第三位姿信息之间的距离,将与第三位姿信息距离最近的第一位姿信息对应的有效目标点作为疑似点。判断该疑似点的标识与第一位姿信息对应有效目标点的标识是否一致,如果一致,则该疑似点的标识与第一位姿信息对应有效目标点的标识匹配,否则,则疑似点的标识与第一位姿信息对应有效目标点的标识不匹配。
进一步地,根据有效目标点的像素信息确定该有效目标点的分布特性(也可称为排列方式)可以缩小筛选范围。具体地,基于相机拍摄的连续程度在手柄上所有目标点中筛选出与该连续程度内的目标点相匹配的点作为待确定的目标点,在待确定的目标点中,执行将所述有效目标点对应的标识作为有效标识;根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点;将所述疑似点对应的疑似标识与所述有效标识进行对比确定所述匹配结果的操作。比如,图6中,(1)图中框内的目标点和(2)图中框内的目标点的排列方式相同。
在步骤S290中,根据位姿匹配结果及标识匹配结果确定该手柄追踪效果的评估结果。
值得注意的是,由于手柄本身的的结构限制,一个相机在某一时刻仅能拍摄到手柄上一部分目标点,虽然手柄上每一个目标点的坐标是已知的,但是不能确定当前拍摄的是哪些目标点也就无法确定图像中各像素点和目标点之间的对应关系,无法计算出手柄第二位姿信息。
因此,在对手柄追踪效果进行评估时,还需要考虑有效目标点对应的标识匹配结果。该有效目标点对应的标识匹配结果为计算的有效目标点的标识与真实标识之间的匹配程度。该匹配程度可以通过匹配的正确率来确定,比如,如果有8个有效目标点,其中有5个计算的有效目标点的标识与真实标识匹配,有3个计算的有效目标点的标识与真实标识不匹配,那么匹配的正确率为5/8=62.5%。
那么根据所述位姿匹配结果及有效目标点对应的标识匹配结果确定该手柄追踪效果的评估结果可以为:位姿匹配结果中偏差越小,匹配结果中正确率越高,手柄的追踪效果越好,反之,则手柄的追踪效果越差。
在一种实施方式中,还可以将位姿匹配结果及匹配结果的倒数进行加权求和得到手柄追踪效果的评估结果。
例如,
Figure 963672DEST_PATH_IMAGE004
,其中,z为手柄追踪的评估结果,x为位姿匹配结果,y为标识匹配结果,m为位姿匹配结果对应的权值,n为匹配结果对应的权值,m,n的值可根据位姿匹配结果及标识匹配结果对手柄追踪效果的评估结果影响的程度而定,比如,在位姿匹配结果对手柄追踪效果的评估结果影响较大,标识匹配结果对手柄追踪效果的评估结果影响较小的情况下,可以设置:m>n,其中,m,n均为大于或等于0且小于或等于1的值。反之,则可以设置m<n。
因此,为了达到比较好的手柄追踪效果,可以将手柄上目标点的分布差异设置更明显。参见图6中(1)图中包含大量相似,重复排列的目标点,(2)中为不同,排列差异比较明显的目标点,那么在有效目标点匹配的情况下,由于(1)图中包含大量重复排列的目标点,(2)图中匹配的正确率远大于(1)图中匹配的正确率。
进一步地,在进行标识的匹配时,还可以在有效目标点内增加扰动点,基于扰动点及有效目标点遍历手柄表面的所有目标点确定疑似点。这样可以在匹配方案不改变的情况下检验手柄上不同目标点的设计对手柄追踪效果的影响。
实施例3
图7示出了本发明第三实施例提供的一种手柄追踪效果评估方法的流程示意图。该手柄追踪效果评估方法应用于VR仿真系统,所述VR仿真系统包括模拟生成的手柄及相机。
该手柄追踪效果评估方法包括以下步骤:
在步骤S310中,生成该手柄的初始位姿信息。
此步骤与步骤S110相同,在此不再赘述。
在步骤S320中,基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息。
此步骤与步骤S120相同,在此不再赘述。
在步骤S330中,根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息。
此步骤与步骤S130相同,在此不再赘述。
在步骤S340中,将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息。
此步骤与步骤S140相同,在此不再赘述。
在步骤S350中,根据所述有效像素信息及所述相机的位置信息计算该有效目标点的第二位姿信息。
此步骤与步骤S150相同,在此不再赘述。
在步骤S360中,将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
此步骤与步骤S160相同,在此不再赘述。
在步骤S370中,将所述评估结果量化为评分。
具体地,在确定评估结果后,可以将该评估结果量化为评分,比如,评估结果越好,评分越高。
可以根据预先设定的量化函数或量化列表确定评分。比如,量化函数可以为基于评估结果和评分的线性方程,将评估结果输入至该线性方程中即可得到评分;又如,该量化列表中预先记录有评估结果和评分的对应关系,在确定评估结果后,以评估结果为键值查询量化列表,确定该评估结果对应的评分。当然,还可以通过其他方式将评估结果量化为评分,在此不再一一详述。
实施例4
图8示出了本发明第四实施例提供的一种手柄追踪效果评估装置的结构示意图。该手柄追踪效果评估装置400对应于实施例1中的手柄追踪效果评估方法,实施例1中的手柄追踪效果评估方法同样也适用于该手柄追踪效果评估装置400,在此不再赘述。
该手柄追踪效果评估装置400应用于VR仿真系统,所述VR仿真系统包括仿真模拟生成的手柄及相机。
所述手柄追踪效果评估装置400包括生成模块410、第一计算模块420、转换模块430、确定模块440、第二计算模块450及评估模块460。
生成模块410,用于生成该手柄的初始位姿信息。
第一计算模块420,用于基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息。
转换模块430,用于根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息。
确定模块440,将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息。
第二计算模块450,用于根据所述有效像素信息及所述相机的位置信息计算该有效目标点的第二位姿信息。
评估模块460,用于将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
本发明另一实施例还提供了一种VR仿真系统,所述VR仿真系统包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述VR仿真系统执行上述的手柄追踪效果评估方法或上述的手柄追踪效果评估装置中各模块的功能。
存储器可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供了一种计算机存储介质,用于储存上述的VR仿真系统中所使用的手柄追踪效果评估方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种手柄追踪效果评估方法,其特征在于,应用于VR仿真系统,所述VR仿真系统包括仿真模拟生成的相机及手柄,该方法包括:
生成该手柄在世界坐标系的初始位姿信息;
基于所述初始位姿信息计算所述手柄表面多个目标点在世界坐标系的第一位姿信息;
根据相机的映射参数及畸变参数将每一目标点的第一位姿信息转换为图像坐标系的像素信息;
将所述相机的视野内可见的目标点作为有效目标点,将所述有效目标点对应的像素信息作为有效像素信息;
根据所述有效像素信息及所述相机的位置信息计算所述手柄在世界坐标系下的第二位姿信息;
将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果。
2.根据权利要求1所述的手柄追踪效果评估方法,其特征在于,所述将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果包括:
计算手柄的所述初始位姿信息与所述第二位姿信息之间的偏差;
基于预先划分的偏差区间及所述偏差确定偏差级别;
基于多位姿下的手柄对应的偏差级别占比确定该位姿匹配结果,基于所述位姿匹配结果确定该手柄追踪效果的评估结果。
3.根据权利要求1所述的手柄追踪效果评估方法,其特征在于,该方法还包括:
根据所述第二位姿信息计算所述手柄表面多个有效目标点在世界坐标系的第三位姿信息;
相应地,所述将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄追踪效果的评估结果包括:
将所述初始位姿信息及所述第二位姿信息进行比较确定该手柄的位姿匹配结果;
将各有效目标点的所述第一位姿信息及所述第三位姿信息进行比较确定该手柄的标识匹配结果;
根据所述位姿匹配结果及所述标识匹配结果确定该手柄追踪效果的评估结果。
4.根据权利要求3所述的手柄追踪效果评估方法,其特征在于,所述标识匹配结果通过以下方式确定:
将所述有效目标点对应的标识作为有效标识;
根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点;
将所述疑似点对应的疑似标识与所述有效标识进行对比确定所述匹配结果。
5.根据权利要求4所述的手柄追踪效果评估方法,其特征在于,所述根据所述第一位姿信息与所述第三位姿信息的距离确定该有效目标点对应的疑似点包括:
基于所述多个目标点的分布特性和/或所述相机拍摄所述有效目标点的连续程度在所述多个目标点中筛选出待确定的目标点;
基于所述第一位姿信息与所述第三位姿信息的距离在所述待确定的目标点筛选出与所述有效目标点距离最近的目标点作为所述疑似点。
6.根据权利要求1所述的手柄追踪效果评估方法,其特征在于,所述有效目标点通过以下方式确定:
获取在旋转和/或平移后各目标点对应的新位姿信息及各目标点相对于所述手柄的新法向量;
根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角;
基于所述夹角及最大可见角确定所述有效目标点。
7.根据权利要求6所述的手柄追踪效果评估方法,其特征在于,所述根据所述相机的光心坐标、所述新位姿信息及所述新法向量确定夹角包括:
基于所述光心坐标及所述新位姿信息确定所述光心与对应目标点之间的第一线段;
计算所述第一线段与所述新法向量之间的夹角。
8.根据权利要求6所述的手柄追踪效果评估方法,其特征在于,所述基于所述夹角及最大可见角确定所述有效目标点包括:
将所述夹角小于所述最大可见角的目标点作为所述有效目标点。
9.根据权利要求1所述的手柄追踪效果评估方法,其特征在于,该方法还包括:
生成扰动信息;
相应地,所述将所述有效目标点对应的像素信息作为有效像素信息包括:
将所述扰动信息加入至所述有效目标点对应的像素信息中得到扰乱信息,将所述扰乱信息作为所述有效像素信息。
10.根据权利要求1所述的手柄追踪效果评估方法,其特征在于,该方法还包括:
将所述评估结果量化为评分。
CN202110268998.3A 2021-03-12 2021-03-12 手柄追踪效果评估方法 Active CN112685919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110268998.3A CN112685919B (zh) 2021-03-12 2021-03-12 手柄追踪效果评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268998.3A CN112685919B (zh) 2021-03-12 2021-03-12 手柄追踪效果评估方法

Publications (2)

Publication Number Publication Date
CN112685919A true CN112685919A (zh) 2021-04-20
CN112685919B CN112685919B (zh) 2021-06-29

Family

ID=75455444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268998.3A Active CN112685919B (zh) 2021-03-12 2021-03-12 手柄追踪效果评估方法

Country Status (1)

Country Link
CN (1) CN112685919B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235010A (zh) * 2021-12-31 2022-03-25 杭州堃博生物科技有限公司 定位追踪组件的验证方法、装置、电子设备与存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190826A (zh) * 2019-12-30 2020-05-22 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式追踪环境的测试方法、装置、存储介质及设备
CN111552383A (zh) * 2020-04-24 2020-08-18 南京爱奇艺智能科技有限公司 虚拟增强现实交互设备的手指识别方法、系统及交互设备
CN111696131A (zh) * 2020-05-08 2020-09-22 青岛小鸟看看科技有限公司 基于在线图案分割的手柄追踪方法
WO2020219340A1 (en) * 2019-04-23 2020-10-29 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020219340A1 (en) * 2019-04-23 2020-10-29 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
CN111190826A (zh) * 2019-12-30 2020-05-22 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式追踪环境的测试方法、装置、存储介质及设备
CN111552383A (zh) * 2020-04-24 2020-08-18 南京爱奇艺智能科技有限公司 虚拟增强现实交互设备的手指识别方法、系统及交互设备
CN111696131A (zh) * 2020-05-08 2020-09-22 青岛小鸟看看科技有限公司 基于在线图案分割的手柄追踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235010A (zh) * 2021-12-31 2022-03-25 杭州堃博生物科技有限公司 定位追踪组件的验证方法、装置、电子设备与存储介质

Also Published As

Publication number Publication date
CN112685919B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
US10957062B2 (en) Structure depth-aware weighting in bundle adjustment
JP2017509972A (ja) ビュー非依存色等化3dシーンテクスチャ処理
Yin et al. Towards accurate reconstruction of 3d scene shape from a single monocular image
CN110998671B (zh) 三维重建方法、装置、系统和存储介质
CN108921070B (zh) 图像处理方法、模型训练方法及对应装置
CN111133477B (zh) 三维重建方法、装置、系统和存储介质
WO2016133697A1 (en) Projection transformations for depth estimation
CN111744183B (zh) 游戏中的光照采样方法、装置以及计算机设备
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
US11475629B2 (en) Method for 3D reconstruction of an object
CN112685919B (zh) 手柄追踪效果评估方法
CN109785429B (zh) 一种三维重建的方法和装置
CN118102044A (zh) 基于3d高斯泼溅的点云数据生成方法、装置、设备及介质
CN112396117B (zh) 图像的检测方法、装置及电子设备
CN112016505B (zh) 基于人脸图像的活体检测方法、设备、存储介质及装置
CN109961503A (zh) 一种图像处理方法及装置、终端及计算机可读存储介质
CN109389032B (zh) 图片真实性的确定方法、装置、电子设备及可读存储介质
CN115147619B (zh) 一种优化图像添加次序的增量式运动恢复结构方法
CN118643447B (zh) 面向陡峭环境的地面滤波方法、装置、电子设备及介质
RU2791081C2 (ru) Способ трехмерной реконструкции объекта
CN113177903B (zh) 前景点云和背景点云的融合方法、系统及设备
Yamao et al. A sequential online 3d reconstruction system using dense stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee after: Nanjing Qiyuan Technology Co.,Ltd.

Address before: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee before: Nanjing iqiyi Intelligent Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder