CN109636916B - 一种动态标定的大范围虚拟现实漫游系统及方法 - Google Patents

一种动态标定的大范围虚拟现实漫游系统及方法 Download PDF

Info

Publication number
CN109636916B
CN109636916B CN201810786078.9A CN201810786078A CN109636916B CN 109636916 B CN109636916 B CN 109636916B CN 201810786078 A CN201810786078 A CN 201810786078A CN 109636916 B CN109636916 B CN 109636916B
Authority
CN
China
Prior art keywords
coordinate system
real
slam
camera
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810786078.9A
Other languages
English (en)
Other versions
CN109636916A (zh
Inventor
翁冬冬
李冬
陈锋
胡翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Detection Technology Co ltd, Beijing Institute of Technology BIT filed Critical Nanchang Virtual Reality Detection Technology Co ltd
Priority to CN201810786078.9A priority Critical patent/CN109636916B/zh
Publication of CN109636916A publication Critical patent/CN109636916A/zh
Application granted granted Critical
Publication of CN109636916B publication Critical patent/CN109636916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明公开了一种动态标定的大范围虚拟现实漫游系统及方法，能够实现动态的、实时在线的虚拟环境与真实环境的准确融合。技术方案为：头盔显示器佩戴于用户头部；SLAM摄像机和实景摄像机设置于头盔显示器上，二者均用于对拍摄SLAM图像和实景图像传输至处理器。处理器依据初始SLAM图像和初始实景图像对重建坐标系和世界坐标系之间的变换关系进行标定；并依据实时SLAM图像获取用户在重建坐标系中的实时位姿，依据标定结果，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在所述虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示，并能依据上述标定结果实现虚实匹配。

Description

一种动态标定的大范围虚拟现实漫游系统及方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种动态标定的大范围虚拟现实漫游系统及方法。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
目前，提升用户在虚拟环境中的沉浸体验是虚拟现实的发展趋势，要达到让用户在虚拟环境中实现无法区分真实和虚拟的效果，则需要实现动态的、精准的虚拟配准，即实现真实环境和虚拟环境的准确融合。
目前有两种方案用于实现虚拟环境中的虚实配准，分别是HTC VIVE和DellVisor。
HTC VIVE使用激光扫描方式获取用户在空间中的三维位置，并可以通过在真实物体上绑定跟踪器的方式实现虚实配准。但是HTC VIVE的跟踪面积有限，只允许用户在5mx5m的范围内运动。HTC VIVE使用红外光源进行跟踪，不能在白天户外使用。HTC VIVE必须要在实际物体上绑定跟踪器才能实现虚实配准。
Dell Visor使用SLAM技术实现场景建模与定位，附加游戏手柄进行输入操作。但是Dell Visor没有额外的跟踪器，只能借助手柄进行虚实配准，且在户外环境下由于其手柄上的光点不能被头盔上的摄像机识别导致无法进行虚实配准的标定。
目前并未有一种虚实配准的方案能够实现动态的、实时在线的真实环境和虚拟环境的准确融合。
发明内容
有鉴于此，本发明提供了一种动态标定的大范围虚拟现实漫游系统及方法，能够实现动态的、实时在线的虚拟环境与真实环境的准确融合。
为达到上述目的，本发明提供的虚拟现实漫游系统的技术方案为：该系统包括头盔显示器、即时定位与地图构建SLAM摄像机、实景摄像机、处理器以及设置于真实场景中的标志物。
头盔显示器佩戴于用户头部，头盔显示器显示处理器发来的显示图像，SLAM摄像机和实景摄像机设置于头盔显示器上。
标志物在世界坐标系下的坐标已知。
SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像；实景摄像机对真实场景进行实时拍摄获得实景图像，包括初始实景图像和实时实景图像，初始实景图像中包含设置于真实场景中的标志物。
SLAM图像和实景图像传输至处理器。
处理器预先设置虚拟场景的三维模型，针对虚拟场景的三维模型建立虚拟坐标系。
处理器依据初始SLAM图像重建地图，针对重建地图建立重建坐标系，重建坐标系与虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，位姿包括位置和朝向；处理器利用初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在重建坐标系和世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵。
处理器依据实时SLAM图像，取用户在重建坐标系中的实时位姿，并根据重建坐标系和世界坐标系间的变换矩阵，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示。
当真实场景中添加物体时，处理器利用实时获取的实时SLAM图像得到添加物体在重建坐标系下的实时位姿，并依据重建坐标系和世界坐标系间的变换矩阵，获得添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与添加物体位姿相同的虚拟物体。
进一步地，依据初始SLAM图像重建地图，针对重建地图建立重建坐标系，重建坐标系与虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，位姿包括位置和朝向；处理器利用初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在重建坐标系和世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵，具体为：
重建坐标系和世界坐标系之间的变换矩阵包括：
世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Tnew。
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
其中R为SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵，T为SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵；预先标定SLAM摄像机和实景摄像机的相对位置关系，处理器依据SLAM摄像机和实景摄像机的相对位置关系计算R和T。
R1为重建坐标系相对于SLAM摄像机坐标系的旋转矩阵，T1为重建坐标系相对于SLAM摄像机坐标系的平移矩阵；处理器依据SLAM摄像机拍摄的实景图像重建地图，并计算R1和T1，则用户在重建坐标系下的位姿包括：位置为T1，朝向为R1。
R2为世界坐标系相对于实景摄像机坐标系的旋转矩阵，T2为世界坐标系相对于实景摄像机坐标系的平移矩阵；处理器依据标志物在世界坐标系下的坐标，标志物在实景摄像机拍摄的实景图像中对应的二维特征点之间的对应关系计算R2和T2，则用户在世界坐标系下的位姿包括：位置为T2，朝向为R2。
本发明另一实施例还提供了一种动态标定的大范围虚拟现实漫游方法，该方法包括如下步骤：
S1、在头盔显示器上设置SLAM摄像机和实景摄像机，头盔显示器佩戴于用户头部；预先标定SLAM摄像机和实景摄像机的相对位置关系。
S2、SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像，实景摄像机对真实场景进行实时拍摄获得实景图像，包括初始实景图像和实时实景图像；初始实景图像中包含设置于真实场景中的标志物。
S3、依据SLAM摄像机和实景摄像机的相对位置关系计算SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵R以及SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵T。
S4、依据SLAM摄像机拍摄的初始SLAM图像重建地图，针对重建地图建立重建坐标系，并计算重建坐标系相对于SLAM摄像机坐标系的旋转矩阵R1和重建坐标系相对于SLAM摄像机坐标系的平移矩阵T1。
S5、依据标志物的世界坐标系下的坐标、以及标志物在实景摄像机拍摄的初始实景图像中对应的二维特征点之间的对应关系计算世界坐标系相对于实景摄像机坐标系的旋转矩阵R2和世界坐标系相对于实景摄像机坐标系的平移矩阵T2。
S6、标定重建坐标系和世界坐标系之间的变换矩阵，包括：世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Tnew。
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
S7、预先设置虚拟场景的三维模型，针对虚拟场景的三维模型建立虚拟坐标系；虚拟坐标系与重建坐标系一致。
依据标定结果Rnew和Tnew。
获取实时SLAM图像，获得用户在重建坐标系中的实时位姿，并根据标定结果Rnew和Tnew，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示。
当真实场景中添加物体时，处理器利用实时获取的实时SLAM图像得到添加物体在重建坐标系下的实时位姿，并依据重建坐标系和世界坐标系间的变换矩阵，获得添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与添加物体位姿相同的虚拟物体。
有益效果：
本发明所提供的动态标定的大范围虚拟现实漫游系统及方法使用了SLAM摄像机和实景摄像机分别进行地图重建以及标志物特征点识别定位，可以同时获得用户在重建坐标系(即虚拟引擎中使用的坐标系)和世界坐标系下的坐标，因此可以动态地、实时在线完成虚拟现实漫游系统中的虚实配准标定，满足用户沉浸式的虚拟现实体验；该系统还支持在真实场景中动态移动或者动态添加实际物体，并在虚拟场景的三维模型中实时在线移动或者添加相应虚拟物体，而用户看到的虚拟物体也会随之同步，该过程为在线动态标定，不需要事先进行准备，大大简化了标定流程，提高了系统的工作效率。
附图说明
图1为本发明所提供的动态标定的大范围虚拟现实漫游系统组成框图；
图2为本发明实施例中所建立的重建坐标系中的用户和虚拟物体场景示意图；
图3为本发明实施例中世界坐标系中的用户和实际物体场景示意图；
图4为本发明实施例中在进行虚实配准前虚拟物体和实际物体在世界坐标系中的位置关系示意图；
图5为本发明实施例中在进行虚实配准后虚拟物体和实际物体在世界坐标系中的位置关系示意图；
图6为本发明实施例中真实场景中的新增实际物体的虚实配准过程示意图；
图7为本发明提供的动态标定的大范围虚拟现实漫游方法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种动态标定的大范围虚拟现实漫游系统，该系统组成如图1所示，该系统包括头盔显示器、即时定位与地图构建SLAM摄像机、实景摄像机、处理器以及设置于真实场景中的标志物。
头盔显示器佩戴于用户头部，头盔显示器用于显示处理器发来的显示图像；SLAM摄像机和实景摄像机设置于头盔显示器上。头盔显示器和处理器之间的数据传输可以以无线或者有线的方式进行。
SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像，其中初始SLAM图像是SLAM摄像机对真实场景拍摄的第一幅SLAM图像，实时SLAM图像是SLAM摄像机对真实场景实时拍摄的一系列SLAM图像；实景摄像机对真实场景进行拍摄获得实景图像，包括初始实景图像和实时实景图像，其中初始实景图像是实景摄像机对真实场景拍摄的第一幅实景图像，初始实景图像中包含设置于真实场景中的标志物；实时实景图像是实景摄像机对真实场景实时拍摄的一系列实景图像。SLAM图像和实景图像均传输至处理器中，具体地，SLAM图像和实景图像的传输可以采用有线或者无线的方式。
标志物在世界坐标系下的坐标已知。标志物在图1中未示出，标志物在真实场景中可以随机设置，例如图3中的真实场景中随机设置一定数量的标志物。
处理器预先设置虚拟场景的三维模型，针对虚拟场景的三维模型建立虚拟坐标系。
处理器依据初始SLAM图像重建地图，针对重建地图建立重建坐标系，重建坐标系与虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，位姿包括位置和朝向；处理器利用初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在重建坐标系和世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵；
处理器依据实时SLAM图像，取用户在重建坐标系中的实时位姿，并根据重建坐标系和世界坐标系间的变换矩阵，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示。
当真实场景中添加物体时，处理器利用实时获取的实时SLAM图像得到添加物体在重建坐标系下的实时位姿，并依据重建坐标系和世界坐标系间的变换矩阵，获得添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与添加物体位姿相同的虚拟物体。
在三维渲染引擎中设置用户的位置和朝向与SLAM摄像机的位置相同，从而得到一个全虚拟的显示环境，如图2所示，在该环境中，用户可以看见虚拟场景的三维模型中的虚拟物体。
图3展示了用户在实际场景内(世界坐标系下)的情景，其中标志物分散布置在场景中，保证了用户在不同区域运动时都能看到标志物，场景内摆放有一些实际物体，可被用户触碰。
该系统使用了SLAM摄像机和实景摄像机分别进行场景重建以及标志物特征点识别定位，可以同时获得用户在重建坐标系(即虚拟引擎中使用的坐标系)和世界坐标系下的坐标，因此可以动态地、实时在线完成虚拟现实漫游系统中的虚实配准标定，满足用户沉浸式的虚拟现实体验。
本发明实施例中，依据初始SLAM图像重建地图，针对重建地图建立重建坐标系，重建坐标系与虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，位姿包括位置和朝向；处理器利用初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在重建坐标系和世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵，具体可以采用如下步骤进行：
重建坐标系和世界坐标系之间的变换关系包括：
世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Tnew；
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
其中R为SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵，T为SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵；预先标定SLAM摄像机和实景摄像机的相对位置关系，处理器依据SLAM摄像机和实景摄像机的相对位置关系计算R和T，当X1和X2分别为空间中同一点在SLAM摄像机坐标系和实景摄像机坐标系下的坐标时，X1＝RX2+T。
R1为重建坐标系相对于SLAM摄像机坐标系的旋转矩阵，T1为重建坐标系相对于SLAM摄像机坐标系的平移矩阵；处理器依据SLAM摄像机拍摄的实景图像重建地图，并计算R1和T1，则用户在重建坐标系下的位姿包括：位置为T1，朝向为R1；当Xv和X1分别为空间同一点在重建坐标系和SLAM摄像机坐标系下的坐标时，则Xv＝R1X1+T1。
R2为世界坐标系相对于实景摄像机坐标系的旋转矩阵，T2为世界坐标系相对于实景摄像机坐标系的平移矩阵；处理器依据标志物的世界坐标系下的坐标，标志物在实景摄像机拍摄的实景图像中对应的二维特征点之间的对应关系计算R2和T2，则用户在世界坐标系下的位姿包括：位置为T2，朝向为R2。本发明中，在真实场景中，布设有若干带有特征标记的标志物，标志物在世界坐标系下的位置已知，当实景摄像机拍摄到这些标志物时，可找到标志物上的三维点与实景摄像机拍摄到的实景机图像中二维特征点的对应关系，再通过PnP(perspective-n-point)方法即可计算出实景摄像机在世界坐标系中的位置，即Xw＝R2X2+T2，Xw和X2分别为空间同一点在世界坐标系和实景摄像机坐标系下的坐标。
该过程为在线动态标定，不需要事先进行准备，大大简化了标定流程，提高了系统的工作效率。
在进行一些虚拟现实应用时，用户希望在虚拟环境中的物体“看得见、摸得着”，这需要进行虚实配准才能实现。当未进行配准时，用户看到的虚拟物体位置和实际物体的位置是存在偏差的，如图4所示。此时，实际物体的位置已知(这是人为布置的)，虚拟物体的位置摆放错误。
根据标定结果建立重建坐标系与世界坐标系之间的转换关系，从而将虚拟物体摆放到世界坐标系中的相应位置，如图5所示。此时虚拟物体与实际物体位置完全重合，因此用户在头戴头盔显示器的条件下，看到虚拟物体的同时也能摸到它们对应的实际物体，从而获得了更加逼真的体验感。
本发明的另一个优点是在虚实匹配标定完成后，可以动态添加新的实际物体而不需要手工测量其在世界坐标系中的位置。因为SLAM方法可以扫描并重建环境中物体的三维结构，因此当新添加物体后，该物体在重建坐标系的坐标Xv就已知了，而根据标定结果，该物体在世界坐标系中的位置Xw也可以推导出来，如果在虚拟引擎中的对应位置添加一个虚拟物体，就直接完成了新加入物体的虚实匹配，因此避免了手工测量新物体的世界坐标系坐标，大大减少了漫游环境测量、标定的工作量，如图6所示。
本发明还提供了一种动态标定的大范围虚拟现实漫游方法，其特征在于，该方法包括如下步骤：
S1、在头盔显示器上设置SLAM摄像机和实景摄像机，头盔显示器佩戴于用户头部；预先标定SLAM摄像机和实景摄像机的相对位置关系。
S2、SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像，实景摄像机对真实场景进行实时拍摄获得实景图像，包括初始实景图像和实时实景图像；初始实景图像中包含设置于真实场景中的标志物。
S3、依据SLAM摄像机和实景摄像机的相对位置关系计算SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵R以及SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵T。
S4、依据SLAM摄像机拍摄的初始SLAM图像重建地图，针对重建地图建立重建坐标系，并计算重建坐标系相对于SLAM摄像机坐标系的旋转矩阵R1和重建坐标系相对于SLAM摄像机坐标系的平移矩阵T1。
S5、依据标志物的世界坐标系下的坐标、以及标志物在实景摄像机拍摄的初始实景图像中对应的二维特征点之间的对应关系计算世界坐标系相对于实景摄像机坐标系的旋转矩阵R2和世界坐标系相对于实景摄像机坐标系的平移矩阵T2。
S6、标定重建坐标系和世界坐标系之间的变换矩阵，包括：世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Tnew。
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
S7、预先设置虚拟场景的三维模型，针对虚拟场景的三维模型建立虚拟坐标系；虚拟坐标系与重建坐标系一致。
依据标定结果Rnew和Tnew。
获取实时SLAM图像，获得用户在重建坐标系中的实时位姿，并根据标定结果Rnew和Tnew，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示。
当真实场景中添加物体时，处理器利用实时获取的实时SLAM图像得到添加物体在重建坐标系下的实时位姿，并依据重建坐标系和世界坐标系间的变换矩阵，获得添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与添加物体位姿相同的虚拟物体。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种动态标定的大范围虚拟现实漫游系统，其特征在于，该系统包括头盔显示器、即时定位与地图构建SLAM摄像机、实景摄像机、处理器以及设置于真实场景中的标志物；
所述头盔显示器佩戴于用户头部，所述头盔显示器显示所述处理器发来的显示图像，所述SLAM摄像机和实景摄像机设置于所述头盔显示器上；
所述标志物在世界坐标系下的坐标已知；
所述SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像；所述实景摄像机对真实场景进行实时拍摄获得实景图像，包括初始实景图像和实时实景图像，所述初始实景图像中包含设置于真实场景中的标志物；
所述SLAM图像和所述实景图像传输至所述处理器；
所述处理器预先设置虚拟场景的三维模型，针对所述虚拟场景的三维模型建立虚拟坐标系；
所述处理器依据所述初始SLAM图像重建地图，针对重建地图建立重建坐标系，所述重建坐标系与所述虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，所述位姿包括位置和朝向；所述处理器利用所述初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在所述重建坐标系和所述世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵；
所述处理器依据实时SLAM图像，取用户在重建坐标系中的实时位姿，并根据所述重建坐标系和世界坐标系间的变换矩阵，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在所述虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示；
当真实场景中添加物体时，所述处理器利用实时获取的实时SLAM图像得到所述添加物体在重建坐标系下的实时位姿，并依据所述重建坐标系和世界坐标系间的变换矩阵，获得所述添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与所述添加物体位姿相同的虚拟物体。
2.如权利要求1所述的系统，其特征在于，所述依据所述初始SLAM图像重建地图，针对重建地图建立重建坐标系，所述重建坐标系与所述虚拟坐标系一致，获取用户在重建坐标系下的初始位姿，所述位姿包括位置和朝向；所述处理器利用所述初始实景图像，获得用户在世界坐标系下的初始位姿，根据用户在所述重建坐标系和所述世界坐标系下的初始位姿，对重建坐标系和世界坐标系之间的变换关系进行标定，得到重建坐标系和世界坐标系间的变换矩阵，具体为：
所述重建坐标系和世界坐标系之间的变换矩阵包括：
世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Tnew；
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
其中R为SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵，T为SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵；预先标定SLAM摄像机和实景摄像机的相对位置关系，所述处理器依据所述SLAM摄像机和实景摄像机的相对位置关系计算R和T；
R1为重建坐标系相对于SLAM摄像机坐标系的旋转矩阵，T1为重建坐标系相对于SLAM摄像机坐标系的平移矩阵；所述处理器依据所述SLAM摄像机拍摄的实景图像重建地图，并计算R1和T1，则用户在重建坐标系下的位姿包括：位置为T1，朝向为R1；
R2为世界坐标系相对于实景摄像机坐标系的旋转矩阵，T2为世界坐标系相对于实景摄像机坐标系的平移矩阵；所述处理器依据所述标志物在世界坐标系下的坐标，所述标志物在所述实景摄像机拍摄的实景图像中对应的二维特征点之间的对应关系计算R2和T2，则用户在世界坐标系下的位姿包括：位置为T2，朝向为R2。
3.一种动态标定的大范围虚拟现实漫游方法，其特征在于，该方法包括如下步骤：
S1、在头盔显示器上设置SLAM摄像机和实景摄像机，头盔显示器佩戴于用户头部；预先标定SLAM摄像机和实景摄像机的相对位置关系；
S2、所述SLAM摄像机对真实场景进行实时拍摄获得SLAM图像，包括初始SLAM图像和实时SLAM图像，所述实景摄像机对真实场景进行实时拍摄获得实景图像，包括初始实景图像和实时实景图像；所述初始实景图像中包含设置于真实场景中的标志物；
S3、依据所述SLAM摄像机和实景摄像机的相对位置关系计算SLAM摄像机坐标系相对于实景摄像机坐标系的旋转矩阵R以及SLAM摄像机坐标系相对于实景摄像机坐标系的平移矩阵T；
S4、依据所述SLAM摄像机拍摄的初始SLAM图像重建地图，针对重建地图建立重建坐标系，并计算重建坐标系相对于SLAM摄像机坐标系的旋转矩阵R1和重建坐标系相对于SLAM摄像机坐标系的平移矩阵T1；
S5、依据所述标志物的世界坐标系下的坐标、以及所述标志物在所述实景摄像机拍摄的初始实景图像中对应的二维特征点之间的对应关系计算世界坐标系相对于实景摄像机坐标系的旋转矩阵R2和世界坐标系相对于实景摄像机坐标系的平移矩阵T2；
S6、标定所述重建坐标系和世界坐标系之间的变换矩阵，包括：世界坐标系相对于重建坐标系的旋转矩阵Rnew、以及世界坐标系相对于重建坐标系的平移矩阵Rnew；
Rnew＝R2(R1R)-1
Tnew＝T2-R2(R1R)-1(R1T+T1)
S7、预先设置虚拟场景的三维模型，针对所述虚拟场景的三维模型建立虚拟坐标系；所述虚拟坐标系与所述重建坐标系一致；
依据标定结果Rnew和Tnew；
获取实时SLAM图像，获得用户在重建坐标系中的实时位姿，并根据标定结果Rnew和Tnew，将用户在重建坐标系中的实时位姿转换到为用户在世界坐标系中的实时位姿，并以用户在世界坐标系中的实时位姿对应的视角在所述虚拟场景的三维模型中对应画面生成实时显示画面发送给头盔显示器进行实时显示；
当真实场景中添加物体时，处理器利用实时获取的实时SLAM图像得到所述添加物体在重建坐标系下的实时位姿，并依据所述重建坐标系和世界坐标系间的变换矩阵，获得所述添加物体在世界坐标系下的实时位姿，虚拟坐标系中实时构建与所述添加物体位姿相同的虚拟物体。
CN201810786078.9A 2018-07-17 2018-07-17 一种动态标定的大范围虚拟现实漫游系统及方法 Active CN109636916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810786078.9A CN109636916B (zh) 2018-07-17 2018-07-17 一种动态标定的大范围虚拟现实漫游系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810786078.9A CN109636916B (zh) 2018-07-17 2018-07-17 一种动态标定的大范围虚拟现实漫游系统及方法

Publications (2)

Publication Number Publication Date
CN109636916A CN109636916A (zh) 2019-04-16
CN109636916B true CN109636916B (zh) 2022-12-02

Family

ID=66066208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810786078.9A Active CN109636916B (zh) 2018-07-17 2018-07-17 一种动态标定的大范围虚拟现实漫游系统及方法

Country Status (1)

Country Link
CN (1) CN109636916B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785715A (zh) 2019-11-08 2021-05-11 华为技术有限公司 虚拟物体显示方法以及电子设备
CN111724485A (zh) * 2020-06-11 2020-09-29 浙江商汤科技开发有限公司 实现虚实融合的方法、装置、电子设备及存储介质
CN111862288A (zh) * 2020-07-29 2020-10-30 北京小米移动软件有限公司 一种位姿渲染方法、装置及介质
CN112270242A (zh) * 2020-10-22 2021-01-26 北京字跳网络技术有限公司 轨迹的显示方法、装置、可读介质和电子设备
CN115937398A (zh) * 2021-09-07 2023-04-07 北京字跳网络技术有限公司 一种拍照引导方法、装置、电子设备和存储介质
CN113961068B (zh) * 2021-09-29 2023-01-06 北京理工大学 一种基于增强现实头盔的近距离实物眼动交互方法
CN114415840B (zh) * 2022-03-30 2022-06-10 北京华建云鼎科技股份公司 一种虚拟现实交互系统
CN114757829A (zh) * 2022-04-25 2022-07-15 歌尔股份有限公司 拍摄校准方法、系统、设备及存储介质
CN115100276B (zh) * 2022-05-10 2024-01-19 北京字跳网络技术有限公司 处理虚拟现实设备的画面图像的方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735100A (zh) * 2012-06-08 2012-10-17 重庆邮电大学 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
WO2018019272A1 (zh) * 2016-07-29 2018-02-01 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
WO2018090323A1 (zh) * 2016-11-18 2018-05-24 深圳配天智能技术研究院有限公司 一种坐标系标定方法、系统及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735100A (zh) * 2012-06-08 2012-10-17 重庆邮电大学 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
WO2018019272A1 (zh) * 2016-07-29 2018-02-01 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法
WO2018090323A1 (zh) * 2016-11-18 2018-05-24 深圳配天智能技术研究院有限公司 一种坐标系标定方法、系统及装置
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于RGB-D相机数据的SLAM算法;洪亮等;《电子设计工程》;20180505(第09期);全文 *
基于SLAM的虚实配准方法研究;邹承明等;《计算机与数字工程》;20100120(第01期);全文 *
基于视觉的虚拟现实与增强现实融合技术;宁瑞忻等;《科技导报》;20180513(第09期);全文 *

Also Published As

Publication number Publication date
CN109636916A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636916B (zh) 一种动态标定的大范围虚拟现实漫游系统及方法
JP6171079B1 (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
KR101229283B1 (ko) 가상 3차원 객체들의 시각화를 위한 방법 및 시스템
CN102959616B (zh) 自然交互的交互真实性增强
WO2019152617A1 (en) Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
CN108196679B (zh) 基于视频流的手势捕捉和纹理融合方法及系统
KR101763636B1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
CN108701429A (zh) 提供与手术机器人进行物理交互训练的虚拟和/或增强现实
JP2013061937A (ja) ステレオカメラ及びステレオディスプレイを組み合わせたやり取り
CN104050859A (zh) 可交互数字化立体沙盘系统
CN104916182A (zh) 一种沉浸式虚拟现实维修与培训仿真系统
CN105608746A (zh) 一种将现实进行虚拟实现的方法
CN105183161A (zh) 一种用户在现实环境和虚拟环境中同步移动的方法
JP2018081410A (ja) コンピュータープログラム
KR20110025216A (ko) 가상 오브젝트들 상에 효과를 발생시키는 방법
US20220110684A1 (en) Method and assembly for spatial mapping of a model, such as a holographic model, of a surgical tool and/or anatomical structure onto a spatial position of the surgical tool respectively anatomical structure, as well as a surgical tool
CN107015655A (zh) 博物馆虚拟场景ar体验眼镜装置及其实现方法
JP2015186531A (ja) 動作情報処理装置、及びプログラム
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
CN116486051B (zh) 一种多用户展示协同方法、装置、设备及存储介质
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
US20210208402A1 (en) A System and Method for Alignment Between Real and Virtual Objects in a Head-Mounted Optical See-Through Display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant