CN108876926A - 一种全景场景中的导航方法及系统、ar/vr客户端设备 - Google Patents

一种全景场景中的导航方法及系统、ar/vr客户端设备 Download PDF

Info

Publication number
CN108876926A
CN108876926A CN201710332927.9A CN201710332927A CN108876926A CN 108876926 A CN108876926 A CN 108876926A CN 201710332927 A CN201710332927 A CN 201710332927A CN 108876926 A CN108876926 A CN 108876926A
Authority
CN
China
Prior art keywords
image
point cloud
frame
cloud data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710332927.9A
Other languages
English (en)
Other versions
CN108876926B (zh
Inventor
赵星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710332927.9A priority Critical patent/CN108876926B/zh
Priority to PCT/CN2017/116894 priority patent/WO2018205623A1/en
Priority to US15/778,231 priority patent/US11398042B2/en
Publication of CN108876926A publication Critical patent/CN108876926A/zh
Application granted granted Critical
Publication of CN108876926B publication Critical patent/CN108876926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明的实施例提供一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备，涉及AR、VR技术领域，可实现三维动态的实时导航。全景场景中的导航方法包括：采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；第一摄像设备包括多个深度摄像机，且拍摄范围覆盖360°；中央计算设备以所有深度摄像机在同一时间拍摄的多幅图像为一帧，根据深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据并进行压缩保存；AR/VR客户端设备导入中央计算设备中保存的点云数据，按先后顺序依次针对每一帧的点云数据，根据使用者当前的位置信息和方位角渲染出对应的视角的图像，并传输至显示屏进行显示。

Description

一种全景场景中的导航方法及系统、AR/VR客户端设备
技术领域
本发明涉及AR、VR技术领域，尤其涉及一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备。
背景技术
近几年，随着增强现实(Augmented Reality，简称AR)、虚拟现实(VirtualReality，简称VR)技术的普及，其可以实现全景视频。
但是由于这种基于AV/VR的全景视频，使用360°全景摄像机，使得用户只能在摄像机所在位置看到全景视频，在其他位置则看不到全景视频。
发明内容
本发明的实施例提供一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备，可实现三维动态的实时导航。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种全景场景中的导航方法，包括：采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第一摄像设备包括多个深度摄像机，多个所述深度摄像机的拍摄范围覆盖360°；所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存；其中，同一时间每个所述深度摄像机拍摄一幅图像；AR/VR客户端设备导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并传输至显示屏进行显示。
优选的，所述方法还包括：采用第二摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第二摄像设备位于所述第一摄像设备的上方且拍摄角度朝上；所述第二摄像设备包括多个所述深度摄像机。
基于此，所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，包括：所述中央计算设备以所述第一摄像设备和所述第二摄像设备中所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接。
优选的，所述方法还包括：获取所述标定参数；其中，针对任一摄像设备，获取所述标定参数，包括：以预先设定的多面体作为标定物，所述标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分；通过变换所述标定物在空间中的角度，使摄像设备中每个所述深度摄像机拍摄的图像为所述标定物特定的一个面在多个角度下的图像，且每个所述深度摄像机将所拍摄的图像传送至中央计算设备保存；所述中央计算设备根据摄像设备中每个所述深度摄像机拍摄的针对一个特定面的多幅图像，计算所述深度摄像机的内参和外参，得到所述深度摄像机的标定参数，并保存所述标定参数。
优选的，采用ICP法、ICL法、ICT法中的一种进行点云拼接。
优选的，采用均匀采样法、倍率缩减法、弦偏移法、栅格法中的一种，将所述点云数据进行压缩保存。
进一步的，采用栅格法中的八叉树方式，将所述点云数据进行压缩保存。
优选的，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，包括：按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，将所述点云数据进行三角化，在图形处理器中进行颜色亮度建模；获取使用者当前的位置信息和方位角；在所述图形处理器的渲染引擎中输入使用者当前的所述位置信息和所述方位角，以使所述渲染引擎渲染出与当前所述位置信息和所述方位角对应的视角的图像。
进一步的，采用换边法、加点法、分隔占有法中的一种，将所述点云数据进行三角化。
进一步的，采用分隔占有法中的贪婪三角投影法，将所述点云数据进行三角化。
优选的，采用即时定位技术，获取使用者当前的所述位置信息和所述方位角。
进一步的，采用SLAM技术，获取使用者当前的所述位置信息和所述方位角。
第二方面，提供一种全景场景中导航的系统，包括第一摄像设备、中央计算设备以及AV/VR客户端设备。
所述第一摄像设备用于进行图像拍摄，并将拍摄的深度图像实时传送至所述中央计算设备；其中，所述第一摄像设备包括多个深度摄像机，多个所述深度摄像机的拍摄范围覆盖360°。
所述中央计算设备，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存；其中，同一时间每个所述深度摄像机拍摄一幅图像。
所述AR/VR客户端设备，用于导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并传输至显示屏进行显示。
优选的，所述系统还包括第二摄像设备，用于进行图像拍摄，并将拍摄的深度图像实时传送至所述中央计算设备；所述第二摄像设备包括多个所述深度摄像机。
基于此，所述中央计算设备用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，包括：
所述中央计算设备用于以所述第一摄像设备和所述第二摄像设备中所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接。
优选的，所述中央计算设备包括中央计算模块和存储模块；所述存储模块中存储有所述深度摄像机的标定参数。
基于此，所述中央计算设备，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存，包括：所述中央计算模块，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述存储模块中存储的所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存至所述存储模块。
进一步优选的，所述存储模块中存储所述深度摄像机的标定参数，包括：所述中央计算模块根据所述存储模块保存的摄像设备中每个所述深度摄像机拍摄的针对标定物一个特定面的多幅图像，计算所述深度摄像机的内参和外参，得到所述深度摄像机的标定参数，并将所述标定参数保存至所述存储模块；其中，以预先设定的多面体作为标定物，通过变换所述标定物在空间中的角度，使摄像设备中每个所述深度摄像机拍摄的图像为特定的一个面在多个角度下的图像，且摄像设备中每个所述深度摄像机将所拍摄的图像传送至中央计算设备的所述存储模块保存；所述标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分。
优选的，AR/VR客户端设备，具体用于导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次将每一帧的所述点云数据进行三角化，在图形处理器中进行颜色亮度建模，并获取使用者当前的位置信息和方位角，在所述图形处理器的渲染引擎中输入使用者当前的所述位置信息和所述方位角，以使所述渲染引擎渲染出与当前所述位置信息和所述方位角对应的视角的图像，传输至显示屏进行显示。
优选的，所述深度摄像机为RGBD摄像机。
第三方面，提供一种AR/VR客户端设备，包括定位模块、控制模块、图形处理器和显示屏。
所述定位模块，用于获取的使用者当前的位置信息和方位角。
所述控制模块，用于导入中央计算设备中保存的点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次将每一帧的所述点云数据发送至所述图形处理器。
所述图形处理器，用于针对每一帧的所述点云数据，根据所述定位模块获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并将所述图像发送至显示屏。
所述显示屏，用于显示所述图像。
本发明的实施例提供一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备，通过多个深度摄像机将实时拍摄的深度图像发送至中央计算设备，使中央计算设备以同一时间所有深度摄像机拍摄的多幅深度图像为一帧，按时间上的先后顺序，一帧一帧的进行点云拼接，得到针对每一帧的点云数据并进行压缩保存，当用户佩戴AR/VR客户端设备时，通过导入中央计算设备中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，可针对每一帧的点云数据，根据使用者当前的位置信息和方位角进行渲染，从而可在用户变换观看角度或移动时，都能渲染出与当前位置信息和方位角对应的视角的图像，实现三维动态的实时导航。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全景场景中导航方法的流程示意图一；
图2为本发明实施例提供的一种第一摄像设备中各深度摄像机的位置示意图；
图3为本发明实施例提供的一种全景场景中导航方法的流程示意图二；
图4为本发明实施例提供的一种第一摄像设备对标定物进行拍摄的示意图一；
图5为本发明实施例提供的一种第一摄像设备对标定物进行拍摄的示意图二；
图6为本发明实施例提供的一种针对任一帧的点云数据渲染视角图像的流程示意图；
图7为本发明实施例提供的一种全景场景中导航的系统示意图一；
图8为本发明实施例提供的一种全景场景中导航的系统示意图二；
图9为本发明实施例提供的一种全景场景中导航的系统示意图三；
图10为本发明实施例提供的一种AR/VR客户端设备的示意图。
附图标记：
10-标定物；101-第一面；102-第二面；103-第三面；104-第四面；20-第一摄像设备；201-深度摄像机；30-中央计算设备；301-中央计算模块；302-存储模块；40-AR/VR客户端设备；401-定位模块；402-控制模块；403-图形处理器；404-显示屏；50-第二摄像设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种全景场景中的导航方法，如图1所示，包括如下步骤：
S10、采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，第一摄像设备包括多个深度摄像机，多个深度摄像机的拍摄范围覆盖360°。
此处，在使用时，如图2所示，将第一摄像设备20放置于一个区域的边缘，第一摄像设备20中每个深度摄像机201向内对该区域进行拍摄。其中，该一个区域可以是一个房间内，可以是室外的一个区域，也可也是山地的一个区域。
第一摄像设备20中每个深度摄像机201各自进行图像拍摄，并且拍摄一幅图像实时向中央计算设备上传一幅图像。
其中，第一摄像设备20例如可包括三个深度摄像机201、四个深度摄像机201、五个深度摄像机201等。深度摄像机201的个数越多，记录的信息越完整，深度摄像机201的个数越少，记录的信息也越少。
需要说明的是，并不限定第一摄像设备20中所有深度摄像机201都放置在一个平面上，具体可根据实际情况进行调节。
S11、中央计算设备以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存；其中，同一时间每个深度摄像机201拍摄一幅图像。
此处，深度摄像机201标定的目的是确定二维图像坐标系与三维世界坐标系间的对应关系，因此只有对深度摄像机201进行恰当的标定后，才能根据深度摄像机201拍摄的图像中物体的二维坐标计算出相应物体在三维世界中的实际位置。深度摄像机201标定的实质是确定内外参数的一个过程。其中，内参是深度摄像机201固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外参是确定深度摄像机201坐标系相对于某一世界坐标系的三维位置和方向关系，包括深度摄像机201坐标系与世界坐标系之间的转化矩阵和平移矩阵。
需要说明的是，第一，一旦深度摄像机201标定后，深度摄像机201便不可再变动，如果变动需再次进行标定。因此，本发明在采用第一摄像设备20进行全景图像拍摄前，基于第一摄像设备20中各深度摄像机201的摆放位置及角度，需进行提前标定。
第二，本发明实施例不对获取深度摄像机201的标定参数的具体方式进行限定，例如可以采用直线线性变化法、Tsai两步法、Weng迭代法等传统标定方法，也可以采用自标定方法，或者也可采用灭点标定方法，只要能确定深度摄像机201的内参和外参即可。
其中，自标定方法可包括直接求解Kruppa方程的自标定方法、分层逐步标定法、基于二次曲面的自标定法等。
分层逐步标定法包括Hartley法、Heyden法、Pollefeys法。这几种方法均是在投影标定的基础上，以某一幅图像为基准做投影对齐，从而将未知数缩减至8个(无穷远平面参数3个和摄像机内参数5个，不包括总体常数因子)，再通过非线性优化算法同时解出所有未知数。
当采用自标定方法获取标定参数时，由于自标定方法无需标定物，仅仅通过图像之间的对应关系便可对深度摄像机201进行标定，与场景和深度摄像机201的运动无关，因而其应用更加灵活方便；当采用灭点标定方法获取标定参数时，仅需要求拍摄的场景图像中可以找到至少2组正交的平行线，其标定速度快。
中央计算设备以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存，具体过程为：
中央计算设备以所有深度摄像机201在第一时间拍摄的多幅图像作为第一帧，其中，第一时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据后，得到针对第一帧的点云数据，并将针对第一帧的点云数据进行压缩保存；之后，将所有深度摄像机201在第二时间(第二时间发生在第一时间之后)拍摄的多幅图像作为第二帧，其中，第二时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据后，得到针对第二帧的点云数据，并将针对第二帧的点云数据进行压缩保存；之后，将所有深度摄像机201在第三时间(第三时间发生在第二时间之后)拍摄的多幅图像作为第三帧，其中，第三时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据后，得到针对第三帧的点云数据，并将针对第三帧的点云数据进行压缩保存；以此类推，按时间上的先后顺序，得到针对一帧一帧的点云数据。其中，由于不同深度摄像机201可能会拍摄到相同的部分，消除冗余即为针对相同的部分，在拼接融合过程中，仅保留一份数据。
S12、AR/VR客户端设备导入中央计算设备中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，依次针对每一帧的点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示。
即：按所有帧中得到每一帧点云数据的先后顺序，先针对第一帧的点云数据，根据使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示；之后，针对第二帧的点云数据，根据使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示；以此类推。
其中，由于使用者的位置信息和方位角不断在发生变化，因此，在针对每一帧的点云数据，进行相应视角的图像渲染时，所指的当前位置信息和方位角有可能都是不同的。
例如，在针对第一帧的点云数据进行相应视角的图像渲染时，使用者当前的位置信息和方位角，有可能与在针对第二帧的点云数据进行相应视角的图像渲染时，使用者当前的位置信息和方位角不同。
本发明实施例提供一种全景场景中的导航方法，通过多个深度摄像机201将实时拍摄的深度图像发送至中央计算设备，使中央计算设备以同一时间所有深度摄像机201拍摄的多幅深度图像为一帧，按时间上的先后顺序，一帧一帧的进行点云拼接，得到针对每一帧的点云数据并进行压缩保存，当用户佩戴AR/VR客户端设备时，通过导入中央计算设备中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，可针对每一帧的点云数据，根据使用者当前的位置信息和方位角进行渲染，从而可在用户变换观看角度或移动时，都能渲染出与当前位置信息和方位角对应的视角的图像，实现三维动态的实时导航。
优选的，所述方法还包括采用第二摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，第二摄像设备位于第一摄像设备20的上方且拍摄角度朝上；第二摄像设备包括多个深度摄像机201。
基于此，中央计算设备以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，包括：中央计算设备以第一摄像设备20和第二摄像设备中所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接。
其中，根据第二摄像设备中各深度摄像机201的放置位置及角度，与第一摄像设备20类似，需进行提前标定。
需要说明的是，将第二摄像设备设置在第一摄像设备20的上方且拍摄角度朝上，目的是，可以使第二摄像设备可对第一摄像设备20所拍摄空间的上方空间进行拍摄，这样，当将第一摄像设备20和第二摄像设备中的所有深度摄像机201在同一时间拍摄的多幅图像作为一帧，进行点云拼接后，不仅可得到第一摄像设备20拍摄区域内一定高度的全景图像，还可在此基础上，向上延伸到天空。
此外，并不限定第二摄像设备中深度摄像机201的个数，可以是两个，也可以是三个，四个等等。
本发明实施例，通过增加第二摄像设备，可在用户抬头看高处时，也能渲染出与当前位置信息和方位角对应的视角的图像，提高用户体验。
优选的，所述方法还包括获取标定参数；其中，如图3所示，针对任一摄像设备，获取标定参数具体包括如下步骤：
S20、以预先设定的多面体作为标定物，该标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分。
此处，每个面采用不同的颜色进行区分，其目的是使同一个深度摄像机201采用拍摄的特定的一个面的图像作为后续标定计算的校正面。
示例的，如图4所示，标定物的形状可以为正方体，每个面可设置9×9的棋盘格。为了区分每个面的颜色，六个面可分别设置成黑色与红色(255,0,0)的棋盘格、黑色与绿色(0,255,0)的棋盘格、黑色与蓝色(0,0,255)的棋盘格、黑色与青色(0,255,255)的棋盘格、黑色与品红(255,0,255)的棋盘格、黑色与黄色(255,255,0)的棋盘格。
S21、通过变换标定物在空间中的角度，使摄像设备中每个深度摄像机201拍摄的图像为标定物特定的一个面在多个角度下的图像，且每个深度摄像机201将所拍摄的图像传送至中央计算设备保存。
示例的，如图4所示，以第一摄像设备20，且第一摄像设备20包括4个深度摄像机201为例，将标定物10以一定的角度放置好后，使第一个深度摄像机201针对标定物的黑色与红色棋盘格的面，称为第一面101进行拍摄，使第二个深度摄像机201针对黑色与蓝色棋盘格的面，称为第二面102进行拍摄，使第三个深度摄像机201针对黑色与青色棋盘格的面，称为第三面103进行拍摄，使第四个深度摄像机201针对黑色与黄色棋盘格的面，称为第四面104进行拍摄。之后，如图5所示，变换标定物10在空间中的角度，使第一个深度摄像机201仍然针对第一面101进行拍摄，使第二个深度摄像机201仍然针对第二面102进行拍摄，使第三个深度摄像机201仍然针对第三面103进行拍摄，使第四个深度摄像机201仍然针对第四面104进行拍摄。之后还可不断的变换标定物10在空间中的角度，在每次变换完标定物10在空间中的角度后，使第一个深度摄像机201仍然针对第一面101进行拍摄，使第二个深度摄像机201仍然针对第二面102进行拍摄，使第三个深度摄像机201仍然针对第三面103进行拍摄，使第四个深度摄像机201仍然针对第四面104进行拍摄。
在该步骤中，在变换标定物10在空间中的角度时，对于摄像设备中任一个深度摄像机201，最好保证该深度摄像机201仍然针对同一个特定的面进行拍摄。因为在后续标定参数计算时，是根据每个深度摄像机201拍摄的标定物10一个特定面的多幅图像进行计算的，因而，对于任一个深度摄像机201，当其拍摄的图像除包括针对一个特定面的图像外，还包括标定物10的其他面的图像时，标定物的其他面的图像是不会被使用的。当然，对于摄像设备中任一个深度摄像机201，若其拍摄的图像除包括针对一个特定面的图像外，还包括标定物的其他面的图像，则由于标定物的每个面的颜色不同，可以很容易将任一个深度摄像机201拍摄的除针对一个特定面的图像外的其他面的图像进行剔除。
其中，由于中央计算设备是可以识别哪些图像是哪个深度摄像机201拍摄的，因此，并不限定摄像设备中每个深度摄像机201分别对标定物10的不同的面进行拍摄，也可以使两个深度摄像机201均对一个特定的面进行拍摄。
需要说明的是，本领域技术人员应该知道，当变换标定物10在空间中的角度时，若在其中两个角度下，标定物10的面处于平行的平面上，这样，在该两个角度下，每个深度摄像机201所拍摄的图像在后续标定计算时，实质上被算作一幅图像。
基于此，在进行标定物10的角度变换时，需保证摄像设备中每个深度摄像机201在所有角度下拍摄的多幅图像，至少能满足后续对深度摄像机201的内参和外参的计算需求。
S22、中央计算设备根据摄像设备中每个深度摄像机201拍摄的针对一个特定面的多幅图像，计算深度摄像机201的内参和外参，得到深度摄像机201的标定参数，并保存标定参数。
此处，一般摄像机的内参矩阵，α＝f/dx，β＝f/dy。f为摄像机的焦距，dx为x轴方向一个像素的宽度，dy为y轴方向上一个像素的宽度；γ为像素点在x轴,y轴方向上尺度的偏差；(u0,v0)称为主点坐标。α、β、γ、u0、v0只与摄像机内部结构有关。
基于此，通过变换标定物10在空间中的角度，使摄像设备中任一个深度摄像机201拍摄一个特定面，且其所拍摄的该特定面在非平行平面的各角度下的图像幅数为至少三幅图像，便可基于张正友计算方法计算出每个深度摄像机201的内参。
当然，在方法中，任一个深度摄像机201，其所拍摄的一个特定面在非平行平面的各角度下的图像幅数越多，计算的深度摄像机201的内参和外参越精确。
基于此，优选任一个深度摄像机201拍摄的特定面在非平行平面的各角度下的图像幅数为9幅。即，可通过使标定物10在空间中变换9次角度，且9次角度的任意两次的差值不为180°或360°，来使每个深度摄像机201拍摄的特定面在非平行平面的各角度下的图像幅数为9幅这样，一方面，可使计算的标定参数更精确，另一方面，避免拍摄的图像幅数太多造成标定过程过于复杂。
在此基础上，利用内参可计算出深度摄像机的外参，即深度摄像机在世界坐标系的位置和空间角度。
本发明实施例，通过采用多面体作为标定物，且使每个面采用不同的颜色进行区分，只需通过变换标定物10在空间中的角度，即可使每个深度摄像机201针对标定物10的一个特定面拍摄多幅不同角度的图像，以用于计算深度摄像机201的内参和外参，因而，可基于一个标定物10即可得到深度摄像机201的标定参数，更简单易行，且对标定物的要求较低，且标定精度较高。
优选的，在上述S11中，可采用ICP(Iterative Closest Point，迭代最近点)法、ICL(Iterative Closest Line，迭代最近线)法、ICT(Iterative Closest Triangle，迭代最近三角形)法中的一种进行点云拼接。
其中，ICL、ICT是在ICP基础上的两个技术分支。
ICP法主要包括：
1)根据点集(记为A)中的点坐标，在曲面上搜索相应最近点点集(记为B)。
此处，点集A即为所有深度摄像机在同一时间拍摄的多幅图像(一帧)的点的集合。
2)计算两个点集A和B的重心位置坐标，并进行点集中心化生成新的点集。
3)由新的点集计算正定矩阵(记为N)，并计算N的最大特征值及其最大特征向量。
4)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵(记为R)。
5)在旋转矩阵R被确定后，由于平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定。
6)由点集A计算旋转后的点集(即为C)。通过点集A与点集C计算距离平方和，并以连续两次距离平方和之差的绝对值作为迭代判断数值。
7)迭代判断数值满足条件时，ICP配准算法就停止迭代，否则重复1至6步，直到满足条件后停止迭代。
本发明实施例中，通过采用ICP法、ICL法、ICT法中的一种进行点云拼接，可以获得非常精确的配准效果。
优选的，在上述S11中，可采用均匀采样法、倍率缩减法、弦偏移法、栅格法中的一种，将点云数据进行压缩保存。
此处，点云是物体外观点的数据集合，它反映了一个物体的外观轮廓甚至是内部结构，点云数据则为每个点云包括深度信息，进一步的可包括颜色信息。
均匀采样法，主要依据点云的存储顺序，每隔N个点保留一个点，其余点均删除。N为大于1的正整数。
倍率缩减法，主要是将所有点云的邻域进行遍历，去除点云邻域中两点间距离最近的一个，知道满足用户的指定数目。
弦偏移法，主要是在最大弦长L内，忽略所有弦偏离小于θ的点，只有达到最大弦长或偏离不小于θ的点才会被采样。
栅格法，主要是将点云划分为栅格，求取各个栅格中所有点的法矢量的平均值，并保留每个栅格上各种法矢量最接近平均值的点。
进一步的，可采用栅格法中的八叉树方式，将点云数据进行压缩保存。即：利用八叉树将点云划分为栅格，求取各个栅格中所有点的法矢量的平均值，并保留每个栅格上各种法矢量最接近平均值的点。该方法压缩后的点集接近均匀分布。
基于上述，如图6所示，上述S12中，按所有帧中得到每一帧点云数据的先后顺序，依次针对每一帧的点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，可通过如下步骤实现：
S121、按所有帧中得到每一帧点云数据的先后顺序，依次针对每一帧的点云数据，将点云数据进行三角化，并在GPU(Graphic Processing Unit，图形处理器)中进行颜色亮度建模。
此处，可采用换边法、加点法、分隔占有法中的一种，将点云数据进行三角化。
点云数据三角化具体方法是：先将有向点云投影到某一局部二维坐标平面内，以在二维坐标平面内进行平面内的三角化，再根据平面内三位点的拓扑连接关系获得一个三角网格曲面模型。
换边法，首先构造非优化的初始三角化，然后对2个共边三角形形成的凸四边形迭代换边优化。
加点法，从一个三角形开始，每次加一个点，保证每一步得到的当前三角化是局部优化的。
分隔占有法，将数据域递归细分为子块，每块实现局部优化三角化，然后合并。
进一步的，可采用分隔占有法中的贪婪三角投影法，将点云数据进行三角化。
贪婪三角投影法原理是处理一系列可以使网格“生长扩大”的点(即，边缘点)，延伸这些点直到所有符合几何正确性和拓扑正确性的点都被连上。该算法的三角化过程是局部进行的，首先沿着一点的法线将该点投影到局部二维坐标平面内并连接其他悬空点，然后在进行下一点。对于面的两边非常靠近的情况，规定如果某点法线方向的偏离超过指定角度，该点就不连接到样本点上。其中，指定角度可通过计算法向线段(忽略法线方向)之间的角度得到。此外，需保证法线朝向，如果法线方向一致性标识没有设定，就不能保证估计出的法线都可以始终朝向一致。
贪婪三角投影法的优点是可以处理来自一个或者多个设备(即，本发明中为深度摄像机201)得到并且有多个连接处的散乱点云。
S122、获取使用者当前的位置信息和方位角。
此处，可采用即时定位技术获取使用者当前的位置信息和方位角。
进一步的，可采用SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术，获取使用者当前的位置信息和方位角。其中，建图可辅助进行定位，使获取的使用者当前的位置信息和方位角更精确。
S123、在GPU的渲染引擎中输入使用者当前的位置信息和所述方位角。
具体的，可将渲染引擎中摄像机的位置信息和方位角设置参数设置为当前的位置信息和方位角。
S124、渲染引擎渲染出与当前位置信息和方位角对应的视角的图像。
具体的，渲染可包括如下过程：
模型变换
由于每个模型都有自己的坐标，因此在成为屏幕上的画面对象之前，模型需要变换为多个空间或者坐标系。
作为对象的模型空间(或者叫模型自空间)的坐标被称作模型坐标，在经过坐标变换后，模型就会处于世界坐标里，也就是确定了该模型在场景中的方向、位置。
视图变换
实时渲染场景中包含的对象(模型)可以有很多个，但是只有视角覆盖的区别才会被渲染。而渲染引擎中的摄像机在世界坐标里有一个用来摆放的位置和面向的方向。
为了实现接下来的投影、裁剪处理，渲染引擎中的摄像机和模型都需要进行视图变换这个操作，目的是将渲染引擎中的摄像机放置在坐标原点上，使其正对的方向为Z轴(负向)，Y轴指向上，X轴指向右。
顶点着色
所谓着色就是指确定光照在物料上所呈现效果的操作，这类操作既可能运行于几何阶段的模型顶点上，也可能运行于光栅阶段的各个像素上，也就是所谓的顶点着色和像素着色。
在顶点着色的时候，各个顶点需要存放若干个相关的物料数据，例如顶点位置、法线、色彩以及其他任何进行着色处理计算相关的数字信息。
顶点着色的计算结果(可以是色彩、向量、纹理坐标以及任何其他着色数据)会被发送到光栅化阶段进行插值处理。
投影
在完成了着色处理后，渲染系统会把可视体转换为一个位于(-1,-1,-1)到(1,1,1)的单元立方体中，这个立方体被称作正则观察体，使用到的投影方式一般有两种：平行投影和透视投影。透视投影因为模拟了我们人类的视觉体验，所以在游戏或者虚拟现实、增强现实中使用。
三角形裁剪
在进行裁剪动作的时候，如果图元有顶点落在可视体之外，裁剪的时候就会将可视体之外的这部分剪切掉，并且在可视体与图元相交的位置生成新的顶点，而位于立方体外部的旧图元就会被抛弃掉。
屏幕映射
经过上一步裁剪后的位于可视体内的图元会被传递到屏幕映射，此时的坐标信息依然是三维的。图元的X、Y坐标被变换到屏幕坐标系，屏幕坐标再加上Z轴坐标就被称作窗口坐标。
光栅化处理
在获得了经过变换和投影处理的顶点及其相关联的着色信息后，光栅化处理的目的就是计算并设置好被对象覆盖区域的像素颜色。这个处理被称作光栅化或者扫描转换，也就是把二维坐标上包含深度(Z轴)信息和各种相关着色信息的顶点到屏幕上像素的转换。
这个处理阶段一般可以拆分为4个步骤，分别为：三角形设定、三角形遍历、像素着色、输出合并。
其中，三角形设定，会进行三角形表面的微分以及其他关于三角形表面数据的计算，计算出来的数据会被用于扫描转换以及几何阶段所产生的各种着色数据的插值处理。在GPU上这一步会采用固定硬件功能单元来实现。
三角形遍历，用作确定像素的中心是否被三角形覆盖，如果该像素被三角形覆盖的话，就会生成对应的片元。
每个三角形对应片元的属性都是由该三角形的三个顶点数据插值而成，例如片元的深度值以及来自几何阶段的着色数据。
像素着色，所有的逐像素着色计算都在这一步执行，使用的输入数据是之前插值的着色数据。像素着色发送到下一个工位的计算的结果可能是一个色彩值也可能是多个色彩值。
和三角形设定以及三角形遍历采用固定硬件功能单元不同的是，像素着色都是由可编程的GPU内核执行。
在像素着色所依赖的众多技术中最为重要的就是贴图，所谓贴图就是把一张或者多张图片“贴”到对象上。
输出合并，执行的操作主要是将之前步骤生成的色彩信息进行合并形成最终输出的像素色彩。
用于存放像素色彩信息的缓存被称作色彩缓存，一般情况下是以红、绿、蓝三个色元的方式存放，此外还有一个用于存放像素对应深度信息值的深度缓存。
在整个场景完成渲染后，色彩缓存中存放的都是从渲染引擎中摄像机视角位置看到的可视图元色彩值。
基于上述，通过重复S121-S124，可一帧一帧的根据当前的位置信息和方位角，进行渲染出与位置信息和方位角对应的视角的图像。
需要说明的是，对于S121和S122，并不限定二者的先后顺序，可同时进行。
本发明实施例还提供一种全景场景中导航的系统，如图7所示，包括第一摄像设备20、中央计算设备30以及AV/VR客户端设备40。
第一摄像设备20用于进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备30；第一摄像设备20包括多个深度摄像机201，多个深度摄像机201的拍摄范围覆盖360°。
此处，需首先进行第一摄像设备20中深度摄像机201位置的搭建，将第一摄像设备20放置于一个区域的边缘，第一摄像设备20中每个深度摄像机201向内对该区域进行拍摄，且使第一摄像设备20中的多个深度摄像机201的拍摄范围覆盖360°。由于一旦深度摄像机201标定后，深度摄像机201便不可再变动，如果变动需再次进行标定。因此，第一摄像设备20中深度摄像机201位置的搭建好后，首先应基于第一摄像设备20中各深度摄像机201的摆放位置及角度，进行标定。
第一摄像设备20中每个深度摄像机201各自进行图像拍摄，并且拍摄一幅图像实时向中央计算设备30上传一幅图像。
其中，第一摄像设备20例如可包括三个深度摄像机201、四个深度摄像机201、五个深度摄像机201等。深度摄像机201的个数越多，记录的信息越完整，深度摄像机201的个数越少，记录的信息也越少。
中央计算设备30，用于以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存；其中，同一时间每个深度摄像机201拍摄一幅图像。
中央计算设备以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存，具体过程为：
中央计算设备30以所有深度摄像机201在第一时间拍摄的多幅图像作为第一帧，其中，第一时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机的标定参数，进行点云拼接，消除冗余数据后，得到针对第一帧的点云数据，并将针对第一帧的点云数据进行压缩保存；之后，将所有深度摄像机201在第二时间(第二时间发生在第一时间之后)拍摄的多幅图像作为第二帧，其中，第二时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据后，得到针对第二帧的点云数据，并将针对第二帧的点云数据进行压缩保存；之后，将所有深度摄像机201在第三时间(第三时间发生在第二时间之后)拍摄的多幅图像作为第三帧，其中，第三时间每个深度摄像机201分别拍摄一幅图像，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据后，得到针对第三帧的点云数据，并将针对第三帧的点云数据进行压缩保存；以此类推，按时间上的先后顺序，得到针对一帧一帧的点云数据。其中，由于不同深度摄像机201可能会拍摄到相同的部分，消除冗余即为针对相同的部分，在拼接融合过程中，仅保留一份数据。
AR/VR客户端设备40，用于导入中央计算设备30中保存的点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示。
即：按所有帧中得到每一帧点云数据的先后顺序，先针对第一帧的点云数据，根据使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示；之后，针对第二帧的点云数据，根据使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并传输至显示屏进行显示；以此类推。
本发明实施例提供一种全景场景中导航的系统，通过第一摄像设备20中的所有深度摄像机201将实时拍摄的深度图像发送至中央计算设备30，使中央计算设备30以同一时间拍摄的多幅深度图像为一帧，按时间上的先后顺序，一帧一帧的进行点云拼接，得到针对每一帧的点云数据并进行压缩保存，当用户佩戴AR/VR客户端设备40时，通过导入中央计算设备30中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，针对每一帧的点云数据，根据使用者当前的位置信息和方位角进行渲染，从而可在用户变换观看角度或移动时，都能渲染出与当前位置信息和方位角对应的图像，实现三维动态的实时导航。
优选的，如图8所示，所述系统还包括第二摄像设备50，用于进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备30；第二摄像设备50包括多个深度摄像机201。
基于此，中央计算设备30用于以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，包括：中央计算设备30用于以第一摄像设备20和第二摄像设备50中所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接。
其中，在第二摄像设备50中深度摄像机201位置的搭建好后，首先应基于第二摄像设备50中各深度摄像机201的摆放位置及角度，进行标定。
需要说明的是，将第二摄像设备50设置在第一摄像设备20的上方且拍摄角度朝上，目的是，可以使第二摄像设备50可对第一摄像设备20所拍摄空间的上方空间进行拍摄，这样，当将第一摄像设备20和第二摄像设备50中的所有深度摄像机201在同一时间拍摄的多幅图像作为一帧，进行点云拼接后，不仅可得到第一摄像设备20拍摄区域内一定高度的全景图像，还可在此基础上，向上延伸到天空。
本发明实施例，通过增加第二摄像设备50，可在用户抬头看高处时，也能渲染出与当前位置信息和方位角对应的视角的图像，提高用户体验。
如图9所示，中央计算设备30包括中央计算模块301和存储模块302；存储模块302中存储有深度摄像机201的标定参数。
基于此，中央计算设备30，用于以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存，包括：
中央计算模块301，用于以所有深度摄像机201在同一时间拍摄的多幅图像为一帧，根据存储模块302中存储的深度摄像机201的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将点云数据进行压缩保存至存储模块302。
其中，存储模块302中存储深度摄像机201的标定参数，包括：
中央计算模块301根据存储模块302保存的摄像设备中每个深度摄像机201拍摄的针对标定物10一个特定面的多幅图像，计算深度摄像机201的内参和外参，得到深度摄像机201的标定参数，并将标定参数保存至存储模块302。
其中，以预先设定的多面体作为标定物10，通过变换标定物10在空间中的角度，使摄像设备中每个深度摄像机201拍摄的图像为特定的一个面在多个角度下的图像，且摄像设备中每个深度摄像机201将所拍摄的图像传送至中央计算设备的存储模块302保存；标定物10的每个面均为棋盘格，且每个面采用不同的颜色进行区分。
此处，每个面采用不同的颜色进行区分，其目的是使同一个深度摄像机201采用特定的一个面作为后续标定计算的校正面。
示例的，如图4所示，标定物的形状可以为正方体，每个面可设置9×9的棋盘格。为了区分每个面的颜色，六个面可分别设置成黑色与红色(255,0,0)的棋盘格、黑色与绿色(0,255,0)的棋盘格、黑色与蓝色(0,0,255)的棋盘格、黑色与青色(0,255,255)的棋盘格、黑色与品红(255,0,255)的棋盘格、黑色与黄色(255,255,0)的棋盘格。
在变换标定物10在空间中的角度时，对于摄像设备中任一个深度摄像机201，最好保证该深度摄像机201仍然针对同一个特定的面进行拍摄。因为在后续标定参数计算时，是根据每个深度摄像机201拍摄的标定物10一个特定面的多幅图像进行计算的，因而，对于任一个深度摄像机201，当其拍摄的图像除包括针对一个特定面的图像外，还包括标定物10的其他面的图像时，标定物的其他面的图像是不会被使用的。当然，对于摄像设备中任一个深度摄像机201，若其拍摄的图像除包括针对一个特定面的图像外，还包括标定物的其他面的图像，则由于标定物的每个面的颜色不同，可以很容易将任一个深度摄像机201拍摄的除针对一个特定面的图像外的其他面的图像进行剔除。
其中，由于中央计算模块301是可以识别哪些图像是哪个深度摄像机201拍摄的，因此，并不限定摄像设备中每个深度摄像机201分别对标定物10的不同的面进行拍摄，也可以使两个深度摄像机201均对一个特定的面进行拍摄。
需要说明的是，本领域技术人员应该知道，当变换标定物10在空间中的角度时，若在其中两个角度下，标定物10的面处于平行的平面上，这样，在该两个角度下，每个深度摄像机201所拍摄的图像在后续标定计算时，实质上被算作一幅图像。
基于此，在进行标定物10的角度变换时，需保证摄像设备中每个深度摄像机201在所有角度下拍摄的多幅图像，至少能满足后续对深度摄像机201的内参和外参的计算需求。
优选的，AR/VR客户端设备40，具体用于导入中央计算设备30中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，依次将每一帧的点云数据进行三角化，在GPU中进行颜色亮度建模，并获取使用者当前的位置信息和方位角，在GPU的渲染引擎中输入使用者当前的位置信息和方位角，以使渲染引擎渲染出与当前位置信息和方位角对应的视角的图像，传输至显示屏进行显示。
基于上述，考虑到RGBD摄像机能同时保留颜色亮度信息和深度信息，且性能较好，因此，优选的，深度摄像机为RGBD摄像机。
本发明实施例还提供一种AR/VR客户端设备40，如图10所示，包括定位模块401、控制模块402、图形处理器403和显示屏404。
定位模块401，用于获取的使用者当前的位置信息和方位角。
控制模块402，用于导入中央计算设备30中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，依次将每一帧的所述点云数据发送至所述图形处理器403。
图形处理器403，用于针对每一帧的点云数据，根据定位模块401获取的使用者当前的位置信息和方位角，渲染出与当前位置信息和方位角对应的视角的图像，并将所述图像发送至显示屏404。
显示屏404，用于显示所述图像。
本发明实施例提供一种AR/VR客户端设备40，当用户佩戴AR/VR客户端设备40时，通过导入中央计算设备30中保存的点云数据，按所有帧中得到每一帧点云数据的先后顺序，可针对每一帧的点云数据，根据使用者当前的位置信息和方位角进行渲染，从而可在用户任意变换观看角度或移动时，都能渲染出与当前位置信息和方位角对应的视角的图像，实现三维动态的实时导航。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种全景场景中的导航方法，其特征在于，包括：
采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第一摄像设备包括多个深度摄像机，多个所述深度摄像机的拍摄范围覆盖360°；
所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存；其中，同一时间每个所述深度摄像机拍摄一幅图像；
AR/VR客户端设备导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并传输至显示屏进行显示。
2.根据权利要求1所述的方法，其特征在于，还包括：采用第二摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第二摄像设备位于所述第一摄像设备的上方且拍摄角度朝上；所述第二摄像设备包括多个所述深度摄像机；
所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，包括：
所述中央计算设备以所述第一摄像设备和所述第二摄像设备中所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接。
3.根据权利要求1或2所述的方法，其特征在于，还包括：获取所述标定参数；
其中，针对任一摄像设备，获取所述标定参数，包括：
以预先设定的多面体作为标定物，所述标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分；
通过变换所述标定物在空间中的角度，使摄像设备中每个所述深度摄像机拍摄的图像为所述标定物特定的一个面在多个角度下的图像，且每个所述深度摄像机将所拍摄的图像传送至中央计算设备保存；
所述中央计算设备根据摄像设备中每个所述深度摄像机拍摄的针对一个特定面的多幅图像，计算所述深度摄像机的内参和外参，得到所述深度摄像机的标定参数，并保存所述标定参数。
4.根据权利要求1所述的方法，其特征在于，采用ICP法、ICL法、ICT法中的一种进行点云拼接。
5.根据权利要求1所述的方法，其特征在于，采用均匀采样法、倍率缩减法、弦偏移法、栅格法中的一种，将所述点云数据进行压缩保存。
6.根据权利要求5所述的方法，其特征在于，采用栅格法中的八叉树方式，将所述点云数据进行压缩保存。
7.根据权利要求1所述的方法，其特征在于，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，包括：
按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，将所述点云数据进行三角化，在图形处理器中进行颜色亮度建模；
获取使用者当前的位置信息和方位角；
在所述图形处理器的渲染引擎中输入使用者当前的所述位置信息和所述方位角，以使所述渲染引擎渲染出与当前所述位置信息和所述方位角对应的视角的图像。
8.根据权利要求7所述的方法，其特征在于，采用换边法、加点法、分隔占有法中的一种，将所述点云数据进行三角化。
9.根据权利要求8所述的方法，其特征在于，采用分隔占有法中的贪婪三角投影法，将所述点云数据进行三角化。
10.根据权利要求7所述的方法，其特征在于，采用即时定位技术，获取使用者当前的所述位置信息和所述方位角。
11.根据权利要求10所述的方法，其特征在于，采用SLAM技术，获取使用者当前的所述位置信息和所述方位角。
12.一种全景场景中导航的系统，其特征在于，包括第一摄像设备、中央计算设备以及AV/VR客户端设备；
所述第一摄像设备用于进行图像拍摄，并将拍摄的深度图像实时传送至所述中央计算设备；其中，所述第一摄像设备包括多个深度摄像机，多个所述深度摄像机的拍摄范围覆盖360°；
所述中央计算设备，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存；其中，同一时间每个所述深度摄像机拍摄一幅图像；
所述AR/VR客户端设备，用于导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并传输至显示屏进行显示。
13.根据权利要求12所述的系统，其特征在于，还包括第二摄像设备，用于进行图像拍摄，并将拍摄的深度图像实时传送至所述中央计算设备；所述第二摄像设备包括多个所述深度摄像机；
所述中央计算设备用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，包括：
所述中央计算设备用于以所述第一摄像设备和所述第二摄像设备中所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接。
14.根据权利要求12所述的系统，其特征在于，所述中央计算设备包括中央计算模块和存储模块；所述存储模块中存储有所述深度摄像机的标定参数；
所述中央计算设备，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存，包括：
所述中央计算模块，用于以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述存储模块中存储的所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存至所述存储模块。
15.根据权利要求14所述的系统，其特征在于，所述存储模块中存储所述深度摄像机的标定参数，包括：
所述中央计算模块根据所述存储模块保存的摄像设备中每个所述深度摄像机拍摄的针对标定物一个特定面的多幅图像，计算所述深度摄像机的内参和外参，得到所述深度摄像机的标定参数，并将所述标定参数保存至所述存储模块；
其中，以预先设定的多面体作为标定物，通过变换所述标定物在空间中的角度，使摄像设备中每个所述深度摄像机拍摄的图像为特定的一个面在多个角度下的图像，且摄像设备中每个所述深度摄像机将所拍摄的图像传送至中央计算设备的所述存储模块保存；所述标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分。
16.根据权利要求12所述的系统，其特征在于，AR/VR客户端设备，具体用于导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次将每一帧的所述点云数据进行三角化，在图形处理器中进行颜色亮度建模，并获取使用者当前的位置信息和方位角，在所述图形处理器的渲染引擎中输入使用者当前的所述位置信息和所述方位角，以使所述渲染引擎渲染出与当前所述位置信息和所述方位角对应的视角的图像，传输至显示屏进行显示。
17.根据权利要求12-16任一项所述的系统，其特征在于，所述深度摄像机为RGBD摄像机。
18.一种AR/VR客户端设备，其特征在于，包括定位模块、控制模块、图形处理器和显示屏；
所述定位模块，用于获取的使用者当前的位置信息和方位角；
所述控制模块，用于导入中央计算设备中保存的点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次将每一帧的所述点云数据发送至所述图形处理器；
所述图形处理器，用于针对每一帧的所述点云数据，根据所述定位模块获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并将所述图像发送至显示屏；
所述显示屏，用于显示所述图像。
CN201710332927.9A 2017-05-11 2017-05-11 一种全景场景中的导航方法及系统、ar/vr客户端设备 Active CN108876926B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710332927.9A CN108876926B (zh) 2017-05-11 2017-05-11 一种全景场景中的导航方法及系统、ar/vr客户端设备
PCT/CN2017/116894 WO2018205623A1 (en) 2017-05-11 2017-12-18 Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium
US15/778,231 US11398042B2 (en) 2017-05-11 2017-12-18 Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710332927.9A CN108876926B (zh) 2017-05-11 2017-05-11 一种全景场景中的导航方法及系统、ar/vr客户端设备

Publications (2)

Publication Number Publication Date
CN108876926A true CN108876926A (zh) 2018-11-23
CN108876926B CN108876926B (zh) 2021-08-10

Family

ID=64104256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710332927.9A Active CN108876926B (zh) 2017-05-11 2017-05-11 一种全景场景中的导航方法及系统、ar/vr客户端设备

Country Status (3)

Country Link
US (1) US11398042B2 (zh)
CN (1) CN108876926B (zh)
WO (1) WO2018205623A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599602A (zh) * 2019-09-19 2019-12-20 百度在线网络技术（北京）有限公司 一种ar模型的训练方法、装置、电子设备及存储介质
CN111045664A (zh) * 2019-11-21 2020-04-21 珠海剑心互动娱乐有限公司 一种获取场景物件视觉参数的方法及系统
CN111968243A (zh) * 2020-06-28 2020-11-20 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN113572975A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
WO2023071586A1 (zh) * 2021-10-25 2023-05-04 腾讯科技（深圳）有限公司 画面生成方法、装置、设备及介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10984587B2 (en) * 2018-07-13 2021-04-20 Nvidia Corporation Virtual photogrammetry
CN109242961B (zh) * 2018-09-26 2021-08-10 北京旷视科技有限公司 一种脸部建模方法、装置、电子设备和计算机可读介质
US11734873B2 (en) * 2019-12-13 2023-08-22 Sony Group Corporation Real-time volumetric visualization of 2-D images
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US20220295139A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
CN113628279B (zh) * 2021-07-29 2023-10-31 成都易瞳科技有限公司 一种全景视觉slam建图方法
CN113900435B (zh) * 2021-08-31 2022-09-27 深圳蓝因机器人科技有限公司 基于双摄像头的移动机器人避障方法、设备、介质及产品
CN114120448B (zh) * 2021-11-29 2023-04-07 北京百度网讯科技有限公司 图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118230A (zh) * 2013-02-28 2013-05-22 腾讯科技（深圳）有限公司 一种全景图像采集方法、装置以及系统
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
US20160150217A1 (en) * 2014-11-20 2016-05-26 Cappasity Inc. Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60124566T2 (de) * 2000-09-07 2007-09-06 Actuality Systems, Inc., Reading Volumetrische bildanzeigevorrichtung
US8982110B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
US9189886B2 (en) * 2008-08-15 2015-11-17 Brown University Method and apparatus for estimating body shape
US20120253874A1 (en) * 2011-04-01 2012-10-04 Caterpillar Inc. Graphical user interface for product quality planning and management
CN202677012U (zh) 2012-04-24 2013-01-16 Tcl光电科技(惠州)有限公司 一种超窄边框的led液晶显示模组及其液晶电视
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
CN104214590A (zh) 2013-05-30 2014-12-17 北京京东方光电科技有限公司 一种背光模组和液晶显示装置
US9693040B2 (en) * 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
WO2017072049A1 (en) * 2015-10-27 2017-05-04 Philips Lighting Holding B.V. Determining the lighting effect for a virtually placed luminaire
CN106296686A (zh) * 2016-08-10 2017-01-04 深圳市望尘科技有限公司 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118230A (zh) * 2013-02-28 2013-05-22 腾讯科技（深圳）有限公司 一种全景图像采集方法、装置以及系统
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
US20160150217A1 (en) * 2014-11-20 2016-05-26 Cappasity Inc. Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599602A (zh) * 2019-09-19 2019-12-20 百度在线网络技术（北京）有限公司 一种ar模型的训练方法、装置、电子设备及存储介质
CN110599602B (zh) * 2019-09-19 2023-06-09 百度在线网络技术（北京）有限公司 一种ar模型的训练方法、装置、电子设备及存储介质
CN111045664A (zh) * 2019-11-21 2020-04-21 珠海剑心互动娱乐有限公司 一种获取场景物件视觉参数的方法及系统
CN113572975A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
CN113572975B (zh) * 2020-04-29 2023-06-06 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
CN111968243A (zh) * 2020-06-28 2020-11-20 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN113706714B (zh) * 2021-09-03 2024-01-05 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
WO2023071586A1 (zh) * 2021-10-25 2023-05-04 腾讯科技（深圳）有限公司 画面生成方法、装置、设备及介质

Also Published As

Publication number Publication date
US11398042B2 (en) 2022-07-26
US20210209777A1 (en) 2021-07-08
WO2018205623A1 (en) 2018-11-15
CN108876926B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108876926A (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN106651961B (zh) 一种基于彩色立体标定物的无人机标定方法及系统
CN105006021B (zh) 一种适用于快速点云三维重建的颜色映射方法及装置
US20020113865A1 (en) Image processing method and apparatus
CN108470370A (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN106570938A (zh) 基于opengl 的全景监控方法及系统
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
CN103226830A (zh) 三维虚实融合环境中视频纹理投影的自动匹配校正方法
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN107918948B (zh) 4d视频渲染方法
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN110322541A (zh) 一种从五个倾斜相机中选择最优墙面纹理的方法
CN110458960A (zh) 一种基于偏振的彩色物体三维重建方法
Alshawabkeh et al. Automatic multi-image photo texturing of complex 3D scenes
CN108564654A (zh) 三维大场景的画面进入方式
JP2002117413A (ja) 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
Karras et al. Generation of orthoimages and perspective views with automatic visibility checking and texture blending
CN115205491A (zh) 一种手持多视图三维重建的方法及装置
CN106157321A (zh) 基于平面表面高动态范围图像的真实点光源位置测算方法
CN112562057A (zh) 三维重建系统及方法
KR20030082307A (ko) 직각 교차 실린더를 이용한 영상기반 렌더링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant