CN107957772A - 现实场景中采集vr 图像的处理方法以及实现vr 体验的方法 - Google Patents

Abstract

本申请公开了一种现实场景中采集的VR图像的处理方法及装置，以及一种实现现实场景的VR体验的方法及装置。所述现实场景中采集的VR图像的处理方法包括：提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。采用上述方法，解决现有技术中以解决现有技术中用户在体验时存在自由度低及画面跳跃的问题。

Description

现实场景中采集VR图像的处理方法以及实现VR体验的方法

技术领域

本发明涉及虚拟现实领域，具体涉及一种现实场景中采集的VR图像的处理方法，以及对应于上述方法的一种实现现实场景的VR体验的方法；本发明同时提供一种现实场景中采集的VR图像的处理装置；以及一种实现现实场景的VR体验的装置。

背景技术

VR技术(虚拟现实技术)是一种可以创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真，使用户沉浸到由视频、音频以及其他设备提供的虚拟场景中。

使用VR技术可以为体验者提供一种在虚拟场景中自由移动以及与场景(包括场景中的物体)交互的体验，这种体验方式称为漫游体验或者VR体验；这种技术具有很多应用场合，其中一个重要应用场合是用于实现现实场景的VR体验。即，采集某个现实场景的信息，并依据现实场景信息构造与其一致的虚拟场景，这些虚拟场景通常包括至少一个VR图像；将这些虚拟场景用于所述VR体验作为现实场景的实景体验的替代。这种实现现实场景的VR体验可以用于旅游展示、街景呈现以及购物体验等场合，是VR体验的一种重要应用。

显然，实现上述现实场景的VR体验需要首先收集现实场景的场景信息，如何采集现实场景的场景信息，用于构建用于漫游体验的虚拟场景是VR体验中的关键技术。

现有技术下，对于采集现实场景的场景信息通常采用如下方案。在需要实现VR体验的现实场景中的多个地点拍摄全景图片作为制作VR图像的依据，这些地点可以覆盖一个场景。如需要采集的现实场景为某个品牌的线下实体店，其面积为8x8平方米，可以将这个区域分割成4个4x4平米的区域，每个区域拍摄全景图片，得到全景图片A，B，C，D。这4张全景图片可以作为描述这个实体店的场景信息。

以上解决办法的缺陷为:通过图片的形式展现场景，上述例子中，只能通过4个机位展现实体店中的信息，体验者无法在更多的机位上(更多视角)查看这个场景。如用户要看某样物体的背面需要移动至这个物体背面才能看到，而这种方式无法做到，除非在物体背面也拍摄了一张全景图片，这种方案面临着自由度低的问题；此外，从一张图片跳跃到另一张图片，实际经历了一段物理空间上的跳跃，而这种方案直接从物理空间的一点跳跃到另一点，会让用户觉得不适应，突然来到某一画面会无法与上一画面衔接起来。

由此可见，现有的VR视频的漫游技术存在自由度低及画面跳跃的问题。

发明内容

本申请提供一种现实场景中采集的VR图像的处理方法，以解决现有技术中用户在体验时存在自由度低及画面跳跃的问题。本申请同时提供一种现实场景中采集的VR图像的处理装置；以及对应于上述方法的一种实现现实场景的VR体验的方法，以及对应于上述装置的一种实现现实场景的VR体验的装置。

本申请提供的现实场景中采集的VR图像的处理方法，包括：

提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；

确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

优选的，所述确定所述轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系的步骤后，包括：将所述轨道位置点的坐标和所对应的图像帧的帧号对应记录，作为查询依据。

优选的，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的，所述轨道的设置依据，包括以下内容之一或组合：

所述需要采集VR图像的现实场景的布局、所述需要采集VR图像的现实场景中可能用于行进的路线、所述需要采集VR图像的现实场景中包含的感兴趣目标物体。

优选的，所述轨道采用以下方式中的一种进行设置：

所述拍摄场景中的道路和/或在所述现实场景中划分的网格。

优选的，所述VR视频，包括：使用360度全景摄像机拍摄。

优选的，所述VR视频，具体采用如下方法获得：从一个确定的起始点开始，以确定的速度沿轨道拍摄。

优选的，所述确定轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系，包括：

根据所述确定的速度、确定的起始点，确定拍摄时每个时间点的轨道位置点；

根据拍摄时的帧速确定每个时间点的VR视频的图像帧；

将对应同一个时间点的轨道位置点和图像帧作为具有对应关系的轨道位置点和图像帧。

优选的，所述VR视频，包含所述轨道上的所有位置点的图像。

本申请同时提供一种实现现实场景的VR体验的方法，包括：

提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上；

确定体验者在虚拟场景中的当前位置点；

根据当前位置点，查询所述VR图像集；

根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。

优选的，所述根据当前位置点，查询所述VR图像集，具体为：

将当前位置点对应到所述轨道上的轨道位置点；

根据轨道上的轨道位置点，查询所述VR图像集。

优选的，所述当前位置点位于所述虚拟场景中被限定的轨道上。

优选的，所述将当前位置点对应到所述轨道上的轨道位置点的步骤中，若所述当前位置点位于所要体验的现实场景中的轨道之外，则以预定的算法提供一个轨道位置点，作为该当前位置点所对应的轨道位置点。

本申请同时提供一种现实场景中采集的VR图像的处理装置，包括：

提供视频单元，用于提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；

确定关系单元，用于确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

本申请同时提供一种实现现实场景的VR体验的装置，包括：

提供图像集单元，用于提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上；

确定单元，用于确定体验者在虚拟场景中的当前位置点；

查询单元，用于根据当前位置点，查询所述VR图像集；

确定VR图像单元，用于根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。与现有技术相比，本发明具有以下优点:

目前，现有技术中VR视频的漫游技术通过拍少量图像来获得场景图像，用户在观看时存在自由度低及画面跳跃的问题。

本申请提供一种现实场景中采集的VR图像的处理方法，包括：提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

本申请提供的现实场景中采集的VR图像的处理方法，通过提供一个沿现实场景中的至少一个轨道运动而拍摄的VR视频，在一个轨道内连续采集到多帧图像，场景中的一条轨道由连续的多个轨道位置点的图像帧组成，不再是间断的几张图像，为用户提供了流畅、平滑的图像，用户在体验时可以在场景中更为自由的移动，并在此过程中获得流畅的VR体验，从而解决了现有技术下VR体验的自由度低的问题；并且，采用本申请提供的技术，在实现VR体验的过程中，所提供的画面会随着体验者在虚拟场景中的移动而流畅的更替，不会再有画面跳跃的感觉。

附图说明

图1是本申请第一实施例提供的一种现实场景中采集的VR图像的处理方法的流程图。

图2是本申请第二实施例提供的一种实现现实场景的VR体验的方法的流程图。

图3是本申请第三实施例提供的一种现实场景中采集的VR图像的处理装置的示意图。

图4是本申请第四实施例提供的一种实现现实场景的VR体验的装置的示意图。

图5是本申请第一实施例提供的确定轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系的流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。

本申请第一实施例提供了一种现实场景中采集的VR图像的处理方法。请参考图1，其示出了根据本申请的实施例提供的现实场景中采集的VR图像的处理方法的流程图。以下结合图1进行详细说明。

步骤S101，提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的。

本步骤为对现实场景中采集的VR图像进行处理的基础。

所述VR视频，是沿现实场景中的至少一个轨道运动而拍摄的视频，是采集到的与所述轨道上的位置点相对应的图像帧的集合。所述VR视频，实质是多张图像帧的集合。在同一场景下，采集到的图像帧越多，图像的连续性越好，通过视频采集到的上千张图像保证了观看视频时的平滑过度，不会有跳跃的感觉。在获得VR视频的过程中，摄像设备是按照规定的帧速进行设置的，每一对相邻帧之间的间隔时间完全相同。

所述提供一VR视频，就是提供一个从现实场景的实际图像获取的供虚拟现实使用的图像信息。所述VR视频可以通过摄像机、照相机等图像摄取设备实现。

所述VR图像是向虚拟现实体验者提供视觉体验的图像信息。典型的VR图像提供具有360度全视角的图像信息，进行虚拟体验时，根据体验者的视角提供与该视角的视觉区域对应的信息。

所述现实场景，是一个空间区域，该区域具有体验者感兴趣的体验内容，所述体验内容可以包括视觉、听觉以及其他感觉类型。在本申请中，主要考虑视觉类型的体验内容。

要准确的实现现实场景的VR体验，在理想情况下，应当使体验者能够在虚拟场景的任何位置点都获得与现实场景的对应位置点完全一致的体验，但实际上，这种理想情况很难达成，因为每个现实场景都可以划分为无数个位置点，受成本和信息存储容量的限制，不可能在所有位置点均采集信息。为此，需要提供采集信息的基础，同时照顾到VR体验的连续性。为此，本申请中采用在现实场景中设置轨道作为采集VR图像的基础。

所述轨道，是指现实场景中预设的观察路径，不一定需要实际架设一个轨道。当然，为了后续拍摄的方便，实际设置轨道也是完全可行的；在设置好轨道后就可沿着轨道拍摄，为后续步骤中沿着轨道采集连续的VR图像提供前提条件。轨道的数量至少是一个，在大多数情况下，需要根据VR体验需求设置多个轨道。

具体设置轨道的方式，可以根据VR体验的需求灵活设置。所述VR体验的需求，可以包括所述需要采集VR图像的现实场景的布局、所述需要拍摄VR视频的现实场景中可能用于行进的路线、和/或所述需要采集VR图像的现实场景中包含的感兴趣目标物体。

所述需要采集VR图像的现实场景的布局，是指考虑所述需要采集VR图像的现实场景的景观构成要素。

在一些场景中，体验者可根据现实场景的布局进行VR体验。例如一个三室两厅的样板间中，体验者会根据样板间的布局进行体验，会按照客厅、卧室、厨房等独立的空间进行体验，在设置轨道时，就需要按照客厅、卧室、厨房等空间进行设置，在不同的房间设置为不同的轨道。

所述需要采集VR图像的现实场景中可能用于行进的路线，是指根据现实场景已经存在的供参观者行进的路线。这些路线是一般的实际场景参观者会行进的路线，是在实际场景中可以获得场景体验的位置。采集VR图像的目的就是让用户进行VR体验，因此在拍摄过程中按照体验者在现实场景中的行进的路线进行设置也是一种合理的方式。比如，场景为公园，一般体验者会从公园沿着主要路线体验，然后在体验过程中又会沿着分路线体验，因此可以将主要路线和各个分路线设置为不同的轨道供体验者体验。

所述需要采集VR图像的现实场景中包含的感兴趣目标物体，主要是考虑到体验者在VR体验时会对某些物体感兴趣，可以围绕体验者感兴趣的物体设置专门的轨道中进行拍摄，体验者就可以按轨道浏览感兴趣的物体，增强了体验者的体验。例如，一个博物馆中某个展台，是体验者需要重点体验的区域，可以围绕该展台设置轨道。

根据需要体验的场景的不同需求，上述几种VR体验需求可以择一考虑，也可以将其中任意两个VR体验需求或者上述全部VR体验需求全部予以考虑，作为设置所述轨道的基础。

具体所述轨道的设置方式，可以采用以下方式中的一种：所述拍摄场景中的道路、在所述现实场景中划分的网格。

所述将拍摄场景中的道路设置为轨道，例如，在拍一个道路两旁的景象时，就可以将道路设置为轨道，沿着道路拍两边的景象，只需设置一个轨道即可；如果拍摄场景为商场中的某一层，商场中有很多过道供行人行走，就可以将商场的每个过道作为一个轨道，就需设置为多个轨道进行拍摄，通过多轨道拍摄，实现完整的商场场景展示；如果在岔路口，则分别以两条岔路作为轨道进行拍摄。

所述采用在所述现实场景中划分的网格设置轨道，是指在现实场景中根据需求将其划分若干区域，形成网格，以划分网格的线路为基础进行所述轨道的设置。这些网格可以根据场景中自然存在的一些路径进行划分，也可以完全是人为划分。下面举例说明根据现实场景中划分的网格进行轨道设置的方法。

例如，拍摄场景为商场中的某一层，南北方向有平行排列的道路1、道路2、道路3，东西方向有平行排列的道路4、道路5、道路6，则道路1、道路2、道路3、道路4、道路5、道路6组成一个道路网，如果分别沿道路1、道路2、道路3、道路4、道路5、道路6拍摄视频，则每条道路为一条轨道，六条轨道交织在一起形成多个网格。通过上述多条轨道拍摄，可以实现用户在商场中的漫游，用户可以按照意愿自由选择体验哪条轨道的虚拟场景，观看自由度高。

所述VR视频，可以使用360度全景摄像机拍摄。

所述全景摄像机，是指能够搜集360度x360度范围的图像信息的摄像机。收集一段漫游场景，一般来说通过360度x360度(垂直方向和水平方向都是360度)全景视频/图像来提供VR体验。其录制的设备通常通过2个鱼眼镜头，如两个分别为180度x180度，拍摄成像后即可得到一个360度x360度的图像。

所述VR视频，可以采用如下方法获得：从一个确定的起始点开始，以确定的速度沿轨道拍摄。

从一个确定的起始点开始，以确定的速度沿轨道拍摄；采用此种方式，便于后续步骤将轨道位置点与所拍摄的VR视频的图像帧对应起来。

所述确定的起始点，指拍摄VR视频的起始位置，一般指现实场景中设置的轨道的起始点。所述确定的起始点可以是一条道路的开始，也可以是道路分叉的位置或其它视频采集的开始点，也可以是商场的入口点，还可以是其他适合拍摄VR视频供体验者进行VR体验的起始点。

所述以确定的速度拍摄，是指拍摄过程中摄像设备以固定的速度行进。因为如果摄像设备前进的速度不同、忽快忽慢，所拍摄的VR视频的两个相邻帧所对应的轨道位置点的实际距离会不相等，后续无法将VR视频与具体的轨道位置点相对应。如果以确定的速度拍摄，所拍摄的VR视频的两个相邻帧之间对应的轨道位置点就会具有相同的实际距离，便于将轨道位置点与VR视频的帧号相对应。因此，为了使从VR视频的视频帧获得的VR图像能够与确定的轨道位置点相对应，以确定的速度拍摄是必要的。所述确定的速度是沿着轨道行进的线速度。

所述从一个确定的起始点开始，以确定的速度沿轨道拍摄连续的VR视频，可以是通过摄像师拿着摄像设备匀速行进，沿设置的轨道拍摄连续的VR视频；也可以通过将摄像设备放在匀速前进的交通工具上，沿设置的轨道拍摄连续的VR视频，当然也可以采取其他的方式拍摄。

所述VR视频，包含所述轨道上的所有位置点的图像。

为了保证体验者有更好、更真实的体验，拍摄过程中需要确保所述轨道上的所有位置点被遍历。如果轨道上的有些位置点不被遍历，体验者在体验过程中就不能遍历整个轨道。

例如，如果在拍商场的现实场景时，没有从商场的入口进行拍摄，而是在商场的过道的中间位置拍摄，体验者在体验时就不能浏览到商场的全貌。

步骤S102，确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

本步骤目的是将轨道上的每个位置点与所述VR视频的每个图像帧一一对应起来。

所述轨道位置点，是指每个图像帧所对应的现实场景中轨道上的位置。

所述确定所述轨道位置点与所述VR视频的每个图像帧的对应关系，可以通过应用软件设计的标定算法进行确定。

优选的，所述确定轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系，如果拍摄VR视频时从确定的起始点开始，以确定的速度沿轨道拍摄的，则可以通过以下步骤实现:

根据所述确定的速度、确定的起始点，确定拍摄时每个时间点的轨道位置点；所述确定的速度，是指摄像设备沿着轨道行进的线速度；

根据拍摄时的帧速确定每个时间点的VR视频的图像帧；

将对应同一个时间点的轨道位置点和图像帧作为具有对应关系的轨道位置点和图像帧。

所述帧速就是视频捕获设备每秒捕获的帧数，一般摄像机的帧速为25帧/秒或30帧/秒。

所述时间点，指从拍摄VR视频的图像帧的第一帧到拍摄当前帧所经历的时间。

具体的，根据所述确定的速度、确定的起始点，以及拍摄时的帧速，确定轨道位置点与所述VR视频的每个图像帧的对应关系的方法如下：设位置点的坐标单位为米,位置点的坐标为从确定的起始点开始沿轨道经过的距离，设时间点单位为秒，则

轨道位置点的坐标＝(确定的速度)*时间点+确定的起始点的坐标；

图像帧号＝帧速*时间点；

其中，图像帧号是指图像帧对应的拍摄次序，第一张拍摄的图像帧号为1，第二张拍摄的图像帧号为2……；确定某个图像帧，实质上就是在VR视频中确定图像帧号。

可以根据上述公式计算出每个图像帧所对应的轨道位置点。

下面举例说明如何确定轨道位置点与所述VR视频的每个图像帧的对应关系。假设轨道为直线，确定的位置点的坐标为0，拍摄帧速为30帧/秒，确定的速度为0.3米/秒，时间点为5秒，则同一时间点轨道位置点与所述VR视频的图像帧的对应关系为：

轨道位置点的坐标＝0.3*5+0＝1.5米

图像帧号＝30*5+1＝150+1＝151

从上述算式可见，时间点为5秒，轨道位置点坐标为1.5米，对应的图像帧号为151。

说明帧号为151的图像代表轨道上从起点开始沿前进方向走到1.5米处的轨道位置点的VR图像；或者说，从起点开始轨道上1.5米处的轨道位置点对应的VR图像为帧号为151的图像帧。

如果所述轨道为弯曲的，则确定的位置点的坐标为二维坐标，可设起始点坐标为(0，0)，则轨道位置点的坐标为(x,y)，也可根据所述确定的速度、确定的起始点，以及拍摄时的帧速，确定轨道位置点与所述VR视频的每个图像帧的对应关系。

所述确定所述轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系的步骤后，包括：将所述轨道位置点的坐标和所对应的图像帧的帧号对应记录，作为查询依据。

将所述轨道位置点的坐标和所对应的图像帧的帧号对应记录，就方便了实现虚拟场景时，根据体验者所处的位置进行查找，只要知道体验者所处的轨道位置点，就可以非常方便的根据轨道位置点的坐标查出对应的图像帧的帧号，并根据图像帧的帧号将图像帧显示到体验的显示屏幕上。

假设所述VR视频从确定的起始点、以确定的速度进行拍摄的，设确定的位置点的坐标为0，拍摄帧速为30帧/秒，确定的速度为0.3米/秒，则所述轨道上位置点的坐标和所对应的图像帧的帧号的对应关系如表1所示：

表1

通过上述第一实施例，为某个需要提供VR体验的现实场景准备了每个位置点的VR图像，这样就可以为下述第二实施例提供的实现现实场景的VR体验的方法提供了实现可能性。

上述使用确定的起始点、确定的速度拍摄VR视频，并结合拍摄时的帧速，以计算方式确定每个轨道位置点对应的图像帧的方法，仅仅是确定所述轨道位置点与所述VR视频的每个图像帧的对应关系的一种方法，实际上还可以采用其他方法对每个VR视频的图像帧进行位置点标定，例如，拍摄过程中随时记录所在的轨道位置点，这样就可以方便的将VR视频的图像帧帧号与轨道位置点对应起来。

本申请第二实施例提供了一种实现现实场景的VR体验的方法。该实施例以采用上述第一实施例现实场景中采集的VR图像的处理方法提供的VR图像为基础实现现实场景的VR体验。

请参考图2，其示出了根据本申请的实施例提供的实现现实场景的VR体验的方法的流程图。以下结合图2进行详细说明。

步骤S201，提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上。

本步骤是实现现实场景的VR体验的基础。

所述虚拟场景，是通过虚拟现实技术体验的场景，是在第一实施例中通过360度摄像机拍摄的现实场景对应的虚拟场景。

所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上。

所述VR图像集是沿现实场景中的至少一个轨道运动而拍摄的VR视频中的多个图像帧所组成的图像集合。每个图像帧对应一个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上。

步骤S202，确定体验者在虚拟场景中的当前位置点。

本步骤是将后续步骤中根据当前位置点查询所述VR图像集的前提条件。

所述当前位置点，是指位于虚拟场景中的某一具体点，是正在接收体验的位置。

具体的，所述当前位置点,如果体验者使用鼠标进行体验，则指光标在虚拟场景中的位置；如果体验者是使用体感设备进行体验，则指体验者在虚拟场景中所处的位置；如果体验者使用触摸屏进行体验，则指体验者与触摸屏接触的位置；除了上述几种方式，体验者还可通过其他的操作设备进行体验。

所述确定体验者在虚拟场景中的当前位置点，是指通过程序获得当前体验者在虚拟场景中的当前位置点。

确定体验者在虚拟场景中的当前位置点的方法，由体验者的操控设备决定。

如果体验者使用鼠标进行体验，确定体验者在虚拟场景中的当前位置点就是通过计算单元计算当前光标所在的位置；如果体验者是使用体感设备进行体验，则根据体验者所在虚拟场景初始点和体验者在虚拟场景中移动的方向和距离计算体验者所处的位置；如果体验者使用触摸屏进行体验，则计算触摸点在虚拟场景中的体验位置。

可以设定所述当前位置点位于所述虚拟场景中被限定的轨道上。如果采集当前体验者在虚拟场景中的当前位置点不在所述虚拟场景中被限定的轨道上，也就不能将所述当前位置点对应到所要体验的现实场景中的轨道位置点，进而不能获得对应该轨道位置点对应的VR图像。

若所述当前位置点位于所要体验的现实场景中的轨道之外，一种方式是以预定的算法提供一个轨道位置点，作为该当前位置点所对应的轨道位置点，具体的，如果用户在体验过程中当前位置点位于所要体验的现实场景中的轨道之外，则可以通过找到一个距离当前位置点对应的最近的现实场景中的轨道位置点，让用户重新回到现实场景的体验中；另一种方式，若所述当前位置点位于所要体验的现实场景中的轨道之外，则不继续提供虚拟场景的体验，并提示体验者将当前位置点对应到所要体验的现实场景中的轨道之内。

例如，体验者使用体感设备进行体验，当体验者在虚拟场景的道路上行走时偏离了所要体验的现实场景中的道路，一种方式是可以通过找到一个距离当前位置点对应的最近的现实场景中的道路上的位置点，让用户重新回到现实场景的体验中；另一种方式，则不继续提供虚拟场景的体验，提示体验者通过自身的移动将当前位置点对应到所要体验的现实场景中的道路之内。

步骤S203，根据当前位置点，查询所述VR图像集。

本步骤为根据当前位置点确定当前位置点对应的VR图像的过渡步骤。

所述根据当前位置点，查询所述VR图像集，具体为：

将当前位置点对应到所述轨道上的轨道位置点；

根据轨道上的轨道位置点，查询所述VR图像集。

所述将当前位置点对应到所述轨道上的轨道位置点，指将所述当前位置点对应到所要体验的现实场景中的轨道位置点。

虚拟场景是通过360度摄像机拍摄到的现实场景，虚拟场景与现实场景是对应的，通过采集到的当前位置点和现实场景中的轨道位置点的对应关系，将采集到的当前位置点对应到所要体验的现实场景中的轨道上的轨道位置点。

当前位置点需要对应到所要体验的现实场景中的轨道位置点，才能通过所要体验的现实场景中的轨道位置点找到对应的VR图像，将对应的VR图像显示出来供体验者体验。

所述根据轨道上的轨道位置点，查询所述VR图像集，指根据轨道上的轨道位置点，以及从第一实施例中获得的轨道位置点与VR图像的对应关系，从所述VR图像集中查询到与所述轨道位置点所对应的VR图像帧号。

在第一实施例中，获得了轨道位置点与VR图像的对应关系，如果所述对应关系以对应关系表形式存在，只需在表中找到当前位置点对应的所要体验的现实场景中的轨道位置点，再根据此轨道位置点查询出对应的图像帧号。

步骤S204，根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。

本步骤确定了当前位置点对应的向体验者展示的VR图像。

所述根据查询结果，确定当前位置点对应的VR图像，指根据步骤S203查询到所述轨道位置点所对应的VR图像帧号，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。

所述实现现实场景的VR体验的方法，还包括：获取当前体验者的观察视角；根据当前体验者的观察视角向其提供所述当前VR图像的实际显示区域。

所述观察视角，指视线所能到达的最大角度范围。

因为人类的观察视角通常只有120度左右(不集中看的时候)，所以对于360度x360度的全景图像，用户只能观看到其中的一块区域(视窗)。在用户进行体验时，不需要将360度x360度的全景图像都显示出来，只需将用户的观察视角所能看到的区域作为当前VR图像的实际显示区域。

由于鼠标或体感设备的移动会导致观察视角的变换，所以需要实时获取当前体验者的观察视角。

具体的，可以通过计算机(pc，手机)等设备的陀螺仪(地磁信息)确定当前用户视线朝向的位置及用户视线所在的确切点(视窗中心)，根据视窗中心确定用户的观察视角，再根据观察视角确定当前VR图像的实际显示区域，将视角实际显示区域显示出来，供体验者体验。

与上述现实场景中采集的VR图像的处理方法相对应的，本申请还提供了一种现实场景中采集的VR图像的处理装置。由于所述装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述现实场景中采集的VR图像的处理装置实施例如下：

请参考图3，其示出了本申请的第三实施例提供的现实场景中采集的VR图像的处理装置的示意图。

所述现实场景中采集的VR图像的处理装置，包括：提供视频单元301、确定关系单元302。

提供视频单元301，用于提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；

确定关系单元302，用于确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

可选的，所述装置包括：

记录单元，用于在所述确定关系单元工作之后将所述轨道位置点的坐标和所对应的图像帧的帧号对应记录，作为查询依据。

可选的，所述提供视频单元中所述轨道的设置依据，包括以下内容之一或组合：

所述需要采集VR图像的现实场景的布局、所述需要采集VR图像的现实场景中可能用于行进的路线、所述需要采集VR图像的现实场景中包含的感兴趣目标物体。

可选的，所述轨道采用以下方式中的一种进行设置：

所述拍摄场景中的道路和/或在所述现实场景中划分的网格。

可选的，所述提供视频单元中的VR视频，包括：

使用360度全景摄像机拍摄。

可选的，所述提供视频单元中的VR视频，具体采用如下方法获得：

从一个确定的起始点开始，以确定的速度沿轨道拍摄。

可选的，所述确定关系单元，包括：

确定轨道位置点子单元，用于根据所述确定的速度、确定的起始点，确定拍摄时每个时间点的轨道位置点；

确定图像帧子单元，用于根据拍摄时的帧速确定每个时间点的VR视频的图像帧；

对应单元，用于将对应同一个时间点的轨道位置点和图像帧作为具有对应关系的轨道位置点和图像帧。

所述提供视频单元中的VR视频，包含所述轨道上的所有位置点的图像。

与上述实现现实场景的VR体验的方法相对应的，本申请还提供了一种实现现实场景的VR体验的装置。由于所述装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述实现现实场景的VR体验的装置实施例如下：

请参考图4，其示出了本申请的第四实施例提供的实现现实场景的VR体验的装置的示意图。

所述实现现实场景的VR体验的装置，其特征在于，包括：提供图像集单元401、确定单元402、查询单元403、确定VR图像单元404。

提供图像集单元401，用于提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上；

确定单元402，用于确定体验者在虚拟场景中的当前位置点；

查询单元403，用于根据当前位置点，查询所述VR图像集；

确定VR图像单元404，用于根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。

可选的，所述查询单元，具体包括：

对应子单元，用于将当前位置点对应到所述轨道上的轨道位置点；

查询子单元，用于根据轨道上的轨道位置点，查询所述VR图像集。

可选的，所述当前位置点位于所述虚拟场景中被限定的轨道上。

可选的，所述对应子单元，包括：

确定轨道位置点子单元，用于若所述当前位置点位于所要体验的现实场景中的轨道之外，则以预定的算法提供一个轨道位置点，作为该当前位置点所对应的轨道位置点。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (14)

1.一种现实场景中采集的VR图像的处理方法，其特征在于，包括：

提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；

确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

2.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述确定所述轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系的步骤后，包括：将所述轨道位置点的坐标和所对应的图像帧的帧号对应记录，作为查询依据。

3.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的，所述轨道的设置依据，包括以下内容之一或组合：

所述需要采集VR图像的现实场景的布局、所述需要采集VR图像的现实场景中可能用于行进的路线、所述需要采集VR图像的现实场景中包含的感兴趣目标物体。

4.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述轨道采用以下方式中的一种进行设置：

所述拍摄场景中的道路和/或在所述现实场景中划分的网格。

5.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述VR视频，包括：

使用360度全景摄像机拍摄。

6.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述VR视频，具体采用如下方法获得：

从一个确定的起始点开始，以确定的速度沿轨道拍摄。

7.根据权利要求6所述的现实场景中采集的VR图像的处理方法，其特征在于，所述确定轨道上的轨道位置点与所述VR视频的每个图像帧的对应关系，包括：

根据所述确定的速度、确定的起始点，确定拍摄时每个时间点的轨道位置点；

根据拍摄时的帧速确定每个时间点的VR视频的图像帧；

将对应同一个时间点的轨道位置点和图像帧作为具有对应关系的轨道位置点和图像帧。

8.根据权利要求1所述的现实场景中采集的VR图像的处理方法，其特征在于，所述VR视频，包含所述轨道上的所有位置点的图像。

9.一种实现现实场景的VR体验的方法，其特征在于，包括：

提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上；

确定体验者在虚拟场景中的当前位置点；

根据当前位置点，查询所述VR图像集；

根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。

10.根据权利要求9所述的实现现实场景的VR体验的方法，其特征在于，所述根据当前位置点，查询所述VR图像集，具体为：

将当前位置点对应到所述轨道上的轨道位置点；

根据轨道上的轨道位置点，查询所述VR图像集。

11.根据权利要求9所述的实现现实场景的VR体验的方法，其特征在于，所述当前位置点位于所述虚拟场景中被限定的轨道上。

12.根据权利要求10所述的实现现实场景的VR体验的方法，其特征在于，所述将当前位置点对应到所述轨道上的轨道位置点的步骤中，若所述当前位置点位于所要体验的现实场景中的轨道之外，则以预定的算法提供一个轨道位置点，作为该当前位置点所对应的轨道位置点。

13.一种现实场景中采集的VR图像的处理装置，其特征在于，包括：

提供视频单元，用于提供一VR视频，所述VR视频是沿现实场景中的至少一个轨道运动而拍摄的；

确定关系单元，用于确定轨道上的位置点与所述VR视频的每个图像帧的对应关系；与每个轨道位置点对应的所述VR视频的图像帧就是该轨道位置点的VR图像。

14.一种实现现实场景的VR体验的装置，其特征在于，包括：

提供图像集单元，用于提供虚拟场景中的VR图像集，所述VR图像集是根据沿现实场景中的至少一个轨道运动而拍摄的VR视频确定的，所述VR图像集包括多个VR图像，每个VR图像对应至少一个位置点，所述位置点位于所述轨道上；

确定单元，用于确定体验者在虚拟场景中的当前位置点；

查询单元，用于根据当前位置点，查询所述VR图像集；

确定VR图像单元，用于根据查询结果，确定当前位置点对应的VR图像；将确定的所述当前位置点对应的VR图像，作为所述当前体验者展示的VR图像。