CN113379838B - 虚拟现实场景的漫游路径的生成方法和存储介质 - Google Patents

Abstract

本公开实施例公开了一种虚拟现实场景的漫游路径的生成方法和存储介质。该虚拟现实场景的漫游路径的生成方法包括：获取用于构建虚拟现实场景的图像集合；从图像集合包含的图像中，确定目标拍摄对象的位置；基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像；基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。本公开实施例可以基于拍摄实体的位置和目标图像的拍摄位置，为虚拟现实场景生成新的漫游路径，由此，通过丰富虚拟现实场景的漫游路径，有助于规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

Description

虚拟现实场景的漫游路径的生成方法和存储介质

技术领域

本公开涉及图像处理技术，尤其是一种虚拟现实场景的漫游路径的生成方法和存储介质。

背景技术

随着虚拟现实（Virtual Reality，VR）技术的发展和成熟，VR技术已广泛应用于多种场景体验中，例如，房屋、旅游景点等虚拟现实场景的漫游。上述虚拟现实场景通常需要通过三维模型向观看者进行呈现，在三维模型的构建过程中，往往需要在拍摄点位对真实场景进行图像拍摄。最终，通过虚拟现实场景的漫游路径供观看者进行虚拟现实场景的漫游。

现有技术中，在生成各个VR拍摄点位之间的漫游路径时，目前常用方案是判断两个点位是否互相可见，如果两个点位连线不穿过任何障碍物则认为可见。但在拍摄过程中，有时障碍物的遮挡仅仅是暂时性的，例如，房屋内的门处于暂时的关闭状态。在此场景下，点位之间受暂时性遮挡的障碍物的阻隔而无法建立连通关系，对于房屋的虚拟现实场景中暂时关闭的门而言，如果这个门是其房间唯一的一个门，则会产生孤立点，这样，漫游时无法从其他拍摄点位走到该孤立点处；如果还有其他门，那么就需要绕路走多步到达该房间内部，十分影响点位漫游体验。

可见，如何规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验是一个值得关注的技术问题。

发明内容

本公开实施例提供一种虚拟现实场景的漫游路径的生成方法和存储介质，以规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

根据本公开实施例的第一个方面，提供的一种虚拟现实场景的漫游路径的生成方法，包括：

获取用于构建所述虚拟现实场景的图像集合；

从所述图像集合包含的图像中，确定目标拍摄对象的位置，其中，所述目标拍摄对象为图像中属于预定类别的拍摄实体的影像；

基于所确定的目标拍摄对象的位置，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像中的目标拍摄对象指示同一拍摄实体；

基于所述拍摄实体的位置和所述至少两张目标图像的拍摄位置，生成所述虚拟现实场景的漫游路径。

可选地，在本公开任一实施例的方法中，所述方法还包括：

基于所生成的漫游路径，生成包含所述漫游路径的漫游连通图，其中，所述漫游连通图用于所述虚拟现实场景的漫游。

可选地，在本公开任一实施例的方法中，所述图像集合中的图像为深度图像或彩色图像，所述图像集合中的深度图像与彩色图像相对应；以及

所述从所述图像集合包含的图像中，确定目标拍摄对象的位置，包括：

从所述图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置；以及

所述基于所确定的目标拍摄对象的位置，从所述图像集合中确定至少两张目标图像，包括：

基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据；

基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据；

基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像均为彩色图像或者均为深度图像。

可选地，在本公开任一实施例的方法中，所述拍摄实体包含平直结构；以及

所述基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，包括：

针对所述图像集合中的两张深度图像，响应于该两张深度图像中的所述平直结构在所述全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值，将与该两张深度图像分别相对应的两张彩色图像分别确定为目标图像。

可选地，在本公开任一实施例的方法中，所述从所述图像集合包含的图像中，确定目标拍摄对象的位置，包括：

针对所述图像集合中的彩色图像，将该彩色图像输入至预先训练的深度神经网络模型，经由所述深度神经网络模型提取该彩色图像中的目标拍摄对象的掩膜；

其中，所述掩膜表征目标拍摄对象在彩色图像中的位置，所述掩膜为二值图像，所述二值图像中的像素值指示与该像素值相对应的彩色图像中的像素是否属于目标拍摄对象所在的图像区域。

可选地，在本公开任一实施例的方法中，所述方法还包括：

采用预先确定的核函数，对所述掩膜进行腐蚀处理，得到腐蚀后图像；

基于所述掩膜与所述腐蚀后图像，确定平直结构在彩色图像中的位置。

可选地，在本公开任一实施例的方法中，所述基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，包括：

针对所述图像集合中的两张深度图像，响应于该两张深度图像中的目标拍摄对象分别在所述全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

可选地，在本公开任一实施例的方法中，所述基于所述拍摄实体的位置和所述至少两张目标图像的拍摄位置，生成所述虚拟现实场景的漫游路径，包括以下至少一项：

响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位中包含孤立点，基于表征所述拍摄实体的点位和所述孤立点，生成所述虚拟现实场景的漫游路径；

响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量，基于表征所述拍摄实体的点位和表征所述至少两张目标图像的拍摄位置的点位，生成所述虚拟现实场景的漫游路径。

可选地，在本公开任一实施例的方法中，所述虚拟现实场景为房屋的虚拟现实场景，所述目标拍摄对象为图像中门的影像，所述预定类别的拍摄实体为门，在所述拍摄实体包含平直结构的情况下，所述平直结构为门的上边框或下边框。

可选地，在本公开任一实施例的方法中，所生成的漫游路径包括第一点位和第二点位，第一点位表征目标拍摄对象的位置，第二点位表征所述至少两张目标图像中的目标图像的拍摄位置。

可选地，在本公开任一实施例的方法中，所述图像集合中包含的图像为深度全景图像或者彩色全景图像，所述图像集合中的深度全景图像与彩色全景图像相对应。

根据本公开实施例的第二个方面，提供的一种虚拟现实场景的漫游路径的生成装置，包括：

获取单元，被配置成获取用于构建所述虚拟现实场景的图像集合；

第一确定单元，被配置成从所述图像集合包含的图像中，确定目标拍摄对象的位置，其中，所述目标拍摄对象为图像中属于预定类别的拍摄实体的影像；

第二确定单元，被配置成基于所确定的目标拍摄对象的位置，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像中的目标拍摄对象指示同一拍摄实体；

第一生成单元，被配置成基于所述拍摄实体的位置和所述至少两张目标图像的拍摄位置，生成所述虚拟现实场景的漫游路径。

可选地，在本公开任一实施例的装置中，所述装置还包括：

第二生成单元，被配置成基于所生成的漫游路径，生成包含所述漫游路径的漫游连通图，其中，所述漫游连通图用于所述虚拟现实场景的漫游。

可选地，在本公开任一实施例的装置中，所述图像集合中的图像为深度图像或彩色图像，所述图像集合中的深度图像与彩色图像相对应；以及

所述第一确定单元包括：

第一确定子单元，被配置成从所述图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置；以及

所述第二确定单元包括：

第二确定子单元，被配置成基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据；

转化子单元，被配置成基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据；

第三确定子单元，被配置成基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像均为彩色图像或者均为深度图像。

可选地，在本公开任一实施例的装置中，所述拍摄实体包含平直结构；以及

所述第三确定子单元包括：

第一确定模块，被配置成针对所述图像集合中的两张深度图像，响应于该两张深度图像中的所述平直结构在所述全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值，将与该两张深度图像分别相对应的两张彩色图像分别确定为目标图像。

可选地，在本公开任一实施例的装置中，所述第一确定单元包括：

提取子单元，被配置成针对所述图像集合中的彩色图像，将该彩色图像输入至预先训练的深度神经网络模型，经由所述深度神经网络模型提取该彩色图像中的目标拍摄对象的掩膜；

其中，所述掩膜表征目标拍摄对象在彩色图像中的位置，所述掩膜为二值图像，所述二值图像中的像素值指示与该像素值相对应的彩色图像中的像素是否属于目标拍摄对象所在的图像区域。

可选地，在本公开任一实施例的装置中，所述装置还包括：

腐蚀单元，被配置成采用预先确定的核函数，对所述掩膜进行腐蚀处理，得到腐蚀后图像；

第三确定单元，被配置成基于所述掩膜与所述腐蚀后图像，确定平直结构在彩色图像中的位置。

可选地，在本公开任一实施例的装置中，所述第三确定子单元包括：

第二确定模块，被配置成针对所述图像集合中的两张深度图像，响应于该两张深度图像中的目标拍摄对象分别在所述全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

可选地，在本公开任一实施例的装置中，所述第一生成单元包括以下至少一项：

第一生成子单元，被配置成响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位中包含孤立点，基于表征所述拍摄实体的点位和所述孤立点，生成所述虚拟现实场景的漫游路径；

第二生成子单元，被配置成响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量，基于表征所述拍摄实体的点位和表征所述至少两张目标图像的拍摄位置的点位，生成所述虚拟现实场景的漫游路径。

可选地，在本公开任一实施例的装置中，所述虚拟现实场景为房屋的虚拟现实场景，所述目标拍摄对象为图像中门的影像，所述预定类别的拍摄实体为门，在所述拍摄实体包含平直结构的情况下，所述平直结构为门的上边框或下边框。

可选地，在本公开任一实施例的装置中，所生成的漫游路径包括第一点位和第二点位，第一点位表征目标拍摄对象的位置，第二点位表征所述至少两张目标图像中的目标图像的拍摄位置。

可选地，在本公开任一实施例的装置中，所述图像集合中包含的图像为深度全景图像或者彩色全景图像，所述图像集合中的深度全景图像与彩色全景图像相对应。

根据本公开实施例的第三个方面，提供的一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述第一方面的虚拟现实场景的漫游路径的生成方法中任一实施例的方法。

根据本公开实施例的第四个方面，提供的一种计算机可读介质，该计算机程序被处理器执行时，实现如上述第一方面的虚拟现实场景的漫游路径的生成方法中任一实施例的方法。

根据本公开实施例的第五个方面，提供的一种计算机程序，该计算机程序包括计算机可读代码，当该计算机可读代码在设备上运行时，使得该设备中的处理器执行用于实现如上述第一方面的虚拟现实场景的漫游路径的生成方法中任一实施例的方法中各步骤的指令。

基于本公开上述实施例提供的虚拟现实场景的漫游路径的生成方法和存储介质，可以获取用于构建虚拟现实场景的图像集合，然后，从图像集合包含的图像中，确定目标拍摄对象的位置，其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像，之后，基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像，其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体，最后，基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。本公开实施例可以基于拍摄实体的位置和目标图像的拍摄位置，为虚拟现实场景生成新的漫游路径，由此，通过丰富虚拟现实场景的漫游路径，有助于规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开虚拟现实场景的漫游路径的生成方法的第一个实施例的流程图。

图2为本公开虚拟现实场景的漫游路径的生成方法的第二个实施例的流程图。

图3为本公开虚拟现实场景的漫游路径的生成方法的第三个实施例的流程图。

图4A-图4F为本公开虚拟现实场景的漫游路径的生成方法的一个实施例的应用场景示意图。

图5为本公开虚拟现实场景的漫游路径的生成装置的一个实施例的结构示意图。

图6是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统和服务器中的至少一种电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统和服务器中的至少一种电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统和服务器中的至少一种电子设备可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

请参考图1，示出了根据本公开的虚拟现实场景的漫游路径的生成方法的第一个实施例的流程100。该虚拟现实场景的漫游路径的生成方法，包括：

101，获取用于构建虚拟现实场景的图像集合。

在本实施例中，虚拟现实场景的漫游路径的生成方法的执行主体（例如服务器、终端设备、具有图像处理功能的图像处理单元、本公开中的虚拟现实场景的漫游路径的生成装置等）可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取用于构建虚拟现实场景的图像集合。

在本实施例中，上述虚拟现实场景可以是通过计算机技术实现的全方位互动式观看的场景。作为示例，上述虚拟现实场景可以是房屋的虚拟现实场景、景点的虚拟现实场景等等。上述虚拟现实场景通常需要通过三维模型向观看者进行呈现，在三维模型的构建过程中，往往需要在真实场景中设置拍摄位置，之后，在所设定的拍摄位置对真实场景进行图像拍摄。这里，所拍摄得到的图像可以组成上述图像集合。也即，图像集合可以用于构建虚拟现实场景或者虚拟现实场景的三维模型。

上述图像集合中的全部图像可以均为彩色图像或者深度图像，可选的，该图像集合也可以既包含深度图像又包含彩色图像。

可选的，在图像集合包含彩色图像的情况下，图像集合包含的彩色图像可以是彩色全景图像，也可以是彩色非全景图像；在图像集合包含深度图像的情况下，图像集合包含的深度图像可以是深度全景图像，也可以是深度非全景图像。在图像集合包含彩色图像和深度图像的情况下，图像集合中的深度图像可以与彩色图像相对应。其中，与彩色图像相对应的深度图像的拍摄场景可以与该彩色图像的拍摄场景全部或部分相同。

102，从图像集合包含的图像中，确定目标拍摄对象的位置。

在本实施例中，在图像集合包含的图像中包含目标拍摄对象的情况下，上述执行主体可以从该图像中确定出目标拍摄对象的位置。其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像。

这里，预定类别可以是预先确定的类别。作为示例，预定类别可以是可移动或可形变或可旋转的障碍物。属于预定类别的拍摄实体的数量可以是一个、两个或多个。作为示例，图像集合包含的多个图像中可以均包含同一拍摄实体的影像，也可以分别包含属于预定类别的两个或者多个不同拍摄实体的影像。

在这里，上述执行主体可以通过图像检测算法，从图像集合包含的图像中，确定目标拍摄对象的位置。其中，上述图像检测算法可以包括以下至少一项：基于级联分类器框架的图像检测算法、基于模版匹配的图像检测算法、基于回归的图像检测算法等等。

103，基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像。

在本实施例中，上述执行主体可以基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像。其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体。

作为示例，上述执行主体可以将102中所确定出的各个目标拍摄对象的位置中的每两个目标拍摄对象的位置，输入至预先确定的卷积神经网络模型，经由该卷积神经网络确定该两个目标拍摄对象是否指示同一拍摄实体。由此，可以从图像集合中确定出至少两张目标图像。

其中，上述卷积神经网络模型可以基于预先确定的训练样本集合训练得到。上述训练样本集合中的训练样本可以包括两个目标拍摄对象的位置，以及指示该两个目标拍摄对象是否指示同一拍摄实体的判别信息。

104，基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，上述执行主体可以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。其中，虚拟现实场景的漫游路径可以指示虚拟现实场景通过三维模型向观看者进行呈现的过程中观看者的移动路线。

在这里，拍摄实体的位置、目标图像的拍摄位置可以分别采用点位表征。由此，上述执行主体可以通过将拍摄实体的位置的点位、表征目标图像的拍摄位置的点位进行连通，从而生成虚拟现实场景的漫游路径。其中，所生成的一条漫游路径中的点位可以均表征目标图像的拍摄位置，或者，也可以分别表征目标图像的拍摄位置和拍摄实体的位置。

实践中，分别表征各张目标图像的拍摄位置的各个点位中的任意两个点位之间，可以包含路径，也可以不包含路径。这里，若一个点位与任一其他点位之间均不包含路径，则可将该点位作为孤立点。

此外，若两个点位满足以下一个或多个条件，则可以在该两个点位之间建立路径（该路径可以作为漫游路径），从而使该两个点位相连通：

条件一，在拍摄过程中，若该两个点位分别表征的两张目标图像的拍摄位置之间不存在障碍物，则在该两个点位之间建立路径，从而使该两个点位相连通。

条件二，若检测到针对该两个点位的连通操作，则在该两个点位之间建立路径，从而使该两个点位相连通。

条件三，若两个点位之间的最短路径包含的边的数量大于或等于预设数量（例如2），则在该两个点位之间建立路径，从而使该两个点位相连通。

条件四，若两个点位中包含孤立点，则在该两个点位之间建立路径，从而使该两个点位相连通。

本公开的上述实施例提供的虚拟现实场景的漫游路径的生成方法，可以获取用于构建虚拟现实场景的图像集合，然后，从图像集合包含的图像中，确定目标拍摄对象的位置，其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像，之后，基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像，其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体，最后，基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。由此，本公开实施例可以基于拍摄实体的位置和目标图像的拍摄位置，为虚拟现实场景生成新的漫游路径，由此，通过丰富虚拟现实场景的漫游路径，有助于规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式执行上述104，以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径：

在分别表征至少两张目标图像的拍摄位置的至少两个点位中包含孤立点的情况下，基于表征拍摄实体的点位和孤立点，生成虚拟现实场景的漫游路径。

作为示例，在分别表征至少两张目标图像的拍摄位置的至少两个点位中包含孤立点的情况下，可以将表征拍摄实体的点位和孤立点进行连通，然后再将该孤立点与其除该点位和该孤立点之外的其他点位相连通，从而生成虚拟现实场景的漫游路径。

作为又一示例，在分别表征至少两张目标图像的拍摄位置的至少两个点位中包含孤立点的情况下，也可以将分别表征103中确定出的各张目标图像的拍摄位置的点位（包含孤立点）分别与表征拍摄实体的点位进行连通，从而生成虚拟现实场景的漫游路径。

可以理解，上述可选的实现方式中，通过减少甚至消除孤立点，为虚拟现实场景增加了新的漫游路径，并且，在目标拍摄对象为可移动或可形变或可旋转的障碍物的影像的情况下，可以规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

在本实施例的一些可选的实现方式中，上述执行主体也可以采用如下方式执行上述104，以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径：

在分别表征至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量的情况下，基于表征拍摄实体的点位和表征至少两张目标图像的拍摄位置的点位，生成虚拟现实场景的漫游路径。

作为示例，在分别表征至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量的情况下，可以将表征拍摄实体的点位和孤立点进行连通，从而生成虚拟现实场景的漫游路径。

作为又一示例，在分别表征至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量的情况下，也可以将分别表征103中确定出的各张目标图像的拍摄位置的点位（包含孤立点）分别与表征拍摄实体的点位进行连通，从而生成虚拟现实场景的漫游路径。

可以理解，在所生成的漫游路径之间的边的数量少于最短路径包含的边的数量的情况下，上述可选的实现方式可以减少所生成的漫游路径中包含的边的数量，从而可以通过规划出长度更短的漫游路径，进而提高了虚拟现实场景的漫游体验，并且，有助于观看者定位出现实场景中各实体的相对方位。

在本实施例的一些可选的实现方式中，虚拟现实场景为房屋的虚拟现实场景。目标拍摄对象为图像中门的影像。预定类别的拍摄实体为门。在拍摄实体包含平直结构的情况下，平直结构为门的上边框或下边框。

可以理解，上述可选的实现方式可以基于房屋内的门的位置和目标图像的拍摄位置，为虚拟现实场景生成新的漫游路径，由此，在虚拟现实场景的漫游过程中，观看者可以通过表征门的点位来观看房屋的三维模型，可以规划出与真实房屋结构更为匹配的观看路径，从而提高房屋的三维模型的观看体验。

在本实施例的一些可选的实现方式中，所生成的漫游路径包括第一点位和第二点位。其中，第一点位表征目标拍摄对象的位置，第二点位表征所述至少两张目标图像中的目标图像的拍摄位置。

可以理解，若直接将两个表征图像的拍摄位置的点位（即两个第二点位）进行连通，则该连通路径可能经过不可移动、不可形变、不可转动的固定障碍物，而通过表征目标拍摄对象的位置的点位（即第一点位）将两个表征图像的拍摄位置的点位（即两个第二点位）进行间接连通，则所生成的漫游路径可以通过可移动、可形变、可转动的障碍物（即预定类别的拍摄实体），这样，可以规划出与真实场景更为匹配的漫游路径，从而进一步提高虚拟现实场景的漫游体验。

在本实施例的一些可选的实现方式中，图像集合中包含的图像为深度全景图像或者彩色全景图像，图像集合中的深度全景图像与彩色全景图像相对应。

可以理解，上述可选的实现方式中，可以通过相对应的深度全景图像和彩色全景图像，进行漫游路径的规划，从而提高了漫游路径规划的准确度。

在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式执行上述102，以从图像集合包含的图像中，确定目标拍摄对象的位置：

针对图像集合中的图像，将该图像输入至预先训练的深度神经网络模型，经由深度神经网络模型提取该图像中的目标拍摄对象的掩膜。其中，掩膜表征目标拍摄对象在图像中的位置，掩膜为二值图像，二值图像中的像素值指示与该像素值相对应的图像中的像素是否属于目标拍摄对象所在的图像区域。

可以理解，上述可选的实现方式通过提取图像中的目标拍摄对象的掩膜的方式，可以更为准确地确定出目标拍摄对象在图像中的位置。

进一步参考图2，图2是本公开的虚拟现实场景的漫游路径的生成方法的第二个实施例的流程图。该虚拟现实场景的漫游路径的生成方法的流程200，包括：

201，获取用于构建虚拟现实场景的图像集合。

在本实施例中，虚拟现实场景的漫游路径的生成方法的执行主体（例如服务器、终端设备、具有图像处理功能的图像处理单元、虚拟现实场景的漫游路径的生成装置等）可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取用于构建虚拟现实场景的图像集合。

202，从图像集合包含的图像中，确定目标拍摄对象的位置。

在本实施例中，上述执行主体可以从图像集合包含的图像中，确定目标拍摄对象的位置。其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像。

203，基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像。

在本实施例中，上述执行主体可以基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像。其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体。

204，基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，上述执行主体可以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，201至204与图1对应实施例中的101至104基本一致，这里不再赘述。

205，基于所生成的漫游路径，生成包含漫游路径的漫游连通图。

在本实施例中，上述执行主体可以基于所生成的漫游路径，生成包含漫游路径的漫游连通图。其中，漫游连通图用于虚拟现实场景的漫游。

在这里，漫游连通图中的每个点位可以表征拍摄实体的位置或者图像（包含目标图像）的拍摄位置，各个点位中的任意两个点位若满足以下一个或多个条件，则可以在该两个点位之间建立路径（该路径可以作为漫游路径），从而使该两个点位相连通：

条件一，在拍摄过程中，若该两个点位分别表征的两张目标图像的拍摄位置之间不存在障碍物，则在该两个点位之间建立路径，从而使该两个点位相连通。

条件二，若检测到针对该两个点位的连通操作，则在该两个点位之间建立路径，从而使该两个点位相连通。

条件三，若两个点位之间的最短路径包含的边的数量大于或等于预设数量（例如2），则在该两个点位之间建立路径，从而使该两个点位相连通。

条件四，若两个点位中包含孤立点，则在该两个点位之间建立路径，从而使该两个点位相连通。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。

从图2中可以看出，本实施例中的虚拟现实场景的漫游路径的生成方法的流程200可以基于所生成的漫游路径，生成包含漫游路径的漫游连通图，由此，可以更为直观的获得上述虚拟现实场景的全部漫游路径，进而有助于确定出各漫游路径之间的相对方位。

请继续参考图3，图3是本公开的虚拟现实场景的漫游路径的生成方法的第三个实施例的流程图。该虚拟现实场景的漫游路径的生成方法的流程300，包括：

301，获取用于构建虚拟现实场景的图像集合。

在本实施例中，虚拟现实场景的漫游路径的生成方法的执行主体（例如服务器、终端设备、具有图像处理功能的图像处理单元、本申请中的虚拟现实场景的漫游路径的生成装置等）可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取用于构建虚拟现实场景的图像集合。

在本实施例中，图像集合中的图像为深度图像或彩色图像，图像集合中的深度图像与彩色图像相对应。除此之外，301与图1对应实施例中的101基本一致，这里不再赘述。

302，从图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置。

在本实施例中，上述执行主体可以从图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置。其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像。

这里，预定类别可以是预先确定的类别。作为示例，预定类别可以是可移动或可形变或可旋转的障碍物。属于预定类别的拍摄实体的数量可以是一个、两个或多个。作为示例，图像集合包含的多个彩色图像中可以均包含同一拍摄实体的影像，也可以分别包含属于预定类别的两个或者多个不同拍摄实体的影像。

在这里，上述执行主体可以通过图像检测算法，从图像集合包含的彩色图像中，确定目标拍摄对象的位置。其中，上述图像检测算法可以包括但不限于以下至少一项：基于级联分类器框架的图像检测算法、基于模版匹配的图像检测算法、基于回归的图像检测算法等等。

303，基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据。

在本实施例中，上述执行主体可以基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据。其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体。

作为示例，上述执行主体可以将302中所确定出的各个目标拍摄对象在彩色图像中的位置中的每两个目标拍摄对象在彩色图像中的位置，输入至预先确定的卷积神经网络模型，经由该卷积神经网络确定该两个目标拍摄对象是否指示同一拍摄实体。由此，可以从图像集合中确定出至少两张目标图像。

其中，上述卷积神经网络模型可以基于预先确定的训练样本集合训练得到。上述训练样本集合中的训练样本可以包括两个目标拍摄对象在彩色图像中的位置，以及指示该两个目标拍摄对象是否指示同一拍摄实体的判别信息。

304，基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据。

在本实施例中，上述执行主体可以基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据。

305，基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像。

在本实施例中，上述执行主体可以基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像。其中，至少两张目标图像均为彩色图像或者均为深度图像。

在本实施例的一些可选的实现方式中，拍摄实体包含平直结构。作为示例，平直结构可以是水平、竖直或倾斜的结构。在此基础上，上述执行主体可以采用如下方式执行上述305，以基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像：

针对图像集合中的两张深度图像，在该两张深度图像中的平直结构在全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值的情况下，将与该两张深度图像分别相对应的两张彩色图像分别确定为目标图像。

可以理解，上述可选的实现方式中，根据两张深度图像中的平直结构在全局坐标系下的三维点云数据分别形成的两条直线之间的夹角来确定目标图像，由此，可以提高判断两目标拍摄对象是否指示同一拍摄实体的准确度。

在上述可选的实现方式中的一些应用场景下，上述执行主体可以采用如下方式执行上述302，以从图像集合包含的图像中，确定目标拍摄对象的位置：

针对图像集合中的彩色图像，将该彩色图像输入至预先训练的深度神经网络模型，经由深度神经网络模型提取该彩色图像中的目标拍摄对象的掩膜。其中，掩膜表征目标拍摄对象在彩色图像中的位置，掩膜为二值图像，二值图像中的像素值指示与该像素值相对应的彩色图像中的像素是否属于目标拍摄对象所在的图像区域。

可以理解，上述应用场景中，通过提取彩色图像中的目标拍摄对象的掩膜的方式，可以更为准确地确定出目标拍摄对象在彩色图像中的位置。

在上述应用场景的一些情况中，上述执行主体可以采用如下方式，来确定平直结构在彩色图像中的位置：

首先，采用预先确定的核函数，对掩膜进行腐蚀处理，得到腐蚀后图像。

然后，基于掩膜与腐蚀后图像，确定平直结构在彩色图像中的位置。

作为示例，在平直结构为门的上边框和下边框的情况下，可以采用5x1（即行数为5，列数为1）的竖条形核（kernal），对掩膜进行腐蚀处理，从而得到上下像素分别少5的腐蚀后图像。之后，将掩膜指示的二值图像减去腐蚀后图像，从而得到平直结构在彩色图像中的位置。

可以理解，上述情况中，采用核函数对掩膜进行腐蚀处理，来确定平直结构在彩色图像中的位置。这样，可以提高位置确定的准确度。

在本实施例的一些可选的实现方式中，上述执行主体也可以采用如下方式执行上述305，以基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像：

针对图像集合中的两张深度图像，在该两张深度图像中的目标拍摄对象分别在全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值的情况下，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

可以理解，上述可选的实现方式中，根据两张深度图像中的平直结构在全局坐标系下的三维点云数据的重心之间的距离来确定目标图像，由此，可以提高判断两目标拍摄对象是否指示同一拍摄实体的准确度。

在本实施例的一些可选的实现方式中，上述执行主体还可以采用如下方式执行上述305，以基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像：

针对图像集合中的两张深度图像，在该两张深度图像中的目标拍摄对象分别在全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值，并且，该两张深度图像中的平直结构在全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值的情况下，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

可以理解，上述可选的实现方式中，根据两张深度图像中的平直结构在全局坐标系下的三维点云数据分别形成的两条直线之间的夹角以及两张深度图像中的平直结构在全局坐标系下的三维点云数据的重心之间的距离二者来确定目标图像，由此，可以进一步提高判断两目标拍摄对象是否指示同一拍摄实体的准确度。

306，基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，上述执行主体可以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，306与图1对应实施例中的104基本一致，这里不再赘述。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1和/或图2对应的实施例相同或类似的特征、效果，在此不再赘述。

从图3中可以看出，本实施例中的虚拟现实场景的漫游路径的生成方法的流程300，基于全局坐标系下的三维点云数据，判断两目标拍摄对象是否指示同一拍摄实体，这样，提高了判断两目标拍摄对象是否指示同一拍摄实体的准确度。

下面请继续参考图4A-图4E，图4A-图4E是本公开虚拟现实场景的漫游路径的生成方法的一个实施例的应用场景示意图。

在图4A中，上述执行主体首先获取用于构建虚拟现实场景的图像集合。其中，该图像集合中包含一张深度全景图像（如图4A中标号401所示）和一张彩色全景图像（图中未示出），该图像集合中的深度全景图像401与彩色全景图像相对应。

然后，上述执行主体利用深度神经网络模型提取彩色全景图像中的每个门的掩膜（mask），即每个门在彩色全景图像上对应的像素位置。如图4B和图4C所示，上述执行主体检测到了两个门，由此，得到掩膜402和掩膜403。图4B中的白色区域指示门在彩色全景图像上对应的像素位置。

之后，利用图像形态学处理，提取出掩膜中门的上边框。对门的掩膜利用5x1的竖条形核（kernal）进行腐蚀处理后，利用腐蚀处理前的掩膜指示的二值图像减去腐蚀后图像，可以得到门上下两条框线，选取图像上位置靠上的作为门的上边框。如图4D所示，标号404和标号405分别示出了两个门的上边框。

随后，利用深度全景图像，将该深度图像中的门的上边框在相机坐标系下的三维点云数据，转化为该深度图像中的门的上边框在全局坐标系下的三维点云数据。由此，可以得到各个门的上边框在全局坐标系下的相对位置。

接下来，判断各门的上边框的三维点云数据是否对应同一个实际门（即上述拍摄实体）。具体而言，可以将每个门的上边框的三维点云数据拟合为直线，判断两条直线的方向以及重心位置，如果直线较为平行（例如夹角小于或等于预设角度阈值）且重心位置相近（例如重心之间的距离小于或等于预设距离阈值）则认为是同一个实际门。如图4E所示，每条线段表示一个拍摄位置下的一个门的上边框，同一标号（例如标号406-409）指示的区域内的一组线段表示不同拍摄位置下观测到的同一个实际门。

最后，通过门的位置，分别连通两个拍摄位置（而非直接连通两个拍摄位置），对应的漫游效果为穿过门到达另一个视点。如图4F所示，拍摄位置410因拍摄时关门成为孤立点，但是拍摄位置411与拍摄位置410都可以观测到两点间的门412，因此以门412作为中间桥梁可以将拍摄位置410同拍摄位置411连接起来，从而形成完整的漫游连通图。另外，该场景中，仅对孤立点进行门的连通处理，其他已经连在一起的拍摄位置之间没有添加通过门产生的新连通关系。

进一步参考图5，图5为本公开虚拟现实场景的漫游路径的生成装置的一个实施例的结构示意图。虚拟现实场景的漫游路径的生成，该装置实施例与图1至图3所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图1至图3所示的方法实施例相同或相应的特征，以及产生与图1至图3所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的虚拟现实场景的漫游路径的生成装置500包括：获取单元501、第一确定单元502、第二确定单元503和第一生成单元504。其中，获取单元501，被配置成获取用于构建虚拟现实场景的图像集合；第一确定单元502，被配置成从图像集合包含的图像中，确定目标拍摄对象的位置，其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像；第二确定单元503，被配置成基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像，其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体；第一生成单元504，被配置成基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例中，虚拟现实场景的漫游路径的生成装置500的获取单元501可以获取用于构建虚拟现实场景的图像集合。

在本实施例中，上述第一确定单元502可以从图像集合包含的图像中，确定目标拍摄对象的位置。其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像。

在本实施例中，上述第二确定单元503可以基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像。其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体。

在本实施例中，上述第一生成单元504可以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。

在本实施例的一些可选的实现方式中，上述装置500还包括：

第二生成单元（图中未示出），被配置成基于所生成的漫游路径，生成包含漫游路径的漫游连通图，其中，漫游连通图用于虚拟现实场景的漫游。

在本实施例的一些可选的实现方式中，图像集合中的图像为深度图像或彩色图像，图像集合中的深度图像与彩色图像相对应；以及

第一确定单元502可以包括：

第一确定子单元，被配置成从图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置；以及

第二确定单元503可以包括：

第二确定子单元（图中未示出），被配置成基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据；

转化子单元（图中未示出），被配置成基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据；

第三确定子单元（图中未示出），被配置成基于所得到的全局坐标系下的三维点云数据，从图像集合中确定至少两张目标图像，其中，至少两张目标图像均为彩色图像或者均为深度图像。

在本实施例的一些可选的实现方式中，拍摄实体包含平直结构；以及

第三确定子单元包括：

第一确定模块（图中未示出），被配置成针对图像集合中的两张深度图像，响应于该两张深度图像中的平直结构在全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值，将与该两张深度图像分别相对应的两张彩色图像分别确定为目标图像。

在本实施例的一些可选的实现方式中，第一确定单元502可以包括：

提取子单元（图中未示出），被配置成针对图像集合中的彩色图像，将该彩色图像输入至预先训练的深度神经网络模型，经由深度神经网络模型提取该彩色图像中的目标拍摄对象的掩膜；

其中，掩膜表征目标拍摄对象在彩色图像中的位置，掩膜为二值图像，二值图像中的像素值指示与该像素值相对应的彩色图像中的像素是否属于目标拍摄对象所在的图像区域。

在本实施例的一些可选的实现方式中，上述装置500还包括：

腐蚀单元（图中未示出），被配置成采用预先确定的核函数，对掩膜进行腐蚀处理，得到腐蚀后图像；

第三确定单元（图中未示出），被配置成基于掩膜与腐蚀后图像，确定平直结构在彩色图像中的位置。

在本实施例的一些可选的实现方式中，第三确定子单元包括：

第二确定模块（图中未示出），被配置成针对图像集合中的两张深度图像，响应于该两张深度图像中的目标拍摄对象分别在全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

在本实施例的一些可选的实现方式中，第一生成单元504可以包括以下至少一项：

第一生成子单元（图中未示出），被配置成响应于分别表征至少两张目标图像的拍摄位置的至少两个点位中包含孤立点，基于表征拍摄实体的点位和孤立点，生成虚拟现实场景的漫游路径；

第二生成子单元（图中未示出），被配置成响应于分别表征至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量，基于表征拍摄实体的点位和表征至少两张目标图像的拍摄位置的点位，生成虚拟现实场景的漫游路径。

在本实施例的一些可选的实现方式中，虚拟现实场景为房屋的虚拟现实场景，目标拍摄对象为图像中门的影像，预定类别的拍摄实体为门，在拍摄实体包含平直结构的情况下，平直结构为门的上边框或下边框。

在本实施例的一些可选的实现方式中，所生成的漫游路径包括第一点位和第二点位，第一点位表征目标拍摄对象的位置，第二点位表征所述至少两张目标图像中的目标图像的拍摄位置。

在本实施例的一些可选的实现方式中，图像集合中包含的图像为深度全景图像或者彩色全景图像，图像集合中的深度全景图像与彩色全景图像相对应。

本公开的上述实施例提供的虚拟现实场景的漫游路径的生成装置500中，获取单元501可以获取用于构建虚拟现实场景的图像集合，之后，第一确定单元502可以从图像集合包含的图像中，确定目标拍摄对象的位置，其中，目标拍摄对象为图像中属于预定类别的拍摄实体的影像，然后，第二确定单元503可以基于所确定的目标拍摄对象的位置，从图像集合中确定至少两张目标图像，其中，至少两张目标图像中的目标拍摄对象指示同一拍摄实体，最后，第一生成单元504可以基于拍摄实体的位置和至少两张目标图像的拍摄位置，生成虚拟现实场景的漫游路径。由此，本公开实施例可以基于拍摄实体的位置和目标图像的拍摄位置，为虚拟现实场景生成新的漫游路径，由此，通过丰富虚拟现实场景的漫游路径，有助于规划出与真实场景更为匹配的观看路径，从而提高虚拟现实场景的漫游体验。

下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图6图示了根据本公开实施例的电子设备的结构图。

如图6所示，电子设备包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本公开的各个实施例的虚拟现实场景的漫游路径的生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置603可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入装置603还可以包括例如键盘、鼠标等等。该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的虚拟现实场景的漫游路径的生成方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种虚拟现实场景的漫游路径的生成方法，其特征在于，包括：

获取用于构建所述虚拟现实场景的图像集合；

从所述图像集合包含的图像中，确定目标拍摄对象的位置，其中，所述目标拍摄对象为图像中属于预定类别的拍摄实体的影像；

基于所确定的目标拍摄对象的位置，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像中的目标拍摄对象指示同一拍摄实体；

基于所述拍摄实体的位置和所述至少两张目标图像的拍摄位置，生成所述虚拟现实场景的漫游路径。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所生成的漫游路径，生成包含所述漫游路径的漫游连通图，其中，所述漫游连通图用于所述虚拟现实场景的漫游。

3.根据权利要求1所述的方法，其特征在于，所述图像集合中的图像为深度图像或彩色图像，所述图像集合中的深度图像与彩色图像相对应；以及

所述从所述图像集合包含的图像中，确定目标拍摄对象的位置，包括：

从所述图像集合包含的彩色图像中，确定目标拍摄对象在彩色图像中的位置；以及

所述基于所确定的目标拍摄对象的位置，从所述图像集合中确定至少两张目标图像，包括：

基于目标拍摄对象在彩色图像中的位置，以及与该彩色图像相对应的深度图像，确定该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据；

基于与该彩色图像相对应的深度图像的相机位姿信息，将该深度图像中的目标拍摄对象在相机坐标系下的三维点云数据，转化为该深度图像中的目标拍摄对象在全局坐标系下的三维点云数据；

基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，其中，所述至少两张目标图像均为彩色图像或者均为深度图像。

4.根据权利要求3所述的方法，其特征在于，所述拍摄实体包含平直结构；以及

所述基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，包括：

针对所述图像集合中的两张深度图像，响应于该两张深度图像中的所述平直结构在所述全局坐标系下的三维点云数据分别形成的两条直线之间的夹角小于或等于预设角度阈值，将与该两张深度图像分别相对应的两张彩色图像分别确定为目标图像；

或者，所述基于所得到的全局坐标系下的三维点云数据，从所述图像集合中确定至少两张目标图像，包括：

针对所述图像集合中的两张深度图像，响应于该两张深度图像中的目标拍摄对象分别在所述全局坐标系下的三维点云数据的重心之间的距离小于或等于预设距离阈值，将与该两张深度图像相对应的两张彩色图像分别确定为目标图像。

5.根据权利要求4所述的方法，其特征在于，所述从所述图像集合包含的图像中，确定目标拍摄对象的位置，包括：

针对所述图像集合中的彩色图像，将该彩色图像输入至预先训练的深度神经网络模型，经由所述深度神经网络模型提取该彩色图像中的目标拍摄对象的掩膜；

其中，所述掩膜表征目标拍摄对象在彩色图像中的位置，所述掩膜为二值图像，所述二值图像中的像素值指示与该像素值相对应的彩色图像中的像素是否属于目标拍摄对象所在的图像区域。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

采用预先确定的核函数，对所述掩膜进行腐蚀处理，得到腐蚀后图像；

基于所述掩膜与所述腐蚀后图像，确定平直结构在彩色图像中的位置。

7.根据权利要求1-6之一所述的方法，其特征在于，所述基于所述拍摄实体的位置和所述至少两张目标图像的拍摄位置，生成所述虚拟现实场景的漫游路径，包括以下至少一项：

响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位中包含孤立点，基于表征所述拍摄实体的点位和所述孤立点，生成所述虚拟现实场景的漫游路径；

响应于分别表征所述至少两张目标图像的拍摄位置的至少两个点位之间的最短路径包含的边的数量大于或等于预设数量，基于表征所述拍摄实体的点位和表征所述至少两张目标图像的拍摄位置的点位，生成所述虚拟现实场景的漫游路径。

8.根据权利要求1-6之一所述的方法，其特征在于，所述虚拟现实场景为房屋的虚拟现实场景，所述目标拍摄对象为图像中门的影像，所述预定类别的拍摄实体为门，在所述拍摄实体包含平直结构的情况下，所述平直结构为门的上边框或下边框。

9.根据权利要求1-6之一所述的方法，其特征在于，所生成的漫游路径包括第一点位和第二点位，第一点位表征目标拍摄对象的位置，第二点位表征所述至少两张目标图像中的目标图像的拍摄位置。

10.根据权利要求1-6之一所述的方法，其特征在于，所述图像集合中包含的图像为深度全景图像或者彩色全景图像，所述图像集合中的深度全景图像与彩色全景图像相对应。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-10任一所述的方法。

Images