CN110321048B - 三维全景场景信息处理、交互方法及装置 - Google Patents

Abstract

本申请实施例公开了三维全景场景信息处理、交互方法及装置，该方法包括：获得三维重建后的三维全景场景信息；对所述三维全景场景图像进行分割，获得多个目标物体；所述目标物体生成包围盒，并确定所述包围盒的位置信息；接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。通过本申请实施例，能够更有效的实现三维全景场景中的交互方案。

Description

三维全景场景信息处理、交互方法及装置

技术领域

本申请涉及三维全景场景信息交互技术领域，特别是涉及三维全景场景信息处理、交互方法及装置。

背景技术

随着三维数据的获取变得越来越方便，传统二维图像的浏览方式正在逐渐向三维场景的浏览过渡。目前，3D全景混合场景是比较流行的一种三维场景方案。在该方案中，可以在实景场景内的多个位置处采集全景图像，之后利用采集到的图像进行三维场景的重建，通过这种方式能够使得用户在获得三维浏览体验的同时能够观看到高清晰度的场景图像。例如，可以对线下的博物馆、线下实体店铺等进行图像采集以及三维场景的重建，使得用户可以在线上观看到具有三维空间感的博物馆、店铺图像，等等。

上述三维场景的重建为三维的虚拟浏览提供了基础，而用户与场景的交互则是用户体验的关键以及构建上层业务的基石。而三维全景场景通常是对在真实世界场景的虚拟复刻，其中的可交互对象并非如三维建模过程中由设计师进行创造，因此，如何将三维场景中的一个个物体分割出来，并分别赋予对应的交互方案，使之能够响应用户的交互动作，则成为需要解决的技术问题。

在现有技术中，为了实现三维全景场景中的交互，通常需要在目标物体旁边添加指示物，也就是说，在获取到真实世界中的全景图像，并完成三维全景场景的重建之后，可以由后台使用者手动的在三维场景中添加指示物。例如，如图1所示，如果需要为101所示的桌子添加交互信息，则可以在该桌子旁边添加指示物102，其中，这里的指示物展示为圆圈形的标签，其他需要提供交互信息的物体也都需要做类似处理。其中，由于指示物并非场景中的原始物体，因此，需要通过连接线来体现物体与指示物之间的对应关系。具体实现时，还可以从目标物体的三维网格模型的某一处开始沿法向量延伸一定距离后增加指示物。

这种现有技术的方式使得用户能够与三维全景场景中的具体目标物体进行互动，包括查看目标物体的详情等。但是，这种方式的缺点至少在于：首先，对于场景中需要交互的目标物体数量比较多，且相互之间的位置比较靠近的情况，增加的指示物相互覆盖遮挡的情况也会增加，甚至已经没有足够的空间来容纳更多的指示物。作为妥协，可以通过一个指示物与多个具体的目标物体进行交互，但是，这又导致指示物的交互系统变得臃肿复杂。另外，用户需要点击指示物才能够获得相关的交互信息，但是，在这种三维全景场景中，用户在没有先验知识或经验时往往对指示物的功能没有预期，并不会主动点击指示物来与感兴趣的商品进行交互，而经常屏直觉尝试点击具体的物品，但是，这显然是无法实现交互的。

因此，如何更有效的实现三维全景场景中的交互方案，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了三维全景场景信息处理、交互方法及装置，能够更有效的实现三维全景场景中的交互方案。

本申请提供了如下方案：

一种三维全景场景信息处理方法，包括：

获得三维重建后的三维全景场景信息；

对所述三维全景场景图像进行分割，获得多个目标物体；

所述目标物体生成包围盒，并确定所述包围盒的位置信息；

接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

一种三维全景场景信息处理方法，包括：

获得三维重建后的三维全景场景信息；

提供预置的包围盒模型，所述包围盒模型具有默认的大小；

接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

一种三维全景场景信息交互方法，包括：

获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

一种三维全景场景信息处理装置，包括：

三维全景场景信息获得单元，用于获得三维重建后的三维全景场景信息；

图像分割单元，用于对所述三维全景场景图像进行分割，获得多个目标物体；

包围盒生成单元，用于所述目标物体生成包围盒，并确定所述包围盒的位置信息；

信息保存单元，用于接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

一种三维全景场景信息处理装置，包括：

三维全景场景信息获得单元，用于获得三维重建后的三维全景场景信息；

包围盒模型提供单元，用于提供预置的包围盒模型，所述包围盒模型具有默认的大小；

包围盒位置信息确定单元，用于接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

信息保存单元，用于接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

一种三维全景场景信息交互装置，包括：

三维全景场景数据获得单元，用于获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

展示单元，用于根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

交互单元，用于接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:

获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以通过包围盒的方式对三维全景场景图像中的目标物体进行指示，而不再需要在目标物体旁边添加指示物，这样，不会再出现指示物堆叠等情况，另外，由于包围盒与目标物体实际所在的位置重合，因此，用户在进行交互的过程中，只要点击具体的目标物体，即可获得对应的交互内容信息，更加适应用户的操作习惯。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中的三维全景交互界面示意图；

图2是本申请实施例提供的系统的示意图；

图3是本申请实施例提供的第一方法的流程图；

图4是本申请实施例提供的第二方法的流程图；

图5是本申请实施例提供的第三方法的流程图；

图6是本申请实施例提供的第一装置的示意图；

图7是本申请实施例提供的第二装置的示意图；

图8是本申请实施例提供的第三装置的示意图；

图9是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，提供了新的三维全景场景交互方式，在该方式中，无需在目标物体旁边添加指示物，而是从三维全景场景中分割出一个个的物体，并为目标物体生成包围盒，这样，在三维全景场景数据中可以记录下各个包围盒的位置信息，以及对应的交互内容信息。具体在与用户进行交互的过程中，用户只需要点击具体的目标物体，由于目标物体在包围盒的响应区域范围内，因此，就可以提供对应的交互内容。这样，由于包围盒就打在目标物体上，而不是在其旁边，因此，不会像现有技术一样发生指示物交叠等情况，并且，更符合用户的操作习惯。

为了便于理解，下面首先对三维全景场景信息的生成过程进行简单介绍。

在三维全景场景的浏览方式下，线上展示的三维全景场景通常是线下真实世界中某个场景的虚拟复刻，例如，真实世界中存在某博物馆，可以在线上提供与该博物馆对应的三维全景场景信息，用户在线上浏览的过程中，由于能够看到具有空间感的画面，并且画面的清晰度通常会非常高，还可以在画面中模拟走动、改变视角等，因此，可以获得与在真实世界中浏览时相似的感受。

为了达到上述目的，参见图2，通常可以首先对线下真实世界中的相关场景进行拍照，例如，具体的，可以利用全景图像采集设备，在真实世界场景中的多个不同位置分别对场景进行全景拍照，得到多张全景照片。在拍照的过程中还可以对全景图像采集设备的性能都有所要求，例如，可以采用能够体现深度信息的摄像头，当然，如果对最终呈现出的质量没有太高的要求，则也可以使用普通摄像机进行拍照。另外，具体实现时，真实世界场景可能是一些商家开设的线下实体店铺等，如果需要让网络销售系统中的用户能够在线上获得与线下实体店铺中相似的体验，则可以使用网络销售系统提供该三维全景店铺图像展示的方式来实现。此时，可以由商家用户自行对其店铺进行多角度的全景照片拍摄，并提交到服务器，由服务器进行三维场景的重建。或者，为了更好的保证重建后的三维场景空间的展示效果，网络销售系统还可以派专门的拍照人员携带更专业的全景图像采集设备到商家的店铺中进行拍照，等等。

总之，第一服务器(例如，可以是系统中负责进行后台数据处理的服务器等)可以获得关于真实世界场景中在多个不同位置拍摄的多张全景照片。之后，就可以利用三维重建技术，以这些照片为依据，重建出现上虚拟的三维全景场景图像。其中，重建的过程通常可以是在三维图像处理等相关的工具内完成，这种工具通常通过三维网格来表达在三维空间中的坐标等位置信息。由于真实世界中被拍摄的空间中可能会陈列中多种不同的物体，因此，重建出的三维全景场景中，也可以包括多个物体对应的三维网格模型，后续在三维网格模型的基础上，再呈现出具体的目标物体。

本申请实施例就是在通过三维重建建立了三维全景场景之后，从其中分割出多个不同的具体物体，然后，为需要进行交互的物体生成包围盒，之后就可以利用包围盒的位置来代表其内部的目标物体的位置。之后，还可以对具体目标物体对应的交互内容信息进行配置，得到带有包围盒信息以及相关交互内容信息的三维全景场景图像。其中，相关的交互内容信息可以由具体的业务方来决定，例如，可以是对目标物体的介绍，或者，在网络销售系统中，该场景中的具体的物体可以是相关的商品对象等，因此，交互内容可以包括关于商品对象的详情，相关的购买或者加入购物车等操作的操作选项，等等。在完成包围盒的生成以及相关交互内容信息的配置之后，就可以通过第二服务器(主要是用于进行信息发布，与前端用户进行交互的服务器，当然，在具体实现时，第一服务器与第二服务器主要是从功能上进行的划分，在物理上可能会位于同一服务器设备中)进行发布，此时，前端用户就可以通过用户终端设备对相关的网页、客户端等进行访问，从而浏览到具体的三维全景场景图像，并可以在浏览的过程中，与其中的目标物体进行交互。在交互时，只需要在需要关注的目标物体上进行点击，即可获得相关的交互内容信息。

下面对更具体的实现方式进行详细介绍。

实施例一

在该实施例一中，首先从第一服务器的角度，提供了一种三维全景场景信息处理方法，参见图3，包括：

S301：获得三维重建后的三维全景场景信息；

在本申请实施例中，主要是对获得三维全景场景图像信息之后的处理过程进行优化，因此，关于具体如何从真实世界的多张全景照片进行三维重建，以得到上述三维全景场景图像信息的过程，这里不再详述。

S302：对所述三维全景场景图像进行分割，获得多个目标物体；

其中，具体对所述三维全景场景图像进行分割时，可以采用多种方式来实现，例如，在一种方式下，可以采用自动识别算法，从三维全景场景中进行目标物体的识别，进而还可以自动生成包围盒。

当然，这种全自动的方式下，会对三维全景场景图像中所有可能是一个独立的物体的对象都进行识别，分别分割出来生成包围盒。但是，在实际应用中，通常只有部分物体是具有交互需求的，例如，在某商家的线下店铺中，其中有部分物体是实际需要售卖的商品，还有部分物体可能是店内的装饰物，或者日常用品等等，这些物体是不需要为用户提供交互信息的。另外，店铺中陈列的商品，可能也不是全部都需要与线上用户进行互动，可能仅对其中的部分商品提供互动信息，等等。因此，如果全部进行识别则会显得浪费资源。另外，全自动图像分割方式的识别结果对算法的依赖度比较高，在空间环境比较复杂，或者空间内物体比较多，相互排列密集等情况下，可能会出现识别结果不佳等情况。

基于上述考虑，在本申请实施例中，还可以提供一种半自动的图像分割方法，以期更有效准确的分割出目标物体，并避免造成不必要的资源浪费。具体的，在该方案中，可以由服务器侧的工作人员来选择需要进行交互的目标物体，并且，具体在进行图像分割以及后续的包围盒生成的过程中，可以逐个目标物体的依次进行。

例如，对于其中一个目标物体，在已经重建完成的三维全景场景图像的编辑环境下，工作人员可以在该目标物体的任意位置处执行点击操作，相应的，就可以将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置。之后，就可以根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点。其中，具体在判断一个网格顶点是否可以纳入目标网格范围时，可以有多种实现方式，例如，一种方式下，可以如下进行：从所述初始位置开始，沿着所述目标物体对应的三维网格拓扑模型中的邻域顶点依次向外延伸。对于各邻域顶点，可以分别确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成曲面的平面拟合度信息，确定是否可纳入目标网格范围。所谓平面几何度，也就是说，所述曲面与平面的接近程度。更为具体的，对于其中一邻域顶点，可以首先确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成的曲面，然后，确定所述曲面的平面拟合度，如果所述平面拟合度低于预置阈值，则确定该邻域顶点可纳入目标网格范围。否则，如果所述曲面的平面拟合度高于所述预置阈值，且为竖直或水平平面，则舍弃该邻域顶点。也就是说，如果某邻域顶点周围预置范围内的各顶点组成的曲面已经接近于平面了，并且该平面是水平面或者竖直面，则证明该邻域顶点对于分割出该目标物体是没有参考价值的，因此，该邻域顶点将不会被纳入到目标网格范围内。

S303：为所述目标物体生成包围盒，确定所述包围盒的位置信息；

在分割出目标物体之后，可以为其生成包围盒，其中，具体的包围盒具体可以是预置形状的三维几何体，例如，通常可以是长方体形状，之所以称为包围盒是因为，对于某目标物体而言，其是能够将该目标物体全部包围在内的最小长方体，因此，也可以称为目标物体的外接长方体。其中，所述包围盒的位置信息具体可以通过所述包围盒的中心点位置、方向以及各边的边长进行表达。

具体实现时，如果采用全自动的物体分割方式，则也可以自动生成包围盒。而如果是在前述半自动的图像分割方式下，则本申请实施例还提供了具体的生成包围盒的方式。例如，可以以所述初始位置为基准位置，以所述初始位置的法向量为平面法向量，创建基准平面，然后，以所述基准平面创建包围盒，所述包围盒外接于所述识别出的可纳入目标网格范围的各网格顶点组成的几何图形。

由于包围盒是一个三维的几何体，其位置信息可以通过包围盒中心点位置、方向、各边的边长等多方面的信息来组成。因此，具体在确定包围盒的位置信息时，就可以是确定出上述各方面的具体值。用这些值便可以代表该包围盒的位置，并且，还可以在三维全景场景中绘制出该包围盒。

当然，无论是全自动还是半自动方式生成的包围盒，其位置、方向和/或大小都可能与目标物体并不是完全匹配，因此，在本申请实施例中，还可以提供用于对包围盒进行调整的操作方式。例如，具体生成包围盒之后，该包围盒本身可以处于可编辑状态，工作人员可以根据实际的对应情况，进行手动的调整，相应的，在接收到的对调整信息，对所述包围盒的位置、方向和/或大小进行调整，之后保存的是调整之后的位置相关信息。

S304：接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

在完成对目标物体的分割以及包围盒的生成之后，可以对目标物体对应的交互内容信息进行编辑。在本申请实施例中，可以将目标物体的交互内容信息与该目标物体对应包围盒的位置信息进行保存，这样，后续具体在与用户进行交互的过程中，只要用户点击具体目标物体所在的位置，即可获得对应的交互内容。

在保存了交互内容信息与包围盒位置信息之间的对应关系之后，便可以对具体的三维全景场景图像进行发布，这样，消费者用户等便可以通过前端的用户终端设备对其进行浏览。其中，用户终端设备可以是PC机、笔记本电脑等，还可以是手机等移动终端设备。对于前者，用户可以通过鼠标来控制在三维全景空间中的移动方向、视角等，对于后者，由于移动终端设备中通常会设有陀螺仪等传感器，因此，可以通过旋转手机等方式，来进行移动或者改变视角。

总之，通过本申请实施例，可以通过包围盒的方式对三维全景场景图像中的目标物体进行指示，而不再需要在目标物体旁边添加指示物，这样，不会再出现指示物堆叠等情况，另外，由于包围盒与目标物体实际所在的位置重合，因此，用户在进行交互的过程中，只要点击具体的目标物体，即可获得对应的交互内容信息，更加适应用户的操作习惯。

实施例二

在前述实施例一中，提供了全自动或者半自动方式进行图像分割以及包围盒生成的相关实现方案，而在实际应用中，还可以通过另一种实现方案，在该方案中，可以为工作人员提供包围盒模型，例如，可以是具有默认大小的长方体形的几何体，之后，工作人员可以手动的将包围盒模型拖动至所需提供交互信息的目标物体的位置，并对其方向、大小等进行调整。这样，只需要保存手动拖动之后的处理结果，即可实现对图像的分割以及包围盒的确定。具体的，参见图4，该实施例二提供了一种三维全景场景信息处理方法，该方法具体可以包括：

S401：获得三维重建后的三维全景场景信息；

S402：提供预置的包围盒模型，所述包围盒模型具有默认的大小；

S403：接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

S404：接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

关于该方案中其他相关的具体实现，可以参见前述实施例一中的记载，这里不再赘述。

实施例三

前述实施例一以及实施例二主要从图像分割以及包围盒生成阶段提供了相应的解决方案，而本申请实施例三主要对完成具体的编辑操作之后，具体与用户进行交互的过程进行介绍。具体的，本申请实施例三提供了一种三维全景场景信息交互方法，该方法的执行主体可以是用户终端设备，参见图5，该方法具体可以包括：

S501：获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

具体实现时，可以在相关的客户端或者网页中提供对三维全景场景的访问入口，之后，用户可以通过具体的入口发起访问请求，客户端从第二服务器获得相关的三维全景场景相关数据。当然，如果在客户端本地有缓存，则可以从客户端本地进行加载。例如，在网络销售系统的情况下，可以在手机App中提供“场景购”这一主题，用户在进入该主题的承接页之后，可以查看到多个店铺对应的“场景购”入口，例如，可以包括主营家居类商品的店铺，主营服装类商品的店铺，等等。之后，可以从中选择感兴趣的店铺入口点击后进入到具体的三维全景场景界面。

其中，在本申请实施例中，由于预先将全景场景中具体目标物体进行了分割并添加了包围盒，因此，这种包围盒的相关信息会体现在三维全景场景图像数据中，并且与具体目标物体的交互内容相对应。其中，所述包围盒信息可以包括包围盒的中心点位置、方向以及各边的边长等。

S502：根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标物体，展示出对应包围盒的边框信息；

在获得具体的三维全景场景数据之后，可以生成具体的三维全景场景展示界面，并且，由于其中包括目标物体对应的包围盒信息，因此，还可以根据具体包围盒的位置信息等，绘制出具体的包围盒信息。当然，在具体展示时，为了避免影响对具体目标物体的展示造成遮挡，只需要展示出包围盒边框即可。也就是说，在本申请实施例中，在用户进入到具体的三维全景场景界面中之后，在当前视角屏幕展示范围内，通常可以看到多个目标物体，其中，具体的目标物体上可以带有包围盒边框，用于指示其为可以进行交互的目标物体。这样，用户可以根据包围盒边框的提示情况，获知可以进行交互的目标物体，然后通过点击等方式获得交互内容信息。

其中，具体实现时，还可以根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒边框在展示效果上的突出程度；距离当前屏幕中心越近的包围盒，其边框在展示效果上的突出程度越高。例如，具体实现时，可以是距离屏幕中心越近的包围盒边框线条比较粗，越远离屏幕中心的包围盒的边框线条越细，等等，使得用户更容易将注意力放在距离屏幕中心最近的目标物体上，并与之进行交互。

S503：接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

在展示出具体的三维全景场景界面，以及其中的包围盒边框信息之后，用户便可以与其中的目标物体进行交互，例如，可以通过点击带有包围盒边框的目标物体所在位置的方式来发起交互。之后可以展示出对应的交互内容信息，例如，可以是关于目标物体的详情介绍，或者，还可以是关于目标物体对应商品对象详情，包括购买、加入购物车等操作的操作选项，等等。

其中，具体实现时，由于用户通常会与距离屏幕中心最近的目标物体进行交互，如果点击目标物体所在位置之外的其他位置，则多数情况下是需要向前走，或者改变视角等，因此，即使用户点击到了某目标物体所在的位置，如果该目标物体距离屏幕中心的距离很远，则也可能并不是想要与该目标物体进行交互。考虑到上述情况，在本申请的可选实施例中，还可以根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒对用户操作的响应强度；距离当前屏幕中心越近的包围盒，对用户操作的响应强度越高。其中，所述响应强度可以通过用户操作的时长、力度等来体现，例如，如果是屏幕中心位置处的目标物体，则只需要轻轻点击目标物体所在的位置，即可获得响应。而距离屏幕中心比较远的目标物体，则需要加大点击力度，或长时间点住不放，才能获得响应，等等。通过这种方式可以更好的适应实际的交互过程。

关于上述实施例二以及实施例三中的未详述部分，可参见前述实施例一中的记载，这里不再赘述。

与实施例一相对应，本申请实施例还提供了一种三维全景场景信息处理装置，参见图6，该装置可以包括：

三维全景场景信息获得单元601，用于获得三维重建后的三维全景场景信息；

图像分割单元602，用于对所述三维全景场景图像进行分割，获得多个目标物体；

包围盒生成单元603，用于所述目标物体生成包围盒，并确定所述包围盒的位置信息；

信息保存单元604，用于接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

具体实现时，所述三维全景场景中包括多个物体的三维网格拓扑模型

所述图像分割单元具体可以包括：

初始位置确定子单元，用于接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；

网格顶点确定子单元，用于根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点。

具体的，所述网格顶点确定子单元具体可以用于：

从所述初始位置开始，沿着所述目标物体对应的三维网格拓扑模型中的邻域顶点依次向外延伸；对于各邻域顶点，确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成曲面的平面拟合度信息，确定是否可纳入目标网格范围。

具体的，对于其中一邻域顶点，可以通过以下方式确定其是否可纳入目标网格范围，包括：

确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成的曲面；

确定所述曲面的平面拟合度；

如果所述平面拟合度低于预置阈值，则确定该邻域顶点可纳入目标网格范围。

如果所述曲面的平面拟合度高于所述预置阈值，且为竖直或水平平面，则舍弃该邻域顶点。

所述包围盒确定单元具体可以用于：

以所述初始位置为基准位置，以所述初始位置的法向量为平面法向量，创建基准平面；以所述基准平面创建包围盒，所述包围盒外接于所述识别出的可纳入目标网格范围的各网格顶点组成的几何图形。

另外，该装置还可以包括：

调整单元，用于根据接收到的对调整信息，对所述包围盒的位置、方向和/或大小进行调整。

与实施例二相对应，本申请实施例还提供了一种三维全景场景信息处理装置，参见图7，该装置可以包括：

三维全景场景信息获得单元701，用于获得三维重建后的三维全景场景信息；

包围盒模型提供单元702，用于提供预置的包围盒模型，所述包围盒模型具有默认的大小；

包围盒位置信息确定单元703，用于接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

信息保存单元704，用于接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存。

与实施例三相对应，本申请实施例还提供了一种三维全景场景信息交互装置，参见图8，该装置可以包括：

三维全景场景数据获得单元801，用于获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

展示单元802，用于根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

交互单元803，用于接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

具体实现时，该装置还可以包括：

边框展示效果控制单元，用于根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒边框在展示效果上的突出程度；距离当前屏幕中心越近的包围盒，其边框在展示效果上的突出程度越高。

响应强度控制单元，用于根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒对用户操作的响应强度；距离当前屏幕中心越近的包围盒，对用户操作的响应强度越高。

另外，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:

获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息。

其中，图9示例性的展示出了电子设备的架构，例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图9，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件902可以包括一个或多个处理器920来执行指令，以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理部件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的三维全景场景信息处理、交互方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种三维全景场景信息处理方法，其特征在于，包括：

获得三维重建后的三维全景场景信息；

对三维全景场景图像进行分割，获得多个目标物体；

所述目标物体生成包围盒，并确定所述包围盒的位置信息；

接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述对所述三维全景场景图像进行物体分割，包括：

接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；

根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点。

2.根据权利要求1所述的方法，其特征在于，

通过以下方式确定出至少一个可纳入目标网格范围的三维网格顶点：

从所述初始位置开始，沿着所述目标物体对应的三维网格拓扑模型中的邻域顶点依次向外延伸；

对于各邻域顶点，确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成曲面的平面拟合度信息，确定是否可纳入目标网格范围。

3.根据权利要求2所述的方法，其特征在于，

对于其中一邻域顶点，通过以下方式确定其是否可纳入目标网格范围，包括：

确定所述目标物体对应的三维网格拓扑模型中该邻域顶点周围预置范围内的各顶点所组成的曲面；

确定所述曲面的平面拟合度；

如果所述平面拟合度低于预置阈值，则确定该邻域顶点可纳入目标网格范围。

4.根据权利要求3所述的方法，其特征在于，还包括：

如果所述曲面的平面拟合度高于所述预置阈值，且为竖直或水平平面，则舍弃该邻域顶点。

5.根据权利要求1所述的方法，其特征在于，

确定分割出的目标物体对应的包围盒，包括：

以所述初始位置为基准位置，以所述初始位置的法向量为平面法向量，创建基准平面；

以所述基准平面创建包围盒，所述包围盒外接于识别出的可纳入目标网格范围的各网格顶点组成的几何图形。

6.根据权利要求5所述的方法，其特征在于，还包括：

根据接收到的对调整信息，对所述包围盒的位置、方向和/或大小进行调整。

7.一种三维全景场景信息处理方法，其特征在于，包括：

获得三维重建后的三维全景场景信息；

提供预置的包围盒模型，所述包围盒模型具有默认的大小；

接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述目标物体是接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点后得到的。

8.一种三维全景场景信息交互方法，其特征在于，包括：

获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述目标物体是接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点后得到的。

9.根据权利要求8所述的方法，其特征在于，还包括：

根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒边框在展示效果上的突出程度；距离当前屏幕中心越近的包围盒，其边框在展示效果上的突出程度越高。

10.根据权利要求8所述的方法，其特征在于，还包括：

根据所述包围盒与当前屏幕中心之间的距离，确定所述包围盒对用户操作的响应强度；距离当前屏幕中心越近的包围盒，对用户操作的响应强度越高。

11.一种三维全景场景信息处理装置，其特征在于，包括：

三维全景场景信息获得单元，用于获得三维重建后的三维全景场景信息；

图像分割单元，用于对三维全景场景图像进行分割，获得多个目标物体；

包围盒生成单元，用于所述目标物体生成包围盒，并确定所述包围盒的位置信息；

信息保存单元，用于接收到关于所述目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述图像分割单元，具体用于接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点。

12.一种三维全景场景信息处理装置，其特征在于，包括：

三维全景场景信息获得单元，用于获得三维重建后的三维全景场景信息；

包围盒模型提供单元，用于提供预置的包围盒模型，所述包围盒模型具有默认的大小；

包围盒位置信息确定单元，用于接收用户对所述包围盒执行的移动和/或调整大小的操作，并在接收到确认操作后，确定所述包围盒的位置信息，所述位置信息中包括所述包围盒的中心点位置、方向以及各边的边长；

信息保存单元，用于接收到关于所述包围盒内的目标物体的交互内容信息后，将所述包围盒的位置信息与所述交互内容信息之间的对应关系进行保存；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述目标物体是接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点后得到的。

13.一种三维全景场景信息交互装置，其特征在于，包括：

三维全景场景数据获得单元，用于获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

展示单元，用于根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

交互单元，用于接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述目标物体是接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点后得到的。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:

获得三维全景场景数据，其中，所述三维全景场景中可交互的目标物体对应有包围盒信息；

根据所述三维全景场景数据生成三维全景场景展示界面，并根据当前界面中包含的目标数据对象，展示出对应包围盒的边框信息；

接收用户在所述三维全景场景展示界面中的操作，如果所述操作落入其中一包围盒内，则提供与该包围盒对应的目标物体的交互信息；

所述包围盒与所述目标物体位置重合；所述三维全景场景中包括多个物体的三维网格拓扑模型；

所述目标物体是接收用户对所述三维全景场景中目标物体的任意位置执行的点击操作，将所述目标物体对应的三维网格拓扑模型中距离被点击位置最近的三维网格顶点作为执行分割操作的初始位置；根据所述初始位置，从所述目标物体对应的三维网格拓扑模型中确定出至少一个可纳入目标网格范围的三维网格顶点后得到的。

Images