CN112714266B - 标注信息展示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了标注信息展示方法、装置、电子设备及存储介质，涉及计算机领域和图像信息处理领域。具体实现方案为：获取第一视角下的第一图像中目标区域的深度信息和标注信息；建立深度信息与标注信息的关联关系；在获取到第二视角下的第二图像的情况下，基于深度信息确定目标区域在第二图像中的展示区域，并基于关联关系在第二图像中的展示区域展示该目标区域的标注信息。根据本申请的技术方案，能实现具有深度信息的目标区域内的标注信息的跨图展示。

Description

标注信息展示方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及图像信息处理领域。

背景技术

全景图是把相机多角度拍摄的一组或多组照片拼接成的图像，由于其可以提供360度的视野，为用户提供全方位的空间展示，因此在地图等产品中广泛使用。在全景图中展示一些标注信息如建筑物、道路名称、用户留言等可以有效提升用户读图效率和体验。然而，这些标注信息只能在当前全景图展现，当切换到下一张全景图时，无法展现这些标注信息，用户体验较差。

发明内容

本申请提供了一种标注信息展示方法、装置、电子设备、存储介质以及计算机程序产品。

根据本申请的一方面，提供了一种标注信息展示方法，包括：

获取第一视角下的第一图像中目标区域的深度信息和标注信息；

建立该深度信息与该标注信息的关联关系；

在获取到第二视角下的第二图像的情况下，基于深度信息确定该目标区域在第二图像中的展示区域，并基于关联关系在第二图像中的展示区域展示该目标区域的标注信息。

根据本申请的另一方面，提供了一种标注信息展示装置，包括：

获取模块，用于获取第一视角下的第一图像中目标区域的深度信息和标注信息；

建立模块，用于建立该深度信息与该标注信息的关联关系；

展示模块，用于在获取到第二视角下的第二图像的情况下，基于深度信息确定该目标区域在第二图像中的展示区域，并基于关联关系在第二图像中的展示区域展示该目标区域的标注信息。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本申请任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请任一实施例中的方法。

根据本申请的技术方案，能实现具有深度信息的目标区域内的标注信息的跨图展示。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请一个实施例的标注信息展示方法的示意图一；

图2是根据本申请一个实施例的标注信息展示方法的示意图二；

图3是本申请实施例中基于深度信息确定目标区域在第二图像中的展示区域，并在展示区域展示目标区域的标注信息的示意图；

图4是本申请实施例中标注信息展现的架构图；

图5是本申请实施例中全景图中目标区域的一个示例；

图6是根据本申请一个实施例的全景球模型投影到2D平面的示例；

图7是根据本申请一个实施例的标注信息展示装置的示意图；

图8是根据本申请另一个实施例的标注信息展示装置的示意图；

图9是用来实现本申请实施例的标注信息展示方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本文中术语"和/或"，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语"至少一种"表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语"第一"、"第二"表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

相关技术中，在全景图中展示标注信息的一种方式是：对每张全景图都进行标注，比如，对每张全景图中同一个店铺进行标注，切换图像的时候才能始终可以看到这个店铺的标注。对每张图进行标注，如果是机器进行标注，则需要机器处理所有全景图像，即使两张相邻5米的全景图，也要分别处理标注，耗费成本和存储；如果是人工打的标注如用户在全景图中的留言，则只能关联唯一的一张全景图，无法继承到下一张全景图。用户切换到下一张全景图时该标注会消失，给用户带来标注不稳定的感知，用户体验差。在全景图中展示标注信息的另一种方式是：将全景进行三维重建，计算出三维模型中每个点的深度信息，因此在一张全景图中任意位置的标注，通过结合其所在位置的深度信息以及两张全景图的相对位置可以计算出标注在相邻全景图中的位置。但是这种三维重建对于采集设备、采集信息要求较高，基于纯二维(two-dimensional，简称2D)全景图进行完整的三维重建成本很高，无法规模化普及使用。

本申请提出针对2D全景图，对其局部或者对其上用户感兴趣位置，进行深度信息挖掘全，在具有深度信息的区域内的标注信息可以实现跨图展现，有效解决三维重建的高成本，同时也能满足用户感兴趣位置的标注信息在相邻全景图中的继承展现。

下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。

图1示出了根据本申请一个实施例的标注信息展示方法的示意图，该方法可以应用于电子设备，该电子设备包括但不限于固定设备和/或移动设备，例如，固定设备包括但不限于服务器，服务器可以是云服务器或普通服务器。例如，移动设备包括但不限于：手机或平板电脑中的一项或是多项。如图1所示，该方法包括：

步骤S11，获取第一视角下的第一图像中目标区域的深度信息和标注信息；

步骤S12，建立该深度信息与该标注信息的关联关系；

步骤S13，在获取到第二视角下的第二图像的情况下，基于该深度信息确定该目标区域在第二图像中的展示区域，并基于该关联关系在第二图像中的展示区域展示该目标区域的标注信息。

其中，第一图像和第二图像都是全景图像。该第一图像和第二图像都可以是长宽比为x:y的全景图。比如，x＝2，y＝1。需要说明的是，本申请对第一图像和第二图像的长宽比不做强制性限定。

其中，第一图像和第二图像都可以由相机如鱼眼相机拍摄获得。比如，第一图像和第二图像分别是相机在不同视角下拍摄的包括目标区域的全景图。本申请并不对第一视角和第二视角的值进行强制性限定。

需要说明的是，第一图像和第二图像至少有部分内容是重合的，比如，第一图像中是拍摄者正对广场拍摄的图像，该图像上有雕塑、花坛、以及观光车；第二图像是拍摄者原地顺时针旋转10度后对该广场拍摄的图像，该图像上有雕塑和花坛；显然，第一图像和第二图像中至少有部分内容是重合的。

其中，目标区域是具有深度信息的区域。比如，图像中的店铺所在区域、或路牌所在区域、或红绿灯指示牌所在区域等都可以是目标区域。

其中，深度信息包括目标区域的大地坐标与该第一图像的采集坐标之间的距离信息。这里，第一图像的采集坐标是拍摄该第一图像时拍摄者所处的大地坐标。以第一图像中的店铺为例，深度信息包括店铺的大地坐标和第一图像的采集坐标之间的距离信息。

进一步地，深度信息还可包括目标区域在第一图像中占据的区域轮廓信息。以第一图像中的店铺为例，深度信息还包括店铺在第一图像中占据的区域轮廓信息。

通过上述实施方式，能够找出第一图像中的哪些区域是有深度信息的，基于这些已知的深度信息，将一些标注信息和深度信息关联起来，然后切换到其他图像的时候，根据深度信息推测这些具有深度信息的区域在下一张图的位置，为实现标注信息的跨图展现提供数据支撑。

其中，关联关系包括标注信息与深度信息的第一映射关系，比如，标注信息与深度信息是一一对应的，举例来说，标注信息a1对应深度信息A1，标注信息a2对应深度信息A2。或者，关联关系包括深度信息与标注信息的第二映射关系，比如，深度信息与标注信息是一一对应的，举例来说，深度信息B1对应标注信息b1，标注信息a2对应深度信息B2对应标注信息b2。

其中，标注信息包括第一类标注信息和第二类标注信息。其中，该第一类标注信息用于表征从所述第一图像上挖掘出的POI信息。比如，在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。其中，第二类标注信息用于表征用户在球模型场景下添加的信息。比如，用户甲在浏览全景图的时候，看到一个大门，而想起看该大门的老大爷是带着自家宠物狗看门的，且该宠物狗非常可爱，于是用户甲在全景图中大门这个位置添加留言信息“此大门由带宠物的大爷来看，大爷的宠物狗很可爱呦”，用户甲的这条留言信息，属于标注信息。

需要说明的是，第二图像可以是第一图像的相邻图像，还可以是与第一图像有数张图像间隔的图像。

本申请的标注信息展示方法，获取第一视角下的第一图像中目标区域的深度信息和标注信息；建立该深度信息与该标注信息的关联关系；在获取到第二视角下的第二图像的情况下，基于该深度信息确定该目标区域在第二图像中的展示区域，并基于该关联关系在该展示区域展示该目标区域的标注信息；这样，由于第一图像上的目标区域在第二图像上出现时，能根据关联关系在第二图像上显示第一图像处对该目标区域的标注信息，可以有效解决全景图浏览时标注信息较少的问题。另外，还解决了因只在第一图像上而未在第二图像上标注目标区域的标注信息而无法在第二图像上显示该目标区域的标注信息的问题，能够实现具有深度信息的目标区域的标注信息的跨图之间的展示，进而提升用户地图使用体验。并且，相对于采用三维重建技术的标注方式而言，可以低成本解决全景图中具有深度信息的关键位置的标注信息的跨图展现问题。

目标区域是第一图像中具有深度信息的区域，也就是说，在第一图像中，有的区域有深度信息，有的区域没有深度信息，因此，目标区域是第一图像中的局部区域。在一些实施方式中，确定第一图像中的目标区域的方式，可以通过下述至少一种方式实现：

基于光学字符识别(Optical Character Recognition，OCR)算法确定目标区域；或者

基于预设图像特征确定目标区域；或者

基于用户的留言信息确定目标区域。

其中，基于OCR算法确定目标区域，包括：基于OCR进行文字识别，得到识别结果，若该识别结果中的文字与从第一图像中挖掘出的POI信息正好相符，则把文字标牌所在位置确定为目标区域。比如，基于OCR识别出某标牌中的“庆丰包子铺”，若该识别结果与从第一图像中挖掘出的POI信息正好相符，则把该标牌所在位置确定为目标区域。

通过上述实施方式，能够实现自动挖掘图像上的目标区域，从而有助于提升标注信息展示效率。

其中，基于预设图像特征确定目标区域，包括：确定预设对象，基于查找第一图像中是否存在该预设对象的预设图像特征若存在，则将该预设图像特征所在区域确定为目标区域。比如，基于图形处理器(Graphics Processing Unit，GPU)找红绿灯，在第一图像中基于红绿灯的图像特征去识别红绿灯，若找到与红绿灯的图像特征相匹配的区域，则将该区域确定为目标区域。

通过上述实施方式，能够实现自动挖掘图像上的目标区域，从而有助于提升标注信息展示效率。

其中，基于用户的留言信息确定目标区域，包括：确定用户的留言信息的留言位置，根据留言位置确定目标区域。比如，用户在某位置自己添加了一行文字，将用户添加留言的这个位置，作为一个目标区域。

通过上述实施方式，能够实现对2D图像上用户感兴趣位置的挖掘，从而有助于提升用户的标注体验。

实际应用中，具体如何确定第一图像中的目标区域的方式，可以采用上述方式中的一种或多种方式来完成。当然，还可以采用其他能够确定目标区域的方式来确定目标区域，本申请对此不做限定。

在一些实施方式中，在获取到第二视角下的第二图像的情况下，基于深度信息确定目标区域在第二图像中的展示区域，包括：

基于第一图像的采集坐标信息和采集朝向信息，以及第二图像的采集坐标信息和采集朝向信息，结合第一图像中的目标区域的深度信息，确定该目标区域在第二图像的球模型上的展示区域。

需要说明的是，第一图像切换至第二图像时，由于二者的采集坐标信息和采集朝向信息不同，在第二图像中可能不存在第一图像中的具有深度信息的某些目标区域。

比如，当图A切换到图B时，基于图A和图B采集的坐标、朝向等信息，结合图A具备深度信息的标注可以预测出标注在图B中的展示区域，进而推算出其在图B的球模型上对应的坐标，从而实现了标注跨全景球展示。

通过上述实施方式，根据第一图像中的目标区域的深度信息，能够确定出该目标区域在第二图像的球模型上的展示区域；由于第一图像和第二图像的采集朝向和采集位置可能不同，结合第一图像和第二图像的采集坐标信息和采集朝向信息，能够提高确定出的展示区域的准确度，进而提升实现具有深度信息的标注信息的跨图展现的精度。

在本申请实施例中，在实现上述任一方法的基础上，如图2所示，方法还可以包括以下步骤：

步骤S14：基于预设粒度为球模型划分球面瓦片，得到包括多个球面瓦片的球模型；

步骤S15：将第一图像上所有具有深度信息的目标区域映射到包括多个球面瓦片的所述球模型上，从该多个球面瓦片中确定出球模型上具有深度信息的目标球面瓦片。

其中，预设粒度可以根据业务的需求进行设置或调整。粒度越大，球面瓦片的数量越多，计算越精确。

通过上述实施方式，能够根据业务的需求调整瓦片数量，进而调整目标区域映射到球模型时包括的目标球面瓦片的数量，从而能调整展示精度，也有助于对标注信息的跨图展示的效果进行调整。

在一些实施方式中，步骤S12中建立所述深度信息与所述标注信息的关联关系，包括：

建立所述深度信息的目标球面瓦片的坐标与对应所述深度信息的标注信息之间的关联关系。

其中，目标球面瓦片的坐标可以是目标球面瓦片中心点坐标，该中心点坐标可以用经纬度值表示，如(110，60)代表经度是110度，纬度是60度的一个瓦片。一个具有深度信息的目标区域投影到球面上可能会覆盖若干个瓦片，这些瓦片具备同样的深度，将所有具有深度信息的区域投影完毕之后得到具有深度信息瓦片的全集。

通过上述实施方式，能够在球模型下将标注和具有深度信息的区域关联起来，有助于在全景球模型下展现标注信息。

基于图2所示的技术方案，在一些实施例中，如图3所示，步骤S13可以包括：

步骤S13a：基于关联关系中具有深度信息的目标球面瓦片的坐标，确定目标区域在第二图像的球模型上的展示瓦片坐标；

步骤S13b：基于关联关系中具有深度信息的目标球面瓦片的坐标所对应的标注信息，确定目标区域的标注信息；

步骤S13c：在第二图像的球模型的展示瓦片坐标上展示标注信息。

通过上述实施方式，能够根据具有深度信息的目标球面瓦片的坐标与对应该深度信息的标注信息之间的关联关系，实现在全景球模型下跨图展现标注信息。

图4示出了标注信息展现的架构图，如图4所示，该架构包括三大部分，第一部分负责针对2D全景截图进行全景深度信息挖掘；第二部分负责将深度信息映射球模型；第三部分负责标注信息的坐标计算和绘制。

针对第一部分，2D全景截图是指全景图在球模型渲染后投影到某个2D平面的图像，只要设定角度，一个球模型可以产出任意角度的2D平面投影。全景深度信息至少包含两个信息，一个是距离信息，一个是范围信息。距离信息指全景图中的一个位置的真实坐标和全景图本身的坐标之间的距离，譬如全景图中有个店铺，深度信息包括店铺的大地坐标和全景图的大地坐标之间的距离信息，以及店铺在全景图中占据的区域轮廓信息。

需要进行深度信息挖掘的全景图一般是一张长宽比为2:1的图像，将全景原图在球模型下加载投影到指定角度的2D平面，然后针对2D平面投影图像，通过目标检测算法或者人工标注的方式框出具有深度信息的区域，如图5中的矩形框都属于具有深度信息的区域，同时基于框选范围确定距离信息。

针对第二部分，全景球模型投影到2D平面的示例如图6所示，如图6所示，球面上任意一个点都可以投影到一个2D平面的深度区域，在2D平面中的矩形区域可以通过投影算法映射到球面一个区域。在全景图采用球模型渲染的场景下，第一部分中挖掘出的具有深度信息的区域需要转换为球模型下的区域。示例性地，基于业务要求的粒度划分球面瓦片，比较经典的划分方式类似地图经纬度切分法，每个球面瓦片中心点坐标为经纬度值，如(120，40)代表经度是120度，维度是40度的一个瓦片。一个具有深度信息的区域投影到球面上会覆盖若干个瓦片，这些瓦片具备同样的深度，将所有具有深度信息的区域投影完毕之后得到具有深度信息瓦片的全集。当在球模型下添加标注时，假设标注的坐标为P1，将P1通过投影矩阵从球模型转换为2D平面图中的坐标P2，计算P2和2D平面图中深度区域的点面关系确定P2点的深度，也即P1的深度。

针对第三部分，标注的产生至少有两种方式，一种是深度信息挖掘时直接和对应深度信息区域关联，这种比较常见的标注类型就是POI、建筑物名称、道路标牌等；另外一种是在球模型场景下添加的，比如用户在查看全景地图的时候添加留言信息。

对于第一种标注类型，标注是从2D全景图获得，标注记为M1，假设通过全景图A挖掘出了深度信息D1，在深度区域映射到球模型时，基于2:1图和球面图的映射关系，可以直接获得标注在球模型上的投影坐标。因此可以直接在球模型对应坐标上/瓦片上进行绘制展示。

对于第二种标注类型，标注是在球模型中添加的，标注记为M2，根据预先映射在球模型上的深度区域和标注进行关联，赋予标注深度信息。

当将全景图A切换到全景图B时，基于图A和图B的采集坐标、采集朝向等信息，结合全景图A具备深度信息的标注可以预测出标注在全景图B 2:1全景图中的深度区域，进而推算出其在全景图B的球模型上对应的坐标，从而实现了标注跨全景球展示。

应理解，图4所示的架构图为一种可选的具体实现方式，本领域技术人员可以基于图4的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。

本申请提供的标注信息展示方法，可以用于地图或地图全景等项目中。示例性地，方法的执行主体可以是电子设备，该电子设备可以是各种地图处理设备，如地图街景服务器。

作为对上述各方法的实现，本申请还提供一种标注信息展示装置。图7示出了标注信息展示装置的示意图。如图7所示，该装置包括：

获取模块710，用于获取第一视角下的第一图像中目标区域的深度信息和标注信息；

建立模块720，用于建立深度信息与标注信息的关联关系；

展示模块730，用于在获取到第二视角下的第二图像的情况下，基于深度信息确定目标区域在第二图像中的展示区域，并基于关联关系在第二图像的展示区域展示目标区域的标注信息。

其中，深度信息，包括：

目标区域的大地坐标与第一图像的采集坐标之间的距离信息；

目标区域在第一图像中占据的区域轮廓信息。

在一些实施方式中，如图8所示，该装置还可以包括：

确定模块740，用于确定第一图像中的目标区域；

其中，确定模块确定第一图像中的目标区域的方式，包括下述至少之一：

基于光学字符识别算法确定目标区域；

基于预设图像特征确定目标区域；

基于用户的留言信息确定目标区域。

在一些实施方式中，该展示模块730，用于：

基于第一图像的采集坐标信息和采集朝向信息，以及第二图像的采集坐标信息和采集朝向信息，结合目标区域的深度信息，确定目标区域在第二图像的球模型上的展示区域。

在一些实施方式中，如图8所示，该装置还可以包括：

划分模块750，用于基于预设粒度为球模型划分球面瓦片，得到包括多个球面瓦片的球模型；

映射模块760，用于将第一图像上所有具有深度信息的目标区域映射到包括多个球面瓦片的球模型上，从多个球面瓦片中确定出具有深度信息的目标球面瓦片；

建立模块，用于：

建立具有深度信息的目标球面瓦片的坐标与对应深度信息的标注信息之间的关联关系。

在一些实施方式中，该展示模块730，用于：

基于关联关系中具有深度信息的目标球面瓦片的坐标，确定目标区域在第二图像的球模型上的展示瓦片坐标；

基于关联关系中具有深度信息的目标球面瓦片的坐标所对应的标注信息，确定目标区域在第二图像的球模型上待展示的标注信息；

在第二图像的球模型的展示瓦片坐标上，绘制并展示标注信息。

本实施例所述的标注信息展示装置，由于第一图像上的目标区域在第二图像上出现时，能根据关联关系在第二图像上显示第一图像处对该目标区域的标注信息，可以有效解决全景图浏览时标注信息较少的问题。相对于采用三维重建技术的标注方式而言，可以低成本解决全景图中具有深度信息的关键位置的标注信息的跨图展现的问题。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图9所示，是根据本申请实施例的标注信息展示方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的标注信息展示方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的标注信息展示方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的标注信息展示方法对应的程序指令/模块(例如，附图7所示的获取模块710、建立模块720、展示模块730、确定模块740、划分模块750和映射模块760)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的标注信息展示方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据标注信息展示方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至标注信息展示方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

标注信息展示方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与标注信息展示方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

根据本申请的实施例，本申请还提供了一种电子设备。该设备可以包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法实施例中的搜索词分推荐方法。

其中，电子设备的处理器和存储装置的功能以及实现方式，可以参考上述电子设备实施例中的关于处理器和存储器的描述。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语"机器可读介质"和"计算机可读介质"指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Devices，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语"机器可读信号"指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(Virtual private server，VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的技术方案，获取第一视角下的第一图像中目标区域的深度信息和标注信息；建立该深度信息与该标注信息的关联关系；在获取到第二视角下的第二图像时，基于该深度信息确定该目标区域在第二图像中的展示区域，并基于该关联关系在该展示区域展示该目标区域的标注信息，解决了因只在第一图像上而未在第二图像上标注目标区域的标注信息而导致在第二图像上无法显示该目标区域的标注信息的问题，能够实现具有深度信息的目标区域的标注信息的跨图之间的展示，进而提升用户地图使用体验。由于第一图像上的目标区域在第二图像上出现时，能根据关联关系在第二图像上显示第一图像处对该目标区域的标注信息，可以有效解决全景图浏览时标注信息较少的问题。相对于采用三维重建技术的标注方式而言，可以低成本解决全景图中具有深度信息的关键位置的标注信息的跨图展现问题。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种标注信息展示方法，包括：

获取第一视角下的第一图像中目标区域的深度信息和标注信息；

建立所述深度信息与所述标注信息的关联关系；

在获取到第二视角下的第二图像的情况下，基于所述深度信息确定所述目标区域在所述第二图像中的展示区域，并基于所述关联关系在所述第二图像中的所述展示区域展示所述目标区域的标注信息；

所述方法还包括：

基于预设粒度为球模型划分球面瓦片，得到包括多个球面瓦片的球模型；

将所述第一图像上所有具有深度信息的目标区域映射到包括多个球面瓦片的所述球模型上，从所述多个球面瓦片中确定出具有深度信息的目标球面瓦片；

所述建立所述深度信息与所述标注信息的关联关系，包括：

建立具有深度信息的目标球面瓦片的坐标与对应所述深度信息的标注信息之间的关联关系。

2.根据权利要求1所述的方法，其中，确定第一图像中的目标区域的方式，包括下述至少之一：

基于光学字符识别算法确定所述目标区域；

基于预设图像特征确定所述目标区域；

基于用户的留言信息确定所述目标区域。

3.根据权利要求1所述的方法，其中，所述基于所述深度信息确定所述目标区域在所述第二图像中的展示区域，包括：

基于所述第一图像的采集坐标信息和采集朝向信息，以及所述第二图像的采集坐标信息和采集朝向信息，结合所述目标区域的所述深度信息，确定所述目标区域在所述第二图像生成的球模型上的展示区域。

4.根据权利要求1所述的方法，其中，所述基于所述深度信息确定所述目标区域在所述第二图像中的展示区域，并基于所述关联关系在所述第二图像中的所述展示区域展示所述目标区域的标注信息，包括：

根据所述关联关系中具有所述深度信息的目标球面瓦片的坐标，确定所述目标区域在所述第二图像的球模型上的展示瓦片坐标；

根据所述关联关系中具有所述深度信息的目标球面瓦片的坐标所对应的标注信息，确定所述目标区域的标注信息；

在所述第二图像的球模型的所述展示瓦片坐标上展示所述标注信息。

5.一种标注信息展示装置，包括：

获取模块，用于获取第一视角下的第一图像中目标区域的深度信息和标注信息；

建立模块，用于建立所述深度信息与所述标注信息的关联关系；

展示模块，用于在获取到第二视角下的第二图像的情况下，基于所述深度信息确定所述目标区域在所述第二图像中的展示区域，并基于所述关联关系在所述第二图像中的所述展示区域展示所述目标区域的标注信息；

所述装置还包括：

划分模块，用于基于预设粒度为球模型划分球面瓦片，得到包括多个球面瓦片的球模型；

映射模块，用于将所述第一图像上所有具有深度信息的目标区域映射到包括多个球面瓦片的所述球模型上，从所述多个球面瓦片中确定出具有深度信息的目标球面瓦片；

所述建立模块，用于：

建立具有深度信息的目标球面瓦片的坐标与对应所述深度信息的标注信息之间的关联关系。

6.根据权利要求5所述的装置，还包括：

确定模块，用于确定所述第一图像中的目标区域；

其中，所述确定模块确定所述第一图像中的目标区域的方式，包括下述至少之一：

基于光学字符识别算法确定所述目标区域；

基于预设图像特征确定所述目标区域；

基于用户的留言信息确定所述目标区域。

7.根据权利要求5所述的装置，其中，所述展示模块，用于：

基于所述第一图像的采集坐标信息和采集朝向信息，以及所述第二图像的采集坐标信息和采集朝向信息，结合所述目标区域的所述深度信息，确定所述目标区域在所述第二图像生成的球模型上的展示区域。

8.根据权利要求5所述的装置，其中，所述展示模块，用于：

根据所述关联关系中具有所述深度信息的目标球面瓦片的坐标，确定所述目标区域在所述第二图像的球模型上的展示瓦片坐标；

根据所述关联关系中具有所述深度信息的目标球面瓦片的坐标所对应的标注信息，确定所述目标区域在所述第二图像的球模型上待展示的标注信息；

在所述第二图像的球模型的所述展示瓦片坐标上，绘制并展示所述标注信息。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-4中任一项所述的方法。

Images