CN111833253A - 兴趣点空间拓扑构建方法和装置、计算机系统和介质 - Google Patents

Abstract

本公开的实施例公开了一种兴趣点空间拓扑构建方法和装置、计算机系统和介质，涉及计算机技术和云计算领域。该兴趣点空间拓扑构建方法包括：获取多个街景图像上分别对应不同招牌的多个招牌图像；获取多个街景图像的拼接图像；基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息；以及基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

Description

兴趣点空间拓扑构建方法和装置、计算机系统和介质

技术领域

本公开涉及计算机技术和云计算领域，更具体地涉及一种兴趣点空间拓扑构建方法和装置、计算机系统和介质。

背景技术

电子地图，即数字地图，是利用计算机技术以数字方式存储和查阅的地图。兴趣点(Point of Interest，POI)是电子地图中用于标识诸如，房子、店铺、邮筒、公交站等的任意地理设施的点。POI的丰富性、时效性、和准确性会直接影响用户使用地图导航类应用软件的体验。

通常，POI数据生产过程包括：利用图像捕捉装置拍摄道路两侧包括例如，店铺、邮局、银行之类的各种地理设施的招牌在内的现实场景的多个街景图像；从多个街景图像上的招牌图像识别文本信息，作为电子地图上标识这些地理设施的POI的相关信息。例如，对于包括“XX银行”的招牌图像的街景图像，从该街景图像上的招牌图像识别文本信息“XX银行”，作为电子地图上标识“XX银行”的POI的名称文本。这里，“XX银行”的招牌、“XX银行”的招牌图像、以及标识“XX银行”的POI之间存在相互对应关系。

发明内容

根据本公开的第一方面，本公开的实施例提供了一种兴趣点空间拓扑构建方法，包括：获取多个街景图像上分别对应不同招牌的多个招牌图像；获取多个街景图像的拼接图像；基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息；以及基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

根据本公开的第二方面，本公开的实施例提供了一种兴趣点空间拓扑构建装置，包括：图像检测单元，被配置为获取多个街景图像上分别对应不同招牌的多个招牌图像；图像拼接单元，被配置为获取多个街景图像的拼接图像；位置确定单元，被配置为基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息；以及拓扑构建单元，被配置为基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

根据本公开的第三方面，本公开的实施例提供了一种计算机系统，包括：一个或多个处理器；以及存储装置，其上存储有计算机程序，所述程序当被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的兴趣点空间拓扑构建方法。

根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上所述的兴趣点空间拓扑构建方法。

在根据本公开的一个或多个实施例中，由于多个街景图像的拼接图像可以至少部分地反映出这些街景图像上的各个招牌在现实场景中的相对位置关系，所以可以结合这些招牌在现实场景中的相对位置关系更为准确地确定这些招牌的地理位置信息。进一步地，基于这些招牌的地理位置信息，可以更为准确地构建电子地图上与这些招牌存在对应关系的兴趣点之间的空间拓扑，从而使得电子地图上与这些招牌存在对应关系的兴趣点之间的相邻位置关系更为准确。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于说明实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是示出根据本公开的实施例的兴趣点空间拓扑构建方法的流程图。

图2是示出图1所示流程图中的步骤的具体处理的流程图。

图3是示出根据本公开的实施例的兴趣点空间拓扑构建装置的框图。

图4是示出能够应用于示例实施例的示例性计算机系统的结构框图。

具体实施方式

下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。本公开中所使用的步骤和/或功能模块的编号仅用于对各个步骤和/或功能模块进行标识，而不用于限制各个步骤的执行顺序和/或各个功能模块相互之间的连接关系。

目前，POI数据生产技术基本都是基于单个街景图像来生产POI数据。在大多数情况下，单个街景图像缺少相邻招牌之间的相对位置信息，造成电子地图上的POI之间的相邻位置关系缺失或不准确。另外，由于图像捕捉装置的全球定位系统(Global PositioningSystem，GPS)和/或陀螺仪定位信息的精度有限，也无法基于图像捕捉装置拍摄街景图像时的定位信息来确定电子地图上的POI之间的相邻位置关系。

鉴于上述问题，本公开的实施例提供了一种兴趣点空间拓扑构建方法和装置。下面将参考附图并结合实施例来详细说明本公开。

图1是示出根据本公开的实施例的兴趣点空间拓扑构建方法100的流程图。如图1所示，兴趣点空间拓扑构建方法100包括：步骤S102，获取多个街景图像上分别对应不同招牌的多个招牌图像；步骤S104，获取多个街景图像的拼接图像；步骤S106，基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息；以及步骤S108，基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

在根据本公开的实施例的兴趣点空间拓扑构建方法中，由于多个街景图像的拼接图像可以至少部分地反映出这些街景图像上的各个招牌在现实场景中的相对位置关系，所以可以结合这些招牌在现实场景中的相对位置关系更为准确地确定这些招牌的地理位置信息。进一步地，基于这些招牌的地理位置信息，可以更为准确地构建电子地图上与这些招牌存在对应关系的兴趣点之间的空间拓扑，从而使得电子地图上与这些招牌存在对应关系的兴趣点之间的相邻位置关系更为准确。

在一些实施例中，用于拍摄街景图像的图像捕捉装置可以是专门的摄像机，也可以是诸如，智能手机、平板电脑、具有摄像机功能的眼镜、具有摄像机功能的头盔等的具有摄像机功能的移动设备。多个街景图像可以是由图像捕捉装置随机拍摄的多个街景图像，也可以是由图像捕捉装置按照特定时间间隔连续拍摄的多个街景图像(例如，连续的多个视频帧)。

在一些实施例中，步骤S102可以包括：在多个街景图像中的每个街景图像上检测招牌图像；通过图像匹配，确定检测出的招牌图像中分别对应不同招牌的多个招牌图像。在多个街景图像为连续的多个视频帧的情况下，可以首先在各个视频帧上检测招牌图像，然后对从不同视频帧上检测出的招牌图像进行图像匹配，从而找出分别对应不同招牌的招牌图像。这里，通过在每个街景图像上检测招牌图像并对检测出的招牌图像进行图像匹配，可以较为精确地找出多个街景图像上分别对应不同招牌的多个招牌图像。

替代地，在一些实施例中，步骤S102可以包括：对于多个街景图像中的每个街景图像，检测在该街景图像上首次出现的招牌图像并在该街景图像的后续街景图像上跟踪对应该招牌图像所对应的招牌的其他招牌图像，其中，后续街景图像在该街景图像之后被拍摄。这里，可以利用帧间差分法、背景差分法、均值漂移法、以及基于深度学习的行人重识别法中的一者或多者在某个街景图像的后续街景图像上跟踪对应在该街景图像上首次出现的招牌图像所对应的招牌的其他招牌图像。在多个街景图像为连续的多个视频帧(例如，视频帧1至视频帧24)的情况下，对于视频帧1至视频帧24中的任意一个视频帧(例如，视频帧n(1≤n<24))，可以首先检测在视频帧n中首次出现的招牌图像(例如，招牌图像n，其对应招牌n并且在视频帧n之前的视频帧1至视频帧(n-1)中没有出现过)，然后在视频帧n之后的视频帧(n+1)至视频帧24中跟踪对应招牌n的其他招牌图像。这里，由于仅需要在每个街景图像上检测在该街景图像上首次出现的招牌图像并跟踪对应之前在其他街景图像上检测出的招牌图像所对应的招牌的另一招牌图像，而无需在每个街景图像上检测该街景图像上出现的所有招牌图像，所以可以较为快速地找出多个街景图像上分别对应不同招牌的多个招牌图像。

在一些实施例中，步骤S104可以通过对多个街景图像中的相邻街景图像两两拼接，来获取多个街景图像的拼接图像。具体地，对于多个街景图像中的任意两个相邻街景图像，可以首先对该两个相邻街景图像进行运动估计，然后根据运动估计结果对该两个相邻街景图像进行拼接。通常，可以利用透视变换技术对两个相邻街景图像进行拼接。这里，为了使拼接图像更为平滑，使用透视变换技术和数据融合技术二者对两个相邻街景图像进行拼接。

在一些实施例中，步骤S104可以包括：对于多个街景图像中的任意两个相邻街景图像，提取该两个相邻街景图像中对应相同招牌的相同区域的局部特征点；通过局部特征点匹配，找出这些局部特征点中的多个局部特征点对，其中，多个局部特征点对中的每个局部特征点对包括分别来自两个相邻街景图像的对应相同招牌的相同区域中的相同位置的两个局部特征点；利用多个局部特征点对，对两个相邻街景图像进行运动估计；以及基于运动估计结果，对两个相邻街景图像进行拼接。这里，通过以招牌为基准对相邻街景图像进行运动估计并基于运动估计结果对两个相邻街景图像进行拼接，可以得到能够更为准确地反映出各个招牌在现实场景中的相对位置关系的拼接图像。

替代地，在一些实施例中，在图像捕捉装置快速行进的同时拍摄街景图像的情况下，由于图像捕捉装置的运动速度过快导致所拍摄的街景图像模糊，使得无法通过上面的局部匹配法对两个相邻街景图像进行运动估计。此时，步骤S104可以包括：对于多个街景图像中的任意两个相邻街景图像，利用深度学习算法对两个相邻街景图像进行运动估计；以及基于运动估计结果，对两个相邻街景图像进行拼接。这里，利用深度学习算法对相邻街景图像进行运动估计的处理不受图像清晰度的影响，可以兼容多种应用场景。

图2是示出图1所示的步骤S106的具体处理的流程图。如图2所示，在一些实施例中，步骤S106可以包括：S1062，根据多个街景图像中的各个街景图像被拍摄时的时间信息，确定各个街景图像被拍摄时的拍摄位置信息，其中，拍摄位置信息与图像捕捉装置拍摄各个街景图像时的定位信息相关；S1064，确定各个街景图像被拍摄时的拍摄位置信息所对应的拼接图像上的像素位置；S1066，基于多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，结合各个街景图像被拍摄时的拍摄位置信息所对应的拼接图像上的像素位置，确定多个招牌图像所对应的各个招牌在拼接图像上的像素位置；以及S1068，对于多个招牌图像中的每个招牌图像，基于该招牌图像所对应的招牌在拼接图像上的像素位置周围的一个或多个像素位置所对应的拍摄位置信息确定该招牌图像所对应的招牌的地理位置信息。这里，由于在确定各个招牌图像所对应的招牌的地理位置信息时考虑了这些招牌图像所对应的各个招牌在拼接图像上的相对位置关系，所以确定出的各个招牌图像所对应的招牌的地理位置信息更为准确。

需要说明的是，在步骤S106中，可以通过对招牌图像所对应的招牌在拼接图像上的像素位置周围的一个或多个像素位置所对应的拍摄位置信息进行拟合或插值来确定招牌图像所对应的招牌的地理位置信息。另外，可以将图像捕捉装置拍摄各个街景图像时的定位信息作为这些街景图像被拍摄时的拍摄位置信息，并且可以基于视觉同步定位与地图构建(Visual Simultaneous Localization And Mapping，VSLAM)技术，确定图像捕捉装置拍摄多个街景图像中的各个街景图像时的定位信息所对应的拼接图像上的像素位置以及招牌图像所对应的招牌在拼接图像上的像素位置周围的一个或多个像素位置所对应的定位信息。

如图1所示，在一些实施例中，兴趣点空间拓扑构建方法100还可以包括：步骤S110，对于多个招牌图像中的每个招牌图像，找出电子地图上的已知兴趣点中与该招牌图像存在对应关系的兴趣点。将明白的是，步骤S110可以在步骤S102被执行之后的任意时间执行，即可以在步骤S104之前、步骤S104和S106之间、或者步骤S106和S108之间执行，也可以与步骤S104、步骤S106、或步骤S108同时执行。

在一些实施例中，可以利用文字匹配、图像匹配、以及跨模态检索技术中的一者或多者来找出电子地图上的已知兴趣点中与某个招牌图像存在对应关系的兴趣点。

在一些实施例中，对于任意一个招牌图像，在该招牌图像上包括能够用于识别例如，商铺、社会组织、政府部门的文字的情况下，步骤S110可以包括：通过光学字符识别(Optical Character Recognition，OCR)，识别该招牌图像上的文字；对该招牌图像上的文字和电子地图上的已知兴趣点的名称文本进行文本匹配，以找出电子地图上的已知兴趣点中与该招牌图像存在对应关系的兴趣点。通过文本匹配可以较为快速地找出电子地图上的已知兴趣点中与招牌图像存在对应关系的兴趣点。

替代地，在一些实施例中，对于任意一个招牌图像，在该招牌图像上不包括用于识别例如，商铺、社会组织、政府部门的文字或者该招牌图像上的文字不完整、不清楚、或者不规则导致无法通过文本匹配识别出该文字所包含的内容的情况下，步骤S110可以包括：对该招牌图像和电子地图上的已知兴趣点的历史图像进行图像匹配，以找出电子地图上的已知兴趣点中与该招牌图像存在对应关系的兴趣点。相比上面描述的基于文本匹配的处理，基于图像匹配的处理得出的结果准确度更高。

替代地，在一些实施例中，对于任意一个招牌图像，在该招牌图像上不包括用于识别例如，商铺、社会组织、政府部门的文字或者该招牌图像上的文字不完整、不清楚、或者不规则导致无法通过文本匹配识别出该文字所包含的内容的情况下，步骤S110可以包括：利用跨模态检索技术，将该招牌图像与电子地图上的已知兴趣点的名称文本统一到同一个度量空间；找出电子地图上的已知兴趣点中名称文本与该招牌图像之间的距离小于预定阈值的兴趣点，作为电子地图上的已知兴趣点中与该招牌图像存在对应关系的兴趣点。这里，无需进行文字匹配且无需利用电子地图上的已知兴趣点的历史图像即可找出电子地图上与招牌图像存在对应关系的兴趣点，因此可以兼容多种应用场景。

在一些实施例中，如果通过步骤S110在电子地图上的已知兴趣点中没有找到与某个招牌图像存在对应关系的兴趣点，则将与该招牌图像存在对应关系的兴趣点添加到电子地图上。

在根据本公开的一个或多个实施例的兴趣点空间拓扑构建方法中，由于多个街景图像的拼接图像可以至少部分地反映出这些街景图像上的各个招牌在现实场景中的相对位置关系，所以结合这些招牌在现实场景中的相对位置关系可以更为准确地确定这些招牌的地理位置信息。另外，可以基于这些招牌的地理位置信息，更为准确地构建电子地图上与这些招牌存在对应关系的兴趣点之间的空间拓扑，从而使得电子地图上与这些招牌存在对应关系的兴趣点之间的相邻位置关系更为准确。

图3是示出根据本公开的实施例的兴趣点空间拓扑构建装置200的框图。如图3所示，兴趣点空间拓扑构建装置200可以包括图像检测单元202、图像拼接单元204、位置确定单元206、以及拓扑构建单元208。图像检测单元202被配置为获取多个街景图像上分别对应不同招牌的多个招牌图像。图像拼接单元204被配置为获取多个街景图像的拼接图像。位置确定单元206被配置为基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息。拓扑构建单元208被配置为基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

在本实施例的一些可选的实施方式中，多个街景图像是连续的多个视频帧。

在本实施例的一些可选的实施方式中，位置确定单元206还可以被配置为：根据多个街景图像中的各个街景图像被拍摄时的时间信息，确定各个街景图像被拍摄时的拍摄位置信息，其中，拍摄位置信息与图像捕捉装置拍摄各个街景图像时的定位信息相关；确定各个街景图像被拍摄时的拍摄位置信息所对应的拼接图像上的像素位置；基于多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，结合各个街景图像被拍摄时的拍摄位置信息所对应的拼接图像上的像素位置，确定多个招牌图像所对应的各个招牌在拼接图像上的像素位置；以及对于多个招牌图像中的每个招牌图像，基于该招牌图像所对应的招牌在拼接图像上的像素位置周围的一个或多个像素位置所对应的拍摄位置信息确定该招牌图像所对应的招牌的地理位置信息。

在本实施例的一些可选的实施方式中，兴趣点空间拓扑构建装置200还可以包括：兴趣点匹配单元210，被配置为对于多个招牌图像中的每个招牌图像，找出电子地图上的已知兴趣点中与该招牌图像存在对应关系的兴趣点。

在本实施例中，兴趣点空间拓扑构建装置200的其他细节以及兴趣点空间拓扑构建装置200的相应处理所带来的技术效果可参考图1对应实施例中的相关说明，在此不再赘述。

将理解的是，在一些实施例中，兴趣点空间拓扑构建方法100和兴趣点空间拓扑构建装置200可以部署在服务器(例如，云平台)处执行。替代地，在一些实施例中，终端设备可以具备充分的计算资源，以使得兴趣点空间拓扑构建方法100的一个或多个步骤和兴趣点空间拓扑构建装置200的一个或多个功能模块可以部署在终端设备处执行。在其他实施例中，兴趣点空间拓扑构建方法100和兴趣点空间拓扑构建装置200也可以由服务器和终端设备相组合地执行。

图4是示出能够应用于示例实施例的示例性计算机系统300的结构框图。下面结合图4，描述适于用来实现本公开的实施例的计算机系统300。应该明白的是，图4示出的计算机系统300仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统300可以包括处理装置(例如，中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有计算机系统300操作所需的各种程序和数据。处理装置301、ROM 302、以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、摄像头、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD，Liquid Crystal Display)、扬声器、振动器等的输出装置307；包括例如闪存(Flash Card)等的存储装置308；以及通信装置309。通信装置309可以允许计算机系统300与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的计算机系统300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例提供一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1所示的方法100的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，实现本公开的实施例的系统中限定的上述功能。

需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency，射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述计算机系统300中所包含的；也可以是单独存在，而未装配入该计算机系统300中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机系统执行时，使得该计算机系统：获取多个街景图像上分别对应不同招牌的多个招牌图像；获取多个街景图像的拼接图像；基于多个街景图像被拍摄时的拍摄位置信息和时间信息、以及多个招牌图像所对应的各个招牌在拼接图像上的相对位置关系，确定多个招牌图像所对应的各个招牌的地理位置信息；以及基于多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能、和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括图像检测单元、图像拼接单元、位置确定单元、拓扑构建单元、以及兴趣点匹配单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种兴趣点空间拓扑构建方法，包括：

获取多个街景图像上分别对应不同招牌的多个招牌图像；

获取所述多个街景图像的拼接图像；

基于所述多个街景图像被拍摄时的拍摄位置信息和时间信息、以及所述多个招牌图像所对应的各个招牌在所述拼接图像上的相对位置关系，确定所述多个招牌图像所对应的各个招牌的地理位置信息；以及

基于所述多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与所述多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

2.如权利要求1所述的兴趣点空间拓扑构建方法，其中，所述多个街景图像是连续的多个视频帧。

3.如权利要求2所述的兴趣点空间拓扑构建方法，其中，获取所述多个街景图像的所述拼接图像包括：

对于所述多个街景图像中的任意两个相邻街景图像，提取所述两个相邻街景图像中对应相同招牌的相同区域的局部特征点；

通过局部特征点匹配，找出所述局部特征点中的多个局部特征点对，其中，所述多个局部特征点对中的每个局部特征点对包括分别来自所述两个相邻街景图像的对应相同招牌的相同区域中的相同位置的两个局部特征点；

利用所述多个局部特征点对，对所述两个相邻街景图像进行运动估计；以及

基于运动估计结果，对所述两个相邻街景图像进行拼接。

4.如权利要求2所述的兴趣点空间拓扑构建方法，其中，获取所述多个街景图像的所述拼接图像包括：

对于所述多个街景图像中的任意两个相邻街景图像，利用深度学习算法对所述两个相邻街景图像进行运动估计；以及

基于运动估计结果，对所述两个相邻街景图像进行拼接。

5.如权利要求3或4所述的兴趣点空间拓扑构建方法，其中，利用透视变换技术和数据融合技术二者对所述两个相邻街景图像进行拼接。

6.如权利要求2所述的兴趣点空间拓扑构建方法，其中，基于所述多个街景图像被拍摄时的拍摄位置信息和时间信息、以及所述多个招牌图像所对应的各个招牌在所述拼接图像上的相对位置关系，确定所述多个招牌图像所对应的各个招牌的地理位置信息包括：

根据所述多个街景图像中的各个街景图像被拍摄时的时间信息，确定所述各个街景图像被拍摄时的拍摄位置信息，其中，所述拍摄位置信息与图像捕捉装置拍摄所述各个街景图像时的定位信息相关；

确定所述各个街景图像被拍摄时的拍摄位置信息所对应的所述拼接图像上的像素位置；

基于所述多个招牌图像所对应的各个招牌在所述拼接图像上的相对位置关系，结合所述各个街景图像被拍摄时的拍摄位置信息所对应的所述拼接图像上的像素位置，确定所述多个招牌图像所对应的各个招牌在所述拼接图像上的像素位置；以及

对于所述多个招牌图像中的每个招牌图像，基于所述招牌图像所对应的招牌在所述拼接图像上的像素位置周围的一个或多个像素位置所对应的拍摄位置信息确定所述招牌图像所对应的招牌的地理位置信息。

7.如权利要求1或2所述的兴趣点空间拓扑构建方法，其中，获取所述多个街景图像上分别对应不同招牌的所述多个招牌图像包括：

在所述多个街景图像中的每个街景图像上检测招牌图像；

通过图像匹配，确定检测出的招牌图像中分别对应不同招牌的所述多个招牌图像。

8.如权利要求1或2所述的兴趣点空间拓扑构建方法，其中，获取所述多个街景图像上分别对应不同招牌的所述多个招牌图像包括：

对于所述多个街景图像中的每个街景图像，检测在所述街景图像上首次出现的招牌图像并在所述街景图像的后续街景图像上跟踪对应所述招牌图像所对应的招牌的其他招牌图像，其中，所述后续街景图像在所述街景图像之后被拍摄。

9.如权利要求8所述的兴趣点空间拓扑构建方法，其中，利用帧间差分法、背景差分法、均值漂移法、以及基于深度学习的行人重识别法中的一者或多者在所述后续街景图像上跟踪对应所述招牌图像所对应的招牌的其他招牌图像。

10.如权利要求1或2所述的兴趣点空间拓扑构建方法，还包括：

对于所述多个招牌图像中的每个招牌图像，找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点。

11.如权利要求10所述的兴趣点空间拓扑构建方法，还包括：

如果在所述电子地图上的已知兴趣点中没有找到与所述招牌图像存在对应关系的兴趣点，则将与所述招牌图像存在对应关系的兴趣点添加到所述电子地图上。

12.如权利要求10所述的兴趣点空间拓扑构建方法，其中，找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点包括：

通过光学字符识别，识别所述招牌图像上的文字；

对所述招牌图像上的文字和所述电子地图上的已知兴趣点的名称文本进行文本匹配，以找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点。

13.如权利要求10所述的兴趣点空间拓扑构建方法，其中，找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点包括：

对所述招牌图像和所述电子地图上的已知兴趣点的历史图像进行图像匹配，以找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点。

14.如权利要求10所述的兴趣点空间拓扑构建方法，其中，找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点包括：

利用跨模态检索技术，将所述招牌图像与所述电子地图上的已知兴趣点的名称文本统一到同一个度量空间；

找出所述电子地图上的已知兴趣点中名称文本与所述招牌图像之间的距离小于预定阈值的兴趣点，作为所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点。

15.一种兴趣点空间拓扑构建装置，包括：

图像检测单元，被配置为获取多个街景图像上分别对应不同招牌的多个招牌图像；

图像拼接单元，被配置为获取所述多个街景图像的拼接图像；

位置确定单元，被配置为基于所述多个街景图像被拍摄时的拍摄位置信息和时间信息、以及所述多个招牌图像所对应的各个招牌在所述拼接图像上的相对位置关系，确定所述多个招牌图像所对应的各个招牌的地理位置信息；以及

拓扑构建单元，被配置为基于所述多个招牌图像所对应的各个招牌的地理位置信息，构建电子地图上与所述多个招牌图像存在对应关系的各个兴趣点之间的空间拓扑。

16.如权利要求15所述的兴趣点空间拓扑构建装置，其中，所述多个街景图像是连续的多个视频帧。

17.如权利要求16所述的兴趣点空间拓扑构建装置，其中，所述位置确定单元还被配置为：

根据所述多个街景图像中的各个街景图像被拍摄时的时间信息，确定所述各个街景图像被拍摄时的拍摄位置信息，其中，所述拍摄位置信息与图像捕捉装置拍摄所述各个街景图像时的定位信息相关；

确定所述各个街景图像被拍摄时的拍摄位置信息所对应的所述拼接图像上的像素位置；

基于所述多个招牌图像所对应的各个招牌在所述拼接图像上的相对位置关系，结合所述各个街景图像被拍摄时的拍摄位置信息所对应的所述拼接图像上的像素位置，确定所述多个招牌图像所对应的各个招牌在所述拼接图像上的像素位置；以及

对于所述多个招牌图像中的每个招牌图像，基于所述招牌图像所对应的招牌在所述拼接图像上的像素位置周围的一个或多个像素位置所对应的拍摄位置信息确定所述招牌图像所对应的招牌的地理位置信息。

18.如权利要求16所述的兴趣点空间拓扑构建装置，还包括：

兴趣点匹配单元，被配置为对于所述多个招牌图像中的每个招牌图像，找出所述电子地图上的已知兴趣点中与所述招牌图像存在对应关系的兴趣点。

19.一种计算机系统，包括：

一个或多个处理器；以及

存储装置，其上存储有计算机程序，所述程序当被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-14中任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-14中任一项所述的方法。

Images