CN104977011A - 电子地图中基于街拍影像的定位方法及装置 - Google Patents

Abstract

本发明涉及一种电子地图系统中根据店铺招牌及相互临近的几个招牌的组合进行主动定位方法及装置。采用本发明的技术方案以后，能够通过用户拍照或者人工输入的方式，接收用户附近的店铺名称信息，在数据库中匹配与查找该店铺名称信息所处的位置信息，实现用户的主动定位，为用户带来更好的定位体验。

Description

电子地图中基于街拍影像的定位方法及装置

技术领域

本发明涉及一种电子地图系统中根据店铺招牌及相互临近的几个招牌的组合进行主动定位方法及装置。采用本发明的技术方案以后，能够通过用户拍照或者人工输入的方式，接收用户附近的店铺名称信息，在数据库中匹配与查找该店铺名称信息所处的位置信息，实现用户的主动定位，为用户带来更好的定位体验。 

本发明的电子地图中根据店铺招牌及临近招牌的组合进行主动定位方法的基本原理分为三个阶段： 

预处理阶段：将电子地图数据库中与店铺兴趣点（Point of Interest，POI）关联的店铺招牌图像数据进行预处理，提取其中可用如图像匹配的特征信息。如果数据库中未采集实地的店铺招牌图像数据，则根据店铺注册或公认的商标图像，提取其中可用如图像匹配的特征信息。将提取的特征信息与店铺POI相关联，存储到电子地图数据库中；对电子地图数据库中的POI数据进行排序；

输入阶段：通过拍照或人工输入的方式接收用户附近的店铺招牌信息；如果移动终端有传统定位设备，可通过统定位设备获取移动终端的粗略位置；

查找阶段：判断接收的店铺招牌信息与电子地图数据库内存储的POI信息或POI图像特征信息是否相符，查找过程可通过能够接收到的粗略定位信息缩小查找POI范围。如果找到满足条件的POI，则返回用户附近店铺POI的位置信息；如果没有找到，则要求用户重新输入店铺招牌信息。

背景技术

在移动终端定位应用中，现有的定位方法分为室外定位和室内定位两种。其中室外多通过GPS系统、电信网蜂窝基站，或者wifi信号，结合惯性导航系统对移动终端进行定位，室内多采用蓝牙、wifi、超宽带等技术对移动终端进行定位。但是这些技术的定位精度难以满足在复杂城市环境或者室内环境下的定位需求，尤其是城市建筑物之间或者建筑物内部对GPS、电信网、wifi、蓝牙、超宽带的信号遮挡和反射，是的定位精度进一步降低，甚至定位失败，给用户造成不便。 

兴趣点（Point of Interest，POI）的查找是电子地图中的一项常用技术，主要通过文本匹配的方式在地图中找到用户输入的关键词，并在地图上显示POI的位置。但是这种方式可能会查找到多个POI位置，不能满足定位的需要。门牌号码能够实现POI的唯一定位，但是门牌通常较小，在城市复杂环境下不易发现，在电子地图数据库中也存在大量门牌号码的缺失，无法满足POI查找的需求。 

本发明的目的是提供一种电子地图中根据店铺招牌及临近店铺招牌之间的组合进行主动定位方法及装置，以解决现有的移动终端在GPS、蜂窝基站、wifi等定位信号不准、遮挡或无信号产生的定位精度低、定位错误，以及定位失败的问题。 

发明内容

、本发明技术方案的详细阐述

（1）产品模块介绍

如图1所示，为本发明实施例的基于店铺招牌及组合的定位装置的结构图，包括以下模块。

图1：定位装置的结构图 

初始化模块，用于清空存储模块中的文本序列、图像序列、图像特征和查找结果；

 定位信息获取模块，用于获取当前移动终端的粗略位置信息。获取的方式有，GPS系统、电信网蜂窝基站，wifi信号、蓝牙、wifi、超宽带、惯性导航系统等技术中的一种或多种的组合。

  

POI数据排序模块，用于对电子地图数据库中的POI数据进行排序。排序方式为，对于电子地图中每条道路上的POI，统一按照由左至右递增（或递减）赋予序列值。

  

第一判断模块，用于判断用户输入门面信息的方式。输入方式有两种，一是手动输入门面名称，二是通过拍照获取门面招牌图像信息。如果判断用户需要手动输入关键词，则调用关键词序列输入模块，如果用户需要拍照获取门面招牌信息，则调用照片序列输入模块。

  

关键词序列输入模块，用于提供文本输入框和左右移动、文本插入按钮，接收并显示用户输入的门面名称。用户可以输入需要定位的门面名称，并按照看到的门面顺序继续输入，通过左右移动和文本插入按键，按顺序输入临近门面的名称。将输入的关键词序列中的每个关键词按照由左至右递增（或递减）赋予序列值。

  

文本查找模块，用于查找电子地图数据库中与输入的关键词序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。文本序列查找过程为，依次遍历输入的关键词序列，并查找与输入的关键词序列中当前店铺名称相符的POI。如果找到相符的POI，则依序列值顺序比对输入的关键词序列中的后续店铺名称与找到的相符POI的后续POI，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。

如果根据输入的关键词序列中的每一个关键词都到了一致的POI名称，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的关键词序列相符的POI序列。 

  

招牌图像序列输入模块，用于提供移动终端的拍照功能和左右移动、图像插入按钮，接收用户拍摄到的店铺招牌图像信息。如果招牌定位模块只提取到一个招牌信息，则通过左右移动和图像插入按钮，直接将招牌信息添加到照片序列中；如果提取到多个招牌信息，则按照定位的招牌顺序按照由左至右递增（或递减）赋予序列值，并通过左右移动和图像插入按钮，插入到照片序列中。

  

招牌提取模块，用于从拍摄的照片中提取招牌数据。方法为，通过矩形提取算法，例如霍夫变换和色彩提取，对图像中的招牌区域进行提取。

  

图像特征提取模块，用于提取招牌区域和电子地图数据库中POI图片数据中的图像特征。提取方法可以利用小波变换对图像进行降维和去噪，提取其尺度不变特征转换(Scale-invariant feature transform,SIFT)点特征，同时进行主成分分析（Principal Component Analysis，PCA）降维。

  

图像序列查找模块，用于查找电子地图数据库中与输入的招牌图像序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。

图像序列查找过程为，依次遍历输入的招牌图像序列中的每一个招牌图像，并查找与当前店铺招牌图像特征相符的POI招牌图像特征。特征匹配方法可选用基于兴趣点的匹配算法，采用基于Kd树的最近邻法进行匹配。 

如果找到相符的POI招牌，则依序列值顺序比对输入的图像序列中的后续店铺招牌图像与找到的相符POI的后续POI招牌图像特征，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。 

如果根据输入的图像序列中的每一幅招牌图像都找到了一致的POI招牌图像，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的图像序列相符的POI序列。 

  

存储模块，用于存储关键词序列输入模块、招牌图像序列输入模块、图像特征提取模块、文本查找模块和图像序列查找模块中的文本序列、图像序列、图像特征和查找结果。

  

第二判断模块，用于判断文本序列或者图像序列的查找结果是否唯一。如果查找结果唯一，则调用定位结果显示模块；如果存在多个查找结果，则由提示模块对用户进行提示。

  

信息提示模块，用于在第二判断模块判断出存在多个查询结果后，在地图上显示多个查询结果，并在文本输入框中显示已找到POI序列的后续POI名称作为输入提示。

  

第三判断模块，用于判断用户是否修改文本框中输入的门面名称。如果用户继续在文本框中输入、修改或者删除已输入的门面名称，则调用关键词序列输入模块进行处理；如果用户完成文本输入，则调用定位结果显示模块。

 第四判断模块，用于判断用户是否修改拍摄的门面招牌。如果用户继续拍摄或者修改已经拍摄的门面招牌，则调用招牌定位模块进行处理；如果用户删除已输入的门面招牌图像，则调用图像序列查找模块重新查找；如果用户完成照片拍摄，则调用定位结果显示模块。 

  

定位结果显示模块，用于在电子地图上显示系统查找到的定位结果。显示方式为，在电子地图上用符号突出显示用户输入的第一个门面名称，或者用户拍摄的第一个门面招牌的位置，并将地图的显示中心移动至该位置。

  

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

 （2）各步骤与各模块的关系，如图2所示 

图2：步骤流程图

 步骤1：调用POI数据排序模块对电子地图数据库中已经存储的POI数据进行排序。对于每条道路上的POI，按照由左至右递增（或递减）赋予序列值。

 步骤2：调用初始化模块，清空存储模块中的文本序列、图像序列、图像特征和查找结果； 

 步骤3：通过定位信息获取模块获取当前移动终端的粗略位置信息。获取的方式有，GPS系统、电信网蜂窝基站，wifi信号、蓝牙、wifi、超宽带、惯性导航系统等技术中的一种或多种的组合。

 步骤4：判断用户准备手动输入门面名称，还是通过拍照获取门面招牌信息。如果判断用户需要手动输入门面名称关键词，则执行步骤5，如果用户需要拍照获取门面招牌信息，则执行步骤7。 

 步骤5：通过提供的文本框输入界面和左右移动、文本插入按钮，接收并显示用户输入的门面名称。用户可以输入需要定位的门面名称，并按照看到的门面顺序继续，通过左右移动和文本插入按键，按顺序输入临近门面的名称。将输入的关键词序列中的每个关键词按照由左至右递增（或递减）赋予序列值。 

 步骤6：查找电子地图数据库中与输入的关键词序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。文本序列查找过程为，依次遍历输入的关键词序列，并查找与输入的关键词序列中当前店铺名称相符的POI。如果找到相符的POI，则依序列值顺序比对输入的关键词序列中的后续店铺名称与找到的相符POI的后续POI，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。 

  如果根据输入的关键词序列中的每一个关键词都查找到了一致的POI名称，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的关键词序列相符的POI序列。查找结束后转至步骤11。 

 步骤7：通过移动终端的拍照功能和左右移动、图像插入按钮，接收用户拍摄到的店铺招牌图像信息。如果招牌定位模块只提取到一个招牌信息，则通过左右移动和图像插入按钮，直接将招牌信息添加到照片序列中；如果提取到多个招牌信息，则按照定位的招牌顺序按照由左至右递增（或递减）赋予序列值，并通过左右移动和图像插入按钮，插入到照片序列中。 

 步骤8：从拍摄的照片中提取招牌数据。提取方法为，通过矩形提取算法，例如霍夫变换和色彩提取，对图像中的招牌区域进行定位。 

 步骤9：提取拍摄图像和电子地图数据库中POI图片数据中的图像特征。提取方法可以利用小波变换对图像进行降维和去噪，提取其尺度不变特征转换(Scale-invariant feature transform,SIFT)点特征，同时进行主成分分析（Principal Component Analysis，PCA）降维。 

  步骤10：查找电子地图数据库中与输入的招牌图像序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。图像序列查找过程为，依次遍历输入的图像序列，并查找与输入的图像序列中当前店铺招牌图像特征相符的POI招牌图像特征。特征匹配方法可选用基于兴趣点的匹配算法，采用基于Kd树的最近邻法进行匹配。 

 如果找到相符的POI，则依序列值顺序比对输入的图像序列中的后续店铺招牌图像与找到的相符POI的后续POI招牌图像特征，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。 

 如果根据输入的图像序列中的每一幅招牌图像都查找到了一致的POI招牌图像，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的图像序列相符的POI序列。 

 步骤11：判断文本序列或者图像序列的查找结果是否唯一。如果查找结果唯一，则执行步骤15；如果存在多个查找结果，则执行步骤12对用户进行提示。 

  步骤12：在地图上显示多个查询结果，并在文本输入框中显示已找到POI序列的后续POI名称作为输入提示。 

  步骤13：判断用户是否修改文本框中输入的门面名称。如果用户继续在文本框中输入、修改或者删除已输入的门面名称，则跳转执行步骤5进行处理；如果用户完成文本输入，则执行步骤15； 

 步骤14：判断用户是否修改拍摄的门面招牌。如果用户继续拍摄或者修改已经拍摄的门面招牌，则跳转执行步骤7进行处理；如果用户删除已输入的门面招牌图像，则跳转执行步骤10重新查找；如果用户完成照片拍摄，则执行步骤15。

步骤15：在电子地图上显示系统查找到的定位结果。显示方式为，在电子地图上用符号突出显示用户输入的第一个门面名称，或者用户拍摄的第一个门面招牌的位置，并将地图的显示中心移动至该位置。 

   

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

  （3）步骤的类型：辅助步骤、准备步骤或者善后步骤。 

 步骤1为准备步骤。 

 步骤2、步骤3、步骤4为辅助步骤。 

步骤12为辅助步骤。 

  步骤15为善后步骤。 

 （4）最核心的流程步骤或者模块 

步骤1（POI数据排序模块）

步骤5（关键词序列输入模块）

步骤6（文本查找模块）

步骤7（招牌图像序列输入模块）

步骤8（招牌定位模块）

步骤9（图像特征提取模块）

步骤10（图像序列查找模块）

步骤11（第二判断模块）

步骤13（第三判断模块）

步骤14（第四判断模块）

步骤15（定位结果显示模块）

 （5）本发明的最优流程与上述提炼的基本流程相比，增加了哪些流程（多余的处理步骤）或者模块、或者功能、或者其他具体的限定要求？并请一一说明为什么要增加？

 步骤2：调用初始化模块，清空存储模块中的文本序列、图像序列、图像特征和查找结果；用于开始一次新的位置查询。

  步骤3：通过定位信息获取模块获取当前移动终端的粗略位置信息。获取的方式有，GPS系统、电信网蜂窝基站，wifi信号、蓝牙、wifi、超宽带、惯性导航系统等技术中的一种或多种的组合。该步骤可以缩小根据店铺招牌定位的搜索范围，可以提高搜索的速度。 

步骤4：判断用户准备手动输入门面名称，还是通过拍照获取门面招牌信息。两种查找表面形式不同，实际的流程都是从电子地图数据库中的POI序列数据中查找到与输入门面序列相同的POI序列。因此在本发明具体的实施过程中也可以仅采用这两种查找方式的其中一种。 

 步骤12：在地图上显示多个查询结果，并在文本输入框中显示已找到POI序列的后续POI名称作为输入提示。可以方便用户的进行后续店铺的输入，提高定位效率。如不提示，用户也可以完成定位，但是会影响体验。 

（6）本发明所具体采用的流程是否存在地位平等的并列方案（包括方法步骤和模块组合两种情况）、或者可替换方案？如果存在，他们之间的区别是什么？ 

本发明中的手动输入门面名称和通过拍照获取门面招牌信息是两种并列的门面信息输入方式。两种查找表面形式不同，一种是用户手动数据门面名称，另一种是由系统通过输入的照片识别门面招牌。后续的流程都是从电子地图数据库中的POI序列数据中查找到与输入门面序列相同的POI序列。因此在本发明具体的实施过程中也可以仅采用这两种查找方式的其中一种。

  

(7)从开发的角度而言，技术人员需要做哪些工作？或者，在开发过程中是最难的？

定位信息获取模块、POI数据排序模块、关键词序列输入模块、文本查找模块、招牌图像序列输入模块、招牌定位模块、图像特征提取模块、图像序列查找模块

2、本发明的创新点： 

1) 对电子地图数据库中已经存储的POI数据进行排序。对于每条道路上的POI，按照由左至右递增（或递减）赋予序列值。

  

2) 通过定位信息获取模块获取当前移动终端的粗略位置信息。获取的方式有，GPS系统、电信网蜂窝基站，wifi信号、蓝牙、wifi、超宽带、惯性导航系统等技术中的一种或多种的组合。

   

3) 通过提供的文本框输入界面和左右移动、文本插入按钮，接收并显示用户输入的门面名称。用户可以输入需要定位的门面名称，并按照看到的门面顺序继续，通过左右移动和文本插入按键，按顺序输入临近门面的名称。将输入的关键词序列中的每个关键词按照由左至右递增（或递减）赋予序列值。

  

4) 查找电子地图数据库中与输入的关键词序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。文本序列查找过程为，依次遍历输入的关键词序列，并查找与输入的关键词序列中当前店铺名称相符的POI。如果找到相符的POI，则依序列值顺序比对输入的关键词序列中的后续店铺名称与找到的相符POI的后续POI，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。

5) 如果根据输入的关键词序列中的每一个关键词查找到了一致的POI名称，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的关键词序列相符的POI序列。 

  

6) 通过移动终端的拍照功能和左右移动、图像插入按钮，接收用户拍摄到的店铺招牌图像信息。如果招牌定位模块只提取到一个招牌信息，则通过左右移动和图像插入按钮，直接将招牌信息添加到照片序列中；如果提取到多个招牌信息，则按照定位的招牌顺序按照由左至右递增（或递减）赋予序列值，并通过左右移动和图像插入按钮，插入到照片序列中。

  

7) 从拍摄的照片中提取招牌数据。提取方法为，通过矩形提取算法，例如霍夫变换和色彩提取，对图像中的招牌区域进行定位。

  

8) 提取拍摄图像和电子地图数据库中POI图片数据中的图像特征。提取方法可以利用小波变换对图像进行降维和去噪，提取其尺度不变特征转换(Scale-invariant feature transform,SIFT)点特征，同时进行主成分分析（Principal Component Analysis，PCA）降维。

  

9) 查找电子地图数据库中与输入的招牌图像序列相符的POI序列。首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。图像序列查找过程为，依次遍历输入的图像序列，并查找与输入的图像序列中当前店铺招牌图像特征相符的POI招牌图像特征。特征匹配方法可选用基于兴趣点的匹配算法，采用基于Kd树的最近邻法进行匹配。

10) 如果找到相符的POI，则依序列值顺序比对输入的图像序列中的后续店铺招牌图像与找到的相符POI的后续POI招牌图像特征，比对过程可以跨越。当在道路结尾处尚未结束比对时，则根据道路与道路的连通关系继续进行比对。 

11) 如果根据输入的图像序列中的每一幅招牌图像查找到了一致的POI招牌图像，并且依次连接序列中POI的长度小于设定的范围，则认为查找到了与输入的图像序列相符的POI序列。 

  

12) 在电子地图上显示系统查找到的定位结果；如果存在多个查找结果，则对用户进行提示。

  

13) 提示方式为在地图上显示多个查询结果，并在文本输入框中显示已找到POI序列的后续POI名称作为输入提示。

  

14) 定位结果的显示。方式为在电子地图上用符号突出显示用户输入的第一个门面名称，或者用户拍摄的第一个门面招牌的位置，并将地图的显示中心移动至该位置。

 

  3、本发明的技术效果：用推理方式推导出本发明的优点

（1）本发明采用店铺招牌作为定位目标，提高了定位的精度。

（2）店铺招牌图像序列的查找提高了识别的效率和准确性。 

（3）通过拍摄店铺招牌输入店铺信息，提高了操作的便捷性。 

Claims (15)

1. 本发明涉及一种电子地图系统中根据店铺招牌及相互临近的几个招牌的组合进行主动定位方法及装置。

2.采用本发明的技术方案以后，能够通过用户拍照或者人工输入的方式，接收用户附近的店铺名称信息，在数据库中匹配与查找该店铺名称信息所处的位置信息，实现用户的主动定位，为用户带来更好的定位体验。

3.对电子地图数据库中已经存储的POI数据进行排序。

4.对于每条道路上的POI，按照由左至右递增（或递减）赋予序列值。

5.根据权利要求1-4描述的本发明，通过定位信息获取模块获取当前移动终端的粗略位置信息。

6.根据权利要求1-4描述的本发明，获取的方式有，GPS系统、电信网蜂窝基站，wifi信号、蓝牙、wifi、超宽带、惯性导航系统等技术中的一种或多种的组合。

7. 根据权利要求1-4描述的本发明，通过提供的文本框输入界面和左右移动、文本插入按钮，接收并显示用户输入的门面名称。

8.根据权利要求1-4描述的本发明，用户可以输入需要定位的门面名称，并按照看到的门面顺序继续，通过左右移动和文本插入按键，按顺序输入临近门面的名称。

9.根据权利要求1-4描述的本发明，将输入的关键词序列中的每个关键词按照由左至右递增（或递减）赋予序列值。

10.根据权利要求1-4描述的本发明，查找电子地图数据库中与输入的关键词序列相符的POI序列。

11.根据权利要求1-4描述的本发明，首先在定位信息获取模块得到的粗略位置范围内进行查找，如果找到相符的POI序列，则调用第二判断模块；如果没有找到相符的POI序列，则进一步扩大搜索范围直至整个城市区域。

12.根据权利要求1-4描述的本发明，文本序列查找过程为，依次遍历输入的关键词序列，并查找与输入的关键词序列中当前店铺名称相符的POI。

13.根据权利要求6描述的本发明，通过移动终端的拍照功能和左右移动、图像插入按钮，接收用户拍摄到的店铺招牌图像信息。

14.根据权利要求6描述的本发明，从拍摄的照片中提取招牌数据。

15.提取方法为，通过矩形提取算法，例如霍夫变换和色彩提取，对图像中的招牌区域进行定位。