CN111832579B - 地图兴趣点数据处理方法、装置、电子设备以及可读介质 - Google Patents
地图兴趣点数据处理方法、装置、电子设备以及可读介质 Download PDFInfo
- Publication number
- CN111832579B CN111832579B CN202010701741.8A CN202010701741A CN111832579B CN 111832579 B CN111832579 B CN 111832579B CN 202010701741 A CN202010701741 A CN 202010701741A CN 111832579 B CN111832579 B CN 111832579B
- Authority
- CN
- China
- Prior art keywords
- feature vectors
- interest
- similarity
- images
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 130
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本公开的实施例公开了一种地图兴趣点数据处理方法、装置、电子设备和介质，涉及云计算、图像处理、自然语言处理技术领域。所述方法包括：获取目标招牌图像；利用卷积神经网络对目标招牌图像进行特征提取，以得到目标招牌图像的第一特征向量；分别确定第一特征向量与兴趣点数据库中的多个第二特征向量之间的相似度；以及响应于确定第一特征向量与多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将目标招牌图像与该第二特征向量对应的兴趣点相关联。
Description
技术领域
本公开实施例涉及云计算、图像处理、自然语言处理技术领域，特别涉及地图兴趣点数据处理方法、装置、电子设备以及可读介质。
背景技术
兴趣点(Point of Interest，POI)一般是电子地图中标注的地理信息点，可以用来查找地标点或者建筑物，例如商场、停车场、学校、医院、酒店、饭店、超市、公园、旅游景点等。在电子地图的POI数据库中，一条POI的数据记录可以包括该POI的地理位置、一个或多个招牌图像等信息。
相关技术中，在生产地图POI数据时，可以利用采集的招牌图像从POI数据库中检索和查找对应的POI的历史招牌图像，以便对POI的数据记录进行维护(例如，确定该POI的地理位置是否变更等)。但是，由于图像采集设备和拍摄角度等的不同，不同来源的招牌图像在数据分布和图像质量等方面差异很大，使得不同来源的招牌图像数据无法通用。
发明内容
根据本公开实施例的一个方面，提供了一种地图兴趣点数据处理方法。所述方法包括：获取目标招牌图像；利用卷积神经网络对目标招牌图像进行特征提取，以得到目标招牌图像的第一特征向量；分别确定第一特征向量与兴趣点数据库中的多个第二特征向量之间的相似度；以及响应于确定第一特征向量与多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将目标招牌图像与该第二特征向量对应的兴趣点相关联。
根据本公开实施例的另一个方面，提供了一种地图兴趣点数据处理装置。所述装置包括：获取模块，被配置为获取目标招牌图像；特征提取模块，被配置为利用卷积神经网络对目标招牌图像进行特征提取，以得到目标招牌图像的第一特征向量；确定模块，被配置为分别确定第一特征向量与兴趣点数据库中的多个第二特征向量之间的相似度；以及关联模块，被配置为响应于确定第一特征向量与多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将目标招牌图像与该第二特征向量对应的兴趣点相关联。
根据本公开实施例的另一个方面，提供了一种电子设备。该电子设备包括：处理器以及存储程序的存储器。所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开一些实施例的地图兴趣点数据处理方法。
根据本公开实施例的另一个方面，提供了一种存储程序的计算机可读存储介质。所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据本公开一些实施例的地图兴趣点数据处理方法。
借助于本公开示例性实施例的方案，通过卷积神经网络对目标招牌图像进行特征提取得到特征向量，并将该特征向量与兴趣点数据库中多个特征向量进行相似度匹配，以确定与目标招牌图像对应的兴趣点。由此，能够利用经训练的卷积神经网络，基于相似度匹配，准确检索和查找招牌图像对应的兴趣点。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素：
图1示出了根据本公开一些示例性实施例的招牌图像的示意图；
图2示出了根据本公开一些示例性实施例的地图兴趣点数据处理方法的流程图；
图3示出了根据本公开一些示例性实施例的卷积神经网络的训练过程的示意图；
图4示出了根据本公开一些示例性实施例的地图兴趣点数据处理装置的示意性框图；以及
图5示出了根据本公开示例性实施例的示例计算设备的示意性框图。
实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在介绍本公开的内容之前，先对本公开所使用的相关术语进行介绍。
在一些示例中，兴趣点(Point of Interest，POI)是指电子地图中标注的地理信息点。招牌是指场所的名称或记号。招牌通常用于说明场所的用途、或是对场所的概括介绍。招牌图像是指包含场所的招牌的图像。在一个示例中，招牌图像中可以包括有一个招牌。图1示出了根据本公开一些示例性实施例的招牌图像的示意图，如图1所示，招牌图像100包括一个招牌1001，即“XXX书店”。在其他的示例中，招牌图像中可以包括有多个招牌，本公开对此并不限制。
在相关技术中，可以通过输入招牌图像来检索和查找对应的POI。例如，通过输入采集的某商家的招牌图像，来检索和查找该商家。在进行检索和查找目标招牌图像对应的POI时，可以通过POI的历史招牌图像，利用图像视觉特征进行图图匹配。由于不同的采集场景或方式，例如用户手持移动终端拍摄、采集车上的采集设备拍摄、车辆的行车记录仪拍摄等，使得针对同一POI所采集的招牌图像在质量、拍摄角度、清晰度、光照等方面差异较大。从而，在进行图图匹配时，这些不同质量或不同源的图像的数据无法通用，不能准确的匹配出对应的POI。
针对上述问题，一种解决方式是针对每一种不同源的招牌图像分别构建图像视觉特征提取模型。然而，这种方式会使得构建多个模型，造成资源浪费。
对此，本公开实施例提供一种地图POI数据处理方法，通过卷积神经网络对目标招牌图像进行特征提取得到特征向量，并将该特征向量与POI数据库中多个特征向量进行相似度匹配，以确定与目标招牌图像对应的POI。利用经训练的卷积神经网络，可以将不同源的招牌图像的图像特征映射到同一个特征空间，并且基于相似度匹配，可以利用从招牌图像中提取的特征向量准确检索和查找招牌图像对应的POI。
以下结合附图对本公开实施例的地图POI数据处理方法进行进一步描述。
图2示出了根据本公开一些示例性实施例的地图POI数据处理方法的流程图。如图2所示，所述方法包括：步骤S101、获取目标招牌图像；步骤S102、利用卷积神经网络对目标招牌图像进行特征提取，以得到目标招牌图像的第一特征向量；步骤S103、分别确定第一特征向量与POI数据库中的多个第二特征向量之间的相似度；步骤S104、响应于确定第一特征向量与多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将目标招牌图像与该第二特征向量对应的POI相关联。
在一些示例中，可以基于目标招牌图像的拍摄位置，从POI数据库中提取该拍摄位置附近的POI的招牌图像的特征向量。对此，本公开实施例的方法还包括：获取目标招牌图像的拍摄位置的地理坐标；以及利用卷积神经网络对该地理坐标的预定距离范围内的多个POI的多个招牌图像进行特征提取，以得到多个第二特征向量。在一个示例中，预定距离范围可以为50-100米。由此，基于目标招牌图像的拍摄位置，可以进行初步筛选，减少后续相似度计算和匹配过程的计算量，同时提高准确性，提升效率。
在其他的示例中，还可以基于目标招牌图像的拍摄角度，从POI数据库中提取该拍摄位置附近的招牌图像的特征向量。例如，可以从POI数据库中提取与目标招牌图像具有同向拍摄角度的招牌图像的特征向量。目标招牌图像的拍摄角度例如可以通过获取采集设备的陀螺仪参数而得到。在另外的示例中，还可以基于目标招牌图像的拍摄位置和拍摄角度两者一起进行初步筛选，以进一步提高准确性，提升效率。
在一些示例中，POI数据库可以存储在服务器上。POI数据库可以存储有多个POI、多个历史招牌图像和相应的多个历史招牌图像的特征向量。在一些实施例中，在分别确定所述第一特征向量与所述POI数据库中的多个第二特征向量之间的相似度前，本公开实施例的方法还可以包括：利用卷积神经网络对POI数据库中的多个POI的多个历史招牌图像进行特征提取，以得到多个历史招牌图像的相应第二特征向量；以及将多个POI、多个历史招牌图像和相应第二特征向量相关联地存储在POI数据库中。相应第二特征向量包括POI数据库中的多个第二特征向量。
在一些示例中，本公开实施例的卷积神经网络可以通过执行针对多任务学习的多次训练过程而被训练得到，以使得从同一POI的来自不同数据源的招牌图像提取出的特征向量之间的相似度大于第一相似度阈值，并且从不同POI的招牌图像提取出的特征向量之间的相似度小于第二相似度阈值。如后面将描述的，在一些实施例中，多任务学习可以包括文本检测学习和相似度度量学习。在一些实施例中，多任务学习还可以包括源间分类学习。
在一些示例中，相似度可以为距离，包括但不限于欧氏距离或余弦距离。在一些示例中，分别确定目标招牌图像的第一特征向量与POI数据库中的多个第二特征向量之间的相似度可以包括：分别计算目标招牌图像的第一特征向量与POI数据库中的多个第二特征向量之间的距离。由此，经过训练的卷积神经网络能够使得，从同一POI的招牌图像提取出的特征向量之间的距离尽可能大，从不同POI的招牌图像提取出的特征向量之间的距离尽可能小，从而实现招牌图像和POI之间的准确匹配。
在一些实施例中，多任务学习可以包括文本检测学习和相似度度量学习。卷积神经网络的每次训练过程包括：获取训练样本，所述训练样本包含至少三个样本招牌图像，至少三个样本招牌图像来自至少两个不同的数据源，并且至少三个样本招牌图像中的至少两个图像对应于同一个POI；将训练样本输入卷积神经网络，以得到至少三个样本招牌图像的相应特征向量；以及将相应特征向量输入文本检测子网络、相似度度量子网络和源间分类子网络，以基于相应特征向量进行多任务学习。在一些示例中，文本检测子网络用于基于相应特征向量，检测至少三个样本招牌图像中的文本区域，并且相似度度量子网络用于基于相应特征向量，度量至少三个样本招牌图像之间的相似度。
招牌图像上能够唯一表示图像特征的信息是招牌图像上的文字信息，因此招牌图像上的文字信息对于指向POI名称至关重要。通过文本检测学习，可以使得图像特征能够对POI招牌文本信息更加敏感，提升后续匹配的准确性。在一些示例中，文本检测子网络模型连同卷积神经网络一起可以构成例如以下目标检测框架：Faster RCNN、YOLO、SSD、EAST、Deeplab或Mask RCNN。
如前所述，由于不同源图像的分布差异特别大，比如用户手持移动终端拍摄的图像分辨率高，画面清晰，无遮挡，而车辆的行车记录仪拍摄的图像分辨率低，视频流压缩带来的信息损失，从而造成招牌区域模糊，甚至存在遮挡。因此，通过度量学习可以使得指向同一个POI的不同源的图像特征之间的距离尽可能的近，而非同一个POI的图像特征之间的距离尽可能远。在一些示例中，可以利用triplet loss损失函数对图像和文本特征的进行相似度学习。
在一些实施例中，多任务学习还可以包括源间分类学习，以使得分类结果能判断出数据的来源。在一些示例中，卷积神经网络的每次训练过程包括：获取训练样本，训练样本包含至少三个样本招牌图像，至少三个样本招牌图像来自至少两个不同的数据源，并且至少三个样本招牌图像中的至少两个图像对应于同一个POI；将训练样本输入卷积神经网络，以得到至少三个样本招牌图像的相应特征向量；以及将相应特征向量输入文本检测子网络、相似度度量子网络和源间分类子网络，以基于相应特征向量进行多任务学习。在一些示例中，源间分类子网络用于基于相应特征向量，识别至少三个样本招牌图像所来自的数据源。通过增加分类训练，能够实现不同源的招牌图像特征的区别，以有效地提取不同源的招牌图像的特征向量，从而能够更好得进行相似度度量学习，建立不同源的招牌图像的特征向量之间的相似度联系，提高准确性。
在一些实施例中，卷积神经网络包括至少一个卷积层，相应特征向量由至少一个卷积层中最后一个卷积层输出。
在一些其他的实施例中，卷积神经网络包括至少一个卷积层和全连接层，相应特征向量由所述全连接层输出。
图3示出了根据本公开一些示例性实施例的卷积神经网络301的训练过程的示意图。训练样本包含三个样本招牌图像3001、样本招牌图像3002和样本招牌图像3003。在一个示例中，样本招牌图像3001和样本招牌图像3002来自两个不同的数据源，例如，样本招牌图像3001为用户手持移动终端拍摄，样本招牌图像3002为车辆的行车记录仪拍摄。样本招牌图像3001和样本招牌图像3002指向同一个POI即XXX书店，样本招牌图像3003指向另一个POI即XXX银行。
在其他的示例中，样本招牌图像3001和样本招牌图像3002可以来自同一个数据源，样本招牌图像3003来自不同的数据源，本公开对此并不限制。可以将样本招牌图像3001、样本招牌图像3002和样本招牌图像3003输入卷积神经网络301，得到三个相应的特征向量3011-3013。其中，特征向量3011与样本招牌图像3001相对应，特征向量3012与样本招牌图像3002相对应，特征向量3013与样本招牌图像3003相对应。在实际应用中，可以根据需求，将特征向量3011-3013选择性输入文本检测子网络302、相似度度量子网络303和源间分类子网络304，以实现文本检测、相似度学习和源间分类。
以上对根据本公开示例性实施例的地图POI数据处理方法进行了说明。虽然各个操作在附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。
下面描述根据本公开示例性实施例的地图POI数据处理装置。图4示出了根据本公开一些示例性实施例的地图POI数据处理装置400的示意性框图。如图4所示，地图POI数据处理装置400包括获取模块401、特征提取模块402、确定模块403、以及关联模块404。
获取模块401，被配置为获取目标招牌图像。
特征提取模块402，被配置为利用卷积神经网络对目标招牌图像进行特征提取，以得到目标招牌图像的第一特征向量。
确定模块403，被配置为分别确定第一特征向量与POI数据库中的多个第二特征向量之间的相似度。
关联模块404，被配置为响应于确定第一特征向量与多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将目标招牌图像与该第二特征向量对应的POI相关联。
获取模块401、特征提取模块402、确定模块403、以及关联模块404的操作分别对应于上面关于图2描述的方法200的步骤201、202、203和204，因此此处不再详细描述。
借助于本公开的地图POI数据处理装置，通过卷积神经网络对目标招牌图像进行特征提取得到特征向量，并将该特征向量与POI数据库中多个特征向量进行相似度匹配，以确定与目标招牌图像对应的POI。由此，能够利用经训练的卷积神经网络，基于相似度匹配，准确检索和查找招牌图像对应的POI。
根据本公开的另一方面，还提供一种电子设备，可以包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的方法。
根据本公开的另一方面，还提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述的方法。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作的另一个组件或模块(或结合该特定模块一起执行该动作)。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
更一般地，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4中描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，获取模块401、特征提取模块402、确定模块403、以及关联模块404中的一个或多个可以一起被实现在片上系统(SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(CPU)、微控制器、微处理器、数字信号处理器(DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
本公开的一个方面提供了一种电子设备，该电子设备可包括处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行前述任何方法。
本公开的一个方面提供了一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行前述任何方法。
下面参考图5来描述这样的电子设备和计算机可读存储介质的示例。
图5示出了可以被用来实施本文所描述的模块和功能的计算设备500的示例配置。计算设备500可以是各种不同类型的设备，例如服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。计算设备500的示例包括但不限于：台式计算机，服务器计算机、笔记本电脑或上网本计算机、移动设备(例如，平板电脑或者phablet设备、蜂窝或其他无线电话(例如，智能电话)、记事本计算机、移动台)、可穿戴设备(例如，眼镜、手表)、娱乐设备(例如，娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。因此，计算设备500的范围可以从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限的存储器和/或处理资源的低资源设备(例如，传统的机顶盒、手持游戏控制台)。
计算设备500可以包括能够诸如通过系统总线514或其他适当的连接彼此通信的至少一个处理器502、存储器504、(多个)通信接口506、显示设备508、其他输入/输出(I/O)设备510以及一个或更多大容量存储设备512。
处理器502可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器502可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器502可以被配置成获取并且执行存储在存储器504、大容量存储设备512或者其他计算机可读介质中的计算机可读指令，诸如操作系统516的程序代码、应用程序518的程序代码、其他程序520的程序代码等。
存储器504和大容量存储设备512是用于存储指令的计算机存储介质的示例，所述指令由处理器502执行来实施前面所描述的各种功能。举例来说，存储器504一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备512一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器504和大容量存储设备512在本文中都可以被统称为存储器或计算机存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非瞬时性介质，所述计算机程序代码可以由处理器502作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
多个程序模块可以存储在大容量存储设备512上。这些程序包括操作系统516、一个或多个应用程序518、其他程序520和程序数据522，并且它们可以被加载到存储器504以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：第一检测模块401、显示模块402、第二检测模块403、控制模块404、方法200、和/或本文描述的另外的实施例。
虽然在图5中被图示成存储在计算设备500的存储器504中，但是模块516、518、520和522或者其部分可以使用可由计算设备500访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机存储介质和通信介质。
计算机存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算设备访问的任何其他非传送介质。
与此相对，通信介质可以在诸如载波或其他传送机制之类的已调数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机存储介质不包括通信介质。
计算设备500还可以包括一个或更多通信接口506，以用于诸如通过网络、直接连接等等与其他设备交换数据，正如前面所讨论的那样。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等。通信接口506可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如LAN、电缆等等)和无线网络(例如WLAN、蜂窝、卫星等等)、因特网等等。通信接口506还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。
在一些示例中，可以包括诸如监视器之类的显示设备508，以用于向用户显示信息和图像。其他I/O设备510可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。
虽然在附图和和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，不定冠词“一”或“一个”不排除多个，并且术语“多个”是指两个或两个以上。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。
Claims (12)
1.一种地图兴趣点数据处理方法，包括：
获取目标招牌图像；
利用卷积神经网络对所述目标招牌图像进行特征提取，以得到所述目标招牌图像的第一特征向量；
分别确定所述第一特征向量与兴趣点数据库中的多个第二特征向量之间的相似度；以及
响应于确定所述第一特征向量与所述多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将所述目标招牌图像与该第二特征向量对应的兴趣点相关联，
其中，所述卷积神经网络通过执行针对多任务学习的多次训练过程而被训练得到，以使得从同一兴趣点的来自不同数据源的招牌图像提取出的特征向量之间的相似度大于第一相似度阈值，并且从不同兴趣点的招牌图像提取出的特征向量之间的相似度小于第二相似度阈值，
其中，所述多任务学习包括文本检测学习、相似度度量学习和源间分类学习，
其中，每次训练过程包括：
获取训练样本，所述训练样本包含至少三个样本招牌图像，所述至少三个样本招牌图像来自至少两个不同的数据源，并且所述至少三个样本招牌图像中的至少两个图像对应于同一个兴趣点；
将所述训练样本输入所述卷积神经网络，以得到所述至少三个样本招牌图像的相应特征向量；以及
将所述相应特征向量输入文本检测子网络、相似度度量子网络和源间分类子网络，以基于所述相应特征向量进行所述多任务学习，
其中，所述文本检测子网络用于基于所述相应特征向量，检测所述至少三个样本招牌图像中的文本区域，所述相似度度量子网络用于基于所述相应特征向量，度量所述至少三个样本招牌图像之间的相似度，并且所述源间分类子网络用于基于所述相应特征向量，识别所述至少三个样本招牌图像所来自的数据源。
2.根据权利要求1所述的方法，还包括：
获取所述目标招牌图像的拍摄位置的地理坐标，
其中，所述多个第二特征向量是利用所述卷积神经网络对所述地理坐标的预定距离范围内的多个兴趣点的多个招牌图像进行特征提取而得到的。
3.根据权利要求1所述的方法，
其中，所述多任务学习包括文本检测学习和相似度度量学习，
其中，每次训练过程包括：
获取训练样本，所述训练样本包含至少三个样本招牌图像，所述至少三个样本招牌图像来自至少两个不同的数据源，并且所述至少三个样本招牌图像中的至少两个图像对应于同一个兴趣点；
将所述训练样本输入所述卷积神经网络，以得到所述至少三个样本招牌图像的相应特征向量；以及
将所述相应特征向量输入文本检测子网络和相似度度量子网络，以基于所述相应特征向量进行所述多任务学习，
其中，所述文本检测子网络用于基于所述相应特征向量，检测所述至少三个样本招牌图像中的文本区域，并且所述相似度度量子网络用于基于所述相应特征向量，度量所述至少三个样本招牌图像之间的相似度。
4.根据权利要求3所述的方法，其中，所述卷积神经网络包括至少一个卷积层，所述相应特征向量由所述至少一个卷积层中最后一个卷积层输出。
5.根据权利要求3所述的方法，其中，所述卷积神经网络包括至少一个卷积层和全连接层，所述相应特征向量由所述全连接层输出。
6.根据权利要求1所述的方法，在分别确定所述第一特征向量与所述兴趣点数据库中的多个第二特征向量之间的相似度前，还包括：
利用所述卷积神经网络对所述兴趣点数据库中的多个兴趣点的多个历史招牌图像进行特征提取，以得到所述多个历史招牌图像的相应第二特征向量；以及
将所述多个兴趣点、所述多个历史招牌图像和所述相应第二特征向量相关联地存储在所述兴趣点数据库中，
其中，所述相应第二特征向量包括所述兴趣点数据库中的所述多个第二特征向量。
7.根据权利要求1所述的方法，其中，所述相似度包括欧氏距离或余弦距离。
8.一种地图兴趣点数据处理装置，包括：
获取模块，被配置为获取目标招牌图像；
特征提取模块，被配置为利用卷积神经网络对所述目标招牌图像进行特征提取，以得到所述目标招牌图像的第一特征向量；
确定模块，被配置为分别确定所述第一特征向量与兴趣点数据库中的多个第二特征向量之间的相似度；以及
关联模块，被配置为响应于确定所述第一特征向量与所述多个第二特征向量中的某一第二特征向量之间的相似度大于相似度阈值，将所述目标招牌图像与该第二特征向量对应的兴趣点相关联，
其中，所述卷积神经网络通过执行针对多任务学习的多次训练过程而被训练得到，以使得从同一兴趣点的来自不同数据源的招牌图像提取出的特征向量之间的相似度大于第一相似度阈值，并且从不同兴趣点的招牌图像提取出的特征向量之间的相似度小于第二相似度阈值，
其中，所述多任务学习包括文本检测学习、相似度度量学习和源间分类学习，
其中，每次训练过程包括：
获取训练样本，所述训练样本包含至少三个样本招牌图像，所述至少三个样本招牌图像来自至少两个不同的数据源，并且所述至少三个样本招牌图像中的至少两个图像对应于同一个兴趣点；
将所述训练样本输入所述卷积神经网络，以得到所述至少三个样本招牌图像的相应特征向量；以及
将所述相应特征向量输入文本检测子网络、相似度度量子网络和源间分类子网络，以基于所述相应特征向量进行所述多任务学习，
其中，所述文本检测子网络用于基于所述相应特征向量，检测所述至少三个样本招牌图像中的文本区域，所述相似度度量子网络用于基于所述相应特征向量，度量所述至少三个样本招牌图像之间的相似度，并且所述源间分类子网络用于基于所述相应特征向量，识别所述至少三个样本招牌图像所来自的数据源。
9.根据权利要求8所述的装置，其中，
所述获取模块还被配置为：获取所述目标招牌图像的拍摄位置的地理坐标，
所述特征提取模块还被配置为：利用所述卷积神经网络对所述地理坐标的预定距离范围内的多个兴趣点的多个招牌图像进行特征提取，以得到所述多个第二特征向量。
10.根据权利要求8所述的装置，其中，
所述特征提取模块还被配置为：利用所述卷积神经网络对所述兴趣点数据库中的多个兴趣点的多个历史招牌图像进行特征提取，以得到所述多个历史招牌图像的相应第二特征向量；
所述关联模块还被配置为：将所述多个兴趣点、所述多个历史招牌图像和所述相应第二特征向量相关联地存储在所述兴趣点数据库中，
其中，所述相应第二特征向量包括所述兴趣点数据库中的所述多个第二特征向量。
11.一种电子设备，包括：
处理器；以及
存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至7中任一项所述的地图兴趣点数据处理方法。
12.一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据权利要求1至7中任一项所述的地图兴趣点数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010701741.8A CN111832579B (zh) | 2020-07-20 | 2020-07-20 | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010701741.8A CN111832579B (zh) | 2020-07-20 | 2020-07-20 | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832579A CN111832579A (zh) | 2020-10-27 |
| CN111832579B true CN111832579B (zh) | 2024-01-16 |
Family
ID=72924480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010701741.8A Active CN111832579B (zh) | 2020-07-20 | 2020-07-20 | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832579B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378918B (zh) * | 2021-06-09 | 2022-06-07 | 武汉大学 | 一种基于度量学习的绝缘子绑扎线状态检测方法 |
| CN114219978B (zh) * | 2021-11-17 | 2023-04-07 | 浙江大华技术股份有限公司 | 目标多部位关联方法及装置、终端、计算机可读存储介质 |
| CN114625984B (zh) * | 2022-03-31 | 2023-07-25 | 北京百度网讯科技有限公司 | 兴趣点验证方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609185A (zh) * | 2017-09-30 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于poi的相似度计算的方法、装置、设备和计算机可读存储介质 |
| CN109582880A (zh) * | 2018-12-04 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 兴趣点信息处理方法、装置、终端及存储介质 |
| CN110837607A (zh) * | 2019-11-14 | 2020-02-25 | 腾讯云计算（北京）有限责任公司 | 兴趣点匹配方法、装置、计算机设备以及存储介质 |
| CN110889003A (zh) * | 2019-11-20 | 2020-03-17 | 中山大学 | 一种基于文本的车辆图像细粒度检索系统 |
| CN111209354A (zh) * | 2018-11-22 | 2020-05-29 | 北京搜狗科技发展有限公司 | 一种地图兴趣点判重的方法、装置及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8204886B2 (en) * | 2009-11-06 | 2012-06-19 | Nokia Corporation | Method and apparatus for preparation of indexing structures for determining similar points-of-interests |
| US10733507B2 (en) * | 2017-07-25 | 2020-08-04 | Microsoft Technology Licensing, Llc | Semantic clustering based retrieval for candidate set expansion |
| EP3637303B1 (en) * | 2018-10-09 | 2024-02-14 | Naver Corporation | Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn |
-
2020
- 2020-07-20 CN CN202010701741.8A patent/CN111832579B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609185A (zh) * | 2017-09-30 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于poi的相似度计算的方法、装置、设备和计算机可读存储介质 |
| CN111209354A (zh) * | 2018-11-22 | 2020-05-29 | 北京搜狗科技发展有限公司 | 一种地图兴趣点判重的方法、装置及电子设备 |
| CN109582880A (zh) * | 2018-12-04 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 兴趣点信息处理方法、装置、终端及存储介质 |
| CN110837607A (zh) * | 2019-11-14 | 2020-02-25 | 腾讯云计算（北京）有限责任公司 | 兴趣点匹配方法、装置、计算机设备以及存储介质 |
| CN110889003A (zh) * | 2019-11-20 | 2020-03-17 | 中山大学 | 一种基于文本的车辆图像细粒度检索系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BP神经网络的文本分类算法研究与设计;王雪丽;宋启祥;;通化师范学院学报(第02期);76-79 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832579A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832579B (zh) | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| EP2975555B1 (en) | Method and apparatus for displaying a point of interest | |
| US8442307B1 (en) | Appearance augmented 3-D point clouds for trajectory and camera localization | |
| CN105517679B (zh) | 用户地理位置的确定 | |
| CN109543680B (zh) | 兴趣点的位置确定方法、装置设备和介质 | |
| US10776652B2 (en) | Systems and methods to improve visual feature detection using motion-related data | |
| US10083368B2 (en) | Incremental learning for dynamic feature database management in an object recognition system | |
| CN109189879B (zh) | 电子书籍显示方法及装置 | |
| US20180188033A1 (en) | Navigation method and device | |
| Niu et al. | Resource-efficient and automated image-based indoor localization | |
| EP3206163B1 (en) | Image processing method, mobile device and method for generating a video image database | |
| JP5563494B2 (ja) | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム | |
| WO2019080747A1 (zh) | 目标跟踪及神经网络训练方法、装置、存储介质、电子设备 | |
| US20170039450A1 (en) | Identifying Entities to be Investigated Using Storefront Recognition | |
| CN104881860A (zh) | 基于照片进行定位的方法和装置 | |
| CN112435338B (zh) | 电子地图的兴趣点的位置获取方法、装置及电子设备 | |
| CN110926478B (zh) | 一种ar导航路线纠偏方法、系统及计算机可读存储介质 | |
| US11106933B2 (en) | Method, device and system for processing image tagging information | |
| WO2022007451A1 (zh) | 目标检测方法、装置、计算机可读介质及电子设备 | |
| CN107480173B (zh) | Poi信息的展示方法及装置、设备及可读介质 | |
| CA3052846A1 (en) | Character recognition method, device, electronic device and storage medium | |
| KR20160048006A (ko) | 버스 정보 조회, 피드백 방법, 모바일 단말 및 서버 | |
| CN111784776A (zh) | 视觉定位方法及装置、计算机可读介质和电子设备 | |
| CN108512888B (zh) | 一种信息标注方法、云端服务器、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |