CN112381162A - 信息点识别方法、装置及电子设备 - Google Patents

Abstract

本申请公开了信息点识别方法、装置及电子设备，涉及计算机视觉、及深度学习技术领域。具体实现方案为：获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；并基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。根据本申请的技术，解决了信息点识别技术存在的识别准确率比较低的问题，提高了信息点识别的准确率。

Description

信息点识别方法、装置及电子设备

技术领域

本申请涉及智能搜索技术领域，尤其涉及计算机视觉、及深度学习技术领域，具体涉及一种信息点识别方法、装置及电子设备。

背景技术

信息点识别技术指的是通过信息点对应的多维特征判定两个信息点是否属于同一空间实体。其广泛应用于信息点数据上线、信息点数据去重、信息点优质基础属性补充、信息点预定服务和优质内容属性补充等场景，是地图内容生态最核心的基础技术之一。

目前，信息点识别方式通常是比较两个信息点的文本信息，来识别这两个信息点是否为同一空间实体，这对于距离相近，且命名相同或者相似的两个信息点的识别往往是无能为力的。

发明内容

本公开提供了一种信息点识别方法、装置及电子设备。

根据本公开的第一方面，提供了一种信息点识别方法，包括：

获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；

基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；并基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；

基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

根据本公开的第二方面，提供了一种信息点识别装置，包括：

第一获取模块，用于获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；

第一确定模块，用于基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；

第二确定模块，用于基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；

第三确定模块，用于基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法。

根据本申请的技术解决了信息点识别技术存在的识别准确率比较低的问题，提高了信息点识别的准确率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的信息点识别方法的流程示意图；

图2是信息点识别方法的实现框架示意图；

图3是根据本申请第二实施例的信息点识别装置的结构示意图；

图4是用来实现本申请实施例的信息点识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

如图1所示，本申请提供一种信息点识别方法，包括如下步骤：

步骤S101：获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像。

本实施例中，信息点识别方法涉及智能搜索技术领域，尤其涉及计算机视觉、及深度学习技术领域，其可以应用于电子设备，该电子设备可以为服务器，也可以为终端，这里不做具体限定。

在一些应用场景中，信息点识别技术可以称之为信息点链指技术，其可以广泛应用于信息点数据上线、信息点数据去重、信息点优质基础属性补充、信息点预定服务和优质内容属性补充等场景。其具体应用是基于一信息点从地图系统中链指即链接到与之相同的信息点，或者链接到与之不同的信息点，以进行相应的处理。

比如，在信息点数据上线的应用场景，目标信息点在数据上线之前，可以判定地图系统中是否存在与之相同的信息点，具体的，可以将目标信息点与地图系统中的每个信息点进行匹配，以判定地图系统中是否存在与之相同的信息点。

在地图系统中链指到与之相同的信息点的情况下，可以不对其进行重新收录，而在地图系统中链指到与之不同的信息点的情况下，对其进行收录。另外，在地图系统中链指到与目标信息点相同的信息点的情况下，可以针对目标信息点的属性内容，对地图系统中与之相同的信息点的属性内容进行补充，如补充信息点的多媒体内容，以丰富地图系统中信息点的属性内容。

又比如，可以对线上数据进行查重，针对地图系统中收录的信息点，可以进行信息点识别，以进行信息点查重。

还比如，可以针对目标信息点从地图系统中召回与之相同或相似的信息点，以实现用户搜索功能。

在步骤S101中，所述第一信息点和第二信息点为两个信息点，其可以称之为兴趣点，在地理信息系统中，一个信息点可以是一栋房子、一个商铺、一个邮筒、一个公交站或一个景点等。

所述第一信息点和第二信息点均可以为地图系统中的信息点。在一些应用场景中，所述第一信息点和所述第二信息点也可以为一信息点为地图系统中的信息点，另一信息点不为地图系统中的信息点，其具体应用是针对目标信息点(该信息点可以不为地图系统中的信息点)，与地图系统中的信息点(可以称之为待匹配信息点)进行匹配，判定目标信息点和待匹配信息点是否为同一信息点，以进行相应的处理。

在所述第一信息点和所述第二信息点为一信息点为地图系统中的信息点，另一信息点不为地图系统中的信息点的应用场景中，所述第一信息点可以为目标信息点，而第二信息点可以为地图系统中的待匹配信息点。所述第一信息点也可以为地图系统中的待匹配信息点，而第二信息点也可以为目标信息点。以下实施例中，将以所述第一信息点为目标信息点，所述第二信息点为地图系统中的待匹配信息点为例进行说明。

所述第一信息点的第一文本信息可以指的是以文本形式表征的所述第一信息点的信息，具体可以包括所述第一信息点的名称信息、标签信息、地址信息、位置信息以及联系方式信息等。

所述第一信息点的标签信息可以指示所述第一信息点的分类类别，如所述第一信息点的标签信息为“休闲娱乐”，即所述第一信息点的分类类别为休闲娱乐。另外，所述第一信息点可以包括多级标签，如所述第一信息点为一家商务酒店，其一级标签可以为休闲娱乐，二级标签可以为酒店。

所述第一信息点的地址信息可以包括所述第一信息点所在的城市、区县、道路以及门牌号等，而所述第一信息点的位置信息可以指的是导航定位所确定的地理位置信息，如经纬度信息。

所述第一信息点的联系方式信息可以包括所述第一信息点对应的联系电话、网址以及账号等。

所述第一信息点的第一图像可以指的是以图像形式表征的所述第一信息点的信息，其是以图像形式标识所述第一信息点，可以为所述第一信息点的招牌图像，也可以为所述第一信息点的标志logo图像，这里不做具体限定。

对于所述第二信息点的第二文本信息和第二图像的阐述，与所述第一信息点的第一文本信息和第一图像的阐述类似，这里不对其进行阐述。

在所述第一信息点为地图系统中的信息点的情况下，可以直接从地图系统中所述第一信息点关联的信息中获取所述第一信息点的第一文本信息和第一图像。而在所述第一信息点不为地图系统中的信息点的情况下，其第一文本信息和第一图像可以由用户收集得到，或者从其他系统获取得到，如所述第一图像为用户拍摄的第一信息点的招牌图像。

步骤S102：基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；并基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度。

该步骤中，所述第一信息点与第二信息点的文本相似度可以包括一个或多个维度的相似度，比如，所述文本相似度可以仅包括文本语义相似度，也可以在包括文本语义相似度的同时，还可以包括标签相似度、空间相似度、地址相似度和电话相似度中至少一项。

所述文本语义相似度可以为所述第一信息点与第二信息点在名称维度上的相似度，其实质是比较第一信息点的名称信息与第二信息点的名称信息，以确定第一信息点的名称与第二信息点的名称是否相似。

所述标签相似度可以为第一信息点与第二信息点在标签维度上的相似度，其实质是比较第一信息点的标签信息与第二信息点的标签信息，以确定第一信息点的标签与第二信息点的标签是否相似。

所述空间相似度可以为第一信息点与第二信息点在位置维度上的相似度，其实质是确定第一信息点与第二信息点的空间距离，以确定第一信息点的位置与第二信息点的位置是否相似。

所述地址相似度可以为第一信息点与第二信息点在地址维度上的相似度，其实质是比较第一信息点的地址信息与第二信息点的地址信息，以确定第一信息点的地址与第二信息点的地址是否相似。

所述电话相似度可以为第一信息点与第二信息点在联系方式维度上的相似度，其实质是比较第一信息点的联系电话与第二信息点的联系电话，以确定第一信息点的联系电话与第二信息点的联系电话是否相似。

所述第一信息点与第二信息点的图像相似度可以指的是所述第一信息点的第一图像与所述第二信息点的第二图像的相似度，其实质是比较第一图像的影像特征与第二图像的影像特征，以确定第一图像与第二图像是否相似。

具体的，图2是信息点识别方法的实现框架示意图，如图2所示，所述文本语义相似度可以采用基于注意力机制的深度语义匹配模型来确定。所述基于注意力机制的深度语义匹配模型可以采用孪生网络结构，左右子网络对称，左边子网络用于基于第一信息点的名称信息提取所述第一信息点的文本语义特征，右边子网络用于基于所述第二信息点的名称信息提取所述第二信息点的文本语义特征。

之后，基于拼接模块将第一信息点的文本语义特征与第二信息点的文本语义特征进行连接，并输入至逻辑回归模型进行分类，最终得到所述文本语义相似度。

其中，在特征表征上，所述文本语义相似度可以为一个归一化至0至1的浮点型数值，得分越小，则代表第一信息点的名称与第二信息点的名称越不相似，否则，则代表第一信息点的名称与第二信息点的名称越相似。

所述地址相似度可以通过地址解析和地址比较来确定，可以将第一信息点的地址信息和第二信息点的地址信息输入至地址解析器，所述地址解析器可以基于汉语词汇分析(Lexical Analysis of Chinese，LAC)的命名实体识别技术来进行地址解析的，得到第一信息点的地址解析结果和第二信息点的地址解析结果，并输入至地址比较器中，最终输出两个信息点的地址相似度。

其中，地址解析结果中，每个地址标签均代表一定的含义，如图2所示，CIT代表城市，DIS代表区县，ROAD代表道路，SITE代表门牌号或者楼层号。在特征表征上，在两个信息点均有精确地址的情况下，若道路名、门牌号和楼层号中至少有一个不相同，则可以表示两个信息点的地址不同，地址相似度可以用数值1来表示，若道路名、门牌号和楼层号全部相同，则表示两个信息点的地址相同，地址相似度可以用数值0来表示。而在有至少一个信息点没有精确地址的情况下，两个信息点的地址相似度未知，可以用其他数值表征，如数值2表征，这里不做具体限定。

所述图像相似度可以通过提取第一图像的影像特征和第二图像的影像特征，并通过计算第一图像的影像特征和第二图像的影像特征之间的余弦相似度，来确定所述图像相似度。

其中，第一图像的影像特征和第二图像的影像特征可以为归一化的影像特征，相应的，在特征表达上，所述图像相似度可以为一个归一化至0至1的浮点型数值，所述第一图像的影像特征和第二图像的影像特征之间的余弦相似度越小，得分越大，则代表第一图像与第二图像越相似，否则，所述第一图像的影像特征和第二图像的影像特征之间的余弦相似度越大，得分越小，则代表第一图像与第二图像越不相似。

另外，图2中仅示例了采用地址相似度、文本语义相似度和图像相似度来进行信息点识别，在其他示例中，还可以结合空间相似度、电话相似度和标签相似度共同来进行信息点识别。

所述空间相似度可以通过计算第一信息点与第二信息点之间的距离来确定，具体的，基于所述第一信息点的位置信息和第二信息点的位置信息，可以计算所述第一信息点与第二信息点之间的欧式距离，该欧式距离即为第一信息点与第二信息点之间的绝对距离，基于该绝对距离进行归一化之后，即可得到空间相似度。

在实际应用中，根据相同距离远近判断两个信息点是否属于同一空间实体的概念可能不一样，比如，距离300米的同名公园很可能是同一个，距离300米的同名连锁品牌店，有可能是一个，也有可能是两个，而距离300米的厕所，很可能不是同一个。在进行信息点链指如搜索300米内的同名公园时，采用统一的召回距离可能会导致漏召回或者误召回，因此，可以对不同分类类别的信息点设置不同的召回距离。

不同分类类别的信息点的召回距离示例可以如下表1所示。

表1部分分类类别的信息点的召回距离表

美食；小吃快餐店	酒店；星级酒店	休闲娱乐；休闲广场	旅游景点；动物园
				200米	500米	1000米	5000米

另外，距离对于链指结果(链指结果可以称之为召回结果或搜索结果)的影响应该是非线性的，小于某个取值区间其链指结果都是相同的，大于某个取值区间其链指结果都是不同的，而处于中间的取值区间其链指结果会逐渐变化。

因此，在计算空间相似度时，可以基于两个信息点的标签信息查询这两个信息点分别所预先设置的召回距离，并基于这两个信息点对应的召回距离对该绝对距离进行归一化时，以计算两个信息点的相对距离，该相对距离即为这两个信息点的空间相似度。

在一可选实施方式中，可以采用动态sigmoid函数进行归一化，动态sigmoid函数如公式(1)所示：

其中，上式(1)中，y即为空间相似度，大小区间为[0,1]，d表示第一信息点与第二信息点之间的绝对距离，n表示这两个信息点对应的召回距离。

在所述第一信息点与第二信息点的分类类别即标签信息相同的情况下，其召回距离为第一信息点或第二信息点的分类类别对应的召回距离，在所述第一信息点与第二信息点的分类类别不同的情况下，其召回距离可以为两个信息点的两个召回距离的均值。比如，第一信息点的分类类别为酒店，其召回距离为500米，第二信息点的分类类别为休闲娱乐，其召回距离为1000米，则召回距离n即可以为750米。

在特征表达上，空间相似度越小，则表示空间距离越近，空间相似度越大，则表示空间距离越远。

所述标签相似度主要是根据线上的链指关系统计得出的，其可以包括不同、相似和相同三个不同的层级。

不同代表这两个分类类别的信息点极少出现在同一个链指聚合组中；相似代表这两个分类类别的信息点有一定的概率出现在同一链指聚合组中；相同代表这两个分类类别的信息点绝大部分在同一链指聚合组中共现。其中，链指聚合组指的是将相同的信息点聚合在一起，以方便召回。

在特征表达上，在两个信息点的标签信息相同的情况下，可以用数值2表征，在两个信息点的标签信息相似的情况下，可以用数值1表征，在两个信息点的标签信息相同的情况下，可以用数值2表征。另外，当至少有一个信息点的标签信息为空而无法比较的情况下，标签相似度可以用数值-1表征。

所述电话相似度可以通过电话解析和电话比较两个基本流程来完成。电话解析负责根据标点符号或空格符号将信息点对应的联系电话解析成为多个结构化电话，电话比较负责将多个结构化电话组装成为电话对，并分别比较，只要有一个电话对比较结果相同代表两个信息点的联系电话相同，否则代表信息点的联系电话不同。

在特征表征上，在两个信息点的联系电话相同的情况下，电话相似度可以用数值0表征，在两个信息点的联系电话不同的情况下，电话相似度可以用数值1表征。

步骤S103：基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

该步骤中，可以基于所述文本相似度和图像相似度综合判断第一信息点与第二信息点是否为同一信息点。

相关技术中，通常只根据文本相似度来判断第一信息点与第二信息点是否为同一信息点，这样会存在文字表达相同或相似，两个信息点完全不同的情况，以及文字表达不太相同或者相似，但是两个信息点完全一样的情况，因此，仅根据文本相似度来判断第一信息点与第二信息点是否为同一信息点，会存在信息点识别准确率比较低的问题。

比如，信息点1：多祝汤粉冷粉，信息点2：多祝汤粉冷粉，这两个信息点的名称相同，仅通过文本信息去识别信息点，可以认为其是两个相同的信息点，然而，这两个信息点的招牌图像不同，因此，可以通过这两个信息点的招牌图像确定其是不同的信息点，提高信息点识别准确率。

又比如，信息点1：益津商贸，信息点2：益津车行，这两个信息点的名称相似，仅通过文本信息去识别信息点，可以认为是相同的信息点，然而，这两个信息点的招牌图像不同，因此，可以通过这两个信息点的招牌图像确定其是不同的信息点，提高信息点识别准确率。

还比如，信息点1：晨光文具(金子轩店)，信息点2：金子轩文具，这两个信息点的名称不太相同或者相似，仅通过文本信息去识别信息点，可以认为是两个不同的信息点，然而，这两个信息点的招牌图像完全相同，因此，可以通过这两个信息点的招牌图像确定其是相同的信息点，提高信息点识别准确率。

本实施例中，基于所述文本相似度和图像相似度综合判断第一信息点与第二信息点是否为同一信息点，可以解决文字表达相同或相似，两个信息点不同的问题，以及解决文字表达不太相同或相似，但两个信息点相同的问题。

具体的，在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，可以确定所述第一信息点与第二信息点为同一信息点。其中，所述第一阈值以上的图像相似度表征两个信息点的招牌图像在一定程度上相似，也就是说，若两个信息点的文字表达相同或相似，且两个信息点的招牌图像在一定程度上相似，则确定第一信息点与第二信息点为同一信息点。

在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点。其中，所述第二阈值以上的图像相似度表征两个信息点的招牌图像相同，也就是说，若两个信息点的文字表达不太相同或相似，但是两个信息点的招牌图像非常相同，则通过两个信息点的招牌图像可以确定第一信息点与第二信息点为同一信息点。

所述第二阈值大于第一阈值，即所述第二阈值的图像相似度相对于所述第一阈值的图像相似度，其两个信息点的招牌图像的相似程度更高。

在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。其中，所述第三阈值以下的图像相似度表征两个信息点的招牌图像完全不同，也就是说，只要两个信息点的招牌图像完全不同，不管两个信息点的文字表达相同还是不相同，则通过两个信息点的招牌图像可以确定第一信息点与第二信息点为不同信息点。

所述第一阈值大于所述第三阈值，即所述第一阈值的图像相似度相对于所述第三阈值的图像相似度，其两个信息点的招牌图像的相似程度更高。

另外，在所述文本相似度仅包括文本语义相似度的情况下，若所述文本语义相似度大于预设阈值，则所述文本相似度可以表征所述第一信息点与第二信息点为同一信息点。否则表征所述第一信息点与第二信息点为不同信息点。

在所述文本相似度除了包括文本语义相似度之外，还包括标签相似度、空间相似度、地址相似度以及电话相似度中至少一项的情况下，若所述文本语义相似度大于预设阈值，且标签相似度表征两个信息点相同或相似，或地址相似度表征两个信息点的地址相同，或空间相似度表征两个信息点的距离比较近，或电话相似度表征两个信息点相同，则所述文本相似度可以表征所述第一信息点与第二信息点为同一信息点。否则表征所述第一信息点与第二信息点为不同信息点。

在实际应用中，如图2所示，可以将文本相似度和图像相似度输入至目标模型，并输出识别结果，识别结果可以包括两个信息点为同一信息点和两个信息点为不同信息点两种情况。其中，该目标模型可以称之为多模态的信息点链指模型，多模态的信息点链指模型指的是通过多种形式的信息如通过文本形式的信息和图像形式的信息，来识别两个信息点是否为同一信息点，以召回相同的信息点或者不同信息点。

本实施例中，通过基于文本相似度和图像相似度综合判断第一信息点与第二信息点是否为同一信息点，可以解决文字表达相同或相似，两个信息点不同的问题，以及解决文字表达不太相同或相似，但两个信息点相同的问题，如此，可以提高信息点识别的准确率。并且，在信息点链指应用场景中，还可以提高信息点链指的召回率。

可选的，所述基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度，包括：

对所述第一图像进行特征提取，得到所述第一信息点的影像特征；并对所述第二图像进行特征提取，得到所述第二信息点的影像特征；

基于所述第一信息点的影像特征和所述第二信息点的影像特征，确定所述第一信息点和第二信息点的图像相似度。

本实施方式中，可以对第一图像进行特征提取，得到第一信息点的影像特征，并对所述第二图像进行特征提取，得到第二信息点的影像特征。其中，信息点的影像特征可以表征信息点的招牌图像的语义信息和纹理细节信息。

具体的，可以通过度量学习的残差网络Resnet图像特征提取器，分别对所述第一图像和所述第二图像进行特征提取，输出这两个信息点的影像特征，其可以均是长度为256的浮点型特征向量，且该浮点型特征向量可以为归一化的特征向量。

其中，度量学习的Resnet图像特征提取器在训练时的最终目的是在相同特征空间中，同一类别的样本具有较小的特征距离，而不同类别的样本具有较大的特征距离，同一类别的样本指的是属于同一信息点的样本，不同类别的样本指的是属于不同信息点的样本。

由于信息点的影像特征可以表征信息点的招牌图像的语义信息和纹理细节信息，因此，通过比较所述第一信息点的影像特征和所述第二信息点的影像特征，可以确定第一信息点与所述第二信息点的图像相似度。

具体的，可以计算第一信息点的影像特征和所述第二信息点的影像特征的余弦相似度，基于该余弦相似度，可以确定所述图像相似度。其中，该余弦相似度与所述图像相似度呈反比，即余弦相似度的数值越小，图像相似度的数值则越大，表征第一信息点与第二信息点的招牌图像越相似，否则越不相似。

本实施方式中，通过对所述第一图像进行特征提取，得到所述第一信息点的影像特征；并对所述第二图像进行特征提取，得到所述第二信息点的影像特征；如此，可以基于所述第一信息点的影像特征和所述第二信息点的影像特征，确定所述第一信息点和第二信息点的图像相似度，其图像相似度的确定方式简单。

可选的，所述对所述第一图像进行特征提取，得到所述第一信息点的影像特征，包括：

对所述第一图像中所述第一信息点的招牌进行检测，得到所述第一图像中所述第一信息点的招牌区域；

对所述第一图像中所述招牌区域的图像内容进行特征提取，得到所述第一信息点的影像特征。

本实施方式中，所述第一图像中不仅包括所述第一信息点的招牌，还可能包括其他信息点的招牌内容，为了提高信息点的影像特征表征的准确性，可以对所述第一图像中所述第一信息点的招牌进行检测，得到所述第一图像中所述第一信息点的招牌区域。其中，可以利用Mask RCNN或Faster RCNN等目标检测算法提取第一图像中的招牌区域。

之后，可以对所述第一图像中所述招牌区域的图像内容进行特征提取，得到所述第一信息点的影像特征，如此，可以提高信息点的影像特征表征的准确性。

可选的，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点，包括：

在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，

在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，

在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。

本实施方式中，在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，可以确定所述第一信息点与第二信息点为同一信息点。其中，所述第一阈值以上的图像相似度表征两个信息点的招牌图像在一定程度上相似，也就是说，若两个信息点的文字表达相同或相似，且两个信息点的招牌图像在一定程度上相似，则确定第一信息点与第二信息点为同一信息点。

在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点。其中，所述第二阈值以上的图像相似度表征两个信息点的招牌图像相同，也就是说，若两个信息点的文字表达不太相同或相似，但是两个信息点的招牌图像非常相同，则通过两个信息点的招牌图像可以确定第一信息点与第二信息点为同一信息点。

所述第二阈值大于第一阈值，即所述第二阈值的图像相似度相对于所述第一阈值的图像相似度，其两个信息点的招牌图像的相似程度更高。

在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。其中，所述第三阈值以下的图像相似度表征两个信息点的招牌图像完全不同，也就是说，只要两个信息点的招牌图像完全不同，不管两个信息点的文字表达相同还是不相同，则通过两个信息点的招牌图像可以确定第一信息点与第二信息点为不同信息点。

所述第一阈值大于所述第三阈值，即所述第一阈值的图像相似度相对于所述第三阈值的图像相似度，其两个信息点的招牌图像的相似程度更高。

本实施方式中，通过在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点；在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。如此，可以解决文字表达相同或相似，两个信息点不同的问题，以及解决文字表达不太相同或相似，但两个信息点相同的问题，从而可以提高信息点识别的准确率。

可选的，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点之前，还包括：

分别获取所述第一信息点与所述第二信息点的名称信息和标签信息，以及获取所述第一信息点与第二信息点之间的距离；

所述文本相似度包括文本语义相似度，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点，还包括以下至少一项：

在所述图像相似度小于所述第一阈值的情况下，基于目标信息和所述文本语义相似度，确定所述第一信息点与第二信息点是否为同一信息点；其中，所述目标信息包括所述第一信息点与所述第二信息点的名称信息，所述第一信息点与所述第二信息点的标签信息，以及所述距离中至少一项；

在所述图像相似度小于所述第一阈值的情况下，基于所述第一信息点与所述第二信息点的名称信息和所述距离，确定所述第一信息点与第二信息点是否为同一信息点。

本实施方式中，由于在实际中广泛存在同一信息点多个招牌图像的情况，因此，招牌图像的影像特征不同，并不能保证是两个不同的信息点。为保证在信息点链指应用场景下的关联召回率不降低，即召回相似的信息点的数量不降低，可以在图像相似度表征两个信息点的招牌图像不相似的情况下，基于这两个信息点的相关信息对识别结果进行纠正。

具体的，在确定识别结果之前，可以分别获取所述第一信息点与所述第二信息点的名称信息和标签信息，以及获取所述第一信息点与第二信息点之间的距离。

其中，信息点的名称信息可以为信息点的全称，也可以为信息点全称中的核心词，这里不做具体限定，可以通过信息点成分分析模型如命名实体识别模型提取信息点全称中的核心词。信息点的标签信息可以包括一级至多级标签，如所述第一信息点为一家商务酒店，可以包括两级标签，一级标签可以为休闲娱乐，二级标签可以为酒店。所述第一信息点与第二信息点之间的距离可以为绝对距离。

所述文本相似度可以包括文本语义相似度，其具体的纠正策略为：

纠正策略1：在所述文本语义相似度大于或等于第四阈值(如大于或等于0.8)，且所述第一信息点的名称信息与第二信息点的名称信息匹配，且所述第一信息点与第二信息点之间的距离小于或等于第五阈值(如小于或等于80米)，且所述第一信息点与第二信息点的一级标签相同的情况下，确定所述第一信息点与第二信息点为同一信息点，否则确定所述第一信息点与第二信息点为不同信息点。

纠正策略2：在所述文本语义相似度大于或等于第四阈值，且所述第一信息点的名称信息与第二信息点的名称信息匹配，且所述第一信息点与第二信息点之间的距离大于第五阈值且小于或等于第六阈值(如大于80米且小于或等于160米)，且所述第一信息点与第二信息点的一级标签和二级标签均相同的情况下，确定所述第一信息点与第二信息点为同一信息点，否则确定所述第一信息点与第二信息点为不同信息点。

其中，所述第一信息点的名称信息与第二信息点的名称信息匹配包括两个信息点的名称相同或相似，或者两个信息点全称中的核心词相同或相似。

纠正策略3：在所述第一信息点的名称信息与第二信息点的名称信息分别按照预设格式进行统一后两个信息点的名称完全相同，且所述第一信息点与第二信息点之间的距离小于或等于第七距离(如小于或等于60米)，则确定所述第一信息点与第二信息点为同一信息点，否则确定所述第一信息点与第二信息点为不同信息点。

纠正策略4：针对一级标签为金融类，若两个信息点的文本语义相似度小于第八阈值(如小于0.5)，则将这两个信息点的图像相似度判定与所述文本语义相似度的得分一致，相应的，确定所述第一信息点与第二信息点为不同信息点。比如，第一信息点为银行，第二信息点为信用卡中心，所述第一信息点的招牌图像与第二信息点的招牌图像完全相同，由于这两个信息点的文本语义相似度不同，且这两个信息点的一级标签为金融类，因此，确定这两个信息点为不同信息点。

本实施方式中，通过在所述图像相似度小于所述第一阈值的情况下，基于目标信息和所述文本语义相似度，确定所述第一信息点与第二信息点是否为同一信息点；在所述图像相似度小于所述第一阈值的情况下，基于所述第一信息点与所述第二信息点的名称信息和所述距离，确定所述第一信息点与第二信息点是否为同一信息点。如此，在两个信息点的招牌图像不太相同的情况下，可以基于这两个信息点的其他信息对这两个信息点进行识别结果纠正，可以召回招牌图像不太相同但是属于同一信息点的一些信息点，因此可以保证在信息点链指应用场景下的关联召回率不降低。

另外，针对信息点识别方法中用到的模型如多模态的信息点链指模型需要预先训练，其训练样本量级可以为上万级别如49.5w，其中，正负例配比可以为1:1，即正例样本可以和负例样本数量相等，来源方数据和发布数据配比可以为1:1，训练样本构建主要来源于人工标记，即人工标记是同一信息点还是不同信息点，单模态的信息点链指模型的训练特征样本和招牌图像特征库。训练之后，即可以基于多模态的信息点链指模型进行信息点识别。

另外，在信息点链指应用场景中，为了验证多模态的信息点链指模型相对于单模态的信息点链指模型的对比效果，黑盒测试效果如下表2所示。

表2多模态的信息点链指模型与单模态的信息点链指模型的对比效果表

模型	新增准确率	新增召回率	新增f1	关联准确率	关联召回率	关联f1
							多模态	0.99580	0.95565	0.97531	0.98795	0.98498	0.98647
单模态	0.99569	0.93246	0.96304	0.98696	0.98498	0.98597

其中，上表2中，新增准确率指的是召回的不相似的信息点中正确召回的信息点，新增召回率指的是召回的不相似的信息点与目标所需要召回的不相似的信息点的比例，新增f1为新增调和平均值，其是基于新增准确率和新增召回率确定。关联准确率指的是召回的相似的信息点中正确召回的信息点，关联召回率指的是召回的相似的信息点与目标所需要召回的相似的信息点的比例，关联f1为关联调和平均值，其是基于关联准确率和关联召回率确定。

从上表2可以看出，多模态的信息点链指模型相对于单模态的信息点链指模型，其新增召回率的增长非常显著，新增召回率增长2.3％，新增准确率增长0.01％，新增f1增长1.2％，关联准确率增长0.1％，关联f1增长0.05％。

第二实施例

如图3所示，本申请提供一种信息点识别装置300，包括：

第一获取模块301，用于获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；

第一确定模块302，用于基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；

第二确定模块303，用于基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；

第三确定模块304，用于基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

可选的，其中，所述第二确定模块303包括：

第一特征提取单元，用于对所述第一图像进行特征提取，得到所述第一信息点的影像特征；

第二特征提取单元，用于对所述第二图像进行特征提取，得到所述第二信息点的影像特征；

第一确定单元，用于基于所述第一信息点的影像特征和所述第二信息点的影像特征，确定所述第一信息点和第二信息点的图像相似度。

可选的，其中，所述第一特征提取单元，具体用于对所述第一图像中所述第一信息点的招牌进行检测，得到所述第一图像中所述第一信息点的招牌区域；对所述第一图像中所述招牌区域的图像内容进行特征提取，得到所述第一信息点的影像特征。

可选的，其中，所述第三确定模块304包括：

第二确定单元，用于在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。

可选的，还包括：

第二获取模块，用于分别获取所述第一信息点与所述第二信息点的名称信息和标签信息，以及获取所述第一信息点与第二信息点之间的距离；

所述文本相似度包括文本语义相似度，所述第三确定模块还包括：

第三确定单元，用于在所述图像相似度小于所述第一阈值的情况下，基于目标信息和所述文本语义相似度，确定所述第一信息点与第二信息点是否为同一信息点；其中，所述目标信息包括所述第一信息点与所述第二信息点的名称信息，所述第一信息点与所述第二信息点的标签信息，以及所述距离中至少一项；

第四确定单元，用于在所述图像相似度小于所述第一阈值的情况下，基于所述第一信息点与所述第二信息点的名称信息和所述距离，确定所述第一信息点与第二信息点是否为同一信息点。

本申请提供的信息点识别装置300能够实现上述信息点识别方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图4所示，是根据本申请实施例的信息点识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的信息点识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的信息点识别方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的信息点识别方法对应的程序指令/模块(例如，附图3所示的第一获取模块301、第一确定模块302、第二确定模块303和第三确定模块304)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信息点识别方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本申请实施例的信息点识别方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至信息点识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例的信息点识别方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与本申请实施例的信息点识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。

本实施例中，通过基于文本相似度和图像相似度综合判断第一信息点与第二信息点是否为同一信息点，可以解决文字表达相同或相似，两个信息点不同的问题，以及解决文字表达不太相同或相似，但两个信息点相同的问题，如此，可以提高信息点识别的准确率。因此，根据本申请实施例的技术方案，很好地解决了信息点识别技术存在的识别准确率比较低的问题。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种信息点识别方法，包括：

获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；

基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；并基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；

基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

2.根据权利要求1所述的方法，其中，所述基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度，包括：

对所述第一图像进行特征提取，得到所述第一信息点的影像特征；并对所述第二图像进行特征提取，得到所述第二信息点的影像特征；

基于所述第一信息点的影像特征和所述第二信息点的影像特征，确定所述第一信息点和第二信息点的图像相似度。

3.根据权利要求2所述的方法，其中，所述对所述第一图像进行特征提取，得到所述第一信息点的影像特征，包括：

对所述第一图像中所述第一信息点的招牌进行检测，得到所述第一图像中所述第一信息点的招牌区域；

对所述第一图像中所述招牌区域的图像内容进行特征提取，得到所述第一信息点的影像特征。

4.根据权利要求1所述的方法，其中，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点，包括：

在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，

在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，

在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。

5.根据权利要求4所述的方法，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点之前，还包括：

分别获取所述第一信息点与所述第二信息点的名称信息和标签信息，以及获取所述第一信息点与第二信息点之间的距离；

所述文本相似度包括文本语义相似度，所述基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点，还包括以下至少一项：

在所述图像相似度小于所述第一阈值的情况下，基于目标信息和所述文本语义相似度，确定所述第一信息点与第二信息点是否为同一信息点；其中，所述目标信息包括所述第一信息点与所述第二信息点的名称信息，所述第一信息点与所述第二信息点的标签信息，以及所述距离中至少一项；

在所述图像相似度小于所述第一阈值的情况下，基于所述第一信息点与所述第二信息点的名称信息和所述距离，确定所述第一信息点与第二信息点是否为同一信息点。

6.一种信息点识别装置，包括：

第一获取模块，用于获取第一信息点的第一文本信息和第一图像，以及获取第二信息点的第二文本信息和第二图像；

第一确定模块，用于基于所述第一文本信息和第二文本信息，确定所述第一信息点与第二信息点的文本相似度；

第二确定模块，用于基于所述第一图像和第二图像，确定所述第一信息点与第二信息点的图像相似度；

第三确定模块，用于基于所述文本相似度和图像相似度，确定所述第一信息点与第二信息点是否为同一信息点。

7.根据权利要求6所述的装置，其中，所述第二确定模块包括：

第一特征提取单元，用于对所述第一图像进行特征提取，得到所述第一信息点的影像特征；

第二特征提取单元，用于对所述第二图像进行特征提取，得到所述第二信息点的影像特征；

第一确定单元，用于基于所述第一信息点的影像特征和所述第二信息点的影像特征，确定所述第一信息点和第二信息点的图像相似度。

8.根据权利要求7所述的装置，其中，所述第一特征提取单元，具体用于对所述第一图像中所述第一信息点的招牌进行检测，得到所述第一图像中所述第一信息点的招牌区域；对所述第一图像中所述招牌区域的图像内容进行特征提取，得到所述第一信息点的影像特征。

9.根据权利要求6所述的装置，其中，所述第三确定模块包括：

第二确定单元，用于在所述图像相似度大于或等于第一阈值、且所述文本相似度表征所述第一信息点与第二信息点为同一信息点的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，在所述文本相似度表征所述第一信息点与第二信息点为不同信息点、且所述图像相似度大于或等于第二阈值的情况下，确定所述第一信息点与第二信息点为同一信息点；或者，在所述图像相似度小于第三阈值的情况下，确定所述第一信息点与第二信息点为不同信息点。

10.根据权利要求9所述的装置，还包括：

第二获取模块，用于分别获取所述第一信息点与所述第二信息点的名称信息和标签信息，以及获取所述第一信息点与第二信息点之间的距离；

所述文本相似度包括文本语义相似度，所述第三确定模块还包括：

第三确定单元，用于在所述图像相似度小于所述第一阈值的情况下，基于目标信息和所述文本语义相似度，确定所述第一信息点与第二信息点是否为同一信息点；其中，所述目标信息包括所述第一信息点与所述第二信息点的名称信息，所述第一信息点与所述第二信息点的标签信息，以及所述距离中至少一项；

第四确定单元，用于在所述图像相似度小于所述第一阈值的情况下，基于所述第一信息点与所述第二信息点的名称信息和所述距离，确定所述第一信息点与第二信息点是否为同一信息点。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

Images