CN111143534A - 基于人工智能的品牌名的提取方法、装置及存储介质 - Google Patents
基于人工智能的品牌名的提取方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111143534A CN111143534A CN201911365977.2A CN201911365977A CN111143534A CN 111143534 A CN111143534 A CN 111143534A CN 201911365977 A CN201911365977 A CN 201911365977A CN 111143534 A CN111143534 A CN 111143534A
- Authority
- CN
- China
- Prior art keywords
- text data
- vector
- name text
- coding
- brand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于人工智能的品牌名的提取方法、装置、电子设备及存储介质;方法包括:对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。通过本发明,能够自动并准确地提取文本中的品牌名,并提高品牌名提取过程的泛化性能。
Description
技术领域
本发明涉及人工智能技术,尤其涉及一种基于人工智能的品牌名的提取方法、装置、电子设备及存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,例如自然语言处理技术以及机器学习/深度学习等几大方向,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,能实现人与计算机之间用自然语言进行有效通信。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,该领域将涉及自然语言,即人们日常使用的语言,所以它与语言学有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
品牌名提取系统是自然语言处理领域的重要应用之一,品牌名提取系统是指在文本中抽取各品牌名实体,品牌名提取系统在地图搜索系统、电子支付系统、智能硬件等中都有广泛的应用,即品牌名提取系统是这些复杂系统的基础组件。
但是,品牌名提取系统主要依赖于采集兴趣点(POI,Point of Interest)数据、人工标注特征以及规则,从而根据POI数据、人工标注特征以及规则提取品牌名,即获得品牌名的成本极高、且泛化性能差。
发明内容
本发明实施例提供一种基于人工智能的品牌名的提取方法、装置、电子设备及存储介质,能够自动并准确地提取文本中的品牌名,并提高品牌名提取过程的泛化性能。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种基于人工智能的品牌名的提取方法,所述方法包括:
对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;
对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;
基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并
根据提取到的品牌名构建品牌名词库。
本发明实施例提供一种基于人工智能的品牌名的提取装置,所述装置包括:
编码模块,用于对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;
第一处理模块,用于对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
第二处理模块,用于对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;
提取模块,用于基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并
根据提取到的品牌名构建品牌名词库。
上述技术方案中,所述装置还包括:
匹配模块,用于对商户名文本数据进行正则匹配处理,得到匹配结果;
所述编码模块还用于当所述匹配结果表征对商户名文本数据正则匹配失败时,通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量。
上述技术方案中,所述提取模块还用于当所述匹配结果表征对商户名文本数据正则匹配成功时,对所述商户名文本数据进行分割,得到所述商户名文本数据中的品牌名,并将所述品牌名加入品牌名词库。
上述技术方案中,所述编码模块还用于通过品牌名提取模型中的向量模型对商户名文本数据中的每个字进行编码处理,得到对应所述商户名文本数据的字向量;或者,
通过品牌名提取模型中的向量模型对商户名文本数据中的每个词语进行编码处理,得到对应所述商户名文本数据的词向量。
上述技术方案中,所述第一处理模块还用于通过品牌名提取模型中的预测模型对所述编码向量进行前向编码处理,得到对应所述商户名文本数据的前向隐向量;
对所述编码向量进行后向编码处理,得到对应所述商户名文本数据的后向隐向量;
对所述前向隐向量以及所述后向隐向量进行融合处理,得到包含上下文信息的编码信息。
上述技术方案中,所述第一处理模块还用于通过所述品牌名提取模型中的预测模型对所述编码向量中的各向量依次按照第一方向进行编码处理,得到所述各向量在所述第一方向的隐向量;
对所述编码向量中的各向量依次按照第二方向进行编码处理,得到所述各向量在所述第二方向的隐向量;
对所述前向隐向量以及所述后向隐向量进行拼接处理,得到包含上下文信息的编码信息;
其中,所述第二方向为所述第一方向的反方向。
上述技术方案中,所述第一处理模块还用于通过所述品牌名提取模型中的预测模型对所述编码向量中的第i向量按照第一方向进行编码处理,得到所述第i向量在所述第一方向的第i隐向量;
对所述编码向量中的第i向量按照第二方向进行编码处理,得到所述第i向量在所述第二方向的第i隐向量;
将所述第i向量在所述第一方向的第i隐向量、所述第i向量在所述第二方向的第i隐向量进行拼接处理,得到包含上下文信息的第i编码信息;
其中,0<i≤N,且i、N为正整数,N为所述编码向量中向量的总数目。
上述技术方案中,所述第二处理模块还用于根据约束条件,对所述包含上下文信息的编码信息进行路径规划,得到所述商户名文本数据对应各路径的概率;
将最大路径概率值对应的标签确定为对应所述商户名文本数据的预测标签。
上述技术方案中,所述包含上下文信息的编码信息为所述商户名文本数据中每个字对应各标签的概率,
所述第二处理模块还用于对所述商户名文本数据中每个字对应的各标签进行排列组合,得到多个对应所述商户名文本数据的路径;
根据在所述路径下的所述商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到所述商户名文本数据对应所述路径的概率。
上述技术方案中,所述第二处理模块还用于将所述路径下的所述商户名文本数据中每个字对应标签的概率相加,得到所述路径的第一概率;
将所述路径下的所述商户名文本数据中相邻标签的转移概率相加,得到所述路径的第二概率;
将所述路径的第一概率与所述路径的第二概率相加,得到所述商户名文本数据对应所述路径的概率。
上述技术方案中,所述提取模块还用于确定所述对应所述商户名文本数据的预测标签中表征实体的实体标签;
根据所述实体标签,提取所述商户名文本数据中的品牌名;
其中,所述实体标签的类型包括:单字实体标签;实体前标签和实体后标签的组合;实体前标签、实体中标签和实体后标签的组合。
上述技术方案中,所述装置还包括:
训练模块,用于通过品牌名提取模型中的向量模型对商户名训练样本进行编码处理,得到对应所述商户名训练样本的编码向量;
通过所述品牌名提取模型中的预测模型对所述训练样本的编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名训练样本的预测标签的概率;
根据所述对应所述商户名训练样本的预测标签的概率,构建所述品牌名提取模型的损失函数;
更新所述品牌名提取模型的参数直至所述损失函数收敛。
本发明实施例提供一种基于人工智能的品牌名的提取设备,所述设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的基于人工智能的品牌名的提取方法。
本发明实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的基于人工智能的品牌名的提取方法。
本发明实施例具有以下有益效果:
通过对商户名文本数据的编码向量进行上下文融合处理,使得编码信息包含上下文信息,即编码信息融合上下文信息,有助于后续提取准确的品牌名;通过对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签,使得对应商户名文本数据的预测标签考虑到标签之间的依赖关系,则根据预测标签提取到的品牌名更加准确;通过基于人工智能的品牌名的提取方法提取商户名文本数据中的品牌名并不依赖于POI数据,且不依赖于人工标注的规则,从而提高品牌名提取过程的泛化性能。
附图说明
图1是本发明实施例提供的基于人工智能的品牌名的提取系统10的应用场景示意图;
图2是本发明实施例提供的基于人工智能的品牌名的提取设备500的结构示意图;
图3是本发明实施例提供的基于人工智能的品牌名的提取装置555的结构示意图;
图4-9是本发明实施例提供的基于人工智能的品牌名的提取方法的流程示意图;
图10是本发明实施例提供的结合命名规则和BLSTM+CRF的连锁品牌名词库构建示意图;
图11是本发明实施例提供的BLSTM+CRF层神经网络结构的训练过程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)POI数据:一个POI为一个兴趣点,例如,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。每个POI数据包含四方面信息,分别为名称、类别、坐标、分类。例如,全面的POI数据是丰富导航地图的必备资讯,及时的POI数据能提醒用户路况的分支及周边建筑的详尽信息,也能方便在导航过程中查到用户所需要的各个地方,选择最为便捷和通畅的道路来进行路径规划,因此,导航地图中POI数据的多少状况直接影响到导航的好用程度。
2)连锁品牌名:又称连锁店名,连锁店是指众多小规模的、分散的、经营同类商品和服务的同一品牌的零售店。一般情况下,连锁店的名称包括连锁品牌名和地址,例如,“AABB-新天地店”、“AABB-番禺广场店”均为“AABB”连锁店的名称。
3)正则表达式(RE,Regular Expression):又称规则表达式,一种计算机科学的概念。正则表达式通常被用来检索、替换符合某个模式(规则)的文本。正则表达式是对字符串(包括普通字符,例如,a到z之间的字母)和特殊字符(称为“元字符”)操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。正则匹配为通过正则表达式进行文本匹配。
本发明实施例记载的品牌名词库可以应用于各种领域,例如可以是地图搜索、电子支付、订餐平台、自动驾驶系统等需要使用品牌名的领域,即本发明实施例中的品牌名词库并不局限于某种领域。
为至少解决相关技术的上述技术问题,本发明实施例提供一种基于人工智能的品牌名的提取方法、装置、电子设备和存储介质,能够自动并准确地提取文本中的品牌名,并提高品牌名提取过程的泛化性能。下面说明本发明实施例提供的基于人工智能的品牌名的提取设备的示例性应用,本发明实施例提供的基于人工智能的品牌名的提取设备可以是服务器,例如部署在云端的服务器,根据其他设备或者用户提供的商户名文本数据,对该商户名文本数据进行一系列处理,提取商户名文本数据中的品牌名,并将提取到的品牌名加入品牌名词库,例如,服务器根据其他设备获得商户名文本数据,通过品牌名提取模型对该商户名文本数据进行编码、融合、路径规划等处理,提取商户名文本数据中的品牌名;也可是笔记本电脑,平板电脑,台式计算机,移动设备(例如,移动电话,个人数字助理)等各种类型的用户终端,例如手持终端,根据用户在手持终端上输入的商户名文本数据,获得商户名文本数据中的品牌名,并显示在手持终端的显示界面上。
在一个实施场景中,对于电子支付应用,在实现电子支付功能之前,需要建立品牌名词库,以便后续搜索品牌名。为了建立品牌名词库,可以对服务器或者终端输入的商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量;对编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签;基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。在建立品牌名词库后,服务器或者终端可以根据输入的品牌名,采用检索功能检索品牌名词库,以确定品牌名词库中是否存在该品牌名,当存在该品牌名时,向该品牌名进行支付操作,以实现电子支付的功能。
在一个实施场景中,对于地图搜索应用,在实现地图搜索功能之前,需要建立品牌名词库,以便后续搜索品牌名。为了建立品牌名词库,可以对服务器或者终端输入的商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量;对编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签;基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。在建立品牌名词库后,服务器或者终端可以根据输入的品牌名,采用地图搜索功能搜索品牌名词库,获得对应品牌名的路线,以实现导航的功能。
在一个实施场景中,对于订餐应用,在实现订餐功能之前,需要建立品牌名词库,以便后续搜索品牌名。为了建立品牌名词库,可以对服务器或者终端输入的商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量;对编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签;基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。在建立品牌名词库后,服务器或者终端可以根据输入的品牌名,采用检索功能检索品牌名词库,以确定品牌名词库中是否存在该品牌名,当存在该品牌名时,向该品牌名进行订餐操作,以实现订餐的功能。
在一个实施场景中,对于商户画像场景,需要建立品牌名词库,以便后续衡量商户的运营情况以及分析商户画像。为了建立品牌名词库,可以对服务器或者终端输入的商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量;对编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签;基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。在建立品牌名词库后,可以根据品牌名词库更好地衡量商户的运营情况,量化商户的经营能力,并助力风控业务,而且还可以通过识别的品牌名,反哺商户画像,助力理财、证券业务运营等,以完善商户画像。因此,构建品牌名词库在整个商户画像分析中起着至关重要的作用。
作为示例,参见图1,图1是本发明实施例提供的基于人工智能的品牌名的提取系统10的应用场景示意图,终端200通过网络300连接服务器100,网络300可以是广域网或者局域网,又或者是二者的组合。
终端200可以被用来获取商户名文本数据,例如,当用户通过输入界面输入商户名文本数据,输入完成后,终端自动获取商户名文本数据,并发送至服务器。
在一些实施例中,终端200本地执行本发明实施例提供的基于人工智能的品牌名的提取方法来完成根据商户名文本数据,得到准确的品牌名,例如,在终端200上安装应用(Application,APP),如检索品牌名APP,用户在检索品牌名APP中,输入商户名文本数据,终端200对输入的商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量;对编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签;基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,获得商户名文本数据中的品牌名,并将商户名文本数据中的品牌名显示在终端200的显示界面210上,从而实现从商户名文本中提取准确的品牌名。当提取到准确的品牌名后,还可以将提取到的品牌名输入至品牌名词库,以完善品牌名词库,以便后续根据品牌名词库检索品牌名。
在一些实施例中,终端200也可以通过网络300向服务器100发送用户在终端200上输入的商户名文本数据,并调用服务器100提供的基于人工智能的品牌名的提取功能,服务器100通过本发明实施例提供的基于人工智能的品牌名的提取方法获得商户名文本数据中的品牌名,例如,在终端200上安装检索品牌名APP,用户在检索品牌名APP中,输入商户名文本数据,终端通过网络300向服务器100发送商户名文本数据,服务器100接收到该商户名文本数据后,根据商户名文本数据进行一系列处理后,获得商户名文本数据中的品牌名,并返回品牌名至检索品牌名APP,将品牌名显示在终端200的显示界面210上,或者,服务器100直接给出品牌名。
继续说明本发明实施例提供的基于人工智能的品牌名的提取设备的结构,基于人工智能的品牌名的提取设备可以是各种终端,例如手机、电脑等,也可以是如图1示出的服务器100。
参见图2,图2是本发明实施例提供的基于人工智能的品牌名的提取设备500的结构示意图,图2所示的基于人工智能的品牌名的提取设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。基于人工智能的品牌名的提取设备500中的各个组件通过总线系统540耦合在一起。可理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
显示模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的基于人工智能的品牌名的提取装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的基于人工智能的品牌名的提取装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的基于人工智能的品牌名的提取方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Applicati on Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
在另一些实施例中,本发明实施例提供的基于人工智能的品牌名的提取装置可以采用软件方式实现,图2示出了存储在存储器550中的基于人工智能的品牌名的提取装置555,其可以是程序和插件等形式的软件,并包括一系列的模块,包括编码模块5551、第一处理模块5552、第二处理模块5553、提取模块5554、匹配模块5555以及训练模块5556;其中,编码模块5551、第一处理模块5552、第二处理模块5553、提取模块5554、匹配模块5555以及训练模块5556用于实现本发明实施例提供的基于人工智能的品牌名的提取方法。
根据上文可以理解,本发明实施例提供的基于人工智能的品牌名的提取方法可以由各种类型的基于人工智能的品牌名的提取设备实施,例如智能终端和服务器等。
下面结合本发明实施例提供的服务器的示例性应用和实施,说明本发明实施例提供的基于人工智能的品牌名的提取方法。参见图3和图4,图3是本发明实施例提供的基于人工智能的品牌名的提取装置555的结构示意图,示出了问答处理流程,图4是本发明实施例提供的基于人工智能的品牌名的提取方法的流程示意图,结合图4示出的步骤进行说明。
在步骤101中,对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量。
用户可以在终端上输入各种商户名文本数据,在输入完成后,终端将商户名文本数据发送至服务器,服务器接收到商户名文本数据后,可以对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,以便后续对编码向量进行融合处理。
作为示例,参见图3,通过基于人工智能的品牌名的提取装置555中的编码模块5551中的向量模型对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,并将对应商户名文本数据的编码向量输入至第一处理模块5552中。
参见图5,图5是本发明实施例提供的一个可选的流程示意图,在一些实施例中,图5示出图4中的步骤101之前,还包括步骤106。
在步骤106中,对商户名文本数据进行正则匹配处理,得到匹配结果。
由于有些商户名文本是具有规范格式的文本,可以优先采用正则匹配(通过正则表达式进行文本匹配,强规则匹配),从而提取品牌名,节省计算复杂度,例如商户名文本为“AABB(番禺广场店)”、“AABB-新天地店”等,其中“AABB”为品牌名,根据商户名文本的形式可以确定预设符号,例如,“AABB(番禺广场店)”为“品牌名(XXX店)”形式的商户名文本,针对“品牌名(XXX店)”形式的商户名文本,可以将符号“(”添加至预设符号中,或者,“AABB-新天地店”为“品牌名-XXX店”形式的商户名文本,针对“品牌名-XXX店”形式的商户名文本,可以将符号“-”添加至预设符号中,并根据预设符号设置正则表达式,并根据该正则表达式对各种待处理的商户名文本进行匹配,得到匹配结果,当通过正则表达式匹配到规范格式的商户名文本中的预设符号,则匹配结果表征匹配成功;当通过正则表达式未匹配到规范格式的商户名文本中的预设符号,则匹配结果表征匹配失败。
在一些实施例中,对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,包括:当匹配结果表征对商户名文本数据正则匹配失败时,通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量。
对商户名文本数据进行正则匹配处理,得到匹配结果后,当匹配结果表征对商户名文本数据正则匹配失败时,才通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,以便后续对编码向量进行融合处理。
在一些实施例中,对商户名文本数据进行正则匹配,得到匹配结果之后,还包括:当匹配结果表征对商户名文本数据正则匹配成功时,对商户名文本数据进行分割,得到商户名文本数据中的品牌名,并将品牌名加入品牌名词库。
对商户名文本数据进行正则匹配处理,得到匹配结果后,当匹配结果表征对商户名文本数据正则匹配成功时,无需通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,可以直接根据预设符号对商户名文本数据进行分割,提取到商户名文本数据中的品牌名,并将品牌名加入品牌名词库。例如,商户名文本为“AABB(番禺广场店)”,当通过正则表达式匹配到“AABB(番禺广场店)”中的预设符号“(”,则表征匹配成功,并根据“(”对“AABB(番禺广场店)”进行分割,得到品牌名“AABB”。
在一些实施例中,对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,包括:通过品牌名提取模型中的向量模型对商户名文本数据中的每个字进行编码处理,得到对应商户名文本数据的字向量;或者,通过品牌名提取模型中的向量模型对商户名文本数据中的每个词语进行编码处理,得到对应商户名文本数据的词向量。
编码向量可以是字向量,也可以是词向量。一种方式,通过品牌名提取模型中的向量模型对商户名文本数据中的每个字进行编码处理,从而得到对应商户名文本数据的字向量,后续可以针对字向量进行融合、路径规划等处理,从而得到每个字的对应的预测标签,并根据预测标签,提取品牌名,由于针对商户名文本数据中的每个字进行处理,即处理对象更加细粒,因此,提取到的品牌名更加准确。另一种方式,通过品牌名提取模型中的向量模型对商户名文本数据中的每个词语进行编码处理,从而得到对应商户名文本数据的词向量,后续可以针对词向量融合、路径规划等处理,从而得到每个词的对应的预测标签,并根据预测标签,提取品牌名,由于针对商户名文本数据中的每个词进行处理,因此,可以更加快速的提取到品牌名。
作为示例,参见图3,通过基于人工智能的品牌名的提取装置555中的匹配模块5555可以对商户名文本数据进行正则匹配处理,得到匹配结果,当匹配结果表征对商户名文本数据正则匹配失败时,将商户名文本数据输入至编码模块5551中的向量模型对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量,并将对应商户名文本数据的编码向量输入至第一处理模块5552中。
在步骤102中,对编码向量进行上下文融合处理,得到包含上下文信息的编码信息。
服务器在对商户名文本数据进行编码处理,得到对应商户名文本数据的编码向量后,还需要对编码向量进行上下文融合处理,从而得到包含上下文信息的编码信息,使得编码信息融合商户名文本数据的上下文信息,以便后续进行路径规划处理,得到准确的预测标签。
参见图6,图6是本发明实施例提供的一个可选的流程示意图,在一些实施例中,图6示出图4中的步骤102可以通过图6示出的步骤1021至步骤1023实现。
在步骤1021中,通过品牌名提取模型中的预测模型对编码向量进行前向编码处理,得到对应商户名文本数据的前向隐向量;
在步骤1022中,对编码向量进行后向编码处理,得到对应商户名文本数据的后向隐向量;
在步骤1023中,对前向隐向量以及后向隐向量进行融合处理,得到包含上下文信息的编码信息。
在服务器获得编码向量后,可以将编码向量输入至预测模型(双向长短时记忆网络(BLSTM或BiLSTM,Bidirectional Long Short-term Memory)),并通过预测模型对编码向量分别进行前向编码和后向编码处理,从而得到对应商户名文本数据的前向隐向量以及后向隐向量,并对前向隐向量以及后向隐向量进行融合处理,从而得到包含上下文信息的编码信息,其中,前向隐向量包含前向所有信息,后向隐向量包含后向所有信息。因此,融合前向隐向量以及后向隐向量后的编码信息包含商户名文本数据的所有信息。
在一些实施例中,通过品牌名提取模型中的预测模型对编码向量进行前向编码处理,得到对应商户名文本数据的前向隐向量,包括:通过品牌名提取模型中的预测模型对编码向量中的各向量依次按照第一方向进行编码处理,得到各向量在第一方向的隐向量;
对编码向量进行后向编码处理,得到对应商户名文本数据的后向隐向量,包括:对编码向量中的各向量依次按照第二方向进行编码处理,得到各向量在第二方向的隐向量;
融合前向隐向量以及后向隐向量,得到包含上下文信息的编码信息,包括:对前向隐向量以及后向隐向量进行拼接处理,得到包含上下文信息的编码信息;
其中,第二方向为第一方向的反方向,当第一方向是编码向量中的第一个向量到最后一个向量的方向,则第二方向是编码向量中的最后一个向量到第一个向量的方向;当第一方向是编码向量中的最后一个向量到第一个向量的方向,则第二方向是编码向量中的第一个向量到最后一个向量的方向。通过品牌名提取模型中的预测模型对编码向量中的各向量分别依次按照第一方向和第二方向进行编码处理,得到各向量在第一方向的隐向量以及各向量在第二方向的隐向量,并对前向隐向量以及后向隐向量进行拼接处理,得到包含上下文信息的编码信息,其中,第一方向的隐向量包含第一方向的所有信息,第二方向的隐向量包含第二方向的所有信息。因此,拼接第一方向的隐向量以及第二方向的隐向量后的编码信息包含商户名文本数据的所有信息。
在一些实施例中,通过品牌名提取模型中的预测模型对编码向量中的各向量依次按照第一方向进行编码处理,得到各向量在所述第一方向的隐向量,包括:通过品牌名提取模型中的预测模型对编码向量中的第i向量按照第一方向进行编码处理,得到第i向量在第一方向的第i隐向量;
对编码向量中的各向量依次按照第二方向进行编码处理,得到各向量在第二方向的隐向量,包括:对编码向量中的第i向量按照第二方向进行编码处理,得到第i向量在第二方向的第i隐向量;
对前向隐向量以及后向隐向量进行拼接处理,得到包含上下文信息的编码信息,包括:将第i向量在第一方向的第i隐向量、第i向量在第二方向的第i隐向量进行拼接处理,得到包含上下文信息的第i编码信息;
其中,0<i≤N,且i、N为正整数,N为编码向量中向量的总数目。当编码向量中有N个向量,则对N个向量按照第一方向进行编码,依次得到在第一方向的N个隐向量,例如对编码向量按照第一方向进行编码处理后,得到在第一方向的隐向量为{h1l,h2l,...hil...,hNl},其中,hil表示第i向量在第一方向的第i隐向量。对N个向量按照第二方向进行编码,依次得到在第二方向的N个隐向量,例如对编码向量按照第二方向进行编码处理后,得到在第二方向的隐向量为{h1r,h2r,...hir...,hNr},其中,hir表示第i向量在第二方向的第i隐向量。将在第一方向的隐向量为{h1l,h2l,...hil...,hNl}以及在第二方向的隐向量为{h1r,h2r,...hir...,hNr}进行拼接,得到包含上下文信息的编码信息{[h1l,h1r],[h2l,h2r],...[hil,hir]...,[hNl,hNr]},例如,将第i向量在第一方向的第i隐向量hil、第i向量在第二方向的第i隐向量hir进行拼接处理,得到包含上下文信息的第i编码信息{hil,hir}。为了节约计算过程,由于第一方向的最后一个隐向量包含第一方向的大部分信息、第二方向的最后一个隐向量包含第二方向的大部分信息,因此,可以直接对第一方向的最后一个隐向量以及第二方向的最后一个隐向量进行融合,得到包含上下文信息的编码信息。
作为示例,参见图3,通过预测模型中的第一处理模块5552可以对编码向量进行上下文融合处理,得到包含上下文信息的编码信息,并将包含上下文信息的编码信息输入至第二处理模块5553中。
在步骤103中,对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签。
服务器在得到了包含上下文信息的编码信息后,可以直接根据包含上下文信息的编码信息得到商户名文本数据的预测标签,例如,“喜”对应标签“实体前”的概率为0.7、对应标签“单字实体”的概率为0.1、对应标签“非实体”的概率为0.1、对应标签“实体后”的概率为0.1,则确定“喜”对应的预测标签为“实体前”。由于直接根据包含上下文信息的编码信息得到商户名文本数据的预测标签没有考虑预测标签之间的关系,因此,可以通过对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签,从而通过路径规划考虑预测标签之间的关系。即包含上下文信息的编码信息为商户名文本数据中每个字对应各标签的概率,可以将每个字对应各标签的最大概率对应的标签确定为预测便签。
参见图7,图7是本发明实施例提供的一个可选的流程示意图,在一些实施例中,图7示出图4中的步骤103可以通过图7示出的步骤1031至步骤1032实现。
在步骤1031中,根据约束条件,对包含上下文信息的编码信息进行路径规划,得到商户名文本数据对应各路径的概率;
在步骤1032中,将最大路径概率值对应的标签确定为对应商户名文本数据的预测标签。
为了考虑预测标签之间的关系,可以根据预设的约束条件,对包含上下文信息的编码信息进行路径规划,从而得到商户名文本数据对应各路径的概率,并将最大路径概率值对应的标签确定为对应商户名文本数据的预测标签,例如,商户名文本数据为“AB新天地店”,最大路径概率值对应的标签为“实体前”、“实体后”、“非实体字”、“非实体字”、“非实体字”和“非实体字”,则“A”对应预测标签“实体前”、“B”对应预测标签“实体后”、“新”对应预测标签“非实体字”、“天”对应预测标签“非实体字”、“地”对应预测标签“非实体字”、以及“店”对应预测标签“非实体字”。
在一些实施例中,包含上下文信息的编码信息为商户名文本数据中每个字对应各标签的概率,根据约束条件,对包含上下文信息的编码信息进行路径规划,得到商户名文本数据对应各路径的概率,包括:对商户名文本数据中每个字对应的各标签进行排列组合,得到多个对应商户名文本数据的路径;根据在路径下的商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到商户名文本数据对应路径的概率。
为了通过路径规划考虑预测标签之间的关系,可以先建立可能的路径,即对商户名文本数据中每个字对应的各标签进行排列组合,得到多个对应商户名文本数据的路径,在确定可能的路径后,根据在可能的路径下的商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到商户名文本数据对应路径的概率。例如,商户名文本数据为“AB新天地店”,对商户名文本数据中每个字对应的各标签进行排列组合,得到的路径分别为1)路径1:“实体前”、“实体后”、“非实体字”、“非实体字”、“非实体字”和“非实体字”;2)路径2:“实体前”、“实体后”、“单字实体”、“非实体字”、“非实体字”和“非实体字”;3)“实体后”、“实体前”、“非实体字”、“非实体字”、“非实体字”和“非实体字”,在确定路径1、路径2和路径3后,根据商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到商户名文本数据对应路径的概率(路径1的概率为0.8,路径2的概率为0.1,路径3的概率为0.1),最后将最大路径概率值对应的标签确定为对应商户名文本数据的预测标签、即确定路径3对应的标签为预测标签。
在一些实施例中,根据在路径下的商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到商户名文本数据对应所述路径的概率,包括:将路径下的商户名文本数据中每个字对应标签的概率相加,得到路径的第一概率;将路径下的商户名文本数据中相邻标签的转移概率相加,得到路径的第二概率;将路径的第一概率与路径的第二概率相加,得到商户名文本数据对应路径的概率。
为了通过路径规划考虑预测标签之间的关系,在确定对应商户名文本数据的路径后,需要确定每条路径下,商户名文本数据中每个字对应标签的概率以及商户名文本数据中相邻标签的转移概率,并将路径下的商户名文本数据中每个字对应标签的概率相加,得到路径的第一概率,将路径下的商户名文本数据中相邻标签的转移概率相加,得到路径的第二概率,最后将路径的第一概率与路径的第二概率相加,得到商户名文本数据对应路径的概率,则商户名文本数据对应路径的概率考虑到相邻标签的转移概率。例如,每条路径下的商户名文本数据中每个字对应标签的概率分别为:1)路径1:“实体前”(概率0.8)、“实体后”(概率0.8)、“非实体字”(概率0.9)、“非实体字”(概率0.9)、“非实体字”(概率0.8)和“非实体字”(概率0.8);2)路径2:“实体前”(概率0.1)、“实体后”(概率0.1)、“单字实体”(概率0.1)、“非实体字”(概率0.1)、“非实体字”(概率0.1)和“非实体字”(概率0.1);3)“实体后”(概率0.1)、“实体前”(概率0.1)、“非实体字”(概率0.0)、“非实体字”(概率0.1)、“非实体字”(概率0.1)和“非实体字”(概率0.1)。每条路径下的商户名文本数据中相邻标签的转移概率分别为1)路径1:“实体前”-“实体后”(概率0.8)、“实体后”-“非实体字”(概率0.8)、“非实体字”-“非实体字”(概率0.9)、“非实体字”-“非实体字”(概率0.9)和“非实体字”-“非实体字”(概率0.9);2)路径2:“实体前”-“实体后”(概率0.8)、“实体后”-“单字实体”(概率0.0)、“单字实体”-“非实体字”(概率0.9)、“非实体字”-“非实体字”(概率0.9)和“非实体字”-“非实体字”(概率0.9);3)“实体后”-“实体前”(概率0.1)、“实体前”-“非实体字”(概率0.1)、“非实体字”-“非实体字”(概率0.9)、“非实体字”-“非实体字”(概率0.9)和“非实体字”-“非实体字”(概率0.9)。则路径1:第一概率(0.8+0.8+0.9+0.9+0.9=4.3)、第二概率(0.8+0.8+0.9+0.9+0.9=4.3)、路径1的概率(8.3);路径2:第一概率(0.1+0.1+0.1+0.1+0.1=0.5)、第二概率(0.8+0.0+0.9+0.9+0.9=3.5)、路径2的概率(4.0);3)路径3:第一概率(0.1+0.1+0.0+0.1+0.1=0.4)、第二概率(0.1+0.1+0.9+0.9+0.9=2.9)、路径3的概率(3.3)。
作为示例,参见图3,通过预测模型中的第二处理模块5553可以对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签,并将对应商户名文本数据的预测标签输入至提取模块5554中。
在步骤104中,基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名。
在服务器得到对应商户名文本数据的预测标签后,可以基于对应商户名文本数据的预测标签,提取到商户名文本数据中的品牌名。
参见图8,图8是本发明实施例提供的一个可选的流程示意图,在一些实施例中,图8示出图4中的步骤104可以通过图8示出的步骤1041至步骤1042实现。
在步骤1041中,确定对应商户名文本数据的预测标签中表征实体的实体标签;
在步骤1042中,根据实体标签,提取商户名文本数据中的品牌名。
其中,实体标签的类型包括:单字实体标签;实体前标签和实体后标签的组合;实体前标签、实体中标签和实体后标签的组合。在服务器得到对应商户名文本数据的预测标签后,由于预测标签包括表征实体的实体标签和非实体标签,例如预测标签可以是“实体前”、“实体中”、“实体后”、“单字实体”、“非实体”,当对应商户名文本数据的预测标签中包括单字实体标签,则提取该单字实体标签作为商户名文本数据中的品牌名,例如“A新天地店”,其中“A”对应的预测标签为单字实体标签(“单字实体”),则“A”为品牌品;当对应商户名文本数据的预测标签中包括实体前标签和实体后标签,则提取该实体前标签和实体后标签作为商户名文本数据中的品牌名,例如“AB新天地店”,其中“A”对应的预测标签为实体前标签(“实体前”),“B”对应的预测标签为实体后标签(“实体后”),则“AB”为品牌品;当对应商户名文本数据的预测标签中包括实体前标签、实体中标签和实体后标签,则提取该实体前标签、实体中标签和实体后标签作为商户名文本数据中的品牌名,例如“ABC新天地店”,其中“A”对应的预测标签为实体前标签(“实体前”),“B”对应的预测标签为实体中标签(“实体中”),“C”对应的预测标签为实体后标签(“实体后”),则“ABC”为品牌品。
在步骤105中,根据提取到的品牌名构建品牌名词库。
在服务器根据终端提供的各种商户名文本数据提取到对应的品牌名后,可以将提取到的品牌名加入品牌名词库,以便后续根据品牌名词库进行相关的检索操作。
作为示例,参见图3,通过预测模型中的提取模块5554可以基于对应商户名文本数据的预测标签,对商户名文本数据进行提取处理,得到商户名文本数据中的品牌名,并根据提取到的品牌名构建品牌名词库。
在一些实施例中,针对品牌名提取模型的训练进行说明,参见图9,基于图4,图9是本发明实施例提供的基于人工智能的品牌名的提取方法的流程示意图,在步骤107中,通过品牌名提取模型中的向量模型对商户名训练样本进行编码处理,得到对应商户名训练样本的编码向量;通过品牌名提取模型中的预测模型对训练样本的编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名训练样本的预测标签的概率;根据对应所述商户名训练样本的预测标签的概率,构建品牌名提取模型的损失函数;更新品牌名提取模型的参数直至损失函数收敛。
其中,步骤107与步骤101至步骤106并无明显的先后顺序。当服务器基于对应商户名训练样本的预测标签的概率,确定品牌名提取模型的损失函数的值后,可以判断损失函数的值是否超出预设阈值,当损失函数的值超出预设阈值时,基于损失函数确定品牌名提取模型的误差信号,将误差信息在品牌名提取模型中反向传播,并在传播的过程中更新各个层的模型参数。
这里,对反向传播进行说明,将训练样本数据输入到神经网络模型的输入层,经过隐藏层,最后达到输出层并输出结果,这是神经网络模型的前向传播过程,由于神经网络模型的输出结果与实际结果有误差,则计算输出结果与实际值之间的误差,并将该误差从输出层向隐藏层反向传播,直至传播到输入层,在反向传播的过程中,根据误差调整模型参数的值;不断迭代上述过程,直至收敛,其中,品牌名提取模型属于神经网络模型。
作为示例,参见图3,通过基于人工智能的品牌名的提取装置555中的训练模块5556可以通过品牌名提取模型中的向量模型对商户名训练样本进行编码处理,得到对应商户名训练样本的编码向量;通过品牌名提取模型中的预测模型对训练样本的编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对包含上下文信息的编码信息进行路径规划,得到对应商户名训练样本的预测标签的概率;根据对应所述商户名训练样本的预测标签的概率,构建品牌名提取模型的损失函数;更新品牌名提取模型的参数直至损失函数收敛。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。
对于连锁店的经营管理以及电商平台、地图搜索等场景,连锁品牌名词库作为基础组件,连锁品牌名词库的建立有着不可替代的作用,因此被广泛地应用于地图搜索、电子支付、订餐平台等领域。挖掘商户中的连锁品牌可以更好地衡量商户的整体运营情况,从而给商户分析和交叉营销等应用提供关键决策;在商户风控、贷款征信等产品中根据品牌提供更全面的商户展示,更好地进行高端商户的识别。例如在金融相关的商户画像场景中,构建连锁品牌名词库,不仅能够更好地衡量商户的运营情况,量化商户的经营能力,助力风控业务。而且可以通过识别的品牌商户,反哺用户画像,助力理财、证券业务运营等。因此,品牌实体识别技术(连锁品牌名词库的构建、扩展和维护)在整个商户画像分析中起着至关重要的作用。
相关技术中,品牌实体识别是商户画像分析和地理位置分析中常见的应用,挖掘品牌实体对商户画像的构建和品牌的分析必不可少。连锁品牌名词库构建方法主要是基于POI数据的连锁品牌采集方法,下面具体介绍该方法:
首先获取若干POI数据,然后从各POI数据中分别提取包括名称和地址的二元组数据,并将各二元组数据中的名称按照预设规则进行分割,根据分割结果对该二元组数据进行聚类,以获得各类二元组数据,并获取各类二元组数据中不同地址的数量,在数量超过预设阈值时,将该类二元组数据的分割结果作为连锁品牌。
基于POI数据的连锁品牌采集方法存在的问题在于:
1、品牌名的采集依赖于POI数据,然而POI数据尤其是精确的地理位置信息数据很难获取,一旦获取的地址信息不精确,通过对该二元组数据进行聚类难以获取准确的聚类中心,也就难以保证各类二元组数量的准确性,从而对获取连锁品牌名构成影响,无法获得准确的品牌名。
2、该品牌名的采集主要采用人工设定规则从名称和地址的二元组数据中匹配品牌名信息,比如“AA包子铺(昌平沙河店)”、“AA包子铺-昌平高教园店”等,其中“AA包子铺”则是品牌名,人工规则根据分店的名称所采用的形式确定预设符号,例如,针对“品牌名(XXX店)”这种分店形式,将符号“(”添加至预设符号中,或者,针对“品牌名-XXX店”这种分店形式,也将符号“-”添加至预设符号中。然而,采用该方法存在几个问题,分别为:1)POI的名称和地址的二元组数据量级非常大,人工制定规则的工作量巨大,很难满足大数据实际应用和开发的需求;2)人工制定的规则泛化性能较差,名称和地址的二元组数据一旦发生迁移,覆盖率迅速降低;3)再者,由于很多名称和地址二元组数据的模式和规则难以通过观察整理和总结,规则识别的准确率无法保证。
为了解决上述各种问题,本发明实施例提出了一种结合命名规则、双向长短时记忆网络(BLSTM,Bidirectional Long Short-term Memory)、条件随机场(CRF,ConditionalRandom Field)的连锁品牌名词库构建方法(基于人工智能的品牌名的提取方法)。本发明实施例提取品牌名不依赖于POI采集的地理位置信息,可以直接从商户文本数据中提取品牌名,并根据品牌名构建品牌名词库,解决了实际应用中较精确的地理位置信息难以获取的问题。本发明实施例通过强规则在某些格式固定且规范的样本上进行匹配,匹配准确率高,通过深度学习能够抽取人工难以提取品牌名,结合强规则以及深度学习可以解决人工规则命名方法难以整理、繁杂机械的问题,还可以先使用强规则匹配再采用品牌名提取模型,提高整体的准确率,并减少模型训练的耗时。BLSTM能够充分利用商户名文本的上下文信息,CRF通过路径规划更好地学习标签的转移和约束,因此,两者的结合可以更好的抽取品牌名,引入深度学习识别标签泛化性能增强。由于分词的效果直接影响到标签标注的结果,因此,本发明实施例提取品牌名可以采用字标注模型,对商户名文本数据中的每个字进行分词,有利于发现新的品牌名,提升品牌名识别的准确率和品牌名词库的覆盖率。
本发明实施例提供一种结合命名规则和BLSTM+CRF的连锁品牌名词库构建方法及装置,该方法基本流程如图10所示,图10是本发明实施例提供的结合命名规则和BLSTM+CRF的连锁品牌名词库构建示意图。结合命名规则和BLSTM+CRF的连锁品牌名词库构建方法分别包括:1)强规则匹配商户名文本提取格式规范的品牌名、2)未匹配数据作为训练样本构建字标注模型、3)训练字向量模型、4)将字向量和对应标签输入到BLSTM+CRF层的神经网络中训练、5)根据预测标签输出品牌实体。下面按照上述流程介绍本发明实施例的技术方案。
1)强规则匹配商户名文本提取格式规范的品牌名
根据商户名文本数据中常见的命名模式和命名规则的特点,通过设定关键词和正则匹配等方法来确定品牌名识别的逻辑。商户名文本数据中,有一部分文本格式较为规范,利用强规则匹配准确率高。对于这部分文本优先采用强规则匹配方法提取品牌名,比如“AA(番禺广场店)”、“BB-新天地店”等,其中“AA”、“BB”则是品牌名,人工规则根据分店的名称所采用的形式确定预设符号,例如,针对“品牌名(XXX店)”这种分店形式,将符号“(”添加至预设符号中,或者,针对“品牌名-XXX店”这种分店形式,也将符号“-”添加至预设符号中。利用预设强规则匹配商户名文本数据提取格式规范的品牌名。
2)未匹配数据作为训练样本构建字标注模型
由于分词的准确性直接影响序列标签标注的结果,且基于字的BILSTM-CRF模型有利于发现新词,这对于品牌名识别非常关键,有助于挖掘新的品牌名,因此,本发明实施例以字序列作为品牌名提取模型训练标注对象。根据已有品牌名词库采用字符串匹配法匹配后,利用5tag标注法生成标签序列,即将字序列按照是否包含于实体序列,将实体内的字元素分为实体前标签(b),实体中标签(m),实体后标签(e),单字实体标签(s),非实体字标签(x),从而构建字向量模型的训练标签。以“AB新天地店”为例,字标注结果如表1所示:
表1
A | B | 新 | 天 | 地 | 店 |
b | e | x | x | x | x |
3)训练字向量模型
通过字标注模型得到训练标签后,利用Word2vec训练以字为单项的字向量模型,以便后续根据商户名文本数据得到字向量。
4)将字向量和对应标签输入到BLSTM+CRF层的神经网络中训练
构建BLSTM+CRF层神经网络(预测模型),将步骤3)中训练得到的每个文本字向量作为输入,步骤2)中构建的字标签作为输出,模型训练的过程即给定字序列、预测字标签,利用神经网络完成序列标注过程,从而提取出最大概率的标签名。字向量输入至BLSTM层,再将BLSTM的输出作为CRF层的输入,最终对输入句子输出预测标注序列。即为对于给定的长度为n的字序列x1,x2,...,xn,字标注结果即模型预测标签为y1,y2,...,yn,yi=b/m/e/s/x,模型训练过程即在已知字序列x1,x2,...,xn的条件下,找出使y1,y2,...,yn的概率P(y1,y2,...,yn)最大的序列y1,y2,...,yn。以“AB新天地店”为例,如图11所示,图11是本发明实施例提供的BLSTM+CRF层神经网络结构的训练过程示意图。
5)根据预测标签输出品牌实体
根据BLSTM+CRF层神经网络结构输出的序列标签,利用维特比动态规划算法进行解码得到最佳标签序列,即根据最大概率P(y1,y2,...,yn)提取对应的品牌名,将该品牌名加入到连锁品牌名词库中。以“AB新天地店”为例,预测结果输出标签为“bexxxx”,提取标签为be对应的文本作为品牌名、即“AB”。
本发明提出了一种结合命名规则、BLSTM+CRF的连锁品牌名词库构建方法,该方法针对已有连锁品牌名词库构建方法存在的问题和商户文本数据的特点,结合强规则和深度学习挖掘上下文关系的优势,解决现有技术在连锁品牌名词库构建上依赖POI采集的精确地理位置信息、以及固定规则提取泛化性能差等问题。本发明实施例可以广泛应用于品牌相关分析的场景中,有助于构建更加准确、完善的品牌名词库,以便提供更多的商户参考信息,并帮助用户更加详细地了解商户信息和实际情况。
至此已经结合本发明实施例提供的服务器的示例性应用和实施,说明本发明实施例提供的基于人工智能的品牌名的提取方法,下面继续说明本发明实施例提供的基于人工智能的品牌名的提取装置555中各个模块配合实现基于人工智能的品牌名的提取的方案。
编码模块5551,用于对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;
第一处理模块5552,用于对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
第二处理模块5553,用于对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;
提取模块5554,用于基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并
根据提取到的品牌名构建品牌名词库。
上述技术方案中,所述基于人工智能的品牌名的提取装置555还包括:
匹配模块5555,用于对商户名文本数据进行正则匹配处理,得到匹配结果;
所述编码模块还用于当所述匹配结果表征对商户名文本数据正则匹配失败时,通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量。
在一些实施例中,所述提取模块5554还用于当所述匹配结果表征对商户名文本数据正则匹配成功时,对所述商户名文本数据进行分割,得到所述商户名文本数据中的品牌名,并将所述品牌名加入品牌名词库。
在一些实施例中,所述编码模块5551还用于通过品牌名提取模型中的向量模型对商户名文本数据中的每个字进行编码处理,得到对应所述商户名文本数据的字向量;或者,通过品牌名提取模型中的向量模型对商户名文本数据中的每个词语进行编码处理,得到对应所述商户名文本数据的词向量。
在一些实施例中,所述第一处理模块5552还用于通过品牌名提取模型中的预测模型对所述编码向量进行前向编码处理,得到对应所述商户名文本数据的前向隐向量;对所述编码向量进行后向编码处理,得到对应所述商户名文本数据的后向隐向量;对所述前向隐向量以及所述后向隐向量进行融合处理,得到包含上下文信息的编码信息。
在一些实施例中,所述第一处理模块5552还用于通过所述品牌名提取模型中的预测模型对所述编码向量中的各向量依次按照第一方向进行编码处理,得到所述各向量在所述第一方向的隐向量;对所述编码向量中的各向量依次按照第二方向进行编码处理,得到所述各向量在所述第二方向的隐向量;对所述前向隐向量以及所述后向隐向量进行拼接处理,得到包含上下文信息的编码信息;其中,所述第二方向为所述第一方向的反方向。
在一些实施例中,所述第一处理模块5552还用于通过所述品牌名提取模型中的预测模型对所述编码向量中的第i向量按照第一方向进行编码处理,得到所述第i向量在所述第一方向的第i隐向量;对所述编码向量中的第i向量按照第二方向进行编码处理,得到所述第i向量在所述第二方向的第i隐向量;将所述第i向量在所述第一方向的第i隐向量、所述第i向量在所述第二方向的第i隐向量进行拼接处理,得到包含上下文信息的第i编码信息;其中,0<i≤N,且i、N为正整数,N为所述编码向量中向量的总数目。
在一些实施例中,所述第二处理模块5553还用于根据约束条件,对所述包含上下文信息的编码信息进行路径规划,得到所述商户名文本数据对应各路径的概率;将最大路径概率值对应的标签确定为对应所述商户名文本数据的预测标签。
在一些实施例中,所述包含上下文信息的编码信息为所述商户名文本数据中每个字对应各标签的概率,所述第二处理模块5553还用于对所述商户名文本数据中每个字对应的各标签进行排列组合,得到多个对应所述商户名文本数据的路径;根据在所述路径下的所述商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到所述商户名文本数据对应所述路径的概率。
在一些实施例中,所述第二处理模块5553还用于将所述路径下的所述商户名文本数据中每个字对应标签的概率相加,得到所述路径的第一概率;将所述路径下的所述商户名文本数据中相邻标签的转移概率相加,得到所述路径的第二概率;将所述路径的第一概率与所述路径的第二概率相加,得到所述商户名文本数据对应所述路径的概率。
在一些实施例中,所述提取模块5554还用于确定所述对应所述商户名文本数据的预测标签中表征实体的实体标签;根据所述实体标签,提取所述商户名文本数据中的品牌名;其中,所述实体标签的类型包括:单字实体标签;实体前标签和实体后标签的组合;实体前标签、实体中标签和实体后标签的组合。
在一些实施例中,所述基于人工智能的品牌名的提取装置555还包括:
训练模块5556,用于通过品牌名提取模型中的向量模型对商户名训练样本进行编码处理,得到对应所述商户名训练样本的编码向量;通过所述品牌名提取模型中的预测模型对所述训练样本的编码向量进行上下文融合处理,得到包含上下文信息的编码信息;对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名训练样本的预测标签的概率;根据所述对应所述商户名训练样本的预测标签的概率,构建所述品牌名提取模型的损失函数;更新所述品牌名提取模型的参数直至所述损失函数收敛。
本发明实施例还提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本发明实施例提供的基于人工智能的品牌名的提取方法,例如,如图4-9示出的基于人工智能的品牌名的提取方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。综上所述,本发明实施例通过品牌名提取模型对商户名文本数据进行一系列处理,得到商户名文本数据中的品牌名,具有以下有益效果:
通过对商户名文本数据的编码向量进行上下文融合处理,使得编码信息包含上下文信息,即编码信息融合上下文信息,有助于后续提取准确的品牌名;通过对包含上下文信息的编码信息进行路径规划,得到对应商户名文本数据的预测标签,使得对应商户名文本数据的预测标签考虑到标签之间的依赖关系,则根据预测标签提取到的品牌名更加准确;通过基于人工智能的品牌名的提取方法提取商户名文本数据中的品牌名并不依赖于POI数据,且不依赖于人工标注的规则,从而提高品牌名提取过程的泛化性能。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。
Claims (15)
1.一种基于人工智能的品牌名的提取方法,其特征在于,所述方法包括:
对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;
对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;
基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并
根据提取到的品牌名构建品牌名词库。
2.根据权利要求1所述的方法,其特征在于,所述对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量之前,所述方法还包括:
对商户名文本数据进行正则匹配处理,得到匹配结果;
所述对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量,包括:
当所述匹配结果表征对商户名文本数据正则匹配失败时,通过品牌名提取模型中的向量模型对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量。
3.根据权利要求2所述的方法,其特征在于,所述对商户名文本数据进行正则匹配,得到匹配结果之后,所述方法还包括:
当所述匹配结果表征对商户名文本数据正则匹配成功时,对所述商户名文本数据进行分割,得到所述商户名文本数据中的品牌名,并将所述品牌名加入品牌名词库。
4.根据权利要求1所述的方法,其特征在于,所述对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量,包括:
通过品牌名提取模型中的向量模型对商户名文本数据中的每个字进行编码处理,得到对应所述商户名文本数据的字向量;或者,
通过品牌名提取模型中的向量模型对商户名文本数据中的每个词语进行编码处理,得到对应所述商户名文本数据的词向量。
5.根据权利要求1所述的方法,其特征在于,所述对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息,包括:
通过品牌名提取模型中的预测模型对所述编码向量进行前向编码处理,得到对应所述商户名文本数据的前向隐向量;
对所述编码向量进行后向编码处理,得到对应所述商户名文本数据的后向隐向量;
对所述前向隐向量以及所述后向隐向量进行融合处理,得到包含上下文信息的编码信息。
6.根据权利要求5所述的方法,其特征在于,所述通过品牌名提取模型中的预测模型对所述编码向量进行前向编码处理,得到对应所述商户名文本数据的前向隐向量,包括:
通过所述品牌名提取模型中的预测模型对所述编码向量中的各向量依次按照第一方向进行编码处理,得到所述各向量在所述第一方向的隐向量;
所述对所述编码向量进行后向编码处理,得到对应所述商户名文本数据的后向隐向量,包括:
对所述编码向量中的各向量依次按照第二方向进行编码处理,得到所述各向量在所述第二方向的隐向量;
所述融合所述前向隐向量以及所述后向隐向量,得到包含上下文信息的编码信息,包括:
对所述前向隐向量以及所述后向隐向量进行拼接处理,得到包含上下文信息的编码信息;
其中,所述第二方向为所述第一方向的反方向。
7.根据权利要求6所述的方法,其特征在于,所述通过所述品牌名提取模型中的预测模型对所述编码向量中的各向量依次按照第一方向进行编码处理,得到所述各向量在所述第一方向的隐向量,包括:
通过所述品牌名提取模型中的预测模型对所述编码向量中的第i向量按照第一方向进行编码处理,得到所述第i向量在所述第一方向的第i隐向量;
所述对所述编码向量中的各向量依次按照第二方向进行编码处理,得到所述各向量在所述第二方向的隐向量,包括:
对所述编码向量中的第i向量按照第二方向进行编码处理,得到所述第i向量在所述第二方向的第i隐向量;
所述对所述前向隐向量以及所述后向隐向量进行拼接处理,得到包含上下文信息的编码信息,包括:
将所述第i向量在所述第一方向的第i隐向量、所述第i向量在所述第二方向的第i隐向量进行拼接处理,得到包含上下文信息的第i编码信息;
其中,0<i≤N,且i、N为正整数,N为所述编码向量中向量的总数目。
8.根据权利要求1所述的方法,其特征在于,所述对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签,包括:
根据约束条件,对所述包含上下文信息的编码信息进行路径规划,得到所述商户名文本数据对应各路径的概率;
将最大路径概率值对应的标签确定为对应所述商户名文本数据的预测标签。
9.根据权利要求8所述的方法,其特征在于,所述包含上下文信息的编码信息为所述商户名文本数据中每个字对应各标签的概率,
所述根据约束条件,对所述包含上下文信息的编码信息进行路径规划,得到所述商户名文本数据对应各路径的概率,包括:
对所述商户名文本数据中每个字对应的各标签进行排列组合,得到多个对应所述商户名文本数据的路径;
根据在所述路径下的所述商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到所述商户名文本数据对应所述路径的概率。
10.根据权利要求9所述的方法,其特征在于,所述根据在所述路径下的所述商户名文本数据中每个字对应标签的概率、以及标签的转移矩阵,得到所述商户名文本数据对应所述路径的概率,包括:
将所述路径下的所述商户名文本数据中每个字对应标签的概率相加,得到所述路径的第一概率;
将所述路径下的所述商户名文本数据中相邻标签的转移概率相加,得到所述路径的第二概率;
将所述路径的第一概率与所述路径的第二概率相加,得到所述商户名文本数据对应所述路径的概率。
11.根据权利要求1所述的方法,其特征在于,所述基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,包括:
确定所述对应所述商户名文本数据的预测标签中表征实体的实体标签;
根据所述实体标签,提取所述商户名文本数据中的品牌名;
其中,所述实体标签的类型包括:单字实体标签;实体前标签和实体后标签的组合;实体前标签、实体中标签和实体后标签的组合。
12.根据权利要求1至11任一项所述的方法,其特征在于,所述方法还包括:
通过品牌名提取模型中的向量模型对商户名训练样本进行编码处理,得到对应所述商户名训练样本的编码向量;
通过所述品牌名提取模型中的预测模型对所述训练样本的编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名训练样本的预测标签的概率;
根据所述对应所述商户名训练样本的预测标签的概率,构建所述品牌名提取模型的损失函数;
更新所述品牌名提取模型的参数直至所述损失函数收敛。
13.一种基于人工智能的品牌名的提取装置,其特征在于,所述装置包括:
编码模块,用于对商户名文本数据进行编码处理,得到对应所述商户名文本数据的编码向量;
第一处理模块,用于对所述编码向量进行上下文融合处理,得到包含上下文信息的编码信息;
第二处理模块,用于对所述包含上下文信息的编码信息进行路径规划,得到对应所述商户名文本数据的预测标签;
提取模块,用于基于所述对应所述商户名文本数据的预测标签,对所述商户名文本数据进行提取处理,得到所述商户名文本数据中的品牌名,并
根据提取到的品牌名构建品牌名词库。
14.一种基于人工智能的品牌名的提取设备,其特征在于,所述设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至12任一项所述的基于人工智能的品牌名的提取方法。
15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至12任一项所述的基于人工智能的品牌名的提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911365977.2A CN111143534A (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的品牌名的提取方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911365977.2A CN111143534A (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的品牌名的提取方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111143534A true CN111143534A (zh) | 2020-05-12 |
Family
ID=70520645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911365977.2A Pending CN111143534A (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的品牌名的提取方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111143534A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782979A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 兴趣点的品牌分类方法、装置、设备以及存储介质 |
CN112633001A (zh) * | 2020-12-28 | 2021-04-09 | 咪咕文化科技有限公司 | 文本命名实体识别方法、装置、电子设备及存储介质 |
CN113449104A (zh) * | 2021-06-22 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 标签增强模型构建方法、系统、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109388807A (zh) * | 2018-10-30 | 2019-02-26 | 中山大学 | 电子病历命名实体识别的方法、装置及存储介质 |
CN109815952A (zh) * | 2019-01-24 | 2019-05-28 | 珠海市筑巢科技有限公司 | 品牌名称识别方法、计算机装置及计算机可读存储介质 |
-
2019
- 2019-12-26 CN CN201911365977.2A patent/CN111143534A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109388807A (zh) * | 2018-10-30 | 2019-02-26 | 中山大学 | 电子病历命名实体识别的方法、装置及存储介质 |
CN109815952A (zh) * | 2019-01-24 | 2019-05-28 | 珠海市筑巢科技有限公司 | 品牌名称识别方法、计算机装置及计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782979A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 兴趣点的品牌分类方法、装置、设备以及存储介质 |
CN112633001A (zh) * | 2020-12-28 | 2021-04-09 | 咪咕文化科技有限公司 | 文本命名实体识别方法、装置、电子设备及存储介质 |
CN113449104A (zh) * | 2021-06-22 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 标签增强模型构建方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110633409B (zh) | 一种融合规则与深度学习的汽车新闻事件抽取方法 | |
CN112329467B (zh) | 地址识别方法、装置、电子设备以及存储介质 | |
US20080120257A1 (en) | Automatic online form filling using semantic inference | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
CN110852106B (zh) | 基于人工智能的命名实体处理方法、装置及电子设备 | |
CN113011186B (zh) | 命名实体识别方法、装置、设备及计算机可读存储介质 | |
CN108140018A (zh) | 创作用于基于文本的文档的视觉表示 | |
CN111177393A (zh) | 一种知识图谱的构建方法、装置、电子设备及存储介质 | |
CN110688449A (zh) | 基于深度学习的地址文本处理方法、装置、设备及介质 | |
CN111143534A (zh) | 基于人工智能的品牌名的提取方法、装置及存储介质 | |
CN110457420A (zh) | 兴趣点位置识别方法、装置、设备及存储介质 | |
CN112925995B (zh) | 获取poi状态信息的方法及装置 | |
CN112527915B (zh) | 线性文化遗产知识图谱构建方法、系统、计算设备和介质 | |
CN113051914A (zh) | 一种基于多特征动态画像的企业隐藏标签抽取方法及装置 | |
US20230139614A1 (en) | Efficient computation of maximum probability label assignments for sequences of web elements | |
CN112528639A (zh) | 对象识别方法和装置、存储介质及电子设备 | |
CN112214595A (zh) | 类别确定方法、装置、设备及介质 | |
CN114462357A (zh) | 实体链接方法、构建方法、装置及存储介质 | |
CN112862604B (zh) | 卡证发行机构的信息处理方法、装置、设备及存储介质 | |
CN114330704A (zh) | 语句生成模型更新方法、装置、计算机设备和存储介质 | |
CN111125550A (zh) | 兴趣点分类方法、装置、设备及存储介质 | |
CN116662583B (zh) | 一种文本生成方法、地点检索方法及相关装置 | |
CN115878818A (zh) | 一种地理知识图谱构建方法、装置、终端及存储介质 | |
CN115934966A (zh) | 基于遥感影像推荐信息的自动标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |