CN115099359A - 基于人工智能的地址识别方法、装置、设备及存储介质 - Google Patents

基于人工智能的地址识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115099359A
CN115099359A CN202210817087.6A CN202210817087A CN115099359A CN 115099359 A CN115099359 A CN 115099359A CN 202210817087 A CN202210817087 A CN 202210817087A CN 115099359 A CN115099359 A CN 115099359A
Authority
CN
China
Prior art keywords
address
model
preset
recognition
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210817087.6A
Other languages
English (en)
Inventor
李志韬
王健宗
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210817087.6A priority Critical patent/CN115099359A/zh
Publication of CN115099359A publication Critical patent/CN115099359A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域,公开了基于人工智能的地址识别方法、装置、设备及存储介质,方法包括:获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别;本发明中,提高了目标识别模型的鲁棒性,降低了传统seq2seq模型文本识别错误的概率,提高了目标识别模型对地址识别的准确性,从而提高了目标识别模型的性能。

Description

基于人工智能的地址识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于人工智能的地址识别方法、装置、设备及存储介质。
背景技术
随着电子商务、电子导航、定位等技术的发展,许多场合涉及到地址信息的获取、识别和应用。如电子商务领域,需要对往来的客户的通讯地址进行识别和处理,或者物流系统需要对用户输入的地址进行识别、定位或路线规划。
现有的地址识别方式一般是基于深度学习模型的识别模型,通过深度学习训练得到地址识别模型并存储在相关设备中,当用户输入地址相关数据时即采用地址识别模型对用户输入的地址相关数据进行识别,提高系统的人工智能化。但发明人发现,由于人们对地址表达的多样化,这个种多样化的表达给地址识别模型的识别造成干扰,导致现有地址识别模型的地址识别性能不高。
发明内容
本发明提供一种基于人工智能的地址识别方法、装置、设备及存储介质,以解决因人们对地址表达的多样化,导致现有地址识别模型的地址识别性能不高的问题。
提供一种基于人工智能的地址识别方法,包括:
获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;
基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;
对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;
在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
进一步地,基于多个地址样本对预设识别模型进行训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型,包括:
对多个地址样本进行数据增强处理,得到每一地址样本对应的正例地址样本对;
将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值;
根据对比学习损失值确定总损失值;
在总损失值未达到预设收敛条件时,迭代更新预设识别模型的初始参数,直至总损失值达到预设收敛条件,将收敛后的预设识别模型记录为待测试模型。
进一步地,将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值,包括:
获取对地址样本进行数据增强处理得到的正例地址样本对,正例地址样本对包括第一增强地址样本和第二增强地址样本;
将第一增强地址样本输入预设识别模型,以编码得到的第一编码向量,并在解码第一编码向量时进行解码树约束,得到第一预测地址;
将第二增强地址样本输入预设识别模型,以编码得到的第二编码向量,并在解码第二编码向量时进行解码树约束,得到第二预测地址;
确定第一预测地址和第二预测地址之间的对比学习损失,得到对比学习损失值。
进一步地,在解码第一编码向量时进行解码树约束,得到第一预测地址,包括:
对第一编码向量进行基于束搜索算法的序列搜索,得到多个待约束解码序列;
采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列;
基于束搜索算法对候选解码序列进行打分,选取分值最大的候选解码序列作为第一预测地址。
进一步地,根据对比学习损失值确定总损失值,包括:
计算地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值;
计算标准地址标签与第二预测地址之间的损失值,记为第二损失值;
根据对比学习损失值、第一损失值和第二损失值确定总损失值。
进一步地,对待测试模型进行测试,包括:
采用待测试模型对地址样本进行地址识别,得到待测试模型对地址样本的识别地址;
计算识别地址与地址样本的标准地址标签之间的相似度;
确定相似度是否大于预设相似度;
若相似度大于预设相似度,则确定待测试模型的性能满足预设性能条件。
进一步地,在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别,包括:
将目标识别模型进行代码编译和优化,得到目标识别模型的目标代码;
将目标代码部署至目标设备,以使目标设备在接收到地址识别指令时,运行目标代码以调用目标识别模型对待识别数据进行地址识别。
提供一种基于人工智能的地址识别装置,包括:
获取模块,用于获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;
训练模块,用于基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;
测试模块,用于对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;
识别模块,用于在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
提供一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现上述基于人工智能的地址识别方法的步骤。
提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其特征在于,计算机程序被处理器执行时实现上述基于人工智能的地址识别方法的步骤。
上述基于人工智能的地址识别方法、装置、设备及存储介质所提供的一个方案中,通过获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型,然后基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型,并对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型,以便在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别;本发明中,以序列到序列seq2seq的结构训练得到目标识别模型,使得后续使用目标识别模型进行数据识别时,能够以端到端的方式进行地址解析识别,提高了目标识别模型的鲁棒性,同时在识别过程中,使用解码树约束的方法对解码结果进行了约束,使得将解码结果限定为地址字符,降低了传统seq2seq模型文本识别错误的概率,提高了目标识别模型对地址识别的准确性,从而提高了目标识别模型的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于人工智能的地址识别方法的一应用环境示意图;
图2是本发明一实施例中基于人工智能的地址识别方法的一流程示意图;
图3是图2中步骤S20的一实现流程示意图;
图4是图3中步骤S22的一实现流程示意图;
图5是图4中步骤S222的一实现流程示意图;
图6是图3中步骤S23的一实现流程示意图;
图7是图2中步骤S30的一实现流程示意图;
图8是图2中步骤S40的一实现流程示意图;
图9是本发明一实施例中基于人工智能的地址识别装置的一结构示意图;
图10是本发明一实施例中计算机设备的一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于人工智能的地址识别方法,可应用在如图1的应用环境中,其中,终端设备通过网络与服务器进行通信。服务器获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型,然后基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型,并对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;在需要使用训练得到的目标识别模型执行地址识别任务时,用户通过终端设备向服务器发送待识别数据,服务器接收到地址识别指令时并调用目标识别模型对待识别数据进行地址识别,得到地址识别结果;本实施例中,以序列到序列seq2seq的结构训练得到目标识别模型,使得后续使用目标识别模型进行数据识别时,能够以端到端的方式进行地址解析识别,提高了目标识别模型的鲁棒性,同时在识别过程中,使用解码树约束的方法对解码结果进行了约束,使得将解码结果限定为地址字符,降低了传统seq2seq模型文本识别错误的概率,提高了目标识别模型对地址识别的准确性,从而提高了目标识别模型的性能,进而提高了地址识别系统的人工智能化,为后续决策提供有力支持,增强了用户体验。
本实施例中,多个地址样本和预设识别模型、训练得到的目标识别模型等数据,以及后续的待识别数据,均可以存储在服务器的数据库中,以便后续执行识别模型训练任务或地址识别任务时,直接根据需求在数据库中获取相关数据,以减少模型训练时间或地址识别时间,从而提高模型训练的效率或地址识别效率。
本实施例中的数据库存储于区块链网络中,用于存储识别模型训练方法或地址识别方法中用到、生成的数据,如多个地址样本和预设识别模型、训练得到的目标识别模型、待识别数据等相关数据。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。将数据库部署于区块链可提高数据存储的安全性。
其中,终端设备(客户端)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种基于人工智能的地址识别方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S10:获取多个地址样本和预设识别模型。
在接收模型训练任务时,服务器需要获取多个地址样本和预设识别模型,从而根据多个地址样本训练预设识别模型得到目标识别模型进行地址识别。其中,预设识别模型为序列到序列模型,即Sequence-to-Sequence模型,简称Seq2Seq模型。Seq2Seq模型是一种由双向循环神经网络组成的编码-解码的神经网络结构,满足输入输出序列长度不相同的情况,实现一个序列到另一个序列之间的转换。例如,在编码阶段,Seq2seq模型的编码层(Encoder)将输入的序列(比如一个中文句子)编码为一个隐藏层向量;在解码阶段,Seq2seq模型的解码层(Decoder)将隐藏层的向量解码为输出序列(比如一个英文句子)。通过多个地址样本训练Seq2seq模型得到目标识别模型,使得目标识别模型也是Seq2seq模型,能够在识别过程中直接将待识别数据输入目标识别模型进行编码至解码的处理,从而输出地址识别结果,实现端到端的地址识别过程,提高了地址识别系统的鲁棒性。
其中,多个地址样本为获得方式为:获取用户输入的历史地址数据,将该历史地址数据进行标准化地址识别,得到每一历史地址数据对应的标准地址标签,然后将历史地址数据记录为地址样本,得到多个地址样本,每一地址样本对应的一个标准地址标签。
例如,历史地址数据为:某某市科技南十二20号,则该历史地址数据的标准地址标签为:某某市某某区科技南十二路20号。
S20:基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型。
在获取多个地址样本和预设识别模型之后,基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到满足收敛条件的待测试模型。
S30:对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型。
在得到待测试模型之后,对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型。
S40:在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
在得到目标识别模型之后,服务器可以将目标识别模型保持在数据库中,当用户输入待识别数据需要进行地址识别时,向服务器发送地址识别指令,服务器在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别,并输出地址识别结果。
在得到目标识别模型之后,服务器也可以将目标识别模型部署到目标设备中,以便用户在使用目标设备输入待识别数据时,生成地址识别指令发送给目标设备,目标设备接收到地址识别指令和待识别数据后,调用目标识别模型对待识别数据进行地址识别;通过离线部署的方式将目标识别模型部署至目标设备,使得目标设备可以直接调用到目标识别模型进行地址识别,使得地址识别系统架构一体化,大幅度减少了系统组件,提高了可离线部署性以及降低了系统复杂性。
在一实施例中,如图3所示,步骤S20中,即基于多个地址样本对预设识别模型进行训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型,具体包括如下步骤:
S21:对多个地址样本进行数据增强处理,得到每一地址样本对应的正例地址样本对。
在获得多个地址样本之后,对每个地址样本进行数据增强处理,得到两个不同的增强地址样本:第一增强地址样本、第二增强地址样本,将第一增强地址样本、第二增强地址样本组成一个正例地址样本对,该地址样本对应的正例地址样本对,遍历所有地址样本直至得到每一地址样本对应的正例地址样本对,以便后续基于各地址样本对应的正例地址样本对来对预设识别模型对比学习训练。其中,数据增强的方式可以是随机失活(dropout),通过dropout实现数据增强,可以快速得到多个地址样本进行模型训练,有利于提高模型训练效果。
S22:将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值。
在得到每一地址样本对应的正例地址样本对之后,将一个地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,得到正例地址样本对的对比学习损失值。其中,在对比学习训练过程中需要对预设识别模型进行解码树约束,以使输出的解码结果限定在一定地址范围内。
其中,该对比学习损失值可以是采用距离算法计算地址样本对中两个增强地址样本对应的特征之间的距离得到的距离函数值。
S23:根据对比学习损失值确定总损失值。
S24:在总损失值未达到预设收敛条件时,迭代更新预设识别模型的初始参数,直至总损失值达到预设收敛条件,将收敛后的预设识别模型记录为待测试模型。
在将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,得到正例地址样本对的对比学习损失值,并确定该总损失值是否达到收敛条件,若该总损失值未达到收敛条件,表示模型参数未满足要求,需要继续训练模型,重复执行步骤上述步骤(即步骤S22-S23),以迭代更新预设识别模型的初始参数,直至总损失值达到收敛条件,表示模型参数达到精度要求,将收敛后的预设识别模型记录为目标识别模型。
在其他实施例中,还可以通过其他方式训练得到待测试模型,例如可以将地址样本输入预设识别模型中进行上下文编码得到编码向量,然后对编码向量进行解码,并在过程中对解码结果进行解码树约束,从而完成地址识别得到地址样本的预测地址,然后计算预测地址与地址样本的标准地址标签进行分类损失计算,得到总损失值,然后在总损失值未达到预设收敛条件时,迭代更新预设识别模型的初始参数,直至总损失值达到预设收敛条件,将收敛后的预设识别模型记录为待测试模型。
本实施例中,通过对地址样本进行数据增强处理,得到地址样本对应的正例地址样本对,然后将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值,并根据对比学习损失值确定总损失值,在总损失值未达到预设收敛条件时,迭代更新预设识别模型的初始参数,直至总损失值达到预设收敛条件,将收敛后的预设识别模型记录为待测试模型,明确了基于多个地址样本对预设识别模型进行训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型的具体步骤,通过对比学习的方式对预设识别模型进行训练,提高了模型的训练效果,从而提高了目标识别模型的精度。
在一实施例中,如图4所示,步骤S22中,即将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值,具体包括如下步骤:
S221:获取对地址样本进行数据增强处理得到的正例地址样本对。
在对地址样本进行数据增强处理之后,获取地址样本进行数据增强处理得到的正例地址样本对,其中,正例地址样本对包括第一增强地址样本和第二增强地址样本。
S222:将第一增强地址样本输入预设识别模型,以编码得到的第一编码向量,并在解码第一编码向量时进行解码树约束,得到第一预测地址。
在获取对地址样本进行数据增强处理得到的正例地址样本对之后,将第一增强地址样本输入预设识别模型,以编码得到的第一编码向量,并在解码第一编码向量时进行解码树约束,得到第一预测地址。
其中,将第一增强地址样本输入预设识别模型的编码层,以在编码层对第一增强地址样本进行上下文编码得到第一编码向量,然后将编码层输出的第一编码向量输入预设识别模型的解码层中,以在解码层中对第一编码向量进行解码并在解码过程中进行解码树约束,得到第一预测地址。
S223:将第二增强地址样本输入预设识别模型,以编码得到的第二编码向量,并在解码第二编码向量时进行解码树约束,得到第二预测地址。
然后,将第二增强地址样本输入预设识别模型,以编码得到的第二编码向量,并在解码第二编码向量时进行解码树约束,得到第二预测地址。
其中,将第二增强地址样本输入预设识别模型的编码层,以在编码层对第二增强地址样本进行上下文编码得到第二编码向量,然后将编码层输出的第二编码向量输入预设识别模型的解码层中,以在解码层中对第二编码向量进行解码并在解码过程中进行解码树约束,得到第二预测地址。
S224:确定第一预测地址和第二预测地址之间的对比学习损失,得到对比学习损失值。
确定第一预测地址和第二预测地址之间的对比学习损失,得到对比学习损失值。
其中,对比学习损失值通过如下方式计算:
Figure BDA0003742846850000091
其中,N表示地址样本的数量,即对于一个batch的N个地址样本,通过数据增强的得到N对正例地址样本对,此时共有2N个地址样本;zi为第一增强地址样本,zj为第二增强地址样本,zk为除第二增强地址样本之外的第二增强地址样本,k不等于i,即对于一个给定的正例地址样本对,剩下的地址样本对都是负例地址样本。上式中sim()表示cosin相似度的计算公式;T是温度系数。
从上式可以看出,分子中只计算正例地址样本对的距离,负例地址样本对只会在对比损失的分母中出现,当正例地址样本对直接的距离越小、负例地址样本对距离越大,对比学习损失值越小。
本实施例中,通过获取对地址样本进行数据增强处理得到的正例地址样本对,正例地址样本对包括第一增强地址样本和第二增强地址样本,然后将第一增强地址样本输入预设识别模型,以编码得到的第一编码向量,并在解码第一编码向量时进行解码树约束,得到第一预测地址,并将第二增强地址样本输入预设识别模型,以编码得到的第二编码向量,并在解码第二编码向量时进行解码树约束,得到第二预测地址,最后确定第一预测地址和第二预测地址之间的对比学习损失,得到对比学习损失值,明确了将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,得到正例地址样本对的对比学习损失值的具体过程,为训练得到准确的目标识别模型基础。
在一实施例中,如图5所示,步骤S222中,即在解码第一编码向量时进行解码约束,得到第一预测地址,具体包括如下步骤:
S2221:对第一编码向量进行基于束搜索算法的序列搜索,得到多个待约束解码序列;
S2222:采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列;
S2222:基于束搜索算法对候选解码序列进行打分,选取分值最大的候选解码序列作为第一预测地址。
在获得地址样本对应的正例地址样本对(包括第一增强地址样本和第而增强地址样本)之后,将第一增强地址样本输入预设识别模型的编码层,以在编码层对第一增强地址样本进行上下文编码得到第一编码向量,然后将编码层输出的第一编码向量输入预设识别模型的解码层中,以在解码层中对第一编码向量进行解码并在解码过程中进行解码树约束,其中,进对第一编码向量进行解码并在解码过程中进行解码树约束具体包括如下步骤,即在解码层中实现如下步骤:对第一编码向量进行基于束搜索算法(beamsearch)的序列搜索,得到多个待约束解码序列;并采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列;最后基于束搜索算法对候选解码序列进行打分,选取分值最大的候选解码序列作为第一预测地址。此外,第二预测地址的获取过程与第一预测地址获取过程一致,在此不在赘述。
其中,采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列的过程中,为将解码得到的地址序列进行限制约束,需要按照预设标准地址前置树对每一待约束解码序列进行剪枝处理,从而得到剪枝后的多个候选解码序列,该过程称为解码树剪枝。其中,预设标准地址前置树中的标准地址为按照不同国家的行政区域进行细分得到的标准化地址。例如,以中国为例,行政区域划分依次包括省(自治区)、市、县(区)、镇(路)等,则标准地址为某某省(自治区)某某市某某县(区)某某镇(路)。
有别于传统解码,本实施例中通过对解码序列进行剪枝,实现对解码树的约束,将解码序列限定在只有标准地址的文字中,保证输出的预测地址的标准化,能够使得即便用户输入的地址形式不同,也能够输出标准的地址,简单方便,并确保目标识别模型能够输出符合要求的标准地址,提高了地址识别的准确性。
本实施例中,通过对第一编码向量进行基于束搜索算法的序列搜索,得到多个待约束解码序列,然后采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列,基于束搜索算法对候选解码序列进行打分,选取分值最大的候选解码序列作为第一预测地址,明确了在解码第一编码向量时进行解码树约束,得到第一预测地址的过程,确保了第一预测地址的准确性,从而确保后续训练得到的目标识别模型的性能。
在一实施例中,如图6所示,步骤S23中,即根据对比学习损失值确定总损失值,具体包括如下步骤:
S231:计算地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值。
S232:计算标准地址标签与第二预测地址之间的损失值,记为第二损失值;
S233:根据对比学习损失值、第一损失值和第二损失值确定总损失值。
本实施例中,每一地址样本均对应一个标准地址标签,在将地址样本进行数据增强处理,得到包括第一增强地址样本和第二增强地址样本的正例地址样本对之后,将第一增强地址样本、第二增强地址样本分别输入预设识别模型进行地址预测识别,并得到第一增强地址样本对应的第一预测地址,以及第二增强地址样本的第二预测地址;然后,计算地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值,并计算标准地址标签与第二预测地址之间的损失值,记为第二损失值;最后,根据对比学习损失值、第一损失值和第二损失值确定总损失值。其中,第一损失值为标准地址标签与第一预测地址之间的分类损失值,第而损失值为标准地址标签与第而预测地址之间的分类损失值,均可以通过交叉熵损失函数计算。
其中,总损失值通过如下公式计算:
Figure BDA0003742846850000111
其中,L表示总损失值;L1表示第一损失值;2表示第二损失值;L0表示对比学习损失值;α表示权重因子,可以根据需求标定。
本实施例中,通过计算地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值,并计算标准地址标签与第二预测地址之间的损失值,记为第二损失值,然后根据对比学习损失值、第一损失值和第二损失值确定总损失值,明确了根据对比学习损失值确定总损失值的具体步骤,为后续得到收敛的预设识别模型提供了基础,通过对比学习损失值、第一损失值和第二损失值确定总损失值,提高了总损失值的准确性,从而提高了后续训练得到的目标识别模型的精度。
在一实施例中,如图7所示,步骤S30中,即对待测试模型进行测试,具体包括如下步骤:
S31:采用待测试模型对地址样本进行地址识别,得到待测试模型对地址样本的识别地址;
S32:计算识别地址与地址样本的标准地址标签之间的相似度;
S33:确定相似度是否大于预设相似度;
S34:若相似度大于预设相似度,则确定待测试模型的性能满足预设性能条件。
在得到待测试模型之后,采用待测试模型对地址样本进行地址识别,得到待测试模型对地址样本的识别地址,然后计算识别地址与地址样本的标准地址标签之间的相似度,并确定相似度是否大于预设相似度,若相似度大于预设相似度,则确定待测试模型的性能满足预设性能条件;若相似度小于或者等于预设相似度,则确定待测试模型的性能未满足预设性能条件,需要重复步骤S20-S30,直至待测试模型的性能满足预设性能条件。预设相似度可以为90。
其中,相似度可以通过对识别地址与地址样本的标准地址标签进行编辑距离计算,将计算得到的编辑距离作为识别地址与地址样本的标准地址标签之间的相似度。
本实施例中,采用待测试模型对地址样本进行地址识别,得到待测试模型对地址样本的识别地址,计算识别地址与地址样本的标准地址标签之间的相似度,确定相似度是否大于预设相似度;若相似度大于预设相似度,则确定待测试模型的性能满足预设性能条件,明确了对待测试模型进行测试的具体步骤,根据识别地址与地址样本的标准地址标签之间的相似度确定模型性能是否满足预设性能条件,在保证模型性能的基础上,方法简单有效,便于执行。
在一实施例中,如图8所示,步骤S40中,即在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别,具体包括如下步骤:
S41:将目标识别模型进行代码编译和优化,得到目标识别模型的目标代码。
在得到目标识别模型之后,服务器将目标识别模型进行代码编译和优化,得到目标识别模型的目标代码。其中,可以将目标识别模型输入编译器,如张量虚拟机(TensorVirtual Machine,简称TVM)或自动化张量虚拟机(Auto Tensor Virtual Machine,简称AutoTVM),以通过TVM或AutoTVM等编译器对人脸识别模型进行深度学习的代码编译和优化,然后获取编译器输出的编译代码,作为人脸识别模型的目标代码。
S42:将目标代码部署至目标设备,以使目标设备在接收到地址识别指令时,运行目标代码以调用目标识别模型对待识别数据进行地址识别。
在服务器将目标代码部署至目标设备之后,目标设备需要实时判断是否接受到用户发送的人脸识别指令,在接收到人脸识别指令时,目标设备需要获取用户通过目标设备输入的地址数据,作为待识别数据,并运行目标代码以调用人脸识别模型对待识别数据进行地址识别,得到地址识别结果。
需要理解的是,因为地址数据具有数据的敏感性,因此大多数人都希望能够在终端设备甚至是边缘设备执行地址识别任务,从而保证数据不外出,减少数据泄露的可能,提高用户隐私安全性。而本实施例中,采用采用序列对序列模型训练得到的目标识别模型,在确保识别准确率的基础上,将目标识别模型进行代码编译和优化得到目标识别模型的目标代码,能够减少代码量,然后将目标代码部署至目标设备,从而降低目标识别模型的运行成本,解决了跨设备部署问题,使得数据输入、处理和输出均在同一目标设备上,减少了地址识别系统的组件量,附加的成本相对便宜,而且能够解决数据泄露问题,并提高了地址识别的人工智能化,从而提高了地址识别工作的效率。
本实施例中,通过将目标识别模型进行代码编译和优化,得到目标识别模型的目标代码,然后将目标代码部署至目标设备,以使目标设备在接收到地址识别指令时,运行目标代码以调用目标识别模型对待识别数据进行地址识别,减少了地址识别系统的组件量,附加的成本相对便宜,而且能够解决数据泄露问题,确保地址识别过程的安全性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种基于人工智能的地址识别装置,该基于人工智能的地址识别装置与上述实施例中基于人工智能的地址识别方法一一对应。如图9所示,该基于人工智能的地址识别装置包括获取模块901、训练模块902、测试模块903和识别模块904。各功能模块详细说明如下:
获取模块901,用于获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;
训练模块902,用于基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;
测试模块903,用于对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;
识别模块904,用于在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
进一步地,训练模块902具体用于:
对多个地址样本进行数据增强处理,得到每一地址样本对应的正例地址样本对;
将地址样本对应的正例地址样本对输入预设识别模型中进行对比学习训练,并在训练过程中对预设识别模型进行解码树约束,得到正例地址样本对的对比学习损失值;
根据对比学习损失值确定总损失值;
在总损失值未达到预设收敛条件时,迭代更新预设识别模型的初始参数,直至总损失值达到预设收敛条件,将收敛后的预设识别模型记录为待测试模型。
进一步地,训练模块902具体还用于:
获取对地址样本进行数据增强处理得到的正例地址样本对,正例地址样本对包括第一增强地址样本和第二增强地址样本;
将第一增强地址样本输入预设识别模型,以编码得到的第一编码向量,并在解码第一编码向量时进行解码树约束,得到第一预测地址;
将第二增强地址样本输入预设识别模型,以编码得到的第二编码向量,并在解码第二编码向量时进行解码树约束,得到第二预测地址;
确定第一预测地址和第二预测地址之间的对比学习损失,得到对比学习损失值。
进一步地,训练模块902具体还用于:
对第一编码向量进行基于束搜索算法的序列搜索,得到多个待约束解码序列;
采用剪枝算法对各待约束解码序列进行序列约束,得到多个候选解码序列;
基于束搜索算法对候选解码序列进行打分,选取分值最大的候选解码序列作为第一预测地址。
进一步地,训练模块902具体还用于:
计算地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值;
计算标准地址标签与第二预测地址之间的损失值,记为第二损失值;
根据对比学习损失值、第一损失值和第二损失值确定总损失值。
进一步地,测试模块903具体用于:
采用待测试模型对地址样本进行地址识别,得到待测试模型对地址样本的识别地址;
计算识别地址与地址样本的标准地址标签之间的相似度;
确定相似度是否大于预设相似度;
若相似度大于预设相似度,则确定待测试模型的性能满足预设性能条件。
进一步地,识别模块904具体用于:
将目标识别模型进行代码编译和优化,得到目标识别模型的目标代码;
将目标代码部署至目标设备,以使目标设备在接收到地址识别指令时,运行目标代码以调用目标识别模型对待识别数据进行地址识别。
关于基于人工智能的地址识别装置的具体限定可以参见上文中对于基于人工智能的地址识别方法的限定,在此不再赘述。上述基于人工智能的地址识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于……(补入数据库的功能限定)。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的地址识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;
基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;
对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;
在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取多个地址样本和预设识别模型,预设识别模型为序列到序列模型;
基于多个地址样本对预设识别模型进行模型训练,并在训练过程中对预设识别模型进行解码树约束,训练得到待测试模型;
对待测试模型进行测试,直至待测试模型的性能满足预设性能条件后,将满足预设性能条件的待测试模型输出为目标识别模型;
在接收到地址识别指令时,调用目标识别模型对待识别数据进行地址识别。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的地址识别方法,其特征在于,包括:
获取多个地址样本和预设识别模型,所述预设识别模型为序列到序列模型;
基于多个所述地址样本对所述预设识别模型进行模型训练,并在训练过程中对所述预设识别模型进行解码树约束,训练得到待测试模型;
对所述待测试模型进行测试,直至所述待测试模型的性能满足预设性能条件后,将满足所述预设性能条件的所述待测试模型输出为目标识别模型;
在接收到地址识别指令时,调用所述目标识别模型对待识别数据进行地址识别。
2.如权利要求1所述的基于人工智能的地址识别方法,其特征在于,所述基于多个所述地址样本对所述预设识别模型进行训练,并在训练过程中对所述预设识别模型进行解码树约束,训练得到待测试模型,包括:
对多个所述地址样本进行数据增强处理,得到每一所述地址样本对应的正例地址样本对;
将所述地址样本对应的正例地址样本对输入所述预设识别模型中进行对比学习训练,并在训练过程中对所述预设识别模型进行解码树约束,得到所述正例地址样本对的对比学习损失值;
根据所述对比学习损失值确定总损失值;
在所述总损失值未达到预设收敛条件时,迭代更新所述预设识别模型的初始参数,直至所述总损失值达到所述预设收敛条件,将收敛后的所述预设识别模型记录为待测试模型。
3.如权利要求2所述的基于人工智能的地址识别方法,其特征在于,所述将所述地址样本对应的正例地址样本对输入所述预设识别模型中进行对比学习训练,并在训练过程中对所述预设识别模型进行解码树约束,得到所述正例地址样本对的对比学习损失值,包括:
获取对所述地址样本进行数据增强处理得到的正例地址样本对,所述正例地址样本对包括第一增强地址样本和第二增强地址样本;
将所述第一增强地址样本输入所述预设识别模型,以编码得到的第一编码向量,并在解码所述第一编码向量时进行解码树约束,得到第一预测地址;
将所述第二增强地址样本输入所述预设识别模型,以编码得到的第二编码向量,并在解码所述第二编码向量时进行解码树约束,得到第二预测地址;
确定所述第一预测地址和所述第二预测地址之间的对比学习损失,得到所述对比学习损失值。
4.如权利要求3所述的基于人工智能的地址识别方法,其特征在于,所述在解码所述第一编码向量时进行解码树约束,得到第一预测地址,包括:
对所述第一编码向量进行基于束搜索算法的序列搜索,得到多个待约束解码序列;
采用剪枝算法对各所述待约束解码序列进行序列约束,得到多个候选解码序列;
基于所述束搜索算法对所述候选解码序列进行打分,选取分值最大的所述候选解码序列作为所述第一预测地址。
5.如权利要求2所述的基于人工智能的地址识别方法,其特征在于,所述根据所述对比学习损失值确定总损失值,包括:
计算所述地址样本的标准地址标签与第一预测地址之间的损失值,记为第一损失值;
计算所述标准地址标签与第二预测地址之间的损失值,记为第二损失值;
根据所述对比学习损失值、所述第一损失值和所述第二损失值确定所述总损失值。
6.如权利要求1所述的基于人工智能的地址识别方法,其特征在于,所述对所述待测试模型进行测试,包括:
采用所述待测试模型对所述地址样本进行地址识别,得到所述待测试模型对所述地址样本的识别地址;
计算所述识别地址与所述地址样本的标准地址标签之间的相似度;
确定所述相似度是否大于预设相似度;
若所述相似度大于所述预设相似度,则确定所述待测试模型的性能满足所述预设性能条件。
7.如权利要求1-6任一项所述的基于人工智能的地址识别方法,其特征在于,所述在接收到地址识别指令时,调用所述目标识别模型对待识别数据进行地址识别,包括:
将所述目标识别模型进行代码编译和优化,得到所述目标识别模型的目标代码;
将所述目标代码部署至目标设备,以使所述目标设备在接收到所述地址识别指令时,运行所述目标代码以调用所述目标识别模型对所述待识别数据进行地址识别。
8.一种基于人工智能的地址识别装置,其特征在于,包括:
获取模块,用于获取多个地址样本和预设识别模型,所述预设识别模型为序列到序列模型;
训练模块,用于基于多个所述地址样本对所述预设识别模型进行模型训练,并在训练过程中对所述预设识别模型进行解码树约束,训练得到待测试模型;
测试模块,用于对所述待测试模型进行测试,直至所述待测试模型的性能满足预设性能条件后,将满足所述预设性能条件的所述待测试模型输出为目标识别模型;
识别模块,用于在接收到地址识别指令时,调用所述目标识别模型对待识别数据进行地址识别。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于人工智能的地址识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人工智能的地址识别方法的步骤。
CN202210817087.6A 2022-07-12 2022-07-12 基于人工智能的地址识别方法、装置、设备及存储介质 Pending CN115099359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210817087.6A CN115099359A (zh) 2022-07-12 2022-07-12 基于人工智能的地址识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210817087.6A CN115099359A (zh) 2022-07-12 2022-07-12 基于人工智能的地址识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115099359A true CN115099359A (zh) 2022-09-23

Family

ID=83296052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210817087.6A Pending CN115099359A (zh) 2022-07-12 2022-07-12 基于人工智能的地址识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115099359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455315A (zh) * 2022-11-10 2022-12-09 吉奥时空信息技术股份有限公司 一种基于对比学习的地址匹配模型训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018101514A4 (en) * 2018-10-11 2018-11-15 Chi, Henan Mr An automatic text-generating program for Chinese Hip-hop lyrics
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技(深圳)有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN109960795A (zh) * 2019-02-18 2019-07-02 平安科技(深圳)有限公司 一种地址信息标准化方法、装置、计算机设备及存储介质
CN113887229A (zh) * 2021-09-29 2022-01-04 平安普惠企业管理有限公司 地址信息的识别方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018101514A4 (en) * 2018-10-11 2018-11-15 Chi, Henan Mr An automatic text-generating program for Chinese Hip-hop lyrics
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技(深圳)有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN109960795A (zh) * 2019-02-18 2019-07-02 平安科技(深圳)有限公司 一种地址信息标准化方法、装置、计算机设备及存储介质
CN113887229A (zh) * 2021-09-29 2022-01-04 平安普惠企业管理有限公司 地址信息的识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BANIK ET AL: ""Machine_Learning_Based_Optimized_Pruning_Approach_for_Decoding_in_Statistical_Machine_Translation-2"", IEEE, DIGITAL OBJECT IDENTIFIER 10.1109/ACCESS.2018.2883738, vol. 9, 7 January 2019 (2019-01-07), pages 1736 - 1751 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455315A (zh) * 2022-11-10 2022-12-09 吉奥时空信息技术股份有限公司 一种基于对比学习的地址匹配模型训练方法

Similar Documents

Publication Publication Date Title
CN111581229B (zh) Sql语句的生成方法、装置、计算机设备及存储介质
CN110673840A (zh) 一种基于标签图嵌入技术的自动代码生成方法及系统
CN112766319B (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN112528637A (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN112069300A (zh) 任务型对话的语义识别方法、装置、电子设备及存储介质
CN113837113B (zh) 基于人工智能的文档校验方法、装置、设备及介质
CN112380238A (zh) 数据库数据查询方法、装置、电子设备及存储介质
CN114398881A (zh) 基于图神经网络的交易信息识别方法、系统及介质
CN115329876A (zh) 一种设备故障处理方法、装置、计算机设备及存储介质
CN112084752A (zh) 基于自然语言的语句标注方法、装置、设备及存储介质
CN114580424A (zh) 一种用于法律文书的命名实体识别的标注方法和装置
CN113868368A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN111091004A (zh) 一种语句实体标注模型的训练方法、训练装置及电子设备
CN113743101A (zh) 文本纠错方法、装置、电子设备和计算机存储介质
CN115934147A (zh) 软件自动修复方法、系统、电子设备及存储介质
CN115099359A (zh) 基于人工智能的地址识别方法、装置、设备及存储介质
CN113821251B (zh) 基于人工智能的代码优化方法、装置、设备和存储介质
CN111507726A (zh) 一种报文生成方法、装置及设备
CN114420168A (zh) 情绪识别方法、装置、设备及存储介质
CN115984302B (zh) 基于稀疏混合专家网络预训练的多模态遥感图像处理方法
CN111754352A (zh) 一种观点语句正确性的判断方法、装置、设备和存储介质
CN115328753B (zh) 一种故障预测方法及装置、电子设备、存储介质
CN115169330B (zh) 中文文本纠错及验证方法、装置、设备及存储介质
CN114743018A (zh) 图像描述生成方法、装置、设备及介质
CN114580399A (zh) 文本纠错方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination