CN111881677A - 基于深度学习模型的地址匹配算法 - Google Patents
基于深度学习模型的地址匹配算法 Download PDFInfo
- Publication number
- CN111881677A CN111881677A CN202010738017.2A CN202010738017A CN111881677A CN 111881677 A CN111881677 A CN 111881677A CN 202010738017 A CN202010738017 A CN 202010738017A CN 111881677 A CN111881677 A CN 111881677A
- Authority
- CN
- China
- Prior art keywords
- address
- word
- model
- training
- corpus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 34
- 238000013136 deep learning model Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 72
- 238000007781 pre-processing Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002779 inactivation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000006403 short-term memory Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于深度学习模型的地址匹配算法，首先利用结巴(jieba)中文分词库对语料库中的地址进行分词；然后利用词向量(Word2vec)模型，进行地址词向量训练；最后利用增强序列推理模型(Enhanced Sequential Inference Model,ESIM)进行地址文本语义相似度计算，并输出匹配结果。该方法不同于传统的地址匹配算法侧重于利用匹配地址的字面重叠直接进行相似度计算与文本匹配，该算法侧重研究地址文本在语义上的相似程度，并以此为基础完成匹配任务，提供了一种适用于当今海量的多源异构地址数据匹配任务的深度学习算法。
Description
技术领域
本发明涉及一种计算机深度学习领域，尤其是涉及一种地址匹配的深度学习方法。
背景技术
随着信息技术的快速发展，医疗、通信、物流等各个行业产生的时空数据日益增多。据统计，人类活动与城市信息中有80％以上是与地理空间位置有关的，其主要纽带就是地址信息，因此，地址在人们生活中扮演着越来越重要的作用。现有的行业数据(如医疗、公安等)通常将空间位置属性以地址文本的形式进行存储，要实现其在地理空间上的集中管理、分析与信息共享，则必须先将其转化为空间数据。要完成这一过程，就需要通过地址匹配查找并获得数据对应的地理坐标。地址匹配是地理编码的关键环节，其作用主要是将输入的地址文本与标准地址库中的地址进行配对，最终转化为空间地理坐标。目前，地址匹配已在城市管理、医疗服务、快递及邮政服务、灾害预警等方面获得了广泛应用。
至今，已有大量的方法和技术被用于解决地址匹配问题，它们大致可以分为以下三类：基于字符串比较的地址匹配算法、基于要素层级模型的地址匹配算法和基于空间推理的地址匹配算法。基于字符串比较的地址匹配算法的特点为可不经过分词处理，直接利用编辑距离(Edit distance，或Levenshtein距离)等度量地址文本之间的相似性，衡量其匹配程度。此类方法对于非标准地址处理能力较差。基于要素层级模型的地址匹配算法在构建地址要素层级模型的基础上建立匹配规则库，在地址匹配过程中，通过规则库中的规则对匹配加以约束。一定程度上，规则库脱离了算法层面，具有较强的灵活性，方便做出修改和调整，但是由于中文地址的复杂性，匹配规则库需要考虑到匹配过程中遇到的多种可能性，若要有效提高地址匹配精度，其建立难度较大。基于空间推理的地址匹配算法强调了地址文本中隐含的空间位置关系，并根据空间关系进行相应的推理匹配。此类算法对地址质量要求较高，在实际应用中作用有限。
近年来，随着移动设备及位置服务的普及，以地址为空间信息基础的海量行业数据开始大量涌现。由于中文地址在表达上的复杂性，多数地址仅在语义具有一定的空间指向性，但缺乏标准的地址结构。传统的地址匹配方法主要关注地址文本间字与字的匹配关系，无法准确识别不同表达方式下不同地址的同一指向关系：例如，“福永龙腾阁1巷2502”与“宝安区福永街道白石厦社区德丰路龙腾阁一巷2号”虽指向同一地理位置，但在字面表达上并无过多重叠，直接在字词层面进行匹配很难准确识别其相关关系。因此在这一背景下，要对多源异构的海量地址数据进行匹配，传统的地址匹配方法已不再适用。
发明内容
本发明的目的在于提供一种基于深度学习模型的地址匹配算法，其充分利用地址中丰富的语义信息，很大程度上减小地址表达方式与结构对地址匹配度的影响，有效提高地址匹配准确率。
本发明为达上述目的所采用的技术方案是：
提供一种基于深度学习模型的地址匹配算法，包括以下步骤：
步骤1、对地址语料库进行数据预处理，包括去除语料库中的重复地址、空格及特殊符号，以及校正错别字改；所述地址语料库为标准地址库，其数据结构如下表1所示，其中，每一个待查询地址address_a分别对应1个正样本和1个负样本，采用UTF-8编码，正样本为匹配的address_b，负样本为不匹配的address_b；
表1标准地址库数据结构
| 元素 | 描述 |
| address_a | 待查询地址 |
| address_b | 标准地址库地址 |
| label | 匹配标记，1为匹配，0为不匹配 |
步骤2、对预处理后的地址语料库进行中文分词，将地址文本中的词语与词语之间加上标记；
步骤3、对经过中文分词后的地址进行词向量训练，生成词表及其对应的多维词向量；
步骤4、地址文本语义匹配，包括以下子步骤：
步骤4.1.在进行模型训练之前，对实验数据集进行一系列预处理，以满足模型输入的要求，具体的数据预处理操作如下：
(1)将实验数据集中的地址文本进行分词；
(2)载入步骤3中生成的词表，将分词后的地址文本转化为词表ID序列；
(3)将label转化为独热(One-Hot)编码，设置正样本索引为1，负样本索引为2，则label为1时独热(One-Hot)编码为[1,0]，label为0时独热(One-Hot)编码为[0,1]；
步骤4.2.增强序列推理模型(ESIM)训练，具体包括：
(1)采用小批处理(mini batch)进行训练，并添加随机失活(dropout)层，使每一个小批(mini batch)都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练；
(2)在词嵌入层中采用动态词向量，将载入的预训练词向量设置为可训练模式，模型在训练过程中根据输入文本对预训练词向量进行更新，加速收敛；
(3)在计算模型损失时采用L2正则化，在损失函数后添加正则化项
对网络权值进行约束，λ为L2正则化参数；
(4)根据超参数的重要性水平，对模型的学习率、隐层节点数和小批(mini batch)大小进行调参，得到训练后的深度学习模型；
步骤5、将需要匹配的地址直接输入到训练后的深度学习模型，输出匹配后的结果。
接上述技术方案，增强序列推理模型(ESIM)调参后采用的超参数设置如表2所示：
表2增强序列推理模型(ESIM)超参数描述及实施例设置
接上述技术方案，采用结巴(jieba)中文分词库对语料库中的地址进行分词，分词模式为精确模式；先用统计词典中所有可能成词的词语构建前缀词典，再根据该前缀词典得到输入文本的所有可能切分方式，并基于所有可能切分形成该输入文本的一个有向无环图，最后采用动态规划算法从后向前计算概率最大的文本切分形式。
接上述技术方案，在分词过程中加载搜狗输入法词库和清华大学开放中文词库的地名词典作为分词的自定义词典。
接上述技术方案，步骤3中，采用主题模型工具包(gensim)中的词向量(Word2Vec)模型对分词后的语料库进行词向量训练，训练过程中采用的模型为连续词袋(ContinuousBag-of-Words,CBOW)模型，训练方法为负采样；训练时过滤词频小于5的词，并设置窗口大小为10、随机梯度下降的最大迭代次数为10，其余参数均设为默认值，最后生成该语料库的词表及其对应的256维词向量。
本发明还提供了一种基于深度学习模型的地址匹配系统，包括：
语料库预处理模块，对地址语料库进行数据预处理，包括去除语料库中的重复地址、空格及特殊符号，以及校正错别字改；所述地址语料库为标准地址库，其数据结构如下表1所示，其中，每一个待查询地址address_a分别对应1个正样本和1个负样本，采用UTF-8编码，正样本为匹配的address_b，负样本为不匹配的address_b；
表1标准地址库数据结构
| 元素 | 描述 |
| address_a | 待查询地址 |
| address_b | 标准地址库地址 |
| label | 匹配标记，1为匹配，0为不匹配 |
语料库分词模块，用于对预处理后的地址语料库进行中文分词，将地址文本中的词语与词语之间加上标记；
词向量训练模块，用于对经过中文分词后的地址进行词向量训练，生成词表及其对应的多维词向量；
实验数据集地址文本语义匹配模块，包括实验数据集预处理子模块和增强序列推理模型(ESIM)训练子模块，其中，
实验数据集预处理子模块，用于实验数据集进行一系列预处理，以满足模型输入的要求，具体的数据预处理操作如下：
(1)将实验数据集中的地址文本进行分词；
(2)载入步骤3中生成的词表，将分词后的地址文本转化为词表ID序列；
(3)将label转化为独热(One-Hot)编码，设置正样本索引为1，负样本索引为2，则label为1时独热(One-Hot)编码为[1,0]，label为0时独热(One-Hot)编码为[0,1]；
增强序列推理模型(ESIM)训练子模块，具体用于：
(1)采用小批处理(mini batch)进行训练，并添加随机失活(dropout)层，使每一个小批(mini batch)都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练；
(2)在词嵌入层中采用动态词向量，将载入的预训练词向量设置为可训练模式，模型在训练过程中根据输入文本对预训练词向量进行更新，加速收敛；
(3)在计算模型损失时采用L2正则化，在损失函数后添加正则化项
对网络权值进行约束，λ为L2正则化参数；
(4)根据超参数的重要性水平，对模型的学习率、隐层节点数和小批(mini batch)大小进行调参，得到训练后的深度学习模型；
匹配模块，用于将需要匹配的地址直接输入到训练后的深度学习模型，输出匹配后的结果。
接上述技术方案，增强序列推理模型(ESIM)调参后采用的超参数设置如表2所示：
表2增强序列推理模型(ESIM)超参数描述及实施例设置
接上述技术方案，语料库分词模块具体采用结巴(jieba)中文分词库对语料库中的地址进行分词，分词模式为精确模式；先用统计词典中所有可能成词的词语构建前缀词典，再根据该前缀词典得到输入文本的所有可能切分方式，并基于所有可能切分形成该输入文本的一个有向无环图，最后采用动态规划算法从后向前计算概率最大的文本切分形式。
接上述技术方案，词向量训练模块具体采用主题模型工具包(gensim)中的词向量(Word2Vec)模型对分词后的语料库进行词向量训练，训练过程中采用的模型为连续词袋(Continuous Bag-of-Words,CBOW)模型，训练方法为负采样；训练时过滤词频小于5的词，并设置窗口大小为10、随机梯度下降的最大迭代次数为10，其余参数均设为默认值，最后生成该语料库的词表及其对应的256维词向量。
本发明还提供了一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行如上述技术方案所述的基于深度学习模型的地址匹配算法。
本发明产生的有益效果是：利用结巴(jieba)中文分词库对语料库中的地址进行分词；然后利用词向量(Word2vec)模型，进行地址词向量训练；最后利用增强序列推理模型(ESIM)进行地址文本语义相似度计算，并输出匹配结果。该方法不同于传统的地址匹配算法侧重于利用匹配地址的字面重叠直接进行相似度计算与文本匹配，该算法侧重研究地址文本在语义上的相似程度，并以此为基础完成匹配任务，可很好地解决地址数据量庞大、地址标准化率较低等现象造成的地址匹配精度差这一问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的基于深度学习模型的地址匹配算法流程图；
图2是本发明的地址词向量训练连续词袋(CBOW)模型原理图；
图3是本发明的地址增强序列推理模型(ESIM)结构图；
图4是本发明的双向长短期记忆(BiLSTM)模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例基于深度学习模型的地址匹配算法，如图1示，包括以下步骤：
步骤1.数据预处理。对语料库进行去除语料库中的重复地址、去除空格及特殊符号、对语料库中的错别字进行修改等预处理工作。
本发明实施例中采用的语料库为标准地址库，用于地址文本语义匹配的数据集共含有84,474对标记地址数据，其数据结构如表1所示。其中，每一个待查询地址address_a分别对应1个正样本(匹配的address_b)和1个负样本(不匹配的address_b)。该数据采用UTF-8编码。
表1实施例数据结构
| 元素 | 描述 |
| address_a | 待查询地址 |
| address_b | 标准地址库地址 |
| label | 是否匹配标记，1为匹配，0为不匹配 |
步骤2.中文分词。对于自然语言处理来说，词是最小的有意义的研究单位。在拉丁文语系中，词与词之间有明显分隔符的存在，而这一点是中文所不具备的，中文字符之间没有空格等分隔符。因此对中文文本的分析，需要将文本转换为最小语义单位“词”才能进行，即将一个汉字序列切分成一个一个单独的词。由于中文词语缺少形式上的分隔符，故在进行词向量训练之前，应先通过中文分词将地址文本中的词语与词语之间加上标记，即分词。本发明采用结巴(jieba)中文分词库对语料库中的地址进行分词，分词模式为精确模式。结巴(jieba)分词的原理为：先用统计词典中所有可能成词的词语构建前缀词典，再根据该前缀词典得到输入文本的所有可能切分方式，并基于所有可能切分形成该输入文本的一个有向无环图，最后采用动态规划算法从后向前计算概率最大的文本切分形式。
为使分词结果更加准确，在分词过程中可加载搜狗输入法词库和清华大学开放中文词库(THU Open Chinese Lexicon，THUOCL)的地名词典作为分词的自定义词典。
本发明采用机械分词和统计分词相结合的分词方法，首先使用已有的地名分词词典来进行字符串匹配机械分词，同时使用统计模型识别词典不包含的新词。该方法结合了机械分词和统计分词的优点，不仅切分速度快、效率高，而且可以结合上下文共现频率识别生词、消除歧义。
步骤3.地址词向量训练。本发明采用主题模型工具包(gensim)中的词向量(Word2Vec)模型对分词后的语料库进行词向量训练。训练过程中采用的模型为连续词袋(Continuous Bag-of-Words,CBOW)模型，训练方法为负采样；训练时过滤词频小于5的词，并设置窗口大小为10、随机梯度下降的最大迭代次数为10，其余参数均设为默认值。最后生成该语料库的词表及其对应的256维词向量。
步骤4.地址文本语义匹配，包括以下子步骤：
步骤4.1.数据预处理。在进行模型训练之前，首先对实验数据集进行一系列预处理，以满足模型输入的要求。具体的数据预处理操作如下：
(1)中文分词。将地址文本进行分词，词与词之间以空格分隔。
(2)地址文本转化为词表ID序列。载入步骤3中生成的词表，用词语在词表中的ID(即行号)表示上一步分词后的文本。
(3)label转化为独热(One-Hot)编码。设置正样本索引为1，负样本索引为2，则label为1时独热(One-Hot)编码为[1,0]，label为0时独热(One-Hot)编码为[0,1]。
步骤4.2.增强序列推理模型(Enhanced Sequential Inference Model,ESIM)训练，本发明在增强序列推理模型(ESIM)训练中采取了以下策略：
(1)为防止过拟合，提高模型的泛化能力，采用小批处理(mini batch)进行训练，并添加随机失活(dropout)层，使每一个小批(mini batch)都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练。
(2)在词嵌入层中采用动态词向量，即将载入的预训练词向量设置为可训练模式(trainable＝True)。这样，模型在训练过程中可根据输入文本对预训练词向量进行更新，从而加速收敛。
(3)在计算模型损失时采用了L2正则化，即在损失函数后添加正则化项
(λ为L2正则化参数)对网络权值进行约束，从而避免模型过于复杂，降低过拟合的风险。
(4)根据超参数的重要性水平，主要对模型的学习率、隐层节点数和小批(minibatch)大小进行调参。
本发明在增强序列推理模型(ESIM)调参后采用的超参数设置如表2所示。
表2增强序列推理模型(ESIM)超参数描述及实施例设置
步骤2中，中文地址分词的步骤原理如下：
(1)基于前缀词典进行高效的词图扫描，生成一个句子中汉字字符所有可能成词序列情况所构成的有向无环图(Directed Acyclic Graph,DAG)；
(2)进行动态规划找到最大概率的路径,从而找出基于词频的最大概率切分组合；
(3)采用基于中文成词能力的隐马尔科夫模型和维特比(Viterbi)算法处理未登录词。
进一步地，步骤3中，本发明采用连续词袋(Continuous Bag-of-Words,CBOW)模型(如图2所示)在地址语料库上进行词向量训练，最终生成的词向量将作为地址文本表征用作地址语义匹配模型的输入。本发明使用的词向量(Word2vec)模型运用负采样(Negativesampling)算法对模型的训练过程进行了优化。一般情况下，模型在训练过程中每使用一个训练样本就将更新神经网络的所有权重；对于大语料库而言，这种训练方法将使模型的计算效率将大大降低。为降低模型的计算负担，因此采用负采样使得每使用一个训练样本仅对一部分网络权重进行更新。
地址词向量训练的步骤原理如下：
(1)模型初始化。扫描语料库U，生成词表V，并对词表中的每一个词随机生成一个长度为l的词向量w，则语料库U可看作由词向量序列(w1,w2,…,wN)组成；随机初始化所有模型参数；
(2)负采样。假设词表V对应一条长度为1的线段，按照词频的大小可得到该词表内每个词对应的长度：
其中，count(wi)为词wi的词频。
将词表V对应的线段平均分为M(M＞＞V)等份，每份的长度为1/M。假设当前词为wk，生成neg个0～M之间的整数，查找其对应位置上的词，即可生成neg个负例wt，t∈{1，…，neg}，记为Neg(wk)。
(3)随机梯度上升训练。对于当前词wk，假设当前词在窗口d范围内的上下文为wk+i；i∈{-d，…-1，1，…，d}，记为Context(wk)。训练的目标函数为最大化当前词被预测为正例的概率，即
最后采用随机梯度上升法进行训练。
进一步地，步骤4中，经过中文分词、生成词表ID序列和独热(One-Hot)编码等数据预处理后，本发明采用增强序列推理模型(ESIM)作为地址文本语义匹配的基本模型，并通过小批处理(mini batch)、随机失活(dropout)层、L2正则化等参数设置优化模型匹配效果。增强序列推理模型(ESIM)基本思路为：先提取待匹配的两个文本在词级别上的表示信息，再将提取文本间对应位置的交互信息，并构建文本的匹配矩阵，最后抽取该矩阵更高层次的匹配特征，并输出结果(如图3所示)。地址文本语义匹配的步骤原理如下：
(1)词嵌入层。在词嵌入层(Embedding layer)中，首先载入预训练地址词向量矩阵，并输入待匹配地址的词ID序列
与标准地址库地址的词ID序列
然后，根据词id查找矩阵相应位置上的词向量，并拼接为该地址文本的向量表示，即两个词嵌入矩阵
和
(2)输入编码层。输入编码层(Input encoding layer)运用双向长短期记忆模型(Bi-directional long short-term memory，BILSTM)对输入的地址词嵌入矩阵a和b进行进一步编码。双向长短期记忆模型(BILSTM)编码原理为：分别用一个前向长短期记忆模型(LSTM)和一个后向长短期记忆模型(LSTM)从左往右作用于词嵌入矩阵，再将两个长短期记忆模型(LSTM)的输岀进行拼接作为该词嵌入矩阵的编码(如图4所示)。输入编码层的工作可用下列公式进行表示：
(3)局部推断层。局部推断层(Local inference modeling layer)主要利用改进的可分解注意力(Decomposable attention)机制的对两个文本编码间的相似性进行局部推断，其在实现上主要分为三个部分：
①权重矩阵的生成。根据软注意力(Soft attention)原理，计算
和
的点积作为其局部相似性的表示，并以此生成两编码序列的注意力权重矩阵。注意力权重的表达式为：
②序列的局部推断。对编码序列
利用softmax函数求出其对应的注意力权重的概率分布，并将该结果与
进行点乘；对
也采用类似的方法。该步骤可得到两个编码序列之间的交互表示，其对应的数学表达式为：
③局部推断信息的增强。对二元组
将其中的两个元素与其差和元素乘积相连接，从而得到一组可表示序列
基于
的局部推断信息序列，从而增强局部推理信息；对二元组
也采用类似的方法。该步骤对应的数学表达式为：
(4)推断组合层。推断组合层(Inference composition layer)的主要作用是在文本编码相似性的局部推断的基础上进行全局推断，其在实现上主要分为两个部分：
①局部推断信息的提取。该步骤使用输入编码层中的双向长短期记忆模型(BILSTM)进一步提取ma和mb中的局部推断信息，其表达式为：
②池化。对上一步提取到的信息va，i和vb，j，采用最大池化和平均池化的方法进行降维并保留重要特征，最终连接成一个固定长度的向量v。该步骤的表达式为：
v＝[va，ave；va，max；vb，ave；vb，max]
(5)预测输出层。预测输出层(Prediction layer)利用多层感知机(MLP)对最终结果进行拟合并输出：将上一步输出的向量v作为输入层，最后输出两地址文本之间的匹配关系(0为不匹配，1为匹配)。这里使用的多层感知机(MLP)共含有三个全连接隐藏层，其激活函数分别为ReLU、tanh和softmax。其中，ReLU函数的表达式为：
f(x)＝max(0，x)
tanh为双曲正切函数，其表达式为：
softmax函数用于计算各类别的预测概率。最终使用argmax函薮输出预测类别。
综上，本发明设计并实现了基于深度学习的地址匹配算法，不同于传统的地址匹配算法，该算法侧重研究地址文本在语义上的相似程度，并以此为基础完成匹配任务，有利于解决地址数据量庞大、地址标准化率较低等现象造成的地址匹配精度差这一问题。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于深度学习模型的地址匹配算法，其特征在于，包括以下步骤：
步骤1、对地址语料库进行数据预处理，包括去除语料库中的重复地址、空格及特殊符号，以及校正错别字改；所述地址语料库为标准地址库，其数据结构如下表1所示，其中，每一个待查询地址address_a分别对应1个正样本和1个负样本，采用UTF-8编码，正样本为匹配的address_b，负样本为不匹配的address_b；
表1 标准地址库数据结构
步骤2、对预处理后的地址语料库进行中文分词，将地址文本中的词语与词语之间加上标记；
步骤3、对经过中文分词后的地址进行词向量训练，生成词表及其对应的多维词向量；
步骤4、地址文本语义匹配，包括以下子步骤：
步骤4.1.在进行模型训练之前，对实验数据集进行一系列预处理，以满足模型输入的要求，具体的数据预处理操作如下：
(1)将实验数据集中的地址文本进行分词；
(2)载入步骤3中生成的词表，将分词后的地址文本转化为词表ID序列；
(3)将label转化为独热编码One-Hot，设置正样本索引为1，负样本索引为2，则label为1时独热编码为[1,0]，label为0时独热编码为[0,1]；
步骤4.2.增强序列推理模型ESIM训练，具体包括：
(1)采用小批处理进行训练，并添加随机失活层，使每一个小批都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练；
(2)在词嵌入层中采用动态词向量，将载入的预训练词向量设置为可训练模式，模型在训练过程中根据输入文本对预训练词向量进行更新，加速收敛；
(3)在计算模型损失时采用L2正则化，在损失函数后添加正则化项
对网络权值进行约束，λ为L2正则化参数；
(4)根据超参数的重要性水平，对模型的学习率、隐层节点数和小批大小进行调参，得到训练后的深度学习模型；
步骤5、将需要匹配的地址直接输入到训练后的深度学习模型，输出匹配后的结果。
2.根据权利要求1所述的基于深度学习模型的地址匹配算法，其特征在于，增强序列推理模型ESIM调参后采用的超参数设置如表2所示：
表2 增强序列推理模型ESIM超参数描述及实施例设置
3.根据权利要求1所述的基于深度学习模型的地址匹配算法，其特征在于，步骤2中，采用结巴jieba中文分词库对语料库中的地址进行分词，分词模式为精确模式；先用统计词典中所有可能成词的词语构建前缀词典，再根据该前缀词典得到输入文本的所有可能切分方式，并基于所有可能切分形成该输入文本的一个有向无环图，最后采用动态规划算法从后向前计算概率最大的文本切分形式。
4.根据权利要求3所述的基于深度学习模型的地址匹配算法，其特征在于，在分词过程中加载搜狗输入法词库和清华大学开放中文词库的地名词典作为分词的自定义词典。
5.根据权利要求1所述的基于深度学习模型的地址匹配算法，其特征在于，步骤3中，采用主题模型工具包自然语言处理库中的词向量模型对分词后的语料库进行词向量训练，训练过程中采用的模型为连续词袋模型CBOW，训练方法为负采样；训练时过滤词频小于5的词，并设置窗口大小为10、随机梯度下降的最大迭代次数为10，其余参数均设为默认值，最后生成该语料库的词表及其对应的256维词向量。
6.一种基于深度学习模型的地址匹配系统，其特征在于，包括：
语料库预处理模块，对地址语料库进行数据预处理，包括去除语料库中的重复地址、空格及特殊符号，以及校正错别字改；所述地址语料库为标准地址库，其数据结构如下表1所示，其中，每一个待查询地址address_a分别对应1个正样本和1个负样本，采用UTF-8编码，正样本为匹配的address_b，负样本为不匹配的address_b；
表1 标准地址库数据结构
语料库分词模块，用于对预处理后的地址语料库进行中文分词，将地址文本中的词语与词语之间加上标记；
词向量训练模块，用于对经过中文分词后的地址进行词向量训练，生成词表及其对应的多维词向量；
实验数据集地址文本语义匹配模块，包括实验数据集预处理子模块和增强序列推理模型(ESIM)训练子模块，其中，
实验数据集预处理子模块，用于实验数据集进行一系列预处理，以满足模型输入的要求，具体的数据预处理操作如下：
(1)将实验数据集中的地址文本进行分词；
(2)载入步骤3中生成的词表，将分词后的地址文本转化为词表ID序列；
(3)将label转化为独热编码，设置正样本索引为1，负样本索引为2，则label为1时独热编码为[1,0]，label为0时独热编码为[0,1]；
增强序列推理模型训练子模块，具体用于：
(1)采用小批处理进行训练，并添加随机失活层，使每一个小批都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练；
(2)在词嵌入层中采用动态词向量，将载入的预训练词向量设置为可训练模式，模型在训练过程中根据输入文本对预训练词向量进行更新，加速收敛；
(3)在计算模型损失时采用L2正则化，在损失函数后添加正则化项
对网络权值进行约束，λ为L2正则化参数；
(4)根据超参数的重要性水平，对模型的学习率、隐层节点数和小批大小进行调参，得到训练后的深度学习模型；
匹配模块，用于将需要匹配的地址直接输入到训练后的深度学习模型，输出匹配后的结果。
7.根据权利要求6所述的基于深度学习模型的地址匹配系统，其特征在于，增强序列推理模型调参后采用的超参数设置如表2所示：
表2 增强序列推理模型ESIM超参数描述及实施例设置
8.根据权利要求6所述的基于深度学习模型的地址匹配系统，其特征在于，语料库分词模块具体采用结巴中文分词库对语料库中的地址进行分词，分词模式为精确模式；先用统计词典中所有可能成词的词语构建前缀词典，再根据该前缀词典得到输入文本的所有可能切分方式，并基于所有可能切分形成该输入文本的一个有向无环图，最后采用动态规划算法从后向前计算概率最大的文本切分形式。
9.根据权利要求6所述的基于深度学习模型的地址匹配系统，其特征在于，词向量训练模块具体采用主题模型工具包中的词向量模型对分词后的语料库进行词向量训练，训练过程中采用的模型为连续词袋模型，训练方法为负采样；训练时过滤词频小于5的词，并设置窗口大小为10、随机梯度下降的最大迭代次数为10，其余参数均设为默认值，最后生成该语料库的词表及其对应的256维词向量。
10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行如权利要求1-5中任一项所述的基于深度学习模型的地址匹配算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738017.2A CN111881677A (zh) | 2020-07-28 | 2020-07-28 | 基于深度学习模型的地址匹配算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738017.2A CN111881677A (zh) | 2020-07-28 | 2020-07-28 | 基于深度学习模型的地址匹配算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881677A true CN111881677A (zh) | 2020-11-03 |
Family
ID=73201809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010738017.2A Pending CN111881677A (zh) | 2020-07-28 | 2020-07-28 | 基于深度学习模型的地址匹配算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881677A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463924A (zh) * | 2020-11-27 | 2021-03-09 | 齐鲁工业大学 | 面向智能问答基于内部相关性编码的文本意图匹配方法 |
| CN112527938A (zh) * | 2020-12-17 | 2021-03-19 | 安徽迪科数金科技有限公司 | 基于自然语言理解的中文poi匹配方法 |
| CN112612863A (zh) * | 2020-12-23 | 2021-04-06 | 武汉大学 | 一种基于中文分词器的地址匹配方法及系统 |
| CN113326267A (zh) * | 2021-06-24 | 2021-08-31 | 中国科学技术大学智慧城市研究院(芜湖) | 基于倒排索引和神经网络算法的地址匹配方法 |
| CN113515677A (zh) * | 2021-07-22 | 2021-10-19 | 中移（杭州）信息技术有限公司 | 地址匹配方法、装置及计算机可读存储介质 |
| CN114429129A (zh) * | 2021-12-22 | 2022-05-03 | 南京信息工程大学 | 一种文献挖掘与材料性质预测方法 |
| CN114461943A (zh) * | 2022-04-14 | 2022-05-10 | 中国测绘科学研究院 | 基于深度学习的多源poi语义匹配方法、装置及其存储介质 |
| CN114492434A (zh) * | 2022-01-27 | 2022-05-13 | 圆通速递有限公司 | 一种基于运单号自动识别模型智能识别运单号方法 |
| CN114757625A (zh) * | 2022-06-14 | 2022-07-15 | 成都普惠道智慧能源科技有限公司 | 一种基于位置匹配的lng罐装安全管理方法及物联网系统 |
| CN114911909A (zh) * | 2022-06-08 | 2022-08-16 | 北京青萌数海科技有限公司 | 结合深度卷积网络和注意力机制的地址匹配方法以及装置 |
| CN116955335A (zh) * | 2023-07-21 | 2023-10-27 | 北京国信达数据技术有限公司 | 一种基于大数据模型算法的地址数据治理方法及其系统 |
| CN118093766A (zh) * | 2024-04-26 | 2024-05-28 | 广东宜通衡睿科技有限公司 | 一种对地图系统中地址信息处理的方法及相关装置 |
| US12106263B2 (en) | 2022-06-14 | 2024-10-01 | Chengdu Puhuidao Smart Energy Technology Co., Ltd. | Method for liquefied natural gas (LNG) station management and internet of things system thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902159A (zh) * | 2019-01-29 | 2019-06-18 | 华融融通（北京）科技有限公司 | 一种基于自然语言处理的智能运维语句相似度匹配方法 |
| CN110570941A (zh) * | 2019-07-17 | 2019-12-13 | 北京智能工场科技有限公司 | 一种基于文本语义向量模型评估心理状态的系统和装置 |
| WO2020103783A1 (zh) * | 2018-11-19 | 2020-05-28 | 阿里巴巴集团控股有限公司 | 地址文本相似度确定方法、地址搜索方法、装置和设备 |
-
2020
- 2020-07-28 CN CN202010738017.2A patent/CN111881677A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103783A1 (zh) * | 2018-11-19 | 2020-05-28 | 阿里巴巴集团控股有限公司 | 地址文本相似度确定方法、地址搜索方法、装置和设备 |
| CN109902159A (zh) * | 2019-01-29 | 2019-06-18 | 华融融通（北京）科技有限公司 | 一种基于自然语言处理的智能运维语句相似度匹配方法 |
| CN110570941A (zh) * | 2019-07-17 | 2019-12-13 | 北京智能工场科技有限公司 | 一种基于文本语义向量模型评估心理状态的系统和装置 |
Non-Patent Citations (1)
| Title |
|---|
| YUE LIN, ET AL: "A deep learning architecture for semantic address matching", INTERNATIONAL JOURNAL OF GEOGRAPHICAL INFORMATION SCIENCE, pages 1 - 18 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463924A (zh) * | 2020-11-27 | 2021-03-09 | 齐鲁工业大学 | 面向智能问答基于内部相关性编码的文本意图匹配方法 |
| CN112527938A (zh) * | 2020-12-17 | 2021-03-19 | 安徽迪科数金科技有限公司 | 基于自然语言理解的中文poi匹配方法 |
| CN112612863B (zh) * | 2020-12-23 | 2023-03-31 | 武汉大学 | 一种基于中文分词器的地址匹配方法及系统 |
| CN112612863A (zh) * | 2020-12-23 | 2021-04-06 | 武汉大学 | 一种基于中文分词器的地址匹配方法及系统 |
| CN113326267A (zh) * | 2021-06-24 | 2021-08-31 | 中国科学技术大学智慧城市研究院(芜湖) | 基于倒排索引和神经网络算法的地址匹配方法 |
| CN113326267B (zh) * | 2021-06-24 | 2023-08-08 | 长三角信息智能创新研究院 | 基于倒排索引和神经网络算法的地址匹配方法 |
| CN113515677A (zh) * | 2021-07-22 | 2021-10-19 | 中移（杭州）信息技术有限公司 | 地址匹配方法、装置及计算机可读存储介质 |
| CN113515677B (zh) * | 2021-07-22 | 2023-10-27 | 中移（杭州）信息技术有限公司 | 地址匹配方法、装置及计算机可读存储介质 |
| CN114429129A (zh) * | 2021-12-22 | 2022-05-03 | 南京信息工程大学 | 一种文献挖掘与材料性质预测方法 |
| CN114492434A (zh) * | 2022-01-27 | 2022-05-13 | 圆通速递有限公司 | 一种基于运单号自动识别模型智能识别运单号方法 |
| CN114492434B (zh) * | 2022-01-27 | 2022-10-11 | 圆通速递有限公司 | 一种基于运单号自动识别模型智能识别运单号方法 |
| CN114461943A (zh) * | 2022-04-14 | 2022-05-10 | 中国测绘科学研究院 | 基于深度学习的多源poi语义匹配方法、装置及其存储介质 |
| CN114911909A (zh) * | 2022-06-08 | 2022-08-16 | 北京青萌数海科技有限公司 | 结合深度卷积网络和注意力机制的地址匹配方法以及装置 |
| CN114911909B (zh) * | 2022-06-08 | 2023-01-10 | 北京青萌数海科技有限公司 | 结合深度卷积网络和注意力机制的地址匹配方法以及装置 |
| CN114757625A (zh) * | 2022-06-14 | 2022-07-15 | 成都普惠道智慧能源科技有限公司 | 一种基于位置匹配的lng罐装安全管理方法及物联网系统 |
| US12106263B2 (en) | 2022-06-14 | 2024-10-01 | Chengdu Puhuidao Smart Energy Technology Co., Ltd. | Method for liquefied natural gas (LNG) station management and internet of things system thereof |
| CN116955335A (zh) * | 2023-07-21 | 2023-10-27 | 北京国信达数据技术有限公司 | 一种基于大数据模型算法的地址数据治理方法及其系统 |
| CN116955335B (zh) * | 2023-07-21 | 2024-10-15 | 北京国信达数据技术有限公司 | 一种基于大数据模型算法的地址数据治理方法及其系统 |
| CN118093766A (zh) * | 2024-04-26 | 2024-05-28 | 广东宜通衡睿科技有限公司 | 一种对地图系统中地址信息处理的方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881677A (zh) | 基于深度学习模型的地址匹配算法 | |
| CN108628823B (zh) | 结合注意力机制和多任务协同训练的命名实体识别方法 | |
| CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
| CN107291693B (zh) | 一种改进词向量模型的语义计算方法 | |
| CN110969020B (zh) | 基于cnn和注意力机制的中文命名实体识别方法、系统及介质 | |
| CN109492227A (zh) | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 | |
| CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
| CN113010693A (zh) | 融合指针生成网络的知识图谱智能问答方法 | |
| CN112084331A (zh) | 文本处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN110688854B (zh) | 命名实体识别方法、装置及计算机可读存储介质 | |
| CN108415977A (zh) | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 | |
| CN114298158A (zh) | 一种基于图文线性组合的多模态预训练方法 | |
| CN111858932A (zh) | 基于Transformer的多重特征中英文情感分类方法及系统 | |
| CN107423290A (zh) | 一种基于层次结构的神经网络机器翻译模型 | |
| CN113515632B (zh) | 基于图路径知识萃取的文本分类方法 | |
| CN110555084A (zh) | 基于pcnn和多层注意力的远程监督关系分类方法 | |
| CN114757182A (zh) | 一种改进训练方式的bert短文本情感分析方法 | |
| CN113190656A (zh) | 一种基于多标注框架与融合特征的中文命名实体抽取方法 | |
| CN112306494A (zh) | 一种基于卷积和循环神经网络的代码分类及聚类方法 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN115438674B (zh) | 实体数据处理、实体链接方法、装置和计算机设备 | |
| CN110580287A (zh) | 基于迁移学习和on-lstm的情感分类方法 | |
| CN113254602B (zh) | 面向科技政策领域的知识图谱构建方法及系统 | |
| CN115081437A (zh) | 基于语言学特征对比学习的机器生成文本检测方法及系统 | |
| CN115687609A (zh) | 一种基于Prompt多模板融合的零样本关系抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201103 |