CN113869052B - 基于ai的房屋地址匹配方法、存储介质及设备 - Google Patents

基于ai的房屋地址匹配方法、存储介质及设备 Download PDF

Info

Publication number
CN113869052B
CN113869052B CN202111128853.XA CN202111128853A CN113869052B CN 113869052 B CN113869052 B CN 113869052B CN 202111128853 A CN202111128853 A CN 202111128853A CN 113869052 B CN113869052 B CN 113869052B
Authority
CN
China
Prior art keywords
address
model
house
matching
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111128853.XA
Other languages
English (en)
Other versions
CN113869052A (zh
Inventor
叶建生
谢运涛
巫飞
郑向东
张泽蔚
蒋晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhongfang Information Technology Co ltd
Original Assignee
Hangzhou Zhongfang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhongfang Information Technology Co ltd filed Critical Hangzhou Zhongfang Information Technology Co ltd
Priority to CN202111128853.XA priority Critical patent/CN113869052B/zh
Publication of CN113869052A publication Critical patent/CN113869052A/zh
Application granted granted Critical
Publication of CN113869052B publication Critical patent/CN113869052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于AI的房屋地址匹配方法、存储介质及设备，属于自然语言处理领域。为了尽可能的提高匹配准确率，本发明利用预训练的BERT模型，分别构建了编码模型、二分类文本模型、命名实体识别模型，从而通过编码模型进行了初次匹配，由二分类文本模型进行了第一次匹配验证，由命名实体识别模型进行了第二次匹配验证。与传统的匹配，以及单纯的使用BERT进行匹配的算法进行比较，本发明显著的提高了房屋地址文本匹配的准确率和效率。

Description

基于AI的房屋地址匹配方法、存储介质及设备
技术领域
本发明属于自然语言处理领域，具体涉及一种基于AI的房屋地址匹配方法、存储介质及设备。
背景技术
传统的地址匹配方法主要关注地址文本间字与字的匹配关系，无法准确识别不同表达方式下不同地址的同一指向关系。因此在这一背景下，要对多源异构的海量地址数据进行匹配，传统的地址匹配方法已不再适用。目前，传统的地址匹配方法主要存在的问题如下：
1)地址匹配规则梳理困难，需反复清洗数据形态，制定匹配规则。
2)地址匹配周期长，由于“制定规则-匹配数据-检查数据-输出结果”在编写数据库匹配脚本后需要反复修改、调试，才能输出最终结果，耗时耗力。
3)地址匹配率难以提升，传统的地址匹配数据库脚本(正则表达式)的整体准确率在55％左右，需要数据清洗人员逐一分析数据样本发现匹配规则。当匹配率达到一定程度必须需要投入更多的人力，采用人工匹配提升匹配率，自动匹配方式难于提升匹配度，既耗时又耗力。
随着人工智能(Artificial Intelligence，AI)技术的不断发展进步，其已经深入城市建设、城市管理、监控、预警，遍布各行各业，因此借助AI深度学习中对于自然语言的处理能力，利用模型自主学习能力，亦可训练NLP模型用于支持各类地址信息匹配，提高整个地址匹配工作的工作效率、复用率和准确度。但是，针对房屋地址数据中复杂多变的自然语言表述形式，如何利用AI技术来提高匹配的准确率和召回率，是目前亟待解决的技术问题。
发明内容
本发明的目的在于解决现有技术中存在的问题，并提供一种基于AI的房屋地址匹配方法、存储介质及设备。
本发明所采用的具体技术方案如下：
第一方面，本发明提供了一种基于AI的房屋地址匹配方法，用于从经过规范化预处理的待搜索地址数据集中匹配得到与目标房屋地址同义的房屋地址数据，其包括：
S1、以第一房屋地址数据集作为训练数据，利用无监督相似度匹配算法对第一预训练模型BERT进行微调，得到编码模型；
S2、利用S1中的编码模型对目标房屋地址和待搜索地址数据集中的每一条待匹配地址分别进行编码，将每一条地址文本转换为高维向量；
S3、计算S2得到的目标房屋地址的高维向量与每一条待匹配地址的高维向量之间的相似度，并召回与目标房屋地址相似度最高的前K条待匹配地址；
S4、利用预先标注好同义地址对的第二房屋地址数据集作为训练数据，对基于第二预训练模型BERT的二分类文本模型进行微调，得到地址配对模型；
S5、利用地址配对模型对目标房屋地址与S3中召回的每一条待匹配地址是否属于同义地址进行分类，将与目标房屋地址同义的待匹配地址作为待验证地址；
S6、利用预先标注好不同层级实体的第三房屋地址数据集作为训练数据，对基于第三预训练模型BERT的命名实体识别模型进行微调，训练得到能够从地址文本中提取不同层级实体的地址实体提取模型；
S7、利用地址实体提取模型从目标房屋地址和每一条待验证地址中分别识别出不同层级的地址实体，然后对每一层级的地址实体进行二次验证，若待验证地址中每一层级的地址实体均与目标房屋地址对应层级的地址实体一致，才将待验证地址作为与目标房屋地址同义的配对地址。
作为上述第一方面的优选，所述的规范化预处理包括对地址文本进行空格和非汉字非数字字符的去除、全角半角一致性转换和地址实体别名一致性替换。
作为上述第一方面的优选，所述的无监督相似度匹配算法为SIMCSE算法。
作为上述第一方面的优选，所述的S3中，基于HNSW算法进行相似度最高的前K条待匹配地址的召回。
作为上述第一方面的优选，所述的地址文本中提取的不同层级的实体地址至少包括小区名、幢号、单元号和室号。
作为上述第一方面的优选，所述的二分类文本模型由第二预训练模型BERT和Softmax层组成。
作为上述第一方面的优选，所述的命名实体识别模型由第三预训练模型BERT和CRF层组成。
作为上述第一方面的优选，所述的第二房屋地址数据集中包含一系列表示同一个地址但采用了不同文字表示方式的同义地址对，所有同义地址对均带有标注标签；所述的第三房屋地址数据集中包含一系列地址文本，且每一条地址文本中不同层级的地址实体均带有人工标注标签。
第二方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如上述第一方面任一方案任一所述的基于AI的房屋地址匹配方法。
第三方面，本发明提供了一种基于AI的房屋地址匹配设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，能实现如上述第一方面任一方案任一所述的基于AI的房屋地址匹配方法。
本发明相对于现有技术而言，具有以下有益效果：
本发明从实际需求出发，为了尽可能的提高匹配准确率，采用BERT+二次验证的方法进行地址文本的匹配。与传统的匹配，以及单纯的使用BERT进行匹配的算法进行比较，本发明显著的提高了房屋地址文本匹配的准确率和效率。
附图说明
图1为基于AI的房屋地址匹配方法的步骤框图；
图2为基于AI的房屋地址匹配方法的流程图；
图3为用BERT模型编码待匹配地址和目标地址的示意图；
图4为训练二分类模型的示意图；
图5为BERT二分类模型筛选过程的示意图；
图6为训练命名实体模型的示意图；
图7为命名实体模型验证过程的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明中提供了一种基于AI的房屋地址匹配方法，该方法的作用是从经过规范化预处理的待搜索地址数据集中匹配得到与目标房屋地址同义的房屋地址数据。
其中，本发明中，两个房屋地址“同义”是指两个地址文本实际指向了同一个地址，但是文本中的文字表述形式是不同的。本发明的目的正是从大量的待搜索地址数据集中找到与目标房屋地址同义的所有房屋地址。
需注意的是，上述待搜索地址数据集是由大量的房屋地址文本数据组成的，这些房屋地址文本可能存在因输入不规范导致的各种形式不规范的问题，在用于后续检索之前需要对其进行规范化，使每一条房屋地址数据都以标准的纯文本形式地址存在。在本实施例中，规范化预处理可采用以下方式，包括：对地址文本进行空格和非汉字非数字字符的去除、全角半角一致性转换和地址实体别名一致性替换。当然，具体采用何种标准化处理，可根据每一个待搜索地址数据集中具体的文本状况而定。
如图1所示，在本发明的一个较佳实施例中，基于AI的房屋地址匹配方法包含S1～S7几大步骤，具体通过图2所示的流程来实现，下面对该实现过程进行详细描述：
S1、以第一房屋地址数据集作为训练数据，利用无监督相似度匹配算法对第一预训练模型BERT进行微调(finetune)，使BERT模型能够更好地适用于房屋地址类型的文本数据集，微调完毕后得到编码模型。这样做不仅可以节约大量训练时间，而且有助于模型性能的提高。在本实施例中，可以采用SIMCSE算法作为无监督相似度匹配算法对预训练的BERT模型进行微调。第一房屋地址数据集中包含大量地址文本数据，该数据集可以采用前述经过规范化预处理的待搜索地址数据集来代替，也可以采用具有类似的房屋地址文本的其他数据集。
S2、利用S1中的编码模型对目标房屋地址和待搜索地址数据集中的每一条待匹配地址分别进行编码，将每一条地址文本转换为高维向量。
S3、计算S2得到的目标房屋地址的高维向量与每一条待匹配地址的高维向量之间的相似度，并召回与目标房屋地址相似度最高的前K条待匹配地址。在本实施例中，为了提高匹配效率，可基于HNSW算法进行相似度最高的前K条待匹配地址的召回。此处的K值可根据需要进行设置，一般设置为5～10。
S4、利用预先标注好同义地址对的第二房屋地址数据集作为训练数据，对基于第二预训练模型BERT的二分类文本模型进行微调，得到地址配对模型。
需注意的是，此处用于构建二分类文本模型的第二预训练模型BERT并非S1中经过微调后的BERT模型，而是需要用另外一个新的预训练模型BERT来构建二分类文本模型。本实施例中，二分类文本模型由第二预训练模型BERT和Softmax层组成，通过Softmax层对第二预训练模型BERT输出的编码向量进行分类预测。另外，用于训练二分类文本模型的第二房屋地址数据集是一个包含了大量统一同义地址对的数据集，其中每一个同义地址对均包含表示同一个地址但采用了不同文字表示方式的不同房屋地址文本，所有同义地址对均带有标注标签，不同义的地址的标注标签不同。训练后得到的地址配对模型，能够对输入的任意两条地址文本进行编码，然后通过Softmax层输出两条地址文本是否为同义地址对的分类预测结果。
S5、利用地址配对模型对目标房屋地址与S3中召回的每一条待匹配地址是否属于同义地址进行分类，将与目标房屋地址同义的待匹配地址作为待验证地址。
此时经过S2～S5的第一轮验证过程，筛选除了可能与目标房屋地址同义的待验证地址，此时待验证地址可能有多条。但是，受限于模型识别精度的问题，此处依然可能存在识别错误的问题，可能会将某些并非属于同义地址的地址文本识别为同义地址。因此，本发明设置了第二轮验证来进一步对待验证地址进行二次验证。
S6、利用预先标注好不同层级实体的第三房屋地址数据集作为训练数据，对基于第三预训练模型BERT的命名实体识别模型进行微调，训练得到能够从地址文本中提取不同层级实体的地址实体提取模型。
需注意的是，此处用于构建命名实体识别模型的第三预训练模型BERT并非S1中经过微调后的BERT模型和S2中经过微调后的BERT模型，而是需要用另外一个新的预训练模型BERT来构建命名实体识别模型。本实施例中，命名实体识别模型由第三预训练模型BERT和条件随机场CRF层组成，采用Bert+CRF的框架能够有效地从地址文本中抽取出地址相关的命名实体。其中用于训练命名实体识别模型的第三房屋地址数据集中包含一系列地址文本，且每一条地址文本中不同层级的地址实体均带有人工标注标签。
S7、利用地址实体提取模型从目标房屋地址和每一条待验证地址中分别识别出不同层级的地址实体，然后对每一层级的地址实体进行二次验证，若待验证地址中每一层级的地址实体均与目标房屋地址对应层级的地址实体一致，才将待验证地址作为与目标房屋地址同义的配对地址。
一般而言，命名实体识别模型从地址文本中提取的不同层级的实体地址至少包括小区名、幢号、单元号和室号。在二次验证时，如果对于两个地址，提取出的每一级地址实体都是一致的，那么可以视为这两个地址是同义的，存在任何一级地址实体不一致，就视为这两个地址不是同义的。对于同一个城市的地址组成的待搜索地址数据集，一般小区名很少重复，因此这几个层级的命名实体验证正确后，基本能够保证地址文本配对的正确性。当然，如果待搜索地址数据集涵盖了更大范围内的地址，例如不同城市或者不同省，那么可能存在小区名相同的情况，对于此类数据集可进一步在上述层级基础上，进一步引入省、市、区、街道这些地址实体层级来辅助验证。
下面基于上述S1～S7所示的基于AI的房屋地址匹配方法，将其应用于具体实例中对其具体实现过程和技术效果进行展示，以便本领域技术人员更好地理解本发明的实质。
实施例
在本实施例中，期望采用杭州市的的公安流动人口出租信息来补充租赁备案系统和租赁平台信息的不足。但由于公安流动人口出租信息基本采用人工采集模式，且和现有租赁备案、租赁平台数据有重复情况，需要对公安流动人口出租信息与城市大脑房管系统中的房屋地址库信息进行匹配关联，鉴于传统人工方式，编写代码匹配工作量大，匹配规则多变无法固定，匹配关联的成果无法进行沉淀，匹配率在55％左右，需要投入更多的人力，采用人工匹配提升匹配率，自动匹配方式难于提升匹配度，既耗时又耗力。因此，本实施例中，从公安流动人口出租信息中抽取地址数据，形成待搜索地址数据集，然后针对房管系统中的房屋地址从待搜索地址数据集中匹配同义的地址，从而将房管系统中的房屋地址库信息进行匹配关联。
本实施例基于上述S1～S7所示的流程，实现了一种基于AI的房屋地址匹配方法，其具体过程如下1)～8)步骤所述：
1)待搜索地址数据集中地址数据预处理
a)去掉空格和一些非汉字非数字字符；
b)全角半角转换：地址数据人为录入，有中文全角的问题，需要将所有的全角数据转换成半角数据；
c)别名库替换：别名库是人工维护的地址别名数据库，存储着地址别名对数据，例如(杭州市拱墅区朝晖路168号和杭州市钛合国际大厦)。待匹配地址经过别名库之后，经过别名替换，用替换后的地址数据进行后续的匹配；
2)基于一部分房屋地址数据集，采用无监督相似度算法SIMCSE对预训练的BERT模型进行微调，训练得到编码模型。
对比学习的目标之一就是学习到分布均匀的向量表示，因此我们可以借助对比学习间接达到规整表示空间的效果，这又回到了正样本构建的问题上来，而本发明正是无监督条件下的正样本构建。SIMCSE算法中，在训练阶段，将同一个样本分两次输入到同一个编码器中，我们会得到两个不同的表示向量z，z’,将z’作为正样本。SimCSE能在规整分布的同时保持正样本的对齐，SIMCSE算法采用random dropout mask为NLP中的对比学习提供了一个全新的视角。
3)用训练好的编码模型分别对待匹配地址和目标房屋地址进行编码，将每一条地址文本转换成高维向量，如图3所示。
4)基于HNSW算法，用余弦相似度进行匹配，计算上一步得到的目标房屋地址的高维向量与每一条待匹配地址的高维向量之间的相似度，根据计算的余弦相似度筛选出top5相似的待匹配地址。
HNSW利用多层的图结构来完成图的构建和检索，使得通过将节点随机划分到不同的layer，从上层图到下层图的检索中，越往下层节点之间的距离越近,随机性也越差，聚类系数越高。HNSW通过从上到下的检索，完成了NSW中Long Link高速公路快速检索的作用，通过最后底层的近邻检索，完成局部最近邻的查找。
5)如图4所示，用预先标注好同义地址对的一个房屋地址数据集，对基于预训练模型BERT+Softmax层的二分类文本模型进行微调，用于地址对数据的自动分类，训练后得到地址配对模型。
6)如图5所示，依据匹配阶段筛选出来的top5待匹配地址，按照余弦相似度大小排序，依次输入到地址配对模型中进行分类，输出正样本结果，即正样本为与目标房屋地址同义的待匹配地址，正样本作为待验证地址进行后续的二次验证。
7)如图6所示，用预先标注好不同层级实体的一个房屋地址数据集，对基于预训练模型BERT+CRF层的命名实体识别模型进行微调，训练得到能够从地址文本中提取不同层级实体的地址实体提取模型。
8)如图7所示，用地址实体提取模型对地址配对模型筛选出来的待匹配地址再次过滤，分别提取出目标房屋地址和每一条待验证地址的各层级的地址实体(小区名、幢号、单元号、室号)，对比后保留与目标房屋地址各层级实体完全一致的待验证地址，作为最终目标房屋地址同义匹配的地址。
下面对本实施例中上述匹配方法(记为本发明方法)的实验结果进行展示：
1、本发明方法与传统方法(基于人工规则)的准确率对比
以上城区的待匹配地址(公安流口数据)为例，共含计2647条房屋地址，与杭州市房屋地址数据进行了匹配验证。全部数据被召回且有二分类模型为一致。总体有2514条匹配地址数据人工核验准确，总体准确率达到了95％。其他匹配相似度情况如下表1所示：
表1相似度验证结果
Figure BDA0003279779420000091
2、本发明与传统方法的匹配率和耗时对比
实验2为拱墅区三个小区待匹配地址(公安流口库)和房屋地址数据匹配验证，通过与传统基于人工规则方法比较，从下表2中可发现本发明方法匹配率上和传统的方法相近，都能达到较高的匹配率，但是本发明方法耗时比传统方法大幅减少。
表2三个小区匹配率和耗时对比
Figure BDA0003279779420000092
由此可见，采用本发明方法可较好匹配出房屋地址数据，为城市数据治理能力的提升提供了有效手段，后续将房屋地址库数据关系进行更深度的梳理，维护成知识图谱的形式，可以有效提高匹配准确率，并可解决地址别名，错名等问题。
3、本发明方法中不同模块的作用比对
本发明方法中，利用预训练的BERT模型，分别构建了编码模型、二分类文本模型、命名实体识别模型，从而通过编码模型进行了初次匹配，由二分类文本模型进行了第一次匹配验证，由命名实体识别模型进行了第二次匹配验证。为了对比说明上述各模型在本发明方法中所起的作用和效果，下面对其进行了对比试验。
对比验证过程中，以下城区随机的1000条待匹配地址(公安流口库)和房屋地址数据进行匹配验证，通过三种不同的算法：
算法1:只采用编码模型进行匹配，即执行S1～S3后返回相似度最高的地址作为配对结果；
算法2:采用编码模型进行匹配和二分类文本模型进行一次验证结合匹配，即执行S1～S5；
算法3:采用BERT，一次验证和二次验证结合匹配，即执行S1～S7的本发明方法。
三种算法的结果如下表3所示：
表3三种算法实验结果表
Figure BDA0003279779420000101
对比可见，加入二次验证模块之后，以牺牲召回率的前提下，能显著提高匹配的准确率。这与业务上以结果为导向的需求更加贴合。
另外，在本发明的其他实施例中，还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现S1～S7任一所述的基于AI的房屋地址匹配方法。
另外，在本发明的其他实施例中，还提供了一种基于AI的房屋地址匹配设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，能实现S1～S7任一所述的基于AI的房屋地址匹配方法。
需要注意的是，上述的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，还装置中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于AI的房屋地址匹配方法，用于从经过规范化预处理的待搜索地址数据集中匹配得到与目标房屋地址同义的房屋地址数据，其特征在于，包括：
S1、以第一房屋地址数据集作为训练数据，利用无监督相似度匹配算法对第一预训练模型BERT进行微调，得到编码模型；
S2、利用S1中的编码模型对目标房屋地址和待搜索地址数据集中的每一条待匹配地址分别进行编码，将每一条地址文本转换为高维向量；
S3、计算S2得到的目标房屋地址的高维向量与每一条待匹配地址的高维向量之间的相似度，并召回与目标房屋地址相似度最高的前K条待匹配地址；
S4、利用预先标注好同义地址对的第二房屋地址数据集作为训练数据，对基于第二预训练模型BERT的二分类文本模型进行微调，得到地址配对模型；
S5、利用地址配对模型对目标房屋地址与S3中召回的每一条待匹配地址是否属于同义地址进行分类，将与目标房屋地址同义的待匹配地址作为待验证地址；
S6、利用预先标注好不同层级实体的第三房屋地址数据集作为训练数据，对基于第三预训练模型BERT的命名实体识别模型进行微调，训练得到能够从地址文本中提取不同层级实体的地址实体提取模型；
S7、利用地址实体提取模型从目标房屋地址和每一条待验证地址中分别识别出不同层级的地址实体，然后对每一层级的地址实体进行二次验证，若待验证地址中每一层级的地址实体均与目标房屋地址对应层级的地址实体一致，才将待验证地址作为与目标房屋地址同义的配对地址。
2.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的规范化预处理包括对地址文本进行空格和非汉字非数字字符的去除、全角半角一致性转换和地址实体别名一致性替换。
3.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的无监督相似度匹配算法为SIMCSE算法。
4.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的S3中，基于HNSW算法进行相似度最高的前K条待匹配地址的召回。
5.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的地址文本中提取的不同层级的实体地址至少包括小区名、幢号、单元号和室号。
6.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的二分类文本模型由第二预训练模型BERT和Softmax层组成。
7.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的命名实体识别模型由第三预训练模型BERT和CRF层组成。
8.如权利要求1所述的基于AI的房屋地址匹配方法，其特征在于，所述的第二房屋地址数据集中包含一系列表示同一个地址但采用了不同文字表示方式的同义地址对，所有同义地址对均带有标注标签；所述的第三房屋地址数据集中包含一系列地址文本，且每一条地址文本中不同层级的地址实体均带有人工标注标签。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如权利要求1～8任一所述的基于AI的房屋地址匹配方法。
10.一种基于AI的房屋地址匹配设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～8任一所述的基于AI的房屋地址匹配方法。
CN202111128853.XA 2021-09-26 2021-09-26 基于ai的房屋地址匹配方法、存储介质及设备 Active CN113869052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111128853.XA CN113869052B (zh) 2021-09-26 2021-09-26 基于ai的房屋地址匹配方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111128853.XA CN113869052B (zh) 2021-09-26 2021-09-26 基于ai的房屋地址匹配方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN113869052A CN113869052A (zh) 2021-12-31
CN113869052B true CN113869052B (zh) 2023-05-05

Family

ID=78994434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111128853.XA Active CN113869052B (zh) 2021-09-26 2021-09-26 基于ai的房屋地址匹配方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN113869052B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115271834B (zh) * 2022-09-29 2023-02-03 平安银行股份有限公司 房屋的定位方法、装置、计算机设备及可读存储介质
CN115796241B (zh) * 2023-02-02 2023-06-13 河北省地理信息集团有限公司 面向城市房产档案大数据信息的神经网络关联分析组幢方法
CN117272053B (zh) * 2023-11-22 2024-02-23 杭州中房信息科技有限公司 少样本地址数据集生成方法、地址匹配方法、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684440A (zh) * 2018-12-13 2019-04-26 北京惠盈金科技术有限公司 基于层级标注的地址相似度度量方法
CN111783419A (zh) * 2020-06-12 2020-10-16 上海东普信息科技有限公司 地址相似度计算方法、装置、设备和存储介质
US10839156B1 (en) * 2019-01-03 2020-11-17 Amazon Technologies, Inc. Address normalization using deep learning and address feature vectors
CN112581252A (zh) * 2020-12-03 2021-03-30 信用生活(广州)智能科技有限公司 融合多维相似度与规则集合的地址模糊匹配方法及系统
CN112835894A (zh) * 2021-01-25 2021-05-25 武汉烽火普天信息技术有限公司 一种基于地址编码和相似计算的地址匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684440A (zh) * 2018-12-13 2019-04-26 北京惠盈金科技术有限公司 基于层级标注的地址相似度度量方法
US10839156B1 (en) * 2019-01-03 2020-11-17 Amazon Technologies, Inc. Address normalization using deep learning and address feature vectors
CN111783419A (zh) * 2020-06-12 2020-10-16 上海东普信息科技有限公司 地址相似度计算方法、装置、设备和存储介质
CN112581252A (zh) * 2020-12-03 2021-03-30 信用生活(广州)智能科技有限公司 融合多维相似度与规则集合的地址模糊匹配方法及系统
CN112835894A (zh) * 2021-01-25 2021-05-25 武汉烽火普天信息技术有限公司 一种基于地址编码和相似计算的地址匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋子辉 ; .自然语言理解的中文地址匹配算法.遥感学报.2013,(第04期),全文. *

Also Published As

Publication number Publication date
CN113869052A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113869052B (zh) 基于ai的房屋地址匹配方法、存储介质及设备
CN113822494B (zh) 风险预测方法、装置、设备及存储介质
CN110059181B (zh) 面向大规模分类体系的短文本标签方法、系统、装置
CN112765358A (zh) 一种基于噪声标签学习的纳税人行业分类方法
CN109657947A (zh) 一种面向企业行业分类的异常检测方法
CN113626607B (zh) 异常工单识别方法、装置、电子设备及可读存储介质
CN111291099B (zh) 一种地址模糊匹配方法、系统及计算机设备
CN116383399A (zh) 一种事件舆情风险预测方法及系统
CN115408525A (zh) 基于多层级标签的信访文本分类方法、装置、设备及介质
CN117272204A (zh) 异常数据检测方法、装置、存储介质和电子设备
CN117743601B (zh) 一种自然资源知识图谱补全方法、装置、设备及介质
CN115905959A (zh) 基于缺陷因子的电力断路器关联性故障分析方法及装置
CN109543038B (zh) 一种应用于文本数据的情感分析方法
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN117155771B (zh) 一种基于工业物联网的设备集群故障溯源方法及装置
CN113254649B (zh) 敏感内容识别模型的训练方法、文本识别方法及相关装置
US10956129B1 (en) Using genetic programming to create generic building blocks
CN116244484B (zh) 一种面向不平衡数据的联邦跨模态检索方法及系统
CN116226404A (zh) 一种针对肠-脑轴的知识图谱构建方法及知识图谱系统
CN115455934A (zh) 一种企业多种经营范围识别方法与系统
CN114386966A (zh) 一种基于深度学习的区块链加密货币地址身份识别方法
CN113657443A (zh) 一种基于soinn网络的在线物联网设备识别方法
Marple et al. Collapsing corporate confusion: Leveraging network structures for effective entity resolution in relational corporate data
CN115209441A (zh) 基站退服告警预测方法、装置、设备及存储介质
Thangarasu et al. Detection of Cyberbullying Tweets in Twitter Media Using Random Forest Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ye Jiansheng

Inventor after: Xie Yuntao

Inventor after: Wu Fei

Inventor after: Zheng Xiangdong

Inventor after: Zhang Zewei

Inventor after: Jiang Xiaomin

Inventor before: Xie Yuntao

Inventor before: Wu Fei

Inventor before: Zhang Zewei

Inventor before: Jiang Xiaomin

Inventor before: Ye Jiansheng

Inventor before: Zheng Xiangdong

GR01 Patent grant
GR01 Patent grant