CN109165331A - 一种英文地名的索引建立方法及其查询方法和装置 - Google Patents
一种英文地名的索引建立方法及其查询方法和装置 Download PDFInfo
- Publication number
- CN109165331A CN109165331A CN201810945986.8A CN201810945986A CN109165331A CN 109165331 A CN109165331 A CN 109165331A CN 201810945986 A CN201810945986 A CN 201810945986A CN 109165331 A CN109165331 A CN 109165331A
- Authority
- CN
- China
- Prior art keywords
- place name
- english
- indicate
- search key
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000013598 vector Substances 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 10
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 5
- 241000219496 Alnus Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于自然语言处理领域,主要公开了一种英文地名的索引建立方法及其查询方法和装置,其利用地名中的字母总数、字母部首数、单词总数与单词首字母编码等文本特征,按照“多维特征统计‑倒排索引生成‑候选地名查询‑相似程度排序”的主线进行地名查询,得到基于特征统计倒排索引的英文地名词典查询方法。本发明不仅在大规模数据环境下保持较高的运行效率,而且能够在查询地名表述不准确的情况下较为准确地查询到目标地名,让用户获得更优的用户体验。
Description
技术领域
本发明涉及一种自然语言处理领域,特别是涉及一种面向大规模地名数据的英文地名词典查询方法。
背景技术
地名词典查询是地名拼写校验、模糊匹配、光学识别等应用的基础操作,为其提供地名词语知识支持。随着全球一体化进程的加快,国际间地名信息的传递速度不断加快、使用频率日益提高。英文作为世界上广泛使用的语言之一,通常用作不同语言文字之间地名转译、存储和管理的标准。同时,数据的爆炸性增长和信息存储技术的迅速发展,使得大规模的地名数据集合日益普遍。因此,如何在大规模数据环境下高效地进行英文地名词典查询,成为完善众多地名服务与应用的重要技术挑战。
常规的词典查询方法一般是采用顺序遍历或者二分查找的方法来获取查询记录,但是其运行效率与数据规模大小成线性关系,当面对海量数据时很难满足实际需要。倒排文件作为一种简单、高效的文档数据索引方式,是现代搜索引擎检索系统实现的一项基础技术,逐步被引入到词典查找机制中。词级(Word-Level)索引是倒排文件实现短语或临近查询的一般组织方式,其中N-gram索引是一种最常用的词级索引结构。N-gram结构虽然在一定程度上提升了查询的召回率,但是N-gram产生的词元通常较多增大了索引的空间资源占用,并且导致构建处理和查询处理的速度下降。此外以词素形式构成的索引项在模糊查询时需要借助相似度计算,每一个索引项都需要与查询条件进行相似度比较。这种查询模式大大增加了运行机制的复杂度,很难适应大规模数据环境的应用需求。
因此,为了应对不同场景的实际应用需求,如何在英文地名查询输入地名不准确、不完整的情况下,高效地返回完全准确或者最为接近的查询结果,是目前本领域技术人员需要研究和解决的难题。
发明内容
技术问题
本发明所要解决的技术问题包括:如何在英文地名查询输入地名不准确、不完整的情况下高效地返回完全准确或者最为接近的查询结果,以及在该技术问题下的相关技术问题。
发明内容
技术贡献内容的概要:发掘英文地名中包含的文本特征并与词典查询机制结合,是提升查询性能的关键所在,本发明利用地名中的字母总数、字母部首数、单词总数与单词首字母编码等文本特征,按照“多维特征统计-倒排索引生成-候选地名查询-相似程度排序”的主线进行地名查询,提出一种基于特征统计倒排索引的英文地名词典查询方法。
技术方案
第一方面
本发明提供了一种英文地名索引建立方法,应用于用户设备,所述方法包括:S1)统计在英文地名词典文本中存储全部英文地名词组的多个特征值,所述特征值包括字母总数、字母部首数、单词总数与单词首字母编码;S2)根据英文地名词组的各所述特征值生成一组对应的多维特征统计向量;S3)将各英文地名词组的多维特征统计向量及其在倒排表的位置映射信息作为索引项建立倒排索引文件,其中,各所述索引项分别对应一倒排链。
下面对上述英文地名索引建立方法的过程和原理,进行详细说明。
首先,关于特征值的统计,依次统计英文地名词典中存储全部地名词组的特征值包括:字母总数、字母部首数、单词总数与单词首字母编码。其中,(1)字母总数表示地名词组中包含的全部字母总和;(2)字母部首是按照中文汉字的象形文字思想,设定每个英文字母由“|”、“—”、“/”、“\”,“(”与“)”6个部首中的部分部首组成,不同字母的部首表达如下表1所示。显然,两个字符串中出现的相同字符越多,则认为两者越相似。但是英文字母个数较多,在索引项中记录每个字母的出现频次会占用过多的存储空间且不利于字符串间的比较。将每个字母用固定的部首来表达,能够在隐含记录字母出现频次特征的前提下简化查询时的比较复杂度;(3)单词总数表示地名词组中包含的全部单词总和;(4)单词首字母编码是指将地名词组中单词的首字母转换为数字编码形式,转换规则为按照A至Z的顺序分别映射“01”至“26”的编码,即A编码为“01”,B编码为“02”,以此类推。在编码转换的过程中统一将首字母转换为大写字母形式。
表1
其中,部首“|”用编号1表示,部首“—”用编号2表示,部首“/”用编号3表示,部首“\”用编号4表示,部首“(”用编号5表示,部首“)”用编号6表示。
其次,关于索引项的构成,在索引词典中,每条索引项先后分别记录字母总数、字母部首数、单词总数、单词首字母编码与倒排表位置信息。其中,fcn表示字母总数,记录1维向量。far表示字母部首数,共有6个部首的个数信息,记录6维向量。fwn表示单词总数,记录1维向量。fiw表示首字母编码,本方法中记录词组中地名词组中前4个单词的首字母编码信息,不足4个单词的缺位补足编码“00”,记录4维向量。将这些向量按照公式(1)、(2)与(3)的方式联立,构成12维向量di。di作为索引项充分表征英文地名字符串的文本特性,以此作为英文地名查询的入口。
di=[fcn,far,fwn,fiw] (1)
far=[far1,far2,...,far6] (2)
fiw=[fiw1,fiw2,...,fiw4] (3)
再者,关于构建倒排链文件,出现在词典中的每个索引项对应一个倒排链,倒排链利用一个文档命中记录的数据结构(tf,<p1,p2,…,pf>)记录索引项在地名词典中的命中信息。其中,tf表示索引项在地名词典中的出现次数,pi表示每次出现在地名词典中的位置偏移信息。全部命中信息有序排列构成其所对应的倒排链。
第二方面
本发明还提供了一种英文地名查询方法,应用于用户设备,所述英文地名查询方法包括:获取用户在用户设备上输入的检索关键词;根据英文地名数据库中预先建立的索引文件查找与所述检索关键词相关的候选地名集合,其中,所述用户设备上存储的索引文件是根据上述第一方面所述的英文地名索引建立方法构建得到;将候选地名集合返回至用户设备上进行显不。
下面对上述英文地名查询方法的过程和原理,进行详细说明。
关于候选地名集合的选取过程为:
第一,对于提交的查询地名,首先进行规范化处理,即将地名词组中单词的转化为首字母大写的形式。
第二,按照构建索引时的特征统计规则,对查询地名的各项特征值进行统计,并组织成向量的形式表示为Q=[qfcn,qfar,qfwn,qfiw]。
第三,利用Q与索引词典中的索引项进行比较,当满足公式(4)时则该索引项di为候选项。
式中,fcn表示字母总数,far表示字母部首数,fwn表示单词总数,fiw表示首字母编码。kcn表示字母总数维度阈值,kar表示字母部首数维度阈值,kwn表示单词总数维度阈值,kiw表示首字母编码维度阈值。
第四,对于di中的索引信息进行逆向解析,根据倒排链中对应的位置偏移信息<p1,p2,…,pf>,查询到地名词典中相关存储位置上的地名数据。将查询到的全部地名数据进行结果合并,形成候选地名集合。
在一些优选方案中,上述英文地名查询方法还可以包括以下步骤:在得到候选地名集合后,计算所述候选地名集合中各英文地名与检索关键词的相似度值;按照相似度值由大到小的顺序对所述候选地名集合中英文地名进行排序,并将排序结果返回至用户设备上进行显示。
关于候选地名集合的顺序相似度排序过程:
第一:顺序相似度计算,对于候选地名集合中的全部地名词组计算其与查询地名的顺序相似度。假设有P=p1p2...pn和W=w1w2...wm两个地名字符串,N表示P与W之间顺序相同的字符。N顺序相同的判断依据两个原则:(1)局部顺序相同原则。N由局部相似项lsi组成,P与W之间可能存在多个lsi。若P中存在子串qi=pjpj+1...pk,与W中的子串wsws+1...wt完全相同,则lsi符合局部顺序相同原则,设定lsi为一个局部相似项。(2)整体顺序相同原则。P与W之间顺序相同的lsi组成N。P与W的地名相似度计算公式如公式(5)所示。
式中,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值。
第二:顺序相似度排序。对于候选地名按照顺序相似度高级进行排序,并将排序结果作为最终查询结果返回用户。
技术效果
本发明利用总结地名中的单词数、字母数等多维文本统计特征,按照“多维特征统计-倒排索引生成-候选地名查询-相似程度排序”的主线进行地名查询。在索引生成过程中,对每条地名记录提取字母总数、字母部首数、单词总数与单词首字母编码的特征,以多维特征组成的向量作为索引项构建相应的倒排索引结构。在候选地名查找与顺序相似度排序过程中,对查询请求进行规范化处理与多维特征提取,依据生成的特征向量在倒排索引中查询获得候选地名集合,并将候选集合按照相似度由高到低排序返回给用户。经过实验证明,本发明提出的基于特征统计倒排索引的英文地名词典查询方法不仅在大规模数据环境下保持较高的运行效率,而且能够在查询地名表述不准确的情况下较为准确地查询到目标地名,让用户获得更优的用户体验。
附图说明
图1为本发明一种英文地名索引建立方法的流程图。
图2为本发明一种英文地名查询方法的流程图。
图3为本发明一种英文地名查询方法在一优选实施例中的流程图。
图4为本发明一种英文地名查询装置的原理图。
图5为本发明一种英文地名查询装置在一优选实施例中的原理图。
图6为本发明一种英文地名词典查询方法的图形流程图。
图7为本发明英文地名索引建立方法中倒排索引结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
技术名称解释
字母部首,是指使用“|”、“—”、“/”、“\”,“(”与“)”6个字符(即部首)来描述大小字母的构成,即任何大小字母都可以由该6个字符中的部分字符来组成。如果我们分别用编号1-6来依次表示“|”、“—”、“/”、“\”,“(”与“)”,那么任何字母的部首即可一个串数字来表示。例如,“L”是可以由“|”和“—”组成,故“L”的部首数字表示为“12”。
字母部首数,是指将英文地名中所有字母对应为字母部首的编号来表示后(要求英文地名中各单词的首字母为大写),统计所有部首的数量。
字母编码,是指将地名词组中单词的首字母转换为数字编码形式,转换规则为按照A至Z的顺序分别映射“01”至“26”的编码,即A编码为“01”,B编码为“02”,以此类推。
实施例1
见图1,本实施例提供了一种英文地名索引建立方法,应用于用户设备,所述方法包括以下步骤:
S11,统计在英文地名词典文本中存储全部英文地名词组的多个特征值,所述特征值包括字母总数、字母部首数、单词总数与单词首字母编码;
S12,根据英文地名词组的各所述特征值生成一组对应的多维特征统计向量;
S13,将各英文地名词组的多维特征统计向量及其在倒排表的位置映射信息作为索引项建立倒排索引文件,其中,各所述索引项分别对应一倒排链。
具体而言,所述多维特征统计向量为:di=[fcn,far,fwn,fiw],其中,di表示英文地名的多维特征统计向量,fcn表示字母总数,far表示字母部首数,fwn表示单词总数,fiw表示首字母编码,所述far包括6个部首的个数信息,所述fiw包括英文地名词组中前4个单词的首字母编码信息。
具体而言,,所述英文地名索引建立方法还可以包括:在根据所述索引项查询英文地名时,将检索关键词与所述索引项进行比较,当索引项满足以下条件时,将该索引项作为查询的候选项;所述条件包括:
其中,qfcn表示检索关键词中的字母总数,qfar表示检索关键词中的字母部首数,qfwn表示检索关键词中的单词总数,qfiw表示检索关键词中的首字母编码,kcn表示字母总数维度阈值,kar表示字母部首数维度阈值,kwn表示单词总数维度阈值,kiw表示首字母编码维度阈值。
实施例2
见图2,本实施例提供了一种英文地名查询方法,应用于用户设备,所述英文地名查询方法包括以下步骤:
S21,获取用户在用户设备上输入的检索关键词;
S22,根据英文地名数据库中预先建立的索引文件查找与所述检索关键词相关的候选地名集合,其中,所述用户设备上存储的索引文件是根据实施例1所述英文地名索引建立方法构建得到;
S23,将候选地名集合返回至用户设备上进行显示。
作为一种优选实施例,见图3,在得到候选地名集合后,该英文地名查询方法还可以包括:
S31,计算所述候选地名集合中各英文地名与检索关键词的相似度值;
S32,按照相似度值由大到小的顺序对所述候选地名集合中英文地名进行排序,并将排序结果返回至用户设备上进行显示。
具体而言,所述候选地名集合中各英文地名与检索关键词的相似度值的计算方法为:
其中,P表示检索关键词的字符串,W表示英文地名的字符串,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值,N表示P与W之间顺序相同的字符。
实施例3
见图4,本实施例提供了一种英文地名查询装置300,应用于用户设备,其具体包括接收模块310、查找模块320和显示模块330,接收模块310用于获取用户在用户设备上输入的检索关键词;查找模块320用于根据英文地名数据库中预先建立的索引文件查找与所述检索关键词相关的候选地名集合,其中,所述用户设备上存储的索引文件是根据权利要求1或2所述英文地名索引建立方法构建得到;显示模块330用于显示返回至用户设备上的候选地名集合。
在一优选方案中,见图5,该英文地名查询装置还包括相似度计算模块410和排序模块420,相似度计算模块410用于在得到候选地名集合后,计算所述候选地名集合中各英文地名与检索关键词的相似度值;排序模块420用于按照相似度值由大到小的顺序对所述候选地名集合中英文地名进行排序,并返回至用户设备上;所述显示模块显示所述排序结果。
具体而言,所述相似度计算模块中计算所述候选地名集合中各英文地名与检索关键词的相似度值的公式包括:
其中,P表示检索关键词的字符串,W表示英文地名的字符串,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值,N表示P与W之间顺序相同的字符。
为使领域技术人员能够更加清楚地了解本发明,这里以地名“Aalders LangBrook”为例,并结合图1,来对上述实施例的内容进行详细的原理性说明,为便于阐述和理解,说明将按照索引生成过程-候选地名查找过程-顺序相似度排序过程的逻辑顺序来展开描述。
(一)索引生成过程:
步骤11:依次统计英文地名词典中存储全部地名词组的特征值,包括:字母总数、字母部首数、单词总数与单词首字母编码。以地名“Aalders Lang Brook”为例,其字母总数为16。字母部首数方面,“|”、“—”、“/”、“\”、“(”与“)”6个部首出现的个数分别是9、8、3、2、12、9。单词总数为3。单词首字母编码分为1、12、2、0。
步骤12:构建索引词典文件。索引词典中,每条索引项先后分别记录字母总数、字母部首数、单词总数、单词首字母编码与倒排表位置信息。以地名“Aalders Lang Brook”为例,由于其字母总数为16,字母部首数为9、8、3、2、12、9,单词总数为3,单词首字母编码为1、12、2、0,因此多维特征向量表达为[16,[9,8,3,2,12,9],3,[1,12,2,0]]。再加上其与倒排表的位置映射信息<1001>,在索引词典文件中的索引项结构为([16,[9,8,3,2,12,9],3,[1,12,2,0]],<1001>)。
步骤13:构建倒排链文件。出现在词典中的每个索引项对应一个倒排链,倒排链利用一个文档命中记录的数据结构(tf,<p1,p2,…,pf>)记录索引项在地名词典中的命中信息。以多维特征向量[16,[9,8,3,2,12,9],3,[1,12,2,0]]为例,其对应的倒排表位置映射信息为<1001>,即在倒排链文件中1001的位置存储了英文地名词典中全部多维特征向量为的词组的存储位置信息。例如:倒排链文件1001位置的记录信息为(<5>,<7>,...,<125>,...),表示相关地名词组在英文地名词典中的存储位置分别是5、7、...、125等。
(二)候选地名查找过程:
步骤21:对于提交的查询地名,首先进行规范化处理,即将地名词组中单词的转化为首字母大写的形式。以查询地名“Alders langbrook”为例,需要转化为“Alders LangBrook”。
步骤22:按照构建索引时的特征统计规则,对查询地名的各项特征值进行统计,并组织成向量的形式表示为Q=[qfcn,qfar,qfwn,qfiw]。以查询地名“Alders langbrook”为例,其字母总数为15,字母部首数为9、8、3、2、10、9,单词总数为3,单词首字母编码为1、12、2、0,多维统计向量为[15,[9,8,3,2,10,9],3,[1,12,2,0]]。
步骤23:利用Q与索引词典中的索引项进行比较,当满足公式(4)时则该索引项di为候选项qdi。
式中,fcn表示字母总数,far表示字母部首数,fwn表示单词总数,fiw表示首字母编码。kcn表示字母总数维度阈值,kar表示字母部首数维度阈值,kwn表示单词总数维度阈值,kiw表示首字母编码维度阈值。
步骤24:对于候选项qdi中的索引信息进行逆向解析,根据倒排链中对应的位置偏移信息<p1,p2,…,pf>,查询到地名词典中相关存储位置上的地名数据。将查询到的全部地名数据进行结果合并,形成候选地名集合。以查询地名“Alders langbrook”为例,对步骤23查询到索引项([16,[9,8,3,2,12,9],3,[1,12,2,0]],<1001>)为候选项qdi,对qdi中的全部倒排链映射位置信息进行解析,并在倒排链中查找相关记录<1001>。再利用<1001>记录中包含的词典存储位置信息(<5>,<7>,...,<125>,...)进入英文地名词典文件查找相关地名词组,全部地名形成候选地名集合C。
(三)顺序相似度排序过程:
步骤31:通过统计2个字符串间顺序相同的字符数量比例来判定地名之间的相似程度。假设有P=p1p2...pn和W=w1w2...wm两个地名字符串,N表示P与W之间顺序相同的字符。N顺序相同的判断依据两个原则:(1)局部顺序相同原则。N由局部相似项lsi组成,P与W之间可能存在多个lsi。若P中存在子串qi=pjpj+1...pk,与W中的子串wsws+1...wt完全相同,则lsi符合局部顺序相同原则,设定lsi为一个局部相似项。(2)整体顺序相同原则。P与W之间顺序相同的lsi组成N。例如P=“Aalders Lang Brook”,W=“Lang Aalders Brook”,按照局部顺序相同原则,“Aalders”、“Lang”、“Brook”分别是局部相似项ls1、ls2与ls3。P中顺序为ls1ls2ls3,W中顺序为ls2ls1ls3。以查询地名P中顺序为基准,则符合整体顺序相同原则的是ls1ls3,因此N=ls1ls3。P与W的地名相似度计算公式如公式(5)所示。
式中,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值。即“Aalders Lang Brook”与“Lang Aalders Brook”的相似度为12/16≈0.75。
步骤32:顺序相似度排序。基于步骤31的相似度计算结果,对候选地名集合C中地名Cq按照相似度结果由高到低进行排序,并将排名前n位的Cq作为查询结果。
实验分析
为验证本发明的技术效果,本实施例以11.5万条英文地名数据为例构造英文地名词典,从中抽取5409条地名作为标准地名。对标准地名通过人为增加错误的方式构造测试集,错误类型涵盖多种不准确描述方式(例如:多字母;缺字母;字母错误;字母顺序替换等),并依据增加错误后与原有标准地名对比的准确度将其划分为5个等级(如表所示)。其中,准确度定义如公式6所示:
式中,A表示查询地名P中与目标地名C相比准确的字符数量,N表示查询地名P字符数量,accu(P,C)表示P的准确度。
表2实施例测试集划分明细
注:括号中内容为测试地名对应的目标地名,即标准地名形式。
此外,在实验中,本发明对不同准确程度查询地名的查询效果如下表3:
表3实验结果评价指标统计
实验结果表明,本发明提出的基于特征统计倒排索引的英文地名词典查询方法不仅在大规模数据环境下保持较高的运行效率,而且能够在查询地名表述不准确的情况下较为准确地查询到目标地名。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种英文地名索引建立方法,应用于用户设备,其特征在于,所述方法包括:
统计在英文地名词典文本中存储全部英文地名词组的多个特征值,所述特征值包括字母总数、字母部首数、单词总数与单词首字母编码;
根据英文地名词组的各所述特征值生成一组对应的多维特征统计向量;
将各英文地名词组的多维特征统计向量及其在倒排表的位置映射信息作为索引项建立倒排索引文件,其中,各所述索引项分别对应一倒排链。
2.根据权利要求1所述的英文地名索引建立方法,其特征在于,所述多维特征统计向量为:
di=[fcn,far,fwn,fiw],
其中,di表示英文地名的多维特征统计向量,fcn表示字母总数,far表示字母部首数,fwn表示单词总数,fiw表示首字母编码,所述far包括6个部首的个数信息,所述fiw包括英文地名词组中前4个单词的首字母编码信息。
3.根据权利要求2所述的英文地名索引建立方法,其特征在于,还包括:
在根据所述索引项查询英文地名时,将检索关键词与所述索引项进行比较,当索引项满足以下条件时,将该索引项作为查询的候选项;
所述条件包括:
其中,qfcn表示检索关键词中的字母总数,qfar表示检索关键词中的字母部首数,qfwn表示检索关键词中的单词总数,qfiw表示检索关键词中的首字母编码,kcn表示字母总数维度阈值,kar表示字母部首数维度阈值,kwn表示单词总数维度阈值,kiw表示首字母编码维度阈值。
4.一种英文地名查询方法,应用于用户设备,其特征在于,所述英文地名查询方法包括:获取用户在用户设备上输入的检索关键词;
根据英文地名数据库中预先建立的索引文件查找与所述检索关键词相关的候选地名集合,其中,所述用户设备上存储的索引文件是根据权利要求1或2所述英文地名索引建立方法构建得到;
将候选地名集合返回至用户设备上进行显示。
5.根据权利要求4所述的英文地名查询方法,其特征在于,在得到候选地名集合后,还包括:
计算所述候选地名集合中各英文地名与检索关键词的相似度值;
按照相似度值由大到小的顺序对所述候选地名集合中英文地名进行排序,并将排序结果返回至用户设备上进行显示。
6.根据权利要求4或5所述的英文地名查询方法,其特征在于,所述候选地名集合中各英文地名与检索关键词的相似度值的计算方法为:
其中,P表示检索关键词的字符串,W表示英文地名的字符串,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值,N表示P与W之间顺序相同的字符。
7.一种英文地名查询装置,应用于用户设备,其特征在于,包括:
接收模块,用于获取用户在用户设备上输入的检索关键词;
查找模块,用于根据英文地名数据库中预先建立的索引文件查找与所述检索关键词相关的候选地名集合,其中,所述用户设备上存储的索引文件是根据权利要求1或2所述英文地名索引建立方法构建得到;
显示模块,用于显示返回至用户设备上的候选地名集合。
8.根据权利要求7所述的英文地名查询装置,其特征在于,还包括:
相似度计算模块,用于在得到候选地名集合后,计算所述候选地名集合中各英文地名与检索关键词的相似度值;
排序模块,用户按照相似度值由大到小的顺序对所述候选地名集合中英文地名进行排序,并返回至用户设备上;
所述显示模块显示所述排序结果。
9.根据权利要求7或8所述的英文地名查询装置,其特征在于,所述相似度计算模块中计算所述候选地名集合中各英文地名与检索关键词的相似度值的公式包括:
其中,P表示检索关键词的字符串,W表示英文地名的字符串,sim(P,W)为P与W之间的顺序相似度值,len(N)、len(P)与len(W)分别表示N、P与W的字符串长度值,N表示P与W之间顺序相同的字符。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810945986.8A CN109165331A (zh) | 2018-08-20 | 2018-08-20 | 一种英文地名的索引建立方法及其查询方法和装置 |
PCT/CN2018/109938 WO2020037794A1 (zh) | 2018-08-20 | 2018-10-12 | 一种英文地名的索引建立方法及其查询方法和装置 |
AU2018102145A AU2018102145A4 (en) | 2018-08-20 | 2018-10-12 | Method of establishing English geographical name index and querying method and apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810945986.8A CN109165331A (zh) | 2018-08-20 | 2018-08-20 | 一种英文地名的索引建立方法及其查询方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109165331A true CN109165331A (zh) | 2019-01-08 |
Family
ID=64896023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810945986.8A Pending CN109165331A (zh) | 2018-08-20 | 2018-08-20 | 一种英文地名的索引建立方法及其查询方法和装置 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN109165331A (zh) |
AU (1) | AU2018102145A4 (zh) |
WO (1) | WO2020037794A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110275970A (zh) * | 2019-06-21 | 2019-09-24 | 北京达佳互联信息技术有限公司 | 图像检索的方法、装置、服务器及存储介质 |
CN113011174A (zh) * | 2020-12-07 | 2021-06-22 | 红塔烟草(集团)有限责任公司 | 一种基于文本分析的围标串标识别方法 |
CN113268972A (zh) * | 2021-05-14 | 2021-08-17 | 东莞理工学院城市学院 | 两英语单词外观相似度的智能计算方法、系统、设备和介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309151A (zh) * | 2019-06-18 | 2019-10-08 | 精硕科技(北京)股份有限公司 | 一种索引建立方法、装置及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1072982A2 (en) * | 1999-07-30 | 2001-01-31 | Matsushita Electric Industrial Co., Ltd. | Method and system for similar word extraction and document retrieval |
CN101082918A (zh) * | 2006-06-02 | 2007-12-05 | 凌阳科技股份有限公司 | 一种利用字母索引表查询电子词典单词的方法及其系统 |
CN101794307A (zh) * | 2010-03-02 | 2010-08-04 | 光庭导航数据(武汉)有限公司 | 基于互联网分词思想的车载导航poi搜索引擎 |
CN107133311A (zh) * | 2017-04-28 | 2017-09-05 | 安徽博约信息科技股份有限公司 | 基于区域编码的网络信息归属地索引标记方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840406B (zh) * | 2009-03-20 | 2015-10-14 | 富士通株式会社 | 地名搜索装置和系统 |
CN101930435B (zh) * | 2009-10-27 | 2013-03-20 | 深圳市北科瑞声科技有限公司 | 机构名称检索方法及系统 |
US10497042B2 (en) * | 2016-08-29 | 2019-12-03 | BloomReach, Inc. | Search ranking |
CN108205578A (zh) * | 2016-12-20 | 2018-06-26 | 北大方正集团有限公司 | 索引生成方法及装置 |
-
2018
- 2018-08-20 CN CN201810945986.8A patent/CN109165331A/zh active Pending
- 2018-10-12 WO PCT/CN2018/109938 patent/WO2020037794A1/zh active Application Filing
- 2018-10-12 AU AU2018102145A patent/AU2018102145A4/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1072982A2 (en) * | 1999-07-30 | 2001-01-31 | Matsushita Electric Industrial Co., Ltd. | Method and system for similar word extraction and document retrieval |
CN101082918A (zh) * | 2006-06-02 | 2007-12-05 | 凌阳科技股份有限公司 | 一种利用字母索引表查询电子词典单词的方法及其系统 |
CN101794307A (zh) * | 2010-03-02 | 2010-08-04 | 光庭导航数据(武汉)有限公司 | 基于互联网分词思想的车载导航poi搜索引擎 |
CN107133311A (zh) * | 2017-04-28 | 2017-09-05 | 安徽博约信息科技股份有限公司 | 基于区域编码的网络信息归属地索引标记方法 |
Non-Patent Citations (1)
Title |
---|
叶鹏 等: "《顾及字符特征的中文地名词典查询方法》" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110275970A (zh) * | 2019-06-21 | 2019-09-24 | 北京达佳互联信息技术有限公司 | 图像检索的方法、装置、服务器及存储介质 |
CN113011174A (zh) * | 2020-12-07 | 2021-06-22 | 红塔烟草(集团)有限责任公司 | 一种基于文本分析的围标串标识别方法 |
CN113011174B (zh) * | 2020-12-07 | 2023-08-11 | 红塔烟草(集团)有限责任公司 | 一种基于文本分析的围标串标识别方法 |
CN113268972A (zh) * | 2021-05-14 | 2021-08-17 | 东莞理工学院城市学院 | 两英语单词外观相似度的智能计算方法、系统、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
AU2018102145A4 (en) | 2019-11-21 |
WO2020037794A1 (zh) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492077B (zh) | 基于知识图谱的石化领域问答方法及系统 | |
US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
US8055498B2 (en) | Systems and methods for building an electronic dictionary of multi-word names and for performing fuzzy searches in the dictionary | |
CN109165331A (zh) | 一种英文地名的索引建立方法及其查询方法和装置 | |
US20050197829A1 (en) | Word collection method and system for use in word-breaking | |
Sarawagi et al. | Open-domain quantity queries on web tables: annotation, response, and consensus models | |
CN106033416A (zh) | 一种字符串处理方法及装置 | |
CN105528411B (zh) | 船舶装备交互式电子技术手册全文检索装置及方法 | |
CN110413764A (zh) | 基于预建词库的长文本企业名称识别算法 | |
Wick et al. | A unified approach for schema matching, coreference and canonicalization | |
CN115563313A (zh) | 基于知识图谱的文献书籍语义检索系统 | |
CN111090994A (zh) | 一种面向中文网络论坛文本的事件地点归属省份识别方法 | |
CN105404677A (zh) | 一种基于树形结构的检索方法 | |
US8682900B2 (en) | System, method and computer program product for documents retrieval | |
CN105426490A (zh) | 一种基于树形结构的索引方法 | |
CN112199461A (zh) | 基于块索引结构的文档检索方法、装置、介质和设备 | |
CN111931026A (zh) | 一种基于词性扩展的搜索优化方法及系统 | |
CN112784227A (zh) | 基于口令语义结构的字典生成系统及方法 | |
Zheng et al. | Research on domain term extraction based on conditional random fields | |
CN112000782A (zh) | 一种基于k-means聚类算法的智能客服问答系统 | |
Malki | Comprehensive study and comparison of information retrieval indexing techniques | |
KR20020054254A (ko) | 사전구조를 이용한 한국어 형태소 분석방법 | |
CN116126893B (zh) | 一种数据关联检索方法、装置及相关设备 | |
CN113627154B (zh) | 用于文档自动识别入库的方法 | |
CN110175268B (zh) | 一种最长匹配资源映射方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |