CN112182353A - 用于信息搜索的方法、电子设备和存储介质 - Google Patents

用于信息搜索的方法、电子设备和存储介质 Download PDF

Info

Publication number
CN112182353A
CN112182353A CN202011375617.3A CN202011375617A CN112182353A CN 112182353 A CN112182353 A CN 112182353A CN 202011375617 A CN202011375617 A CN 202011375617A CN 112182353 A CN112182353 A CN 112182353A
Authority
CN
China
Prior art keywords
word
tree
error correction
node
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011375617.3A
Other languages
English (en)
Other versions
CN112182353B (zh
Inventor
杨涵
陈广顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenkunxing Network Technology Nanjing Co ltd
Original Assignee
Zhenkunxing Network Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenkunxing Network Technology Nanjing Co ltd filed Critical Zhenkunxing Network Technology Nanjing Co ltd
Priority to CN202011375617.3A priority Critical patent/CN112182353B/zh
Publication of CN112182353A publication Critical patent/CN112182353A/zh
Application granted granted Critical
Publication of CN112182353B publication Critical patent/CN112182353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9532Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于信息搜索的方法、电子设备和计算机存储介质,涉及信息处理领域。根据该方法,将搜索词转换为拼音字母,以生成第一拼音字母序列;在第一树中搜索第一词语集;如果在第一树中找到第一词语集,则将找到的第一词语集作为纠错候选词集;如果在第一树中未找到第一词语集,则在第二树中确定第二词语集作为纠错候选词集;基于多元语言模型,确定与纠错候选词集相关联的得分集;从纠错候选词集确定得分最高的第一纠错候选词;以及基于第一纠错候选词进行搜索,以得到搜索结果。由此,能够提高搜索的召回率。

Description

用于信息搜索的方法、电子设备和存储介质
技术领域
本公开的实施例总体涉及信息处理领域,具体涉及用于信息搜索的方法、电子设备和计算机存储介质。
背景技术
随着电商技术的发展,越来越多的商品通过网络进行售卖,使得人们越来越多地通过网络搜索商品信息。在用户搜索商品时,用户输入的搜索词并不总是正确的,错误的查询词可能导致查询结果不符合预期或者是无结果。
发明内容
提供了一种用于信息搜索的方法、电子设备以及计算机存储介质,能够提高搜索的召回率。
根据本公开的第一方面,提供了一种用于信息搜索的方法。该方法包括:将用户输入的搜索词转换为拼音字母,以生成第一拼音字母序列;在第一树中搜索第一词语集,第一词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分相匹配,第一树以词语为叶节点以及以拼音字母为非叶节点,从根节点到叶节点的路径上的非叶节点所表示的拼音字母构成叶节点所表示的词语的拼音字母序列,词语包括产品标识和品牌标识;如果确定在第一树中找到第一词语集,则将找到的第一词语集作为纠错候选词集;如果确定在第一树中未找到第一词语集,则在第二树中确定第二词语集作为纠错候选词集,第二词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分之间的编辑距离小于预定编辑距离,第二树中的节点以词语的拼音字母序列为节点检索值以及以词语为节点内容,第二树中的边表示与边相关联的两个节点的节点检索值之间的编辑距离;基于多元语言模型,确定与纠错候选词集相关联的得分集;从纠错候选词集确定得分最高的第一纠错候选词;以及基于第一纠错候选词进行搜索,以得到搜索结果。
根据本公开的第二方面,提供了一种电子设备。该电子设备包括:至少一个处理器,以及与至少一个处理器通信连接的存储器,其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据第一方面所述的方法。
在本公开的第三方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
由此,本公开的方案能够提高搜索的召回率。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素。
图1是根据本公开的实施例的信息处理环境100的示意图。
图2是根据本公开的实施例的用于信息搜索的方法200的示意图。
图3是根据本公开的实施例的用于确定第二词语集的方法300的示意图。
图4是根据本公开的实施例的用于确定得分集的方法400的示意图。
图5是根据本公开的实施例的用于基于第一纠错候选词进行搜索的方法500的示意图。
图6是根据本公开的实施例的第一树600的示意框图。
图7是根据本公开的实施例的第二树700的示意框图。
图8是根据本公开的实施例的第三树800的示意框图。
图9是用来实现本公开实施例的用于信息搜索的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述,在用户搜索商品时,用户输入的搜索词并不总是正确的,错误的查询词可能导致查询结果不符合预期或者是无结果。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个,本公开的示例实施例提出了一种用于信息搜索的方案。在该方案中,将用户输入的搜索词转换为拼音字母,以生成第一拼音字母序列;在第一树中搜索第一词语集,第一词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分相匹配,第一树以词语为叶节点以及以拼音字母为非叶节点,从根节点到叶节点的路径上的非叶节点所表示的拼音字母构成叶节点所表示的词语的拼音字母序列,词语包括产品标识和品牌标识;如果确定在第一树中找到第一词语集,则将找到的第一词语集作为纠错候选词集;如果确定在第一树中未找到第一词语集,则在第二树中确定第二词语集作为纠错候选词集,第二词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分之间的编辑距离小于预定编辑距离,第二树中的节点以词语的拼音字母序列为节点检索值以及以词语为节点内容,第二树中的边表示与边相关联的两个节点的节点检索值之间的编辑距离;基于多元语言模型,确定与纠错候选词集相关联的得分集;从纠错候选词集确定得分最高的第一纠错候选词;以及基于第一纠错候选词进行搜索,以得到搜索结果。以此方式,能够提高搜索的召回率。
在下文中,将结合附图更详细地描述本方案的具体示例。
图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100可以包括计算设备110、搜索词120和搜索结果130。
计算设备110例如包括但不限于服务器计算机、多处理器系统、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。在一些实施例中,计算设备110可以具有一个或多个处理单元,包括诸如图像处理单元GPU、现场可编程门阵列FPGA和专用集成电路ASIC等的专用处理单元以及诸如中央处理单元CPU的通用处理单元。
计算设备110用于将用户输入的搜索词120转换为拼音字母,以生成第一拼音字母序列;在第一树中搜索第一词语集,第一词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分相匹配,第一树以词语为叶节点以及以拼音字母为非叶节点,从根节点到叶节点的路径上的非叶节点所表示的拼音字母构成叶节点所表示的词语的拼音字母序列,词语包括产品标识和品牌标识;如果确定在第一树中找到第一词语集,则将找到的第一词语集作为纠错候选词集;如果确定在第一树中未找到第一词语集,则在第二树中确定第二词语集作为纠错候选词集,第二词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分之间的编辑距离小于预定编辑距离,第二树中的节点以词语的拼音字母序列为节点检索值以及以词语为节点内容,第二树中的边表示与边相关联的两个节点的节点检索值之间的编辑距离;基于多元语言模型,确定与纠错候选词集相关联的得分集;从纠错候选词集确定得分最高的第一纠错候选词;以及基于第一纠错候选词进行搜索,以得到搜索结果130。
由此,能够提高搜索的召回率。
图2示出了根据本公开的实施例的用于信息搜索的方法200的流程图。例如,方法200可以由如图1所示的计算设备110来执行。应当理解的是,方法200还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框202处,计算设备110将用户输入的搜索词120转换为拼音字母,以生成第一拼音字母序列。例如,可以将“斯达板手”转换成拼音字母序列“sidabanshou”。
在一些实施例中,计算设备110可以从搜索词120确定与信息降噪词库相匹配的第一词语,信息降噪词库包括停用词和预定属性标识。预定属性标识例如包括但不限于规格、材质、内径、外径、长度、承重、精度、流量范围等。
随后,计算设备110可以确定第一词语在搜索词120中是否满足预定规则。预定规则例如包括但不限于属性名称后面带有数值,例如内径:12mm 数量:30。
计算设备110如果确定第一词语在搜索词120中满足预定规则,则从搜索词120删除第一词语,以生成经降噪的搜索词。对于诸如“软管 规格型号:内径:12mm 外径:16mm 长度:100m/根”这样的搜索词,经降噪的搜索词可以为“软管 12mm 16mm 100m/根”。
计算设备110将经降噪的搜索词转换为拼音字母,以生成第一拼音字母序列。
由此,能够对搜索词进行降噪,去除冗余或无用的信息,提高搜索效率。
在框204处,计算设备110在第一树中搜索第一词语集,第一词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分相匹配,第一树以词语为叶节点以及以拼音字母为非叶节点,从根节点到叶节点的路径上的非叶节点所表示的拼音字母构成叶节点所表示的词语的拼音字母序列,词语包括产品标识和品牌标识。第一树例如可以包括但不限于字典树。
参照图6,其示出了第一树600的示意图。第一树600包括多个非叶节点(非叶节点可分为根节点和中间节点)610和叶节点620,每个非叶节点610表示一个拼音字母,叶节点620表示词语,例如产品标识、品牌标识,从根节点到叶节点620的路径上的非叶节点610所表示的拼音字母构成叶节点620的拼音字母序列,例如扳手和“banshou”。例如在第一树600中搜索时,“sidabanshou”可以匹配到“banshou”对应的叶子节点620“扳手”。
在框206处,计算设备110确定是否在第一树中找到第一词语集。
如果在框206处计算设备110确定在第一树中找到第一词语集,则在框208处将找到的第一词语集作为纠错候选词集。
如果在框206处计算设备110确定在第一树中未找到第一词语集,则在框210处在第二树中确定第二词语集作为纠错候选词集,第二词语集中的每个词语的拼音字母序列与第一拼音字母序列的至少一部分之间的编辑距离小于预定编辑距离,第二树中的节点以词语的拼音字母序列为节点检索值以及以词语为节点内容,第二树中的边表示与边相关联的两个节点的节点检索值之间的编辑距离。第二树例如可以包括但不限于BK树(BurkhardKeller树)。编辑距离例如包括但不限于莱文斯坦(Levenstein)文本编辑距离。预定编辑距离例如包括但不限于2。
第二树例如可以是基于产品标识库和品牌标识库生成的。将产品标识库中的产品标识的拼音序列或品牌标识库中的品牌标识的拼音序列作为节点索引值,将产品标识或品牌标识本身作为节点内容,逐个插入第二树,树的边表示与边相连的上下两个节点之间的距离(节点检索值之间的距离)。距离度量例如可以满足以下三个原则。
Figure DEST_PATH_IMAGE001
其中,x和y代表两个节点的索引值,公式1代表当距离为0时,x和y相等;公式2代表x和y的距离满足交换律;公式3代表x、y和z三者的距离是可以递增累加的。
参照图7,其示出了第二树700的示意图。例如,第二树700中的节点710中的节点索引值为“santong”,节点内容为“三通”,节点720中的节点索引值为“maoding”,节点内容为“铆钉”,这两个节点之间的边表示这两个节点索引值之间的编辑距离6。
下文将结合图3详细描述用于确定第二词语集的方法。
在一些实施例中,计算设备110还可以从第二词语集中删除不符合相似发音规则的词语。相似发音规则可如下表1所示。例如,“斯达”对应的拼音“sida”,会匹配到“shida”,从而对应到“世达”。
Figure DEST_PATH_IMAGE002
在框212处,计算设备110基于多元语言模型,确定与纠错候选词集相关联的得分集。
多元语言模型例如包括但不限于3元语言模型,其例如是基于包括商品标题描述以及历史检索词的训练样本训练的。下文将结合图4详细描述用于确定得分集的方法。
在框214处,计算设备110从纠错候选词集确定得分最高的第一纠错候选词。
例如,对于原始输入搜索词120“斯达扳手”,与其对应的纠错候选词集[“世达板手”,“斯达扳手”,“世达扳手”],分别纠错候选词集的得分: score (世达板手)= -6.847916;score (斯达扳手)= -9.777454;score (世达扳手)= -5.5369544。得分最高的第一纠错候选词为“世达扳手”。
在框216处,计算设备110基于第一纠错候选词进行搜索,以得到搜索结果。
在一些实施例中,计算设备110可以基于多元语言模型,确定与搜索词120相关联的第一得分。如果计算设备110确定与第一纠错候选词相关联的得分与第一得分之差大于纠错阈值,则基于第一纠错候选词进行搜索,以得到搜索结果。
纠错阈值可以为固定值,也可以为第一得分乘以固定比例而得到的值,例如纠错阈值等于第一得分*-0.15。例如,score (斯达扳手)= -11.60715,则纠错阈值为1.74,score (斯达扳手)+纠错阈值=-8.125005小于score (世达扳手)。由此,通过得分差满足纠错阈值来进行控制纠错,可以减少错误纠错的情况。
由此,能够提升搜索的召回率。
备选地或者附加地,在一些实施例中,计算设备110可以对第一纠错候选词进行同义词全匹配,以生成第一同义词匹配结果。匹配例如可以通过同义词库进行。
计算设备110还可以对第一纠错候选词进行分词,以生成分词结果,并对分词结果中的每个词进行同义词全匹配,以生成第二同义词匹配结果。
随后,计算设备110可以从包括第一同义词匹配结果和第二同义词匹配结果的同义词匹配结果中确定符合同义词合法性规则的第三同义词匹配结果。同义词合法性规则例如包括但不限于数字类同义词前后不能拼接字母数字,汉字类同义词前后避免叠字。
接着,计算设备110可以对第三同义词匹配结果进行排列组合,生成同义词拓展结果。
最后,计算设备110基于同义词拓展结果进行搜索,以得到搜索结果。
由此,能够进行同义词拓展,进一步提高搜索的召回率。
图3示出了根据本公开的实施例的用于确定第二词语集的方法300的流程图。例如,方法300可以由如图1所示的计算设备110来执行。应当理解的是,方法300还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框302处,计算设备110确定第二树的根节点作为当前节点。
在框304处,计算设备110确定第一拼音字母序列与当前节点的节点检索值之间的第一编辑距离。
在框306处,计算设备110确定第一编辑距离是否小于预定编辑距离。
如果在框306处计算设备110确定第一编辑距离小于预定编辑距离,则在框308处将当前节点的节点内容添加到第二词语集。
在框310处,遍历当前节点的子节点中与当前节点之间的编辑距离位于第一距离区间的子节点,作为当前节点,重复步骤304-310,第一距离区间大于或等于第一编辑距离与预定编辑距离之差且小于或等于第一编辑距离与预定编辑距离之和。这里遍历子节点的过程中相当于做了深度优先搜索,如果没有距离位于第一距离区间的子节点,则会退出到深度优先搜索的当前路径。
由此,能够实现针对检索词的基于拼音的词语模糊匹配,提高搜索的召回率。
图4示出了根据本公开的实施例的用于确定得分集的方法400的流程图。例如,方法400可以由如图1所示的计算设备110来执行。应当理解的是,方法400还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。方法400包括对于纠错候选词集中的每个纠错候选词,执行以下步骤。
在框402处,计算设备110基于训练样本集,确定纠错候选词中包括的每一个词项相对于前两个词项的条件概率。在语言模型的训练过程中,对每一条训练语句加入“</s>”作为结束符。结束符的引入可以使语言模型概率分布更趋向于真实分布,对于不同长度的语句分别建立相应的概率分布。
一个词项相对于前两个词项的条件概率例如可以采用以下公式来确定。
Figure DEST_PATH_IMAGE003
其中
Figure DEST_PATH_IMAGE004
表示纠错候选词中的第i个词项,
Figure DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
分别表示纠错候选词中的第i-2个词项和第i-1个词项,
Figure DEST_PATH_IMAGE007
表示给定
Figure DEST_PATH_IMAGE008
Figure 452175DEST_PATH_IMAGE006
Figure 572578DEST_PATH_IMAGE004
出现的概率,c表示对应的词汇在训练样本集中出现的频次。
在一些实施例中,对于在训练样本集中未出现的、纠错候选词中包括的词项,计算设备110可以通过KN平滑确定该词项相对于前两个词项的条件概率。由此,能够避免未在训练样本集中出现的词的条件概率为0的情况,提高条件概率的准确性。
KN平滑的具体公式可如下所示。
Figure DEST_PATH_IMAGE009
其中,
Figure DEST_PATH_IMAGE010
Figure 493261DEST_PATH_IMAGE007
进行KN平滑后的概率,
Figure DEST_PATH_IMAGE011
表示只取频次大于或等于1的词项,
Figure DEST_PATH_IMAGE012
是固定衰减值,例如0.75。
在框404处,计算设备110基于纠错候选词中的每一个词项相对于前两个词项的条件概率,确定纠错候选词的得分。
纠错候选词的得分可以通过以下公式来确定。
Figure DEST_PATH_IMAGE013
其中,
Figure DEST_PATH_IMAGE014
表示纠错候选词的得分,
Figure DEST_PATH_IMAGE015
表示长度为m的纠错候选词中第i个词项。在计算
Figure 639202DEST_PATH_IMAGE014
时,考虑词项
Figure 922416DEST_PATH_IMAGE004
和其前两个词项
Figure 213720DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE016
的条件概率,按顺序连乘。
由此,3元语言模型在拼写纠错任务中有较高的准确率,同时模型参数也在可以接受的范围,能够准确确定相关条件概率以及得分,从而能够提高搜索准确率和效率。
图5示出了根据本公开的实施例的用于基于第一纠错候选词进行搜索的方法500的流程图。例如,方法500可以由如图1所示的计算设备110来执行。应当理解的是,方法500还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框502处,计算设备110从第一纠错候选词获取第一产品标识。
具体来说,计算设备110可以基于单位信息库、规格信息库,利用正则表达式匹配,从第一纠错候选词去除单位信息和规格信息。计算设备110还可以基于品牌标识库和型号标识库,利用前缀树匹配,从第一纠错候选词去除品牌标识和型号标识。通过上述这两个步骤,可以从第一纠错候选词获取第一产品标识。
在框504处,计算设备110确定是否在产品标识库中找到第一产品标识。
在一些实施例中,计算设备110可以基于产品标识库生成产品标识的哈希集合,确定是否在哈希集合中找到第一产品标识的哈希,如果找到,则确定在产品标识库中找到第一产品标识,如果没有找到,则确定在产品标识库中未找到第一产品标识。
如果在框504处计算设备110确定在产品标识库中未找到第一产品标识,则在框506处在第三树中确定产品标识集,产品标识集中的每个产品标识与第一产品标识之间的编辑距离小于预定编辑距离,第三树中的节点以产品标识为节点检索值,第三树中的边表示与边相关联的两个节点的节点检索值之间的编辑距离。
参见图8,其示出了第三树800的示意图。如图8所示,第三树800中的节点810的节点检索值为“万向磁性座”,节点820的节点检索值为“永磁固定座”,它们之间的边表示这两个节点之间的编辑距离6。
具体来说,计算设备110确定第三树的根节点作为当前节点。随后,计算设备110确定第一产品标识与当前节点的节点检索值之间的第一编辑距离。计算设备110确定第一编辑距离是否小于预定编辑距离。如果计算设备110确定第一编辑距离小于预定编辑距离,则将当前节点的节点检索值添加到产品标识集。随后,计算设备110遍历当前节点的子节点中与当前节点之间的编辑距离位于第一距离区间的子节点,作为当前节点,重复除了第一步骤以外的其他步骤。第一距离区间大于或等于第一编辑距离与预定编辑距离之差且小于或等于第一编辑距离与预定编辑距离之和。这里遍历子节点的过程中相当于做了深度优先搜索,如果没有距离位于第一距离区间的子节点,则会退出到深度优先搜索的当前路径。
在框508处,计算设备110确定产品标识集是否满足预定有效性规则。
预定有效性规则的例子可如下表2所示。
Figure DEST_PATH_IMAGE017
如果在框508处计算设备110确定产品标识集满足预定有效性规则,则在框510将产品标识集与第一纠错候选词中除第一产品标识以外的信息进行拼接,以生成归一化结果集。
在一些实施例中,计算设备110还可以对第一纠错候选词中的单位、数字、颜色等信息进行归一化。
例如,用户输入“名称: 万用表笔 品牌: 福禄克 1米”,经过信息降噪,变为“万用表笔 福禄克 1米”。单位“1米”被归一化为“1m”;限定编辑距离不大于2,利用第三树查找到产品名称“万用表笔”的候选集为“万用表”和“万用表表笔”,经过有效性判断,“万用表笔”被归一化为“万用表表笔”,拼接残余信息,最终归一化的结果为“万用表表笔 福禄克 1m”。
在框512处,计算设备110基于归一化结果集进行搜索,以得到搜索结果。
由此,能够对纠错候选词进行归一化处理,提高搜索准确性和效率。
在一些实施例中,计算设备110可以基于与产品标识相关联的第一前缀树、与品牌标识相关联的第二前缀树和与型号前缀相关联的第三前缀树,对归一化结果集进行匹配,以得到产品标识、品牌标识和型号前缀中的至少一项,第一前缀树基于产品标识库而生成,第二前缀树基于品牌标识库而生成,以及第三前缀树基于型号前缀库而生成。
产品标识库、品牌标识库和型号前缀库可以分别基于从网络获取和/或历史商品数据提取的产品标识、品牌标识和型号前缀而生成的。
历史商品数据中的原始产品标识的例子例如包括“7460Z-7471Z型扭矩扳手DREMOMETER A+S带预设值的锁定键和安全装置(A+S)”,“746型划线笔”,“7480SE-7482SE型扭矩扳手DREMOMETER A+S带预设值的锁定键和安全装置(A+S)”,“74件租棘轮螺丝刀加批头组”,“75 GSTM型木匠锤”,“75 STKM型带磁性的木匠锤”,“750B-CN八棱柄销式冲头组件”,“750BL系列销式冲头组件”,“750MM破坏钳”,“750系列八棱柄销式冲头”,“753型扭矩扳手DREMOMETER MINI”,“753型扭矩扳手DREMOMETER MINI-套装”。可以对上述原始产品标识中的噪声进行规则过滤,提取产品标识,例如八棱柄销式冲头组件、扭矩扳手、棘轮螺丝刀、破坏钳等,并将提取的产品标识加入产品标识库。
历史商品数据中的原始品牌标识的例子例如包括“ADLEE/爱德利”,“ADLINK/凌华”,“ADLT/启达起重”,“ADNK/安迪尼克”,“ADOLPH/阿道夫”,“ADR/安德瑞”,“ADSENSOR/圣敏”,“ADT/奥迪特”,“ADTECH/众为兴”。可以对包含分割符的原始中英混合品牌标识通过分割符进行切分,例如将“ADR/安德瑞”分割成ADR、安德瑞,随后将分割后的品牌标识与原来的中英混合品牌标识一起构成品牌标识集合加入品牌标识库。
历史商品数据中的原始型号数据的例子例如包括“3eD11.4L55D12L45”,“3eD12.8L60D14L45”,“3eD18.5L79D20L50”,“3eD18.7L79D20L50”,“3eD18.9L79D20L50”,“3eD21.6L93D25L56”,“3eD22.3L93D25L56”,“3eD22.5L96D25L56”。可以从原始型号数据确定出现频次大于预定频次的前缀字符串,例如3eD18,预定频次例如为5次,随后将确定的前缀字符串加入型号前缀库。
计算设备110例如可以基于产品标识库中能够获取搜索结果的产品标识而生成第一前缀树。例如可以通过调用搜索接口确定产品标识是否能够获取搜索结果,也称为召回数据。第一前缀树中,每个产品标识形成一条路径,产品标识中的每个字为路径中的一个节点,重合的节点是合并的,所有的路径集合组成第一前缀树。第二前缀树和第三前缀树也是类似处理,不再赘述。
随后,计算设备110可以基于所得到的产品标识、品牌标识和型号前缀中的至少一项进行搜索,以得到搜索结果。
由此,能够提取出诸如产品标识、品牌标识和型号前缀的核心词进行搜索,扩大召回数据,提升召回率和用户体验。
图9示出了可以用来实施本公开内容的实施例的示例设备900的示意性框图。例如,如图1所示的计算设备110可以由设备900来实施。如图所示,设备900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机存取存储器(RAM)903中的计算机程序指令,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标、麦克风等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法200-500,可由中央处理单元901执行。例如,在一些实施例中,方法200-500可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序被加载到RAM 903并由中央处理单元901执行时,可以执行上文描述的方法200-500的一个或多个动作。
本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于信息搜索的方法,包括:
将用户输入的搜索词转换为拼音字母,以生成第一拼音字母序列;
在第一树中搜索第一词语集,所述第一词语集中的每个词语的拼音字母序列与所述第一拼音字母序列的至少一部分相匹配,所述第一树以词语为叶节点以及以拼音字母为非叶节点,从根节点到叶节点的路径上的非叶节点所表示的拼音字母构成所述叶节点所表示的词语的拼音字母序列,所述词语包括产品标识和品牌标识;
如果确定在所述第一树中找到所述第一词语集,则将找到的所述第一词语集作为纠错候选词集;
如果确定在所述第一树中未找到所述第一词语集,则在第二树中确定第二词语集作为所述纠错候选词集,所述第二词语集中的每个词语的拼音字母序列与所述第一拼音字母序列的至少一部分之间的编辑距离小于预定编辑距离,所述第二树中的节点以词语的拼音字母序列为节点检索值以及以词语为节点内容,所述第二树中的边表示与所述边相关联的两个节点的节点检索值之间的编辑距离;
基于多元语言模型,确定与所述纠错候选词集相关联的得分集;
从所述纠错候选词集确定得分最高的第一纠错候选词;以及
基于所述第一纠错候选词进行搜索,以得到搜索结果。
2.根据权利要求1所述的方法,其中确定所述第二词语集包括:
确定所述第二树的根节点作为当前节点;
S1:确定所述第一拼音字母序列与所述当前节点的节点检索值之间的第一编辑距离;
S2:如果确定所述第一编辑距离小于所述预定编辑距离,则将所述当前节点的节点内容添加到所述第二词语集;以及
S3:遍历所述当前节点的子节点中与所述当前节点之间的编辑距离位于第一距离区间的子节点,作为所述当前节点,重复步骤S1-S3,所述第一距离区间大于或等于所述第一编辑距离与所述预定编辑距离之差且小于或等于所述第一编辑距离与所述预定编辑距离之和。
3.根据权利要求1所述的方法,其中确定所述得分集包括:
对于所述纠错候选词集中的每个纠错候选词,执行以下步骤:
基于训练样本集,确定所述纠错候选词中包括的每一个词项相对于前两个词项的条件概率;以及
基于所述纠错候选词中的每一个词项相对于前两个词项的条件概率,确定所述纠错候选词的得分。
4.根据权利要求3所述的方法,其中确定所述条件概率包括:
对于在训练样本集中未出现的、所述纠错候选词中包括的词项,通过KN平滑确定所述词项相对于前两个词项的条件概率。
5.根据权利要求1所述的方法,其中将用户输入的搜索词转换为拼音字母包括:
从所述搜索词确定与信息降噪词库相匹配的第一词语,所述信息降噪词库包括停用词和预定属性标识;
确定所述第一词语在所述搜索词中是否满足预定规则;
如果确定所述第一词语在所述搜索词中满足所述预定规则,则从所述搜索词删除所述第一词语,以生成经降噪的搜索词;以及
将经降噪的搜索词转换为拼音字母,以生成所述第一拼音字母序列。
6.根据权利要求1所述的方法,其中基于所述第一纠错候选词进行搜索包括:
基于所述多元语言模型,确定与所述搜索词相关联的第一得分;以及
如果确定与所述第一纠错候选词相关联的得分与所述第一得分之差大于纠错阈值,则基于所述第一纠错候选词进行搜索,以得到所述搜索结果。
7.根据权利要求1所述的方法,其中基于所述第一纠错候选词进行搜索包括:
从所述第一纠错候选词获取第一产品标识;
如果确定在产品标识库中未找到所述第一产品标识,则在第三树中确定产品标识集,所述产品标识集中的每个产品标识与所述第一产品标识之间的编辑距离小于预定编辑距离,所述第三树中的节点以产品标识为节点检索值,所述第三树中的边表示与所述边相关联的两个节点的节点检索值之间的编辑距离;
如果确定所述产品标识集满足预定有效性规则,则将所述产品标识集与所述第一纠错候选词中除所述第一产品标识以外的信息进行拼接,以生成归一化结果集;以及
基于所述归一化结果集进行搜索,以得到所述搜索结果。
8.根据权利要求7所述的方法,其中基于所述归一化结果集进行搜索包括:
基于与产品标识相关联的第一前缀树、与品牌标识相关联的第二前缀树和与型号前缀相关联的第三前缀树,对所述归一化结果集进行匹配,以得到产品标识、品牌标识和型号前缀中的至少一项,所述第一前缀树基于产品标识库而生成,所述第二前缀树基于品牌标识库而生成,以及所述第三前缀树基于型号前缀库而生成;以及
基于所得到的所述产品标识、所述品牌标识和所述型号前缀中的至少一项进行搜索,以得到所述搜索结果。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN202011375617.3A 2020-12-01 2020-12-01 用于信息搜索的方法、电子设备和存储介质 Active CN112182353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375617.3A CN112182353B (zh) 2020-12-01 2020-12-01 用于信息搜索的方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375617.3A CN112182353B (zh) 2020-12-01 2020-12-01 用于信息搜索的方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112182353A true CN112182353A (zh) 2021-01-05
CN112182353B CN112182353B (zh) 2021-02-26

Family

ID=73918248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375617.3A Active CN112182353B (zh) 2020-12-01 2020-12-01 用于信息搜索的方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112182353B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032581A (zh) * 2021-04-09 2021-06-25 北京百度网讯科技有限公司 更新产品列表的方法和装置
CN113553398A (zh) * 2021-07-15 2021-10-26 杭州网易云音乐科技有限公司 搜索词纠正方法、装置、电子设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152258A1 (en) * 2000-06-28 2002-10-17 Hongyi Zhou Method and system of intelligent information processing in a network
CN101989282A (zh) * 2009-07-31 2011-03-23 中国移动通信集团公司 对中文查询词进行纠错的方法及其装置
CN106708893A (zh) * 2015-11-17 2017-05-24 华为技术有限公司 搜索查询词纠错方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152258A1 (en) * 2000-06-28 2002-10-17 Hongyi Zhou Method and system of intelligent information processing in a network
CN101989282A (zh) * 2009-07-31 2011-03-23 中国移动通信集团公司 对中文查询词进行纠错的方法及其装置
CN106708893A (zh) * 2015-11-17 2017-05-24 华为技术有限公司 搜索查询词纠错方法和装置
CN106708893B (zh) * 2015-11-17 2018-09-28 华为技术有限公司 搜索查询词纠错方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032581A (zh) * 2021-04-09 2021-06-25 北京百度网讯科技有限公司 更新产品列表的方法和装置
CN113032581B (zh) * 2021-04-09 2024-02-06 北京百度网讯科技有限公司 更新产品列表的方法和装置
CN113553398A (zh) * 2021-07-15 2021-10-26 杭州网易云音乐科技有限公司 搜索词纠正方法、装置、电子设备及计算机存储介质
CN113553398B (zh) * 2021-07-15 2024-01-26 杭州网易云音乐科技有限公司 搜索词纠正方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN112182353B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US8364470B2 (en) Text analysis method for finding acronyms
US8380488B1 (en) Identifying a property of a document
US10095780B2 (en) Automatically mining patterns for rule based data standardization systems
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
US20120166942A1 (en) Using parts-of-speech tagging and named entity recognition for spelling correction
US20100023318A1 (en) Method and device for retrieving data and transforming same into qualitative data of a text-based document
US20080208566A1 (en) Automated word-form transformation and part of speech tag assignment
US20060020448A1 (en) Method and apparatus for capitalizing text using maximum entropy
WO2022267353A1 (zh) 文本纠错的方法、装置、电子设备及存储介质
US20200004765A1 (en) Unstructured data parsing for structured information
CN113076739A (zh) 一种实现跨领域的中文文本纠错方法和系统
CN112182353B (zh) 用于信息搜索的方法、电子设备和存储介质
CN110704719B (zh) 企业搜索文本分词方法和装置
JP2016538666A (ja) 自律学習整列ベースの整列コーパス生成装置およびその方法と、整列コーパスを用いた破壊表現の形態素分析装置およびその形態素分析方法
Uthayamoorthy et al. Ddspell-a data driven spell checker and suggestion generator for the tamil language
CN111708819B (zh) 用于信息处理的方法、装置、电子设备和存储介质
CN117875310A (zh) 一种基于前后缀词库与困惑度的垂域文本纠错方法
JP2016133960A (ja) キーワード抽出システム、キーワード抽出方法、及び、コンピュータ・プログラム
CN110309258B (zh) 一种输入检查方法、服务器和计算机可读存储介质
Jasur et al. Personal names spell-checking–a study related to Uzbek
CN112784536B (zh) 数学应用题解答模型的处理方法、系统和存储介质
CN115017906A (zh) 一种针对文本中实体的识别方法、装置及存储介质
CN113743093B (zh) 一种文本校正的方法和装置
CN116484842A (zh) 语句纠错的方法及装置、电子设备、存储介质
CN110991166B (zh) 基于模式匹配的汉语错别字识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Han

Inventor after: Chen Guangshun

Inventor after: Chen Hongli

Inventor after: Yan Huaxing

Inventor before: Yang Han

Inventor before: Chen Guangshun