CN110852094B - 检索目标的方法、装置及计算机可读存储介质 - Google Patents
检索目标的方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110852094B CN110852094B CN201810863272.2A CN201810863272A CN110852094B CN 110852094 B CN110852094 B CN 110852094B CN 201810863272 A CN201810863272 A CN 201810863272A CN 110852094 B CN110852094 B CN 110852094B
- Authority
- CN
- China
- Prior art keywords
- search
- sample
- component
- subject
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000009826 distribution Methods 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 238000010801 machine learning Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种检索目标的方法、装置及计算机可读存储介质，涉及人工智能技术领域。其中的方法包括：利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；计算各个检索分量关于检索主题词的相对长度；利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量；将检索主题词的类别分布向量、各个检索分量的类别分布向量以及相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；将检索主题词以及相似度满足预设条件的检索分量对应的检索结果作为最终的检索结果。本公开能够准确、高效地得到与检索主题词相近的检索结果。
Description
技术领域
本公开涉及人工智能技术领域，特别涉及一种检索目标的方法、装置及计算机可读存储介质。
背景技术
SKU(Stock Keeping Unit，库存量单位)，是库存进出计量的单位，在服装、鞋类等商品中使用普遍。例如，纺织品中一个SKU通常表示规格、颜色、款式。品类则是SKU按照由宽到窄的类别组织方式，例如“家用电器”-“厨卫电器”-“燃气灶”。
商家在某个主题活动中，需要将符合主题活动的SKU组合提供给用户，而主题活动所涉及的SKU通常是跨品类的。例如“开学季”主题活动，可能需要组合“笔类”、“箱包”、“童装”等多个品类符合“开学季”主题活动的SKU，组成SKU商品池。
由此可见，商家需要响应主题活动，快速生成大量符合活动主题的SKU组成SKU商品池。随着商家业务的迅猛发展，电商运营所涉及SKU及品类数量巨大。面临如此海量SKU，根据活动主题检索出跨品类的SKU逐渐变得困难。
发明内容
本公开解决的一个技术问题是，如何根据准确、高效地得到与检索主题词相近的检索结果。
根据本公开实施例的一个方面，提供了一种检索目标的方法，包括：利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；计算各个检索分量关于检索主题词的相对长度，相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值；利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比；将检索主题词的类别分布向量、各个检索分量的类别分布向量以及相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
在一些实施例中，该方法还包括：从各个检索分量中将相对长度小于第一阈值的检索分量删除。
在一些实施例中，该方法还包括：利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量；计算各个样本分量关于样本主题词的相对长度；利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量；标注各个样本分量关于样本主题词的相似度；利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对机器学习模型进行训练，使得机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及相对长度，计算得到检索分量关于检索主题词的相似度。
在一些实施例中，标注各个样本分量关于样本主题词的相似度包括：将样本分量的检索结果标为第一集合，将样本主题词的检索结果标为第二集合；将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。
在一些实施例中，标注各个样本分量关于样本主题词的相似度还包括：若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
在一些实施例中，对机器学习模型进行训练包括：采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F；其中， y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1,i表示样本分量的类别分布向量中的第i个元素，f2,i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。
在一些实施例中，将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果包括：将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，相似度大于第二阈值的检索分量的个数为一个或更多个；或者，将检索主题词以及相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
在一些实施例中，各个检索分量为由检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。
根据本公开实施例的另一个方面，提供了一种检索目标的装置，包括：分词模块，被配置为利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；相对长度计算模块，被配置为计算各个检索分量关于检索主题词的相对长度，相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值；向量生成模块，被配置为利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比；相似度确定模块，被配置为将检索主题词的类别分布向量、各个检索分量的类别分布向量以及相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；检索结果确定模块，被配置为将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
在一些实施例中，该装置还包括检索分量删除模块，被配置为从各个检索分量中将相对长度小于第一阈值的检索分量删除。
在一些实施例中，该装置还包括模型训练模块，被配置为：利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量；计算各个样本分量关于样本主题词的相对长度；利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量；标注各个样本分量关于样本主题词的相似度；利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对机器学习模型进行训练，使得机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及相对长度，计算得到检索分量关于检索主题词的相似度。
在一些实施例中，模型训练模块被配置为：将样本分量的检索结果标为第一集合，将样本主题词的检索结果标为第二集合；将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。
在一些实施例中，模型训练模块还被配置为：若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
在一些实施例中，模型训练模块被配置为：采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F；其中， y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1,i表示样本分量的类别分布向量中的第i个元素，f2,i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。
在一些实施例中，检索结果确定模块被配置为：将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，相似度大于第二阈值的检索分量的个数为一个或更多个；或者，将检索主题词以及相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
在一些实施例中，各个检索分量为由检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。
根据本公开实施例的又一个方面，提供了又一种检索目标的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的检索目标的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的检索目标的方法。
本公开能够准确、高效地得到与检索主题词相近的检索结果。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一个实施例的检索目标的方法的流程示意图。
图2示出了对机器学习模型进行训练的流程示意图。
图3示出了本公开一个实施例的检索目标的装置的结构示意图。
图4示出了本公开另一个实施例的检索目标的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，相关的SKU检索技术大体可分为两类：一类是利用活动主题词及其近义词，检索匹配SKU名称、SKU属性值等描述文本；另一类是将一些SKU的描述文本作为种子SKU描述文本，通过计算种子SKU的描述文本与其它SKU的描述文本之间的相似性，选择相近的SKU作为检索结果。而相关技术方案中存在以下缺点：单纯地利用活动主题词及近义词匹配，可能检索到很多相关性低的SKU，准确率和召回率都比较低；利用种子SKU描述文本进行匹配，需要业务方提供大量的种子SKU，但主题活动通常是时效性很强的临时行为，业务方难以临时挑选并提供大量高质量种子SKU，即便业务方提供了种子SKU，由于SKU的描述文本通常是短文本语法特征有限，匹配结果的准确性也不够理想。此外，相关技术中的这两种方法中，每次匹配到的SKU商品池的生成都是通过本次活动主题词检索到的，历史相关数据没有发挥作用，因此整体效率较低。
基于以上问题，发明人提出了一种检索目标的方法，能够准确、高效的检索出与检索主题词相关的目标。下面以检索与活动主题词相关的SKU为例进行详细介绍。
首先结合图1描述本公开检索目标的方法的一个实施例。
图1示出了本公开一个实施例的检索目标的方法的流程示意图。如图1所示，本实施例包括步骤S102～步骤S110。
在步骤S102中，利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量。
各个检索分量具体可以为检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。以前缀为例，检索分量是由该主题词符合一定条件的分词或分词组合而成的前缀，作为主题词的近义词。分词过程中可以采用基于词典的中文分词技术，将文本按文本中汉字出现的顺序分隔成词典中出现的词语。在具有完备词典的前提下，可以将文本分隔成词典中的词语。
常用的分词方法有最大正向匹配，基本思想为：假定分词词典中的最长词有N个汉字字符，则用被处理文本的当前字串中的前N个字作为匹配字段查找词典。若词典中存在这样的一个字词则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个字词则匹配失败。然后，将匹配字段中的最后一个字去掉，对剩下的字段重新进行匹配，如此循环直剩余字段的长度为零。
在步骤S104中，计算各个检索分量关于检索主题词的相对长度，相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值。
例如，某检索主题词为“猫跟鞋”，长度为3，且“猫”、“跟”、“鞋”是该检索主题词的分词，“猫跟”是该检索主题词的分词组合。则“猫”、“猫跟”属于其检索分量，且“猫”、“猫跟”相对于“猫跟鞋”的相对长度分别为0.33、0.67。
可选的，本实施例还可以包括步骤S105。在步骤S105中，从各个检索分量中将相对长度小于第一阈值的检索分量删除。
例如，检索主题词“多功能性玩具”的分词结果为：“多”、“功能”、“性”、“玩具”，则其可能的检索分量是[“多”,“多功能”，“多功能性”]，它们的相对长度分别为[0.17,0.5,0.67]。如果设定的第一阈值为0.5，则最终得到的检索分量是[“多功能”，“多功能性”]。过滤掉相对长度低于一定阈值的检索分量，可以避免产生与检索主题词的相似度较低的过短分词，使得存留的检索分量与检索主题词更接近，并省去利用不接近检索分量进行检索的过程，有助于更加准确、高效地得到与检索主题词相关的检索结果。
在步骤S106中，利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比。
例如，通过SKU搜索词表或者相关网站搜索检索分量，能够得到与检索分量语义内涵相近的SKU集合。以单个检索分量为例，其检索结果的类别分布向量形如【L1(10％)，L2(20％)，……Lk(10％)】，其中k表示搜索词表中所有SKU涉及的总品类数，Lk表示检索结果中第k个品类的SKU个数占检索结果中所有SKU个数的百分比。
在步骤S108中，将检索主题词的类别分布向量、各个检索分量的类别分布向量以及相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度。
输入时可以利用检索主题词的类别分布向量、检索分量的类别分布向量以及相对长度生成形如<检索主题词类别分布向量、检索分量类别分布向量、相对长度>的样本集，其中，特征是2n+1维的数值型向量，得到范围在(0,1)的实数值。预先训练的机器学习模型具体可以为广义线性回归模型、gbdt模型、或者深度学习神经网络等等。关于机器学习模型的预先训练过程在后文中进行详细介绍。
在步骤S110中，将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
可选的，可以将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，相似度大于第二阈值的检索分量的个数为一个或更多个。或者，可以将检索主题词以及检索分量按照相似度进行排序(检索主题词本身的相似度可以视为1)，将相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
上述实施例对检索主题词进行了分词，并对检索主题词和检索分量进行了词语长度、类别分布特征方面的抽象。一方面能够确定与检索主题词相近的检索分量，从而确定多个有效的检索依据，进而准确的得到与检索主题词相近的检索结果，解决了现有技术中只靠检索主题词匹配准确率低、召回率低的问题。另一方面，上述实施例能够复用历史主题活动的数据来训练机器学习模型，从而高效的得到与检索主题词相近的检索结果，解决了现有技术中难以针对某一活动主题提供大量SKU样本的问题。
下面结合图2描述对机器学习模型进行训练的过程。
图2示出了对机器学习模型进行训练的流程示意图。如图2所示，本实施例包括步骤S202～步骤S210。
在步骤S202中，利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量。样本集的获得通过简单的sql脚本和网站爬虫技术就完成，该步骤的具体实现过程可以参照步骤S102。
在步骤S204中，计算各个样本分量关于样本主题词的相对长度。该步骤的具体实现过程可以参照步骤S104。
可选的，本实施例还可以包括步骤S205。在步骤S205中，从各个样本分量中将相对长度小于第一阈值的样本分量删除，该步骤的具体实现过程可以参照步骤S105。
在步骤S206中，利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量。该步骤的具体实现过程可以参照步骤S106。
在步骤S208中，标注各个样本分量关于样本主题词的相似度。
标注相似度时，将样本分量的检索结果标为第一集合A，将样本主题词的检索结果标为第二集合B。然后求对于集合A、B的Jaccard指数：
J(A,B)＝|A∩B|/|A∪B|
即将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。例如，A＝{a，b，c}，B＝{c，d，e，f},J(A,B)＝1/7。
可选的，该实施例还可以包括步骤S209。在步骤S209中，若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
例如，在检索结果中SKU个数过少等情况下，Jaccard指数可能无法准确表征样本分量关于样本主题词的相似度，此时可以依靠评估人员来自业务场景中的经验对Jaccard指数进行修正，避免底层数据不完善甚至异常等问题引发的相似度值与经验常识明显不符的情况。
在步骤S210中，利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对机器学习模型进行训练，使得机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及相对长度，计算得到检索分量关于检索主题词的相似度。
以广义线性回归为例，采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F。
其中，y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1,i表示样本分量的类别分布向量中的第i个元素，f2,i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。最终求得2n+2维权重向量w＝<w0,w1,…,w2n+1>，使得等式右边的预测值与等式左边的标注值y^逼近(均方根误差最小)。
上述实施例实现了对机器学习模型的训练，通过充分利用相关数据，使得预先训练的机器学习模型能够准确计算得到检索分量关于检索主题词的相似度。分词与主题词的相似性越高，利用分词检索到的SKU与活动主题的相关性越高。同时，上述实施例还解决了业务方无法临时提供大量SKU样本数据的难题。
下面结合图3描述本公开一个实施例的检索目标的装置。
图3示出了本公开一个实施例的检索目标的装置的结构示意图。如图3所示，本实施例中的检索目标的装置30包括：
分词模块302，被配置为利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；
相对长度计算模块304，被配置为计算各个检索分量关于检索主题词的相对长度，相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值；
向量生成模块306，被配置为利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比；
相似度确定模块308，被配置为将检索主题词的类别分布向量、各个检索分量的类别分布向量以及相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；
检索结果确定模块310，被配置为将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
在一些实施例中，该装置30还包括检索分量删除模块305，被配置为从各个检索分量中将相对长度小于第一阈值的检索分量删除。
在一些实施例中，该装置30还包括模型训练模块301，被配置为：利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量；计算各个样本分量关于样本主题词的相对长度；利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量；标注各个样本分量关于样本主题词的相似度；利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对机器学习模型进行训练，使得机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及相对长度，计算得到检索分量关于检索主题词的相似度。
在一些实施例中，模型训练模块301被配置为：将样本分量的检索结果标为第一集合，将样本主题词的检索结果标为第二集合；将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。
在一些实施例中，模型训练模块301还被配置为：若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
在一些实施例中，模型训练模块301被配置为：采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F；其中， y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1,i表示样本分量的类别分布向量中的第i个元素，f2,i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。
在一些实施例中，检索结果确定模块310被配置为：将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，相似度大于第二阈值的检索分量的个数为一个或更多个；或者，将检索主题词以及相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
在一些实施例中，各个检索分量为由检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。
图4示出了本公开另一个实施例的检索目标的装置的结构示意图。如图4所示，该实施例的检索目标的装置40包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器410中的指令，执行前述任意一个实施例中的检索目标的方法。其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
检索目标的装置40还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430、440、450以及存储器410和处理器420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一个实施例中的检索目标的方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (18)
1.一种检索目标的方法，包括：
利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；
计算各个检索分量关于检索主题词的相对长度，所述相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值；
利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比；
将检索主题词的类别分布向量、各个检索分量的类别分布向量以及所述相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；
将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
2.如权利要求1所述的方法，其中，所述方法还包括：
从所述各个检索分量中将相对长度小于第一阈值的检索分量删除。
3.如权利要求1所述的方法，其中，所述方法还包括：
利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量；
计算各个样本分量关于样本主题词的相对长度；
利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量；
标注各个样本分量关于样本主题词的相似度；
利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对所述机器学习模型进行训练，使得所述机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及所述相对长度，计算得到检索分量关于检索主题词的相似度。
4.如权利要求3所述的方法，其中，所述标注各个样本分量关于样本主题词的相似度包括：
将样本分量的检索结果标为第一集合，将样本主题词的检索结果标为第二集合；
将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。
5.如权利要求4所述的方法，其中，所述标注各个样本分量关于样本主题词的相似度还包括：
若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
6.如权利要求3所述的方法，其中，所述对所述机器学习模型进行训练包括：
采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F；
其中，y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1，i表示样本分量的类别分布向量中的第i个元素，f2，i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。
7.如权利要求1所述的方法，其中，所述将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果包括：
将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，所述相似度大于第二阈值的检索分量的个数为一个或多个；
或者，
将检索主题词以及相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
8.如权利要求1所述的方法，其中，所述各个检索分量为由所述检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。
9.一种检索目标的装置，包括：
分词模块，被配置为利用检索主题词的分词及分词组合，得到检索主题词的各个检索分量；
相对长度计算模块，被配置为计算各个检索分量关于检索主题词的相对长度，所述相对长度为各个检索分量所包含字数与检索主题词所包含字数的比值；
向量生成模块，被配置为利用检索主题词及各个检索分量在目标群中进行检索，并根据检索主题词及各个检索分量的检索结果生成检索主题词及各个检索分量的类别分布向量，类别分布向量的维度表示目标群包含的总类别数，类别分布向量的各个元素表示检索主题词或检索分量的各类检索结果的占比；
相似度确定模块，被配置为将检索主题词的类别分布向量、各个检索分量的类别分布向量以及所述相对长度输入预先训练的机器学习模型，得到各个检索分量关于检索主题词的相似度；
检索结果确定模块，被配置为将检索主题词以及相似度满足预设条件的检索分量对应的检索结果，作为最终的检索结果。
10.如权利要求9所述的装置，其中，所述装置还包括检索分量删除模块，被配置为从所述各个检索分量中将相对长度小于第一阈值的检索分量删除。
11.如权利要求9所述的装置，其中，所述装置还包括模型训练模块，被配置为：
利用样本主题词的分词及分词组合，得到样本主题词的各个样本分量；
计算各个样本分量关于样本主题词的相对长度；
利用样本主题词及各个样本分量在目标群中进行检索，并根据样本主题词及各个样本分量的检索结果生成样本主题词及各个样本分量的类别分布向量；
标注各个样本分量关于样本主题词的相似度；
利用样本主题词及各个样本分量的类别分布向量、各个样本分量关于样本主题词的相对长度以及相似度，对所述机器学习模型进行训练，使得所述机器学习模型能够根据检索主题词的类别分布向量、检索分量的类别分布向量以及所述相对长度，计算得到检索分量关于检索主题词的相似度。
12.如权利要求11所述的装置，其中，所述模型训练模块被配置为：
将样本分量的检索结果标为第一集合，将样本主题词的检索结果标为第二集合；
将第一集合与第二集合的交集中所包含检索结果的数量，与第一集合与第二集合的并集中所包含检索结果的数量作比，得到样本分量关于样本主题词的相似度。
13.如权利要求12所述的装置，其中，所述模型训练模块还被配置为：
若样本分量关于样本主题词的相似度不在预设区间内，则将评估人员输入的相似性取值作为该样本分量关于样本主题词的相似度。
14.如权利要求11所述的装置，其中，所述模型训练模块被配置为：
采用如下方法训练广义线性回归模型：y^＝1/1+e-W*F；
其中，y^表示样本分量关于样本主题词的相似度，n表示目标群包含的总类别数，i表示类别序号，w1～w2n+1表示加权系数，f1，i表示样本分量的类别分布向量中的第i个元素，f2，i表示样本主题词的类别分布向量中的第i个元素，f表示样本分量关于样本主题词的相对长度。
15.如权利要求9所述的装置，其中，所述检索结果确定模块被配置为：
将检索主题词以及相似度大于第二阈值的检索分量对应的检索结果，确定为最终的检索结果，所述相似度大于第二阈值的检索分量的个数为一个或多个；
或者，
将检索主题词以及相似度排名前M位的检索分量对应的检索结果，确定为最终的检索结果，M为正整数。
16.如权利要求9所述的装置，其中，所述各个检索分量为由所述检索主题词的分词或分词组合构成的该检索主题词的前缀或后缀。
17.一种检索目标的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至8中任一项所述的检索目标的方法。
18.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至8中任一项所述的检索目标的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810863272.2A CN110852094B (zh) | 2018-08-01 | 2018-08-01 | 检索目标的方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810863272.2A CN110852094B (zh) | 2018-08-01 | 2018-08-01 | 检索目标的方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852094A CN110852094A (zh) | 2020-02-28 |
| CN110852094B true CN110852094B (zh) | 2023-11-03 |
Family
ID=69594972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810863272.2A Active CN110852094B (zh) | 2018-08-01 | 2018-08-01 | 检索目标的方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852094B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460104B (zh) * | 2020-04-01 | 2023-09-22 | 神思电子技术股份有限公司 | 行业自适应的智能搜索方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1432943A (zh) * | 2002-01-17 | 2003-07-30 | 北京标杆网络技术有限公司 | 标杆智能搜索引擎系统 |
| CN102831246A (zh) * | 2012-09-17 | 2012-12-19 | 中央民族大学 | 藏文网页分类方法和装置 |
| CN103353899A (zh) * | 2013-07-25 | 2013-10-16 | 刘莎 | 一种综合信息精准搜索方法 |
| CN103425635A (zh) * | 2012-05-15 | 2013-12-04 | 北京百度网讯科技有限公司 | 一种答案推荐方法和装置 |
| CN104503988A (zh) * | 2014-12-03 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 搜索方法及装置 |
| CN105653546A (zh) * | 2014-11-11 | 2016-06-08 | 北大方正集团有限公司 | 一种目标主题的检索方法和系统 |
| CN107122399A (zh) * | 2017-03-16 | 2017-09-01 | 中国科学院自动化研究所 | 基于公共文化知识图谱平台的综合推荐系统 |
| WO2018014759A1 (zh) * | 2016-07-18 | 2018-01-25 | 阿里巴巴集团控股有限公司 | 一种聚类数据表的展现方法、装置和系统 |
-
2018
- 2018-08-01 CN CN201810863272.2A patent/CN110852094B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1432943A (zh) * | 2002-01-17 | 2003-07-30 | 北京标杆网络技术有限公司 | 标杆智能搜索引擎系统 |
| CN103425635A (zh) * | 2012-05-15 | 2013-12-04 | 北京百度网讯科技有限公司 | 一种答案推荐方法和装置 |
| CN102831246A (zh) * | 2012-09-17 | 2012-12-19 | 中央民族大学 | 藏文网页分类方法和装置 |
| CN103353899A (zh) * | 2013-07-25 | 2013-10-16 | 刘莎 | 一种综合信息精准搜索方法 |
| CN105653546A (zh) * | 2014-11-11 | 2016-06-08 | 北大方正集团有限公司 | 一种目标主题的检索方法和系统 |
| CN104503988A (zh) * | 2014-12-03 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 搜索方法及装置 |
| WO2018014759A1 (zh) * | 2016-07-18 | 2018-01-25 | 阿里巴巴集团控股有限公司 | 一种聚类数据表的展现方法、装置和系统 |
| CN107122399A (zh) * | 2017-03-16 | 2017-09-01 | 中国科学院自动化研究所 | 基于公共文化知识图谱平台的综合推荐系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于主题词匹配频数的搜索引擎结果聚类算法;胡诗未;李晓峰;徐伟;;计算机工程与科学(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852094A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444334B (zh) | 数据处理方法、文本识别方法、装置及计算机设备 | |
| CN109190043B (zh) | 推荐方法及装置，存储介质，电子设备及推荐系统 | |
| KR102122373B1 (ko) | 사용자 포트레이트를 획득하는 방법 및 장치 | |
| CN108287864B (zh) | 一种兴趣群组划分方法、装置、介质及计算设备 | |
| CN109299994B (zh) | 推荐方法、装置、设备及可读存储介质 | |
| CN107357793B (zh) | 信息推荐方法和装置 | |
| CN104636371B (zh) | 信息推荐方法及设备 | |
| US20190318209A1 (en) | Cognitive analysis and classification of apparel images | |
| CN109948121A (zh) | 文章相似度挖掘方法、系统、设备及存储介质 | |
| CN105809473B (zh) | 匹配模型参数的训练方法、服务推荐方法及对应装置 | |
| Kumar et al. | Predicting clicks: CTR estimation of advertisements using logistic regression classifier | |
| CN108038161A (zh) | 基于相册的信息推荐方法、装置及计算设备 | |
| CN110909536A (zh) | 用于自动生成产品的文章的系统和方法 | |
| CN103150667A (zh) | 一种基于本体结构的个性化推荐方法 | |
| CN109410001A (zh) | 一种商品推荐方法、系统、电子设备和存储介质 | |
| CN111914159A (zh) | 一种信息推荐方法及终端 | |
| CN111353838A (zh) | 自动化校验商品类目的方法和装置 | |
| CN112818230A (zh) | 内容推荐方法、装置、电子设备和存储介质 | |
| CN112801425A (zh) | 信息点击率的确定方法、装置、计算机设备和存储介质 | |
| CN110083766B (zh) | 一种基于元路径引导嵌入的查询推荐方法及装置 | |
| CN116823410B (zh) | 数据处理方法、对象处理方法、推荐方法及计算设备 | |
| CN111523315A (zh) | 数据处理方法、文本识别方法、装置及计算机设备 | |
| Sharma et al. | Intelligent data analysis using optimized support vector machine based data mining approach for tourism industry | |
| CN110852094B (zh) | 检索目标的方法、装置及计算机可读存储介质 | |
| US20230351473A1 (en) | Apparatus and method for providing user's interior style analysis model on basis of sns text |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |