CN111324794A - 基于搜索引擎的搜索效果检测方法及装置 - Google Patents

基于搜索引擎的搜索效果检测方法及装置 Download PDF

Info

Publication number
CN111324794A
CN111324794A CN201811528336.XA CN201811528336A CN111324794A CN 111324794 A CN111324794 A CN 111324794A CN 201811528336 A CN201811528336 A CN 201811528336A CN 111324794 A CN111324794 A CN 111324794A
Authority
CN
China
Prior art keywords
search
effect
behavior characteristics
behavior
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811528336.XA
Other languages
English (en)
Inventor
李友科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811528336.XA priority Critical patent/CN111324794A/zh
Publication of CN111324794A publication Critical patent/CN111324794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于搜索引擎的搜索效果检测方法，包括：获取搜索行为特征和搜索效果标注；利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。本发明实施例根据搜索引擎的日志数据获取搜索行为特征以及对搜索行为进行人工标注以获取搜索效果标注，并结合人工智能算法实现人工智能评价搜索效果，减少人工标注投入，提前发现问题以改进搜索引擎从而减少用户投诉和反馈，改善用户体验以及提高电商平台的成交金额。

Description

基于搜索引擎的搜索效果检测方法及装置
技术领域
本发明属于计算机技术技术领域，更具体地，涉及一种基于搜索引擎的搜索效果检测方法及装置。
背景技术
为了优化搜索引擎召回的质量以及提高GMV(Gross Merchandise Volume成交总额)，搜索引擎每周都有新功能或者优化提测需要上线。同时，搜索引擎每天都有大量的商品上下架和状态变更，同时用户的点击商品、浏览商品详情页和购买等行为时刻都在大量发生，这些都会时刻影响搜索结果。
电商平台系统中的搜索引擎主要面向对象是商品，其目的是让用户更快的找到满意的商品，卖家有机会曝光自己的商品，而电商平台也可以借助它来维护良好的平台生态。因此，搜索引擎的搜索效果不仅要考虑买家，信息消费方的结果相关性、多样性、个性化等；还得考虑卖家，信息提供方商品曝光率；并且还需要兼顾平台的生态，减少作弊商品的曝光率，提高热销或者参与平台活动商品的曝光率。
目前，搜索效果检测方法主要如下：
1、人工评价和标注，即产品经理和研发对新的搜索算法效果进行人工评价以及专职的数据标注员对线上运行的搜索效果进行评价和标注。然而，人工评价质量与人的经验、工作量有关，且带有主观判断，导致人工评价和标注质量不可控；人工评价的覆盖率和人力成本很难平衡，覆盖率越高，人力成本也越高；人工评价的效率不能满足搜索算法敏捷开发的需要。
2、收集投诉和反馈，即建立有效的沟通渠道，收集用户(买家)、卖家和平台的反馈与投诉，也是一种检测电商搜索效果的后置方法。然而该方法周期长，不能及时发现问题；效果问题已经影响到了用户，可能已经造成难以弥补的经济损失；只能发现部分问题，如果没有反馈，就无法发现。
3、规则匹配，即开发测试代码，制定过滤规则，当满足某些特定规则，程序判定搜索效果好或者坏。由于搜索行为和商品差别很大，该方法存在很大的局限性，误判率高、规则不能及时更新。
然而，上述的搜索效果检测方法存在质量不可控、效率低、成本高、不及时等问题。
发明内容
有鉴于此，本发明实施例提供基于搜索引擎的搜索效果检测方法和装置，利用搜索行为特征和搜索效果标注，结合人工智能算法，完成搜索引擎的搜索效果检测。
根据本发明实施例的第一方面，提供一种基于搜索引擎的搜索效果检测方法，包括：
获取搜索行为特征和搜索效果标注；
利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
优选地，获取搜索行为特征和搜索效果标注包括：
获取用户访问搜索引擎的日志数据；
根据所述日志数据获取搜索行为特征；
根据所述搜索行为特征对搜索行为进行人工批注以获取搜索效果标注。
优选地，所述搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征中的至少一个。
优选地，所述搜索行为特征包括品牌集中度、价格集中度、销量集中度、相关度、个性化中的至少一个。
优选地，所述搜索效果检测方法还包括：
根据结构化类别对搜索行为按层次分类；
根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。
优选地，所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。
优选地，所述搜索效果检测方法还包括：
当所述搜索引擎的效果检测结果小于预设阈值时，发出报警信号。
优选地，所述人工智能算法为神经网络、深层神经网络、决策树、支持向量机、随机森林、逻辑回归中的任意一种。
优选地，利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果包括：
将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据；
根据训练数据建立检测模型；
根据验证数据验证检测模型；
根据测试数据测试检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
优选地，所述搜索效果检测方法还包括：
根据搜索引擎的效果检测结果对所述检测模型进行优化。
优选地，所述搜索行为特征为数字型。
根据本发明实施例的第二方面，提供一种基于搜索引擎的搜索效果检测装置，包括：
数据获取模块，用于获取搜索行为特征和搜索效果标注；
人工智能模块，用于利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果；
报警模块，用于搜索引擎的搜索效果发出报警信号。
优选地，所述数据获取模块包括：
日志获取单元，用于获取用户访问搜索引擎的日志数据；
搜索行为特征单元，用于根据所述日志数据获取搜索行为特征；
效果标注单元，用于根据所述搜索行为特征对搜索行为进行人工批注以获取搜索效果标注。
优选地，所述搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征中的至少一个。
优选地，所述搜索行为特征包括品牌集中度、价格集中度、销量集中度、相关度、个性化中的至少一个。
优选地，所述搜索效果检测装置还包括：
结构化模块，用于根据结构化类别对搜索行为按层次分类；
搜索行为特征模块，用于根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。
优选地，所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。
优选地，所述人工智能模块包括：
数据划分单元，用于将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据；
模型建立单元，用于根据训练数据建立检测模型；
模型验证单元，用于根据验证数据验证所述检测模型；
模型测试单元，用于根据测试数据测试所述检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
根据本发明实施例的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述所述的搜索效果检测方法。
根据本发明实施例的第四方面，提供一种搜索效果检测装置，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现上述所述的搜索效果检测方法。
本发明的实施例具有以下优点或有益效果：根据搜索引擎的日志数据获取搜索行为特征以及对搜索行为进行人工标注以获取搜索效果标注，并结合人工智能算法实现人工智能评价搜索效果，减少人工标注投入，提前发现问题以改进搜索引擎从而减少用户投诉和反馈，改善用户体验以及提高电商平台的成交金额。
本发明的优选实施例具有以下优点或有益效果：对搜索行为进行结构化分类，可以获取不同结构类别的搜索行为特征，更能有效地智能评价搜索效果。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1是根据本发明的一个实施例的搜索效果检测方法的流程图；
图2是根据本发明的一个实施例的搜索效果检测方法的流程图；
图3示出了本发明的一个实施例的搜索效果检测方法的流程图；
图4是根据本发明的一个实施例的搜索效果检测装置的结构示意图；
图5是根据本发明的一个实施例的搜索效果检测装置的结构示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
图1是根据本发明第一实施例的搜索效果检测方法的流程图，具体包括以下步骤。
在步骤S02中，获取搜索行为特征和搜索效果标注。
在本实施例中，搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征。其中，召回商品的单边特征为召回商品的品牌、价格、评论数、库存、销量等。搜索关键词与召回商品的双边特征为搜索关键词与召回商品的相关性。用户与召回商品的双边特征为用户兴趣、品牌爱好、价格偏好、用户近期行为与召回商品的匹配度。
图2示出了图1的实施例的步骤S02的具体流程图，包括以下步骤：
在步骤S021中，获取用户访问搜索引擎的日志数据。
在步骤S022中，根据所述日志数据获取搜索行为特征。
在步骤S023中，根据所述日志数据以及效果参数对搜索行为进行人工批注以获取搜索效果标注。
具体地，在搜索引擎中获取用户访问搜索引擎的日志数据，回放日志数据的统一资源定位符(Uniform Resource Locator，URL)来获取搜索行为特征，该特征参数一般是数字型的，可以直接用于机器学习的特征。同时，根据搜索行为特征对搜索行为的搜索效果进行人工标注。该搜索行为特征具体包括品牌集中度、价格集中度、销量集中度、相关度、个性化效果。该搜索行为特征主要针对于坏的搜索效果，比如召回商品的品牌集中高、价格集中高、低价商品集中、小品牌商品集中、低销量商品、相关性低、个性化效果差等。搜索行为特征和搜索效果标注作为机器学习的输入。
在步骤S04中，利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
图3示出了图1的实施例的步骤S04的具体流程图，包括以下步骤：
在步骤S041中，将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据。
在步骤S042中，根据训练数据建立检测模型。
在步骤S043中，根据验证数据验证检测模型。
在步骤S044中，根据测试数据测试检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
具体地，将搜索行为特征和搜索效果标注按4:3:3分为训练数据、验证数据以及测试数据，但并不局限于此。基于例如神经网络、深层神经网络、决策树、支持向量机(SupportVector Machine，SVM)、随机森林、逻辑回归等其中之一的人工智能算法，对训练数据进行有监督的拟合训练和机器学习，最终获得检测模型。在新搜索算法上线前，需要测试新搜索算法的搜索效果；即使没有新搜索算法上线，线上搜索服务每天都会更新商品索引、反馈分、基础数据等，需要一直测试搜索效果，确保搜索效果不会变差。使用特定的搜索行为的URL集合访问在线搜索服务，获取搜索行为特征，一般会覆盖所有头部搜索流量，一部分中部流量，少部分尾部流量。将这些特征参数作为检测模型的输入，通过检测模型预测出搜索算法的效果。
在一个优选地实施例中，所述步骤S04还包括以下步骤。
在步骤S045中，根据搜索引擎的效果检测结果对所述检测模型进行优化。
具体地，搜索引擎的效果检测结果中会出现一些比较差的搜索行为，比如：张三搜索“足球鞋”，召回商品只属于一个品牌的，评价该搜索效果不好，召回商品的品牌集中；又比如，很多用户搜索“足球鞋”，召回的都是低价商品，可以评价关键字是“足球鞋”搜索召回的商品平均价格偏低。对检测模型得到的效果检测结果进行二次评价，并反馈到检测模型训练中，持续优化检测模型。
在一个优选地实施例中，所述搜索效果检测方法还包括以下步骤。
在步骤S01中，根据结构化类别对搜索行为按层次分类。
在步骤S03中，根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。
在本实施例中，所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。搜索行为从低到高分为6层次：单次搜索行为本身；按搜索关键词分类，与搜索行为是1对n的关系；按搜索关键词所属的高相关商品类目分类，与搜索关键词是1对n的关系，共有一、二、三级商品类目；另外有按搜索行为召回商品所属的事业部分类。例如：张三、李四和王五都搜索“足球鞋”，它们属于搜索行为本身，可以分别获取这三次搜索行为的特征，并分别评价三次搜索效果。三次搜索的关键词都是“足球鞋”，可以把张三、李四和王五搜索行为的特征汇总为搜索“足球鞋”这个关键词的特征，并评价该关键词搜索的效果。除了“足球鞋”，还有“篮球鞋”、“网球鞋”等搜索关键词，这些关键词搜索的商品都属于商品三级类目“球鞋”，把这些搜索关键词的特征汇总成“球鞋”三级类目下的特征，并可以评价搜索“球鞋”三级类目的效果。商品三级分类“球鞋”属于二级类目“运动鞋”，而二级类目“运动鞋”属于一级类目“男鞋”，同上，可以定义一、二级类目下搜索行为的特征和搜索效果。而“男鞋”这个一级商品类目，属于“时尚”事业部管理，只要收集“时尚”事业部管理的所有一级商品类目的搜索，也可以定义该事业部相关的搜索行为的特征和效果。
在一个优选地实施例中，所述搜索效果检测方法还包括以下步骤。
在步骤S05中，当所述搜索引擎的效果检测结果小于预设阈值时，发出报警信号。
本发明实施例，根据搜索引擎的日志数据获取搜索行为特征以及对搜索行为进行人工标注以获取搜索效果标注，并结合人工智能算法实现人工智能评价搜索效果，减少人工标注投入，提前发现问题以改进搜索引擎从而减少用户投诉和反馈。
图4是根据本发明的一个实施例的搜索效果检测装置的结构示意图。如图4所示，所述搜索效果检测装置包括数据获取模块10和人工智能模块20。
其中，数据获取模块10用于获取搜索行为特征和搜索效果标注。
在本实施例中，搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征。其中，召回商品的单边特征为召回商品的品牌、价格、评论数、库存、销量等。搜索关键词与召回商品的双边特征为搜索关键词与召回商品的相关性。用户与召回商品的双边特征为用户兴趣、品牌爱好、价格偏好、用户近期行为与召回商品的匹配度。
在本实施例中，所述数据获取模块10包括日志获取单元11、搜索行为特征单元12和效果标注单元13。日志获取单元11用于获取用户访问搜索引擎的日志数据；搜索行为特征单元12用于根据所述日志数据获取搜索行为特征；效果标注单元13用于根据所述日志数据以及效果参数对搜索行为进行人工批注以获取搜索效果标注。所述效果参数包括品牌集中度、价格集中度、销量集中度、相关度、个性化效果。
人工智能模块20用于利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
在本实施例中，所述人工智能模块20包括数据划分单元21、模型建立单元22、模型测试单元23和模型测试单元24。其中，数据划分单元21用于将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据；模型建立单元22用于根据训练数据建立检测模型；模型验证单元23用于根据验证数据验证所述检测模型；模型测试单元24用于根据测试数据测试所述检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
报警模块30用于搜索引擎的搜索效果发出报警信号。
在一个优选地实施例中，所述搜索效果检测装置还包括结构化模块40和搜索行为特征模块50。其中，结构化模块40用于根据结构化类别对搜索行为按层次分类。所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。搜索行为特征模块50用于根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。可以对不同结构化类别的搜索行为进行效果标注，以得到不同结构化类别的搜索效果标注，将其作为机器学习的输入，使得检测模型还可以智能评价对不同结构化类别的搜索效果。
图5是根据本发明实施例的搜索效果检测装置的结构图。图5示出的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围构成任何限制。
参考图5，该搜索效果检测装置包括通过总线连接的处理器501、存储器502和输入输出设备503。存储器502包括只读存储器(ROM)和随机访问存储器(RAM)，存储器502内存储有执行系统功能所需的各种计算机指令和数据，处理器501从存储器502中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。存储器502还存储有以下的计算机指令以完成本发明实施例的搜索效果检测方法规定的操作：获取搜索行为特征和搜索效果标注；利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
相应地，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述搜索效果检测方法所规定的操作。
附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。
根据本发明的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种基于搜索引擎的搜索效果检测方法，其特征在于，包括：
获取搜索行为特征和搜索效果标注；
利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
2.根据权利要求1所述的搜索效果检测方法，其特征在于，获取搜索行为特征和搜索效果标注包括：
获取用户访问搜索引擎的日志数据；
根据所述日志数据获取搜索行为特征；
根据所述搜索行为特征对搜索行为进行人工批注以获取搜索效果标注。
3.根据权利要求1或2所述的搜索效果检测方法，其特征在于，所述搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征中的至少一个。
4.根据权利要求2所述的搜索效果检测方法，其特征在于，所述搜索行为特征包括品牌集中度、价格集中度、销量集中度、相关度、个性化中的至少一个。
5.根据权利要求1所述的搜索效果检测方法，其特征在于，还包括：
根据结构化类别对搜索行为按层次分类；
根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。
6.根据权利要求5所述的搜索效果检测方法，其特征在于，所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。
7.根据权利要求1所述的搜索效果检测方法，其特征在于，还包括：
当所述搜索引擎的效果检测结果小于预设阈值时，发出报警信号。
8.根据权利要求1所述的搜索效果检测方法，其特征在于，所述人工智能算法为神经网络、深层神经网络、决策树、支持向量机、随机森林、逻辑回归中的任意一种。
9.根据权利要求1所述的搜索效果检测方法，其特征在于，利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果包括：
将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据；
根据训练数据建立检测模型；
根据验证数据验证检测模型；
根据测试数据测试检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
10.根据权利要求9所述的搜索效果检测方法，其特征在于，还包括：
根据搜索引擎的效果检测结果对所述检测模型进行优化。
11.根据权利要求1所述的检测方法，其特征在于，所述搜索行为特征为数字型。
12.一种基于搜索引擎的搜索效果检测装置，包括：
数据获取模块，用于获取搜索行为特征和搜索效果标注；
人工智能模块，用于利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果；
报警模块，用于搜索引擎的搜索效果发出报警信号。
13.根据权利要求11所述的搜索效果检测装置，其特征在于，所述数据获取模块包括：
日志获取单元，用于获取用户访问搜索引擎的日志数据；
搜索行为特征单元，用于根据所述日志数据获取搜索行为特征；
效果标注单元，用于根据所述搜索行为特征对搜索行为进行人工批注以获取搜索效果标注。
14.根据权利要求13所述的搜索效果检测装置，其特征在于，所述搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征中的至少一个。
15.根据权利要求13所述的搜索效果检测装置，其特征在于，所述搜索行为特征包括品牌集中度、价格集中度、销量集中度、相关度、个性化中的至少一个。
16.根据权利要求12所述的搜索效果检测装置，其特征在于，还包括：
结构化模块，用于根据结构化类别对搜索行为按层次分类；
搜索行为特征模块，用于根据分类后的搜索行为以及搜索行为特征获取不同结构化类别的搜索行为特征。
17.根据权利要求16述的搜索效果检测装置，其特征在于，所述结构化类别包括搜索行为本身、搜索关键词、三级商品类目、二级商品类目、一级商品类目、事业部中的至少一个。
18.根据权利要求12所述的搜索效果检测装置，其特征在于，所述人工智能模块包括：
数据划分单元，用于将搜索行为特征和搜索效果标注分为训练数据、验证数据以及测试数据；
模型建立单元，用于根据训练数据建立检测模型；
模型验证单元，用于根据验证数据验证所述检测模型；
模型测试单元，用于根据测试数据测试所述检测模型，以根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如权利要求1至11任一项所述的搜索效果检测方法。
20.一种搜索效果检测装置，其特征在于，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1-11中任一项所述的搜索效果检测方法。
CN201811528336.XA 2018-12-13 2018-12-13 基于搜索引擎的搜索效果检测方法及装置 Pending CN111324794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811528336.XA CN111324794A (zh) 2018-12-13 2018-12-13 基于搜索引擎的搜索效果检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811528336.XA CN111324794A (zh) 2018-12-13 2018-12-13 基于搜索引擎的搜索效果检测方法及装置

Publications (1)

Publication Number Publication Date
CN111324794A true CN111324794A (zh) 2020-06-23

Family

ID=71166714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811528336.XA Pending CN111324794A (zh) 2018-12-13 2018-12-13 基于搜索引擎的搜索效果检测方法及装置

Country Status (1)

Country Link
CN (1) CN111324794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686717A (zh) * 2021-03-11 2021-04-20 腾讯科技（深圳）有限公司 一种广告召回的数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963816A (zh) * 2006-12-01 2007-05-16 清华大学 一种搜索引擎性能评价的自动化处理方法
US20120143790A1 (en) * 2010-12-01 2012-06-07 Microsoft Corporation Relevance of search results determined from user clicks and post-click user behavior obtained from click logs
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
CN103020289A (zh) * 2012-12-25 2013-04-03 浙江鸿程计算机系统有限公司 一种基于日志挖掘的搜索引擎用户个性化需求提供方法
CN106777248A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 一种搜索引擎测试评价方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963816A (zh) * 2006-12-01 2007-05-16 清华大学 一种搜索引擎性能评价的自动化处理方法
US20120143790A1 (en) * 2010-12-01 2012-06-07 Microsoft Corporation Relevance of search results determined from user clicks and post-click user behavior obtained from click logs
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
CN103020289A (zh) * 2012-12-25 2013-04-03 浙江鸿程计算机系统有限公司 一种基于日志挖掘的搜索引擎用户个性化需求提供方法
CN106777248A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 一种搜索引擎测试评价方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686717A (zh) * 2021-03-11 2021-04-20 腾讯科技（深圳）有限公司 一种广告召回的数据处理方法及系统
CN112686717B (zh) * 2021-03-11 2021-07-02 腾讯科技（深圳）有限公司 一种广告召回的数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN108320171B (zh) 热销商品预测方法、系统及装置
JP6152173B2 (ja) 商品検索結果の順位付け
US11507989B2 (en) Multi-label product categorization
US8832091B1 (en) Graph-based semantic analysis of items
CN110428298A (zh) 一种店铺推荐方法、装置及设备
CN111666275B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN109636430A (zh) 对象识别方法及其系统
US20190266619A1 (en) Behavior pattern search system and behavior pattern search method
US11257019B2 (en) Method and system for search provider selection based on performance scores with respect to each search query
US12086820B2 (en) Technology opportunity mapping
US10721266B1 (en) Automated security incident remediation recommender
US20190080352A1 (en) Segment Extension Based on Lookalike Selection
CN107153656A (zh) 一种信息搜索方法和装置
US20240062267A1 (en) Systems and methods for determining price bands and user price affinity predictions using machine learning architectures and techniques
US8738459B2 (en) Product recommendation
CN111861679A (zh) 一种基于人工智能的商品推荐方法
CN111523315A (zh) 数据处理方法、文本识别方法、装置及计算机设备
CN113052635A (zh) 人口属性标签预测方法、系统、计算机设备和存储介质
CN111324794A (zh) 基于搜索引擎的搜索效果检测方法及装置
Lo et al. An emperical study on application of big data analytics to automate service desk business process
CN112749325A (zh) 搜索排序模型的训练方法、装置、电子设备及计算机介质
CN110490682A (zh) 分析商品属性的方法和装置
CN113159877B (zh) 数据处理方法、装置、系统、计算机可读存储介质
CN112148964B (zh) 信息处理、推荐方法、系统及设备
CN114004629A (zh) 数据分析的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination