CN111475409A - 系统测试方法、装置、电子设备以及存储介质 - Google Patents

系统测试方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN111475409A
CN111475409A CN202010236810.2A CN202010236810A CN111475409A CN 111475409 A CN111475409 A CN 111475409A CN 202010236810 A CN202010236810 A CN 202010236810A CN 111475409 A CN111475409 A CN 111475409A
Authority
CN
China
Prior art keywords
tested
query result
query
query results
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010236810.2A
Other languages
English (en)
Other versions
CN111475409B (zh
Inventor
马工利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202010236810.2A priority Critical patent/CN111475409B/zh
Publication of CN111475409A publication Critical patent/CN111475409A/zh
Application granted granted Critical
Publication of CN111475409B publication Critical patent/CN111475409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开一种系统测试方法、装置、电子设备及存储介质。本方法通过获取待测样本数据；继而将文本语句输入到待测试系统，再获取待测试系统召回的与文本语句对应的查询结果的评价参数；若评价参数满足预设阈值，将查询结果作为目标查询结果；若目标查询结果与参考查询结果匹配，判定待测试系统召回准确。实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。

Description

系统测试方法、装置、电子设备以及存储介质
技术领域
本申请涉及信息处理技术领域，更具体地，涉及一种系统测试方法、装置、电子设备以及存储介质。
背景技术
信息检索系统(Information Retrieval System)是指根据特定的信息需求而建立起来的一种有关信息搜集、加工、存储和检索的程序化系统，例如搜索引擎或问答(Question Answering System，QA System)系统，是根据用户输入的查询语句进行查询并生成查询结果展示给用户的系统。作为一种方式，可以通过测试信息检索系统召回的查询结果的准确性验证信息检索系统的推荐性能，然而，现有的测试查询结果的准确性的方法还有待提升。
发明内容
鉴于上述问题，本申请提出了一种系统测试方法、装置、电子设备以及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种系统测试方法，所述方法包括：获取待测样本数据，所述待测样本数据包括文本语句及与所述文本语句对应的参考查询结果；将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数；若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果；若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
进一步的，所述查询结果的数量为多个，所述获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数之后，所述方法还包括：获取所述多个查询结果的排列顺序；所述将所述查询结果作为目标查询结果，包括：若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果；若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
进一步的，所述若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，包括：若所述参考查询结果的数量为一个，若所述排列顺序最靠前的查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确；若所述参考查询结果的数量为多个，若多个所述查询结果包括多个所述参考查询结果，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
进一步的，所述方法还包括：若所述参考查询结果的数量为多个，若多个所述查询结果中排序在前的查询结果与多个所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
进一步的，所述方法还包括：若所述目标查询结果与所述参考查询结果不匹配，判定所述待测试系统召回不准确；调整所述待测试系统的参数。
进一步的，所述将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数，包括：在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数；所述若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果，包括：若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果；若所述文本语句包括多条文本语句，所述方法还包括：获取多轮测试过程得到的所述判定所述待测试系统召回准确的结果数量；基于所述结果数量获取所述待测试系统的召回准确率。
进一步的，所述获取待测样本数据之前，所述方法还包括：获取待查询结果集；所述获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数，包括：获取所述待测试系统从所述待查询结果集中召回的与所述文本语句对应的查询结果的评价参数。
第二方面，本申请实施例提供了一种系统测试装置，所述装置包括：第一获取模块，用于获取待测样本数据，所述待测样本数据包括文本语句及与所述文本语句对应的参考查询结果；第二获取模块，用于将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数；测试模块，用于若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果；判断模块，用于若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
可选的，本实施例中的查询结果的数量可以为多个。
进一步的，所述装置还可以包括排列顺序获取模块，用于在获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数之后，获取所述多个查询结果的排列顺序。在这种方式下，测试模块具体可以用于，若所述评价参数满足预设阈值，若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果；若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
进一步的，判断模块具体可以用于：若所述参考查询结果的数量为一个，若所述排列顺序最靠前的查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确；若所述参考查询结果的数量为多个，若多个所述查询结果包括多个所述参考查询结果，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
进一步的，判断模块具体还可以用于：若所述参考查询结果的数量为多个，若多个所述查询结果中排序在前的查询结果与多个所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
进一步的，所述装置还可以包括参数调整模块，用于若所述目标查询结果与所述参考查询结果不匹配，判定所述待测试系统召回不准确；调整所述待测试系统的参数。
进一步的，所述第二获取模块具体可以用于：在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数。在这种方式下，测试模块具体可以用于若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果。可选的，若所述文本语句包括多条文本语句，所述装置还可以包括：准确率获取单元，用于获取多轮测试过程得到的所述判定所述待测试系统召回准确的结果数量；基于所述结果数量获取所述待测试系统的召回准确率。
进一步的，所述装置还可以包括参考数据获取模块，用于在获取待测样本数据之前，获取待查询结果集。在这种方式下，第二获取模块具体可以用于获取所述待测试系统从所述待查询结果集中召回的与所述文本语句对应的查询结果的评价参数。
第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面所述的方法。
本申请提供的一种系统测试方法、装置、电子设备及存储介质，涉及信息处理技术领域。本方法通过获取待测样本数据，待测样本数据包括文本语句及与文本语句对应的参考查询结果；继而将文本语句输入到待测试系统，再获取待测试系统召回的与文本语句对应的查询结果的评价参数；若评价参数满足预设阈值，将查询结果作为目标查询结果；若目标查询结果与参考查询结果匹配，判定待测试系统召回准确。从而通过上述方式实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的网络环境的结构示意图。
图2示出了本申请一实施例提出的系统测试方法的方法流程图。
图3示出了本申请实施例中的待测试系统对召回的与文本语句对应的查询结果的评价参数的一示例图。
图4示出了本申请另一实施例提出的系统测试方法的方法流程图。
图5示出了本申请实施例中的待测试系统对召回的与文本语句对应的查询结果的评价参数的另一示例图。
图6示出了本申请又一实施例提出的系统测试方法的方法流程图。
图7示出了本申请实施例中的待测试系统对召回的与文本语句对应的查询结果的评价参数的又一示例图。
图8示出了本申请再一实施例提出的系统测试方法的方法流程图。
图9示出了本申请实施例中的待测试系统对召回的与文本语句对应的查询结果的评价参数的再一示例图。
图10示出了本申请再一实施例提出的系统测试方法的方法流程图。
图11示出了本申请再一实施例提出的系统测试方法的方法流程图。
图12示出了本申请再一实施例提出的系统测试方法的方法流程图。
图13示出了本申请实施例中的获取待测试样本数据的原理示例图。
图14示出了本申请实施例提出的系统测试装置的结构框图。
图15示出了本申请的用于执行根据本申请实施例的系统测试方法的电子设备的结构框图。
图16是本申请实施例的用于保存或者携带实现根据本申请实施例的系统测试方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着网络的迅速发展，网络信息量的急剧增加，人们的生活越来越依赖于信息检索系统(包括各类搜索系统以及推荐系统等)。例如，用户可以使用百度引擎搜索各类信息等。然而，信息是不断更新的，且系统的信息量在不断增多的情况下系统的搜索程序也会更加复杂，使得其搜索的准确性不可避免的存在下降趋势。作为一种方式，可以通过测试信息检索系统召回的查询结果的准确性验证信息检索系统的推荐性能，然而，现有的测试查询结果的准确性的方法还有待提升。因此，发明人提出了本申请中用于改善上述问题的系统测试方法、装置、电子设备以及存储介质。
下面先对本申请实施例提供的系统测试方法以及装置所涉及的网络环境进行介绍。
如图1所示，为本申请实施例提供的网络环境10的结构示意图。用户10可以通过待测试系统12进行信息检索，其中，该待测试系统12可以为各类搜索系统或者是推荐系统等。作为一种方式，待测试系统12可以包括测试装置121，可选的，测试装置121内配置有召回模型算法(具体算法的类型可以不做限定)，用于在用户进行信息检索时，召回与用户的检索需求对应的内容。
下面将结合附图具体描述本申请的各实施例。
请参阅图2，本申请一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S110：获取待测样本数据。
作为一种方式，待测样本数据可以包括文本语句及与文本语句对应的参考查询结果。其中，文本语句可以是问句(包括反问句或者是疑问句等)，可以是感叹句或者是陈述句等，可选的，文本语句的语气类型可以不做限定。参考查询结果可以为与文本语句对应的参考属性。例如，假设文本语句A为“你的宝马贵不贵？”，那么与文本语句A对应的参考查询结果可以为“价格”，可选的，与文本语句对应的参考查询结果的数量可以为一个或者多个，在此不一一例举，且不做限定。
可选的，待测样本数据的内容形式还可以为图片、视频或者动画等，在这种方式下，待测样本数据可以包括图片、视频或者动画，以及与图片、视频或者动画分别对应的参考查询结果。
作为一种方式，可以获取人工标注的样本数据作为待测样本数据。可选的，待测样本数据的内容的所属专业领域以及内容形式可以不做限定。
步骤S120：将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数。
可选的，待测试系统可以为搜索系统(例如，百度搜索引擎、谷歌搜索引擎等)或者推荐系统(例如，内容(包括游戏、购物、影视、旅游等各种内容)推送系统等)。评价参数可以为待测试系统对召回的与文本语句对应的查询结果的评分。作为一种实施方式，本实施例中的待测试系统可以按照该评分对与文本语句对应的查询结果(若有多个)进行排序。
作为一种方式，可以将待测样本数据中的文本语句输入到待测试系统，待测试系统可以召回与文本语句对应的查询结果，并对查询结果进行评分。可选的，可以将该评分作为待测试系统对查询结果的评价参数。
步骤S130：若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果。
可选的，若评价参数满足预设阈值，那么可以将查询结果作为目标查询结果。其中，预设阈值可以根据实际情况进行设定，例如，可以设定为0.8、0.85或0.9等，具体数值可以不做限定。目标查询结果可以理解为待验证的查询结果。
步骤S140：若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
作为一种方式，可以将目标查询结果与参考查询结果进行比对，若目标查询结果与参考查询结果的相似度大于等于指定阈值，那么可以认为目标查询结果与参考查询结果匹配，在该种方式下，可以判定待测试系统召回准确。
下面以图3为例对本实施例进行示例性的说明：
请参阅图3，示出了本实施例中的待测试系统对召回的与文本语句对应的查询结果的评价参数的一示例图。如图3所示，假设文本语句为问句“宝马的售价为多少？”，与文本语句对应的参考查询结果可以为从所有文本语句对应的属性(此处可以为“速度、性价比、价格以及高度”)中确定的查询结果，可选的，本实施例中与文本语句“宝马的售价为多少？”对应的参考查询结果可以为“价格”。在将文本语句“宝马的售价为多少？”输入到待测试系统中后，待测试系统可以从所有文本语句中召回与该文本语句对应的查询结果，如图3所示的“价格、性价比、速度以及高度”为待测试系统召回的与该文本语句对应的查询结果。待测试系统可以对召回的每一查询结果进行评分，其中，评分的机制可以是根据各个查询结果与该文本语句的相关性，或者是根据预先设定的评分机制对召回的各个查询结果进行评分，得到如图3所示的评分结果。
作为一种方式，可以将评分处于指定阈值区间对应的查询结果作为目标查询结果。可选的，指定阈值区间可以根据实际需要进行设定，假设本申请实施例中的指定阈值区间为0.75-1，如图3所示，查询结果“价格”对应的评分为0.9，0.75<0.9<1；查询结果“性价比”对应的评分为0.75，0.75＝0.75<1，那么可以将查询结果“价格”以及“性价比”作为目标查询结果。待测试系统在对召回的各个查询结果进行评分的情况下，可以按照对应的评分对各个查询结果进行排序，如图3所示，各个查询结果为“价格、性价比、速度以及高度”，而查询结果“价格、性价比、速度以及高度”对应的评分分别为0.9、0.75、0.5以及0.1，相应的，查询结果“价格、性价比、速度以及高度”对应的排名分别为“排名1、排名2、排名3以及排名4”。
可选的，文本语句对应的参考查询结果为“价格”，在这种方式下，可以将待测试系统召回的与文本语句对应的查询结果中排序最靠前的查询结果与参考查询结果进行匹配，若匹配成功，可以判定待测试系统召回准确。
由图3可知，多个查询结果中排序最靠前(此时对应的评分亦为最高)的查询结果为“价格”，因而可以判定待测试系统召回准确。通过将待测试系统召回的与文本语句对应的查询结果以及对查询结果的评分，作为单一评价待测试系统召回准确性的评判依据，简化了评判待测试系统召回准确性的流程；且通过较少的参数验证待测试系统的推荐性能的准确性，使得待测试系统更加便于自动化机械管理。
本实施例通过获取待测样本数据，待测样本数据包括文本语句及与文本语句对应的参考查询结果；继而将文本语句输入到待测试系统，再获取待测试系统召回的与文本语句对应的查询结果的评价参数；若评价参数满足预设阈值，将查询结果作为目标查询结果；若目标查询结果与参考查询结果匹配，判定待测试系统召回准确。从而通过上述方式实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
请参阅图4，本申请另一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S210：获取待测样本数据。
步骤S220：将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数。
步骤S230：获取多个所述查询结果的排列顺序。
本实施例中，查询结果的数量可以为一个，也可以为多个。作为一种方式，若查询结果的数量为多个，可以获取多个查询结果的排列顺序。可选的，可以按照待测试系统对多个查询结果的评价参数大小获取多个查询结果的排列顺序。
例如，如图5所示，待测试系统召回的与文本语句“沃尔沃有多高？”对应的查询结果包括“价格、高度、速度以及性价比”，查询结果“价格、高度、速度以及性价比”对应的评分(即评价参数)分别为0.99、0.85、0.2以及0.1。在该种方式下，查询结果“价格、高度、速度以及性价比”的排列顺序可以为“价格>高度>速度>性价比”。
步骤S231：若所述评价参数满足预设阈值，若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果。
如前述实施例所述，评价参数满足预设阈值可以理解为评分(即评价参数)处于指定阈值区间。作为一种方式，若文本语句对应的参考查询结果的数量为一个，可以将评价参数处于指定阈值区间对应的多个查询结果中排列顺序最靠前的查询结果作为目标查询结果。例如，如图5所示，若参考查询结果为一个，可以将查询结果“价格”作为目标查询结果。
步骤S232：若所述评价参数满足预设阈值，若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
作为另一种方式，若参考查询结果的数量为多个，可以将评价参数处于指定阈值区间对应的多个查询结果均作为目标查询结果。例如，如图5所示，若指定阈值区间为0.75-1，那么可以将参考参数处于指定阈值区间0.75-1内对应的查询结果“价格”以及“高度”均作为目标查询结果。
步骤S240：若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
作为一种方式，若目标查询结果与参考查询结果匹配，则可以判定待测试系统召回准确；而若目标查询结果与参考查询结果不匹配，则可以判定待测试系统召回不准确。例如，在一个具体的应用场景中，如图5所示，若与文本语句“沃尔沃有多高？”对应的参考查询结果为“高度”，而满足预设阈值的多个查询结果中排列最靠前的为查询结果“价格”，该查询结果与参考查询结果不匹配，在该种方式下，可以判定待测试系统召回不准确。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确。通过获取召回的与文本语句对应的多个查询结果的排列顺序，将多个查询结果中排列顺序最靠前的查询结果作为目标查询结果，提升了测试结果的准确性与可靠性，同时实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
请参阅图6，本申请又一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S310：获取待测样本数据。
步骤S320：将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数。
步骤S330：获取多个所述查询结果的排列顺序。
步骤S331：若所述评价参数满足预设阈值，若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果。
步骤S332：若所述评价参数满足预设阈值，若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
步骤S341：若所述排列顺序最靠前的查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
作为一种方式，若参考查询结果的数量为一个，若待测试系统召回的与文本语句对应的多个查询结果中，排列顺序最靠前的查询结果与文本语句的参考查询结果匹配，可以判定待测试系统召回准确，否则可以判定待测试系统召回不准确。
例如，在一个具体的应用场景中，如图7所示，假设与文本语句“最高时速为100迈的宝马只要20万是不是超值”对应的参考查询结果的数量为一个，且该参考查询结果为“价格”，而若待测试系统召回的与文本语句对应的查询结果中，评分参数满足预设阈值且排列顺序最靠前的查询结果为“价格”，那么在该种方式下，因查询结果“价格”与参考查询结果“价格”匹配，因此可以判定待测试系统召回准确。可选的，若评分参数满足预设阈值且排列顺序最靠前的查询结果不为“价格”，那么可以判定待测试系统召回不准确。
步骤S342：若多个所述查询结果包括多个所述参考查询结果，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
作为另一种方式，若参考查询结果的数量为多个，若多个查询结果包括多个参考查询结果，那么可以判定待测试系统召回准确，否则可以判定待测试系统召回不准确。通过在多个查询结果包括多个参考查询结果的情况下，判定待测试系统召回准确，增加了判断的准确性与可靠性。
例如，在一个具体的应用场景中，如图7所示，假设与文本语句“最高时速为100迈的宝马只要20万是不是超值”对应的参考查询结果的数量为多个，且该多个参考查询结果为“价格”以及“性价比”，图7中所示的多个查询结果的评分参数均满足预设阈值(即评分参数均大于等于0.75)，多个查询结果包括“价格”、“高度”、“速度”以及“性价比”，查询结果“价格”、“高度”、“速度”以及“性价比”中包括参考查询结果“价格”以及“性价比”，在该种方式下，可以判定待测试系统召回准确。可选的，在该种方式下，若多个查询结果不包括参考查询结果，那么可以判定待测试系统召回不准确。
作为又一种方式，若参考查询结果的数量为多个，若多个查询结果中排序在前的查询结果与多个参考查询结果匹配，可以判定待测试系统召回准确，否则可以判定待测试系统召回不准确。通过在多个查询结果中排序在前的查询结果与多个参考查询结果匹配的情况下，判定待测试系统召回准确，引入了多个查询结果的排列顺序作为判断因子，进一步提升了判断的准确性与可靠性。
例如，在一个具体的应用场景中，如图7所示，假设与文本语句“最高时速为100迈的宝马只要20万是不是超值”，对应的参考查询结果的数量为多个，且该多个参考查询结果为“速度”、“性价比”以及“价格”。图7中所示的多个查询结果的评分参数均满足预设阈值(即评分参数均大于等于0.75)，其排列顺序最靠前的三个查询结果分别为“价格”、“高度”以及“速度”，查询结果“价格”、“高度”以及“速度”与参考查询结果“速度”、“性价比”以及“价格”不同，因此可以判定多个查询结果中排序在前的查询结果与多个参考查询结果不匹配，因而可以判定待测试系统召回不准确。
可选的，若多个参考查询结果为“价格”、“高度”以及“速度”，在该种方式下，因查询结果“价格”、“高度”以及“速度”与参考查询结果“价格”、“高度”以及“速度”相同，可以判定多个查询结果中排序在前的查询结果与多个参考查询结果匹配，因而可以判定待测试系统召回准确。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。通过召回的查询结果对应的评价参数以及排列顺序，灵活的判断待测试系统召回与文本语句对应的查询结果的召回性能的准确性，提升了判断的灵活性。
请参阅图8，本申请再一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S410：获取待测样本数据。
步骤S420：将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数。
步骤S430：判断所述评价参数是否满足预设阈值。
可选的，可以预先设定评价参数的指定阈值区间，本申请实施例中，指定阈值区间的数值可以设定为0.75-1。若查询结果对应的评价参数在指定阈值区间内，则可以判定评价参数满足预设阈值；若查询结果对应的评价参数不在指定阈值区间内，则可以判定评价参数不满足预设阈值。
步骤S441：将所述查询结果作为目标查询结果。
可选的，若查询结果对应的评价参数满足预设阈值，那么可以将查询结果作为目标查询结果。
步骤S442：丢弃所述查询结果。
可选的，若查询结果对应的评价参数不满足预设阈值，那么可以丢弃查询结果。例如，如图9所示，假设文本语句为“售价50万的奔驰你觉得值得买吗？”，与该文本语句对应的查询结果包括“价格”、“性价比”、“速度”以及“高度”，而与查询结果“价格”、“性价比”、“速度”以及“高度”分别对应的评价参数为0.5、0.3、0.2、0.1，这些评价参数均低于预设阈值(即不在预设阈值区间范围(可以是0.75-1)内)，在该种方式下，可以丢弃查询结果，使待测试系统重新召回与文本语句对应的查询结果并对查询结果进行评分。
步骤S450：判断所述目标查询结果与所述参考查询结果是否匹配。
作为一种方式，可以通过将目标查询结果与参考查询结果进行比对的方式，判断目标查询结果与参考查询结果是否匹配，具体是否匹配的情况的论述可以参照前述实施例中的描述，在此不再赘述。
步骤S461：判定所述待测试系统召回准确。
可选的，若目标查询结果与参考查询结果匹配，可以判定待测试系统召回准确。
步骤S462：判定所述待测试系统召回不准确。
可选的，若目标查询结果与参考查询结果不匹配，可以判定待测试系统召回不准确。
步骤S470：调整所述待测试系统的参数。
作为一种方式，若待测试系统召回不准确，可以调整待测试系统的系统参数，以使待测试系统可以召回与文本语句对应的准确的查询结果。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
请参阅图10，本申请再一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S510：获取待测样本数据。
步骤S520：在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数。
可选的，本申请实施例中的待测样本数据可以包括多条文本语句，待测试系统可以召回与每一条文本语句对应的查询结果，不同的文本语句对应的查询结果可以不同，因而可以分为不同轮次测试待测试系统的召回的准确性能。
作为一种方式，可以在当轮测试过程中，将当前文本语句输入到待测试系统，继而获取待测试系统召回的与文本语句对应的当轮查询结果的评价参数。
步骤S530：若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果。
可选的，若得出与文本语句对应的评价参数满足预设阈值，那么可以将查询结果作为当轮测试过程的目标查询结果。
步骤S540：若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。通过分轮次测试待测试系统召回的与文本语句对应的查询结果的准确性，提升了结果数据的可靠性。
请参阅图11，本申请再一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S610：获取待测样本数据。
步骤S620：在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数。
步骤S630：若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果。
步骤S640：若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
步骤S650：获取多轮测试过程得到的所述判定所述待测试系统召回准确的结果数量。
可选的，若文本语句包括多条文本语句，可以获取多轮测试过程得到的判定待测试系统召回准确的结果数量。例如，若待测样本数据包括8条文本语句，可以进行8轮测试过程，若待测试系统对8条文本语句召回的查询结果中，有5条被判定为待测试系统是召回准确的，那么可以得到判定待测试系统召回准确的结果数量为5。
步骤S660：基于所述结果数量获取所述待测试系统的召回准确率。
可选的，若待测样本数据包括4条文本语句，在待测试系统对4条文本语句进行测试的过程中，有一条文本语句的查询结果对应的测试过程判定待测试系统是召回准确的，那么在该种方式下，可以得到召回准确率为1/4＝0.25，可选的，实际实现时文本语句的数量以及召回准确率的数值可以不同，在此不作限定。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
请参阅图12，本申请再一实施例提供了一种系统测试方法，可应用于电子设备，所述方法包括：
步骤S710：获取待查询结果集。
可选的，本实施例可以将所有标注有文本属性的文本语句作为待查询结果集，待查询结果集中的每一文本语句有对应的属性。例如，如图13所示，假设所有文本语句对应的属性为“速度”、“性价比”、“价格”以及“高度”，那么可以将“速度”、“性价比”、“价格”以及“高度”预置到待测试系统中，使得待测试系统在召回与文本语句对应的查询结果时，可以从待查询结果集中查询与文本语句对应的查询结果。
步骤S720：获取待测样本数据。
步骤S730：将所述文本语句输入到待测试系统，获取所述待测试系统从所述待查询结果集中召回的与所述文本语句对应的查询结果的评价参数。
可选的，在本实施中，待测试系统可以从待查询结果集中召回与文本语句对应的查询结果，并对召回的查询结果进行评分，从而得到与文本语句对应的查询结果的评价参数。
步骤S740：若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果。
步骤S750：若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
本实施例实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
请参阅图14，本申请实施例提供了一种系统测试装置800，运行于电子设备，所述装置800包括：
第一获取模块810，用于获取待测样本数据，所述待测样本数据包括文本语句及与所述文本语句对应的参考查询结果。
可选的，进一步的，所述装置还可以包括参考数据获取模块，用于在获取待测样本数据之前，获取待查询结果集。在这种方式下，第二获取模块820具体可以用于获取所述待测试系统从所述待查询结果集中召回的与所述文本语句对应的查询结果的评价参数。
第二获取模块820，用于将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数。
第二获取模块820具体可以用于：在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数。在这种方式下，测试模块830具体可以用于若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果。
可选的，若所述文本语句包括多条文本语句，所述装置还可以包括：准确率获取单元，用于获取多轮测试过程得到的所述判定所述待测试系统召回准确的结果数量；基于所述结果数量获取所述待测试系统的召回准确率。
测试模块830，用于若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果。
可选的，本实施例中的查询结果的数量可以为多个。
可选的，所述装置还可以包括排列顺序获取模块，用于在获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数之后，获取所述多个查询结果的排列顺序。在这种方式下，测试模块830具体可以用于，若所述评价参数满足预设阈值，若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果；若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
判断模块840，用于若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
可选的，判断模块840具体可以用于：若所述参考查询结果的数量为一个，若所述排列顺序最靠前的查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确；若所述参考查询结果的数量为多个，若多个所述查询结果包括多个所述参考查询结果，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
可选的，判断模块840具体还可以用于：若所述参考查询结果的数量为多个，若多个所述查询结果中排序在前的查询结果与多个所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
可选的，所述装置还可以包括参数调整模块，用于若所述目标查询结果与所述参考查询结果不匹配，判定所述待测试系统召回不准确；调整所述待测试系统的参数。
本申请提供的一种系统测试装置，通过获取待测样本数据，待测样本数据包括文本语句及与文本语句对应的参考查询结果；继而将文本语句输入到待测试系统，再获取待测试系统召回的与文本语句对应的查询结果的评价参数；若评价参数满足预设阈值，将查询结果作为目标查询结果；若目标查询结果与参考查询结果匹配，判定待测试系统召回准确。从而通过上述方式实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
下面将结合图15对本申请提供的一种电子设备进行说明。
请参阅图15，基于上述的系统测试方法、装置，本申请实施例还提供的另一种可以执行前述系统测试方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102以及存储器104。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序，存储器104包括前述实施例中所描述的装置800。
其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、视频图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图16，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
本申请提供的一种系统测试方法、装置、电子设备以及存储介质，通过获取待测样本数据，待测样本数据包括文本语句及与文本语句对应的参考查询结果；继而将文本语句输入到待测试系统，再获取待测试系统召回的与文本语句对应的查询结果的评价参数；若评价参数满足预设阈值，将查询结果作为目标查询结果；若目标查询结果与参考查询结果匹配，判定待测试系统召回准确。从而通过上述方式实现了在由待测试系统召回的与文本语句对应的查询结果的评价参数满足预设阈值的情况下，将对应的查询结果作为目标查询结果，以便可以在目标查询结果与参考查询结果匹配的情况下，判定待测试系统召回准确，实现了通过单个指标综合评判待测试系统的推荐性能，简化了待测试系统的调参过程。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种系统测试方法，其特征在于，所述方法包括：
获取待测样本数据，所述待测样本数据包括文本语句及与所述文本语句对应的参考查询结果；
将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数；
若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果；
若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
2.根据权利要求1所述的方法，其特征在于，所述查询结果的数量为多个，所述获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数之后，所述方法还包括：
获取多个所述查询结果的排列顺序；
所述将所述查询结果作为目标查询结果，包括：
若所述参考查询结果的数量为一个，将多个所述查询结果中所述排列顺序最靠前的查询结果作为目标查询结果；
若所述参考查询结果的数量为多个，将多个所述查询结果作为目标查询结果。
3.根据权利要求2所述的方法，其特征在于，所述若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，包括：
若所述参考查询结果的数量为一个，若所述排列顺序最靠前的查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确；
若所述参考查询结果的数量为多个，若多个所述查询结果包括多个所述参考查询结果，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述参考查询结果的数量为多个，若多个所述查询结果中排序在前的查询结果与多个所述参考查询结果匹配，判定所述待测试系统召回准确，否则判定所述待测试系统召回不准确。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述目标查询结果与所述参考查询结果不匹配，判定所述待测试系统召回不准确；
调整所述待测试系统的参数。
6.根据权利要求1所述的方法，其特征在于，所述将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数，包括：
在当轮测试过程中，将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的当轮查询结果的评价参数；
所述若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果，包括：
若所述评价参数满足预设阈值，将所述查询结果作为所述当轮测试过程的目标查询结果；
若所述文本语句包括多条文本语句，所述方法还包括：
获取多轮测试过程得到的所述判定所述待测试系统召回准确的结果数量；
基于所述结果数量获取所述待测试系统的召回准确率。
7.根据权利要求1所述的方法，其特征在于，所述获取待测样本数据之前，所述方法还包括：
获取待查询结果集；
所述获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数，包括：
获取所述待测试系统从所述待查询结果集中召回的与所述文本语句对应的查询结果的评价参数。
8.一种系统测试装置，其特征在于，所述装置包括：
第一获取模块，用于获取待测样本数据，所述待测样本数据包括文本语句及与所述文本语句对应的参考查询结果；
第二获取模块，用于将所述文本语句输入到待测试系统，获取所述待测试系统召回的与所述文本语句对应的查询结果的评价参数；
测试模块，用于若所述评价参数满足预设阈值，将所述查询结果作为目标查询结果；
判断模块，用于若所述目标查询结果与所述参考查询结果匹配，判定所述待测试系统召回准确。
9.一种电子设备，其特征在于，包括存储器；
一个或多个处理器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码由处理器运行时执行权利要求1-7任一所述的方法。
CN202010236810.2A 2020-03-30 2020-03-30 系统测试方法、装置、电子设备以及存储介质 Active CN111475409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010236810.2A CN111475409B (zh) 2020-03-30 2020-03-30 系统测试方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010236810.2A CN111475409B (zh) 2020-03-30 2020-03-30 系统测试方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111475409A true CN111475409A (zh) 2020-07-31
CN111475409B CN111475409B (zh) 2023-06-30

Family

ID=71750318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010236810.2A Active CN111475409B (zh) 2020-03-30 2020-03-30 系统测试方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111475409B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742243A (zh) * 2021-09-17 2021-12-03 京东科技信息技术有限公司 应用评测方法、装置、电子设备和计算机可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232249A1 (en) * 2014-04-07 2016-08-11 Rakuten, Inc. Information processing device, information processing method, program and storage medium
CN108733766A (zh) * 2018-04-17 2018-11-02 腾讯科技（深圳）有限公司 一种数据查询方法、装置和可读介质
US20180373787A1 (en) * 2017-06-21 2018-12-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for recommending text content based on concern, and computer device
CN109726136A (zh) * 2019-01-28 2019-05-07 上海达梦数据库有限公司 数据库的测试方法、装置、设备和存储介质
CN109739768A (zh) * 2018-12-29 2019-05-10 深圳Tcl新技术有限公司 搜索引擎评测方法、装置、设备以及可读存储介质
CN109947924A (zh) * 2019-03-21 2019-06-28 百度在线网络技术（北京）有限公司 对话系统训练数据构建方法、装置、电子设备及存储介质
CN110083688A (zh) * 2019-05-10 2019-08-02 北京百度网讯科技有限公司 搜索结果召回方法、装置、服务器及存储介质
CN110083542A (zh) * 2019-05-06 2019-08-02 百度在线网络技术（北京）有限公司 一种推荐系统中模型测试方法、装置及电子设备
CN110221953A (zh) * 2019-05-20 2019-09-10 平安普惠企业管理有限公司 测试结果分析方法、装置、服务器及存储介质
CN110221974A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 服务平台系统自检方法、装置、计算机设备以及存储介质
CN110442512A (zh) * 2019-07-05 2019-11-12 深圳壹账通智能科技有限公司 多渠道资讯管理系统的可靠性测试方法及相关设备
CN110908888A (zh) * 2018-09-17 2020-03-24 百度在线网络技术（北京）有限公司 服务器测试方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232249A1 (en) * 2014-04-07 2016-08-11 Rakuten, Inc. Information processing device, information processing method, program and storage medium
US20180373787A1 (en) * 2017-06-21 2018-12-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for recommending text content based on concern, and computer device
CN108733766A (zh) * 2018-04-17 2018-11-02 腾讯科技（深圳）有限公司 一种数据查询方法、装置和可读介质
CN110908888A (zh) * 2018-09-17 2020-03-24 百度在线网络技术（北京）有限公司 服务器测试方法及装置
CN109739768A (zh) * 2018-12-29 2019-05-10 深圳Tcl新技术有限公司 搜索引擎评测方法、装置、设备以及可读存储介质
CN109726136A (zh) * 2019-01-28 2019-05-07 上海达梦数据库有限公司 数据库的测试方法、装置、设备和存储介质
CN109947924A (zh) * 2019-03-21 2019-06-28 百度在线网络技术（北京）有限公司 对话系统训练数据构建方法、装置、电子设备及存储介质
CN110083542A (zh) * 2019-05-06 2019-08-02 百度在线网络技术（北京）有限公司 一种推荐系统中模型测试方法、装置及电子设备
CN110083688A (zh) * 2019-05-10 2019-08-02 北京百度网讯科技有限公司 搜索结果召回方法、装置、服务器及存储介质
CN110221953A (zh) * 2019-05-20 2019-09-10 平安普惠企业管理有限公司 测试结果分析方法、装置、服务器及存储介质
CN110221974A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 服务平台系统自检方法、装置、计算机设备以及存储介质
CN110442512A (zh) * 2019-07-05 2019-11-12 深圳壹账通智能科技有限公司 多渠道资讯管理系统的可靠性测试方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742243A (zh) * 2021-09-17 2021-12-03 京东科技信息技术有限公司 应用评测方法、装置、电子设备和计算机可读介质
CN113742243B (zh) * 2021-09-17 2024-03-01 京东科技信息技术有限公司 应用评测方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN111475409B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11455553B2 (en) Quality-based scoring and inhibiting of user-generated content
CN106897428B (zh) 文本分类特征提取方法、文本分类方法及装置
CN107609101B (zh) 智能交互方法、设备及存储介质
CN110083688B (zh) 搜索结果召回方法、装置、服务器及存储介质
US9779356B2 (en) Method of machine learning classes of search queries
CN108491540B (zh) 文本信息推送方法、装置及智能终端
CN110019794B (zh) 文本资源的分类方法、装置、存储介质及电子装置
CN109743589B (zh) 文章生成方法及装置
CN110990533B (zh) 确定查询文本所对应标准文本的方法及装置
CN107832444B (zh) 基于搜索日志的事件发现方法及装置
CN112930669A (zh) 内容推荐方法、装置、移动终端及服务器
CN111382260A (zh) 一种检索文本纠错方法、装置和存储介质
CN111767393A (zh) 一种文本核心内容提取方法及装置
CN111159563A (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN116414968A (zh) 信息搜索方法、装置、设备、介质及产品
CN111475409A (zh) 系统测试方法、装置、电子设备以及存储介质
CN113127720A (zh) 一种热搜词确定方法及装置
CN112507214B (zh) 基于用户名的数据处理方法、装置、设备及介质
CN114339300A (zh) 字幕处理方法、装置、电子设备及计算机可读介质及产品
CN113065025A (zh) 视频查重方法、装置、设备及存储介质
CN111930884A (zh) 一种确定回复语句的方法、设备和人机对话系统
CN111601164A (zh) 一种智能电视新闻推送方法及系统
CN108076105B (zh) 信息推荐方法、应用服务器和应用客户端
CN113779305B (zh) 信息检索方法、装置及电子设备
CN114297341B (zh) 一种舆情热度的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant