CN115081661A - 一种数据测试方法和相关装置 - Google Patents

一种数据测试方法和相关装置 Download PDF

Info

Publication number
CN115081661A
CN115081661A CN202110259774.6A CN202110259774A CN115081661A CN 115081661 A CN115081661 A CN 115081661A CN 202110259774 A CN202110259774 A CN 202110259774A CN 115081661 A CN115081661 A CN 115081661A
Authority
CN
China
Prior art keywords
historical
indexes
comprehensive index
period
comprehensive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110259774.6A
Other languages
English (en)
Inventor
顾雪妍
马浩峰
尹鹏达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110259774.6A priority Critical patent/CN115081661A/zh
Publication of CN115081661A publication Critical patent/CN115081661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种数据测试方法和相关装置，至少涉及人工智能中的机器学习，通过包括多个指标的随机对照实验进行数据测试。根据前期的多个指标值和后期的综合指标值构建表征前期的多个指标与表征后期的一个综合指标之间的映射关系，通过一个综合指标体现多个指标的综合影响，不仅避免出现由于多个指标中既存在显著提升又存在显著下降导致的无法评价不同策略的情况，还可以体现目标策略作用于目标业务的后期影响，便于决定目标策略是否可以在实际中推广到目标业务中。由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验只能反映目标业务的前期影响的缺点。

Description

一种数据测试方法和相关装置
技术领域
本申请涉及技数据处理技术领域，特别是涉及一种数据测试方法和相关装置。
背景技术
随机对照实验又称AB实验，指通过随机抽样方式，对AB实验使用不同的策略，通过比较产品特性、运营策略等，从而确定哪种策略更好的在线实验方法。具体步骤分为实验假设、实验设计、实验分析、实验决策。
其中，实验假设是通过数据分析对产品特性、基础功能、运营策略等方面产生数据洞察，形成因果假设。实验设计是确定衡量实验的指标，随机抽样选择实验样本，根据单一变量原则将实验样本分为实验组和对照组，实验组指被施予新的产品特性的用户群，对照组指维持产品原样的用户群。实验分析是实验上线后，经过一定实验周期，分别查看对照组和实验组对应的衡量指标，通过指标变化趋势确定实验效果。实验决策是针对于使用过策略的实验经过分析后被认为对产品指标有显著提升，则将策略作用到产品所有用户。
对于具体业务而言，在实验设计时会采用多个指标以便于更好的进行实验决策，但是在实验分析时经常出现多个指标中既存在显著提升又存在显著下降的情况，说明对应的策略对目标业务既有正面的影响，又有负面的影响，导致在实验决策时难以决定是否将对应的策略使用在业务中。
发明内容
为了解决上述技术问题，本申请提供了一种数据测试方法和相关装置，用于解决在实验决策时难以决定是否将对应的策略使用在业务中的问题。
本申请实施例公开了如下技术方案：
一方面，本申请提供一种数据测试方法，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，包括：
获取所述目标业务的历史活跃数据；
根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
根据所述映射关系测试所述目标策略。
另一方面，本申请提供一种数据测试装置，其特征在于，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，所述装置包括：获取单元、确定单元、构建单元和测试单元；
所述获取单元，用于获取所述目标业务的历史活跃数据；
所述确定单元，用于根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
所述构建单元，用于根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
所述测试单元，用于根据所述映射关系测试所述目标策略。
另一方面，本申请提供一种计算机设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的方法。
由上述技术方案可以看出，针对于目标业务，为了测试不同策略对于目标业务的影响情况，通过包括多个指标的随机对照实验进行数据测试。根据目标业务的历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，其中第一历史时段的结束时刻早于所述第一历史时刻，根据前期的指标值和后期的综合指标值构建表征前期的多个指标与表征后期的一个综合指标之间的映射关系，通过一个综合指标体现多个指标的综合影响，不仅避免出现由于多个指标中既存在显著提升又存在显著下降导致的无法评价不同策略的情况，而且通过随机对照实验获得的表征前期的多个指标值虽然仅能反应目标策略对于目标业务的短期影响，但是通过映射关系和前期的多个指标值可以获得后期的综合指标值，通过综合指标值可以体现目标策略作用于目标业务的后期影响，从而决定目标策略是否可以在实际中推广到目标业务中。由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验只能反映目标业务的前期影响的缺点，对策略落地、快速迭代具有重要推动作用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据测试方法的应用场景示意图；
图2为本申请实施例提供的一种数据测试方法的流程示意图；
图3为本申请实施例提供的一种数据测试装置的示意图；
图4为本申请实施例提供的服务器的结构示意图；
图5为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
针对于具体业务而言，当通过随机对照实验决定一种策略是否可以在实际中推广到目标业务中，往往会设置多个指标，以便对策略对业务的影响进行全面分析。下面以视频业务为例，将一种策略作用于视频业务，通过随机对照实验获得的实验结果如表1所示。
表1推荐策略的实验结果
Figure BDA0002969468390000041
由表1可知，对于视频业务是否使用推荐策略A，使用了4个指标，其中，日均点赞率呈现显著上升，但日均评论率、每日人均浏览条数和每日人均停留时长呈现显著下降，即多个指标中既存在显著提升又存在显著下降的情况。在进行实验决策时，相关技术中会基于历史经验选择1-2个较为重要的指标，例如在上述例子中采用每日人均停留时长指标进行决策，不仅失去了通过多个指标综合评价策略的意义，还受人为影响因素较大，缺乏科学依据。此外，通过随机对照实验仅能看到推荐策略A对于视频业务的前期影响，无法知晓推荐策略A对于视频业务的后期影响，即无法保证推荐策略A是否适用于视频业务。
基于此，本申请实施例提供一种数据测试方法和相关装置，用于解决上述问题。
本申请实施例提供的数据测试方法是基于人工智能实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，主要涉及的人工智能技术包括上述机器学习/深度学习等方向。
本申请提供的数据测试方法可以应用于具有数据处理能力的数据测试设备，如终端设备、服务器。其中，终端设备具体可以为智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、智能手表等，但并不局限于此等；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
该数据测试设备可以具备机器学习能力。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络等技术。
在本申请实施例提供的数据测试方法中，采用的人工智能模型主要涉及对机器学习的应用，通过机器学习方法等确定映射关系以及根据映射关系测试目标策略等。
为了便于理解本申请的技术方案，下面结合实际应用场景，对本申请实施例提供的数据测试方法进行介绍。
参见图1，图1为本申请实施例提供的一种数据测试方法的应用场景示意图。在图1所示的应用场景中，目标业务为前述的视频业务，视频业务所需的4个指标为日均点赞率、日均评论率、每日人均浏览条数、每日人均停留时长，目标策略为前述的推荐策略A，前述数据测试设备为服务器100，用于在确定多个指标与综合指标的映射关系后，测试推荐策略A对视频业务的影响。
服务器100获取目标业务的历史活跃数据，通过历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值。其中，第一历史时段的结束时刻早于第一历史时刻，故第一历史时段的多个指标值对应于目标业务的前期数据，第一历史时刻的综合指标值对应于目标业务的后期数据。
例如，在图1所示的场景中，历史活跃数据为1月1日-1月30日期间用户使用承载视频业务的应用所产生的数据，第一历史时段的指标值可以包括1月1日-1月5日对应的日均点赞率、日均评论率、每日人均浏览条数、每日人均停留时长分别对应的数值，第一历史时刻的综合指标值可以为1月30日对应的留存率，即自1月1日始的第30日留存率，用于标识用户粘性在第30日的效果。
其中，留存率是登录用户数与新增用户数的比值，当统计周期为天时，第30日留存率＝(第一天新增的用户中，在往后的第30天还有登录的用户数)/第一天新增用户的总数*100％。
服务器100构建多个表征前期的指标与一个表征后期的综合指标的映射关系，即构建第30日留存率与日均点赞率、日均评论率、每日人均浏览条数、每日人均停留时长之间的映射关系。
本申请实施例不具体限定映射关系，例如，映射关系可以为记录数据的表格，还可以为函数关系，本申请实施例以函数关系为例，参见公式(1)：第30日留存率＝A*日均点赞率+B*日均评论率+C*每日人均浏览条数+D每日人均停留时长+E(1)
其中，A、B、C、D和E均为自然数，A、B、C和D为4个表征前期的指标的系数，E为常数。
由此，通过1个综合指标体现4个指标的综合影响，即通过第30日留存率的变化趋势反应日均点赞率、日均评论率、每日人均浏览条数、每日人均停留时长共同的变化趋势，避免出现前述日均点赞率呈现显著上升，日均评论率、每日人均浏览条数和每日人均停留时长呈现显著下降的情况。
在获得映射关系后，可以通过映射关系获得目标策略应用在目标业务的效果，例如，通过公式(1)和4个指标值可以获得1个综合指标值，通过随机对照实验中对照组和实验组的综合指标值的差异，可以体现目标策略作用于目标业务的后期影响，从而决定目标策略是否可以在实际中推广到目标业务中。例如，视频业务使用推荐策略A之后，第30日留存率明显升高，则推荐策略A对于视频业务的影响较好，可以将推荐策略A推广到视频业务中。
由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验仅能反映目标业务的前期影响的缺点，对策略落地、快速迭代具有重要推动作用。
下面结合附图，以服务器作为数据测试设备，对本申请实施例提供的一种数据测试方法进行介绍。
参见图2，图2为本申请实施例提供的一种数据测试方法的流程示意图。如图2所示，该数据测试方法包括以下步骤：
S201：获取目标业务的历史活跃数据。
为了推动目标业务更好的发展，需要在推动目标业务的过程中使用相关策略，使用哪一种策略可以获得更好的效果成为了亟待解决的问题。相关技术中通过随机对照实验可以测试目标策略作用于目标业务的效果，从而根据不同的效果从多个不同的策略中决定哪一种策略是否可以在实际中推广到目标业务中，以便使得目标业务更好的发展。
为了更全面的分析策略对于目标业务的影响，往往会设置多个指标，多个指标可以根据不同业务的需要进行设置，本申请对此不做具体限定。例如，在将国外用户习惯的“全部结账”购物车改成中国用户更习惯的“部分结账”购物车，是否会提升下单转化率的场景中，多个指标可以为综合销售额、复购率、下单频次、结账转化率、退货率等，综合指标值可以为下单转化率。
随机对照实验包括实验组和对照组，其中，实验组指被施予新的产品特性的用户群，即在业务中使用了策略的组，对照组指维持产品原样的用户群，与实验组形成对照，从而判断策略对于业务的影响。其中，历史活跃数据来自于对照组，以便构建能够判断目标策略对于目标业务的影响情况。
S202：根据历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值。
根据历史活跃数据可以计算出每一种指标对应的指标值。以日均使用时长为例，日均使用时长为一个用户在一天内使用承载目标业务APP的平均时长。从历史活跃数据中可以获取用户在一天内使用承载目标业务APP的总时长，将总时长除以24小时可以计算出日均使用时长。
其中，第一历史时段的多个指标值对应于多个指标，每一指标均对应指标值。第一历史时刻的综合指标值对应于综合指标，综合指标用于标识用户粘性，对于大多数业务而言，能否留住用户是一个较为重要的衡量因素，通过用户粘性可以体现目标业务的变化趋势。本申请实施例不具体限定综合指标，例如，可以通过第n天留存率作为评价策略对于目标业务的影响。
第一历史时段的结束时刻早于第一历史时刻，例如，第一历史时段可以为1月1日至1月5日，第一历史时刻为1月5日之后的任意一个时刻，如1月30日。
S203：根据第一历史时段的多个指标值和第一历史时刻的综合指标值构建多个指标和综合指标的映射关系。
为了避免出现多个指标中既存在显著提升又存在显著下降导致无法评价策略对于目标业务的影响的情况，可以确定一个能够表征多个指标的综合指标，该综合指标不仅能够通过其变化趋势评价目标策略对于目标业务影响，还能够体现出不同指标在综合指标中的作用，且不会失去通过多个指标综合评价目标策略的意义。
由前述可知，第一历史时段的结束时刻早于第一历史时刻，即通过多个表征前期的指标值和一个表征后期的综合指标值可以构建多个表征前期的指标和一个表征后期的综合指标的映射关系，通过该映射关系不仅可以描述多个指标和综合指标之间的关系，使得通过一个综合指标可以评价目标策略对于目标业务的影响，还可以利用多个表征短期的指标值预测表征长期的指标值，弥补通过随机对照实验仅能观察到策略对于目标业务的前期影响，而无法预测对目标业务的后期影响的缺点。
本申请实施例不具体限定映射关系，例如，映射关系可以为通过大量实验获得的多个指标与综合指标对应关系的先验表格，又或者可以为多个指标与综合指标之间的函数关系等。下面以映射关系为函数关系为例进行说明。
在构建多个指标与综合指标的函数关系时，函数关系中的自变量为指标，多个指标对应多个自变量，综合指标为函数关系中的因变量。
由此构建出的函数关系不仅可以描述综合指标与多个指标之间的关系，还能够通过函数关系表达出每个指标与综合指标之间的关系。例如，当函数关系为综合指标＝0.5*指标1+0.3*指标2+0.2*指标3时，指标1对于目标业务的影响较大，指标2和指标3对于目标业务的影响较小。故即使通过一个综合指标评价目标策略对于目标业务的影响，不仅不会失去通过多个指标综合评价目标策略的意义，还能够在通过综合指标评价目标策略时，可以通过多个指标对于综合指标的贡献以及多个指标对应的含义，有的放矢的调整目标策略，使得目标业务在使用调整后的目标策略能够获得更好的效果。
需要说明的是，在构建映射关系时，使用不同历史时段的多个指标值和不同历史时刻的综合指标值，获得的映射关系均不同，为了减少人为因素的影响，提高函数关系的准确性，可以通过S2031-S2034选取第一历史时段和第一历史时刻。
S2031：根据多个历史时段和多个历史时刻确定多个组合。
每个组合中均包括一个历史时段和一个历史时刻，例如，历史时段a和历史时刻b组成的组合与历史时段a和历史时刻c组成的组合时不同的两个组合。
S2032：根据多个组合构建多个指标和综合指标的多个映射关系。
一个组合可以对应构建一个映射关系，构建方式如前述S202与S203所述，根据历史活跃数据确定每一个组合中历史时段对应的多个指标值和历史时刻对应的综合指标值，根据不同历史时段的多个指标值和不同历史时刻的综合指标值的组合构建出多个的映射关系。
例如，根据5天的多个指标值、根据10天的多个指标值、第7天的综合指标值、第14天的综合指标值、第28天的综合指标值可以确定出6个组合，6个组合可能对应6个映射关系。
S2033：根据多个映射关系的校验结果从多个组合中的确定最优组合。
本申请不具体限定映射关系的校验方式，可以通过准确性检验的方式，或者准确性检验和敏感性检验组合的方式对映射关系进行校验，下面分别对准确性检验、敏感性检验分别进行说明。
(1)准确性检验
若多个指标值与其对应的综合指标值之间建立的映射关系的变化趋势与目标业务对应的实际的综合指标值的实际变化趋势相似度越高，则映射关系的准确性越高。
例如，若两个指标值与综合指标值建立的映射关系为y＝a×x1+b×x2，若此时曲线y与目标业务对应的实际的综合指标值构成的曲线之间基本重合，则映射关系为y＝a×x1+b×x2对应的校验结果为该映射关系的准确性较高。
其中，目标业务对应的实际的综合指标值的实际变化趋势可以通过回溯目标业务的随机对照实验的历史活跃数据获得，例如，通过1月1日至1月30日的历史活跃数据，可以获得多个第7日留存率，多个第7日留存率可以构成一条具有变化趋势的曲线，由此，可以获得目标业务对应的实际的综合指标值构成的曲线。
由此，通过映射关系获得的综合指标值与历史活跃数据中实际的综合指标值相差越小，则二者相似程度越高。由此，可以通过准确性检验获得更为准确的映射关系。
(2)敏感性检验
若根据映射关系获得的综合指标值的波动范围越大，则表示目标业务对应的实际的综合指标值落入前述波动范围的概率越大，则敏感性越高。目标业务对应的实际的综合指标值的波动范围可以通过回溯目标业务的随机对照实验的历史活跃数据，若通过映射关系获得的综合指标的波动范围大于通过历史活跃数据中实际的综合指标的波动范围，例如，通过映射关系获得的综合指标的置信区间越大，则实际的综合指标落入到该置信区间的可能性越大，通过该映射关系获得的综合指标值更准确。可以通过自助法(BootstrapMethod)获得综合指标值的置信区间，其中，自助法是从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。由此，可以通过敏感性校验获得更为准确的映射关系。
由此，通过准确性检验的方式，若多个指标值与其对应的综合指标值之间建立的映射关系的变化趋势与目标业务对应的实际的综合指标值的实际变化趋势的相似程度越高，则映射关系的准确性越高，将准确性较高的映射关系对应的组合确定为最优组合。
或者，通过准确性检验和敏感性检验组合的方式，若多个指标值与其对应的综合指标值之间建立的映射关系的变化趋势与目标业务对应的实际的综合指标值的实际变化趋势的相似程度越高，且通过映射关系获得的综合指标的波动范围相较于目标业务对应的实际的综合指标值的波动范围越大，则不仅映射关系的准确性越高，而且通过映射关系获得的综合指标随多个指标值波动的灵敏度也越高，从而可进一步提升映射关系的准确性，将准确性较高的映射关系对应的组合确定为最优组合。
S2034：将最优组合包括的历史时段确定为第一历史时段，将最优组合包括的历史时刻确定为第一历史时刻。
由此，通过S2031-S2034可以获得第一历史时段和第一历史时刻，以便获得准确性较高的映射关系。
本申请实施例不具体限定构建函数关系的方式，例如，根据多个指标值、第一历史时刻的综合指标值和逻辑回归模型，构建多个指标与综合指标的函数关系，多个指标为函数关系中的多个自变量，综合指标为函数关系中的因变量。
下面以构建3个指标与综合指标的函数关系为例进行说明。利用逻辑回归模型，获得3个指标与1个综合指标的表达式，如公式(2)所示：
y＝ax1+bx2+cx3+d (2)
其中，x1、x2、x3为3个指标，a、b、c为3个指标对应的系数，d为常数，y为综合指标。
通过逻辑回归模型可以获得综合指标值，从而获得目标策略作用于目标业务的效果。
作为一种可能的实现方式，还可以将系数进行转换，从而得到便于解释的函数关系。例如，公式(2)可以转换为公式(3)：
Figure BDA0002969468390000111
其中，指标牵引为转换后的综合指标。
在利用公式(3)进行解释时，以指标x1为基准，
Figure BDA0002969468390000112
倍数的指标x2和
Figure BDA0002969468390000113
倍数的指标x3可以对应描述为指标牵引，通过指标牵引的变化趋势可以代替3个指标综合的变化趋势。
S204：根据映射关系测试目标策略。
在获得目标业务所需的映射关系后，可以获得目标策略对于目标业务的长期影响效果，若获得的影响效果对于目标业务的影响效果为正向，即目标业务在使用目标策略后，目标业务朝着更好的方向发展，例如，第30日留存率升高、下单转化率升高等，则可以将目标策略推广至目标业务中。
具体地，将目标策略作用于目标业务中，获取表征短期的多个指标值，将多个指标值作为输入，输入至表征映射关系的模型中，从而获得表征长期的一个综合指标值。根据前述准确性检验和/或敏感性检验，获得目标策略对于目标业务的影响效果。
例如，若将策略A作用于视频业务后，获得根据映射关系获得第30日的留存率的变化趋势与视频业务对应的实际的第30日的留存率的实际变化趋势相似度趋势较高(对应于前述准确性校验方式)，或者根据映射关系获得第30日的留存率的变化趋势与视频业务对应的实际的第30日的留存率的实际变化趋势相似度趋势较高，且根据映射关系获得第30日的留存率对应的置信区间大于视频业务对应的实际的第30日的留存率的置信区间(对应于前述准确性校验和名感性校验组合的方式)，则策略A作用于视频业务，获得的影响效果为正向。
若获得的影响效果不是正向，如负向或者持平，则不将目标策略推广至目标业务中。其中，负向影响为目标业务在使用目标策略后，目标业务朝着不好的方向发展，例如，第30日留存率降低、下单转化率降低等，持平影响则为目标业务在使用目标策略后，与目标业务不使用目标策略发展趋势一样，例如，第30日留存率相等、下单转化率相等等。
本申请实施例不具体限定通过随机对照实验获得目标策略效果的方式，下面以一种方式为例进行说明。
由前述可知，第一历史时段和第一历史时刻的组合对获得的映射关系具有影响，换句话说，当利用映射关系和与第一历史时段时长相同时长，即第一时段的活跃数据，去预测综合指标对应的综合指标值的准确性较高，由此可以根据第一时段的活跃数据获取第一时段的多个指标值，以便根据该映射关系和第一时段的多个指标值，获取综合指标对应的综合指标值。
例如，根据1月1日至1月5日5天的历史活跃数据与第30日的留存率值构建了映射关系，在使用该映射关系时，可以获取3月1日至3月5日的活跃数据，通过该段数据和映射关系，可以获得第30日留存率，即3月30日对应的留存率值。
随机对照实验包括实验组及其对应的对照组，将目标策略应用在实验组中，通过映射关系获取实验组的综合指标值和对应实验组的对照组的综合指标值，根据实验组的综合指标值和对照组的综合指标值确定目标策略的测试结果。例如，若实验组的第30日留存率值大于对照组的第30日留存率值，说明目标策略对于目标业务有正向的影响，可以推广至目标业务的所有用户。
由上述技术方案可以看出，针对于目标业务，为了测试不同策略对于目标业务的影响情况，通过包括多个指标的随机对照实验进行数据测试。根据目标业务的历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，其中第一历史时段的结束时刻早于所述第一历史时刻，根据前期的指标值和后期的综合指标值构建表征前期的多个指标与表征后期的一个综合指标之间的映射关系，通过一个综合指标体现多个指标的综合影响，不仅避免出现由于多个指标中既存在显著提升又存在显著下降导致的无法评价不同策略的情况，而且通过随机对照实验获得的表征前期的多个指标值虽然仅能反应目标策略对于目标业务的短期影响，但是通过映射关系和前期的多个指标值可以获得后期的综合指标值，通过综合指标值可以体现目标策略作用于目标业务的后期影响，从而决定目标策略是否可以在实际中推广到目标业务中。由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验只能反映目标业务的前期影响的缺点，对策略落地、快速迭代具有重要推动作用。
为了更好的理解本申请实施例提供的数据测试方法，下面以目标业务为具有内容社区属性的业务为例，对本申请实施例提供的数据测试方法进行说明。其中，本申请实施例涉及到的目标业务涉及大量的信息流推荐模块，通过随机对照实验获得不同策略对于目标业务的影响情况，对于该目标业务而言，随机对照实验需要包括4个指标，分别为日均使用时长、日均浏览条数、日均评论数、日均点赞数。
为了构建日均使用时长、日均浏览条数、日均评论数、日均点赞数4个指标与综合指标的映射关系，可以通过S2031-S2034选取4个指标所需的第一历史时段和第一历史时刻。在多次实验后，通过敏感性检验和准确性检验，确定第一历史时段标识的时长为5天，综合指标为第30日留存率。
获取1月1日至1月5日的历史活跃数据，通过5天的数据历史活跃数据计算日均使用时长、日均浏览条数、日均评论数、日均点赞数，并将计算获得的数据作为自变量，将第30日留存率值作为因变量，通过逻辑回归模型可以构建出函数关系，参见前述公式(1)。
在获得函数关系后，可以对目标策略进行测试。将目标策略应用在实验组中。分别获取实验组和对照组5天的活跃数据，根据5天的活跃数据计算日均使用时长、日均浏览条数、日均评论数、日均点赞数，并根据获得的值和映射关系，分别获得实验组和对照组的第30日留存率值，若实验组的第30日留存率值大于对照组的第30日留存率值，则目标策略有效，可以将目标策略实际应用到目标业务的推广中。由此，能够快速确定目标策略对于目标业务的影响，并且更有把握决定是否将对应的策略推广给目标业务的所有用户使用。
针对上述实施例提供的数据测试方法，本申请实施例还提供了一种数据测试装置。
参见图3，该图为本申请实施例提供的一种数据测试装置的示意图。如图3所示，该数据测试装置300应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务，所述多个指标为根据所述目标业务确定的，包括：获取单元301、确定单元302、构建单元303和测试单元304；
所述获取单元301，用于获取所述目标业务的历史活跃数据；
所述确定单元302，用于根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
所述构建单元303，用于根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
所述测试单元304，用于根据所述映射关系测试所述目标策略，以便确定所述目标策略是否实际作用于所述目标业务。
作为一种可能的实现方式，所述测试单元304，用于：
根据第一时段的活跃数据获取所述第一时段的多个指标值，所述第一时段标识的时长等于所述第一历史时段标识的时长；
根据所述映射关系和所述第一时段的多个指标值，获取实验组的综合指标值和所述实验组对应的对照组的综合指标值；
根据所述实验组的综合指标值和所述对照组的综合指标值确定所述目标策略的测试结果。
作为一种可能的实现方式，所述构建单元303，用于：
根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的函数关系，所述多个指标为自变量，所述综合指标为因变量。
作为一种可能的实现方式，所述确定单元302，用于确定第一历史时段和第一历史时刻，具体方式如下：
根据多个历史时段和多个历史时刻确定多个组合，所述组合包括一个历史时段和一个历史时刻；
根据所述多个组合构建所述多个指标和所述综合指标的多个映射关系；
根据所述多个映射关系的校验结果从所述多个组合中的确定最优组合；
将所述最优组合包括的历史时段确定为第一历史时段，将所述最优组合包括的历史时刻确定为第一历史时刻。
作为一种可能的实现方式，所述确定单元302，用于确定映射关系的校验结果，所述多个映射关系的校验结果通过如下方式获得：
确定所述多个映射关系的变化趋势与所述目标业务的实际变化趋势的相似程度，以及所述多个映射关系的综合指标的波动范围与所述目标业务的实际波动范围的大小关系；
根据所述相似程度和所述大小关系获得多个映射关系的校验结果。
作为一种可能的实现方式，所述构建单元303，用于：
根据所述多个指标值、所述第一历史时刻的综合指标值和逻辑回归模型构建所述多个指标和所述综合指标的函数关系。
本申请实施例提供的数据测试装置，针对于目标业务，为了测试不同策略对于目标业务的影响情况，通过包括多个指标的随机对照实验进行数据测试。根据目标业务的历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，其中第一历史时段的结束时刻早于所述第一历史时刻，根据前期的指标值和后期的综合指标值构建表征前期的多个指标与表征后期的一个综合指标之间的映射关系，通过一个综合指标体现多个指标的综合影响，不仅避免出现由于多个指标中既存在显著提升又存在显著下降导致的无法评价不同策略的情况，而且通过随机对照实验获得的表征前期的多个指标值虽然仅能反应目标策略对于目标业务的短期影响，但是通过映射关系和前期的多个指标值可以获得后期的综合指标值，通过综合指标值可以体现目标策略作用于目标业务的后期影响，从而决定目标策略是否可以在实际中推广到目标业务中。由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验只能反映目标业务的前期影响的缺点，对策略落地、快速迭代具有重要推动作用。
本申请实施例还提供了一种计算机设备，下面将从硬件实体化的角度对本申请实施例提供的计算机设备进行介绍。
参见图4，图4是本申请实施例提供的一种服务器结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图4所示的服务器结构。
其中，CPU 1422用于执行如下步骤：
获取所述目标业务的历史活跃数据；
根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
根据所述映射关系测试所述目标策略，以便确定所述目标策略是否实际作用于所述目标业务。
可选的，CPU 1422还可以执行本申请实施例中数据测试方法任一具体实现方式的方法步骤。
针对上文描述的数据测试方法，本申请实施例还提供了一种用于数据测试的终端设备，以使上述数据测试方法在实际中实现以及应用。
参见图5，图5为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant，简称PDA)等任意终端设备，以终端设备为手机为例：
图5示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图5，该手机包括：射频(Radio Frequency，简称RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，简称WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍：
RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、后期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而实现手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图5中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的存储器1520可以存储程序代码，并将所述程序代码传输给所述处理器。
该手机所包括的处理器1580可以根据所述程序代码中的指令执行上述实施例提供的数据测试方法。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行上述实施例提供的数据测试方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的数据测试方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种数据测试方法，其特征在于，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，包括：
获取所述目标业务的历史活跃数据；
根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
根据所述映射关系测试所述目标策略。
2.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系测试所述目标策略，包括：
根据第一时段的活跃数据获取所述第一时段的多个指标值，所述第一时段标识的时长等于所述第一历史时段标识的时长；
根据所述映射关系和所述第一时段的多个指标值，获取实验组的综合指标值和所述实验组对应的对照组的综合指标值；
根据所述实验组的综合指标值和所述对照组的综合指标值确定所述目标策略的测试结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系，包括：
根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的函数关系，所述多个指标为自变量，所述综合指标为因变量。
4.根据权利要求3所述的方法，其特征在于，所述第一历史时段和第一历史时刻通过如下方式确定：
根据多个历史时段和多个历史时刻确定多个组合，所述组合包括一个历史时段和一个历史时刻；
根据所述多个组合构建所述多个指标和所述综合指标的多个映射关系；
根据所述多个映射关系的校验结果从所述多个组合中的确定最优组合；
将所述最优组合包括的历史时段确定为第一历史时段，将所述最优组合包括的历史时刻确定为第一历史时刻。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述多个映射关系的校验结果通过如下方式获得：
确定所述多个映射关系的变化趋势与所述目标业务的实际变化趋势的相似程度；
根据所述相似程度获得多个映射关系的校验结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述相似程度获得多个映射关系的校验结果，包括：
确定所述多个映射关系的综合指标的波动范围与所述目标业务的实际波动范围的大小关系；
根据所述相似程度和所述大小关系获得多个映射关系的校验结果。
7.根据权利要求3所述的方法，其特征在于，所述根据所述多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的函数关系，包括：
根据所述多个指标值、所述第一历史时刻的综合指标值和逻辑回归模型构建所述多个指标和所述综合指标的函数关系。
8.一种数据测试装置，其特征在于，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，所述装置包括：获取单元、确定单元、构建单元和测试单元；
所述获取单元，用于获取所述目标业务的历史活跃数据；
所述确定单元，用于根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；
所述构建单元，用于根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；
所述测试单元，用于根据所述映射关系测试所述目标策略。
9.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7任意一项所述的方法。
CN202110259774.6A 2021-03-10 2021-03-10 一种数据测试方法和相关装置 Pending CN115081661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259774.6A CN115081661A (zh) 2021-03-10 2021-03-10 一种数据测试方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259774.6A CN115081661A (zh) 2021-03-10 2021-03-10 一种数据测试方法和相关装置

Publications (1)

Publication Number Publication Date
CN115081661A true CN115081661A (zh) 2022-09-20

Family

ID=83241604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259774.6A Pending CN115081661A (zh) 2021-03-10 2021-03-10 一种数据测试方法和相关装置

Country Status (1)

Country Link
CN (1) CN115081661A (zh)

Similar Documents

Publication Publication Date Title
CN107360327B (zh) 语音识别方法、装置和存储介质
CN111310034B (zh) 一种资源推荐方法及相关设备
CN112052841B (zh) 一种视频摘要的生成方法以及相关装置
CN110704661A (zh) 一种图像分类方法和装置
CN111105852A (zh) 一种电子病历推荐方法、装置、终端及存储介质
CN114595124B (zh) 时序异常检测模型评估方法、相关装置及存储介质
CN115022098A (zh) 人工智能安全靶场内容推荐方法、装置及存储介质
CN115904950A (zh) 一种测试用例生成方法、装置、设备及存储介质
CN114840565A (zh) 抽样查询方法、装置、电子设备及计算机可读存储介质
CN114328908A (zh) 一种问答语句质检方法、装置及相关产品
CN113704008A (zh) 一种异常检测方法、问题诊断方法和相关产品
CN112862021A (zh) 一种内容标注方法和相关装置
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN110929882A (zh) 一种基于人工智能的特征向量计算方法和相关装置
CN110781274A (zh) 一种问答对生成的方法与装置
CN112131482B (zh) 一种时效确定方法和相关装置
CN111988407B (zh) 一种内容推送方法和相关装置
CN115081661A (zh) 一种数据测试方法和相关装置
CN116450384A (zh) 一种信息处理方法和相关装置
CN115080840A (zh) 一种内容推送方法、装置及存储介质
CN105426400A (zh) 用户匹配度的判断方法和装置
CN111709789A (zh) 一种用户转化率的确定方法及相关设备
CN112163164B (zh) 一种用户标签确定方法和相关装置
CN114582332B (zh) 一种音频的处理方法、装置以及存储介质
CN115412726B (zh) 视频真伪检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination