CN112532406A - 对照实验的数据处理方法、装置、计算机设备及存储介质 - Google Patents

对照实验的数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112532406A
CN112532406A CN201910877715.8A CN201910877715A CN112532406A CN 112532406 A CN112532406 A CN 112532406A CN 201910877715 A CN201910877715 A CN 201910877715A CN 112532406 A CN112532406 A CN 112532406A
Authority
CN
China
Prior art keywords
data
experimental
user
flow
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910877715.8A
Other languages
English (en)
Other versions
CN112532406B (zh
Inventor
李哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910877715.8A priority Critical patent/CN112532406B/zh
Publication of CN112532406A publication Critical patent/CN112532406A/zh
Application granted granted Critical
Publication of CN112532406B publication Critical patent/CN112532406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种对照实验的数据处理方法、装置、计算机设备及可读存储介质，属于互联网技术领域。本发明的对照实验的数据处理方法包括：接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。本发明可以节省硬件资源。

Description

对照实验的数据处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种对照实验的数据处理方法、装置、计算机设备及存储介质。
背景技术
随着对互联网产品更新需求的增长，产品新功能或者新策略开发完毕之后，在全流量上线之前需要对新功能或新策略进行流量实验。流量实验是指将用户流量分配至新功能或者旧功能对应的对照实验，并根据用户流量反馈的数据对新功能或新策略的性能、效果进行测试评估，以根据评估结果决定最终是否全流量上线新功能或新策略，或者确定最终全流量上线的新功能或新策略。
在基于流量实验进行产品测试时，系统数据库中必须存储包含每一份实验数据的全量副本数据，以便能够在请求的实时处理中，快速获取到对应实验的数据，达到对照实验的目的。然而，这种数据存储方式，随着实验个数的增长，系统所存储的数据会极速膨胀，导致需要耗费较多的硬件资源来存储上述数据。
发明内容
针对现有技术在进行对照实验时，需要耗费较多的的硬件资源问题，现提供一种对照实验的数据处理方法、装置、计算机设备及计算机可读存储介质，以节省存储空间，减少硬件资源的消耗，从而可以降低成本。
本发明提供了一种对照实验的数据处理方法，包括下述步骤：
接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；
若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；
采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；
根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
可选地，所述基线数据包括所述用户的标识数据以及所述用户的属性数据，所述用户的属性数据至少包括通过第一机器学习算法得到的所述用户的第一标签数据；所述实验数据包括所述用户的标识数据以及通过第二机器学习算法得到的所述用户的第二标签数据。
可选地，所述第一标签数据与所述第二标签数据都为所述用户的偏好数据。
可选地，所述对照实验的数据处理方法还包括：
预先将所有流量用户的基线数据存储至所述系统数据库中，以及预先将所有实验流量对应的用户的实验数据存储至所述实验流量对应的实验数据库中。
可选地，所述对照实验的数据处理方法还包括：
若所述用户流量为对照流量，则从系统数据库中获取与所述用户关联的基线数据。
可选地，所述对照实验的数据处理方法还包括：
若所述用户流量为实验流量，则采用实验标识对所述实验流量进行标识；
若所述用户流量为对照流量，则采用对照标识对所述对照流量进行标识。
可选地，所述对照实验的数据处理方法还包括：
统计各个实验流量以及各个对照流量对应的效果参数，根据所述效果参数对所述实验流量对应的实验策略以及所述对照流量对应的对照策略进行评估。
本发明还提供了一种对照实验的数据处理装置，包括：
确定模块，用于接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；
获取模块，用于若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；
替换模块，用于采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；
返回模块，用于根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
本发明还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述技术方案的有益效果：
本技术方案中，在接收用户的访问请求时，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。本案通过在预设的数据库中获取用户的基线数据，在其他数据库中获取用户的实验数据，从而使得在进行对照实验时不用在各个对照实验对应的数据库中存储用户的全量副本数据，进而可以节省存储空间，减少硬件资源的消耗，从而可以降低成本。
附图说明
图1为本发明所述对照实验的数据处理的系统框架图的一种实施例的框架图；
图2为本发明所述的对照实验的数据处理方法的一种实施例的流程图；
图3为本发明所述的对照实验的数据处理方法的另一种实施例的流程图；
图4为本发明所述的对照实验的数据处理方法的另一种实施例的流程图；
图5为本发明所述的对照实验的数据处理装置的一种实施例的模块图；
图6为本发明实施例提供的执行对照实验的数据处理方法的计算机设备的硬件结构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。
请参考图1，图1是本申请实施例提供的对照实验的数据处理的系统架构图。该对照实验的数据处理的方法应用于流量实验系统。如图1所示，该流量实验系统包括请求终端110和流量实验管理平台120。请求终端110和流量实验管理平台120通过网络连接。请求终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种，用于发送访问请求，根据流量实验管理平台120响应访问请求反馈的业务参数进行页面展示，并在实验内容进行曝光、点击时向流量实验管理平台120上报实验标识和目标参数。流量实验管理平台120包括前端交互的交互终端121和服务器122，服务器122可以用独立的服务器或者是多个服务器组成的服务器集群来实现。交互终端121用于进行流量实验的配置，服务器122用于执行在流量实验中进行对照实验的数据处理的方法。
需要说明的是，该流量实验(或者称为对照实验)的本质是分离式组间实验，在科研领域中已被广泛使用(它是药物测试的最高标准)。自2000年谷歌将这一方法应用在互联网产品以来，对照实验已逐渐成为互联网产品运营精细度的重要体现。
对照实验在产品优化中的应用方法是：在产品正式发版迭代之前，为同一个目标制定两个(或以上)方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学地帮助产品进行决策。
本发明为解决现有在进行对照实验时，需要耗费较多的硬件资源的问题，提出了一种对照实验的数据处理方法。参阅图2，其为本发明一实施例的对照实验的数据处理方法的流程示意图，从图中可以看出，本实施例中所提供的对照实验的数据处理方法主要包括以下步骤：
步骤S20、接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；
具体地，所述预设规则为预先设定的规则，该规则为在对照实验中分配用户流量的规则。在一实施方式中，该预设规则可以为根据用户ID对用户流量进行划分为实验流量以及对照流量的规则，采用该预设规则将用户流量划分为实验流量或者对照流量的具体实现方法举例如下：
若所有的用户流量中用户ID分别为1-100，则可以将用户ID为1-50所对应的用户流量划分为实验流量，而将用户ID为51-100所对应的用户流量划分为对照流量。
在另一实施方式中，该预设规则也可以为根据随机数对用户流量划分为实验流量以及对照流量的规则，采用该预设规则将用户流量划分为实验流量或者对照流量的具体实现方法举例如下：
首先针对该用户流量采用随机算法生成一个随机数，然后判断所生成的随机数是否小于预设阈值，若该随机数小于所述预设阈值，则将该用户流量划分为实验流量，若针对该用户流量所生成的随机数大于或者等于所述预设阈值，则将该用户流量划分为对照流量。
需要说明的是，所述预设规则并不限于上述举例的两种规则，也可以为其他规则，在本实施例中不作限定。
所述用户流量是指对对照实验所针对的业务进行网络访问的网络访问用户。进一步地，业务是指网站或软件中具有不同功能的模块，比如，在浏览器中，业务包括资讯业务、搜索业务、广告业务等。进一步地，业务又被细分为多个子业务，比如，资讯业务又被划分为图文子业务、视频子业务等。当对照量实验的业务为浏览器中资讯业务时，则用户流量是指访问资讯业务的网络访问用户；当对照实验的业务为资讯业务下的视频子业务时，则用户流量是指访问视频子业务的网络访问用户。在本实施例中，用户流量具体可以分为实验流量以及对照流量，其中，对照流量是用于与实验流量作对比的流量。
在一实施方式中，当确定该用户流量为实验流量时，可以采用实验标识对该实验流量进行标识。在本实施例中，该实验流量可以包括多个不同的流量，比如包括实验流量1、实验流量2、实验流量3等。当该实验流量包括多个不同的实验流量时，在采用实验标识对实验流量进行标识时，可以用“标识1”对该实验流量1进行标识，采用“标识2”对该实验流量2进行标识，采用“标识3”对该实验流量3进行标识。当确定该用户流量为对照流量时，可以采用对照标识对该对照流量进行标识，比如采用“标识4”对该对照流量进行标识。
步骤S21、若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据。
具体地，预先配置好实验流量以及实验流量对应的实验数据库的对应关系，以及预先配置好所有用户流量与系统数据库的对应关系，在一实施方式中，该对应关系可以通过映射表的方式存储，该映射表包含实验流量的标识、与实验流量对应的实验数据库的地址及名称等，以及包括所有用户流量的标识和所述系统数据库的地址及名称，示例性的，当该实验流量包括实验流量1、实验流量2，实验流量3时，该映射表可以为：{实验流量1-地址A-数据库A；实验流量2-地址B-数据库B；实验流量3-地址C-数据库C；all用户流量-地址D-数据库D}。
在确定用户流量为实验流量之后，即可根据该映射表得到与该实验流量对应的实验数据库的地址，通过该得到的数据库地址去访问数据库，从而从数据库中获取到与所述用户关联的实验数据。
如上所述，当确定的用户流量为实验流量1时，则依照地址A去访问数据库A，以从数据库A中获取到与该用户所关联的实验数据。当确定的用户流量为实验流量2时，则依照地址B去访问数据库B，以从数据库B中获取到与该用户所关联的实验数据。当确定的用户流量为实验流量3时，则依照地址C去访问数据库C，以从数据库C中获取到与该用户所关联的实验数据。
在一实施方式中，该实验数据包括用户的标识数据以及通过第二机器学习算法得到的所述用户的第二标签数据，其中，该用户的标识数据是指可用于表示用户的唯一变量，比如用户ID、手机号等，该第二机器学习算法为根据用户的历史行为数据计算得到用户标签数据的算法，该第二机器学习算法可以为基于TF-IDF算法，也可以为基于相关系数矩阵的权重归类算法等，在本实施例中，对该第二机器学习算法的具体种类不作限定，其可以为现有技术中的各种用于对用户进行打标签的算法。该第二标签数据为一种表示用户属性的标签，该第二标签数据可以为用户的年龄数据，或者为用户的偏好数据等。在本实施例中，该第二标签数据优选为用户的偏好数据，该用户的偏好数据为用于表示用户爱好的数据，比如，该用户的偏好数据为用户喜欢看刘德华的电影。
在一具体实施方式中，该基线数据以如下表一的数据存储格式存储在数据库中。
表一
Figure BDA0002204902910000071
在确定用户流量为实验流量之后，还可根据该映射表得到所述系统数据库的地址，通过该得到的数据库地址去访问数据库，从而从该数据库中获取到与所述用户关联的基线数据。
如上所述，当确定该用户流量为实验流量之后，则依照地址D去访问数据库D，以从数据库D中获取到与该用户所关联的基线数据。
在一实施方式中，该基线数据包括用户的标识数据以及用户的属性数据，所述用户的属性数据至少包括通过第一机器学习算法得到的所述用户的第一标签数据。其中，该用户的标识数据是指可用于表示用户的唯一变量，比如用户 ID、手机号等。该属性数据包括但不限于：性别、年龄、视频观看兴趣、职业、地区等，在本实施例中，该属性数据至少包括用户的两个标签数据。该第一机器学习算法为根据用户的历史行为数据计算得到用户标签数据的算法，该第一机器学习算法也可以为基于TF-IDF算法，也可以为基于相关系数矩阵的权重归类算法等，在本实施例中，对该第一机器学习算法的具体种类不作限定，其可以为现有技术中的各种用于对用户进行打标签的算法，但该第一机器学习算法是一种与第二机器学习算法不相同的算法。该第一标签数据为一种表示用户属性的标签，该第一标签数据也可以为用户的年龄数据，或者为用户的偏好数据。在本实施例中，该第一标签数据与第二标签数据是同一个类别的标签数据，也就说说，若第一标签数据是关于用户的年龄数据，则第二标签数据也是为用户的年龄数据，若第一标签数据为用户的偏好数据，则第二标签数据也应该为用户的偏好数据。在本实施例中，该第一标签数据优选为用户的偏好数据，该用户的偏好数据为用于表示用户爱好的数据，比如，该用户的偏好数据为用户喜欢看成龙的电影。
在一具体实施方式中，该实验数据以如下表二的数据存储格式存储在数据库中。
表二
Figure BDA0002204902910000081
步骤S22、采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据。
具体地，在获取到实验数据以及基线数据之后，将获取到的实验数据对基线数据中的与实验数据相对应的数据进行替换，从而可以得到新的基线数据。
本实施例中的实验数据以及基线数据分别以上述表一以及表二中的数据为例，则表二中的“视频兴趣”字段数据即为待替换数据，表一中的“视频兴趣”字段数据即为替换数据，在将表一中的“视频兴趣”字段数据替换掉表二中的“视频兴趣”字段数据后，即可得到新的基线数据。该得到的新的基线数据如下表三。
表三
Figure BDA0002204902910000082
Figure BDA0002204902910000091
在一实施方式中，当该用户流量为对照流量时，则直接从系统数据库中获取与所述用户关联的基线数据。
步骤S23、根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
具体地，所述业务参数是指根据访问请求对应的访问业务获取的用于在请求终端展示的数据。
在得到新的基线数据后，根据该基线数据执行业务逻辑，从而得到该访问请求对应的业务参数，在获得到该业务参数之后，将该业务参数返回给请求终端，从而使得该请求终端可以根据该业务参数进行页面展示。
在本发明另一实施方式中，当用户流量为对照流量时，则可以直接从系统数据库中获取用户关联的基线数据，并在获取到该基线数据之后，直接根据该基线数据执行业务逻辑，从而得到该访问请求对应的业务参数，在获得到该业务参数之后，将该业务参数返回给请求终端，从而使得该请求终端可以根据该业务参数进行页面展示。
在本实施例中，通过在接收用户的访问请求时，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。本案通过在系统数据库中获取用户的基线数据，在其他数据库中获取用户的实验数据，从而使得在进行对照实验时不用在各个对照实验对应的数据库中存储用户的全量副本数据，进而可以节省存储空间，减少硬件资源的消耗，从而可以降低成本。
进一步地，参阅图3，其为本发明另一实施例的对照实验的数据处理方法的流程示意图，从图中可以看出，本实施例中所提供的对照实验的数据处理方法主要包括以下步骤：
步骤S30，预先将所有流量用户的基线数据存储至所述系统数据库中，以及预先将所有实验流量对应的用户的实验数据存储至所述实验流量对应的实验数据库中。
具体地，由于各个对照实验所需要的数据，往往存在差异的数据仅是整体数据的一小部分，其余的大部分均相同。因此，本案可以预先将所有流量用户的基线数据存储至系统数据库，而将所有实验流量对应的用户的实验数据存储在实验流量对应的实验数据库中。需要说明的是，当所有实验流量包括多个不同的实验流量时，例如，包括实验流量1、实验流量2以及实验流量3，则可以将实验流量1对应的用户的实验数据存储至数据库A中，将实验流量2对应的用户的实验数据存储至数据库B中，将实验流量3对应的用户的实验数据存储至数据库C中。
步骤S31，接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量。
步骤S32，若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据。
步骤S33，采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据.
步骤S34，根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
本发明实施例中的步骤S31-S34与上述实施例中的步骤S20-S23大致相同，在本实施例中不再赘述。
在本实施例中，通过预先将与用户关联的基线数据以及实验数据分别存储，从而使得在进行对照实验时不用在各个对照实验对应的数据库中存储用户的全量副本数据，进而可以节省存储空间，减少硬件资源的消耗，从而可以降低成本。
参阅图4所示，其为本发明另一实施例的对照实验的数据处理方法的流程示意图，从图中可以看出，本实施例中所提供的对照实验的数据处理方法主要包括以下步骤：
步骤S40，接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量。
步骤S41，若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据。
步骤S42，采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据.
步骤S43，根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
具体地，本发明实施例中的步骤S40-S43与上述实施例中的步骤S20-S23 大致相同，在本实施例中不再赘述。
步骤S44，统计各个实验流量以及各个对照流量对应的效果参数，根据所述效果参数对所述实验流量对应的实验策略以及所述对照流量对应的对照策略进行评估。
具体地，该效果参数为用于对对照实验的性能、效果进行评估的相关数值，具体地，该效果参数包括但不限于曝光率、点击率、转换率等中的一种或多种。通常来说，该效果参数越符合期望发展，则说明该效果参数对应的对照实验相比于其他对照实验的效果更好。
在一实施方式中，可以通过分别统计分析各个实验流量以及各个对照流量所对应的展现日志以及点击日志来得到实验流量的效果参数以及对照流量的效果参数，然后根据实验流量的效果参数以及对照流量的效果参数来对实验策略以及对照策略进行评估。
其中，实验策略为用户进行测试的策略，对照策略为用于该实验策略进行对比的策略，在一实施方式中，该策略可以为广告的投放策略，也可以为页面的展示策略等，在本实施例中不作限定。
本发明实施例通过分析统计各个实验流量以及各个对照流量对应的效果参数，从而可以评估出各个实验策略的效果。
参阅图5所示，是本发明对照实验的数据处理装置500一实施例的程序模块图。
本实施例中，所述对照实验的数据处理装置500包括一系列的存储于存储器上的计算机程序指令，当该计算机程序指令被处理器执行时，可以实现本发明各实施例的对照实验的数据处理功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，对照实验的数据处理装置500可以被划分为一个或多个模块。例如，在图5中，所述对照实验的数据处理装置500可以被分割成确定模块501、获取模块502、替换模块503、返回模块504、存储模块 505以及评估模块506。其中：
确定模块501，用于接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量。
具体地，具体地，所述预设规则为预先设定的规则，该规则为在对照实验中分配用户流量的规则。在一实施方式中，该预设规则可以为根据用户ID对用户流量进行划分为实验流量以及对照流量的规则，采用该预设规则将用户流量划分为实验流量或者对照流量的具体实现方法举例如下：
若所有的用户流量中用户ID分别为1-100，则可以将用户ID为1-50所对应的用户流量划分为实验流量，而将用户ID为51-100所对应的用户流量划分为对照流量。
在另一实施方式中，该预设规则也可以为根据随机数对用户流量划分为实验流量以及对照流量的规则，采用该预设规则将用户流量划分为实验流量或者对照流量的具体实现方法举例如下：
首先针对该用户流量采用随机算法生成一个随机数，然后判断所生成的随机数是否小于预设阈值，若该随机数小于所述预设阈值，则将该用户流量划分为实验流量，若针对该用户流量所生成的随机数大于或者等于所述预设阈值，则将该用户流量划分为对照流量。
需要说明的是，所述预设规则并不限于上述举例的两种规则，也可以为其他规则，在本实施例中不作限定。
所述用户流量是指对对照实验所针对的业务进行网络访问的网络访问用户。进一步地，业务是指网站或软件中具有不同功能的模块，比如，在浏览器中，业务包括资讯业务、搜索业务、广告业务等。进一步地，业务又被细分为多个子业务，比如，资讯业务又被划分为图文子业务、视频子业务等。当对照量实验的业务为浏览器中资讯业务时，则用户流量是指访问资讯业务的网络访问用户；当对照实验的业务为资讯业务下的视频子业务时，则用户流量是指访问视频子业务的网络访问用户。在本实施例中，用户流量具体可以分为实验流量以及对照流量，其中，对照流量是用于与实验流量作对比的流量。
在一实施方式中，当确定该用户流量为实验流量时，可以采用实验标识对该实验流量进行标识。在本实施例中，该实验流量可以包括多个不同的流量，比如包括实验流量1、实验流量2、实验流量3等。当该实验流量包括多个不同的实验流量时，在采用实验标识对实验流量进行标识时，可以用“标识1”对该实验流量1进行标识，采用“标识2”对该实验流量2进行标识，采用“标识3”对该实验流量3进行标识。当确定该用户流量为对照流量时，可以采用对照标识对该对照流量进行标识，比如采用“标识4”对该对照流量进行标识。
获取模块502，用于若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据。
具体地，预先配置好实验流量以及实验流量对应的实验数据库的对应关系，以及预先配置好所有用户流量与系统数据库的对应关系，在一实施方式中，该对应关系可以通过映射表的方式存储，该映射表包含实验流量的标识、与实验流量对应的实验数据库的地址及名称等，以及包括所有用户流量的标识和所述系统数据库的地址及名称，示例性的，当该实验流量包括实验流量1、实验流量2，实验流量3时，该映射表可以为：{实验流量1-地址A-数据库A；实验流量2-地址B-数据库B；实验流量3-地址C-数据库C；all用户流量-地址D-数据库D}。
在确定用户流量为实验流量之后，即可根据该映射表得到与该实验流量对应的实验数据库的地址，通过该得到的数据库地址去访问数据库，从而从数据库中获取到与所述用户关联的实验数据。
如上所述，当确定的用户流量为实验流量1时，则依照地址A去访问数据库A，以从数据库A中获取到与该用户所关联的实验数据。当确定的用户流量为实验流量2时，则依照地址B去访问数据库B，以从数据库B中获取到与该用户所关联的实验数据。当确定的用户流量为实验流量3时，则依照地址C去访问数据库C，以从数据库C中获取到与该用户所关联的实验数据。
在一实施方式中，该实验数据包括用户的标识数据以及通过第二机器学习算法得到的所述用户的第二标签数据，其中，该用户的标识数据是指可用于表示用户的唯一变量，比如用户ID、手机号等，该第二机器学习算法为根据用户的历史行为数据计算得到用户标签数据的算法，该第二机器学习算法可以为基于TF-IDF算法，也可以为基于相关系数矩阵的权重归类算法等，在本实施例中，对该第二机器学习算法的具体种类不作限定，其可以为现有技术中的各种用于对用户进行打标签的算法。该第二标签数据为一种表示用户属性的标签，该第二标签数据可以为用户的年龄数据，或者为用户的偏好数据等。在本实施例中，该第二标签数据优选为用户的偏好数据，该用户的偏好数据为用于表示用户爱好的数据，比如，该用户的偏好数据为用户喜欢看刘德华的电影。
在一具体实施方式中，该基线数据以如下表一的数据存储格式存储在数据库中。
表一
Figure BDA0002204902910000141
在确定用户流量为实验流量之后，还可根据该映射表得到所述系统数据库的地址，通过该得到的数据库地址去访问数据库，从而从该数据库中获取到与所述用户关联的基线数据。
如上所述，当确定该用户流量为实验流量之后，则依照地址D去访问数据库D，以从数据库D中获取到与该用户所关联的基线数据。
在一实施方式中，该基线数据包括用户的标识数据以及用户的属性数据，所述用户的属性数据至少包括通过第一机器学习算法得到的所述用户的第一标签数据。其中，该用户的标识数据是指可用于表示用户的唯一变量，比如用户 ID、手机号等。该属性数据包括但不限于：性别、年龄、视频观看兴趣、职业、地区等，在本实施例中，该属性数据至少包括用户的两个标签数据。该第一机器学习算法为根据用户的历史行为数据计算得到用户标签数据的算法，该第一机器学习算法也可以为基于TF-IDF算法，也可以为基于相关系数矩阵的权重归类算法等，在本实施例中，对该第一机器学习算法的具体种类不作限定，其可以为现有技术中的各种用于对用户进行打标签的算法，但该第一机器学习算法是一种与第二机器学习算法不相同的算法。该第一标签数据为一种表示用户属性的标签，该第一标签数据也可以为用户的年龄数据，或者为用户的偏好数据。在本实施例中，该第一标签数据与第二标签数据是同一个类别的标签数据，也就说说，若第一标签数据是关于用户的年龄数据，则第二标签数据也是为用户的年龄数据，若第一标签数据为用户的偏好数据，则第二标签数据也应该为用户的偏好数据。在本实施例中，该第一标签数据优选为用户的偏好数据，该用户的偏好数据为用于表示用户爱好的数据，比如，该用户的偏好数据为用户喜欢看成龙的电影。
在一具体实施方式中，该实验数据以如下表二的数据存储格式存储在数据库中。
表二
Figure BDA0002204902910000151
替换模块503，用于采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据。
具体地，在获取到实验数据以及基线数据之后，将获取到的实验数据对基线数据中的与实验数据相对应的数据进行替换，从而可以得到新的基线数据。
本实施例中的实验数据以及基线数据分别以上述表一以及表二中的数据为例，则表二中的“视频兴趣”字段数据即为待替换数据，表一中的“视频兴趣”字段数据即为替换数据，在将表一中的“视频兴趣”字段数据替换掉表二中的“视频兴趣”字段数据后，即可得到新的基线数据。该得到的新的基线数据如下表三。
表三
Figure BDA0002204902910000152
在一实施方式中，当该用户流量为对照流量时，则直接从系统数据库中获取与所述用户关联的基线数据。
返回模块504，用于根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
具体地，所述业务参数是指根据访问请求对应的访问业务获取的用于在请求终端展示的数据。
在得到新的基线数据后，根据该基线数据执行业务逻辑，从而得到该访问请求对应的业务参数，在获得到该业务参数之后，将该业务参数返回给请求终端，从而使得该请求终端可以根据该业务参数进行页面展示。
在本发明另一实施方式中，当用户流量为对照流量时，则可以直接从系统数据库中获取用户关联的基线数据，并在获取到该基线数据之后，直接根据该基线数据执行业务逻辑，从而得到该访问请求对应的业务参数，在获得到该业务参数之后，将该业务参数返回给请求终端，从而使得该请求终端可以根据该业务参数进行页面展示。
在本实施例中，通过在接收用户的访问请求时，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。本案通过在系统数据库中获取用户的基线数据，在其他数据库中获取用户的实验数据，从而使得在进行对照实验时不用在各个对照实验对应的数据库中存储用户的全量副本数据，进而可以节省存储空间，减少硬件资源的消耗，从而可以降低成本。
进一步地，参照图5，在一实施方式中，所述对照实验的数据处理装置500 还可以包括存储模505以及评估模块506。
所述存储模块505，用于预先将所有流量用户的基线数据存储至所述系统数据库中，以及预先将所有实验流量对应的用户的实验数据存储至所述实验流量对应的实验数据库中。
具体地，由于各个对照实验所需要的数据，往往存在差异的数据仅是整体数据的一小部分，其余的大部分均相同。因此，本案可以预先将所有流量用户的基线数据存储至系统数据库，而将所有实验流量对应的用户的实验数据存储在实验流量对应的实验数据库中。需要说明的是，当所有实验流量包括多个不同的实验流量时，例如，包括实验流量1、实验流量2以及实验流量3，则可以将实验流量1对应的用户的实验数据存储至数据库A中，将实验流量2对应的用户的实验数据存储至数据库B中，将实验流量3对应的用户的实验数据存储至数据库C中。
所述评估模块506，用于统计各个实验流量以及各个对照流量对应的效果参数，根据所述效果参数对所述实验流量对应的实验策略以及所述对照流量对应的对照策略进行评估。
具体地，该效果参数为用于对对照实验的性能、效果进行评估的相关数值，具体地，该效果参数包括但不限于曝光率、点击率、转换率等中的一种或多种。通常来说，该效果参数越符合期望发展，则说明该效果参数对应的对照实验相比于其他对照实验的效果更好。
在一实施方式中，可以通过分别统计分析各个实验流量以及各个对照流量所对应的展现日志以及点击日志来得到实验流量的效果参数以及对照流量的效果参数，然后根据实验流量的效果参数以及对照流量的效果参数来对实验策略以及对照策略进行评估。
其中，实验策略为用户进行测试的策略，对照策略为用于该实验策略进行对比的策略，在一实施方式中，该策略可以为广告的投放策略，也可以为页面的展示策略等，在本实施例中不作限定。
如图6所示，一种计算机设备2，所述计算机设备2包括：
存储器21，用于存储可执行程序代码；以及
处理器22，用于调用所述存储器21中的所述可执行程序代码，执行步骤包括上述的对照实验的数据处理的方法。
图6中以一个处理器22为例。
存储器21作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的对照实验的数据处理的方法对应的程序指令/模块(例如，图5所示的确定模块501、获取模块502、替换模块503、返回模块504、存储模块505以及评估模块506)。处理器22通过运行存储在存储器21中的非易失性软件程序、指令以及模块，从而执行计算机设备2的各种功能应用以及数据处理，即实现上述方法实施例对照实验的数据处理的方法。
存储器21可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备2的播放信息。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器21可选包括相对于处理器22远程设置的存储器21，这些远程存储器21可以通过网络连接至对照实验的数据处理装置500。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器21中，当被所述一个或者多个处理器22执行时，执行上述任意方法实施例中的对照实验的数据处理的方法，例如，执行以上描述的图2中的方法步骤S20至步骤S23、图3中的方法步骤S30 至步骤S34、图4中的方法步骤S40至步骤S44、实现图5所示的确定模块501、获取模块502、替换模块503、返回模块504、存储模块505以及评估模块506 的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的计算机设备2以多种形式存在，包括但不限于:
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图6中的一个处理器22，可使得上述一个或多个处理器22可执行上述任意方法实施例中的对照实验的数据处理的方法，例如，执行以上描述的图2中的方法步骤S20至步骤S23、图3中的方法步骤S30至步骤S34、图4 中的方法步骤S40至步骤S44、实现图5所示的确定模块501、获取模块502、替换模块503、返回模块504、存储模块505以及评估模块506的功能。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM) 或随机存储记忆体(RandomAccessMemory，RAM)等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种对照实验的数据处理方法，其特征在于，包括：
接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；
若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；
采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；
根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
2.根据权利要求1所述的对照实验的数据处理方法，其特征在于，所述基线数据包括所述用户的标识数据以及所述用户的属性数据，所述用户的属性数据至少包括通过第一机器学习算法得到的所述用户的第一标签数据；所述实验数据包括所述用户的标识数据以及通过第二机器学习算法得到的所述用户的第二标签数据，其中，所述第一标签数据与所述第二标签数据为同一类型的标签数据。
3.根据权利要求2所述的对照实验的数据处理方法，其特征在于，所述第一标签数据与所述第二标签数据都为所述用户的偏好数据。
4.根据权利要求1至3任一项所述的对照实验的数据处理方法，其特征在于，所述对照实验的数据处理方法还包括：
预先将所有流量用户的基线数据存储至所述系统数据库中，以及预先将所有实验流量对应的用户的实验数据存储至所述实验流量对应的实验数据库中。
5.根据权利要求4所述的对照实验的数据处理方法，其特征在于，所述对照实验的数据处理方法还包括：
若所述用户流量为对照流量，则从系统数据库中获取与所述用户关联的基线数据。
6.根据权利要求5所述的对照实验的数据处理方法，其特征在于，所述对照实验的数据处理方法还包括：
若所述用户流量为实验流量，则采用实验标识对所述实验流量进行标识；
若所述用户流量为对照流量，则采用对照标识对所述对照流量进行标识。
7.根据权利要求6所述的对照实验的数据处理方法，其特征在于，所述对照实验的数据处理方法还包括：
统计各个实验流量以及各个对照流量对应的效果参数，根据所述效果参数对所述实验流量对应的实验策略以及所述对照流量对应的对照策略进行评估。
8.一种对照实验的数据处理装置，其特征在于，包括：
确定模块，用于接收用户的访问请求，根据预设规则确定所述访问请求对应的用户流量是否为实验流量；
获取模块，用于若所述用户流量为实验流量，则从所述实验流量对应的实验数据库中获取与所述用户关联的实验数据，以及从系统数据库中获取与所述用户关联的基线数据；
替换模块，用于采用所述实验数据替换所述基线数据中的与所述实验数据相对应的数据，以得到新的基线数据；
返回模块，用于根据所述新的基线数据确定所述访问请求对应的业务参数，并将所述业务参数返回至所述访问请求对应的请求终端。
9.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的对照实验的数据处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的对照实验的数据处理方法的步骤。
CN201910877715.8A 2019-09-17 2019-09-17 对照实验的数据处理方法、装置、计算机设备及存储介质 Active CN112532406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910877715.8A CN112532406B (zh) 2019-09-17 2019-09-17 对照实验的数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910877715.8A CN112532406B (zh) 2019-09-17 2019-09-17 对照实验的数据处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112532406A true CN112532406A (zh) 2021-03-19
CN112532406B CN112532406B (zh) 2023-03-10

Family

ID=74974774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877715.8A Active CN112532406B (zh) 2019-09-17 2019-09-17 对照实验的数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112532406B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442249A (zh) * 2022-08-25 2022-12-06 广州侨远信息科技有限公司 基于大数据和联邦学习技术的网络自动化运维方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005018A1 (en) * 2010-07-02 2012-01-05 Vijay Krishna Narayanan Large-Scale User Modeling Experiments Using Real-Time Traffic
WO2017077095A1 (en) * 2015-11-06 2017-05-11 Solution Seeker As Assessment of flow networks
CN108257034A (zh) * 2016-12-27 2018-07-06 天津永成科技有限公司 一种实验数据查询系统
CN108632213A (zh) * 2017-03-20 2018-10-09 腾讯科技（北京）有限公司 设备信息处理方法及装置
CN109039800A (zh) * 2018-06-28 2018-12-18 腾讯科技（深圳）有限公司 在流量实验中进行流量分配的方法、装置和计算机设备
CN109815013A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110046296A (zh) * 2019-03-12 2019-07-23 平安城市建设科技(深圳)有限公司 实验数据的处理方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005018A1 (en) * 2010-07-02 2012-01-05 Vijay Krishna Narayanan Large-Scale User Modeling Experiments Using Real-Time Traffic
WO2017077095A1 (en) * 2015-11-06 2017-05-11 Solution Seeker As Assessment of flow networks
CN108257034A (zh) * 2016-12-27 2018-07-06 天津永成科技有限公司 一种实验数据查询系统
CN108632213A (zh) * 2017-03-20 2018-10-09 腾讯科技（北京）有限公司 设备信息处理方法及装置
CN109039800A (zh) * 2018-06-28 2018-12-18 腾讯科技（深圳）有限公司 在流量实验中进行流量分配的方法、装置和计算机设备
CN109815013A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110046296A (zh) * 2019-03-12 2019-07-23 平安城市建设科技(深圳)有限公司 实验数据的处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442249A (zh) * 2022-08-25 2022-12-06 广州侨远信息科技有限公司 基于大数据和联邦学习技术的网络自动化运维方法及系统
CN115442249B (zh) * 2022-08-25 2023-09-01 广州侨远信息科技有限公司 基于大数据和联邦学习技术的网络自动化运维方法及系统

Also Published As

Publication number Publication date
CN112532406B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN105164712B (zh) 聚合账户通知的按优先级排序和场境显示
WO2020135535A1 (zh) 一种推荐模型训练方法及相关装置
CA2700030C (en) Touchpoint customization system
CN107808295B (zh) 多媒体数据投放方法及装置
CN110245069B (zh) 页面版本的测试方法和装置、页面的展示方法和装置
WO2018121700A1 (zh) 基于已安装应用来推荐应用信息的方法、装置、终端设备及存储介质
CN110223186B (zh) 用户相似度确定方法以及信息推荐方法
CN111259019A (zh) 资源配置方法、装置、设备和存储介质
US20160267499A1 (en) Website personalization based on real-time visitor behavior
CN112148992A (zh) 内容推送方法、装置、计算机设备和存储介质
CN105956086B (zh) 多媒体资源的推荐方法和装置
CN112818224A (zh) 信息推荐方法、装置、电子设备及可读存储介质
CN112507218A (zh) 业务对象推荐方法、装置、电子设备及存储介质
CN110362751B (zh) 业务推荐方法、装置、计算机设备和存储介质
CN110390577A (zh) 订单的分配方法及装置
CN112532406B (zh) 对照实验的数据处理方法、装置、计算机设备及存储介质
CN109275357A (zh) 防止数据泄露
CN103457944A (zh) 信息推送方法、装置和服务器
CN112784159A (zh) 内容推荐方法、装置、终端设备及计算机可读存储介质
CN106815285A (zh) 基于视频网站的视频推荐的方法、装置及电子设备
CN114358842B (zh) 一种广告投放的调控方法、装置、设备和介质
CN114547116A (zh) 一种数据推送方法、装置、设备和介质
CN114491093A (zh) 多媒体资源推荐、对象表征网络的生成方法及装置
US11062386B1 (en) Bid placement for ranked items
CN114398490B (zh) 一种基于分层注意力机制的知识图谱补全方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant