CN110620697B - 一种基于流量控制的测试方法及系统 - Google Patents

Abstract

本发明提供了一种基于流量控制的测试方法，所述方法包括：利用第一服务器获取用户流量，根据预设的分流规则，将所述用户流量按照一定比例分配给第二服务器和第三服务器；根据第一实验对第二服务器进行设置，利用所述分配的用户流量进行第一实验；根据第二实验对第三服务器进行设置，利用所述分配的用户流量进行第二实验；以及根据第一实验结果和第二实验结果确定数据或策略是否全量上线。所述方法能够在小流量范围内，利用多个服务器并行进行多个数据和策略实验，在测试过程中用户流量相互独立，避免了在测试过程中用户流量对测试结果造成的干扰，有效地提升了测试的可信度和测试效率。

Description

一种基于流量控制的测试方法及系统

技术领域

本发明涉及产品测试技术，特别涉及一种基于流量控制的测试方法及系统。

背景技术

在互联网领域，如果平台需要上线新版数据、新版策略或处理算法，该新版数据、新版策略或处理算法需经过测试，根据测试结果进行决定是否上线。例如，当测试结果较为成熟之后方可上线。一方面由于平台所上传的数据为海量数据，可能受到服务器性能的限制，很难对所有数据进行一次性测试，只能对所述新版数据和/或策略进行分批测试以完成更新，这样就容易降低数据和/或策略的更新效率，影响用户的使用体验。另一方面，如果全部流量用来测试所述新版数据、新版策略或处理算法，如果测试过程中出现漏洞(比如程序出现漏洞)，造成测试结果不佳，同样容易影响用户的使用体验。因此，有必要开发一种能够用于提升数据和/或策略的测试方法或系统，提高新版数据和/或策略的更新效率，提升用户的使用体验。

发明内容

针对现有技术中无法并行进行多个数据或策略实验的问题，本发明的目的在于提供了一种基于流量控制的测试方法和系统，通过多个服务器中的测试系统协同工作，可有效克服单个服务器在测试过程中的性能限制，提升了新版数据或策略的测试效率。

为达到上述发明目的，本发明提供的技术方案如下：

一方面，本发明提供了一种基于流量控制的测试方法，所述方法包括：利用第一服务器获取用户流量，根据预设的分流规则，将所述用户流量按照一定比例分配给第二服务器和第三服务器，其中所述用户流量包括用户请求，所述第二服务器用于第一实验，所述第三服务器用于第二实验；根据第一实验对所述第二服务器进行设置，利用所述分配的用户流量进行所述第一实验；根据第二实验对所述第三服务器进行设置，利用所述分配的用户流量进行所述第二实验。

在本发明中，所述第一实验包括与数据测试相关的数据实验，所述第二实验包括与策略测试相关的策略实验。

在本发明中，如果所述第一实验结果和/或第二实验结果满足要求，将所述数据和/或所述策略进行全量上线。

在本发明中，所述第一实验结果或第二实验结果包括点击率、定点率、关键词词长中的一种或多种。

在本发明中，将所述数据和/或策略进行全量上线的方法还包括：将所述第一服务器的流量切换到第二服务器；将所述数据导入第一服务器，在第一服务器上测试以检查所述数据是否导入成功，若成功，则将所述切换到第二服务器的流量切回到所述第一服务器，完成所述数据的全量上线。

在本发明中，将所述数据和/或策略进行全量上线的方法还包括：将所述第一服务器的流量切换到第三服务器；将所述策略导入第一服务器，在第一服务器上测试以检查所述策略是否导入成功，若成功，则将所述切换到第三服务器的流量切回到所述第一服务器，完成所述策略的全量上线。

一方面，本发明提供了一种实现所述基于流量控制的测试方法的多态存储系统。所述存储系统包括第一服务器、第二服务器和/或第三服务器，其特征在于所述第一服务器包括流量存储单元和分流单元，第二服务器包括第一实验单元和第一实验指标获取单元，第三服务器包括第二实验单元和第二实验指标获取单元，其中，所述流量存储单元用于存储用户请求；所述分流单元用于根据预设的分流规则，将所述存储的用户流量按照一定比例分配给第二服务器中的第一实验单元和第三服务器中的第二实验单元；所述第一实验单元基于所述分流单元分配的用户流量进行第一实验；所述第一实验指标获取单元用于获取所述第一实验结果；所述第二实验单元基于所述分流单元分配的用户流量进行第二实验；所述第二实验指标获取单元用于获取所述第二实验结果。

一方面，本发明提供了一种计算机可读存储介质，当计算机读取存储介质中的计算机指令后，计算机的运行方法如下：利用第一服务器获取用户流量，根据预设的分流规则，将所述用户流量按照一定比例分配给第二服务器和第三服务器，其中所述第二服务器用于第一实验，所述第三服务器用于第二实验；根据第一实验对所述第二服务器进行设置，利用所述分配的用户流量进行所述第一实验；根据第二实验对所述第三服务器进行设置，利用所述分配的用户流量进行所述第二实验。

另一方面，本发明还提供了一种基于流量控制的测试装置，所述装置包括：用于输入信息的输入装置；用于存储用户请求流量的存储装置；用于分配用户流量的分流装置；用于接收所述分流装置分配的流量并进行第一实验的第一实验装置；用于接收所述分流装置分配的流量并进行第二实验的第二实验装置。

在本发明中，所述测试装置还包括上线装置，所述上线装置用于将所述第一实验相关的数据和第二实验相关的策略全量上线。

与现有技术相比，本发明的有益效果表现如下：

在小流量范围内，利用多个服务器并行进行多个数据和策略实验，由于用户流量的相互独立性，避免了在测试过程中用户流量对测试结果造成的干扰，提升了测试的可信度和测试效率。

附图说明

图1是根据本发明实施例的基于流量控制的测试方法的流程图；

图2是根据本发明实施例的流量分配的示意图；

图3是根据本发明实施例的基于流量控制的测试系统的功能性模块图；

图3标记：300为基于流量控制的测试系统，310为第一服务器，311为流量存储单元，312为分流单元，320为第二服务器，321为第一实验单元，322为第一实验指标获取单元，330为第三服务器，331为第二实验单元，332为第二实验指标获取单元。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图和实施例对本发明的具体实施方式做详细的描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，都应当属于本发明保护的范围。

需要说明的是，本发明中的说明书和权利要求书及以上附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

图1是根据本发明实施例的基于流量控制的测试方法的流程图，以下结合图1对本发明实施例所提供的测试方法做具体介绍，如图1所示，所述测试方法包括：

在步骤110中，利用第一服务器获取用户流量，其中，所述用户流量可以包括用户请求。

可选地，所述用户请求可以是指用户对某个平台或者产品的访问。例如，用户A通过某款打车应用程序(application)查询上车起点位置的操作，即可视为用户请求。

当用户通过平台或产品发起请求，与所述平台或产品通信连接的第一服务器可以记录并存储所述用户请求，即存储用户流量。可选地，所述全部或部分用户流量可用于测试平台或产品相关的数据或者策略实验。

在步骤120中，所述第一服务器可按照预设的分流规则进行分流。

可选地，所述分流规则可以包括用户特征。所述用户特征可以包括但不限于归属地域、手机尾号、年龄、性别、会员和/或非会员等。例如，所述第一服务器可以将北京的用户流量分流给后续用于数据实验的第二服务器，还可以将天津的用户流量分流给后续用于策略实验的第三服务器。

可选地，所述分流规则可以包括分流比例。所述第一服务器按照所述分流比例分配其存储的用户流量。例如，如图2所示，所述第一服务器将50％的用户流量分配给第二服务器用于实验A，将50％的用户流量分配给第三服务器用于实验B。应当理解的是，所述分流比例可以按照实验数量进行预设，这样可以使得每个实验均能够基于一定的用户流量进行测试，以保证每个实验结果的可信度。在这里，对所述分流比例的具体数值不加以限制。

可选地，所述第一服务器还可以根据所述预设的分流规则生成分流标签。例如，所述分流标签可以由用户终端的IP地址、第一次访问的时间和/或一个随机数组成，如121.0.29.099.2017111326.8。进一步地，所述第一服务器可以将所述生成的分流标签写入用户的Cookie中，在分流时根据所述分流标签给不同的实验分配相应的流量。应当理解的是，所述分流标签不限于上述示例的数值序列，也可以包括文字和/或字符符号等。

需要知道的是，在现有技术中利用用户流量并行测试时，会采用分层实验的方法，即允许一个用户参加多个实验，这样可能会带来的影响就是用户的交叉使用会给实验结果带来一定的干扰。而在本发明中所述第一服务器是将用户流量按照预设的分流比例分配给第二服务器和/或第三服务器，对所述用户流量不存在交叉分配，也就是说，分配给第二服务器的用户流量和第三服务器器的用户流量是相互独立的、不相同的，这样可以避免在后续实验过程中由于用户流量的交叉使用造成的干扰，提升实验结果的可信度。

在步骤131中，根据第一实验对所述第二服务器进行设置，利用所述分配的用户流量在第二服务器上进行所述第一实验。例如，将待测试的数据部署到所述第二服务器上，所述待测试的数据可以通过计算机代码的形式部署到所述第二服务器上。可选地，所述第二服务器可以将待测试的数据推送给所述述分配的用户流量进行实验。

可选地，所述第一实验是数据实验，即与数据相关的实验。例如，典型的所述数据实验可以包括但不限于POI(Point of Interest)热度实验、计价模型实验、ETA(EstimatedTime of Arrival)模型实验、最优路径选择模型实验等算法相关实验。以某款打车平台为例，所述POI热度实验是用来测试用户的感兴趣点的热度的实验，诸如上车点、下车点的热度等；所述计价模型实验是用来测试用户打车所需支付的费用的实验；所述ETA模型实验是用来测试预计达到时间的实验；所述最优路径选择模型实验是用来测试路径规划和确定最优路径的实验。

在一些实施例中，所述第二服务器可以基于分配的用户流量并行执行多个数据实验。需要知道的是，在并行多个数据实验时，每个实验所分配的用户流量是相互独立的，不存在多个实验之间用户流量的交叉使用，因此，可以保证所述并行的多个数据实验的测试结果具有较高的可信度。

类似地，在步骤132中，根据第二实验对所述第三服务器进行设置，利用所述用户分配的用户流量在第三服务器上进行所述第二实验。例如，将待测试的策略部署到第三服务器，所述策略可以通过计算机代码的形式部署到所述第三服务器上。可选地，所述第三服务器可以将待测试的策略推送给所述述分配的用户流量进行实验。

可选地，所述第二实验是策略实验，即与策略相关的实验。例如，典型的策略实验可以包括父子点开放策略实验、数据召回(recall)策略实验以及页面展现形式调整实验等有关应用策略的实验。同样以某款打车平台为例，所述父子点中的父点是指一个或多个片状区域，比如橡树湾小区，子点是指一个或多个具体的点，比如橡树湾小区的东门、西门等。所述父子点开放策略实验可以指关于开放哪些子点作为推荐上车点或下车点的策略实验；所述数据召回策略实验是指关于召回数据规则的实验，比如，某搜索数据可以根据机器学习的方法进行召回；所述页面展现形式调整实验是指关于调整平台或产品的界面(UserInterface)展现形式，比如，某应用(APP)首页中字体大小的调整等。

同理，所述第三服务器可以基于分配的用户流量并行执行多个策略实验。需要知道的是，在并行多个数据实验时，每个实验所分配的用户流量是相互独立的，不存在多个实验之间用户流量的交叉使用，因此，可以保证所述并行的多个策略实验的测试结果具有较高的可信度。

在步骤140中，确定所述第一实验结果和/或第二实验结果。

可选地，利用实验指标量化所述第一实验结果和/或第二实验结果。

可选地，所述实验指标可以包括但不限于点击率、定点率和/或关键词词长等。

以某打车平台为例，在POI热度实验中，实验目标是测试橡树湾小区是否为用户POI点，可以通过记录用户在访问该平台时点击“橡树湾小区”的数量来确定点击率，如果“橡树湾小区”出现在用户的前三点击率中的地点，则证明“橡树湾小区”为用户POI，符合预期的实验目标，证明所述实验结果较好。

又例如，当用户通过某打车平台打车时推荐的下车点为“橡树湾小区北门”，而该用户的实际下车点则为“橡树湾小区东门”，那么所述“橡树湾小区北门”和“橡树湾小区东门”之间的距离即为定点率，即期望下车点和实际下车点之间的距离。当所述定点率在一定的阈值范围内(如，5米)，所述推荐的下车点符合实验目标，证明实验结果较好。

又例如，当用户通过某打车平台打车时，在搜索某地点时，输入的关键词越短，且能够搜索到用户想要的地点，则证明实验效果越好。比如，用户在输入“橡树”两个字时，即可预测出用户希望输入的“橡树湾小区”，而不需要输入全称“橡树湾小区”。

在步骤150中，根据第一实验结果和/或第二实验结果，确定数据和/或策略是否全量上线。

具体地，如果所述数据实验结果和/或策略试验结果满足要求，将所述数据和/或策略进行全量上线。例如，当用户的点击率、定点率和或输入的关键词词长中的一个或多个满足所述数据和/或策略实验要求，即可对所述数据或策略进行全量上线。

例如，将所述数据全量上线时，首先将所述第一服务器的流量切换到第二服务器，然后将所述数据导入所述第一服务器，并在所述第一服务器上测试以检查所述数据是否导入成功，若成功，则将所述切换到第二服务器的流量切回到所述第一服务器，完成所述数据的全量上线。

又例如，将所述策略全量上线时，首先将所述第一服务器的流量切换到第三服务器，然后将所述策略导入所述第一服务器，并在所述第一服务器上测试以检查所述策略是否导入成功，若成功，则将所述切换到第三服务器的流量切回到所述第一服务器，完成所述策略的全量上线。

可以理解的是，所述第一服务器、第二服务器和第三服务器可以是位于异地的多个机房进行协同工作，有效地缓解了服务器的负荷。

可以理解的是，当平台或者产品要上线某新版数据或者策略，所述新版数据或策略需要在部分用户范围内进行测试，待测试结果满足上线要求后方能上线，如果不经过测试，直接全量上线到所述平台或产品，可能会给所述平台或平台带来负面影响，如用户在访问所述平台或产品时，出现性能不稳定等bug。然而在测试过程中，如果离线测试所述新版数据或策略，可能又会导致所述平台或产品在离线测试期间无法使用。因此，基于部分用户流量在线测试所述新版数据或策略，然后根据实验结果再确定是否进行全量上线，可有效避免上述问题。

根据本发明实施例，还提供了一种用于实施上述基于流量控制的测试方法的多态存储系统，如图3所示，该系统包括第一服务器310、第二服务器320和/或第三服务器320。其中，第一服务器310包括流量存储单元311和分流单元312，第二服务器320包括第一实验单元321和第一实验指标获取单元322，第三服务器330包括第二实验单元331和第二实验指标获取单元332。

所述流量存储单元311可以用于获取存储用户请求。

可选地，所述用户请求可以是指用户对某个平台或者产品的访问。例如，用户A通过某款打车应用程序(application)查询上车起点位置的操作，即可视为用户请求。当用户通过平台或产品发起请求，所述流量存储单元311存储所述用户请求，即存储用户流量。

进一步地，所述分流单元312可以将存储的用户流量按照预设的分流规则分配给第二服务器320和第三服务器330，其中所述第二服务器可用于数据相关的实验，第三服务器可用于策略相关的实验。

可选地，所述分流规则可以包括用户特征。所述用户特征可以包括但不限于归属地域、手机尾号、年龄、性别、会员和/或非会员等。例如，所述分流单元312可以将北京的用户流量分流给后续用于数据实验的第二服务器320，还可以将天津的用户流量分流给后续用于策略实验的第三服务器330。

可选地，所述分流规则可以包括分流比例。所述分流单元312按照所述分流比例分配其存储的用户流量。例如，如图2所示，所述分流单元312将50％的用户流量分配给第二服务器320中的第一实验单元321用于实验A，将50％的用户流量分配给第三服务器330中的第二实验单元331用于实验B。应当理解的是，所述分流比例可以按照实验数量进行预设，这样可以使得每个实验均能够基于一定的用户流量进行测试，以保证每个实验结果的可信度。在这里，对所述分流比例的具体数值不加以限制。

可选地，所述分流单元312还可以根据所述预设的分流规则生成分流标签。例如，所述分流标签可以由用户终端的IP地址、第一次访问的时间和/或一个随机数组成，如121.0.29.099.2017111326.8。进一步地，所述分流单元312可以将所述生成的分流标签写入用户的Cookie中，在分流时根据所述分流标签给不同的实验分配相应的流量。应当理解的是，所述分流标签不限于上述示例的数值序列，也可以包括文字和/或字符符号等。

当分流单元312分流时，对所述用户流量不存在交叉分配，也就是说，分配给第二服务器的用户流量和第三服务器器的用户流量是相互独立的、不相同的，这样可以避免在后续实验过程中由于用户流量的交叉使用造成的干扰，提升实验结果的可信度。

所述第一实验单元321可以根据分配的用户流量进行第一实验(比如数据实验)。可选地，所述数据实验是指与数据相关的实验。例如，典型的所述数据实验可以包括但不限于POI(Point of Interest)热度实验、计价模型实验、ETA(Estimated Time of Arrival)模型实验、最优路径选择模型实验等算法相关的实验。

第一实验指标获取单元322用于获得所述第一实验的实验指标。可选地，所述实验指标包括但不限于点击率、定点率和/或关键词词长等。进一步地，可以根据所述获取的实验指标来确定相应的第一实验结果，并判断所述实验结果是否满足实验目标。如果所述实验指标满足实验目标，则可以将所述第一实验测试的数据进行全量上线。如果所述实验指标不满足实验目标，则需要继续调整所述第一实验，待满足实验目标之后方可上线。

同理，所述第二实验单元331可以利用所述分配的用户流量进行第二实验，例如，策略实验。可选地，所述策略实验可以包括但不限于父子点开放策略实验、数据召回(recall)策略实验以及页面展现形式调整实验等有关应用策略相关的实验。例如，以某款打车平台为例，所述父子点中的父点是指一个或多个片状区域，比如橡树湾小区，子点是指一个或多个具体的点，比如橡树湾小区的东门、西门等。所述父子点开放策略实验可以指关于开放哪些子点作为推荐上车点或下车点的策略实验；所述数据召回策略实验是指关于召回数据规则的实验，比如，某搜索数据可以根据机器学习的方法进行召回；所述页面展现形式调整实验是指关于调整平台或产品的界面(User Interface)展现形式，比如，某应用(APP)首页中字体大小的调整等。

第二实验指标获取单元332用于获得所述第二实验的实验指标。可选地，所述实验指标包括但不限于点击率、定点率和/或关键词词长等。进一步地，可以根据所述获取的实验指标来确定相应的第二实验结果，并判断所述实验结果是否满足实验目标。如果所述实验指标满足实验目标，则可以将所述第二实验测试的策略进行全量上线。如果所述实验指标不满足实验目标，则需要继续调整所述第二实验，待满足实验目标之后方可上线。

另外，为了实现如1所示的基于流量控制的测试方法，本发明还可以提供一种测试装置。所述装置包括输入装置、存储装置、分流装置、第一实验装置、第二实验装置和上线装置。

用户可以通过输入装置输入与所述第一实验和/或第二实验相关的信息。例如，用户可以输入执行数据实验或策略实验的命令，当第一实验装置或第二实验装置接收命令后，即可开始测试过程。

例如，所述分流装置向第一实验装置和/或第二实验装置分配用户流量，其中所述用户流量为存储在所述存储装置中的用户请求。进一步地，所述第一实验装置可以根据所分配的用户流量测试数据实验的效果，并获得相应的实验指标(如第一实验指标)。类似地，所述第二实验装置也可以根据所分配的用户流量测试策略实验，并获得相应的实验指标(如第二实验指标)。当所述第一和/或第二实验指标满足实验目标时，所述上线装置可将所述数据和/或策略进行全量上线。

需要说明的是，所述测试装置进行的具体的测试过程在图1中已详细描述，在此不再赘述。

以上所述仅为本发明的优选实施而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于流量控制的测试方法，其特征在于，所述方法包括：

利用第一服务器获取用户流量，根据预设的分流规则，将所述用户流量按照一定比例分配给第二服务器和第三服务器，其中所述用户流量包括用户请求，所述第二服务器用于第一实验，所述第三服务器用于第二实验；所述第一实验包括与数据测试相关的数据实验，所述第二实验包括与策略测试相关的策略实验；

根据第一实验对所述第二服务器进行设置，利用所述分配的用户流量进行所述第一实验；以及

根据第二实验对所述第三服务器进行设置，利用所述分配的用户流量进行所述第二实验。

2.如权利要求1所述的基于流量控制的测试方法，其特征在于，所述方法还包括：

如果所述第一实验结果和/或第二实验结果满足要求，将所述数据和/或所述策略进行全量上线。

3.如权利要求2所述的基于流量控制的测试方法，其特征在于，所述第一实验结果或第二实验结果包括点击率、定点率、关键词词长中的一种或多种。

4.如权利要求2所述的基于流量控制的测试方法，其特征在于，将所述数据和/或策略进行全量上线的方法包括：

将所述第一服务器的流量切换到第二服务器；以及

将所述数据导入第一服务器，在第一服务器上测试以检查所述数据是否导入成功，若成功，则将所述切换到第二服务器的流量切回到所述第一服务器，完成所述数据的全量上线。

5.如权利要求2所述的基于流量控制的测试方法，其特征在于，所述数据和/或策略进行全量上线的方法包括：

将所述第一服务器的流量切换到第三服务器；以及

将所述策略导入第一服务器，在第一服务器上测试以检查所述策略是否导入成功，若成功，则将所述切换到第三服务器的流量切回到所述第一服务器，完成所述策略的全量上线。

6.用于实现如权利要求1～5中任意一项所述的基于流量控制的测试方法的多态存储系统，包括第一服务器、第二服务器和/或第三服务器，其特征在于，所述第一服务器包括流量存储单元和分流单元，第二服务器包括第一实验单元和第一实验指标获取单元，第三服务器包括第二实验单元和第二实验指标获取单元，其中，

所述流量存储单元用于存储用户请求；

所述分流单元用于根据预设的分流规则，将所述存储的用户流量按照一定比例分配给第二服务器中的第一实验单元和第三服务器中的第二实验单元；

所述第一实验单元基于所述分流单元分配的用户流量进行第一实验；所述第一实验包括与数据测试相关的数据实验；

所述第一实验指标获取单元用于获取所述第一实验结果；

所述第二实验单元基于所述分流单元分配的用户流量进行第二实验；所述第二实验包括与策略测试相关的策略实验；以及

所述第二实验指标获取单元用于获取所述第二实验结果。

7.一种计算机可读存储介质，其特征在于所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机的运行方法如下：

利用第一服务器获取用户流量，根据预设的分流规则，将所述用户流量按照一定比例分配给第二服务器和第三服务器，其中所述第二服务器用于第一实验，所述第三服务器用于第二实验；所述第一实验包括与数据测试相关的数据实验，所述第二实验包括与策略测试相关的策略实验；

根据第一实验对所述第二服务器进行设置，利用所述分配的用户流量进行所述第一实验；以及

根据第二实验对所述第三服务器进行设置，利用所述分配的用户流量进行所述第二实验。

8.一种基于流量控制的测试装置，其特征在于，所述装置包括：

用于输入信息的输入装置；

用于存储用户请求流量的存储装置；

用于分配用户流量的分流装置；

用于接收所述分流装置分配的流量并进行第一实验的第一实验装置；以及

用于接收所述分流装置分配的流量并进行第二实验的第二实验装置；所述第一实验包括与数据测试相关的数据实验，所述第二实验包括与策略测试相关的策略实验。

9.如权利要求8所述的基于流量控制的测试装置，其特征在于，所述测试装置包括上线装置，所述上线装置用于将所述第一实验相关的数据和第二实验相关的策略全量上线。

Images