CN111625720B - 数据决策项目执行策略的确定方法、装置、设备和介质 - Google Patents
数据决策项目执行策略的确定方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111625720B CN111625720B CN202010436456.8A CN202010436456A CN111625720B CN 111625720 B CN111625720 B CN 111625720B CN 202010436456 A CN202010436456 A CN 202010436456A CN 111625720 B CN111625720 B CN 111625720B
- Authority
- CN
- China
- Prior art keywords
- user
- index set
- relation index
- relation
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000002474 experimental method Methods 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims abstract description 73
- 230000006399 behavior Effects 0.000 claims description 70
- 238000012549 training Methods 0.000 claims description 35
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本发明实施例公开了一种数据决策项目执行策略的确定方法、装置、设备和介质。该方法包括：确定与目标数据决策项目对应的用户实验组、用户对照组及上线测试期；分别根据用户实验组及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集及用户对照组与上线平台的第二关系指数集，关系指数集中的关系指数用于指示目标用户对上线平台的粘性度；根据第一关系指数集与第二关系指数集确定目标数据决策项目的执行策略。上述技术方案中，以用户与平台的关系指数为标准来确定数据决策项目的执行策略，确定方式客观且通用，解决了确定数据决策项目执行策略时存在人为主观因素的问题。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种数据决策项目执行策略的确定方法、装置、设备和介质。
背景技术
随着电子平台的发展，人工智能等数据决策项目越来越多，例如是个性化推荐、个性化信息投放等。其中，数据决策项目，具体是指利用海量数据来支持决策的项目。关于数据决策项目的执行策略，大多都不同且存在人为主观因素。因此，如何为数据决策项目确定客观且通用的执行策略是一个目前亟待解决的问题。
发明内容
本发明实施例提供一种数据决策项目执行策略的确定方法、装置、设备和介质，以实现为不同的数据决策项目确定客观且通用的执行策略。
第一方面，本发明实施例提供了一种数据决策项目执行策略的确定方法，该方法包括：
确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略。
第二方面，本发明实施例还提供了一种数据决策项目执行策略的确定装置，该装置包括：
数据决策项目准备模块，用于确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
关系指数预测模块，用于分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
执行策略确定模块，用于根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任意实施例所述的数据决策项目执行策略的确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意实施例所述的数据决策项目执行策略的确定方法。
本发明实施例中，首先确定出与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期，然后根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组以及用户对照组与目标数据决策项目上线平台的关系指数，进而根据预测得到的关系指数确定目标数据决策项目的执行策略。在上述技术方案中，以用户与平台的关系指数为标准来确定数据决策项目的执行策略，确定方式客观且通用，解决了确定数据决策项目执行策略时存在人为主观因素的问题，为数据决策项目的平台上线客观分析提供了极大的便利。
附图说明
图1是本发明实施例一提供的一种数据决策项目执行策略的确定方法的流程图；
图2是本发明实施例二提供的一种数据决策项目执行策略的确定方法的流程图；
图3是本发明实施例三提供的一种数据决策项目执行策略的确定方法的流程图；
图4是本发明实施例三提供的一种数据决策项目执行策略的确定系统的模块结构示意图；
图5是本发明实施例四提供的一种数据决策项目执行策略的确定装置的模块结构示意图；
图6是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种数据决策项目执行策略的确定方法的流程图，本实施例可适用于对在数据决策项目正式平台上线之前进行评估分析的情况，该方法可以由本发明任意实施例提供的数据决策项目执行策略的确定装置来执行，该装置可由硬件和/或软件组成，并一般可集成在计算机设备中。
如图1所述，本实施例提供的数据决策项目执行策略的确定方法包括以下步骤：
S110、确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期。
目标数据决策项目，指的是需要确定执行策略的一个数据决策项目。在一种示例中，目标数据决策项目是与平台运行相关的数据决策项目。
目标数据决策项目，在平台正式上线前可以进行AB实验，即在平台的全量用户中抽取A、B两组用户。其中，A组用户作为与目标数据决策项目对应的用户实验组，用户实验组具体体验的是目标数据决策项目上线测试的平台环境；B组用户作为与目标数据决策项目对应的用户对照组，对照组体验的目标数据决策项目未上线测试的平台环境，也即原有的平台环境。
其中，用户实验组与用户对照组的用户特征应该是基本一致的。
在本实施例一种可选的实施方式中，可以将确定与目标数据决策项目对应的用户实验组、用户对照组，具体为：
在全量用户中随机抽取部分用户作为与目标数据决策项目对应的用户实验组；抽取全量用户中所述用户实验组之外的部分用户作为与目标数据决策项目对应的用户对照组；其中，用户实验组和用户对照组的用户数量相同或相匹配。
例如，某日在平台全量用户中随机抽取部分用户，其用户量级可以是十万以上百万以下，作为用户实验组，然后在平台全量用户除用户实验组之外的用户中随机抽取部分用户作为用户对照组，用户实验组和用户对照组中的用户数量也可以不完全相等，但用户实验组和用户对照组的用户量级应基本保持一致。
上线测试期，指的是目标数据决策项目在平台正式上线之前的测试周期。在一示例中，考虑到用户对平台的使用存在周期性的变化，如周末的用户活跃度明显高于工作日的用户活跃度，且用户对平台的粘性度变化也需要一定的时间呈现，进而上线测试期可以设置为一个自然周期，尽量覆盖周末和工作日，且用户行为在所有日期内都是可信的。
假设，7天时间足以反应用户对平台的粘性度(以直播平台为例，还可以是用户对主播的粘性度)变化，且7天与14天、21天、28天的变化结果较为一致，则可以将上线测试期设置为七天。
S120、分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集；其中，关系指数集中的关系指数用于指示目标用户对上线平台的粘性度。
在上线测试期结束之后，即可获取用户实验组和用户对照组在目标数据决策项目上线测试期中的用户行为数据，例如，上线测试期为7天，则可以在目标数据决策项目上线测试的第8天获取用户实验组以及用户对照组在上线测试期中的用户行为数据。
其中，用户行为数据具体指的是用户在平台上的操作数据，以直播平台为例，用户行为数据可以是用户的观看时长、用户的弹幕行为、付费行为、分享行为、送礼行为、用户自身的渠道属性、观看主播的特征属性(如主播是否为大神、是什么风格等)，等等。
第一关系指数集中包括多个关系指数，具体为用户实验组中各个用户与上线平台的关系指数，指示用户实验组中各个用户与上线平台的粘性度；第二关系指数集中包括多个关系指数，具体为用户对照组中各个用户与上线平台的关系指数，指示用户对照组中各个用户与上线平台的粘性度。
其中，关系指数例如可以通过百分比的形式表示，若关系指数为98％，表明用户与上线平台的粘性度很高，即用户在平台留存的可能性很高，若关系指数为10％，表明用户与上线平台的粘性度很低，即用户在平台留存的可能性很低。
根据用户实验组以及用户对照组中的用户在上线测试期间的用户行为数据，即可预测各个用户与上线平台的关系指数，进而可以得到用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集。
S130、根据第一关系指数集与第二关系指数集，确定目标数据决策项目的执行策略。
可选的，执行策略具体指的是目标数据决策项目在平台正式上线之前的执行策略，例如可以继续测试、加量测试、下线整改等等。
在一种示例中，可以分别对第一关系指数集和第二关系指数集中包括的关系指数进行统计分析，例如可以统计关系指数的数值分布情况，统计关系指数的均值，统计关系指数的方差等，进而可以根据第一关系指数集与第二关系指数集中关系指数的统计分析结果，确定目标数据决策项目的执行策略。
例如，当第一关系指数集的关系指数均值明显高于第二关系指数集，且第一关系指数集的关系指数方差明显低于第二关系指数集时，则可以指示对目标数据决策项目进行加量测试；再例如，当第一关系指数集的关系指数均值明显低于第二关系指数集，且第一关系指数集的关系指数方差明显高于第二关系指数集时，甚至是当第一关系指数集的关系指数均值与第二关系指数集差别不大，且第一关系指数集的关系指数方差也与第二关系指数集差别不大时，则可以指示对目标数据决策项目进行下线整改。
在一种可选的实施方式中，可以将根据第一关系指数集与第二关系指数集，确定目标数据决策项目的执行策略，具体为：
如果确定第一关系指数集和第二关系指数集满足项目执行判定条件，则指示对目标数据决策项目进行加量测试，也即增加用户实验组的用户量级。
在另一种可选的实施方式中，可以将根据第一关系指数集与第二关系指数集，确定目标数据决策项目的执行策略，具体为：
如果确定第一关系指数集和第二关系指数集不满足项目执行判定条件，则指示对目标数据决策项目进行下线整改。
也即，当第一关系指数集和第二关系指数集满足项目执行判定条件时，目标数据决策项目的执行策略为加量测试，当第一关系指数集和第二关系指数集不满足项目执行判定条件时，目标数据决策项目的执行策略为下线整改。其中，项目执行判定条件，可以是与第一关系指数集以及第二关系指数集中包括关系指数对应的判断条件，例如可以是均值判断条件、方差判断条件、数值分布情况判断条件等等。
AB实验本质上是小流量实验，其实验数据效果评估依赖于统计上的假设检验、显著性评估以及参数估计。为保证数据评估的科学性，反映到数据上要求用户实验组与上线平台的关系指数大于用户对照组且提升幅度具有显著性，关系指数提升的用户占比应是绝大多数。
作为本实施例一种可选的实施方式，项目执行判断条件至少包括：关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件。
其中，关系指数均值大小判定条件包括第一关系指数集的关系指数均值大于第二关系指数集的关系指数均值。
即，用户实验组中各个用户与上线平台的关系指数的均值大于用户对照组中的各个用户与上线平台的关系指数的均值。
单侧检验置信区间判定条件包括第一关系指数集和第二关系指数集的单侧检验置信区间均大于等于第一设定阈值。
即，用户实验组的关系指数单侧检验的置信区间大于等于第一设定阈值，用户对照组的关系指数单侧检验的置信区间也大于等于第一设定阈值，第一设定阈值例如可以是90％。在一示例中，单侧检验的置信区间可以采用Z-score单侧检验的置信区间。
对位领先率判定条件包括第一关系指数集针对第二关系指数集的对位领先率大于等于第二设定阈值；其中，第一关系指数集针对第二关系指数集的对位领先率指示所述第一关系指数集中第一目标关系指数大于所述第二关系指数集中第二目标关系指数的占比，第一目标关系指数与第二目标关系指数在各自的关系指数集中的排序位置相同，且第一关系指数集和第二关系指数集的大小排序方式相同。
即，将第一关系指数集以及第二关系指数集中的关系指数按设定大小排序方式进行排序，例如可以是按照关系指数递增排序，比较第一关系指数集以及第二关系指数集中相同排序位置上的关系指数的大小，并统计第一关系指数集中关系指数大于第二关系指数集的用户数量，进而可以计算出第一关系指数集中关系指数大于第二关系指数集的用户数量占比，也即统计的是关系指数有提升的用户数量占比，此用户数量占比即为对位领先率。可选的，第一关系指数集针对第二关系指数集的对位领先率大于等于80％。
在一种可选的实施方式中，如果确定第一关系指数集和第二关系指数集同时满足关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件，则指示对目标数据决策项目进行加量测试；
如果确定第一关系指数集和第二关系指数集不能同时满足关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件，则指示对目标数据决策项目进行下线整改。
本发明实施例中，首先确定出与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期，然后根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组以及用户对照组与目标数据决策项目上线平台的关系指数，进而根据预测得到的关系指数确定目标数据决策项目的执行策略。在上述技术方案中，以用户与平台的关系指数为标准来确定数据决策项目的执行策略，确定方式客观且通用，解决了确定数据决策项目执行策略时存在人为主观因素的问题，为数据决策项目的平台上线客观分析提供了极大的便利。
实施例二
图2是本发明实施例二提供的一种数据决策项目执行策略的确定方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，
将分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集，具体为：
通过关系指数预测模型，分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集。
如图2所示，本实施例提供的一种数据决策项目执行策略的确定方法包括以下步骤：
S210、确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期。
S220、通过关系指数预测模型，分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集。
关系指数预测模型，是预先建立的一个模型，用于根据用户行为数据对用户与上线平台的关系指数进行预测。
以直播平台为例，用户行为数据可以是用户的观看时长、用户的弹幕行为、付费行为、分享行为、送礼行为、用户自身的渠道属性、观看主播的特征属性(如主播是否为大神、主播是什么风格等)，等等。关系指数预测模型，具体用于将这些单一的用户属性转换为通用的用户与上线平台的关系指数，也即用户对上线平台的粘性度，这个粘性度能够反映MAU(Monthly Active User)的次月发展趋势，其中，MAU是一个用户数量统计名词，指网站、app等月活跃用户数量(去除重复用户数)。关系指数预测模型是从平台全局角度出发，衡量用户对上线平台的粘性度变化。
作为本实施例一种可选的实施方式，在通过关系指数预测模型，分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线平台的第一关系指数集，以及用户对照组与上线平台的第二关系指数集之前，还包括：
根据上线平台的用户历史行为数据确定训练数据样本以及与训练数据样本对应的用户行为标签；根据训练数据样本以及与训练数据样本对应的用户行为标签进行建模，得到关系指数预测模型。
用户历史行为数据，指的是设定历史事件段内的平台内的用户行为数据，例如是在线时长、付费行为、分享行为、点赞行为，等等。用户行为标签，指的是用于指示用户是否存留的标签，例如可以是用于指示用户次月是否留存的标签。
根据大量的用户历史行为数据构建用于建模的训练数据样本集，其中，训练数据样本集中包括大量的训练数据样本，每个训练数据样本可以是数据特征矩阵，包括多个特征属性，而且每个训练数据样本均对应存在其用户行为标签。
根据训练数据样本以及与训练数据样本对应的用户行为标签进行建模，得到关系指数预测模型，关系指数预测模型能够预测用户与上线平台的关系指数。也即，将一个用户的用户行为数据输入关系指数预测模型，关系指数预测模型可以输出该用户与上线平台的关系指数，也即用户在上线平台的留存概率，能够反映该用户在次月留存的可能性。
作为一种可选的实施方式，可以将根据训练数据样本以及与训练数据样本对应的用户行为标签进行建模，具体为：采用梯度提升迭代决策树算法，根据训练数据样本以及与训练数据样本对应的用户行为标签进行建模。
GBDT(GradientBoostingDecisionTree，梯度提升迭代决策树)算法，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。
S230、判断第一关系指数集和第二关系指数集是否满足项目执行判定条件，若是，则执行S240，若否，则执行S250。
可选的，项目执行判断条件至少包括：关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件。
S240、指示对目标数据决策项目进行加量测试。
S250、指示对目标数据决策项目进行下线整改。
本实施例未尽详细解释说明之处，请详见前述实施例，在此不再赘述。
在上述技术方案中，创建的关系指数预测模型的离线性能、准确率以及覆盖率都达到了一个较高的水准，将关系指数预测模型预测的用户与上线平台的关系指数(也即用户在上线平台的留存概率)，与平台的次月MAU计算相关性，二者的一致性高达80％以上，充分说明了关系指数预测模型的有效性。
实施例三
图3是本发明实施例三提供的一种数据决策项目执行策略的确定方法的流程图。本实施例在上述实施例的基础上提供了一种具体的实施方式，其中，将目标数据决策项目的上线平台具体为直播平台。
如图3所示，本实施例提供的一种数据决策项目执行策略的确定方法包括以下步骤：
S310、确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期。
S320、通过关系指数预测模型，分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线直播平台的第一关系指数集，以及用户对照组与上线直播平台的第二关系指数集。
可选的，在创建关系指数预测模型时，可以根据上线平台的用户-主播历史行为数据确定训练数据样本以及与训练数据样本对应的用户行为标签，进而根据训练数据样本以及与训练数据样本对应的用户行为标签进行建模，得到关系指数预测模型。
其中，根据上线平台的用户-主播历史行为数据确定训练数据样本时，可以根据用户-主播历史行为数据构建数据特征矩阵作为训练数据样本，数据特征矩阵的特征属性可以多达几十种，可以包括用户自身属性，如年龄、性别、偏好等等，可以包括主播自身属性，如直播时段、订阅规格等等，还可以包括用户与主播之间的交互行为属性，如一个用户对一个主播的交互行为属性，一个用户对多个主播的交互行为属性，等等。
S330、判断第一关系指数集和第二关系指数集是否同时满足关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件，若是，则执行S340，若否，则执行S350。
S340、指示对目标数据决策项目进行加量测试。
S350、指示对目标数据决策项目进行下线整改。
本实施例未尽详细解释说明之处，请详见前述实施例，在此不再赘述。
典型的，可以将本发明实施例提供的一种数据决策项目执行策略的确定方法包装成一个系统，如图4所示，该系统包括数据决策项目测试模块和数据决策项目执行策略确定模块。其中，数据决策项目测试模块确定目标数据决策项目的用户实验组、用户对照组以及上线测试期，在目标数据决策项目的上线测试期结束后，将目标数据决策项目的用户实验组、用户对照组以及上线测试期同步给数据决策项目执行策略确定模块，并展示目标数据决策项目的上线测试结果；数据决策项目执行策略确定模块，通过关系指数预测模型，分别根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组与上线直播平台的第一关系指数集，以及用户对照组与上线直播平台的第二关系指数集，并判断第一关系指数集和第二关系指数集是否同时满足关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件，若判断出同时符合，则指示数据决策项目测试模块对目标数据决策项目进行加量测试，若判断出不能同时符合，则指示数据决策项目测试模块对目标数据决策项目进行下线整改。
在上述技术方案中，以用户与直播平台的关系指数为标准来确定数据决策项目的执行策略，确定方式客观且通用，且是以全面衡量的角度来确定的，解决了确定数据决策项目执行策略时存在人为主观因素的问题，为数据决策项目的平台上线客观分析提供了极大的便利。
实施例四
图5是本发明实施例四提供的一种数据决策项目执行策略的确定装置的模块结构示意图，本实施例可适用于对在数据决策项目正式平台上线之前进行评估分析的情况，该装置可以采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图5所示，该装置包括：数据决策项目准备模块410、关系指数预测模块420和执行策略确定模块430。其中，
数据决策项目准备模块410，用于确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
关系指数预测模块420，用于分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
执行策略确定模块430，用于根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略。
本发明实施例中，首先确定出与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期，然后根据用户实验组以及用户对照组在上线测试期中的用户行为数据，预测用户实验组以及用户对照组与目标数据决策项目上线平台的关系指数，进而根据预测得到的关系指数确定目标数据决策项目的执行策略。在上述技术方案中，以用户与平台的关系指数为标准来确定数据决策项目的执行策略，确定方式客观且通用，解决了确定数据决策项目执行策略时存在人为主观因素的问题，为数据决策项目的平台上线客观分析提供了极大的便利。
进一步的，关系指数预测模块420，具体用于通过关系指数预测模型，分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集。
进一步的，上述装置还包括：关系指数预测模型创建模块，用于在通过关系指数预测模型，分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集之前，根据所述上线平台的用户历史行为数据确定训练数据样本以及与所述训练数据样本对应的用户行为标签；根据所述训练数据样本以及与所述训练数据样本对应的用户行为标签进行建模，得到所述关系指数预测模型。
进一步的，关系指数预测模型创建模块，具体用于采用梯度提升迭代决策树算法，根据所述训练数据样本以及与所述训练数据样本对应的用户行为标签进行建模。
进一步的，执行策略确定模块430，具体用于如果确定所述第一关系指数集和所述第二关系指数集满足项目执行判定条件，则指示对所述目标数据决策项目进行加量测试；和/或，
如果确定所述第一关系指数集和所述第二关系指数集不满足项目执行判定条件，则指示对所述目标数据决策项目进行下线整改。
在一种可选的实施方式中，所述项目执行判断条件至少包括：关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件；
其中，所述关系指数均值大小判定条件包括第一关系指数集的关系指数均值大于第二关系指数集的关系指数均值；
所述单侧检验置信区间判定条件包括所述第一关系指数集和所述第二关系指数集的单侧检验置信区间均大于等于第一设定阈值；
所述对位领先率判定条件包括所述第一关系指数集针对所述第二关系指数集的对位领先率大于等于第二设定阈值；其中，所述第一关系指数集针对所述第二关系指数集的对位领先率指示所述第一关系指数集中第一目标关系指数大于所述第二关系指数集中第二目标关系指数的占比，所述第一目标关系指数与所述第二目标关系指数在各自的关系指数集中的排序位置相同，且所述第一关系指数集和所述第二关系指数集的大小排序方式相同。
进一步的，数据决策项目准备模块410，具体用于在全量用户中随机抽取部分用户作为与所述目标数据决策项目对应的用户实验组；抽取所述全量用户中所述用户实验组之外的部分用户作为与所述目标数据决策项目对应的用户对照组；其中，所述用户实验组和所述用户对照组的用户数量相同或相匹配。
本发明实施例所提供的数据决策项目执行策略的确定装置可执行本发明任意实施例所提供的数据决策项目执行策略的确定方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器50、存储器51、输入装置52和输出装置53；计算机设备中处理器50的数量可以是一个或多个，图6中以一个处理器50为例；计算机设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据决策项目执行策略的确定方法对应的程序指令/模块(例如，附图5所示的数据决策项目执行策略的确定装置中的数据决策项目准备模块410、关系指数预测模块420和执行策略确定模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的数据决策项目执行策略的确定方法。
存储器51可主要包括存储程序区和存储数据表区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据表区可存储根据计算机设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种数据决策项目执行策略的确定方法，该方法包括：
确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的数据决策项目执行策略的确定方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述数据决策项目执行策略的确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种数据决策项目执行策略的确定方法，其特征在于，包括：
确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略；
分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集，包括：
通过关系指数预测模型，分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集。
2.根据权利要求1所述的方法，其特征在于，在通过关系指数预测模型，分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集之前，还包括：
根据所述上线平台的用户历史行为数据确定训练数据样本以及与所述训练数据样本对应的用户行为标签；
根据所述训练数据样本以及与所述训练数据样本对应的用户行为标签进行建模，得到所述关系指数预测模型。
3.根据权利要求2所述的方法，其特征在于，根据所述训练数据样本以及与所述训练数据样本对应的用户行为标签进行建模，包括：
采用梯度提升迭代决策树算法，根据所述训练数据样本以及与所述训练数据样本对应的用户行为标签进行建模。
4.根据权利要求1所述的方法，其特征在于，根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略，包括：
如果确定所述第一关系指数集和所述第二关系指数集满足项目执行判定条件，则指示对所述目标数据决策项目进行加量测试；和/或，
如果确定所述第一关系指数集和所述第二关系指数集不满足项目执行判定条件，则指示对所述目标数据决策项目进行下线整改。
5.根据权利要求4所述的方法，其特征在于，所述项目执行判断条件至少包括：关系指数均值大小判定条件、单侧检验置信区间判定条件以及对位领先率判定条件；
其中，所述关系指数均值大小判定条件包括第一关系指数集的关系指数均值大于第二关系指数集的关系指数均值；
所述单侧检验置信区间判定条件包括所述第一关系指数集和所述第二关系指数集的单侧检验置信区间均大于等于第一设定阈值；
所述对位领先率判定条件包括所述第一关系指数集针对所述第二关系指数集的对位领先率大于等于第二设定阈值；其中，所述第一关系指数集针对所述第二关系指数集的对位领先率指示所述第一关系指数集中第一目标关系指数大于所述第二关系指数集中第二目标关系指数的占比，所述第一目标关系指数与所述第二目标关系指数在各自的关系指数集中的排序位置相同，且所述第一关系指数集和所述第二关系指数集的大小排序方式相同。
6.根据权利要求1所述的方法，其特征在于，确定与目标数据决策项目对应的用户实验组、用户对照组，包括：
在全量用户中随机抽取部分用户作为与所述目标数据决策项目对应的用户实验组；
抽取所述全量用户中所述用户实验组之外的部分用户作为与所述目标数据决策项目对应的用户对照组；
其中，所述用户实验组和所述用户对照组的用户数量相同或相匹配。
7.一种数据决策项目执行策略的确定装置，其特征在于，包括：
数据决策项目准备模块，用于确定与目标数据决策项目对应的用户实验组、用户对照组以及上线测试期；
关系指数预测模块，用于分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集；其中，所述关系指数集中的关系指数用于指示目标用户对所述上线平台的粘性度；
执行策略确定模块，用于根据所述第一关系指数集与所述第二关系指数集，确定所述目标数据决策项目的执行策略；
所述关系指数预测模块，具体用于通过关系指数预测模型，分别根据所述用户实验组以及所述用户对照组在所述上线测试期中的用户行为数据，预测所述用户实验组与上线平台的第一关系指数集，以及所述用户对照组与所述上线平台的第二关系指数集。
8.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据决策项目执行策略的确定方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的数据决策项目执行策略的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436456.8A CN111625720B (zh) | 2020-05-21 | 2020-05-21 | 数据决策项目执行策略的确定方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436456.8A CN111625720B (zh) | 2020-05-21 | 2020-05-21 | 数据决策项目执行策略的确定方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625720A CN111625720A (zh) | 2020-09-04 |
| CN111625720B true CN111625720B (zh) | 2024-01-19 |
Family
ID=72272002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010436456.8A Active CN111625720B (zh) | 2020-05-21 | 2020-05-21 | 数据决策项目执行策略的确定方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625720B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131079A (zh) * | 2020-09-22 | 2020-12-25 | 北京达佳互联信息技术有限公司 | 数据监控方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446222A (zh) * | 2018-03-05 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 应用测试方法、装置及设备 |
| CN109308552A (zh) * | 2017-07-26 | 2019-02-05 | 北京嘀嘀无限科技发展有限公司 | 一种业务策略评估方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180357654A1 (en) * | 2017-06-08 | 2018-12-13 | Microsoft Technology Licensing, Llc | Testing and evaluating predictive systems |
-
2020
- 2020-05-21 CN CN202010436456.8A patent/CN111625720B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308552A (zh) * | 2017-07-26 | 2019-02-05 | 北京嘀嘀无限科技发展有限公司 | 一种业务策略评估方法、装置及电子设备 |
| CN108446222A (zh) * | 2018-03-05 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 应用测试方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625720A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107040397B (zh) | 一种业务参数获取方法及装置 | |
| US20180308160A1 (en) | Risk assessment method and system | |
| CN108833458B (zh) | 一种应用推荐方法、装置、介质及设备 | |
| CN110689438A (zh) | 企业类金融风险评分方法、装置、计算机设备及存储介质 | |
| US20130246290A1 (en) | Machine-Assisted Legal Assessments | |
| CN111754241A (zh) | 一种用户行为感知方法、装置、设备及介质 | |
| CN111144941A (zh) | 商户评分的生成方法、装置、设备及可读存储介质 | |
| CN112651635A (zh) | 风险识别方法、装置、电子设备及存储介质 | |
| CN113869931A (zh) | 广告投放策略确定方法、装置、计算机设备和存储介质 | |
| CN111625720B (zh) | 数据决策项目执行策略的确定方法、装置、设备和介质 | |
| US10313457B2 (en) | Collaborative filtering in directed graph | |
| CN111652282B (zh) | 基于大数据的用户偏好分析方法、装置及电子设备 | |
| CN111858267B (zh) | 预警方法、装置、电子设备及存储介质 | |
| CN113742069A (zh) | 基于人工智能的容量预测方法、装置及存储介质 | |
| CN115481694B (zh) | 一种训练样本集的数据增强方法、装置、设备及存储介质 | |
| CN111784173A (zh) | Ab实验数据处理方法、装置、服务器及介质 | |
| CN110544166A (zh) | 样本生成方法、装置及存储介质 | |
| CN113673811B (zh) | 一种基于session的在线学习绩效评估方法及装置 | |
| CN111325350B (zh) | 可疑组织发现系统和方法 | |
| WO2021129368A1 (zh) | 一种客户类型的确定方法及装置 | |
| CN109344047B (zh) | 系统回归测试方法、计算机可读存储介质和终端设备 | |
| CN110766544A (zh) | 信用风险的检测方法及装置、存储介质、电子装置 | |
| CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 | |
| CN110619541A (zh) | 应用程序管理方法、装置、计算机设备及存储介质 | |
| US20220318824A1 (en) | System and Method to Determine the Value of Scientific Expertise in Large Scale Experimentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |