CN113392920A - 生成作弊预测模型的方法、装置、设备、介质及程序产品 - Google Patents
生成作弊预测模型的方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN113392920A CN113392920A CN202110710449.7A CN202110710449A CN113392920A CN 113392920 A CN113392920 A CN 113392920A CN 202110710449 A CN202110710449 A CN 202110710449A CN 113392920 A CN113392920 A CN 113392920A
- Authority
- CN
- China
- Prior art keywords
- cheating
- flow data
- traffic data
- feature
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000013528 artificial neural network Methods 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种生成作弊预测模型的方法、装置、设备、介质及程序产品，涉及深度学习和知识图谱等人工智能领域。该方法的一实施方式包括：获取目标流量数据集；根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据；根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
Description
技术领域
本公开涉及计算机领域，具体涉及深度学习和知识图谱等人工智能领域，尤其涉及一种生成作弊预测模型的方法、装置、设备、介质及程序产品。
背景技术
流量反作弊方法是从正常用户行为、机器爬取、恶意刷点击以及羊毛党等行为中去掉非正常用户行为的数据，从而得到有效的日活跃用户数量(Daily Active User，DAU)、点击等数据为后续进行机器学习建模提供准确数据的过程。
目前，目前的反作弊方法包括以下几种情况：(1)基于规则的反作弊方法。(2)采用统计的方法。(3)基于聚类的算法。
发明内容
本公开实施例提出了一种生成作弊预测模型的方法、装置、设备、介质及程序产品。
第一方面，本公开实施例提出了一种生成作弊预测模型的方法，包括：获取目标流量数据集；根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据；根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
第二方面，本公开实施例提出了一种生成作弊预测模型的装置，包括：数据获取模块，被配置成获取目标流量数据集；数据确定模块，被配置成根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据；数据得到模块，被配置成根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；模型训练模块，被配置成利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
第三方面，本公开实施例提出了一种预测作弊的方法，包括：获取待预测的流量数据集；将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中，得到第一预测标签；以及将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签；根据所述待预测的流量数据集中第一预测标签为作弊的流量数据，以及所述第一预测流量数据中第二预测标签为作弊的流量数据，确定所述待预测的流量数据集的作弊预测结果。
第四方面，本公开实施例提出了一种预测作弊的装置，包括：数据获取模块，被配置成获取待预测的流量数据集；第一得到模块，被配置成将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中，得到第一预测标签；以及第二得到模块，被配置成将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签；结果得到模块，被配置成根据所述待预测的流量数据集中第一预测标签为作弊的流量数据，以及所述第一预测流量数据中第二预测标签为作弊的流量数据，确定所述待预测的流量数据集的作弊预测结果
第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面描述的方法。
第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面描述的方法。
第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面描述的方法。
本公开实施例提供的生成作弊预测模型的方法、装置、设备、介质及程序产品提高了作弊预测模型对作弊行为的预测精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开可以应用于其中的示例性系统架构图；
图2是根据本公开的生成作弊预测模型的方法的一个实施例的流程图；
图3是根据本公开的生成作弊预测模型的方法的一个实施例的流程图；
图4是正常流量数据和异常流量数据之间的预设的比例对应的示意图；
图5是根据本公开的生成作弊预测模型的方法的一个实施例的示意图；
图6是根据本公开的生成作弊预测模型的方法的一个实施例的示意图；
图7是根据本公开的生成作弊预测模型的方法的一个实施例的示意图；
图8是根据本公开的生成作弊预测模型的方法的一个实施例的示意图；
图9是根据本公开的作弊预测的方法的一个实施例的示意图；
图10是根据本公开的生成作弊预测模型的装置的一个实施例的结构示意图；
图11是根据本公开的作弊预测的装置的一个实施例的结构示意图；
图12是用来实现本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的生成作弊预测模型的方法和装置或预测作弊的方法和装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，例如流量数据集。终端设备101、102、103上可以安装有各种客户端应用、智能交互应用，例如数据处理应用等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，终端设备可以为与用户通过键盘、触摸板、显示屏、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以提供各种服务。例如，服务器105可以获取终端设备101、102、103上的流量数据集；根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据；根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本公开实施例所提供的生成作弊预测模型的方法或预测作弊的方法一般由服务器105执行，相应地，生成作弊预测模型的装置或预测作弊行为的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本公开的生成作弊预测模型的方法的一个实施例的流程200。该生成作弊预测模型的方法生成作弊预测模型的方法可以包括以下步骤：
步骤201，获取目标流量数据集。
在本实施例中，生成作弊预测模型的方法(例如图1所示的终端设备101、102、103)可以采集其运行产生的流量数据，以得到目标流量数据集；或，生成作弊预测模型的方法(例如图1所示的服务器105)可以获取终端设备(例如图1所示的终端设备101、102、103)运行时产生的目标流量数据集。上述目标流量数据集可以为在网络上传输的流量数据，该目标流量数据可以用于对目标流量数据对应的用户的行为进行预测是否具为作弊行为。上述目标流量数据集可以为用户预设时间段内在网络上传输的数据的集合。在训练时，可以获取不同用户对应的目标流量数据集，以扩充训练样本。
本公开的技术方案中，所涉及的数据流量集的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
步骤202，根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据。
在本实施例中，上述执行主体可以将目标流量数据集输入至作弊预测模型的第一神经网络中，得到目标流量数据集对应的预测标签，该预测标签可以为作弊或不作弊；之后，根据目标流量数据集中流量数据对应的预测标签，确定目标流量数据集中不作弊对应的第一流量数据。上述作弊预测模型可以用于预测目标流量数据集是否存在作弊。上述第一神经网络可以用于对目标流量数据集进行初步预测。上述第一流量数据可以为通过第一神经网络预测其为作弊的数据集，该第一流量数据的数量可以为一个或多个。
步骤203，根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
在本实施例中，上述执行主体可以将第一流量数据输入第二神经网络中，得到第一流量数据对应的预测标签，该预测标签可以为作弊或不作弊。上述第二神经网络可以用于对第一流量数据中的每个流量数据进行预测，以确定是否存在作弊，以起到再次预测的目的。
步骤204，利用目标流量数据集中作弊对应的流量数据和第二流量数据对应的真实标签进行训练，生成作弊预测模型。
在本实施例中，上述执行主体可以利用目标流量数据集中作弊对应的流量数据和第二流量数据作为作弊预测模型的输入，将真实标签作为作弊预测模型的期望输出，训练初始模型，得到作弊预测模型。上述真实标签可以为真实值，该真实标签可以为作弊或不作弊。上述目标流量数据集中作弊对应的流量数据和第二流量数据，以及目标流量数据集中作弊对应的流量数据和第二流量数据对应的真实标签为训练作弊预测模型对应的训练样本。
具体地，上述执行主体在得到目标流量数据集中作弊对应的流量数据和第二流量数据，以及真实标签后，可以利用目标流量数据集中作弊对应的流量数据和第二流量数据，以及真实标签训练初始模型，得到作弊预测模型。在训练时，执行主体可以将目标流量数据集中作弊对应的流量数据和第二流量数据作为作弊预测模型的输入，以及将所输入对应的真实标签，作为期望输出，得到作弊预测模型。上述初始模型可以为现有技术或未来发展技术中的神经网络模型，例如，神经网络模型可以包括分类模型，如决策树模型(XGBoost)、逻辑回归模型(LR)、深度神经网络模型(DNN)、梯度提升决策树模型(Gradient BoostingDecision Tree，GBDT)、LightGBM网络等，对数字显示屏的类别和位置进行识别。
本公开实施例提供的生成作弊预测模型的方法，首先获取流量数据集；然后根据作弊预测模型的第一神经网络，确定流量数据集中不作弊对应的第一流量数据；然后根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；最后利用流量数据集中作弊对应的流量数据，以及第二流量数据进行训练，生成作弊预测模型。能够基于作弊预测模型中的第二神经网络对流量数据集中不作弊对应的第一流量数据进行检测是否还存在作弊的流量数据；然后，将第一流量数据中作弊的流量数据和流量数据集中作弊对应的流量数据对作弊预测模型进行训练，提高了作弊预测模型对作弊行为的预测精度。
进一步参考图3，图3示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程300。该生成作弊预测模型的方法可以包括以下步骤：
步骤301，获取目标流量数据集。
步骤302，将目标流量数据集输入作弊预测模型的第一神经网络中，得到目标流量数据集对应的预测标签，其中，预测标签为作弊或不作弊。
在本实施例中，生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以将目标流量数据集输入作弊预测模型的第一神经网络中，以得到目标流量数据集对应的预测标签，该预测标签可以用于表征目标流量数据集对应的用户是否具有作弊行为或不作弊行为。上述作弊预测模型的第一神经网络用于通过对目标流量数据集进行预测，以确定目标流量数据集对应的用户是否具备作弊行为。
步骤303，根据预测标签，确定目标流量数据集中不作弊对应的第一流量数据。
在本实施例中，上述执行主体可以根据目标流量数据集中每个流量数据对应的预测标签，从目标流量数据集中确定不作弊对应的第一流量数据。上述目标流量数据集中不作弊对应的第一流量数据可以为目标流量数据集中预测标签为不作弊对应的流量数据。
需要说明的是，第一流量数据中的流量数据的数量可以为一个或多个。
步骤304，根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
步骤305，利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
在本实施例中，步骤301、304、305的具体操作分别已在图2所示的实施例中步骤201、203、204进行了详细的介绍，在此不再赘述。
从图3中可以看出，与图2对应的实施例相比，本实施例中的生成作弊预测模型的方法突出了确定第一流量数据的步骤。由此，本实施例描述的方案根据作弊预测模型的第一神经网络，对目标流量数据集进行预测，以得到目标流量数据集中每个流量数据对应的预测标签；之后，根据目标流量数据集对应的预测标签，从目标流量数据集中确定不作弊对应的第一流量数据。能够通过作弊预测模型的第一神经网络实现对目标流量数据集的预测，进而可以根据预测结果对目标流量数据集进行分类。
在本实施例的一些可选的实现方式中，对目标流量数据集进行特征提取，得到目标流量数据集对应的特征库，可以包括：
从以下至少一个维度，对目标流量数据集进行特征提取，得到目标流量数据集对应的特征库：业务维度、渠道来源维度、设备维度、时序维度。
在本实现方式中，上述执行主体可以业务维度、渠道来源维度、设备维度、时序维度中的至少一个维度，对目标流量数据集进行特征提取，以得到目标流量数据集对应的特征库。
在这里，上述业务维度可以为从应用业务角度，该业务维度可以分为：搜索、推荐和广告，而每个业务对应的用户行为数据分布有较大的差异，如果直接通过用户纬度去聚合来提取相应特征会导致特征业务区分度不够而导致模型准确率和召回率的损失，因此，在用户维度的基础上增加业务纬度，之后聚合用户维度和业务维度，之后提取用户的行为统计特征，这样不仅增加了更多的特征使得模型不容易过拟合，同时也使得模型具有较强的业务辨识度。
渠道来源纬度：随着移动互联网的不断发展，流量数据的来源不仅有pc端同时还有移动端、小程序端以及外部流量等。各种不同渠道来的用户所产生的用户行为数据在分布上存在较大的差异，如果直接通过用户纬度进行特征提取，会由于不同渠道数据分布差异的问题，会导致模型在准确率识别上有较大的问题。因此，在用户加上渠道纬度聚合后再提取用户的行为统计特征，这样使得模型能够准确识别出由于不同渠道的用户所产生的行为不同，从而提升模型识别的准确率。
设备纬度：由于作弊用户如果使用高端设备进行作弊会导致成本较大，因此，作弊用户常常使用一些配置一般或较差的设备来进行作弊。我们为了提升模型的准确率，我们针对设备这个纬度进行特征细化，具体做法为：将设备分为不同的档，例如高、中、低三档，这样在将用户加上设备分档进行聚合再去提取相关的用户行为特征。
需要说明的是，目前电子设备迭代更新快，一个用户可能一年内更换设备，还可以将用户更换设备频率这个维度用于提取特征。
时序纬度：由于用户行为的长尾特性，以及特定行业场景。可以从时序纬度提取用户行为的信息墒和基尼系数来捕捉用户是否有规则的在网站上进行操作以及是否频繁更换行业，从而提取模型的召回率。
其它基础特征：为了使得模型能够更加精准捕捉到作弊用户，可以增加top 1特征，统计用户过去预设时间段(例如，1年)中搜索最多的query(查询)、点击最多的商品类目、时长最多的小时段以及使用最多的ua版本号。通过这些特征，可以使得模型的作弊识别能力进一步提升。
需要说明的是，上述流量数据可以来源于to B(business，企业)和/或to C(customer，用户)。
在本实现方式中，可以通过多个维度去提取丰富的特征库。
在本实施例的一些可选的实现方式中，目标流量数据集包括异常流量数据和正常流量数据，其中，正常流量数据与异常流量数据之间成预设的比例。
在本实现方式中，目标流量数据集可以包括异常流量数据和正常流量数据。上述异常流量数据可以与正常流量数据，为在一定期间内异常或正常波动的数据。上述预设的比例可以根据作弊预测模型的预测精度进行设置或由人工设定。
在这里，正常流量数据和异常流量数据之间成预设的比例，例如，正常流量数据a占目标流量数据集的40％，异常流量数据b占目标流量数据集的60％；或，正常流量数据a占目标流量数据集的70％，异常流量数据b占目标流量数据集的30％；之后，按照正常流量数据与异常流量数据之间成预设的比例，从正常流量数据a中抽取和异常流量数据b成预设的比例的正常流量数据c；之后，根据正常流量数据c和异常流量数据，得到新的数据流量集。
需要说明的是，预设的比例可以根据作弊预测模型的精度进行设置或由人工进行设定。上述从正常流量数据a中抽取数据可以为随机抽取的方式。
另外，正常流量数据a和异常流量数据b在目标流量数据集中的占比也是可以根据作弊预测模型的精度进行设置或由人工设定。
在一个示例中，在图4中，通过调整正常流量数据和异常流量数据之间成预设的比例，可以改变作弊预测模型的召回率。
需要说明的是，目标流量数据集可以为预设时间段的数据集，该目标流量数据集作为训练样本在数据集层面已经足够丰富，但是对于to B电商来说，用户行为容易受季节性的影响，在节假日和季度末流量会异常波动，为了使模型能够更加精准的在这些特殊节假日能识别出正常流量和作弊流量，可以将目标流量数据集划分为流量异常波动和正常波动两部分。
在本实现方式中，可以动态调整目标流量数据集中异常流量数据和正常流量数据之间的预设的比例，以提高作弊预测模型的预测精度。
在本实施例的一些可选的实现方式中，真实标签可以基于以下步骤确定：基于目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱，确定真实标签。
在本实现方式中，可以将目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据和正常流量数据分别通过对应的知识图谱确定对应的标签；之后，根据所有数据的标签，确定真实标签。例如，在异常流量数据对应的标签与正常流量数据对应的标签满足预设的关系(例如，9:1)，确定真实标签。或，异常流量数据(或正常流量数据)对应的标签占所有标签(异常流量数据和正常流量数据对应的标签)的比重，确定真实标签。
在本实现方式中，可以通过知识图谱，比如：一定时间内(一般为较短的时间内)中之类更换了4个ip等强规则来标注是否作弊，为了使得作弊召回率更加的高，可以针对上述正常流量数据a和异常流量数据b采取不同的知识图谱去标注是否作弊。
进一步参考图5，图5示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程500。该生成作弊预测模型的方法可以包括以下步骤：
步骤501，获取目标流量数据集。
步骤502，根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据。
步骤503，对目标流量数据集进行特征提取，得到对应的特征库。
在本实施例中，生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)对目标流量数据集进行特征提取，以生成目标流量数据集对应的特征库。上述特征库可以包括目标流量数据集涵盖的所有特征。
步骤504，根据特征重要性，从目标流量数据集对应的特征库中提取预设个特征。
在本实施例中，上述执行主体可以根据特征库中每个特征的特征重要性，从目标流量数据集对应的特征库中提取预设个特征。上述特征重要性可以为每个特征的权重。上述预设个特征可以为特征重要性的得分排序在前的一定数量的特征。该预设个特征可以根据作弊预测模型的预测精度进行设置或由用户设定，例如前10个特征。
步骤505，根据作弊预测模型的第二神经网络，对第一流量数据中预设个特征对应的流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
在本实施例中，上述执行主体可以根据作弊预测模型的第二神经网络，对第一流量数据中预设个特征对应的流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
具体地，上述执行主体可以将第一流量数据中预设个特征对应的流量数据输入作弊预测模型的第二神经网络中，得到预设个特征对应的流量数据对应的预测标签；之后，将预设个特征对应的流量数据中不作弊的流量数据确定为第二流量数据。上述第二流量数据可以基于作弊预测模型的第二神经网络，对预设个特征对应的流量数据进行作弊检测所得到的流量数据。
需要说明的是的，第二流量数据中的流量数据的数量可以为至少一个。
步骤506，利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练对应的真实标签，生成作弊预测模型。
需要说明的是，步骤503和步骤504的执行顺序可以在步骤501之后，例如与步骤502同时执行；或在步骤502之后执行。
在一个示例中，在图6中，基于步骤503获取目标流量数据集601，以实现对训练样本的处理。之后，基于步骤504，按照设备维度、业务维度、渠道维度和时序维度，从目标流量数据集中提取特征602，以得到特征库。之后，基于步骤505中的第二神经网络对目标流量数据集进行优化，以得到优化后的训练样本(即，目标流量数据集中作弊对应的流量数据和第二流量数据)，以便基于优化后的训练样本进行模型训练603。之后，对训练后的模型进行召回604。
在本实施例中，步骤501、502、506的具体操作分别已在图2所示的实施例中步骤201、202、204进行了详细的介绍，在此不再赘述。
从图5中可以看出，与图2对应的实施例相比，本实施例中的生成作弊预测模型的方法突出了确定第二流量数据的步骤。由此，本实施例描述的方案根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，以得到第一流量数据对应的预测标签；之后，根据第一流量数据对应的预测标签，从第一流量数据中确定不作弊对应的第二流量数据。能够通过作弊预测模型的第二神经网络实现对第一流量数据的预测，进而可以根据预测结果对第一流量数据进行分类。
在本实施例的一些可选的实现方式中，若所述第一神经网络为lightgbm网络；
根据特征重要性，从目标流量数据集对应的特征库中提取预设个特征，可以包括：将目标流量数据集对应的特征库中的每个特征输入lightgbm网络中，得到目标流量数据集对应的特征库中每个特征的特征重要性；根据每个特征的特征重要性，从目标流量数据集对应的特征库中提取预设个特征。
在本实现方式中，上述执行主体可以根据lightgbm网络，确定特征库中每个特征的特征重要性；之后，根据每个特征的特征重要性，从目标流量数据集对应的特征库中提取预设个特征。
在本实现方式中，可以通过lightgbm网络确定特征库中每个特征的特征重要性，从而不需要其他的网络确定特征的特征重要性，进而实现对特征库中特征的排序。
在本实施例的一些可选的实现方式中，第二神经网络为孤立森林网络。
在本实现方式中，第二神经网络可以为孤立森林网络、k-means(k均值)，或基于相似度衡量的模型(proximity based models)。
需要说明的是，可以实现对流量数据的作弊检测方法都可以纳入本公开的保护范围内。
在本实现方式中，可以基于孤立森林网络实现对流量数据的作弊检测。
进一步参考图7，图7示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程700。该生成作弊预测模型的方法可以包括以下步骤：
步骤701，获取目标流量数据集。
步骤702，根据作弊预测模型的lightgbm网络，确定目标流量数据集中不作弊对应的第一流量数据。
在本实施例中，生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以将目标流量数据集输入至作弊预测模型的lightgbm网络中，得到目标流量数据集对应的预测标签，该预测标签可以为作弊或不作弊；之后，根据目标流量数据集对应的预测标签，确定目标流量数据集中不作弊对应的第一流量数据。
步骤703，根据作弊预测模型的孤立森林网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
在本实施例中，上述执行主体可以将第一流量数据中的每个流量数据分别输入孤立森林网络中，得到第一流量数据对应的预测标签，该预测标签可以为作弊或不作弊。上述孤立森林网络用于对第一流量数据中的流量数据进行作弊检测。
步骤704，利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
在一个示例中，在图8中，生成作弊预测模型可以包括：先获取目标流量数据集801，其中，该目标流量数据集中的70％流量正常波动记为正常流量数据a，目标流量数据集中的30％异常波动流量记为异常流量数据b。之后，将异常流量数据b不处理，全部加入到训练数据集中，针对正常流量数据a随机抽取和b等比例的流量数据一并加入到训练数据集中。之后，对异常流量数据b和与异常流量数据b等比例的正常流量数据a提取特征，得到特征库。之后，将特征库中的特征输入lightgbm作弊预测网络中，得到排在前10的特征，以及通过lightgbm网络802对异常流量数据b和与异常流量数据b等比例的正常流量数据a进行预测，以得到无作弊流量数据803。之后，将无作弊流量数据中前10个特征输入孤立森林网络(iforst)804中进行作弊检测，以得到无作弊流量数据中存在作弊的流量数据。之后，根据异常流量数据b和与异常流量数据b等比例的正常流量数据a中的作弊流量数据，以及无作弊流量数据中存在作弊的流量数据生成训练样本，以进行模型训练。
在本实施例中，对于to B电商的作弊预测模型，需要能处理大量数据同时需要较强的解释性、能快速校验迭代。该专利在模型上选择lightgbm网络进行建模，该lightgbm网络在处理大量数据集上、作弊预测准确率上也有较大的优势，同时该lightgbm网络可以输出用户作弊的概率，后续业务可以灵活的调整概率来适应不同业务场景。
为了扩大模型的召回率，在模型迭代上设计一套基于ifrost算法的模型反馈训练机制，具体的过程如下，该首先根据lightgbm网络在最优的参数下输出特征最为重要的10个特征，然后根据这10个特征通过ifrost算法对lightgbm模型没有识别成作弊的流量数据进行校验，将ifrost识别成作弊的用户加入到10训练集中，重新修改lightgbm网络的训练集，然后重新训练lightgbm网络，不断重复上述过程，直至ifrost在高置信度的情况下，不再产生新的新的作弊用户，或者作弊用户在可接受的范围内。通过上述的模型反馈训练机制可以在高准确率的识别作弊用户的情况下大幅提升模型的召回率，从而使得模型拥有高准确率和召回率。
在本实施例中，步骤701、704的具体操作分别已在图2所示的实施例中步骤201、204进行了详细的介绍，在此不再赘述。
从图7中可以看出，与图2对应的实施例相比，本实施例中的生成作弊预测模型的方法突出了第一神经网络和第二神经网络。由此，本实施例描述的方案根据作弊预测模型的lightgbm网络可以实现对目标流量数据集中的流量数据的预测，以及根据作弊预测模型的孤立森林网络第一流量数据中的流量数据进行作弊检测；以通过孤立森林网络对lightgbm网络的训练样本进行校验，以对模型训练的训练样本进行更新，进而可以提高作弊预测模型的识别精度。
进一步参考图9，图9示出了根据本公开的一种预测作弊的方法的一个实施例的流程900。该预测作弊的方法可以包括以下步骤：
步骤901，获取待预测的流量数据集。
在本实施例中，预测作弊的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)获取待预测的流量数据集。上述待预测的流量数据集可以通过作弊预测模型确定其的预测结果，该预测结果可以为作弊或不作弊。该待预测的流量数据集可以为预设时间段流量数据的集合。
需要说明的是，预测作弊的方法的执行主体与生成作弊预测模型的方法的执行主体可以相同，也可以不同。
步骤902，将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中，得到第一预测标签。
在本实施例中，上述执行主体可以将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中，得到第一预测标签，该第一预测标签可以为作弊或不作弊。
需要说明的是，作弊预测模型可以为生成作弊预测模型的方法所训练的模型。
步骤903，将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签。
在本实施例中，上述执行主体可以将待预测的流量数据集输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签，该第二预测标签可以为作弊或不作弊。
需要说明的是，步骤902和步骤903的执行顺序可以为同时执行，或先执行步骤902后执行步骤903，或先执行步骤903后执行步骤902。
步骤904，根据待预测的流量数据集中第一预测标签为作弊的流量数据，以及第一预测流量数据中第二预测标签为作弊的流量数据，确定待预测的流量数据集的作弊预测结果。
在本实施例中，上述执行主体可以基于第一预测标签和第二预测标签，确定待预测的流量数据集对应的标签，该标签为作弊或不作弊。
在一个示例中，根据第一预测标签和第二预测标签的比值，或第一预测标签占(第一预测标签和第二预测标签)比值，确定待预测的流量数据集对应的标签。
在本公开实施例提供的作弊预测的方法，基于预先训练的作弊预测模型，能够准确地预测待预测的流量数据集的预测结果。
在本实施例的一些可选的实现方式中，该预测作弊的方法还包括：对待预测的流量数据集进行特征提取，得到样本特征库；根据样本特征重要性，从样本特征库中提取预设个样本特征。
在本实现方式中，可以先将待预测的流量数据集进行特征提取，以得到样本特征库；之后，根据样本特征重要性，从样本特征库中提取预设个样本特征。
在本实现方式中，可以基于特征重要性，从样本特征库中提取预设个样本特征。
在本实施例的一些可选的实现方式中，若第一神经网络为lightgbm网络；以及根据样本特征重要性，从样本特征库中提取预设个样本特征，包括：将样本特征库中的每个样本特征输入lightgbm网络中，得到每个样本特征的特征重要性；根据每个样本特征的特征重要性，从样本特征库中提取预设个样本特征。
在本实现方式中，上述执行主体可以通过lightgbm网络确定样本特征库中的样本特征的特征重要性；之后，根据每个样本特征的特征重要性，从样本特征库中提取预设个样本特征。
需要说明的是，确定特征重要性的方法并不局限与lightgbm网络，还可以通过XGBoost网络确定特征的特征重要性。
在本实现方式中，可以基于lightgbm网络实现对样本特征库中预设个样本特征的确定。
在本实施例的一些可选的实现方式中，将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签，包括：
将预设个样本特征输入第二神经网络中，得到第二预测标签。
在本实现方式中，可以将提取的预设个样本特征输入第二神经网络中，以得到第二预测标签。
在本实现方式中，可以基于第二神经网络实现对预设个特征样本的预测。
进一步参考图10，作为对上述各图所示方法的实现，本公开提供了一种生成作弊预测模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，本实施例的生成作弊预测模型的装置1000可以包括：数据获取模块1001、数据确定模块1002、数据得到模块1003和模型训练模块1004。其中，数据获取模块1001，被配置成获取目标流量数据集；数据确定模块1002，被配置成根据作弊预测模型的第一神经网络，确定目标流量数据集中不作弊对应的第一流量数据；数据得到模块1003，被配置成根据作弊预测模型的第二神经网络，对第一流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据；模型训练模块1004，被配置成利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
在本实施例中，生成作弊预测模型的装置1000中：数据获取模块1001、数据确定模块1002、数据得到模块1003和模型训练模块1004的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。可选的，数据确定模块1002和数据得到模块1003可以为相同的模块或不同的模块。
在本实施例的一些可选的实现方式中，数据确定模块1002，进一步配置成：将目标流量数据集输入作弊预测模型的第一神经网络中，得到目标流量数据集对应的预测标签，其中，预测标签为作弊或不作弊；将目标流量数据集中预测标签为不作弊对应的流量数据确定为第一流量数据。
在本实施例的一些可选的实现方式中，该生成作弊预测模型的装置1000还包括：第一提取模块，被配置成对目标流量数据集进行特征提取，得到对应的特征库；第二提取模块，被配置成根据特征重要性，从特征库中提取预设个特征；数据得到模块1003，进一步被配置成：根据作弊预测模型的第二神经网络，对第一流量数据中预设个特征对应的流量数据进行作弊检测，得到第一流量数据中作弊对应的第二流量数据。
在本实施例的一些可选的实现方式中，若第一神经网络为lightgbm网络；第二提取模块，进一步被配置成：将特征库输入lightgbm网络中，得到特征库中每个特征的特征重要性；根据每个特征的特征重要性，从特征库中提取预设个特征。
在本实施例的一些可选的实现方式中，第二神经网络为孤立森林网络。
在本实施例的一些可选的实现方式中，第一提取模块，进一步被配置成：从以下至少一个维度，对目标流量数据集进行特征提取，得到对应的特征库：业务维度、渠道来源维度、设备维度、时序维度。
在本实施例的一些可选的实现方式中，目标流量数据集包括异常流量数据和正常流量数据，其中，正常流量数据与异常流量数据之间成预设的比例。
在本实施例的一些可选的实现方式中，该生成作弊预测模型的装置1000装置还包括：标签确定模块，被配置成基于目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱，确定真实标签。
进一步参考图11，作为对上述各图所示方法的实现，本公开提供了一种预测作弊的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，本实施例的预测作弊的装置1100可以包括：数据获取模块1101、第一得到模块1102、第二得到模块1103和结果得到模块1104。其中，数据获取模块1101，被配置成获取待预测的流量数据集；第一得到模块1102，被配置成将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中，得到第一预测标签；以及第二得到模块1103，被配置成将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中，得到第二预测标签；结果得到模块1104，被配置成根据待预测的流量数据集中第一预测标签为作弊的流量数据，以及第一预测流量数据中第二预测标签为作弊的流量数据，确定待预测的流量数据集的作弊预测结果。
在本实施例中，预测作弊的装置1100中：数据获取模块1101、第一得到模块1102、第二得到模块1103和结果得到模块1104的具体处理及其所带来的技术效果可分别参考图9对应实施例中的步骤901-904的相关说明，在此不再赘述。其中，第一得到模块1102和第二得到模块1103可以同一模块或不同的模块。
在本实施例的一些可选的实现方式中，该预测作弊的装置1100还包括：第一提取模块，被配置成对待预测的流量数据集进行特征提取，得到样本特征库；第二提取模块，被配置成根据样本特征重要性，从样本特征库中提取预设个样本特征。
在本实施例的一些可选的实现方式中，若第一神经网络为lightgbm网络；以及第一提取模块，进一步被配置成：将样本特征库中的每个样本特征输入lightgbm网络中，得到每个样本特征的特征重要性；根据每个样本特征的特征重要性，从样本特征库中提取预设个样本特征。
在本实施例的一些可选的实现方式中，第二得到模块1103，进一步被配置成：将预设个样本特征输入第二神经网络中，得到第二预测标签。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如生成作弊预测模型的方法或预测作弊的方法。例如，在一些实施例中，生成作弊预测模型的方法或预测作弊的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的生成作弊预测模型的方法或预测作弊的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行生成作弊预测模型的方法或预测作弊的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提及的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (27)
1.一种生成作弊预测模型的方法，包括：
获取目标流量数据集；
根据作弊预测模型的第一神经网络，确定所述目标流量数据集中不作弊对应的第一流量数据；
根据所述作弊预测模型的第二神经网络，对所述第一流量数据进行作弊检测，得到所述第一流量数据中作弊对应的第二流量数据；
利用所述目标流量数据集中作弊对应的流量数据和所述第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
2.根据权利要求1所述的方法，其中，所述根据作弊预测模型的第一神经网络，确定所述目标流量数据集中不作弊对应的第一流量数据，包括：
将所述目标流量数据集输入作弊预测模型的第一神经网络中，得到所述目标流量数据集对应的预测标签，其中，所述预测标签为作弊或不作弊；
将所述目标流量数据集中预测标签为不作弊对应的流量数据确定为第一流量数据。
3.根据权利要求1或2所述的方法，所述方法还包括：
对所述目标流量数据集进行特征提取，得到对应的特征库；
根据特征重要性，从所述特征库中提取预设个特征；
所述根据所述作弊预测模型的第二神经网络，对所述第一流量数据进行作弊检测，得到所述第一流量数据中作弊对应的第二流量数据，包括：
根据所述作弊预测模型的第二神经网络，对所述第一流量数据中预设个特征对应的流量数据进行作弊检测，得到所述第一流量数据中作弊对应的第二流量数据。
4.根据权利要求3所述的方法，其中，若所述第一神经网络为lightgbm网络；
所述根据特征重要性，从所述特征库中提取预设个特征，包括：
将所述特征库输入所述lightgbm网络中，得到所述特征库中每个特征的特征重要性；
根据所述每个特征的特征重要性，从所述特征库中提取预设个特征。
5.根据权利要求1-4任一项所述的方法，其中，所述第二神经网络为孤立森林网络。
6.根据权利要求3-5任一项所述的方法，其中，所述对所述目标流量数据集进行特征提取，得到对应的特征库，包括：
从以下至少一个维度，对所述目标流量数据集进行特征提取，得到对应的特征库：业务维度、渠道来源维度、设备维度、时序维度。
7.根据权利要求1-6任一项所述的方法，其中，所述目标流量数据集包括异常流量数据和正常流量数据，其中，所述正常流量数据与异常流量数据之间成预设的比例。
8.根据权利要求7所述的方法，其中，所述真实标签可以基于以下步骤确定：
基于所述目标流量数据集中作弊对应的流量数据和所述第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱，确定所述真实标签。
9.一种预测作弊的方法，包括：
获取待预测的流量数据集；
将待预测的流量数据集输入如权利要求1-8任一项所述的作弊预测模型的第一神经网络中，得到第一预测标签；以及
将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入如权利要求1-8任一项所述的作弊预测模型的第二神经网络中，得到第二预测标签；
根据所述待预测的流量数据集中第一预测标签为作弊的流量数据，以及所述第一预测流量数据中第二预测标签为作弊的流量数据，确定所述待预测的流量数据集的作弊预测结果。
10.根据权利要求9所述的方法，所述方法还包括：
对所述待预测的流量数据集进行特征提取，得到样本特征库；
根据样本特征重要性，从所述样本特征库中提取预设个样本特征。
11.根据权利要求10所述的方法，其中，若所述第一神经网络为lightgbm网络；以及
所述根据样本特征重要性，从所述样本特征库中提取预设个样本特征，包括：
将所述样本特征库中的每个样本特征输入所述lightgbm网络中，得到所述每个样本特征的特征重要性；
根据所述每个样本特征的特征重要性，从所述样本特征库中提取预设个样本特征。
12.根据权利要求10或11所述的方法，其中，所述将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入如权利要求1-8任一项所述的作弊预测模型的第二神经网络中，得到第二预测标签，包括：
将所述预设个样本特征输入所述第二神经网络中，得到所述第二预测标签。
13.一种生成作弊预测模型的装置，包括：
数据获取模块，被配置成获取目标流量数据集；
数据确定模块，被配置成根据作弊预测模型的第一神经网络，确定所述目标流量数据集中不作弊对应的第一流量数据；
数据得到模块，被配置成根据所述作弊预测模型的第二神经网络，对所述第一流量数据进行作弊检测，得到所述第一流量数据中作弊对应的第二流量数据；
模型训练模块，被配置成利用所述目标流量数据集中作弊对应的流量数据和所述第二流量数据进行训练和对应的真实标签，生成作弊预测模型。
14.根据权利要求13所述的装置，其中，所述数据确定模块，进一步配置成：
将所述目标流量数据集输入作弊预测模型的第一神经网络中，得到所述目标流量数据集对应的预测标签，其中，所述预测标签为作弊或不作弊；
将所述目标流量数据集中预测标签为不作弊对应的流量数据确定为第一流量数据。
15.根据权利要求13或14所述的装置，所述装置还包括：
第一提取模块，被配置成对所述目标流量数据集进行特征提取，得到对应的特征库；
第二提取模块，被配置成根据特征重要性，从所述特征库中提取预设个特征；
所述数据得到模块，进一步被配置成：根据所述作弊预测模型的第二神经网络，对所述第一流量数据中预设个特征对应的流量数据进行作弊检测，得到所述第一流量数据中作弊对应的第二流量数据。
16.根据权利要求15所述的装置，其中，若所述第一神经网络为lightgbm网络；
所述第二提取模块，进一步被配置成：将所述特征库输入所述lightgbm网络中，得到所述特征库中每个特征的特征重要性；根据所述每个特征的特征重要性，从所述特征库中提取预设个特征。
17.根据权利要求13-16任一项所述的装置，其中，所述第二神经网络为孤立森林网络。
18.根据权利要求15-17任一项所述的装置，其中，第一提取模块，进一步被配置成：
从以下至少一个维度，对所述目标流量数据集进行特征提取，得到对应的特征库：业务维度、渠道来源维度、设备维度、时序维度。
19.根据权利要求13-18任一项所述的装置，其中，所述目标流量数据集包括异常流量数据和正常流量数据，其中，所述正常流量数据与异常流量数据之间成预设的比例。
20.根据权利要求19所述的装置，所述装置还包括：
标签确定模块，被配置成基于所述目标流量数据集中作弊对应的流量数据和所述第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱，确定所述真实标签。
21.一种预测作弊的装置，包括：
数据获取模块，被配置成获取待预测的流量数据集；
第一得到模块，被配置成将待预测的流量数据集输入如权利要求1-8任一项所述的作弊预测模型的第一神经网络中，得到第一预测标签；以及
第二得到模块，被配置成将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入如权利要求1-8任一项所述的作弊预测模型的第二神经网络中，得到第二预测标签；
结果得到模块，被配置成根据所述待预测的流量数据集中第一预测标签为作弊的流量数据，以及所述第一预测流量数据中第二预测标签为作弊的流量数据，确定所述待预测的流量数据集的作弊预测结果。
22.根据权利要求21所述的装置，所述装置还包括：
第一提取模块，被配置成对所述待预测的流量数据集进行特征提取，得到样本特征库；
第二提取模块，被配置成根据样本特征重要性，从所述样本特征库中提取预设个样本特征。
23.根据权利要求22所述的装置，其中，若所述第一神经网络为lightgbm网络；以及
所述第一提取模块，进一步被配置成：将所述样本特征库中的每个样本特征输入所述lightgbm网络中，得到所述每个样本特征的特征重要性；根据所述每个样本特征的特征重要性，从所述样本特征库中提取预设个样本特征。
24.根据权利要求22或23所述的装置，其中，所述第二得到模块，进一步被配置成：
将所述预设个样本特征输入所述第二神经网络中，得到所述第二预测标签。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110710449.7A CN113392920B (zh) | 2021-06-25 | 2021-06-25 | 生成作弊预测模型的方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110710449.7A CN113392920B (zh) | 2021-06-25 | 2021-06-25 | 生成作弊预测模型的方法、装置、设备、介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113392920A true CN113392920A (zh) | 2021-09-14 |
| CN113392920B CN113392920B (zh) | 2022-08-02 |
Family
ID=77623895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110710449.7A Active CN113392920B (zh) | 2021-06-25 | 2021-06-25 | 生成作弊预测模型的方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392920B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143049A (zh) * | 2021-11-18 | 2022-03-04 | 北京明略软件系统有限公司 | 异常流量检测方法、装置、存储介质以及电子设备 |
| CN114881689A (zh) * | 2022-04-26 | 2022-08-09 | 驰众信息技术（上海）有限公司 | 基于矩阵分解的楼宇推荐方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133805A (zh) * | 2017-05-09 | 2017-09-05 | 北京小度信息科技有限公司 | 用户作弊种类预测模型中参数的调整方法、装置及设备 |
| CN107948166A (zh) * | 2017-11-29 | 2018-04-20 | 广东亿迅科技有限公司 | 基于深度学习的流量异常检测方法及装置 |
| CN109829392A (zh) * | 2019-01-11 | 2019-05-31 | 平安科技（深圳）有限公司 | 考场作弊识别方法、系统、计算机设备和存储介质 |
| CN109951554A (zh) * | 2019-03-25 | 2019-06-28 | 北京理工大学 | 信息安全技术竞赛实时反作弊方法 |
| CN111401447A (zh) * | 2020-03-16 | 2020-07-10 | 腾讯云计算（北京）有限责任公司 | 一种基于人工智能的流量作弊识别方法、装置、电子设备 |
| CN111723795A (zh) * | 2019-03-21 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 异常车牌识别方法、装置、电子设备及存储介质 |
| CN111740991A (zh) * | 2020-06-19 | 2020-10-02 | 上海仪电（集团）有限公司中央研究院 | 一种异常检测方法及系统 |
| DE102019212829A1 (de) * | 2019-08-27 | 2021-03-04 | Psa Automobiles Sa | Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers |
| CN112642161A (zh) * | 2020-12-15 | 2021-04-13 | 完美世界征奇(上海)多媒体科技有限公司 | 射击游戏的作弊检测、模型训练方法、设备及存储介质 |
| CN112668431A (zh) * | 2020-12-22 | 2021-04-16 | 山东师范大学 | 基于外观-运动融合网络的人群异常行为检测方法及系统 |
-
2021
- 2021-06-25 CN CN202110710449.7A patent/CN113392920B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133805A (zh) * | 2017-05-09 | 2017-09-05 | 北京小度信息科技有限公司 | 用户作弊种类预测模型中参数的调整方法、装置及设备 |
| CN107948166A (zh) * | 2017-11-29 | 2018-04-20 | 广东亿迅科技有限公司 | 基于深度学习的流量异常检测方法及装置 |
| CN109829392A (zh) * | 2019-01-11 | 2019-05-31 | 平安科技（深圳）有限公司 | 考场作弊识别方法、系统、计算机设备和存储介质 |
| CN111723795A (zh) * | 2019-03-21 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 异常车牌识别方法、装置、电子设备及存储介质 |
| CN109951554A (zh) * | 2019-03-25 | 2019-06-28 | 北京理工大学 | 信息安全技术竞赛实时反作弊方法 |
| DE102019212829A1 (de) * | 2019-08-27 | 2021-03-04 | Psa Automobiles Sa | Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers |
| CN111401447A (zh) * | 2020-03-16 | 2020-07-10 | 腾讯云计算（北京）有限责任公司 | 一种基于人工智能的流量作弊识别方法、装置、电子设备 |
| CN111740991A (zh) * | 2020-06-19 | 2020-10-02 | 上海仪电（集团）有限公司中央研究院 | 一种异常检测方法及系统 |
| CN112642161A (zh) * | 2020-12-15 | 2021-04-13 | 完美世界征奇(上海)多媒体科技有限公司 | 射击游戏的作弊检测、模型训练方法、设备及存储介质 |
| CN112668431A (zh) * | 2020-12-22 | 2021-04-16 | 山东师范大学 | 基于外观-运动融合网络的人群异常行为检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| IMAN I. M. ABU SULAYMAN AND ABDELKADER OUDA: "Human Trait Analysis via Machine Learning Techniques for User Authentication", 《©2020 CROWN》, 31 December 2020 (2020-12-31), pages 1 - 10 * |
| 牛咏梅: "基于分形理论的光纤网络流量异常检测技术", 《激光杂志》, vol. 37, no. 5, 31 December 2016 (2016-12-31), pages 89 - 92 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143049A (zh) * | 2021-11-18 | 2022-03-04 | 北京明略软件系统有限公司 | 异常流量检测方法、装置、存储介质以及电子设备 |
| CN114881689A (zh) * | 2022-04-26 | 2022-08-09 | 驰众信息技术（上海）有限公司 | 基于矩阵分解的楼宇推荐方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113392920B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020125445A1 (zh) | 分类模型训练方法、分类方法、设备及介质 | |
| CN110909165A (zh) | 数据处理方法、装置、介质及电子设备 | |
| US20200311071A1 (en) | Method and system for identifying core product terms | |
| US11809505B2 (en) | Method for pushing information, electronic device | |
| CN113051911B (zh) | 提取敏感词的方法、装置、设备、介质及程序产品 | |
| CN113392920B (zh) | 生成作弊预测模型的方法、装置、设备、介质及程序产品 | |
| CN113190702B (zh) | 用于生成信息的方法和装置 | |
| CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
| CN113704389A (zh) | 一种数据评估方法、装置、计算机设备及存储介质 | |
| CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
| CN112560461A (zh) | 新闻线索的生成方法、装置、电子设备及存储介质 | |
| CN114090601B (zh) | 一种数据筛选方法、装置、设备以及存储介质 | |
| CN111723180A (zh) | 一种面试方法和装置 | |
| CN112200602B (zh) | 用于广告推荐的神经网络模型训练方法及装置 | |
| CN114528378A (zh) | 文本分类方法、装置、电子设备及存储介质 | |
| CN114444514A (zh) | 语义匹配模型训练、语义匹配方法及相关装置 | |
| CN113807391A (zh) | 任务模型的训练方法、装置、电子设备及存储介质 | |
| CN114329206A (zh) | 标题生成方法和装置、电子设备、计算机可读介质 | |
| CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
| CN113850072A (zh) | 文本情感分析方法、情感分析模型训练方法、装置、设备及介质 | |
| CN113886543A (zh) | 生成意图识别模型的方法、装置、介质及程序产品 | |
| CN112541705A (zh) | 生成用户行为评估模型的方法、装置、设备以及存储介质 | |
| CN112950392A (zh) | 信息展示方法、后验信息确定方法及装置及相关设备 | |
| CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 | |
| CN114004291A (zh) | 用于生成词包的方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |