CN112651790A - 基于快消行业用户触达的ocpx自适应学习方法和系统 - Google Patents

基于快消行业用户触达的ocpx自适应学习方法和系统 Download PDF

Info

Publication number
CN112651790A
CN112651790A CN202110067803.9A CN202110067803A CN112651790A CN 112651790 A CN112651790 A CN 112651790A CN 202110067803 A CN202110067803 A CN 202110067803A CN 112651790 A CN112651790 A CN 112651790A
Authority
CN
China
Prior art keywords
data
model
sample
characteristic
ocpx
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110067803.9A
Other languages
English (en)
Other versions
CN112651790B (zh
Inventor
景艳山
姚俊盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enyike Beijing Data Technology Co ltd
Original Assignee
Enyike Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enyike Beijing Data Technology Co ltd filed Critical Enyike Beijing Data Technology Co ltd
Priority to CN202110067803.9A priority Critical patent/CN112651790B/zh
Publication of CN112651790A publication Critical patent/CN112651790A/zh
Application granted granted Critical
Publication of CN112651790B publication Critical patent/CN112651790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种基于快消行业用户触达的OCPX自适应学习方法和系统，该方法包括：数据提取步骤，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；特征提取步骤，根据广告投放数据，从转化数据中选择相应的样本，并根据样本进行特征提取；模型训练步骤，基于特征，根据极限梯度提升树原理训练一二分类模型；结果上传步骤，根据二分类模型依次对用户包进行打分，根据评分结果选取用户包中一部分用户作为预测结果并上传至一前置机；结果查询步骤，广告服务方通过前置机完成对预测结果的查询及相应操作。从自有数据的提取，到训练，推送至前置机供广告查询进行数据查询的流程闭环所形成的自适应状态，优化投放效果和用户体验。

Description

基于快消行业用户触达的OCPX自适应学习方法和系统
技术领域
本申请涉及广告投放决策技术领域，特别是涉及基于快消行业用户触达的OCPX自适应学习方法和系统。
背景技术
当前的互联网环境下，客户主通过广告服务商，通过保价保量和优先购买采买网络广告时，无法直接与客户主的直接转化指标进行挂钩，无法有效对采买与广告效果进行衡量，也无法根据实际的转化业务指标进行智能优化采买流量，导致预算浪费，相应的广告受众也会被无用的广告侵扰，造成供需双方的矛盾。导致这样情况的原因包括：供应方存在因无效广告重复投放、无法有效知道受众的真实接触情况导致预算大量浪费的情况；需求方存在被推送无意义信息和信息存在转译灯情况。
相关技术中，一般采用，基于广告主自有数据建立自适应学习模型进行实时流量评分选取所需流量进行广告投放，例如：手机应用厂商在三个不同平台投放广告，投放目标为新用户下载，首先手机应用厂商在现有软件中嵌入广告服务方数据据采集代码，积累30天转化数据或2000条转化数据；然后，广告服务方开始基于自有数据进行模型学习调优；最后，进行广告投放。或直接基于点击等方式进行广告优化。现有技术存在缺点如下，在自有的APP中需要插入每家的数据采集代码，时间周期长，操作复杂；存在数据泄露不可控等问题。在当前数据安全的要求下，数据的转译存在合规性的问题。广告投放的优化周期时间长。优化过程不由广告主自有控制。目标数据的积累沉淀不在广告主方。
目前针对相关技术中无法直接确认点击与做后转化的直接联系影响投放效果的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于快消行业用户触达的OCPX自适应学习方法和系统，以至少解决相关技术中无法直接确认点击与做后转化的直接联系影响投放效果的问题。实现基于投放目标效果的快速迭代优化，持续提高广告的效果。
第一方面，本申请实施例提供了一种基于快消行业用户触达的OCPX自适应学习，包括以下步骤：
数据提取步骤，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取步骤，根据所述广告投放数据，从所述转化数据中选择相应的样本，并根据所述样本进行特征提取；
模型训练步骤，基于所述特征，根据极限梯度提升树原理训练一二分类模型；
结果上传步骤，根据所述二分类模型依次对用户包进行打分，根据评分结果选取所述用户包中一部分用户作为预测结果并上传至一前置机；
结果查询步骤，广告服务方通过所述前置机完成对所述预测结果的查询及相应操作。
在其中一些实施例中，所述模型训练步骤具体包括以下步骤：
特征系数获得步骤，根据优化目标模型获得对应特征的特征系数；
模型打分步骤，根据所述正样本和所述负样本的各特征与特征系数进行模型打分，具体为：
Figure BDA0002904770660000021
其中，h＝∑特征*特征系数。
其中一些实施例中，所述优化目标模型表示为：
L＝|y预测-y真实|
Figure BDA0002904770660000022
其中，h＝∑特征*特征系数，当L最小时，选择此时的特征系数为最终的特征系数值，所述特征系统与正负样本数的比例相关。
在其中一些实施例中，所述结果查询步骤具体包括：
一广告服务商通过所述前置机查询所述预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
在其中一些实施例中，所述特征提取步骤具体包括：
数据清洗步骤，对所述广告投放数据和所述转化数据中的异常数据进行过滤；
样本获取步骤，根据广告投放目的的不同，根据所述广告投放数据，从所述转化数据中选择相应的正样本，并从剩余所述转化数据中随机选取负样本；
特征值统计步骤，对所述正样本和所述负样本的特征值进行统计，所述特征值包括静态特征值和行为特征值。
在其中一些实施例中，所述模型训练步骤和所述结果上传步骤之间还包括模型评估步骤，具体包括以下步骤：
样本集获得步骤，将待测样本与所述特征进行匹配，得到正样本集和负样本集；
训练集获得步骤，从所述正样本集和所述负样本集中随机抽取20％作为测试集，其余作为训练集；
模型训练步骤，通过所述训练集训练所述二分类模型；
评估分数获得步骤，通过所述测试集验证所述二分类模型，并得到相关评估分数。
在其中一些实施例中，所述相关评估分数包括准确率Accuracy、精确率Precison、召回率Recall、ROC曲线和AUC，其中：
Accuracy＝ncorrect*ntotal；
Precison＝ncorrect/njuge；
Recall＝ncorrect/rtotal；
ROC曲线的横坐标设置为假阳性率FPR，纵坐标设置为真阳性率TPR，其中：
FPR＝FP*N；
TPR＝njuge*rtotal；
其中，Ncorrect为被正确分类的样本个数，ntotal为总样本的个数,njuge代表分类器判定为正样本的样本个数，rtotal代表真正的正样本数，N代表真正的负样本数，FP代表负样本中分类器判定为正样本的个数。
第二方面，本申请实施例提供了一种基于快消行业用户触达的OCPX自适应学习系统，应用上述第一方面所述的基于快消行业用户触达的OCPX自适应学习方法，包括：
数据提取模块，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取模块，根据所述广告投放数据，从所述转化数据中选择相应的样本，并根据所述样本进行特征提取；
模型训练模块，基于所述特征，根据极限梯度提升树原理训练一二分类模型；
结果上传模块，根据所述二分类模型依次对用户包进行打分，根据评分结果选取所述用户包中一部分用户作为预测结果并上传至一前置机；
结果查询模块，广告服务方通过所述前置机完成对所述预测结果的查询及相应操作。
在其中一些实施例中，所述模型训练模块具体包括：
特征系数获得单元，根据优化目标模型获得对应特征的特征系数，所述优化目标模型表示为：
L＝|y预测-y真实|
其中：
Figure BDA0002904770660000041
当L最小时，选择此时的特征系数为最终的特征系数值，所述特征系统与正负样本数的比例相关；
模型打分单元，根据所述正样本和所述负样本的各特征与特征系数进行模型打分，具体为：
Figure BDA0002904770660000042
其中，h＝∑特征*特征系数。
在其中一些实施例中，所述结果查询模块包括：
一广告服务商通过所述前置机查询所述预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
相比于相关技术，本申请实施例提供的一种基于快消行业用户触达的OCPX自适应学习方法及系统。通过建立自有算法流程：从自有数据的提取，到训练，推送至前置机供广告查询进行数据查询的流程闭环所形成的自适应状态。优化投放效果和用户体验，更具实际业务目标进行有优化，最终效果直接指导广告投放流量的选择；用户可以被自己所需的，感兴趣的广告被触达。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于快消行业用户触达的OCPX自适应学习方法的流程图；
图2是根据本申请实施例的特征获取步骤的流程图；
图3是根据本申请实施例的模型评估步骤的流程图；
图4是根据本申请实施例的模型训练步骤的流程图；
图5是根据本申请优选实施例的基于快消行业用户触达的OCPX自适应学习方法的整体流程图；
图6是根据本申请优选实施例的基于快消行业用户触达的OCPX自适应学习方法的流程图；
图7是本申请优选实施例中模型训练过程的示意图；
图8为本申请优选实施例中腾讯视频的特征系数的求解过程的梯度变化示意图；
图9为本申请优选实施例中ROC曲线的示意图；
图10是本申请优选实施例中对ID1适应的模型的示意图；
图11是本申请优选实施例中广告服务商的查询过程示意图；
图12是本申请的实际实例的流程示意图；
图13是根据本申请实施例的一种基于快消行业用户触达的OCPX自适应学习系统的结构框图。
附图说明：
数据提取模块1；特征提取模块2；模型训练模块3；结果上传模块4；
结果查询模块5；特征系数获得单元31：模型打分单元32。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
保价保量是指在广告投放前，根据广告主的投放需求，按照固定的CPM价格、固定的资源位、固定的预定量在媒体进行下单，在广告投放过程中，当用户在访问媒体产生曝光机会时，广告服务方根据广告主的预定量将广告请求发给单个需求方，需求方根据N倍推送约定的规则有选择的挑选和回退流量，且无需进行竞价。
优选购买是指在广告投放前，根据广告主的投放需求，按照固定的CPM价格和固定的资源位在媒体进行下单，在广告投放过程中，当用户在访问媒体产生曝光机会时，广告服务方将广告请求发给单个需求方，需求方可以按照自己的意愿挑选流量，且无需进行竞价。
数据载入是将算法中需要使用的行为监测日志进行收集储存。
数据清洗是对算法所需要的数据经行一定清洗，将不合规及异常数据经行清洗过滤，保留合规的数据。
特征工程是特征选择与特征提取的工作总称。其中，特征选择是设计算法需要使用的特征；特征提取包括静态特征，对于原始采集的行为监测数据日志的原始字段经行收集，操作系统类型是否一致。静态特征值包括如下：广告ID、活动ID、人口属性信息、消费属性信息等标签信息。
模型训练：通过使用极限梯度提升树训练二分类模型，使用训练样本(正负样本)与相应特征进行模型训练。
行为监测日志：通过采集手段对设备号的浏览行为进行计入，需要包含以下字段设备号，互联网协议地址，浏览器信息，设备信息，时间戳。
广告投放：可以通过再不同APP中投放广告收集相应：手机设备号，互联网协议地址，浏览器信息，设备信息，时间戳。
OCPX即泛指传统的那些按不同方式进行结算的模式。
本实施例还提供了一种基于快消行业用户触达的OCPX自适应学习方法。图1是根据本申请实施例的基于快消行业用户触达的OCPX自适应学习方法的流程图，如图1所示，该流程包括如下步骤：
数据提取步骤S1，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取步骤S2，根据广告投放数据，从转化数据中选择相应的样本，并根据样本进行特征提取；
模型训练步骤S3，基于特征，根据极限梯度提升树原理训练一二分类模型；
结果上传步骤S4，根据二分类模型依次对用户包进行打分，根据评分结果选取用户包中一部分用户作为预测结果并上传至一前置机；
结果查询步骤S5，广告服务方通过前置机完成对预测结果的查询及相应操作。
通过上述步骤，建立自有算法流程：从自有数据的提取，到训练，推送至前置机供广告查询进行数据查询的流程闭环所形成的自适应状态。实现基于投放目标效果的快速迭代优化，持续提高广告的效率。
该方法优化投放效果：更具实际业务目标进行有优化，最终效果直接指导广告投放流量的选择；优化用户体验：用户可以被自己所需的，感兴趣的广告被触达。
本方法还具有以下有益效果：节约成本，可以选择有转化意义的目标，则可以更有效的控制投放成本，节约资源。提高收益，在推荐方面拥有了准确的预测信息，更好的总结用户的触达，交流情况，为其提供所需的内容。扩展接触渠道，有了预测关系后可以对需求地方进行有效接触。
图2是根据本申请实施例的特征获取步骤的流程图，如图2所示，在其中一些实施例中，特征提取步骤S2具体包括：
数据清洗步骤S21，对广告投放数据和转化数据中的异常数据进行过滤；
样本获取步骤S22，根据广告投放目的的不同，根据广告投放数据，从转化数据中选择相应的正样本，并从剩余转化数据中随机选取负样本；
特征值统计步骤S23，对正样本和负样本的特征值进行统计，特征值包括静态特征值和行为特征值。
图3是根据本申请实施例的模型评估步骤的流程图，如图3所示，在其中一些实施例中，模型训练步骤S3和结果预测步骤S4之间还包括模型评估步骤S6，具体包括以下步骤：
样本集获得步骤S61，将待测样本与特征进行匹配，得到正样本集和负样本集；
训练集获得步骤S62，从正样本集和负样本集中随机抽取20％作为测试集，其余作为训练集；
模型训练步骤S63，通过训练集训练二分类模型；
评估分数获得步骤S64，通过测试集验证二分类模型，并得到相关评估分数。
在其中一些实施例中，相关评估分数包括准确率Accuracy、精确率Precison、召回率Recall、ROC曲线和AUC，其中：
Accuracy＝ncorrect*ntotal；
Precison＝ncorrect/njuge；
Recall＝ncorrect/rtotal；
ROC曲线的横坐标设置为假阳性率FPR，纵坐标设置为真阳性率TPR，其中：
FPR＝FP*N；
TPR＝njuge*rtotal；
其中，Ncorrect为被正确分类的样本个数，ntotal为总样本的个数,njuge代表分类器判定为正样本的样本个数，rtotal代表真正的正样本数，N代表真正的负样本数，FP代表负样本中分类器判定为正样本的个数。
图4是根据本申请实施例的模型训练步骤的流程图，如图4所示，在其中一些实施例中，模型训练步骤S3具体包括以下步骤：
特征系数获得步骤S31，根据优化目标模型获得对应特征的特征系数；
模型打分步骤S32，根据正样本和负样本的各特征与特征系数进行模型打分，具体为：
Figure BDA0002904770660000091
其中，h＝∑特征*特征系数。
在其中一些实施例中，优化目标模型表示为：
L＝|y预测-y真实|
Figure BDA0002904770660000092
其中，h＝∑特征*特征系数，当L最小时，选择此时的特征系数为最终的特征系数值，特征系统与正负样本数的比例相关。
在其中一些实施例中，结果查询步骤S5具体包括：
一广告服务商通过前置机查询预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
下面通过优选实施例对本申请实施例进行描述和说明。快消客户需要在三个不同的平台进行广告投放，投放目标为咖啡新品投放
图5是根据本申请优选实施例的基于快消行业用户触达的OCPX自适应学习方法的整体流程图，如图5所示，预测模型在DB3中自动更新，预测人群包按期更新在前置机中，更新周期为设定的固定周期，具体包括：
S501，采集会员转化数据和广告投放数据至算法平台；
S502，算法平台输出预测人群包，并根据周期进行更新；
S503，根据预测人群包生成订单ID并上传至前置机；
S504，广告服务方对前置机进行实时查询，并检测T+1周期的投放数据和转化数据。
图6是根据本申请优选实施例的基于快消行业用户触达的OCPX自适应学习方法的流程图。
S600，数据采集
算法平台采集会员转换数据和广告投放数据
S601，数据清洗
数据清洗具体包括异常互联网协议地址过滤和异常设备号过滤，其中：异常互联网协议地址过滤具体可以设置为：当1日内曝光量大于200，或1日内小程序行为大1000判定为异常互联网协议地址；异常设备号过滤具体设置为：当1日内曝光量大于200，或1日内点击量大于50判定为异常设备号。
此步骤的目的是将已有行为监测日志中的异常数据经行过滤，避免影响模型质量。
S602，特征工程
特征工程包括特征选择和特征提取，其中：
特征选择为设计算法需要使用的特征；
特征提取包括：对于原始采集的行为监测数据日志的原始字段进行静态特征收集。其中，静态特征包括：活动信息，广告点位信息，手机型号，年龄，兴趣，所属行业，产品信息等。上述静态特征是根据已有采集信息进行选取
根据进行现有数据进行统计性的统计行为特征值。其中，行为特征值包括：单位时间内转化次数，单位时间内出现次数，单位时间内互动次数，出现时间等。
针对特征提取获得会员转换数据，例如：
10001：男，18，FS21
10002：女，28，1221
10003：男，18，JI21
S503，样本生成
根据广告投放目的，生成正样本、负样本和待预测样本，其中，正样本，根据广告投放目的不同，选择会员转化数据中选择相应的样本数据；负样本，将正样本数据与特征相匹配，未匹配上的中间选择与正样本体量高10％的数量。待预测样本，不是正样本，也不是负样本，却在特征值池中的设备ID。
将会员转换数据生成正样本、负样本和待遇测样本，例如：三个月咖啡购买人员：
10001
例如：
10001：男，18，FS21
10002：女，28，1221
10003：男，18，JI21
正样本：
10001：男，18，FS21
负样本：
10002：女，28，1221
待预测样本：
10003：男，18，JI21
所采集的数据模板如下表参考，但本发明并不以此为限制。
Figure BDA0002904770660000111
S604，模型训练
使用极限梯度提升树原理进行通过训练二分类模型，图7是本申请优选实施例中模型训练过程的示意图，如图7所示，通过模型训练计算特征系数，输入各个特征，计算各个特征对应的特征系数，
Figure BDA0002904770660000112
h＝∑x*特征*w，
其中，x代表是否含有某一个特征，当为1代表含有该特征，当为0代表不含有该特征；w为权重，即，特征系数，可为正也可为负，为正代表正样本所持特征，为负代表负样本所持特征。
通过机器学习定义一个目标函数L，使得目标函数最优时得到的特征系数即为最终的特征系数，目标函数L：L＝|y预测-y真实|，算法模型的目的是使上述函数最终为0。
实现上述函数最终为0的方式是：通过调整特征权重(特征系数)使得L一步一步接近于0(梯度下降)
比如：id2020特征：‘腾讯视频’，相应的特征系数为W，y值为1(表示正样本)
图8为本申请优选实施例中腾讯视频的特征系数的求解过程的梯度变化示意图，如图8所示，
初始状态：
Set W＝0，
Figure BDA0002904770660000121
L＝|0.5-1|＝0.5
Set W＝0.2
...
Set W＝1.34,
Figure BDA0002904770660000122
L＝|0.99-1|＝0.01≈0
即，腾讯视频的特征系数为1.34。
S605，模型评估
用户提供正样本后系统会经行数据分类。
Step1：正样本进行与特征库进行匹配，得到正样本集与负样本集。
正样本为种子与特征表匹配上的数据。
负样本为种子与特征表未匹配上的数据，且数量为正样本的10倍。
Step2：进行训练集与测试集区分。正样本和负样本随机抽取20％作为测试集，剩下为训练集
Step3：通过训练集训练模型
Step4：通过测试集验证训练模型，得到相关模型评估分数，相关模型评估分数包括准确率Accuracy、精确率Precison、召回率Recall、ROC曲线和AUC，以下对上述相关模型评述分数进行说明。
准确率是指分类正确的样本占总样个数的比例：
Accuracy＝ncorrect*ntotal；
Precison＝ncorrect/njuge；
其中，Ncorrect为被正确分类的样本个数，ntotal为总样本的个数。
准确率的局限性:准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷，当不同总类的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。比如：当负样本占99％,分类器把所有样本都预测为负样本也可以得到99％的准确率，换句话说总体准确率高，并不代表类别比例小的准确率高
精确率是指正确分类的正样本个数占分类器判定为正样本的样本个数的比例。
召回率是指正确分类的正样本个数占真正的正样本数的比例。
Precison值和Recall值是既矛盾又统一的两个指标，为了提高Precison值，分类器需要尽量在‘更有把握’时才把样本预测为正样本，但此时往往会因为过于保守而漏掉很多‘没有把握’的正样本，导致Recall值降低
在排序问题中，通常没有一个确定的阈值把得到的结果直接判定为正样本或负样本，而是采用TopN返回结果的Precision值和Recall值来衡量排序模型的性能，即认为模型返回的TopN的结果就是模型判定的正样本，然后计算N个位置上的Precision和前N个位置上的Recall
ROC曲线：二值分类器是机器学习领域中最常见也是应用最广泛的分类器。评价二值分类器的指标很多，比如precision,recall,F1 score,P-R曲线等，但发现这些指标或多或少只能反映模型在某一方面的性能，相比而言，ROC曲线则有很多优点，经常作为评估二值分类器最重要的指标之一。
ROC曲线是Receiver Operating Characteristic Curve的简称，中文名为'受试者工作特征曲线'。ROC曲线的横坐标为假阳性率(FPR),纵坐标为真阳性率(TPR)，FPR和TPR的计算方法分别为:
FPR＝FP*N；
TPR＝njuge*rtotal；
其中，njuge代表分类器判定为正样本的样本个数，rtotal代表真正的正样本数，N代表真正的负样本数，FP代表负样本中分类器判定为正样本的个数。
图9为本申请优选实施例中ROC曲线的示意图，如图9所示，AUC指ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出的模型性能,AUC越大说明分类器越可能把真正的正样本排在前面，分类性能越好。
ROC曲线相比P-R曲线，当正负样本的分布发生变化时，ROC曲线的形状能够保存基本不变，而P-R曲线的形状一般会发生激烈的变化，这个特点让ROC曲线能够尽量降低不同测试集带来的干扰，更加客观地衡量模型本身的性能
例：模型离线验证结果：AUC＝0.793阈值＝0.8时精确率＝0.90
AUC>0.5进入下一环节
S606，结果计算
基于上述模型进行打分计算，例如，图10是对本申请优选实施例中ID1适应的模型的示意图，下表为通过模型学习得到的各特征及其权重等打分所需数据。
Figure BDA0002904770660000141
Figure BDA0002904770660000142
根据上表计算ID1的得分，
h＝1*1.922+1*0.872+0*0.012+1*0.056+0*0+0*(-1.341)+0*0+0*(-0.034)＝3.78
Figure BDA0002904770660000143
所以，ID1的最终打分为0.978。
需要说明的是，所述权重与正负样本比例有关，打分受到权重的影响，当正负样本比例变化时，标签权重随之变化，打分亦随之变化，比如样本正负比例为1:1时，ID1的打分为0.978，当样本正负比例为1:10时，ID1的打分可能会变成0.913。
S607，将结果数据上传至前置机
将每次预测结果数据自动上传至前置机。对结果数据进行脱敏，上传至云服务器，为每个人群包生成相应的订单序号。
S608，广告投放方向前置机进行查询
云服务器暴露接口给广告服务方。在每次流量请求是否投放时，携带订单序号请求云服务器。云服务去会判断是否存在，存在返回是，不存在返回否。广告服务方会将返回是的进行投放。
图11是本申请优选实施例中广告服务商的查询过程示意图，如图11所示，广告服务商通过IP防火墙和负载均衡服务，向前置机发送HTTP广告请求，查询模型预测的推送ID包。
S609，循环
不断的循环S601-S608积累一定时间的数据不断的经行模型训练。
以上为一个实际实例。图12是本申请的实际实例的流程示意图，如图12所示，
S1001，根据正样本和负样本进行特征构建
对种子选手/正样本，某场景近期有交易人群，eg：咖啡招新/大神卡活动，负样本，全体网民中提出正样本后随机抽样，进行特征构建，得到用户广告行为和nEqual全网标签；
S1002，训练模型，
模型从样本中学到相应的模式，找到有影响的用户行为/兴趣标签；
S1003，对全网用户打分，
取分数最高的一部分id作为人群包进行投放。
需要说明的是，打分受正负样本比例和模型参数影响，最后投放的参照的是打分顺序。
本申请实施例主要采用的是Lookalike算法思想，Lookalike算法是根据客户提供应用场景以及种子选手，通过机器学习模型，意在对种子用户进行模型识别，找出背后的关联性群体的过程。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于快消行业用户触达的OCPX自适应学习系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图13是根据本申请实施例的一种基于快消行业用户触达的OCPX自适应学习系统的结构框图，如图13所示，该系统包括：
数据提取模块1，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取模块2，根据所述广告投放数据，从所述转化数据中选择相应的样本，并根据所述样本进行特征提取；
模型训练模块3，基于所述特征，根据极限梯度提升树原理训练一二分类模型；
结果上传模块4，根据所述二分类模型依次对用户包进行打分，根据评分结果选取所述用户包中一部分用户作为预测结果并上传至一前置机；
结果查询模块5，广告服务方通过所述前置机完成对所述预测结果的查询及相应操作。
在其中一些实施例中，所述模型训练模块3具体包括：
特征系数获得单元31，根据优化目标模型获得对应特征的特征系数，所述优化目标模型表示为：
L＝|y预测-y真实|
其中：
Figure BDA0002904770660000161
当L最小时，选择此时的特征系数为最终的特征系数值，所述特征系统与正负样本数的比例相关；
模型打分单元32，根据所述正样本和所述负样本的各特征与特征系数进行模型打分，具体为：
Figure BDA0002904770660000171
其中，h＝∑特征*特征系数。
在其中一些实施例中，结果查询模块5包括：
一广告服务商通过前置机查询预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例二：
本实施例在实施例一的基础上，可以在监测收集不一样的特征行为，来进行相似度行为的匹配。
但本质上都是在不同设备端进行为监测日志的采集，寻找相关性的特征(具体特征内容可以更替)然后正对性的从候选集中，筛选目标ID。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于快消行业用户触达的OCPX自适应学习，其特征在于，包括以下步骤：
数据提取步骤，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取步骤，根据所述广告投放数据，从所述转化数据中选择相应的样本，并根据所述样本进行特征提取；
模型训练步骤，基于所述特征，根据极限梯度提升树原理训练一二分类模型；
结果上传步骤，根据所述二分类模型依次对用户包进行打分，根据评分结果选取所述用户包中一部分用户作为预测结果并上传至一前置机；
结果查询步骤，广告服务方通过所述前置机完成对所述预测结果的查询及相应操作。
2.根据权利要求1所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述模型训练步骤具体包括以下步骤：
特征系数获得步骤，根据优化目标模型获得对应特征的特征系数；
模型打分步骤，根据所述正样本和所述负样本的各特征与特征系数进行模型打分，具体为：
Figure FDA0002904770650000011
其中，h＝∑特征*特征系数。
3.根据权利要求2所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述优化目标模型表示为：
L＝|y预测-y真实|
Figure FDA0002904770650000012
其中，h＝∑特征*特征系数，当L最小时，选择此时的特征系数为最终的特征系数值，所述特征系统与正负样本数的比例相关。
4.根据权利要求1所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述结果查询步骤具体包括：
一广告服务商通过所述前置机查询所述预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
5.根据权利要求1所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述特征提取步骤具体包括：
数据清洗步骤，对所述广告投放数据和所述转化数据中的异常数据进行过滤；
样本获取步骤，根据广告投放目的的不同，根据所述广告投放数据，从所述转化数据中选择相应的正样本，并从剩余所述转化数据中随机选取负样本；
特征值统计步骤，对所述正样本和所述负样本的特征值进行统计，所述特征值包括静态特征值和行为特征值。
6.根据权利要求1所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述模型训练步骤和所述结果上传步骤之间还包括模型评估步骤，具体包括以下步骤：
样本集获得步骤，将待测样本与所述特征进行匹配，得到正样本集和负样本集；
训练集获得步骤，从所述正样本集和所述负样本集中随机抽取20％作为测试集，其余作为训练集；
模型训练步骤，通过所述训练集训练所述二分类模型；
评估分数获得步骤，通过所述测试集验证所述二分类模型，并得到相关评估分数。
7.根据权利要求6所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，所述相关评估分数包括准确率Accuracy、精确率Precison、召回率Recall、ROC曲线和AUC，其中：
Accuracy＝ncorrect*ntotal；
Precison＝ncorrect/njuge；
Recall＝ncorrect/rtotal；
ROC曲线的横坐标设置为假阳性率FPR，纵坐标设置为真阳性率TPR，其中：
FPR＝FP*N；
TPR＝njuge*rtotal；
其中，Ncorrect为被正确分类的样本个数，ntotal为总样本的个数,njuge代表分类器判定为正样本的样本个数，rtotal代表真正的正样本数，N代表真正的负样本数，FP代表负样本中分类器判定为正样本的个数。
8.一种基于快消行业用户触达的OCPX自适应学习系统，应用上述权利要求1-7任意一项所述的基于快消行业用户触达的OCPX自适应学习方法，其特征在于，包括：
数据提取模块，一算法平台基于行为监测数据日志对广告投放数据和转化数据进行提取；
特征提取模块，根据所述广告投放数据，从所述转化数据中选择相应的样本，并根据所述样本进行特征提取；
模型训练模块，基于所述特征，根据极限梯度提升树原理训练一二分类模型；
结果上传模块，根据所述二分类模型依次对用户包进行打分，根据评分结果选取所述用户包中一部分用户作为预测结果并上传至一前置机；
结果查询模块，广告服务方通过所述前置机完成对所述预测结果的查询及相应操作。
9.根据权利要求8所述的基于快消行业用户触达的OCPX自适应学习系统，其特征在于，所述模型训练模块具体包括：
特征系数获得单元，根据优化目标模型获得对应特征的特征系数，所述优化目标模型表示为：
L＝|y预测-y真实|
其中：
Figure FDA0002904770650000031
当L最小时，选择此时的特征系数为最终的特征系数值，所述特征系统与正负样本数的比例相关；
模型打分单元，根据所述正样本和所述负样本的各特征与特征系数进行模型打分，具体为：
Figure FDA0002904770650000032
其中，h＝∑特征*特征系数。
10.根据权利要求7所述的基于快消行业用户触达的OCPX自适应学习系统，其特征在于，所述结果查询模块包括：
一广告服务商通过所述前置机查询所述预测结果，判断该次流量请求的订单序号是否存在，若存在则进行投放。
CN202110067803.9A 2021-01-19 2021-01-19 基于快消行业用户触达的ocpx自适应学习方法和系统 Active CN112651790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110067803.9A CN112651790B (zh) 2021-01-19 2021-01-19 基于快消行业用户触达的ocpx自适应学习方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110067803.9A CN112651790B (zh) 2021-01-19 2021-01-19 基于快消行业用户触达的ocpx自适应学习方法和系统

Publications (2)

Publication Number Publication Date
CN112651790A true CN112651790A (zh) 2021-04-13
CN112651790B CN112651790B (zh) 2024-04-12

Family

ID=75370580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110067803.9A Active CN112651790B (zh) 2021-01-19 2021-01-19 基于快消行业用户触达的ocpx自适应学习方法和系统

Country Status (1)

Country Link
CN (1) CN112651790B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612167A (zh) * 2022-05-12 2022-06-10 杭州桃红网络有限公司 一种建立广告自动关停模型的方法及广告自动关停模型
CN116739669A (zh) * 2023-08-16 2023-09-12 成都一心航科技有限公司 一种ocpx广告实时监控系统以及监控方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265290A1 (en) * 2008-04-18 2009-10-22 Yahoo! Inc. Optimizing ranking functions using click data
US20170031920A1 (en) * 2015-07-31 2017-02-02 RCRDCLUB Corporation Evaluating performance of recommender system
CN106447383A (zh) * 2016-08-30 2017-02-22 杭州启冠网络技术有限公司 跨时间、多维度异常数据监测的方法和系统
US20170206549A1 (en) * 2016-01-18 2017-07-20 Adobe Systems Incorporated Recommending Advertisements Using Ranking Functions
CN107622086A (zh) * 2017-08-16 2018-01-23 北京京东尚科信息技术有限公司 一种点击率预估方法和装置
US20180232660A1 (en) * 2017-02-15 2018-08-16 Yahoo Holdings, Inc. Method and system for adaptive online updating of ad related models
CN108427690A (zh) * 2017-02-15 2018-08-21 腾讯科技（深圳）有限公司 信息投放方法及装置
CN108665310A (zh) * 2018-05-08 2018-10-16 多盟睿达科技（中国）有限公司 一种基于探测预估技术的广告投放方法及系统
US20190080363A1 (en) * 2017-09-14 2019-03-14 Amadeus S.A.S. Methods and systems for intelligent adaptive bidding in an automated online exchange network
CN110096526A (zh) * 2019-04-30 2019-08-06 秒针信息技术有限公司 一种用户属性标签的预测方法及预测装置
CN110611636A (zh) * 2018-06-14 2019-12-24 蓝盾信息安全技术股份有限公司 一种基于大数据算法的失陷主机检测技术
CN110781605A (zh) * 2019-11-05 2020-02-11 恩亿科(北京)数据科技有限公司 广告投放模型测试方法、装置、计算机设备及存储介质
CN110852812A (zh) * 2019-11-20 2020-02-28 满江(上海)软件科技有限公司 一种广告信息监测系统
CN111091218A (zh) * 2018-10-23 2020-05-01 第四范式（北京）技术有限公司 竞价预测模型的生成以及广告投放自动出价方法和装置
CN111242699A (zh) * 2020-02-07 2020-06-05 恩亿科(北京)数据科技有限公司 流量退量管理方法、装置、电子设备及可读存储介质
CN111340062A (zh) * 2020-02-04 2020-06-26 恩亿科(北京)数据科技有限公司 一种映射关系确定方法及装置
CN111814083A (zh) * 2020-08-31 2020-10-23 腾讯科技（深圳）有限公司 展示结果生成方法、系统、装置、可读存储介质及设备
WO2020249125A1 (zh) * 2019-06-14 2020-12-17 第四范式（北京）技术有限公司 用于自动训练机器学习模型的方法和系统
CN113312552A (zh) * 2021-06-10 2021-08-27 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265290A1 (en) * 2008-04-18 2009-10-22 Yahoo! Inc. Optimizing ranking functions using click data
US20170031920A1 (en) * 2015-07-31 2017-02-02 RCRDCLUB Corporation Evaluating performance of recommender system
US20170206549A1 (en) * 2016-01-18 2017-07-20 Adobe Systems Incorporated Recommending Advertisements Using Ranking Functions
CN106447383A (zh) * 2016-08-30 2017-02-22 杭州启冠网络技术有限公司 跨时间、多维度异常数据监测的方法和系统
US20180232660A1 (en) * 2017-02-15 2018-08-16 Yahoo Holdings, Inc. Method and system for adaptive online updating of ad related models
CN108427690A (zh) * 2017-02-15 2018-08-21 腾讯科技（深圳）有限公司 信息投放方法及装置
CN107622086A (zh) * 2017-08-16 2018-01-23 北京京东尚科信息技术有限公司 一种点击率预估方法和装置
US20190080363A1 (en) * 2017-09-14 2019-03-14 Amadeus S.A.S. Methods and systems for intelligent adaptive bidding in an automated online exchange network
CN108665310A (zh) * 2018-05-08 2018-10-16 多盟睿达科技（中国）有限公司 一种基于探测预估技术的广告投放方法及系统
CN110611636A (zh) * 2018-06-14 2019-12-24 蓝盾信息安全技术股份有限公司 一种基于大数据算法的失陷主机检测技术
CN111091218A (zh) * 2018-10-23 2020-05-01 第四范式（北京）技术有限公司 竞价预测模型的生成以及广告投放自动出价方法和装置
CN110096526A (zh) * 2019-04-30 2019-08-06 秒针信息技术有限公司 一种用户属性标签的预测方法及预测装置
WO2020249125A1 (zh) * 2019-06-14 2020-12-17 第四范式（北京）技术有限公司 用于自动训练机器学习模型的方法和系统
CN110781605A (zh) * 2019-11-05 2020-02-11 恩亿科(北京)数据科技有限公司 广告投放模型测试方法、装置、计算机设备及存储介质
CN110852812A (zh) * 2019-11-20 2020-02-28 满江(上海)软件科技有限公司 一种广告信息监测系统
CN111340062A (zh) * 2020-02-04 2020-06-26 恩亿科(北京)数据科技有限公司 一种映射关系确定方法及装置
CN111242699A (zh) * 2020-02-07 2020-06-05 恩亿科(北京)数据科技有限公司 流量退量管理方法、装置、电子设备及可读存储介质
CN111814083A (zh) * 2020-08-31 2020-10-23 腾讯科技（深圳）有限公司 展示结果生成方法、系统、装置、可读存储介质及设备
CN113312552A (zh) * 2021-06-10 2021-08-27 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丝路赞学院: "运营必知-腾讯广告OCPX的系统原理"", 《HTTPS://MP.WEIXIN.QQ.COM/S/BJYB3BUJNSLQWQPMPG7EQQ》 *
肖垚等: ""在线广告中点击率预测研究"", 《华东师范大学学报(自然科学版)》, pages 83 *
邓秀勤;谢伟欢;刘富春;张翼飞;樊娟;: "基于特征工程的广告点击转化率预测模型", 数据采集与处理, no. 05 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612167A (zh) * 2022-05-12 2022-06-10 杭州桃红网络有限公司 一种建立广告自动关停模型的方法及广告自动关停模型
CN116739669A (zh) * 2023-08-16 2023-09-12 成都一心航科技有限公司 一种ocpx广告实时监控系统以及监控方法
CN116739669B (zh) * 2023-08-16 2023-10-27 成都一心航科技有限公司 一种ocpx广告实时监控系统以及监控方法

Also Published As

Publication number Publication date
CN112651790B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN110198310B (zh) 一种网络行为反作弊方法、装置及存储介质
CN110097066B (zh) 一种用户分类方法、装置及电子设备
CN107451199B (zh) 问题推荐方法及装置、设备
CN106022834B (zh) 广告反作弊方法及装置
CN105574147B (zh) 一种信息处理方法及服务器
CN110458220B (zh) 人群定向方法、装置、服务器及存储介质
CN107862022B (zh) 文化资源推荐系统
CN105160545B (zh) 投放信息样式确定方法及装置
CN109299344A (zh) 排序模型的生成方法、搜索结果的排序方法、装置及设备
CN110163647A (zh) 一种数据处理方法及装置
CN109558544B (zh) 排序方法及装置、服务器和存储介质
CN111078880B (zh) 子应用的风险识别方法以及装置
CN103218431A (zh) 一种能识别网页信息自动采集的系统与方法
CN111597446B (zh) 基于人工智能的内容推送方法、装置、服务器和存储介质
CN110321863A (zh) 年龄识别方法及装置、存储介质
CN111324789A (zh) 一种网络信息数据热度的计算方法
WO2020135642A1 (zh) 一种基于生成对抗网络的模型训练方法及设备
CN110334356A (zh) 文章质量的确定方法、文章筛选方法、以及相应的装置
CN112651790A (zh) 基于快消行业用户触达的ocpx自适应学习方法和系统
CN111626767B (zh) 资源数据的发放方法、装置及设备
CN113869931A (zh) 广告投放策略确定方法、装置、计算机设备和存储介质
CN111782735A (zh) 羊毛党流量识别方法及装置
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN114245185A (zh) 视频推荐方法、模型训练方法、装置、电子设备及介质
CN111062736A (zh) 模型训练、线索排序方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant