CN110728541A - 信息流媒体广告创意推荐方法及装置 - Google Patents

信息流媒体广告创意推荐方法及装置 Download PDF

Info

Publication number
CN110728541A
CN110728541A CN201910962318.0A CN201910962318A CN110728541A CN 110728541 A CN110728541 A CN 110728541A CN 201910962318 A CN201910962318 A CN 201910962318A CN 110728541 A CN110728541 A CN 110728541A
Authority
CN
China
Prior art keywords
data
creative
vector
user
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910962318.0A
Other languages
English (en)
Other versions
CN110728541B (zh
Inventor
罗毅
罗文辉
招伟锦
杨忠轩
吕子锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fengshen Network Technology Co Ltd
Original Assignee
Guangzhou Fengshen Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fengshen Network Technology Co Ltd filed Critical Guangzhou Fengshen Network Technology Co Ltd
Priority to CN201910962318.0A priority Critical patent/CN110728541B/zh
Publication of CN110728541A publication Critical patent/CN110728541A/zh
Application granted granted Critical
Publication of CN110728541B publication Critical patent/CN110728541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了提供了一种信息流媒体广告创意推荐方法及装置，该方法包括：构建底层存储，底层存储对应的数据库内存储有广告投放数据。从数据库内获取文案数据、素材数据、创意效果数据和用户人群数据。对文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理。对预处理后的文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One‑Hot向量。将用户向量、创意向量和One‑Hot向量输入Wide&Deep模型，Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0，1】。根据创意推荐给对应用户人群的概率进行效果评估。本发明的信息流媒体广告创意推荐方法及装置，可以提高用户在观看创意时的点击率。

Description

信息流媒体广告创意推荐方法及装置
技术领域
本发明涉及广告推荐技术领域，尤其涉及一种信息流媒体广告创意推荐方法及装置。
背景技术
创意是由素材(图片)和文案(文字)构成，目前在信息流媒体创意推荐领域中，采取的主流结构是输入素材、文案内容以及创意效果数据，选用机器学习模型去构建CTR预估模型，CTR(Click-Through-Rate)即点击通过率，在此具体指的是该创意的实际点击次数除以创意的展现量。
业界传统的CTR预估解法是广义线性模型LR(logistic regression，逻辑斯特回归)+人工特征工程。LR使用了Logit变换将函数值映射到[0,1]区间，映射后的函数值就是CTR的预估值。LR这种线性模型很容易并行化，处理上亿条训练样本不是问题。但这种解法的不足是，因为线性模型的学习能力有限，需要引入大量的领域知识来人工设计特征以及特征之间的交叉组合来间接补充算法的非线性学习能力，非常消耗人力和机器资源，迁移性不够友好。此外还有常见的Tree based方法，这种方法虽然能够有效解决LR模型的特征组合问题，但缺点就是仍然是对历史行为的记忆，泛化能力差。还有像FM(factorizationmachine)模型，能自动学习高阶属性的权值，不用通过人工的方式选取特征来做交叉，但FM模型只能拟合特定的非线性模式，无法自动做特征交叉，运算量随着数据量成幂数倍增长。并且，由于当前主流模型一般只使用创意(素材和文案)本身的特征变量和它的效果数据，没有与所推荐的用户群体构建联系，导致创意推荐模型离线效果较好但线上表现不尽如意。
发明内容
为解决上述现有技术中存在的技术问题，本发明提供了一种信息流媒体广告创意推荐方法及装置。具体技术方案如下：
第一方面，提供了一种信息流媒体广告创意推荐方法，所述方法包括：
构建底层存储，所述底层存储对应的数据库内存储有广告投放数据；
从所述数据库内获取文案数据、素材数据、创意效果数据和用户人群数据；
对所述文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理；
对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量；
将所述用户向量、创意向量和One-Hot向量输入Wide&Deep模型，采取梯度下降算法更新模型权重数值，得到降低模型损失的效果，所述Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0，1】；
根据所述创意推荐给对应用户人群的概率进行效果评估。
在一种可能的设计中，数据预处理包括：数据归一化、缺失值处理、编码格式统一和无效特征处理。
在一种可能的设计中，通过下述转化函数进行数据归一化：
x2＝(x1-u)/σ
式中，x2为归一化后的数据，x1为原始数据，u为所有样本数据的均值，σ为所有样本数据的标准差。
在一种可能的设计中，所述缺失值处理包括：数据中存在缺失值时，当缺失值数量在预设阈值以下时，若缺失值是数值型变量，缺失值取当前特征的平均值，若缺失值是类别型变量，缺失值取1，若缺失值数量超过预设阈值时，删除该特征。
在一种可能的设计中，所述无效特征处理包括：若该特征中的重复数值超过预设阈值时，删除该特征。
在一种可能的设计中，所述对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量，包括：从所述用户人群数据中获取用户基础属性、行为兴趣偏好和场景特征，进行特征向量化，作为用户向量；从所述素材数据中获取风格标注，从所述文案数据中获取词性标注，通过One-Hot编码获取One-Hot向量，作为部分创意向量；从所述素材数据中获取拆分后的素材元素和原始图片，转换成向量矩阵，作为GoogLeNet深度神经网络输入值后训练获得最后全连接层的输出权重矩阵，获取素材向量，作为部分创意创意向量；从所述素材数据中提取图片文本，从所述文案数据中获取原始文本和提取关键词，利用Word2Vec网络生成词向量，获取文本向量，作为部分创意向量；将所述创意效果数据经特征工程获得One-Hot向量直接输入所述Wide&Deep模型。
在一种可能的设计中，所述对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量，还包括：对创意效果数据中包含曝光量、点击量和消耗的连续性变量利用等距划分方法进行离散化，计算当天曝光量、点击量和消耗对应CTR的标准差、平均值以及总和，并分时数据按天、6小时、12小时进行汇总；其次对创意效果数据中的文案、广告位、图片或视频类别进行类别编码，获取One-Hot向量。
在一种可能的设计中，所述方法还包括：创意暂无效果数据时，所述Wide&Deep模型根据用户行为兴趣偏好找到合适投放该创意的人群。
在一种可能的设计中，所述Wide&Deep模型的最小化损失函数如下：
Figure BDA0002229348640000031
式中，yi为输入实例xi的真实类别，pi为预测输入实例xi属于类别1的概率。
第二方面，提供了一种信息流媒体广告创意推荐装置，所述装置包括：
存储模块，用于构建底层存储，所述底层存储对应的数据库内存储有广告投放数据；
获取模块，用于从所述数据库内获取文案数据、素材数据、创意效果数据和用户人群数据；
预处理模块，用于对所述文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理；
挖掘模块，用于对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量；
运算模块，用于将所述用户向量、创意向量和One-Hot向量输入Wide&Deep模型，所述Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0,1】；
评估模块，用于根据所述创意推荐给对应用户人群的概率进行效果评估。
本发明技术方案的主要优点如下：
本发明的信息流媒体广告创意推荐方法及装置，通过将创意与用户人群联系起来，针对性地将用户喜欢的偏好和创意内容高度匹配，提高用户在观看创意时的点击率。通过采用Wide&Deep模型进行向量运算，Wide&Deep模型可以接合线性模型的记忆能力和DNN模型的泛华能力，在训练过程中同时优化两个模型的参数，从而达到整体模型的预测能力最优的深度神经网络模型。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一个实施例提供的信息流媒体广告创意推荐方法的流程图；
图2为本发明一个实施例提供的信息流媒体广告创意推荐方法的数据处理过程图；
图3为本发明一个实施例提供的信息流媒体广告创意推荐方法中根据用户人群数据获取用户向量的过程图；
图4为本发明一个实施例提供的信息流媒体广告创意推荐方法中根据素材数据和文案数据获取创意向量的过程图；
图5为本发明一个实施例提供的信息流媒体广告创意推荐方法中根据创意效果数据获取One-Hot向量的过程图；
图6为本发明一个实施例提供的信息流媒体广告创意推荐方法中根据用户向量、创意向量和One-Hot向量进行效果评估的过程图；
图7为本发明一个实施例提供的信息流媒体广告创意推荐方法中Wide&Deep模型的示意图。
其中，由于篇幅有限附图2不够清晰，图3、图4、图5和图6分别是附图2的局部放大图且组合后能获得完整的附图2。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明实施例提供的技术方案。
第一方面，本发明实施例提供了一种信息流媒体广告创意推荐方法，如附图1和附图2所示，所述方法包括：
S1，构建底层存储，底层存储对应的数据库内存储有广告投放数据。
S2，从数据库内获取文案数据、素材数据、创意效果数据和用户人群数据。
S3，对文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理。
S4，对预处理后的文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量。
S5，将用户向量、创意向量和One-Hot向量输入Wide&Deep模型，采取梯度下降算法更新模型权重数值，得到降低模型损失的效果，Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0，1】。
S6，根据创意推荐给对应用户人群的概率进行效果评估。
本发明实施例提供的信息流媒体广告创意推荐方法，通过将创意与用户人群联系起来，针对性地将用户喜欢的偏好和创意内容高度匹配，提高用户在观看创意时的点击率。通过采用Wide&Deep模型进行向量运算，Wide&Deep模型可以接合线性模型的记忆能力和DNN模型的泛华能力，在训练过程中同时优化两个模型的参数，从而达到整体模型的预测能力最优的深度神经网络模型。
以下对本发明实施例提供的信息流媒体广告创意推荐方法的各步骤及其有益效果进行详细说明：
可选地，步骤S1中，可以采用Hadoop、HBase、ElasticSearch构建底层存储，从而将广告投放数据存储于对应的数据中，便于后续从数据库中获取文案数据、素材数据、创意效果数据和用户人群数据。
可选地，步骤S3中，数据预处理包括：数据归一化、缺失值处理、编码格式统一和无效特征处理。
示例地，通过下述转化函数进行数据归一化：
x2＝(x1-u)/σ
式中，x2为归一化后的数据，x1为原始数据，u为所有样本数据的均值，σ为所有样本数据的标准差。
经过处理的数据符合标准正态分布，通过数据归一化处理，可以加快机器学习模型训练过程中梯度下降求最优解的速度，同时提高模型精度和泛化能力。
示例地，缺失值处理包括：数据中存在缺失值时，当缺失值数量在预设阈值以下时，若缺失值是数值型变量，缺失值取当前特征的平均值，若缺失值是类别型变量，缺失值取1，若缺失值数量超过预设阈值时，删除该特征。
对于编码格式统一，由于数据处理过程中可能会出现新的特征至导致原始偏码值和新编码值不对应，为了消除该情况，采取保存原始编码值的方式，以使线上线下编码保持一致，且新增特征值统一编码为-1，保证数据集的统一性。
示例地，无效特征处理包括：若该特征中的重复数值超过预设阈值时，删除该特征。举例来说，类型中只有0或1，其中0占比95％以上，那么该特征做删除处理。
可选地，如附图2所示，步骤S4中，对预处理后的文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量，包括：
从用户人群数据中获取用户基础属性、行为兴趣偏好和场景特征，进行特征向量化，作为用户向量。该过程示意图可以参见附图3。
从素材数据中获取风格标注，从文案数据中获取词性标注，通过One-Hot编码获取One-Hot向量，作为部分创意向量。
从素材数据中获取拆分后的素材元素和原始图片，转换成向量矩阵，作为GoogLeNet深度神经网络输入值后训练获得最后全连接层的输出权重矩阵，获取素材向量，作为部分创意向量。
从素材数据中提取图片文本，从文案数据中获取原始文本和提取关键词，利用Word2Vec网络生成词向量，获取文本向量，作为部分创意向量。上述各部分创意向量经向量拼接获得创意向量。该过程可以参见附图4。
对创意效果数据中包含曝光量、点击量和消耗的连续性变量利用等距划分方法进行离散化，计算当天曝光量、点击量和消耗对应CTR的标准差、平均值以及总和，并分时数据按天、6小时、12小时进行汇总；其次对创意效果数据中的文案、广告位、图片或视频类别进行类别编码，获取One-Hot向量。该过程示意图可以参见附图5。
其中，One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由其独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。通过One-Hot编码将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点，会使特征之间的距离计算更加合理。
客户人群特征包括用户基础属性、行为兴趣偏好以及场景特征，其中用户基础属性包括性别、年龄范围、地理位置等，场景特征主要区分电商、APP、资讯等三种行为场景，将对应这些特征进行One-Hot编码。该做法能够有效地将创意本身和客户人群联系起来，针对性地将用户喜欢的偏好和创意内容高度匹配，提高用户在观看创意时的点击率。
可选地，本发明实施例提供的信息流媒体广告创意推荐方法还包括：创意暂无效果数据时，Wide&Deep模型根据用户行为兴趣偏好找到合适投放该创意的人群，减少创意冷启动阶段时所带来的广告投放消耗浪费等问题。
具体地，对于风格标注，将素材数据按风格(包括行业，场景等)相同进行分类，对分类结果进行One-Hot编码。对于词性标注，对文案文本进行初始词性赋值，对比词典中正确标注的句子，自动学习结构规则，利用转换规则调整初始赋值，对赋值结果离散化并进行One-Hot编码。
具体地，对于素材向量。将原始图片和素材拆分后的各元素组件转化成向量矩阵，作为GoogLeNet深度神经网络输入值后训练获得最后全连接层的输出权重矩阵，作为部分创意向量，后续输入Wide&Deep模型中。其中，GoogLeNet的损失函数如下：
Figure BDA0002229348640000071
其中，θi和x是列向量，θx Tx可能被换成关于x的函数f(x)。
可选地，上述GoogLeNet神经网络模型也可以选用Vgg16神经网络模型进行替代。
具体地，对于文本向量，利用OCR提速素材中的文本内容，与文案中的文本内容共同输入到Word2Vec神经网络生成词向量，实现图片文本和文案内容共享变量，提高素材内的文字和文案的匹配度。同时，采取Tfidf算法或者TextRank算法提取文案中关键词权重，输入到Word2Vec神经网络作为后续的特征输入。
其中，上述到Word2Vec神经网络模型也可以选用BERT神经网络模型替代。
可选地，本发明实施例提供的信息流媒体广告创意推荐方法中，数据挖掘和特征工程还包括：线性转非线性、Json格式和特定类型转类别编码、时间扩维以及计算当天特征的各类别的ctr的标准差、平均值和总和。以下对上述各操作的具体过程进行阐述：
具体地，线性转非线性包括：将线性特征等距划分，减小极大值与极小值的影响，将相近数值作为同一区间处理。
Json格式和特定类型转类别编码包括：创意特征是广告基本元素之一，其原始数据为JSON，通过解析后得到具体文本再编码，同时原始特征值属于string或list等，也需将其转为编码类型。
时间扩维包括：查看不同小时维度和前后天对应CTR的影响，着重观察时间纬度跟曝光量和点击量的关系。
计算当天特征的各类别的ctr的标准差、平均值以及总和：通过计算不同特征对CTR的反馈情况，主要是通过加总和均值以及方差的表示可以看出该特征值对CTR的影响。
本发明实施例提供的信息流媒体广告创意推荐方法中，获取用户向量、创意向量和One-Hot向量后，将用户向量、创意向量和One-Hot向量输入Wide&Deep模型，Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0，1】，根据创意推荐给对应用户人群的概率进行效果评估。该过程示意图可以参见附图6，Wide&Deep模型可以参见附图7。对于Wide&Deep模型，以下进行详细说明：
Wide&Deep模型是接合线性模型的记忆能力(memorization)和DNN模型的泛化能力(generalization)，在训练过程中同时优化2个模型的参数，从而达到整体模型的预测能力最优的深度神经网络模型。
Wide&Deep模型能够很好地解决推荐排序问题，Wide端对应的是线性模型，输入特征可以是连续特征，也可以是稀疏的离散特征，离散特征之间进行交叉后可以构成更高维的离散特征。线性模型训练中通过L1正则化，能够很快收敛到有效的特征组合中。Deep端对应的是DNN模型，每个特征对应一个低维的实数向量，称之为特征的Embedding。DNN模型通过反向传播调整隐藏层的权重，并且更新特征的Embedding。Wide&Deep整个模型的输出是线性模型输出与DNN模型输出的叠加。
其中，Wide&Deep模型的最小化损失函数如下：
Figure BDA0002229348640000081
式中，yi为输入实例xi的真实类别，pi为预测输入实例xi属于类别1的概率，对所有样本的对数损失表示对每个样本的对数损失的平均值,对于完美的分类器,对数损失为0。
通过向Wide&Deep模型输入之前提取的用户向量、创意向量以及创意效果One-Hot向量，输出是对应创意推荐给该用户群体的概率，概率取值在[0,1]之间。由于模型训练采用的是联合训练(Joint Training)，模型的训练误差会同时反馈到线性模型和DNN模型中进行参数更新。相比Ensemble Learning中单个模型进行独立训练，模型的融合仅在最终做预测阶段进行，Joint Training中模型的融合是在训练阶段进行的，单个模型的权重更新会受到Wide端和Deep端对模型训练误差的共同影响。因此在模型的特征设计阶段，Wide端模型和Deep端模型只需要分别专注于擅长的方面，Wide端模型通过离散特征的交叉组合进行Memorization，Deep端模型通过特征的Embedding进行Generalization，这样单个模型的大小和复杂度也能得到控制，而整体模型的性能够进一步提高精度。
第二方面，本发明实施例提供了一种信息流媒体广告创意推荐装置，该装置包括：
存储模块，用于构建底层存储，底层存储对应的数据库内存储有广告投放数据。获取模块，用于从数据库内获取文案数据、素材数据、创意效果数据和用户人群数据。预处理模块，用于对文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理。挖掘模块，用于对预处理后的文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量。运算模块，用于将用户向量、创意向量和One-Hot向量输入Wide&Deep模型，Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0,1】。评估模块，用于根据创意推荐给对应用户人群的概率进行效果评估。
综上所述，本发明实施例提供的信息流媒体广告创意推荐方法及装置，通过构件用户群体特征向量，与创意向量和创意效果数据合并后输入Wide&Deep模型，能够有效地将创意本身和客户人群联系起来，针对性地将用户喜欢的偏好和创意内容高度匹配，提高用户在观看创意时的点击率。
通过利用OCR提取素材中的文本内容，与文案中的文本内容共同输入到Word2Vec神经网络生成词向量，可以有效提高素材内的文字和文案内容的匹配度，提升用户在观看该创意时的可读性，从而提高创意点击率。
此外，当创意暂无效果数据时，可以根据用户兴趣偏好找到相关合适投放该创意的人群，避免创意冷启动所造成的广告投放消耗浪费等问题，提高广告投放初期创意点击率，同时减少广告初期投放所带来的空消耗等问题。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种信息流媒体广告创意推荐方法，其特征在于，所述方法包括：
构建底层存储，所述底层存储对应的数据库内存储有广告投放数据；
从所述数据库内获取文案数据、素材数据、创意效果数据和用户人群数据；
对所述文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理；
对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量；
将所述用户向量、创意向量和One-Hot向量输入Wide&Deep模型，采取梯度下降算法更新模型权重数值，得到降低模型损失的效果，所述Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0，1】；
根据所述创意推荐给对应用户人群的概率进行效果评估。
2.根据权利要求1所述的信息流媒体广告创意推荐方法，其特征在于，数据预处理包括：数据归一化、缺失值处理、编码格式统一和无效特征处理。
3.根据权利要求2所述的信息流媒体广告创意推荐方法，其特征在于，通过下述转化函数进行数据归一化：
x2＝(x1-u)/σ
式中，x2为归一化后的数据，x1为原始数据，u为所有样本数据的均值，σ为所有样本数据的标准差。
4.根据权利要求2所述的信息流媒体广告创意推荐方法，其特征在于，所述缺失值处理包括：
数据中存在缺失值时，当缺失值数量在预设阈值以下时，若缺失值是数值型变量，缺失值取当前特征的平均值，若缺失值是类别型变量，缺失值取1，若缺失值数量超过预设阈值时，删除该特征。
5.根据权利要求2所述的信息流媒体广告创意推荐方法，其特征在于，所述无效特征处理包括：若该特征中的重复数值超过预设阈值时，删除该特征。
6.根据权利要求1或2所述的信息流媒体广告创意推荐方法，其特征在于，所述对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量，包括：
从所述用户人群数据中获取用户基础属性、行为兴趣偏好和场景特征，进行特征向量化，作为用户向量；
从所述素材数据中获取风格标注，从所述文案数据中获取词性标注，通过One-Hot编码获取One-Hot向量，作为部分创意向量；
从所述素材数据中获取拆分后的素材元素和原始图片，转换成向量矩阵，作为GoogLeNet深度神经网络输入值后训练获得最后全连接层的输出权重矩阵，获取素材向量，作为部分创意创意向量；
从所述素材数据中提取图片文本，从所述文案数据中获取原始文本和提取关键词，利用Word2Vec网络生成词向量，获取文本向量，作为部分创意向量。
7.根据权利要求6所述的信息流媒体广告创意推荐方法，其特征在于，所述对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量，还包括：对创意效果数据中包含曝光量、点击量和消耗的连续性变量利用等距划分方法进行离散化，计算当天曝光量、点击量和消耗对应CTR的标准差、平均值以及总和，并分时数据按天、6小时、12小时进行汇总；其次对创意效果数据中的文案、广告位、图片或视频类别进行类别编码，获取One-Hot向量。
8.根据权利要求7所述的信息流媒体广告创意推荐方法，其特征在于，所述方法还包括：创意暂无效果数据时，所述Wide&Deep模型根据用户行为兴趣偏好找到合适投放该创意的人群。
9.根据权利要求1所述的信息流媒体广告创意推荐方法，其特征在于，所述Wide&Deep模型的最小化损失函数如下：
Figure FDA0002229348630000021
式中，yi为输入实例xi的真实类别，pi为预测输入实例xi属于类别1的概率。
10.一种信息流媒体广告创意推荐装置，其特征在于，所述装置包括：
存储模块，用于构建底层存储，所述底层存储对应的数据库内存储有广告投放数据；
获取模块，用于从所述数据库内获取文案数据、素材数据、创意效果数据和用户人群数据；
预处理模块，用于对所述文案数据、素材数据、创意效果数据和用户人群数据进行数据预处理；
挖掘模块，用于对预处理后的所述文案数据、素材数据、创意效果数据和用户人群数据进行数据挖掘和特征工程，获取用户向量、创意向量和One-Hot向量；
运算模块，用于将所述用户向量、创意向量和One-Hot向量输入Wide&Deep模型，所述Wide&Deep模型输出创意推荐给对应用户人群的概率y，y∈【0,1】；
评估模块，用于根据所述创意推荐给对应用户人群的概率进行效果评估。
CN201910962318.0A 2019-10-11 2019-10-11 信息流媒体广告创意推荐方法及装置 Active CN110728541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910962318.0A CN110728541B (zh) 2019-10-11 2019-10-11 信息流媒体广告创意推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910962318.0A CN110728541B (zh) 2019-10-11 2019-10-11 信息流媒体广告创意推荐方法及装置

Publications (2)

Publication Number Publication Date
CN110728541A true CN110728541A (zh) 2020-01-24
CN110728541B CN110728541B (zh) 2024-01-23

Family

ID=69220931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910962318.0A Active CN110728541B (zh) 2019-10-11 2019-10-11 信息流媒体广告创意推荐方法及装置

Country Status (1)

Country Link
CN (1) CN110728541B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489196A (zh) * 2020-04-08 2020-08-04 支付宝(杭州)信息技术有限公司 基于深度学习网络的预测方法、装置、电子设备及介质
CN111538912A (zh) * 2020-07-07 2020-08-14 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及可读存储介质
CN111681057A (zh) * 2020-06-11 2020-09-18 北京深演智能科技股份有限公司 信息投放的媒体资源的处理方法及装置
CN112016962A (zh) * 2020-08-26 2020-12-01 北京字节跳动网络技术有限公司 推送方法、装置、电子设备和计算机可读存储介质
CN112015978A (zh) * 2020-07-24 2020-12-01 上海淇玥信息技术有限公司 一种定制信息发送方法、装置和电子设备
CN112270571A (zh) * 2020-11-03 2021-01-26 中国科学院计算技术研究所 一种用于冷启动广告点击率预估模型的元模型训练方法
CN112767024A (zh) * 2021-01-15 2021-05-07 北京搜狗科技发展有限公司 一种广告创意生成的方法及相关装置
CN112989187A (zh) * 2021-02-25 2021-06-18 平安科技（深圳）有限公司 创作素材的推荐方法、装置、计算机设备及存储介质
CN113222647A (zh) * 2021-04-26 2021-08-06 西安点告网络科技有限公司 基于点击率预估模型的广告推荐方法、系统及存储介质
US20210358042A1 (en) * 2020-05-13 2021-11-18 Hunan Fumi Information Technology Co., Ltd. Stock recommendation method based on item attribute identification and the system thereof
CN116029770A (zh) * 2022-12-26 2023-04-28 中国科学技术大学 广告创意智能化推送方法、系统、设备与存储介质
CN116911928A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种基于创意特征的广告推荐模型的训练方法及装置
CN117788628A (zh) * 2024-02-27 2024-03-29 厦门众联世纪股份有限公司 一种基于aigc的创意素材生成方法
CN117829911A (zh) * 2024-03-06 2024-04-05 湖南创研科技股份有限公司 一种ai驱动的广告创意优化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590240A (zh) * 2015-12-30 2016-05-18 合一网络技术(北京)有限公司 一种品牌广告效果优化的离散计算方法
CN108596645A (zh) * 2018-03-13 2018-09-28 阿里巴巴集团控股有限公司 一种信息推荐的方法、装置及设备
WO2018212711A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN110060029A (zh) * 2019-04-18 2019-07-26 浩鲸云计算科技股份有限公司 一种ai赋能创意设计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590240A (zh) * 2015-12-30 2016-05-18 合一网络技术(北京)有限公司 一种品牌广告效果优化的离散计算方法
WO2018212711A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN108596645A (zh) * 2018-03-13 2018-09-28 阿里巴巴集团控股有限公司 一种信息推荐的方法、装置及设备
CN110060029A (zh) * 2019-04-18 2019-07-26 浩鲸云计算科技股份有限公司 一种ai赋能创意设计方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489196A (zh) * 2020-04-08 2020-08-04 支付宝(杭州)信息技术有限公司 基于深度学习网络的预测方法、装置、电子设备及介质
US20210358042A1 (en) * 2020-05-13 2021-11-18 Hunan Fumi Information Technology Co., Ltd. Stock recommendation method based on item attribute identification and the system thereof
CN111681057A (zh) * 2020-06-11 2020-09-18 北京深演智能科技股份有限公司 信息投放的媒体资源的处理方法及装置
CN111538912B (zh) * 2020-07-07 2020-12-25 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及可读存储介质
CN111538912A (zh) * 2020-07-07 2020-08-14 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及可读存储介质
CN112015978B (zh) * 2020-07-24 2023-06-23 上海淇玥信息技术有限公司 一种定制信息发送方法、装置和电子设备
CN112015978A (zh) * 2020-07-24 2020-12-01 上海淇玥信息技术有限公司 一种定制信息发送方法、装置和电子设备
CN112016962A (zh) * 2020-08-26 2020-12-01 北京字节跳动网络技术有限公司 推送方法、装置、电子设备和计算机可读存储介质
CN112270571A (zh) * 2020-11-03 2021-01-26 中国科学院计算技术研究所 一种用于冷启动广告点击率预估模型的元模型训练方法
CN112270571B (zh) * 2020-11-03 2023-06-27 中国科学院计算技术研究所 一种用于冷启动广告点击率预估模型的元模型训练方法
CN112767024A (zh) * 2021-01-15 2021-05-07 北京搜狗科技发展有限公司 一种广告创意生成的方法及相关装置
CN112767024B (zh) * 2021-01-15 2024-02-20 北京搜狗科技发展有限公司 一种广告创意生成的方法及相关装置
CN112989187A (zh) * 2021-02-25 2021-06-18 平安科技（深圳）有限公司 创作素材的推荐方法、装置、计算机设备及存储介质
CN113222647B (zh) * 2021-04-26 2023-11-28 西安点告网络科技有限公司 基于点击率预估模型的广告推荐方法、系统及存储介质
CN113222647A (zh) * 2021-04-26 2021-08-06 西安点告网络科技有限公司 基于点击率预估模型的广告推荐方法、系统及存储介质
CN116029770A (zh) * 2022-12-26 2023-04-28 中国科学技术大学 广告创意智能化推送方法、系统、设备与存储介质
CN116029770B (zh) * 2022-12-26 2023-10-20 中国科学技术大学 广告创意智能化推送方法、系统、设备与存储介质
CN116911928A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种基于创意特征的广告推荐模型的训练方法及装置
CN116911928B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 一种基于创意特征的广告推荐模型的训练方法及装置
CN117788628A (zh) * 2024-02-27 2024-03-29 厦门众联世纪股份有限公司 一种基于aigc的创意素材生成方法
CN117829911A (zh) * 2024-03-06 2024-04-05 湖南创研科技股份有限公司 一种ai驱动的广告创意优化方法及系统

Also Published As

Publication number Publication date
CN110728541B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110728541B (zh) 信息流媒体广告创意推荐方法及装置
CN111538912B (zh) 内容推荐方法、装置、设备及可读存储介质
Verdonck et al. Special issue on feature engineering editorial
WO2020207196A1 (zh) 用户标签生成方法、装置、存储介质和计算机设备
Huang et al. Identifying disaster related social media for rapid response: a visual-textual fused CNN architecture
CN111125530B (zh) 一种基于多类型特征深度学习的信息流推荐方法
CN111339415A (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
Lenz et al. Measuring the diffusion of innovations with paragraph vector topic models
CN111898031A (zh) 一种获得用户画像的方法及装置
CN111783873B (zh) 基于增量朴素贝叶斯模型的用户画像方法及装置
CN112801425B (zh) 信息点击率的确定方法、装置、计算机设备和存储介质
CN112559749A (zh) 在线教育师生智能匹配方法、装置及存储介质
CN112632256A (zh) 基于问答系统的信息查询方法、装置、计算机设备和介质
Zhang et al. SEMA: Deeply learning semantic meanings and temporal dynamics for recommendations
CN114330514A (zh) 一种基于深度特征与梯度信息的数据重建方法及系统
CN112132075B (zh) 图文内容处理方法及介质
Liu Deep learning in marketing: a review and research agenda
US20230351473A1 (en) Apparatus and method for providing user's interior style analysis model on basis of sns text
CN111161266B (zh) 一种基于矢量量化的变分自编码机的多风格字体生成方法
CN113656560B (zh) 情感类别的预测方法和装置、存储介质及电子设备
CN115690276A (zh) 虚拟形象的视频生成方法、装置、计算机设备和存储介质
CN115344698A (zh) 标签处理方法、装置、计算机设备、存储介质和程序产品
CN114328894A (zh) 文档处理方法、装置、电子设备及介质
Sangeetha et al. An Enhanced Neural Graph based Collaborative Filtering with Item Knowledge Graph
CN114996435A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant