CN119762161A - 基于ai的asa广告关键词及素材生成系统 - Google Patents

Abstract

本发明提出了基于AI的ASA广告关键词及素材生成系统，采用知识图谱结合XLNet的方法实现关键词生成，并设计多模态Transformer编码器处理广告素材。该系统采用多任务学习的效果预估，以及基于分层多臂老虎机的优化投放，实现了从广告需求理解到投放优化的端到端自动化处理。

Description

基于AI的ASA广告关键词及素材生成系统

技术领域

本发明涉及广告技术领域，特别是基于AI的ASA广告关键词及素材生成系统。

背景技术

ASA(Apple Search Ads)广告是移动应用推广的重要渠道之一。相比于其他的移动广告形式，ASA广告直接投放在Apple App Store的搜索结果页，具有高度场景相关性和针对性，是触达高意向用户、提升推广效果的利器。然而，ASA广告的关键词覆盖度广、变现难度大，广告主如何基于海量的素材库和产品信息，快速且精准地生成与产品高度匹配的关键词和广告创意，进而提升广告效果，是ASA广告优化面临的关键技术挑战。

传统的ASA广告优化主要依赖人工配置关键词和设计素材。广告优化人员需要对产品和行业有深刻的理解，并总结出有针对性的关键词组合和创意策略，才能生成优质的广告内容。这一过程不仅耗时耗力，且容易受到经验局限和认知盲区的影响，生成的广告往往泛化能力不足，难以灵活应对多变的市场环境和用户需求。此外，关键词的筛选和创意的设计缺乏量化指标和实时反馈，广告主无法准确预估新增关键词和素材的投放效果，导致广告预算利用率低下，ROI难以保障。

近年来，人工智能技术的发展为ASA广告优化带来了新的突破口。NLP领域的BERT、GPT等大规模语言模型(LargeLanguageModels，LLMs)在理解语义、生成文本方面取得了显著进展。多模态机器学习模型也逐渐成熟，能够处理文本、图像、视频等不同形式的素材信息，让计算机"看懂"广告内容成为可能。与此同时，知识图谱、强化学习等人工智能技术在实际场景中的应用也愈发广泛。这些前沿的技术进展为ASA广告生成和优化提供了全新的思路和方法。

本发明针对ASA广告关键词和素材生成中的三个核心问题展开研究：1)如何基于产品信息和历史广告投放数据，自动生成与产品高度匹配的ASA投放关键词，以提升广告效果；2)如何结合关键词的历史表现数据，准确预测新关键词的投放效果(如点击率、转化率等)；3)如何自动化生成与品牌形象一致的广告素材(包括文案、图片、视频)，并在投放过程中根据数据实时优化素材。本发明创新性地提出基于AI的ASA广告关键词及素材生成系统。该系统利用强大的自然语言理解能力和XLNet在文本生成、多模态信息处理方面的优势，高效解析广告主的广告需求，准确把握产品卖点和受众特征，智能构建符合品牌调性的广告关键词和素材。在此基础上，本发明设计了一套动态优化算法，实时统计广告效果数据，持续优化关键词的组合策略和创意的呈现方式。实验结果表明，该方法能够显著提升ASA广告的点击率、转化率等关键效果指标，在提升投放效果的同时，极大地提高了广告优化的自动化程度和效率，为ASA广告实践提供了新的突破口。

发明内容

为了解决上述问题，本发明提供了一种基于人工智能的ASA广告关键词及素材生成系统，该系统的结构图如图1所示，所述系统包括如下模块：

ASA广告需求理解模块，该模块根据如下步骤完成对广告需求的理解：

步骤1.1采用BiLSTM-CRF架构的深度学习模型对广告主需求进行解析；

步骤1.2引入多头注意力机制MHA增强广告意图理解：

Q，K，V＝H^Q，K，VW^Q，K，V；

MHA(Q，K，V)＝concat(head₁，...，head_k)W^O；

其中，H^Q，K，V代表广告需求的输入特征矩阵，W^Q，K，V代表可学习的权重矩阵，d代表注意力头的维度，head_k代表第k个注意力头的输出，concat代表向量拼接操作，W^O代表输出映射矩阵，Q，K，V分别代表查询、键和值矩阵。

ASA广告关键词生成模块，该模块根据如下步骤进行广告关键词生成：

步骤2.1基于知识图谱的精准广告关键词挖掘：

其中，代表广告产品p的知识子图，(h，r，t)代表子图中的头实体、关系和尾实体三元组，v_h，v_r，v_t分别代表它们的向量表示，||·||₂代表L2范数，argmin表示求使目标函数最小的参数值。

步骤2.2基于XLNet的广告关键词拓展：

P(w_i|S_\i)＝XLNet(S|w_i＝[MASK])；

其中，S代表广告种子关键词序列，w_i代表第i个词，h_i代表XLNet最后一层w_i位置的隐状态，Q(w_i)代表广告关键词质量评估分数，b_i和b_j代表偏置项，w_i和w_j代表词向量，S_\i代表除第i个词外的序列，[MASK]代表掩码标记。

ASA广告素材生成模块，该模块根据如下步骤进行广告素材生成：

步骤3.1设计多模态Transformer编码器处理广告素材：

h^(m)＝MMTE(x^(m)，p^(m))，m∈{t，i，v}；

其中，x^(m)代表广告素材在模态m下的内容特征向量，p^(m)代表位置特征向量，m代表模态类型，t，i，v分别代表文本、图像、视频模态，h^(m)代表输出的模态特征，MMTE代表多模态Transformer编码器。

步骤3.2引入跨模态匹配损失优化广告创意：

其中，代表一个batch内的广告样本集合，代表广告样本x在模态m下的特征表示，x⁺代表与样本x匹配的正样本，x′代表batch中的其他样本，·代表点积运算。

广告效果预估模块，该模块根据如下步骤进行广告效果预估：

步骤4.1设计特征交互层建模广告创意和关键词：

z_ad＝MLP(e_ad)⊙v_ad；

z_kw＝MLP(e_kw)⊙v_kw；

z＝[z_ad，z_kw，z_ad⊙z_kw]；

其中，e_ad和e_kw分别为广告创意和关键词的Embedding向量，v_ad和v_kw分别为广告创意和关键词的附加特征向量，⊙为Hadamard积(逐元素乘积)，[·，·]表示向量拼接，MLP代表多层感知机。

广告投放优化模块，该模块根据如下步骤进行广告投放优化：

步骤5.1使用分层多臂老虎机策略(HMAB)进行广告投放优化：

其中，a代表广告投放策略，EU_PK(a)代表基于先验知识计算的期望效用，n_a代表策略a的选择次数，n_i代表第i个策略的选择次数，α代表探索因子(用于平衡探索和利用)，代表所有策略的总选择次数。

步骤5.2采用演化算法优化广告出价：

Fitness(b)＝ω₁×CTR_b+ω₂×Rank_b-ω₃×CPC_b+ω₄×Quality_b；

其中，b代表广告出价向量，CTR_b代表预估点击率，Rank_b代表广告排名得分，CPC_b代表每次点击成本，Quality_b代表广告质量得分，ω₁，ω₂，ω₃，ω₄分别代表点击率、排名、成本和质量的权重系数。

本发明还提供了一种基于AI的ASA广告关键词及素材生成计算机实现指令的存储介质，该存储介质可被计算机设备读取，其中存储的计算机程序指令被处理器执行时可实现ASA广告的全流程智能化处理。存储介质中包含对广告主需求的深度理解模块，该模块通过深度学习模型进行需求解析，并利用多头注意力机制MHA增强广告意图理解，构建广告需求的输入特征矩阵，通过可学习的权重矩阵进行特征处理，实现对广告需求的精确把握和结构化表达。

存储介质的核心功能模块包括基于知识图谱和XLNet的广告关键词生成系统、多模态Transformer的素材处理引擎、多任务学习的效果预估框架以及分层多臂老虎机的投放优化策略。其中，关键词生成系统通过构建产品知识子图进行精准关键词挖掘，并利用XLNet模型实现关键词的动态拓展；素材处理引擎能够统一处理文本、图像、视频等多模态内容，通过跨模态匹配损失优化广告创意的生成质量；效果预估框架采用特征交互层建模广告创意和关键词的关联性，通过多任务学习预估多个效果指标；投放优化策略则综合运用HMAB算法和演化算法，实现从Campaign到Ad Group的多层次智能优化和出价调整。

为保证系统的高效运行，存储介质还包含完整的数据管理和系统监控模块。数据管理模块负责建立广告素材库的索引结构，存储和维护知识图谱的实体关系数据、模型参数和训练数据，并支持数据的增量更新和垃圾回收机制。系统监控模块则实时记录系统运行状态和性能指标，监控模型预测效果，自适应调整系统参数配置，实现异常检测和故障恢复。存储介质可以是ROM、RAM、磁盘、光盘等多种形式的计算机可读存储介质，其中设有专门的区域用于存储中间计算结果、评估指标等数据，以及用于程序执行过程中的临时数据存储的缓存区域，确保系统运行的稳定性和效率。

本发明通过知识图谱与XLNet的创新性结合，显著提升了关键词生成的精准度和覆盖范围，同时，采用多模态Transformer架构实现了文本、图像和视频素材的统一处理和生成，通过跨模态匹配损失确保了不同形式素材间的语义一致性。基于多任务学习的效果预估框架，通过特征交互层和不确定性加权机制，解决了预估任务间的相关性建模问题，在数据稀疏场景下仍保持较高准确率。

在系统层面，分层多臂老虎机(HMAB)优化策略实现了从Campaign到Ad Group的多层次智能优化，结合演化算法的出价优化，显著提高了广告投放的自动化程度和预算利用效率。整个系统通过端到端的自动化处理，极大降低了人工介入成本，同时保持了较强的市场适应性，能够根据投放数据快速调整策略。

附图说明

图1为本申请的系统结构图。

具体实施方式

XLNet是谷歌提出的一种Transformer类语言模型，在多项NLP任务上取得了优于BERT的表现。与传统的语言模型不同，XLNet采用PermutationLanguageModeling的训练范式，可以建模文本序列的双向依赖关系，具有更强的语义理解和语境感知能力。将XLNet应用于广告文案的自动生成，可以充分挖掘素材库中的语义信息，学习品牌的语言风格和行业用语，进而生成流畅自然、富有感染力的广告用语。

广告优化需要综合考虑文本、图片、视频等不同模态的素材信息。XLNet采用Two-StreamSelf-Attention机制，可以灵活地融合不同模态的特征表示。该机制通过引入标识向量(ModalityIndicator)和位置向量(PositionEmbedding)，将不同模态的输入映射到同一语义空间，进而建模模态间的交互和联系。在此基础上，本发明设计了一种多模态Transformer编码器(Multi-modalTransformerEncoder，MMTE)，实现了文本、图像、视频特征的端到端表示学习：

h^(m)＝MMTE(x^(m)，p^(m))，m∈{t，i，υ} (1)；

其中x表示输入的内容特征向量，p表示输入的位置特征向量，t、i、v分别代表文本、图像、视频模态。MMTE通过Self-Attention机制自适应地融合不同模态的信息，最终得到统一的多模态特征表示h。基于该表示，本发明进一步设计了一种跨模态匹配(Cross-modalMatching，CM)损失函数：

其中为一个batch内的广告样本集合。公式(2)通过最大化不同模态特征在同一广告内的匹配度，显式地建模了广告素材的跨模态一致性。

本发明提出的智能ASA广告优化系统主要包括以下四个模块：需求理解模块、关键词生成模块、素材生成模块和效果预估模块。其中，需求理解模块和关键词生成模块实现广告需求的结构化表示和关键词的自动生成；素材生成模块综合运用XLNet的文本生成和多模态特征融合能力，自动生成高质量的图文、视频素材；效果预估模块基于历史数据，通过机器学习算法预测广告创意和关键词组合的关键效果指标。这四个模块协同工作，最终输出经过优化的广告投放配置。

需求理解模块旨在将广告主以自然语言形式提供的广告需求转化为结构化的信息表示。传统的需求理解主要依赖人工设计的关键词抽取规则和模板匹配，泛化能力有限。本发明结合先进的自然语言处理技术，设计了一套基于深度学习的端到端广告需求理解模型。

模型的backbone网络采用BiLSTM-CRF架构。BiLSTM层建模输入文本序列的上下文信息，CRF层进一步考虑槽位标签之间的约束关系，解码出最优的槽位填充路径。此外，本发明在BiLSTM层之前引入一个多头注意力(Multi-HeadAttention，MHA)层：

MHA层通过多个注意力头并行学习输入序列的不同语义视角，提升意图识别和槽位填充的精度。

本发明在大规模广告语料上预训练该模型，并根据业务场景设计了一套ASA广告特定的意图槽位标注体系。对于给定的广告需求描述，模型可以准确地解析出产品类型、受众特征、推广目标等关键信息，输出规范化的JSON格式表示。这种结构化的需求表示可以有效支撑后续的关键词拓展、素材生成等环节。

高质量的关键词是ASA广告投放的基础。本发明提出一种融合知识图谱与深度学习的关键词生成方法。该方法分为两个主要步骤：针对性关键词挖掘和泛化关键词拓展。

首先，本发明基于广告主提供的产品信息，利用商用大模型构建产品知识图谱。知识图谱以产品为中心节点，通过多种语义关系(如属性、功能、使用场景等)链接相关概念。本发明采用基于TransE的图嵌入方法学习产品节点的低维向量表示：

其中为产品p的知识子图，(h，r，t)为子图中的三元组，分别代表头实体、关系和尾实体。TransE假设v_h+v_r≈v_t，通过最小化平移误差学习实体和关系的嵌入表示。在此基础上，本发明设计了一种启发式评分机制，综合考虑关键词与产品的语义相关性、行业流行度、历史点击率等因素，从知识图谱中挖掘出一组高度针对性的种子关键词。

种子关键词体现了对产品卖点的精准把握，但数量有限，难以满足广告投放的覆盖度需求。因此，第二步本发明在种子关键词的基础上，通过泛化关键词拓展生成更多相关词。受MaskLanguageModel，MLM范式启发，该方法采用XLNet作为生成器，以种子关键词为输入，通过迭代掩码预测的方式生成泛化关键词。具体而言，记S＝{w₁，w₂，...，w_K}为种子关键词序列，本发明随机掩码其中α比例的词，输入XLNet得到掩码词的概率分布：

P(w_i|S_\i)＝XLNet(S|w_i＝[MASK])；

基于该分布采样出新词w′_i替换原掩码词，得到新序列S′，重复上述过程直至生成足够数量的泛化关键词。为确保生成词的质量，本发明设置top-k采样等约束条件，并在XLNet的最后一层引入质量评估器，动态调整生成词的权重：

h_i为XLNet最后一层w_i位置的隐状态，Q(w_i)为质量评估器输出的w_i质量分数。由此得到的泛化关键词与种子关键词在语义上高度相关，同时形式更加丰富，有助于吸引潜在用户的广泛兴趣。

综合针对性关键词和泛化关键词，该方法在提高关键词覆盖度的同时，很好地保证了相关性。大量真实广告案例的应用表明，基于知识图谱+XLNet的关键词生成方法可以显著提升ASA广告的展现量和点击率。

优质的广告创意是提升广告效果的关键。传统的素材设计主要依赖经验丰富的广告创意人员，成本高且效率低。本发明提出一种多模态、多任务的端到端素材生成方法，可根据广告语料库自动生成高度个性化的图文和视频素材。

该方法以XLNet作为生成模型的基础，并融入面向ASA素材生成任务的特定设计：1)在预训练阶段引入广告行业语料，增强模型对广告文案的理解和生成能力；2)将多模态Transformer编码器(公式(1)作为底层特征提取器，实现图文、视频特征的统一建模；3)设计多个解码器分别完成不同素材生成子任务(如文案、关键帧、视频剪辑等)，并通过跨模态匹配损失(公式(2)实现解码器间的协同训练；4)在解码器中加入外部知识注入机制，利用知识图谱等先验信息引导素材生成。

模型训练时，本发明将大规模广告素材语料库(包含文案、图片、视频)构造成一系列＜关键词，广告创意＞配对，关键词信息通过注意力机制传递给各解码器，指导相应素材的生成。例如对于文案生成任务，模型的目标是最大化如下条件概率：

其中y为生成的文案序列，x为输入的关键词序列，为关键词对应的知识图谱。类似地，关键帧生成任务以x和为输入，通过自回归解码生成关键帧序列。视频剪辑任务进一步在关键帧的基础上，通过强化学习优化镜头组接，使视频在信息量、美观度、节奏感等方面达到最优。

本发明在海量广告素材语料上训练该多模态素材生成模型，并设计了一套基于人工评分的评估体系对生成质量进行评估。离线实验和在线A/B测试结果表明，该模型能够根据输入的关键词自动设计出高度吸引用户的个性化广告创意，平均点击率和转化率均有显著提升。同时，该模型还具有很好的泛化能力，对于新品类、新场景同样能生成优质素材，为广告主节省了大量创意设计成本。

广告效果预估对于广告投放策略优化至关重要。本发明提出一种基于Multi-taskLearning，MTL的深度效果预估模型，可同时预测广告创意和关键词组合的点击率(CTR)、转化率(CVR)、留存率(RetentionRate，RR)等关键指标。

模型以广告创意(ad)和关键词(kw)为输入，首先经过各自的Embedding层映射为稠密向量。由于创意和关键词类型多样，本发明进一步引入FeatureInteraction层以建模二者的高阶交互特征：

zad＝MLP(ead)⊙vad zkw＝MLP(ekw)⊙vkw z＝[zad，zkw，zad⊙zkw]；

e_ad和e_kw分别为创意和关键词的Embedding向量，⊙为Hadamard积。通过引入MLP变换和二阶交互项z_ad⊙z_kw，该层可以灵活地学习特征间的非线性关系。

FeatureInteraction层的输出z传入多个Task-specific的MLP分类器，分别预测不同目标指标：

这些分类器共享底层特征z，因此可以显式地建模不同指标间的关联，同时又通过独立的分类层保持一定的任务差异性。模型训练过程采用联合学习范式，综合多个任务的损失：

L＝λ₁L_CTR+λ₂L_CVR+λ₃L_RR；

λ_i为各任务的权重系数。此外，本发明还在各分类器之后引入Gate机制以自适应地调节任务权重：

其中为可学习的参数向量。Gate机制使模型能够根据输入的创意和关键词动态分配任务权重，提高预估的灵活性。

该基于MTL的效果预估模型充分利用不同指标间的相关性，在稀疏场景下同样能准确预估广告效果。离线实验表明其较传统的独立预估模型AUC值平均提升3％-5％。

广告投放优化的目标是在满足预算约束的情况下，寻找关键词组合和创意策略，最大化广告整体收益。本发明提出一种层次化的投放优化框架，自顶向下地优化关键词与创意的组合策略、出价和预算分配。

顶层采用多臂老虎机(Multi-armedBandit，MAB)模型，将每个关键词或创意视为一个老虎机臂。随着投放过程的进行，MAB通过∈-greedy探索不同臂的期望收益，并使用UCB算法平衡探索和利用，逐步收敛到全局最优的投放组合。

在Multi-armedBandit，MAB的基础上，本发明考虑了ASA场景的特定约束和目标，设计了一系列改进：1)引入层次化的老虎机结构(HierarchicalMAB，HMAB)，先在Campaign级别优化预算分配，再在Ad Group级别优化关键词和创意组合，提高优化效率；2)设计基于期望效用(ExpectedUtility，EU)的奖赏函数，同时考虑点击率、转化率、成本等多种因素，合理权衡广告收益和成本；3)在bandit算法中加入先验知识(Prior Knowledge，PK)引导，充分利用效果预估模型提供的点击率等信息，加速策略收敛。修正后的HMAB奖赏可表示为：

其中a为某组合策略，EU_PK(a)基于先验知识计算的期望效用，n_a为策略a已被选择的次数，n_i为第i臂的选择次数，α为探索因子。

在Multi-armedBandit，MAB得到组合策略后，低层采用演化算法(EvolutionaryAlgorithm，EA)进一步优化关键词的出价。与传统的人工调价规则不同，EA从多个随机生成的出价方案出发，通过选择、交叉、变异等操作迭代搜索最优出价。其中，Fitness函数综合考虑了广告点击率、排名、点击单价等因素：

b为出价向量，CTR_b、Rank_b分别基于效果预估模型估算的点击率和排名，CPC_b为点击单价，Quality_b为广告素材质量得分，ω_i为权重系数。每轮迭代后，评分较高的出价方案被保留并进行交叉变异，低质量方案被淘汰，如此进化多轮直至出价收敛。

为验证本发明提出方法的有效性，本发明在真实的ASA广告投放场景中进行了大规模的实验对比与分析。实验数据集涵盖多个行业多家广告主的投放数据，时间跨度为3个月，本发明重点评估了关键词优化、素材生成、效果预估三个模块的效果提升。

本发明采用A/B测试框架进行实验，将每个广告主的流量随机分为对照组(ControlGroup，CG)和实验组(TestGroup，TG)，二者的流量比例为1：1。对照组采用广告主原有的投放策略，实验组采用本发明提出的优化方法。观察实验组相比对照组的提升效果。

实验中使用的评估指标主要包括：

实验对比的基线模型包括：

1)经典的TF-IDF关键词提取和人工配置(TF-IDF+Manual)

2)基于规则模板的素材生成(Template Creation)

3)独立任务的DeepFFM点击率预估模型(DeepFFM)

本发明对比了本发明提出的知识图谱+XLNet(KG+XLNet)关键词生成方法与TF-IDF+Manual基线的效果，结果如表1所示：

表1：

可以看出，KG+XLNet方法在各行业均取得了显著的效果提升，平均CTR和CTR分别大幅度提升。其中电商和游戏行业表现尤为突出，本发明认为主要原因是：一方面这两个行业的产品更新迭代快、同质化竞争激烈，广告主对精准触达的需求强烈；另一方面知识图谱能够更好地挖掘产品的细分属性，结合XLNet的强大生成能力，得到既准确又多样的关键词组合。教育行业的提升幅度相对较小，原因在于该行业的用户搜索习惯较为稳定，同时广告主对关键词的主观偏好较强，一定程度上限制了算法优化的空间。总体而言，KG+XLNet方法能够充分融合行业知识和语言先验，自动生成定制化的关键词，为广告主带来实质性的效果提升。

本发明对比了本发明提出的多模态XLNet(MM-XLNet)素材生成模型与TemplateCreation基线的效果。由于Template Creation依赖人工配置，工作量较大，本发明选取了3个有代表性的行业进行对比，结果如表2所示：

表2：

实验结果表明，MM-XLNet模型在图片和视频素材的生成上均优于传统的基于模板的方法，进一步分析发现，MM-XLNet生成的素材在视觉吸引力和信息完整性方面更胜一筹，得益于模型对图像和文本的深度理解，生成的素材更加贴合用户需求。此外，通过多模态信息的融合建模，MM-XLNet可以更好地把握不同素材形式的内在联系，使生成的图片视频与广告主品牌调性和产品卖点高度契合。

本发明还搭建了本发明提出的多任务学习(MTL)效果预估模型，并与传统的独立任务DeepFFM模型进行了对比，结果如表3所示。实验中分别使用了单任务损失(STL Loss)和多任务联合损失(MTL Loss)两种学习范式。可以看到，无论是CTR还是CVR预估任务，采用MTL学习范式的模型均取得了更优的效果，表明联合学习有助于不同任务间知识的共享和迁移。此外，加入Gate机制的动态MTL Loss较简单的静态加权MTL Loss也有进一步提升，证实了Gate机制在建模不同任务的重要程度差异、提高模型泛化性方面的价值。

表3：

为进一步验证MTL模型的优越性，本发明统计了采用不同效果预估模型后广告投放的整体效果，如表4所示。可以看出，无论是采用HMAB优化还是人工配置的投放策略，以MTL模型(Ours)为基础的效果预估使整体ROI和CPA均优于DeepFFM模型，再次印证了多任务学习通过建模不同指标间联系、缓解数据稀疏性而带来的效果提升。值得一提的是，HMAB优化框架相较人工规则在各项指标上也有明显优势，这得益于HMAB能够持续学习和动态调整策略，充分利用效果预估结果指导广告投放的决策过程。

表4：

综上，大规模的线上实验结果证实了本发明提出的一系列优化方法的有效性。知识图谱结合XLNet增强了关键词拓展的丰富度和准确性；多模态XLNet素材生成模型提供了个性化、多样化的优质广告创意；MTL效果预估模型显著改善了点击率、转化率等关键指标的预测效果；层次化的MAB优化框架实现了策略的自适应调整，最大化广告投放收益。这些方法的综合运用使广告投放的各个环节实现了智能化、自动化，广告主的投入产出比(ROI)取得了整体性的大幅提升。

本发明针对ASA广告优化中的关键词拓展、素材生成、效果预估三个核心问题，提出了一套基于知识图谱和多模态学习的端到端解决方案。该方案创新性地融合了自然语言理解能力、知识图谱的结构化表达方式以及XLNet的文本生成与多模态特征建模优势，在海量广告投放场景中取得了显著的效果提升。

具体而言，本发明的主要贡献如下：

1)提出将知识图谱引入ASA广告优化，基于知识图谱对产品属性、用户特征等先验知识进行显式建模，并通过图神经网络学习产品的向量化表示，实现针对性关键词的自动挖掘。

2)改进XLNet模型，通过迭代掩码预测、多模态特征融合、跨模态一致性约束等手段，实现广告文案、图片、视频等多模态素材的端到端生成。所生成的个性化创意有效匹配了产品卖点和用户喜好，提升了广告的吸引力和转化效果。

3)提出一种多任务学习范式下的效果预估框架，通过Feature Interaction层建模广告创意和关键词的高阶交互，并引入Gate机制动态调节不同任务目标的权重，在稀疏数据环境下大幅改善了点击率、转化率等关键指标的预估效果。

4)设计了HMAB的层次化投放优化策略，在Campaign和Ad Group不同粒度实现了智能化的广告预算分配与投放组合优化。该框架高度自适应，可根据环境变化实时调整策略，充分利用效果预估信息指导投放决策，使广告主ROI最大化。

Claims (6)

1.基于AI的ASA广告关键词及素材生成系统，其特征在于，所述系统包括如下模块：

ASA广告需求理解模块；

ASA广告关键词生成模块；

ASA广告素材生成模块；

广告效果预估模块；

广告投放优化模块。

2.根据权利要求1所述基于AI的ASA广告关键词及素材生成系统，其特征在于，所述ASA广告需求理解模块根据如下步骤理解广告需求：

步骤1.1采用BiLSTM-CRF架构的深度学习模型对广告主需求进行解析；

步骤1.2引入多头注意力机制MHA增强广告意图理解：

Q，K，V＝H^Q，K，VW^Q，K，V；

MHA(Q，K，V)＝concat(head₁，...，head_k)W^O；

其中，H^Q，K，V代表广告需求的输入特征矩阵，W^Q，K，V代表可学习的权重矩阵，d代表注意力头的维度，head_k代表第k个注意力头的输出，concat代表向量拼接操作，W^O代表输出映射矩阵，Q，K，V分别代表查询、键和值矩阵。

3.根据权利要求1所述的基于AI的ASA广告关键词及素材生成系统，其特征在于，所述ASA广告关键词生成模块根据如下步骤生成广告关键词：

步骤2.1基于知识图谱的精准广告关键词挖掘：

其中，代表广告产品p的知识子图，(h，r，t)代表子图中的头实体、关系和尾实体三元组，v_h，v_r，v_t分别代表它们的向量表示，||·||₂代表L2范数，arg min表示求使目标函数最小的参数值；

步骤2.2基于XLNet的广告关键词拓展：

P(w_i|S_\i)＝XLNet(S|w_i＝[MASK])；

其中，S代表广告种子关键词序列，w_i代表第i个词，h_i代表XLNet最后一层w_i位置的隐状态，Q(w_i)代表广告关键词质量评估分数，b_i和b_j代表偏置项，w_i和w_j代表词向量，S_\i代表除第i个词外的序列，[MASK]代表掩码标记。

4.根据权利要求1所述的基于AI的ASA广告关键词及素材生成系统，其特征在于，所述ASA广告素材生成模块根据如下步骤生成广告素材：

步骤3.1设计多模态Transformer编码器处理广告素材：

步骤3.1设计多模态Transformer编码器处理广告素材：

h^(m)＝MMTE(x^(m)，p^(m))，m∈{t，i，v}；

其中，x^(m)代表广告素材在模态m下的内容特征向量，p^(m)代表位置特征向量，m代表模态类型，t_，i，v分别代表文本、图像、视频模态，h(m)代表输出的模态特征，MMTE代表多模态Transformer编码器；

步骤3.2引入跨模态匹配损失优化广告创意：

其中，代表一个batch内的广告样本集合，代表广告样本x在模态m下的特征表示，x⁺代表与样本x匹配的正样本，x′代表batch中的其他样本，·代表点积运算。

5.根据权利要求1所述的基于AI的ASA广告关键词及素材生成系统，其特征在于，所述广告效果预估模块根据如下步骤预估广告效果：

步骤4.1设计特征交互层建模广告创意和关键词：

z_ad＝MLP(e_ad)⊙v_ad；

z_kw＝MLP(e_kw)⊙v_kw；

z＝[z_ad，z_kw，z_ad⊙z_kw]；其中，e_ad和e_kw分别为广告创意和关键词的嵌入向量，v_ad和v_kw分别为广告创意和关键词的附加特征向量，⊙为Hadamard积(逐元素乘积)，[·，·]表示向量拼接，MLP代表多层感知机。

6.根据权利要求1所述的基于AI的ASA广告关键词及素材生成系统，其特征在于，所述广告投放优化模块根据如下步骤优化广告投放：

步骤5.1使用分层多臂老虎机策略(HMAB)进行广告投放优化：

其中，a代表广告投放策略，EU_PK(a)代表基于先验知识计算的期望效用，n_a代表策略a的选择次数，n_i代表第i个策略的选择次数，α代表用于平衡探索和利用的探索因子，代表所有策略的总选择次数；

步骤5.2采用演化算法优化广告出价：

Fitness(b)＝ω_l×CTR_b+ω₂×Rank_b-ω₃×CPC_b+ω₄×Quality_b；

其中，b代表广告出价向量，CTR_b代表预估点击率，Rank_b代表广告排名得分，CPC_b代表每次点击成本，Quality_b代表广告质量得分，ω₁，ω₂，ω₃，ω₄分别代表点击率、排名、成本和质量的权重系数。