CN113570416A - 投放内容确定方法、装置、电子设备及存储介质 - Google Patents
投放内容确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113570416A CN113570416A CN202110873868.2A CN202110873868A CN113570416A CN 113570416 A CN113570416 A CN 113570416A CN 202110873868 A CN202110873868 A CN 202110873868A CN 113570416 A CN113570416 A CN 113570416A
- Authority
- CN
- China
- Prior art keywords
- delivered
- content
- contents
- feature data
- materials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000000463 material Substances 0.000 claims abstract description 412
- 238000011156 evaluation Methods 0.000 claims abstract description 61
- 238000012163 sequencing technique Methods 0.000 claims abstract description 47
- 239000000523 sample Substances 0.000 claims description 148
- 230000000694 effects Effects 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 37
- 238000005266 casting Methods 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 21
- 230000002452 interceptive effect Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 abstract description 6
- 239000013598 vector Substances 0.000 description 49
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 238000001994 activation Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000004931 aggregating effect Effects 0.000 description 8
- 230000003578 releasing effect Effects 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- -1 creative type Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开关于一种投放内容确定方法、装置、电子设备、存储介质及程序产品,通过获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容,从而对各所述待投放内容的候选素材的稠密特征数据进行融合,以及对各所述待投放内容的候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征,并将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,将投放评估数据高于指定阈值的待投放内容确定为投放内容。实现多维度特征的融合,并通过融合特征评估广告创意的好坏,快速地根据评估结果从若干个待投放内容确定投放内容,提升广告创意的生成效率。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种投放内容确定方法、装置、电子设备、存储介质及程序产品。
背景技术
在广告投放业务场景中,主要以人工制作广告创意为主,投放团队将广告素材库中获取原始素材进行组装,生成广告创意,接着进行打包并设置相应的投放参数,最终形成广告计划在各广告平台进行投放。然而,相关技术中广告创意的生成方式过度依赖于人工经验,且过程繁琐,对广告创意的生成效率具有一定影响。
发明内容
本公开提供一种投放内容确定方法、装置、电子设备、存储介质及程序产品,以至少解决相关技术中广告创意的生成方式过度依赖于人工经验,且过程繁琐的技术问题,提升广告创意的生成效率。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种投放内容确定方法,包括:
获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容;
对各所述待投放内容的候选素材的稠密特征数据进行融合,以及对各所述待投放内容的候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征;
将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,所述投放评估数据用于表征所述待投放内容投放后所产生的投放效果;
在排序后的各所述待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
在其中一个实施例中,所述将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,包括:
根据各所述待投放内容的稠密特征和稀疏特征进行特征交互,得到各所述待投放内容的交互特征;
将各所述待投放内容的交互特征与所述稠密特征进行拼接,得到各所述待投放内容的拼接特征;
对各所述待投放内容的拼接特征进行目标拟合,得到各所述待投放内容的投放评估数据;
按照各所述待投放内容的投放评估数据进行排序,得到排序后的各所述待投放内容。
在其中一个实施例中,各所述待投放内容具有对应的投放场景类型;所述对各所述待投放内容的拼接特征进行目标拟合,包括:
当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;
当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
在其中一个实施例中,所述候选素材的获取方式,包括:
获取若干个待召回素材;
获取各所述待召回素材的稠密特征数据和稀疏特征数据,并将各所述待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中;
在所述若干个待召回素材中确定主体素材,通过所述召回模型在所述若干个待召回素材中搜索出与所述主体素材的相似度符合阈值要求的匹配素材,确定所述主体素材以及所述匹配素材为所述候选素材,所述匹配素材与所述主体素材属于不同的素材类型。
在其中一个实施例中,与所述主体素材的相似度是根据所述主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,所述其它素材为所述若干个待召回素材中与所述主体素材素材类型不同的素材。
在其中一个实施例中,所述召回模型的生成方式,包括:
获取历史投放内容中的若干个不同类型的样本素材,以及获取各所述样本素材的稠密特征数据和稀疏特征数据;
将各所述样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中;
通过所述待训练的召回模型对各所述样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各所述样本素材的拼接特征,并根据所述样本素材的拼接特征,将任一第一类型样本素材与所述若干个样本素材中的非第一类型样本素材进行相似度匹配;
当所述相似度匹配结果满足模型训练停止条件时,得到所述召回模型。
在其中一个实施例中,在将预测结果高于指定阈值的待投放内容进行投放之后,还包括:
获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据;
根据所述新投放效果数据和历史投放效果数据在预设时间区间内进行聚合,得到各所述样本素材的新稠密特征数据和新稀疏特征数据;
利用所述新稠密特征数据和所述新稀疏特征数据,继续对所述召回模型进行训练,得到更新后的召回模型。
在其中一个实施例中,在所述根据所述新投放效果数据和历史投放效果数据,获取各所述样本素材的新稠密特征数据和新稀疏特征数据之后,还包括:
存储各所述样本素材的新稠密特征数据和新稀疏特征数据;
根据存储的各所述样本素材的新稠密特征数据和新稀疏特征数据,对样本内容内各样本素材的新稠密特征数据进行融合,以及对样本内容内各样本素材的新稀疏特征数据进行融合,得到所述样本内容的新稠密特征和新稀疏特征;
利用所述样本内容的新稠密特征和新稀疏特征,继续对所述排序模型进行训练,得到更新后的排序模型。
根据本公开实施例的第二方面,提供一种投放内容确定装置,包括:
候选素材组合模块,被配置为执行获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容;
特征数据融合模块,被配置为执行对各所述待投放内容内候选素材的稠密特征数据进行融合,以及对各所述待投放内容内候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征;
待投放内容排序模块,被配置为执行将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,所述投放评估数据用于表征所述待投放内容投放后所产生的投放效果;
投放内容确定模块,被配置为执行在排序后的各所述待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
在其中一个实施例中,所述待投放内容排序模块,还被配置为执行根据各所述待投放内容的稠密特征和稀疏特征进行特征交互,得到各所述待投放内容的交互特征;将各所述待投放内容的交互特征与所述稠密特征进行拼接,得到各所述待投放内容的拼接特征;对各所述待投放内容的拼接特征进行目标拟合,得到各所述待投放内容的投放评估数据;按照各所述待投放内容的投放评估数据进行排序,得到排序后的各所述待投放内容。
在其中一个实施例中,各所述待投放内容具有对应的投放场景类型;所述待投放内容排序模块,还被配置为执行当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
在其中一个实施例中,所述装置还包括候选素材获取模块,被配置为执行获取若干个待召回素材;获取各所述待召回素材的稠密特征数据和稀疏特征数据,并将各所述待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中;在所述若干个待召回素材中确定主体素材,通过所述召回模型在所述若干个待召回素材中搜索出与所述主体素材的相似度符合阈值要求的匹配素材,确定所述主体素材以及所述匹配素材为所述候选素材,所述匹配素材与所述主体素材属于不同的素材类型。
在其中一个实施例中,与所述主体素材的相似度是根据所述主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,所述其它素材为所述若干个待召回素材中与所述主体素材素材类型不同的素材。
在其中一个实施例中,所述装置还包括召回模型生成模块,被配置为执行获取历史投放内容中的若干个不同类型的样本素材,以及获取各所述样本素材的稠密特征数据和稀疏特征数据;将各所述样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中;通过所述待训练的召回模型对各所述样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各所述样本素材的拼接特征,并根据所述样本素材的拼接特征,将任一第一类型样本素材与所述若干个样本素材中的非第一类型样本素材进行相似度匹配;当所述相似度匹配结果满足模型训练停止条件时,得到所述召回模型。
在其中一个实施例中,所述装置还包括召回模型更新模块,被配置为执行获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据;根据所述新投放效果数据和历史投放效果数据在预设时间区间内进行聚合,得到各所述样本素材的新稠密特征数据和新稀疏特征数据;利用所述新稠密特征数据和所述新稀疏特征数据,继续对所述召回模型进行训练,得到更新后的召回模型。
在其中一个实施例中,所述装置还包括排序模块更新模块,被配置为执行存储各所述样本素材的新稠密特征数据和新稀疏特征数据;根据存储的各所述样本素材的新稠密特征数据和新稀疏特征数据,对样本内容内各样本素材的新稠密特征数据进行融合,以及对样本内容内各样本素材的新稀疏特征数据进行融合,得到所述样本内容的新稠密特征和新稀疏特征;利用所述样本内容的新稠密特征和新稀疏特征,继续对所述排序模型进行训练,得到更新后的排序模型。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述的投放内容确定方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述的投放内容确定方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述的投放内容确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容,减少在生成广告创意的过程中对人工经验的依赖,提升对未知的素材组合空间探索的可能性,提升挖掘出优质创意的可能性;并通过对各所述待投放内容的候选素材的稠密特征数据进行融合,以及对各所述待投放内容的候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征,从而将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,将投放评估数据高于指定阈值的待投放内容确定为投放内容。实现多维度特征的融合,并通过融合特征评估广告创意的好坏,快速地根据评估结果从若干个待投放内容确定投放内容,提升广告创意的生成效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种投放内容确定方法的应用环境图。
图2是根据一示例性实施例示出的一种投放内容确定方法的流程图。
图3是根据一示例性实施例示出的步骤S230的流程图。
图4是根据一示例性实施例示出的获取候选素材的流程图。
图5是根据一示例性实施例示出的步骤S430的流程图。
图6是根据一示例性实施例示出的召回模型的示意图。
图7a是根据一示例性实施例示出的召回模型生成方式的示意图。
图7b是根据一示例性实施例示出的召回模型更新的流程图。
图8a是根据一示例性实施例示出的排序模型的示意图。
图8b是根据一示例性实施例示出的一种投放内容确定方法的流程图。
图8c是根据一示例性实施例示出的一种投放内容确定方法的架构示意图。
图9是根据一示例性实施例示出的一种投放内容确定装置的示意框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所提供的投放内容确定方法,可以应用于如图1所示的应用环境中。其中,终端110通过网络与服务器120进行数据交互。终端110可以为能够访问服务器120。服务器102可以为终端110提供内容投放服务,服务器120可以部署有素材资源库,用于存储生成内容的素材(比如视频、封面、广告词、行动号召语等)以及素材的特征数据(比如封面点击率、广告语嵌入向量、视频曝光数、创意类型以及视频类别等)。服务器120上还可以部署有召回模型和排序模型。若素材资源库中的素材数量是海量的,可以首先根据素材的激活数、曝光数、点击率、行为率、转化率中的至少一个特征数值从海量素材中筛选一些优质素材,可以通过预设阈值对素材进行筛选,得到筛选后的素材,减少了召回模型和排序模型处理数据的量级,初步提升处理效率。比如将激活数不小于激活语阈值的素材进行筛选,得到激活数不小于激活语阈值的素材。然后利用召回模型在筛选后的素材中进行优质素材的召回,得到若干个候选素材,从而进一步缩小了排序模型处理数据的量级,可以进一步地减少排序模型的处理时间。服务器120获取不同类型的候选素材,对候选素材进行组合,得到若干个待投放内容;对各待投放内容的候选素材的稠密特征数据进行融合,以及对各待投放内容的候选素材的稀疏特征数据进行融合,得到各待投放内容的稠密特征和稀疏特征;将各待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各待投放内容,投放评估数据用于表征待投放内容投放后所产生的投放效果;在排序后的各待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。进一步地,服务器120可以对投放内容进行投放。
其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器120可以是具有较强的数据存储和计算能力的电子设备,例如服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本公开的实施例中所指的内容可以是广告。内容可以是用于宣传的多媒体资源文件。
图2是根据一示例性实施例示出的一种投放内容确定方法的流程图,如图2所示,投放内容确定方法用于服务器120中,包括以下步骤:
在步骤S210中,获取不同类型的候选素材,对候选素材进行组合,得到若干个待投放内容。
其中,待投放内容基于对若干个候选素材进行排列组合而得到。候选素材具有不同类型,比如可以是视频、封面、广告语、行动号召语中的任一个类型。若素材资源库的素材数量并不是特别大,候选素材可以是素材资源库中的全部素材。若素材资源库的素材数量特别大,候选素材可以是从素材资源库中选择的部分素材,比如候选素材可以是从素材资源库中筛选的优质素材。候选素材也可以是通过召回模型从素材资源库中的召回的素材。示例性地,首先,通过一个视频A召回与视频搭配的封面和广告语,可以将视频A的特征数据、若干个封面(B1、B2、B3...Bn)的特征数据、若干个广告语(C1、C2、C3...Cn)的特征数据输入至召回模型,通过召回模型从若干个封面中召回与视频A匹配的封面B1和封面B2,从若干个广告语中召回与视频A匹配的广告语C1和广告语C2。则候选素材包括视频A、封面B1、封面B2、广告语C1以及广告语C2。利用这些候选素材进行排列组合,生成的待投放内容包括AB1C1、AB2C1、AB1C2以及AB2C2。需要说明的是,AB1C1表示视频A、封面B1与广告语C1所生成的待投放内容,同理AB2C1、AB1C2以及AB2C2也是对应的视频、封面以及广告语所生成的待投放内容,不再赘述。
具体地,候选素材可以存储在服务器的素材资源库,服务器从素材资源库中获取若干个候选素材,对若干个候选素材进行排列组合生成待投放内容,从而服务器获取到待投放内容。在一些实施方式中,待投放内容也可以预先已经通过候选素材进行排列组合所生成,并存储在服务器本地,则从服务器中获取预先经排列组合生成的待投放内容。
在步骤S220中,对各待投放内容的候选素材的稠密特征数据进行融合,以及对各待投放内容的候选素材的稀疏特征数据进行融合,得到各待投放内容的稠密特征和稀疏特征。
其中,稠密特征数据可以是基于素材的连续型数值特征进行聚合统计而得到特征数据,连续型数值特征可以是比如创意花费、收入、激活数、激活单价、封面曝光次数、封面点击率、视频曝光数、视频3s完播率(完整看完视频前3秒的用户比率)、行为率、转化率等数值。稀疏特征数据可以是基于素材的离散型特征(比如类别特征)进行聚合统计而得到的特征数据,离散型特征可以是比如创意类型、产品ID、封面ID、封面类型、视频ID、视频类别、广告词ID、投放渠道ID、投放平台类型、广告主ID、广告语ID等,本实施例中的ID可以理解用于标识任一对象的唯一性的编号。
具体地,针对任一待投放内容,按照该待投放内容内各候选素材的组合顺序,对各候选素材的稠密特征数据进行融合,得到待投放内容的稠密特征。同样的,按照该待投放内容内各候选素材的组合顺序,对各候选素材的稀疏特征数据进行融合,得到待投放内容的稀疏特征。示例性地,AB1C1表示视频A、封面B1与广告语C1所生成的待投放内容,则视频A的稠密特征数据可以是X1,封面B1的稠密特征数据可以是X2,广告语C1的稠密特征数据可以是X3,则待投放内容的稠密特征为X1X2X3。视频A的稀疏特征数据可以是Y1,封面B1的稀疏特征数据可以是Y2,广告语C1的稀疏特征数据可以是Y3,则待投放内容的稠密特征为Y1Y2Y3。
在步骤S230中,将各待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各待投放内容。
其中,投放评估数据用于表征待投放内容投放后所产生的投放效果。投放评估数据可以是内容的投资回报率(ROI,Return on Investment)、生命周期总价值(LTV,LifeTime Value)、激活数、转化率等中的至少一个。投放评估数据也可以是对于待投放内容的创意好坏进行分类的类别标签数据。
具体地,输入各待投放内容的稠密特征以及各待投放内容的稀疏特征至排序模型中,通过排序模型对各待投放内容的稠密特征进行特征提取,得到各待投放内容的稠密向量,对各待投放内容的稀疏特征进行嵌入处理和特征提取,得到各待投放内容的稀疏向量,稠密向量的维度与稀疏向量的维度相等。根据各待投放内容的稠密向量和各待投放内容的稀疏向量进行预测,确定各待投放内容的投放评估数据,按照投放评估数据对各待投放内容进行排序,得到排序后的各待投放内容。
在步骤S240中,在排序后的各待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
具体地,指定阈值可以是对投放目标的限定。指定阈值可以结合实际应用场景情况而灵活设定。判断待投放内容的投放评估数据是否大于指定阈值,若大于,则可以确定投放评估数据高于指定阈值的待投放内容为投放内容。进一步地,还可以针对投放内容构建内容投放计划,对投放内容进行线上投放。若不大于,则舍弃待投放内容。比如若一条待投放内容的预估点击率大于50%,则确定为投放内容。
在一些实施方式中,还可以在投放评估数据高于指定阈值的待投放内容中,按照从高到低的顺序获取预设数量的待投放内容为投放内容。示例性地,通过排序模型对多个待投放内容的投放效果进行排序,输出排序后的各待投放内容,可以在排序后的各待投放内容中选择排名靠前的N个内容进行投放。
上述投放内容确定方法中,通过获取不同类型的候选素材,对候选素材进行组合,得到若干个待投放内容,减少在生成广告创意的过程中对人工经验的依赖,提升对未知的素材组合空间探索的可能性,提升挖掘出优质创意的可能性;并通过对各待投放内容的候选素材的稠密特征数据进行融合,以及对各待投放内容的候选素材的稀疏特征数据进行融合,得到各待投放内容的稠密特征和稀疏特征,从而将各待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各待投放内容,将投放评估数据高于指定阈值的待投放内容确定为投放内容。实现多维度特征的融合,并通过融合特征评估广告创意的好坏,快速地根据评估结果从若干个待投放内容确定投放内容,提升广告创意的生成效率。进一步地,根据投放评估数据对内容进行投放,可以确保内容投放的精准性,提升投放内容的转化能力、投资回报率以及生命周期总价值等关键指标。
在一示例性实施例中,如图3所示,在步骤S230中,将各待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各待投放内容,具体可以通过以下步骤实现:
在步骤S310中,根据待投放内容的稠密特征和稀疏特征进行特征交互,得到待投放内容的交互特征。
在步骤S320中,将各待投放内容的交互特征与稠密特征进行拼接,得到各待投放内容的拼接特征。
在步骤S330中,对各待投放内容的拼接特征进行目标拟合,得到各待投放内容的投放评估数据。
在步骤S340中,按照各待投放内容的投放评估数据进行排序,得到排序后的各待投放内容。
其中,嵌入处理(Embedding)可以理解为从语义空间到向量空间的映射,同时尽可能在向量空间保持原样本在语义空间的关系,比如,语义接近的两个词汇在向量空间中的位置也应该比较接近。在排序模型的训练阶段,为了捕获特征之间的关联关系,通过引入特征交叉的方式进行模型训练,以增强模型的表达能力和预测能力。
具体地,对各候选素材的稀疏特征数据分别进行拼接,对应得到待投放内容的稀疏特征,将稀疏特征输入至Embedding网络层中,经过Embedding网络层对稀疏特征处理后得到N个相同维度的第一嵌入向量。通过多层感知器MLP对稠密特征进行映射处理,得到与第一嵌入向量相同维度的稠密特征向量。通过排序模型的特征交互层将第一嵌入向量和稠密特征向量进行特征交互处理,得到待投放内容的交互特征。针对任一个待投放内容,在得到该待投放内容的交互特征后,将该待投放内容的交互特征与稠密特征进行特征拼接,得到该待投放内容的拼接特征。通过排序模型的预测层的多层感知MLP对拼接特征进行处理,并经过非线性变换完成目标拟合,得到该待投放内容的投放评估数据。最后,按照投放评估数据对各待投放内容进行排序,得到排序后的各待投放内容。
在一些实施方式中,针对每个待投放内容,将N个第一嵌入向量与稠密特征向量进行两两点积运算(Dot Product),得到该待投放内容的交互特征向量。将该待投放内容的交互特征向量与稠密特征向量进行特征拼接,得到该待投放内容的拼接特征向量。通过排序模型预测层的多层感知MLP对拼接特征向量进行处理,并经过非线性变换,得到该待投放内容的投放评估数据。并按照投放评估数据对各待投放内容进行排序,得到排序后的各待投放内容。
本实施例中,通过对待投放内容的稠密特征和稀疏特征进行特征交互,得到待投放内容的交互特征,可以提升特征之间的关联性,利于模型输出更准确的预测结果;并将交互特征与稠密特征进行拼接,得到待投放内容的拼接特征;根据待投放内容的拼接特征得到按照投放评估数据排序后的各待投放内容,综合考虑各方面的特征数据,提升投放效果的预测准确性,为内容投放提供可信的数据参考,实现创意内容的精准投放。
在一示例性实施例中,各待投放内容具有对应的投放场景类型;对各待投放内容的拼接特征进行目标拟合,包括:当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
具体地,若待投放内容的投场景类型采用数值型的投放目标,将稠密特征和稀疏特征输入至排序模型中,根据各待投放内容的稠密特征和稀疏特征进行特征交互,得到各待投放内容的交互特征;将各待投放内容的交互特征与稠密特征进行拼接,得到各待投放内容的拼接特征;根据待投放内容的拼接特征进行的比如ROI、激活量等数值型数据的数值拟合,得到待投放内容的数值型的投放评估数据。
若待投放内容的投场景类型采用分类标签型的投放目标(比如好创意或者高质量创意),可以根据各待投放内容的拼接特征进行分类,确定各待投放内容所对应的类别,比如确定待投放内容属于好创意的一类或者高质量创意的一类。
示例性,在以ROI、激活量为投放目标的回归问题场景中,排序模型的拟合目标可以设定为对应的数值;在预测创意好坏等分类问题场景中,排序模型的拟合目标可以设定为对应的类别标签,因此模型的设计结构可以灵活应用于多种场景,满足不同投放目标需要。以广告的ROI为例来介绍排序模型的训练过程。在训练阶段,首先,将广告投放所产生的历史投放效果数据按指定时间区间聚合(比如按周或天进行聚合),得到素材对应的稠密特征数据和稀疏特征数据,模型训练标签可以采用为7日ROI值或首日ROI值(对应于数据聚合时间范围),然后对排序模型进行训练。需要说明的是,对于长尾效应比较明显的场景,大部分处于尾部消耗较低的创意,可以进行随机采用负样本训练数据,以保证模型训练所使用的训练数据的平衡性。
本实施例中,各待投放内容具有对应的投放场景类型,针对不同的投放场景类型,采用不同类型的投放目标,使得排序模型可以灵活应用于多种场景,满足不同投放目标的需要。
在一示例性实施例中,如图4所示,候选素材的获取方式,具体可以通过以下步骤实现:
在步骤S410中,获取若干个待召回素材。
在步骤S420中,获取各待召回素材的稠密特征数据和稀疏特征数据,并将各待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中。
在步骤S430中,在若干个待召回素材中确定主体素材,通过召回模型在若干个待召回素材中搜索出与主体素材的相似度符合阈值要求的匹配素材,确定主体素材以及匹配素材为候选素材。
其中,匹配素材与主体素材属于不同的素材类型。若干个待召回素材可以是历史投放内容所使用的视频、封面以及广告词等素材,待召回素材可以存储在素材资源库中。历史投放效果数据可以是基于历史投放内容所产生的数据,比如内容的花费、激活量、点击率。而且,历史投放效果数据可以包括前文所提到的素材的连续型数值特征,历史投放效果数据还可以包括前文所提到的素材的离散型特征。
具体地,从素材资源库中,获取历史投放内容中的若干个待召回素材。各待召回素材具有不同类型。在一些实施方式中,可以将各待召回素材的稠密特征数据和稀疏特征数据存储在服务器的一个数据库中,从该数据库中获取各待召回素材的稠密特征数据和稀疏特征数据。在另一些实施方式中,也可以根据这些历史投放效果数据进行聚合,统计得到各待召回素材的稠密特征数据和稀疏特征数据。比如,将任意内容投放后,可以收集用户对视频的观看时长、对内容的点击量等数据,也可以收集构成内容的各素材的相关数据,比如封面曝光次数、封面点击率、视频曝光数、产品ID、封面ID、封面类型、视频ID、视频类别、广告词ID。将这些历史投放效果数据存储在服务器的一个数据库中,并将历史投放效果数据按照需要(小时、天、周)的维度进行聚合,统计得到各待召回素材的稠密特征数据和稀疏特征数据。
将待召回素材的稠密特征数据和稀疏特征数据输入至召回模型,通过召回模型的Embedding网络层对稠密特征数据进行转换以对稠密特征数据进行嵌入表征,得到稠密特征数据对应的向量。通过Embedding网络层对稀疏特征数据进行查表,得到稀疏特征数据对应的向量,将稠密特征数据对应的向量和稀疏特征数据对应的向量进行特征拼接,得到各待召回素材的表征数据。通过召回模型的多层全连接层对表征数据进行转化,得到各待召回素材的第二嵌入向量。
内容是需要采用多种素材类型的素材组成,如前文,一个内容可以包括视频、封面和广告词。视频、封面和广告词分别属于不同素材类型。在这些待召回素材中进行挖掘,找到相互组合可以生成具有优质创意的素材,可以在不同类型的素材中进行相似度搜索。首先,在若干个待召回素材中确定任一类型的素材为主体素材,然后利用召回模型的匹配层在若干个待召回素材中进行相似度计算,确定与主体素材匹配的匹配素材。即,通过召回模型在若干个待召回素材中搜索出与主体素材的相似度符合阈值要求且与主题素材不同素材类型的匹配素材,确定主体素材以及匹配素材为候选素材。
在一些实施方式中,若干个候选素材中包括视频、封面和广告词三种不同素材类型的素材,在这三种素材中,可以选择视频、封面和广告词中的任一个类型的素材为主体素材,示例性地,若以视频为主体素材,则可以通过召回模型计算视频与封面之间的相似度、视频与广告词之间的相似度,为视频召回匹配的封面和广告词。若以封面为主体素材,则可以通过召回模型计算封面与视频之间的相似度、封面与广告词之间的相似度,为封面召回匹配的视频和广告词。若以广告词为主体素材,则可以通过召回模型计算广告词与视频之间的相似度、广告词与封面之间的相似度,为封面召回匹配的视频和封面。进一步地,若视频A与封面B相匹配,视频A与广告词C相匹配,则将视频A、封面B和广告词C作为候选素材,用于后续待投放内容的生成。
本实施例中,通过召回模型从若干个待召回素材中召回与主体素材的相似度符合阈值要求的匹配素材,确定匹配素材与主体素材为候选素材。实现从待召回素材中召回高质量的候选素材,不仅为生成高质量的内容提供良好的素材基础,而且可以减少排序模型的处理数据,缩短处理时间。
在一示例性实施例中,与主体素材的相似度是根据主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,其它素材为若干个待召回素材中与主体素材素材类型不同的素材。在一些实施方式中,如图5所示,匹配素材的确定,具体可以通过以下步骤实现:
在步骤S510中,根据各待召回素材的稠密特征数据和稀疏特征数据,获取主体素材与其它素材之间的相似度。
在步骤S520中,在其它素材中,与主体素材的相似度符合阈值要求的匹配素材。
其中,若干个待召回素材包括主体素材与其他素材。其它素材为若干个待召回素材中与主体素材的素材类型不相同的素材。比如主体素材可以为视频,其他素材可以为封面,可见,视频与封面属于不同类型。可以理解的是,主体素材可以为视频,非其他素材也可以为广告语,在此不再赘述。具体地,主体素材具有稠密特征数据和稀疏特征数据,其他素材具有稠密特征数据和稀疏特征数据。根据各待召回素材的稠密特征数据和稀疏特征数据,获取主体素材的稠密特征数据和稀疏特征数据。根据各待召回素材的稠密特征数据和稀疏特征数据,获取其它素材的稠密特征数据和稀疏特征数据。根据主体素材的稠密特征数据和稀疏特征数据、其他素材的稠密特征数据和稀疏特征数据,计算主体素材与其他素材之间的相似度。
可以预先设置相似度阈值作为阈值要求,以在其他素材中确定与主体素材匹配的匹配素材。若主体素材与任一其他素材之间的相似度超过设置的阈值,则可以认为该主体素材与该任一其他素材相互匹配,即表明该主体素材与该任一其他素材可以组合在一起,以得到待投放内容。示例性的,待召回素材包括视频A、封面B1、封面B2和封面B3,以视频A为主体素材,以封面B1、封面B2和封面B3为其他素材,计算视频A与封面B1的相似度Y1、视频A与封面B2的相似度Y2以及视频A与封面B3的相似度Y3,若相似度Y2大于设置的阈值,且相似度Y3大于设置的阈值,则可以从封面B1、封面B2和封面B3召回与视频A匹配的封面B2和封面B3。候选素材包括视频A、匹配的封面B2、匹配的封面B3。
需要说明的是,将匹配素材与主体素材确定为候选素材,后续,利用这若干个候选素材进行排列组合,生成待投放内容。可以理解的是,通过上文提到的相似度匹配处理,已经确定匹配素材与主体素材是匹配的,那么,在进行排列组合时,不会对匹配素材与主体素材进行拆分。示例性的,待召回素材包括视频A、封面B1、封面B2、封面B3、广告词C1、广告词C2、广告词C3,以视频A为主体素材,计算各素材之间的相似度(比如,视频A与封面B1的相似度Y1、视频A与封面B2的相似度Y2以及视频A与封面B3的相似度Y3;视频A与广告词C1的相似度Z1、视频A与广告词C2的相似度Z2以及视频A与广告词C3的相似度Z3,不再一一赘述)。若相似度Y2大于设置的阈值,且相似度Y3大于设置的阈值,则可以从封面B1、封面B2和封面B3召回与视频A匹配的封面B2和封面B3。若相似度Z1大于设置的阈值,且相似度Z2大于设置的阈值,则可以从广告词C1、广告词C2、广告词C3召回与视频A匹配的广告词C1和广告词C2。则候选素材包括视频A、封面B2、封面B3、广告词C1和广告词C2。进一步,可以构成的待投放内容包括:AB2C1、AB2C2、AB3C1以及AB3C2。
本实施例中,通过根据主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据得到的相似度,在各与主题素材类型不同的其他素材中召回匹配素材,从而将主体素材与匹配素材确定为候选素材,实现了从海量素材中快速挖掘出具有高质量的候选素材。
在一示例性实施例中,图6是召回模型的示意图,召回模型包括输入层、表示层和匹配层。将待召回素材的稠密特征数据和稀疏特征数据输入至召回模型的输入层,通过输入层中的Embedding网络对稠密特征数据进行转换以对稠密特征数据进行嵌入表征,得到稠密特征数据对应的向量。通过Embedding网络对稀疏特征数据进行查表,得到稀疏特征数据对应的向量,将稠密特征数据对应的向量和稀疏特征数据对应的向量进行特征拼接,得到各待召回素材的表征数据。各待召回素材的表征数据传递至召回模型的表示层,标识层包括多层全连接层,通过多层全连接层对表征数据进行转化,得到各待召回素材的嵌入向量,如图6所示,待召回素材可以是视频,也可以是封面,还可以是广告词,待召回素材的嵌入向量可以是视频嵌入向量,也可以是封面嵌入向量,还可以是广告词嵌入向量。在视频、封面和广告词中确定任一类型素材为主体素材,主体素材以视频为例进行说明,通过匹配层可以计算视频嵌入向量与封面嵌入向量之间的余弦相似度、广告词嵌入向量与封面嵌入向量之间的余弦相似度。根据不同类型素材之间的余弦相似度从待召回素材中召回候选素材。如图7a所示,召回模型的生成方式,包括:
在步骤S710中,获取历史投放内容中若干个不同类型的样本素材,以及获取各样本素材的稠密特征数据和稀疏特征数据。
在步骤S720中,将各样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中。
具体地,历史投放内容可以是已经投放过的内容。历史投放内容包括若干个不同类型的样本素材。样本素材可以是视频、封面、广告语中的任一个。各样本素材具有各自的稠密特征数据和稀疏特征数据。为了训练召回模型,需要构建训练样本,获取历史投放内容中的各样本素材,且历史投放内容内的各样本素材属于不同类型,获取各样本素材的稠密特征数据和稀疏特征数据。利用各样本素材的稠密特征数据和稀疏特征数据构建训练样本。针对任一样本素材,将该样本素材稠密特征数据和稀疏特征一起输入至待训练的召回模型中。
在步骤S730中,通过召回模型对各样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各样本素材的拼接特征,并根据样本素材的拼接特征,将任一第一类型样本素材与若干个样本素材中的非第一类型样本素材进行相似度匹配。
具体地,针对任一样本素材,将该样本素材稠密特征数据和稀疏特征数据一起输入至待训练的召回模型中,通过召回模型输入层中的Embedding编码模块对稠密特征数据进行转换以对稠密特征数据进行嵌入表征,得到稠密特征数据对应的向量。通过Embedding编码模块对稀疏特征数据进行查表,得到稀疏特征数据对应的向量,将稠密特征数据对应的向量和稀疏特征数据对应的向量进行特征拼接,得到各样本素材的拼接特征。通过召回模型的多层全连接层对拼接特征进行转化,得到各样本素材的嵌入向量。
各样本素材包括第一类型样本素材与若干个样本素材。根据第一类型待召回素材的拼接特征以及非第一类型待召回素材的拼接特征,计算第一类型待召回素材与各非第一类型待召回素材之间的相似度,根据第一类型待召回素材与各非第一类型待召回素材之间的相似度,将任一第一类型样本素材与若干个样本素材中的非第一类型样本素材进行相似度匹配。
在步骤S740中,当相似度匹配结果满足模型训练停止条件时,得到召回模型。
具体地,基于历史投放内容所产生的历史投放效果数据,对历史投放内容中的各样本素材是否匹配进行标定,生成训练标签。可以将相似度匹配结果与训练标签进行比较,计算模型的损失值,当模型的损失值满足模型训练停止条件时,停止训练,得到召回模型。
本实施例中,通过获取历史投放内容中若干个不同类型的样本素材,并利用各样本素材的稠密特征数据和稀疏特征数据训练召回模型,为从素材库中的海量素材中挖掘优质素材提供了前提条件,并为召回候选素材奠定基础,提升基于海量素材生成优质创意的几率。
在一示例性实施例中,在将预测结果高于指定阈值的待投放内容进行投放之后,如图7b所示,该还包括:
在步骤S702中,获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据。
在步骤S704中,根据新投放效果数据和历史投放效果数据在预设时间区间内进行聚合,得到各样本素材的新稠密特征数据和新稀疏特征数据。
在步骤S706中,利用新稠密特征数据和新稀疏特征数据,继续对召回模型进行训练,得到更新后的召回模型。
具体地,将预测结果高于指定阈值的待投放内容确定为投放内容,将投放内容进行投放后,基于用户对投放内容的操作,会产生新投放效果数据。新投放效果数据可以在一定程度上反映投放内容的投放效果,也可以反映投放内容所包括的各素材的表现。因此,获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据,并将新投放效果数据与历史投放效果数据进行结合,将新投放效果数据与历史投放效果数据进行结合。基于新投放效果数据与历史投放效果数据在预设时间内进行聚合,得到各样本素材的新稠密特征数据和新稀疏特征数据,将各样本素材的新稠密特征数据和新稀疏特征数据输入至召回模型,继续对召回模型进行训练,得到更新后的召回模型。
在一些实施方式中,通过召回模型对各样本素材的新稠密特征数据和新稀疏特征数据进行嵌入表征和特征拼接,得到各样本素材的新拼接特征,并根据样本素材的新拼接特征,将任一第一类型样本素材与若干个样本素材中的非第一类型样本素材进行相似度匹配。基于将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据和历史投放内容所产生的历史投放效果数据,对各样本素材是否匹配进行标定,生成训练标签。可以将相似度匹配结果与训练标签进行比较,可以计算模型的损失值,当模型的损失值满足模型训练停止条件时,停止训练,得到更新后的召回模型。
本实施例中,在投放预测结果高于指定阈值的待投放内容后,获取新投放效果数据,新投放效果数据作为投放预测结果高于指定阈值的待投放内容之后的反馈信号,再次基于新投放效果数据和历史投放效果数据对召回模型进行训练,实现了利用全链路数据构建闭环的素材挖掘策略,实现召回模型的自动更新迭代。进一步地,利用新投放效果数据与历史投放效果数据共同对召回模型继续训练,利于提升召回模型预测的准确性,若初始的召回模型存在预测偏差,可以通过新投放效果数据与历史投放效果数据进行纠正,共同提升召回模型的预设能力。
在一示例性实施例中,图8a是排序模型的示意图。在利用排序模型对待投放内容的投放效果进行预测时,则通过排序模型的输入层输入稀疏特征和稠密特征,接着通过Embedding网络层对稀疏特征进行处理,得到第一嵌入向量,通过多层感知MLP对稠密特征进行映射处理得到稠密特征向量,从而通过模型的特征交互层对第一嵌入向量和稠密特征向量对待投放内容进行特征交互处理,得到待投放内容的交互特征向量;将交互特征向量与稠密特征向量进行拼接,得到待投放内容的拼接特征向量;根据拼接特征向量对待投放内容的投放效果进行预测,得到投放评估数据。如图8b所示,在根据新投放效果数据和历史投放效果数据,获取各样本素材的新稠密特征数据和新稀疏特征数据之后,该方法还包括以下步骤:
在步骤S810中,存储各样本素材的新稠密特征数据和新稀疏特征数据。
在步骤S820中,根据存储的各样本素材的新稠密特征数据和新稀疏特征数据,对样本内容内各样本素材的新稠密特征数据进行融合,以及对样本内容内各样本素材的新稀疏特征数据进行融合,得到样本内容的新稠密特征和新稀疏特征。
在步骤S830中,利用样本内容的新稠密特征和新稀疏特征,继续对排序模型进行训练,得到更新后的排序模型。
具体地,获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据,并将新投放效果数据与历史投放效果数据进行结合,将新投放效果数据与历史投放效果数据进行结合。基于新投放效果数据与历史投放效果数据进行聚合,得到各样本素材的新稠密特征数据和新稀疏特征数据,将各样本素材的新稠密特征数据和新稀疏特征数据存储在服务器本地。
从服务器本地获取各样本素材的新稠密特征数据和新稀疏特征数据。对样本内容内样本素材的新稠密特征数据进行融合,得到样本内容的新稠密特征,对样本内容内各样本素材的新稀疏特征数据进行融合,得到样本内容的新稀疏特征。将样本内容的新稠密特征和新稀疏特征输入至待更新的排序模型中,通过待训练的排序模型对样本内容的稠密特征和稀疏特征进行分类或者数值拟合;当分类结果或者数值拟合结果满足模型训练停止条件时,得到更新后的排序模型。
在一些实施方式中,如图8c,内容生成包含召回和预测两个阶段:1)在召回阶段,召回模型从素材库中选取其中部分有潜力的优质素材(短视频、封面、广告词、行动号召语),召回过程可过滤掉大量不符合投放目标的素材,缩小后续模型处理数据量级,提升处理效率;2)在预测阶段,将召回的候选素材进行排列组合,形成待投放内容,经排序模型对待投放内容进行预测,得到创意评分,最后选择评分高于指定阈值的若干个待投放内容,构建投放计划进行线上投放。在对满足内容投放条件的待投放内容进行投放后,基于历史投放效果数据和新投放效果数据,继续对召回模型和排序模型进行训练,利用全链路数据构建成闭环的内容生成策略,并实现策略的自动更新迭代。
本实施例中,通过存储各样本素材的新稠密特征数据和新稀疏特征数据,当需要对排序模型进行更新训练时,可以直接从服务器本地获取各样本素材的新稠密特征数据和新稀疏特征数据,以进行排序模型的更新训练,减少了数据处理过程,提升模型的训练效率。进一步地,基于历史投放效果数据和新投放效果数据,继续对排序模型进行训练,得到更新后的排序模型,实现基于数据驱动的闭环内容生成策略,满足不同投放场景的自动化内容生成,节约人力成本,提高内容投放效率;支持海量素材组合空间的高效探索,挖掘出更多优质内容,提升内容投放收益。
在一示例性实施例中,本公开提供一种投放内容确定方法,可以应用于服务器120中,包括以下步骤:
在步骤S902中,获取历史投放内容中若干个不同类型的样本素材,以及获取各样本素材的稠密特征数据和稀疏特征数据。
在步骤S904中,将各样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中。
在步骤S906中,通过召回模型对各样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各样本素材的拼接特征,并根据样本素材的拼接特征,将任一第一类型样本素材与若干个样本素材中的非第一类型样本素材进行相似度匹配。
在步骤S908中,当相似度匹配结果满足模型训练停止条件时,得到召回模型。
在步骤S910中,获取若干个待召回素材。
在步骤S912中,获取各待召回素材的稠密特征数据和稀疏特征数据,并将各待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中。
在步骤S914中,在若干个待召回素材中确定主体素材,通过召回模型在若干个待召回素材中搜索出与主体素材的相似度符合阈值要求的匹配素材,确定主体素材以及匹配素材为候选素材,匹配素材与主体素材属于不同的素材类型。
具体地,与主体素材的相似度是根据主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,其它素材为若干个待召回素材中与主体素材素材类型不同的素材。
在步骤S916中,获取不同类型的候选素材,对候选素材进行组合,得到若干个待投放内容。
在步骤S918中,对各待投放内容的候选素材的稠密特征数据进行融合,以及对各待投放内容的候选素材的稀疏特征数据进行融合,得到各待投放内容的稠密特征和稀疏特征。
在步骤S920中,将各待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各待投放内容。
其中,投放评估数据用于表征待投放内容投放后所产生的投放效果。具体地,根据各待投放内容的稠密特征和稀疏特征进行特征交互,得到各待投放内容的交互特征;将各待投放内容的交互特征与稠密特征进行拼接,得到各待投放内容的拼接特征;对各待投放内容的拼接特征进行目标拟合,得到各待投放内容的投放评估数据;按照各待投放内容的投放评估数据进行排序,得到排序后的各待投放内容。
在一些实施方式中,各待投放内容具有对应的投放场景类型。对各待投放内容的拼接特征进行目标拟合,包括:当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
在步骤S922中,在排序后的各待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
在步骤S924中,将预测结果高于指定阈值的待投放内容进行投放。
在步骤S926中,获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据。
在步骤S928中,根据新投放效果数据和历史投放效果数据在预设时间区间内进行聚合,得到各样本素材的新稠密特征数据和新稀疏特征数据。
在步骤S930中,利用新稠密特征数据和新稀疏特征数据,继续对召回模型进行训练,得到更新后的召回模型。
在步骤S932中,存储各样本素材的新稠密特征数据和新稀疏特征数据。
在步骤S934中,根据存储的各样本素材的新稠密特征数据和新稀疏特征数据,对样本内容内各样本素材的新稠密特征数据进行融合,以及对样本内容内各样本素材的新稀疏特征数据进行融合,得到样本内容的新稠密特征和新稀疏特征。
在步骤S936中,利用样本内容的新稠密特征和新稀疏特征,继续对排序模型进行训练,得到更新后的排序模型。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图9是根据一示例性实施例示出的一种投放内容确定装置框图。参照图9,该装置900包括候选素材组合模块910、特征数据融合模块920、待投放内容排序模块930以及投放内容确定模块940;其中:
候选素材组合模块910,被配置为执行获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容;
特征数据融合模块920,被配置为执行对各所述待投放内容内候选素材的稠密特征数据进行融合,以及对各所述待投放内容内候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征;
待投放内容排序模块930,被配置为执行将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,所述投放评估数据用于表征所述待投放内容投放后所产生的投放效果;
投放内容确定模块940,被配置为执行在排序后的各所述待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
在一示例性实施例中,所述待投放内容排序模块,还被配置为执行根据各所述待投放内容的稠密特征和稀疏特征进行特征交互,得到各所述待投放内容的交互特征;将各所述待投放内容的交互特征与所述稠密特征进行拼接,得到各所述待投放内容的拼接特征;对各所述待投放内容的拼接特征进行目标拟合,得到各所述待投放内容的投放评估数据;按照各所述待投放内容的投放评估数据进行排序,得到排序后的各所述待投放内容。
在一示例性实施例中,各所述待投放内容具有对应的投放场景类型;所述待投放内容排序模块,还被配置为执行当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
在一示例性实施例中,所述装置还包括候选素材获取模块,被配置为执行获取若干个待召回素材;获取各所述待召回素材的稠密特征数据和稀疏特征数据,并将各所述待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中;在所述若干个待召回素材中确定主体素材,通过所述召回模型在所述若干个待召回素材中搜索出与所述主体素材的相似度符合阈值要求的匹配素材,确定所述主体素材以及所述匹配素材为所述候选素材,所述匹配素材与所述主体素材属于不同的素材类型。
在一示例性实施例中,与所述主体素材的相似度是根据所述主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,所述其它素材为所述若干个待召回素材中与所述主体素材素材类型不同的素材。
在一示例性实施例中,所述装置还包括召回模型生成模块,被配置为执行获取历史投放内容中的若干个不同类型的样本素材,以及获取各所述样本素材的稠密特征数据和稀疏特征数据;将各所述样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中;通过所述待训练的召回模型对各所述样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各所述样本素材的拼接特征,并根据所述样本素材的拼接特征,将任一第一类型样本素材与所述若干个样本素材中的非第一类型样本素材进行相似度匹配;当所述相似度匹配结果满足模型训练停止条件时,得到所述召回模型。
在一示例性实施例中,所述装置还包括召回模型更新模块,被配置为执行获取将预测结果高于指定阈值的待投放内容进行投放后产生的新投放效果数据;根据所述新投放效果数据和历史投放效果数据在预设时间区间内进行聚合,得到各所述样本素材的新稠密特征数据和新稀疏特征数据;利用所述新稠密特征数据和所述新稀疏特征数据,继续对所述召回模型进行训练,得到更新后的召回模型。
在一示例性实施例中,所述装置还包括排序模块更新模块,被配置为执行存储各所述样本素材的新稠密特征数据和新稀疏特征数据;根据存储的各所述样本素材的新稠密特征数据和新稀疏特征数据,对样本内容内各样本素材的新稠密特征数据进行融合,以及对样本内容内各样本素材的新稀疏特征数据进行融合,得到所述样本内容的新稠密特征和新稀疏特征;利用所述样本内容的新稠密特征和新稀疏特征,继续对所述排序模型进行训练,得到更新后的排序模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种用于内容投放的设备1000的框图。例如,设备1000可以为一服务器。参照图10,设备1000包括处理组件1020,其进一步包括一个或多个处理器,以及由存储器1022所代表的存储器资源,用于存储可由处理组件1020的执行的指令,例如应用程序。存储器1022中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1020被配置为执行指令,以执行上述内容投放的方法。
设备1000还可以包括一个电源组件1024被配置为执行设备1000的电源管理,一个有线或无线网络接口1026被配置为将设备1000连接到网络,和一个输入输出(I/O)接口1028。设备1000可以操作基于存储在存储器1022的操作系统,例如Windows Server,Mac OSX,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1022,上述指令可由设备1000的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述实施例中所述的投放内容确定方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种投放内容确定方法,其特征在于,包括:
获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容;
对各所述待投放内容的候选素材的稠密特征数据进行融合,以及对各所述待投放内容的候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征;
将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,所述投放评估数据用于表征所述待投放内容投放后所产生的投放效果;
在排序后的各所述待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
2.根据权利要求1所述的投放内容确定方法,其特征在于,所述将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,包括:
根据各所述待投放内容的稠密特征和稀疏特征进行特征交互,得到各所述待投放内容的交互特征;
将各所述待投放内容的交互特征与所述稠密特征进行拼接,得到各所述待投放内容的拼接特征;
对各所述待投放内容的拼接特征进行目标拟合,得到各所述待投放内容的投放评估数据;
按照各所述待投放内容的投放评估数据进行排序,得到排序后的各所述待投放内容。
3.根据权利要求2所述的投放内容确定方法,其特征在于,各所述待投放内容具有对应的投放场景类型;所述对各所述待投放内容的拼接特征进行目标拟合,包括:
当待投放内容的投场景类型采用数值型的投放目标时,则对待投放内容的拼接特征进行数值拟合;
当待投放内容的投场景类型采用分类标签型的投放目标时,则对待投放内容的拼接特征进行分类。
4.根据权利要求1所述的投放内容确定方法,其特征在于,所述候选素材的获取方式,包括:
获取若干个待召回素材;
获取各所述待召回素材的稠密特征数据和稀疏特征数据,并将各所述待召回素材的稠密特征数据和稀疏特征数据输入至召回模型中;
在所述若干个待召回素材中确定主体素材,通过所述召回模型在所述若干个待召回素材中搜索出与所述主体素材的相似度符合阈值要求的匹配素材,确定所述主体素材以及所述匹配素材为所述候选素材,所述匹配素材与所述主体素材属于不同的素材类型。
5.根据权利要求4所述的投放内容确定方法,其特征在于,与所述主体素材的相似度是根据所述主体素材的稠密特征数据和稀疏特征数据以及其它素材的稠密特征数据和稀疏特征数据而得到的,所述其它素材为所述若干个待召回素材中与所述主体素材素材类型不同的素材。
6.根据权利要求4所述的投放内容确定方法,其特征在于,所述召回模型的生成方式,包括:
获取历史投放内容中的若干个不同类型的样本素材,以及获取各所述样本素材的稠密特征数据和稀疏特征数据;
将各所述样本素材的稠密特征数据和稀疏特征数据输入至待训练的召回模型中;
通过所述待训练的召回模型对各所述样本素材的稠密特征数据和稀疏特征数据进行嵌入表征和特征拼接,得到各所述样本素材的拼接特征,并根据所述样本素材的拼接特征,将任一第一类型样本素材与所述若干个样本素材中的非第一类型样本素材进行相似度匹配;
当所述相似度匹配结果满足模型训练停止条件时,得到所述召回模型。
7.一种投放内容确定装置,其特征在于,包括:
候选素材组合模块,被配置为执行获取不同类型的候选素材,对所述候选素材进行组合,得到若干个待投放内容;
特征数据融合模块,被配置为执行对各所述待投放内容内候选素材的稠密特征数据进行融合,以及对各所述待投放内容内候选素材的稀疏特征数据进行融合,得到各所述待投放内容的稠密特征和稀疏特征;
待投放内容排序模块,被配置为执行将各所述待投放内容的稠密特征和稀疏特征输入至排序模型中,得到按照投放评估数据排序后的各所述待投放内容,所述投放评估数据用于表征所述待投放内容投放后所产生的投放效果;
投放内容确定模块,被配置为执行在排序后的各所述待投放内容中,确定投放评估数据高于指定阈值的待投放内容为投放内容。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的投放内容确定方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的投放内容确定方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的投放内容确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873868.2A CN113570416B (zh) | 2021-07-30 | 2021-07-30 | 投放内容确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873868.2A CN113570416B (zh) | 2021-07-30 | 2021-07-30 | 投放内容确定方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113570416A true CN113570416A (zh) | 2021-10-29 |
CN113570416B CN113570416B (zh) | 2022-04-01 |
Family
ID=78169553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110873868.2A Active CN113570416B (zh) | 2021-07-30 | 2021-07-30 | 投放内容确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570416B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761378A (zh) * | 2021-09-14 | 2021-12-07 | 上海任意门科技有限公司 | 内容排序方法、计算设备和计算机可读存储介质 |
WO2024061073A1 (zh) * | 2022-09-19 | 2024-03-28 | 北京沃东天骏信息技术有限公司 | 一种多媒体信息的生成方法及装置、计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111210258A (zh) * | 2019-12-23 | 2020-05-29 | 北京三快在线科技有限公司 | 广告投放方法、装置、电子设备及可读存储介质 |
CN112053188A (zh) * | 2020-08-25 | 2020-12-08 | 杭州电子科技大学 | 一种基于混合深度神经网络模型的互联网广告推荐方法 |
CN112446739A (zh) * | 2020-12-10 | 2021-03-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于分解机和图神经网络的点击率预测方法及系统 |
US20210110428A1 (en) * | 2015-06-09 | 2021-04-15 | Twitter, Inc. | Click-Through Prediction for Targeted Content |
CN112862516A (zh) * | 2021-01-14 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 资源投放方法、装置、电子设备及存储介质 |
-
2021
- 2021-07-30 CN CN202110873868.2A patent/CN113570416B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210110428A1 (en) * | 2015-06-09 | 2021-04-15 | Twitter, Inc. | Click-Through Prediction for Targeted Content |
CN111210258A (zh) * | 2019-12-23 | 2020-05-29 | 北京三快在线科技有限公司 | 广告投放方法、装置、电子设备及可读存储介质 |
CN112053188A (zh) * | 2020-08-25 | 2020-12-08 | 杭州电子科技大学 | 一种基于混合深度神经网络模型的互联网广告推荐方法 |
CN112446739A (zh) * | 2020-12-10 | 2021-03-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于分解机和图神经网络的点击率预测方法及系统 |
CN112862516A (zh) * | 2021-01-14 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 资源投放方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
刘恩伯等: "基于轻量梯度提升机的广告转化率预估方法", 《智能计算机与应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761378A (zh) * | 2021-09-14 | 2021-12-07 | 上海任意门科技有限公司 | 内容排序方法、计算设备和计算机可读存储介质 |
WO2024061073A1 (zh) * | 2022-09-19 | 2024-03-28 | 北京沃东天骏信息技术有限公司 | 一种多媒体信息的生成方法及装置、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113570416B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048752B2 (en) | Estimating social interest in time-based media | |
CN110390033B (zh) | 图像分类模型的训练方法、装置、电子设备及存储介质 | |
CN108776676B (zh) | 信息推荐方法、装置、计算机可读介质及电子设备 | |
CN109345302A (zh) | 机器学习模型训练方法、装置、存储介质和计算机设备 | |
CN113570416B (zh) | 投放内容确定方法、装置、电子设备及存储介质 | |
US20110307332A1 (en) | Method and Apparatus for Providing Moving Image Advertisements | |
CN110119477B (zh) | 一种信息推送方法、装置和存储介质 | |
CN112291612B (zh) | 视频与音频的匹配方法、装置、存储介质与电子设备 | |
CN113379449B (zh) | 多媒体资源召回方法、装置、电子设备以及存储介质 | |
CN116415017B (zh) | 基于人工智能的广告敏感内容审核方法及系统 | |
CN111144936B (zh) | 基于用户标签的相似人群扩展方法及装置 | |
CN113204659A (zh) | 多媒体资源的标签分类方法、装置、电子设备及存储介质 | |
CN108810577B (zh) | 一种用户画像的构建方法、装置及电子设备 | |
CN116980665A (zh) | 一种视频处理方法、装置、计算机设备、介质及产品 | |
CN115239442A (zh) | 一种互联网金融产品推广的方法及系统和存储介质 | |
CN113901244A (zh) | 多媒体资源的标签构建方法、装置、电子设备和存储介质 | |
WO2024104286A1 (zh) | 一种视频处理方法、装置、电子设备和存储介质 | |
CN115345650A (zh) | 一种信息推送方法、装置及计算机可读存储介质 | |
CN116137648A (zh) | 视频处理方法、装置、电子设备和计算机可读存储介质 | |
CN117725149A (zh) | 内容反馈的查询方法、装置及设备 | |
CN118332179A (zh) | 内容素材推送处理方法、装置、计算机设备和存储介质 | |
CN117725299A (zh) | 内容推荐方法、装置、计算机设备和计算机可读存储介质 | |
CN116976343A (zh) | 一种标签生成方法、装置、计算机设备和存储介质 | |
CN116012871A (zh) | 对象识别方法、装置、计算机设备、存储介质和产品 | |
CN118332148A (zh) | 基于待检索图像识别的图像检索方法、系统和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |