CN117951325A - 广告素材的查询方法、装置、设备以及存储介质 - Google Patents
广告素材的查询方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN117951325A CN117951325A CN202211347719.3A CN202211347719A CN117951325A CN 117951325 A CN117951325 A CN 117951325A CN 202211347719 A CN202211347719 A CN 202211347719A CN 117951325 A CN117951325 A CN 117951325A
- Authority
- CN
- China
- Prior art keywords
- advertisement
- query
- materials
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 931
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims description 40
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002779 inactivation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种广告素材的查询方法、装置、设备以及存储介质，属于计算机技术领域。通过本申请实施例提供的技术方案，对查询广告素材进行了特征提取，得到查询广告素材的素材特征。基于查询广告素材的素材特征与多个候选广告素材的索引进行第一次筛选，得到多个参考广告素材。基于该查询广告素材的素材特征与多个参考广告素材的素材特征进行二次筛选，得到与该查询广告素材对应的目标广告素材，从而实现广告素材之间的互相查询。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种广告素材的查询方法、装置、设备以及存储介质。
背景技术
随着计算机技术的发展，广告素材的数量越来越多，广告素材具有多种类型，包括广告文本、广告视频以及广告图像等。为了提高广告素材的利用率，广告素材之间的互相查询是十分必要的功能，比如，基于广告文本来查询其他广告文本、基于广告文本来查询广告图像、基于广告图像来查询广告文本以及基于广告图像来查询广告图像均是较为常用的功能。
相关技术中，广告主在进行广告创意时，通常需要使用广告素材之间的互相查询功能，因此，如何进行广告素材的查询是亟须解决的问题。
发明内容
本申请实施例提供了一种广告素材的查询方法、装置、设备以及存储介质，可以进行广告素材之间的互相查询，所述技术方案如下：
一方面，提供了一种广告素材的查询方法，所述方法包括：
对查询广告素材进行特征提取，得到所述查询广告素材的素材特征；
基于所述查询广告素材的素材特征与多个候选广告素材的索引，从所述多个候选广告素材中确定多个参考广告素材，所述多个参考广告素材的索引与所述查询广告素材的素材特征之间的相似度符合第一相似度条件；
基于所述查询广告素材的素材特征和所述多个参考广告素材的素材特征，从所述多个参考广告素材中确定至少一个与所述查询广告素材匹配的目标广告素材。
一方面，提供了一种广告素材的查询装置，所述装置包括：
特征提取模块，用于对查询广告素材进行特征提取，得到所述查询广告素材的素材特征；
参考广告素材确定模块，用于基于所述查询广告素材的素材特征与多个候选广告素材的索引，从所述多个候选广告素材中确定多个参考广告素材，所述多个参考广告素材的索引与所述查询广告素材的素材特征之间的相似度符合第一相似度条件；
目标广告素材确定模块，用于基于所述查询广告素材的素材特征和所述多个参考广告素材的素材特征，从所述多个参考广告素材中确定至少一个与所述查询广告素材匹配的目标广告素材。
在一种可能的实施方式中，所述特征提取模块，用于执行下述任一项：
在所述查询广告素材为广告文本的情况下，对所述查询广告素材进行分词，得到所述查询广告素材中的多个词汇；基于注意力机制对所述多个词汇以及各个所述词汇的位置进行编码，得到各个所述词汇的词汇特征；将所述多个词汇的词汇特征进行融合，得到所述查询广告素材的素材特征；
在所述查询广告素材为广告图像的情况下，将所述查询广告素材拆分为多个图像块；基于注意力机制对所述多个图像块以及各个所述图像块的位置进行编码，得到各个所述图像块的图像块特征；将所述多个图像块的图像块特征进行融合，得到所述查询广告素材的素材特征。
在一种可能的实施方式中，所述特征提取模块，用于对所述多个词汇以及各个所述词汇的位置进行嵌入编码，得到各个所述词汇的第一融合特征，所述第一融合特征包括对应词汇的词汇嵌入特征和位置嵌入特征；将各个所述词汇的第一融合特征输入文本编码器，通过所述文本编码器，基于各个所述词汇的第一融合特征确定所述多个词汇中每两个词汇之间的注意力权重；通过所述文本编码器，基于所述多个词汇中每两个词汇之间的注意力权重以及各个所述词汇的第一融合特征，输出各个所述词汇的词汇特征。
在一种可能的实施方式中，所述特征提取模块，用于对所述多个图像块以及各个所述图像块的位置进行嵌入编码，得到各个所述图像块的第二融合特征，所述第二融合特征包括对应图像块的图像块嵌入特征和位置嵌入特征；将各个所述图像块的第二融合特征输入图像编码器，通过所述图像编码器，基于各个所述图像块的第二融合特征确定所述多个图像块中每两个图像块之间的注意力权重；通过所述图像编码器，基于所述多个图像块中每两个图像块之间的注意力权重以及各个所述图像块的第二融合特征，输出各个所述图像块的图像块特征。
在一种可能的实施方式中，所述参考广告素材确定模块，用于将所述查询广告素材的素材特征拆分为多个子特征；对于所述多个候选广告素材中的任一候选广告素材，确定所述查询广告素材的多个子特征与所述候选广告素材的索引之间的相似度；在所述候选广告素材的索引与所述查询广告素材的多个子特征之间的相似度符合所述第一相似度条件的情况下，将所述候选广告素材确定为参考广告素材。
在一种可能的实施方式中，所述参考广告素材确定模块，用于确定所述查询广告素材的多个子特征与所述候选广告素材的多个子索引之间的多个参考相似度；将所述多个参考相似度进行融合，得到所述查询广告素材的多个子特征与所述候选广告素材的索引之间的相似度。
在一种可能的实施方式中，所述目标广告素材确定模块，用于确定所述查询广告素材的素材特征与所述多个参考广告素材的素材特征之间的相似度；将所述多个参考广告素材中相似度符合第二相似度条件的参考广告素材确定为所述目标广告素材。
在一种可能的实施方式中，所述目标广告素材确定模块，用于执行下述任一项：
在所述查询广告素材和所述多个参考广告素材均为广告文本的情况下，将所述查询广告素材的素材特征和所述多个参考广告素材的素材特征输入文本相似度确定模型，由所述文本相似度确定模型确定所述查询广告素材的素材特征和所述多个参考广告素材的素材特征之间的相似度；
在所述查询广告素材和所述多个参考广告素材均为广告图像的情况下，将所述查询广告素材的素材特征和所述多个参考广告素材的素材特征输入图像相似度确定模型，由所述图像相似度确定模型确定所述查询广告素材的素材特征和所述多个参考广告素材的素材特征之间的相似度；
在所述查询广告素材为广告文本，所述多个参考广告素材为广告图像的情况下，将所述查询广告素材的素材特征和所述多个参考广告素材的素材特征输入图文相似度确定模型，由所述图文相似度确定模型确定所述查询广告素材的素材特征和所述多个参考广告素材的素材特征之间的相似度；
在所述查询广告素材为广告图像，所述多个参考广告素材为广告文本的情况下，将所述查询广告素材的素材特征和所述多个参考广告素材的素材特征输入图文相似度确定模型，由所述图文相似度确定模型确定所述查询广告素材的素材特征和所述多个参考广告素材的素材特征之间的相似度。
在一种可能的实施方式中，所述装置还包括：
索引确定模块，用于对所述多个候选广告素材进行特征提取，得到各个所述候选广告素材的素材特征；将各个所述候选广告素材的素材特征拆分为多个子特征；基于各个所述候选广告素材的多个子特征，确定各个所述候选广告素材的索引。
在一种可能的实施方式中，所述索引确定模块，用于对所述多个候选广告素材的多个子特征进行聚类，得到各个所述候选广告素材的索引。
一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述计算机程序由所述一个或多个处理器加载并执行以实现所述广告素材的查询方法。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现所述广告素材的查询方法。
一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序代码，该程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，使得该计算机设备执行上述广告素材的查询方法。
通过本申请实施例提供的技术方案，对查询广告素材进行了特征提取，得到查询广告素材的素材特征。基于查询广告素材的素材特征与多个候选广告素材的索引进行第一次筛选，得到多个参考广告素材。基于该查询广告素材的素材特征与多个参考广告素材的素材特征进行二次筛选，得到与该查询广告素材对应的目标广告素材，从而实现广告素材之间的互相查询。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种广告素材的查询方法的实施环境的示意图；
图2是本申请实施例提供的一种广告素材的查询方法的流程图；
图3是本申请实施例提供的另一种广告素材的查询方法的流程图；
图4是本申请实施例提供的一种界面示意图；
图5是本申请实施例提供的一种确定索引的流程图；
图6是本申请实施例提供的一种确定文本相似度的流程图；
图7是本申请实施例提供的一种确定图像相似度的流程图；
图8是本申请实施例提供的又一种广告素材的查询方法的流程图；
图9是本申请实施例提供的一种广告素材的查询装置的结构示意图；
图10是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式做进一步的详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识子模型使之不断改善自身的性能。
语义特征：用于表示广告文本所表达语义的特征，不同的广告文本可以对应于相同的语义特征，例如广告文本“今天天气怎么样”和广告文本“今天天气如何”可以对应于同一个语义特征。计算机设备可以将广告文本中的字符映射为字符向量，根据字符之间的关系，对字符向量进行组合和运算，得到广告文本的语义特征。例如计算机设备可以采用编解码器的双向编码器表示(Bidirectional Encoder Representations from Transformers，BERT)。
掩码(Mask)：掩码是一串二进制代码对目标字段进行乘积运算，屏蔽或显示目标字段中的某个字符。例如，目标字段为(1，1，0，1)，掩码为(1，0，1，0)，目标字段和掩码进行乘积运算后得到(1，0，0，0)，也就是说目标字段中的第一个字符和第三个字符得以保留，第二个字符和第四个字符被“掩盖”变为0，通过掩码可以得知目标字段中被保留和被“掩盖”的字符。
归一化：将取值范围不同的数列映射到(0，1)区间上，便于数据的处理。在一些情况下，归一化后的数值可以直接被实现为概率。
随机失活(Dropout)：是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的互相依赖性从而实现神经网络的正则化，降低其结构风险。例如在模型训练过程中，存在一个向量(1，2，3，4)，将该向量输入随机失活层后，随机失活层可以随机将向量(1，2，3，4)中的一个数字转化为0，比如将2转化为0，那么向量就变成了(1，0，3，4)。
嵌入编码(Embedded Coding)：嵌入编码在数学上表示一个对应关系，即通过一个函数F将X空间上的数据映射到Y空间上，其中该函数F是单射函数，映射的结果是结构保存，单射函数表示映射后的数据与映射前的数据唯一对应，结构保存表示映射前数据的大小关系后映射后数据的大小关系相同，例如映射前存在数据X1以及X2，映射后得到X1对应的Y1以及X2对应的Y2。若映射前的数据X1＞X2，那么相应地，映射后的数据Y1大于Y2。对于词语来说，就是将词语映射到另外一个空间，便于后续的机器学习和处理。
注意力权重：可以表示训练或预测过程中某个数据的重要性，重要性表示输入的数据对输出数据影响的大小。重要性高的数据其对应的注意力权重的值较高，重要性低的数据其对应的注意力权重的值较低。在不同的场景下，数据的重要性并不相同，模型的训练注意力权重的过程也即是确定数据重要性的过程。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
图1是本申请实施例提供的一种广告素材的查询方法的实施环境示意图，参见图1，该实施环境中可以包括终端110和服务器140。
终端110通过无线网络或有线网络与服务器140相连。可选地，终端110是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端110安装和运行有支持广告素材查询的应用程序，在一些实施例中，该应用程序为向广告主提供的应用程序，广告主能够通过该应用程序来完成广告创意。
服务器140是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。该服务器140为终端110上运行的应用程序提供后台服务，在一些实施例中，该服务器140也被称为广告创意平台。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
介绍完本申请实施例的实施环境之后，下面将结合上述实施环境，对本申请实施例的应用场景进行介绍，在下述说明过程中，终端也即是上述实施环境中的终端110，服务器也即是上述实施环境中的服务器140。
本申请实施例提供的技术方案能够应用在各类广告素材互检的场景下，比如，应用在广告文本查询广告文本、广告文本查询广告图像、广告文本查询广告视频、广告图像查询广告图像、广告图像查询广告文本、广告图像查询广告视频、广告视频查询广告文本、广告视频查询广告图像以及广告视频查询广告视频的场景下。
在本申请实施例提供的技术方案应用在广告文本查询广告文本的场景下时，广告主在终端上输入查询广告文本，该查询广告文本也被称为查询广告素材。终端将该查询广告文本发送给服务器，服务器接收该查询广告文本，对该查询广告文本进行特征提取，得到该查询广告文本的广告文本特征，相应地，该广告文本特征也被称为素材特征。服务器基于该查询广告文本的广告文本特征与多个候选广告文本的索引，从多个候选广告文本中确定多个参考广告文本，该多个参考广告文本的索引与该查询广告文本的广告文本特征之间的相似度符合第一相似度条件，该多个候选广告文本也被称为多个候选广告素材，该多个参考广告文本也被称为多个参考广告素材。服务器基于该查询广告文本的广告文本特征与多个参考广告文本的广告文本特征，从多个参考广告文本中确定出至少一个与该查询广告文本匹配的目标广告文本，该目标广告文本为基于该搜索广告文本查询到的广告文本。服务器将该目标广告文本发送给终端，由终端将该目标广告文本展示给广告主。
在本申请实施例提供的技术方案应用在广告图像查询广告图像的场景下时，广告主在终端上输入查询广告图像，该查询广告图像也被称为查询广告素材。终端将该查询广告图像发送给服务器，服务器接收该查询广告图像，对该查询广告图像进行特征提取，得到该查询广告图像的广告图像特征，相应地，该广告图像特征也被称为素材特征。服务器基于该查询广告图像的广告图像特征与多个候选广告图像的索引，从多个候选广告图像中确定多个参考广告图像，该多个参考广告图像的索引与该查询广告图像的广告图像特征之间的相似度符合第一相似度条件，该多个候选广告图像也被称为多个候选广告素材，该多个参考广告图像也被称为多个参考广告素材。服务器基于该查询广告图像的广告图像特征与多个参考广告图像的广告图像特征，从多个参考广告图像中确定出至少一个与该查询广告图像匹配的目标广告图像，该目标广告图像为基于该搜索广告图像查询到的广告图像。服务器将该目标广告图像发送给终端，由终端将该目标广告图像展示给广告主。
在本申请实施例提供的技术方案应用在广告文本查询广告图像的场景下时，广告主在终端上输入查询广告文本，该查询广告文本也被称为查询广告素材。终端将该查询广告文本发送给服务器，服务器接收该查询广告文本，对该查询广告文本进行特征提取，得到该查询广告文本的广告文本特征，相应地，该广告文本特征也被称为素材特征。服务器基于该查询广告文本的广告文本特征与多个候选广告图像的索引，从多个候选广告图像中确定多个参考广告图像，该多个参考广告图像的索引与该查询广告文本的广告文本特征之间的相似度符合第一相似度条件，该多个候选广告图像也被称为多个候选广告素材，该多个参考广告图像也被称为多个参考广告素材。服务器基于该查询广告文本的广告文本特征与多个参考广告图像的广告图像特征，从多个参考广告图像中确定出至少一个与该查询广告文本匹配的目标广告图像，该目标广告图像为基于该搜索广告文本查询到的广告图像。服务器将该目标广告图像发送给终端，由终端将该目标广告图像展示给广告主。
在本申请实施例提供的技术方案应用在广告图像查询广告文本的场景下时，广告主在终端上输入查询广告图像，该查询广告图像也被称为查询广告素材。终端将该查询广告图像发送给服务器，服务器接收该查询广告图像，对该查询广告图像进行特征提取，得到该查询广告图像的广告图像特征，相应地，该广告图像特征也被称为素材特征。服务器基于该查询广告图像的广告图像特征与多个候选广告文本的索引，从多个候选广告文本中确定多个参考广告文本，该多个参考广告文本的索引与该查询广告图像的广告图像特征之间的相似度符合第一相似度条件，该多个候选广告文本也被称为多个候选广告素材，该多个参考广告文本也被称为多个参考广告素材。服务器基于该查询广告图像的广告图像特征与多个参考广告文本的广告文本特征，从多个参考广告文本中确定出至少一个与该查询广告图像匹配的目标广告文本，该目标广告文本为基于该搜索广告文本查询到的广告文本。服务器将该目标广告文本发送给终端，由终端将该目标广告文本展示给广告主。
上述是分别以广告文本查询广告文本、广告图像查询广告图像、广告文本查询广告图像以及广告图像查询广告文本为例进行说明的，其他场景下的查询与上述描述属于同一发明构思，具体过程不再赘述。
在介绍完本申请实施例的实施环境和应用场景之后，下面对本申请实施例提供的广告素材的查询方法进行介绍。参见图2，以执行主体为服务器为例，方法包括下述步骤。
201、服务器对查询广告素材进行特征提取，得到该查询广告素材的素材特征。
其中，查询广告素材包括广告文本、广告图像以及广告视频等多种类型，查询广告素材为进行广告素材查询的基础。对查询广告素材进行特征提取的过程是对查询广告进行抽象表达，得到查询广告素材的素材特征能够代表查询广告素材，后续对查询广告素材进行处理时对该查询广告素材的素材特征进行处理即可，提高处理的效率。
202、服务器基于该查询广告素材的素材特征与多个候选广告素材的索引，从该多个候选广告素材中确定多个参考广告素材，该多个参考广告素材的索引与该查询广告素材的素材特征之间的相似度符合第一相似度条件。
其中，该多个候选广告素材的类型可以与查询广告素材相同，也可以与候选广告素材不同，比如，在该查询广告素材为广告文本的情况下，该多个候选广告素材可以为广告文本，也可以为广告图像，还可以为广告视频，该多个候选广告素材的类型根据实际需求确定，该多个候选广告素材的类型决定最终所查询得到的目标广告素材的类型。候选广告素材的索引用于表示对应的候选广告素材，候选广告素材的索引用于在进行广告素材查询时快速进行筛选，该多个参考广告素材也即是经过筛选后得到的候选广告素材。在一些实施例中，相似度符合第一相似度条件是指相似度为多个候选广告素材中的前N个(Top N)，或者相似度大于或等于第一相似度阈值，N为正整数，第一相似度阈值由技术人员根据实际情况进行设置。从多个候选广告素材中确定多个参考广告素材的过程是一次筛选的过程。
203、服务器基于该查询广告素材的素材特征和该多个参考广告素材的素材特征，从该多个参考广告素材中确定至少一个与该查询广告素材匹配的目标广告素材。
其中，从多个参考广告素材中确定目标广告素材的过程是对广告素材的二次筛序，得到的目标广告素材与查询广告素材的匹配度较高。
通过本申请实施例提供的技术方案，对查询广告素材进行了特征提取，得到查询广告素材的素材特征。基于查询广告素材的素材特征与多个候选广告素材的索引进行第一次筛选，得到多个参考广告素材。基于该查询广告素材的素材特征与多个参考广告素材的素材特征进行二次筛选，得到与该查询广告素材对应的目标广告素材，从而实现广告素材之间的互相查询。
上述步骤201-203是对本申请实施例提供的技术方案的简单介绍，下面将结合一些例子，对本申请实施例提供的技术方案进行更加清楚地说明，参见图3，以执行主体为服务器为例，方法包括下述步骤。
301、服务器获取查询广告素材。
其中，查询广告素材包括广告文本、广告图像以及广告视频等多种类型，查询广告素材为进行广告素材查询的基础。
在一种可能的实施方式中，服务器获取终端发送的素材查询请求，从该素材查询请求中获取该查询广告素材，该素材查询请求用于请求基于该查询广告素材进行查询。在一些实施例中，该终端为广告主使用的终端。
在这种实施方式下，在需要进行广告素材查询的情况下，广告主通过终端向服务器发送携带查询广告素材的素材查询请求，后续服务器能够基于该素材查询请求来进行广告素材的查询。
举例来说，终端显示素材查询界面，该素材查询界面用于查询广告素材。响应于在该素材查询界面上的操作，终端向服务器发送素材查询请求，该素材查询请求携带该查询广告素材。服务器获取该素材查询请求，从该素材查询请求中获取该查询广告素材。比如，参见图4，终端显示素材查询界面400，该素材查询界面400包括素材获取区域401、素材展示区域402以及素材查询控件403，该素材获取区域401用于获取查询广告素材，该素材展示区域402用于展示查询到的广告素材，该素材查询控件403用于触发素材查询请求。响应于对该素材查询界面400上的素材查询控件403的点击操作，终端向服务器发送素材查询请求，该素材查询请求携带在该素材获取区域401中获取的查询广告素材。服务器获取该素材查询请求，从该素材查询请求中获取该查询广告素材。
在一些实施例中，该素材查询请求还携带素材查询类型，该素材查询类型用于表示基于该查询广告素材进行查询所得到的广告素材的类型。比如，在该查询广告素材为广告文本，该素材查询类型为广告图像的情况下，表示该次素材查询是基于广告文本来查询广告图像。或者，在该查询广告素材为广告图像，该素材查询类型为广告文本的情况下，表示该次素材查询是基于广告图像来查询广告文本。服务器获取该素材查询请求之后，除了从该素材查询请求中获取该查询广告素材之外，还能够获取该素材查询类型，后续服务器能够基于该查询广告素材和该素材查询类型来进行广告素材的查询。
需要说明的是，上述是以该素材查询类型表示一种类型的广告素材为例进行说明的，在其他可能的实施方式中，该素材查询类型还可以表示多种类型的广告素材，本申请实施例对此不作限定。
302、服务器对查询广告素材进行特征提取，得到该查询广告素材的素材特征。
其中，对查询广告素材进行特征提取的过程是对查询广告进行抽象表达，得到查询广告素材的素材特征能够代表查询广告素材，后续对查询广告素材进行处理时对该查询广告素材的素材特征进行处理即可，提高处理的效率。
服务器对于不同类型的查询广告素材能够采用不同的特征提取方式，下面将分别进行说明。
在一种可能的实施方式中，在该查询广告素材为广告文本的情况下，服务器对该查询广告素材进行分词，得到该查询广告素材中的多个词汇。服务器基于注意力机制对该多个词汇以及各个词汇的位置进行编码，得到各个词汇的词汇特征。服务器将该多个词汇的词汇特征进行融合，得到该查询广告素材的素材特征。
其中，各个词汇的位置是指各个词汇在该广告素材中的位置。
在这种实施方式下，在查询广告素材为广告文本的情况下，能够将该广告文本进行分词，得到该广告文本中的多个词汇。基于注意力机制对该多个词汇以及各个词汇的位置进行编码，得到各个词汇的词汇特征，由于利用注意力机制进行编码时利用了多个词汇的信息，得到的词汇特征能够反映对应词汇的语义。基于多个词汇的词汇特征得到的素材特征也就能够表示该广告文本的语义。
举例来说，在该查询广告素材为广告文本的情况下，服务器对该查询广告素材进行分词，得到该查询广告素材中的多个词汇。服务器对该多个词汇以及各个词汇的位置进行嵌入编码，得到各个词汇的第一融合特征，该第一融合特征包括对应词汇的词汇嵌入特征和位置嵌入特征。服务器将各个词汇的第一融合特征输入文本编码器，通过该文本编码器，基于各个词汇的第一融合特征确定该多个词汇中每两个词汇之间的注意力权重。服务器通过该文本编码器，基于该多个词汇中每两个词汇之间的注意力权重以及各个词汇的第一融合特征，输出各个词汇的词汇特征。服务器将该多个词汇的词汇特征进行融合，得到该查询广告素材的素材特征。
其中，文本编码器(Text Encoder)为一个语义特征提取模型，该语义特征提取模型是基于注意力机制来对广告文本进行特征提取，从而得到输入广告文本的语义特征的。在一些实施例中，该文本编码器为BERT(Bidirectional Encoder Representations fromTransformers，来自变换器的双向编码器表征量)模型的编码器，或者为其他基于BERT模型的变形模型，比如为Roberta(A Robustly Optimized BERT Pretraining Approach，一个强力优化的BERT预训练方法)模型、AlBERT(A Lite BERT，一种轻量级BERT)模型或者TinyBERT(小型BERT)模型等。当然，随着科学技术的发展也可以采用其他结构的文本编码器，本申请实施例对此不作限定。
比如，在该查询广告素材为广告文本的情况下，服务器对该查询广告素材进行分词，得到该查询广告素材中的多个词汇。服务器对该多个词汇以及各个词汇的位置进行嵌入编码，得到各个词汇的第一融合特征，该第一融合特征包括对应词汇的词汇嵌入特征和位置嵌入特征。服务器将各个词汇的第一融合特征输入文本编码器，通过该文本编码器的第一变换矩阵、第二变换矩阵以及第三变换矩阵，对各个词汇的第一融合特征进行线性变换，得到各个词汇的查询矩阵、键矩阵和值矩阵。服务器通过该文本编码器，基于各个词汇的查询矩阵和键矩阵，确定该多个词汇中每两个词汇之间的注意力权重。服务器通过该文本编码器，将该多个词汇中每两个词汇之间的注意力权重与各个词汇的值矩阵相乘，输出各个词汇的词汇特征，各个词汇的词汇特征用于表示对应词汇的语义。服务器将该多个词汇的词汇特征进行相加或拼接，得到该查询广告素材的素材特征。
在一种可能的实施方式中，在该查询广告素材为广告图像的情况下，服务器将该查询广告素材拆分为多个图像块。服务器基于注意力机制对该多个图像块以及各个图像块的位置进行编码，得到各个图像块的图像块特征。服务器将该多个图像块的图像块特征进行融合，得到该查询广告素材的素材特征。
其中，各个图像块的位置是指各个图像块在该广告素材中的位置。
举例来说，在该查询广告素材为广告图像的情况下，服务器将该查询广告素材拆分为多个图像块。对该多个图像块以及各个图像块的位置进行嵌入编码，得到各个图像块的第二融合特征，该第二融合特征包括对应图像块的图像块嵌入特征和位置嵌入特征。服务器将各个图像块的第二融合特征输入图像编码器，通过该图像编码器，基于各个图像块的第二融合特征确定该多个图像块中每两个图像块之间的注意力权重。服务器通过该图像编码器，基于该多个图像块中每两个图像块之间的注意力权重以及各个图像块的第二融合特征，输出各个图像块的图像块特征。服务器将该多个图像块的图像块特征进行融合，得到该查询广告素材的素材特征。
其中，图像编码器(Image Encoder)为一个语义特征提取模型，该语义特征提取模型是基于注意力机制来对广告图像进行特征提取，从而得到输入广告图像的语义特征的。在一些实施例中，该图像编码器为BERT模型的编码器，或者为其他基于BERT模型的变形模型，比如为VIT(Vision Transformer，视觉Transformer)模型、AlBERT模型或者TinyBERT模型等。当然，随着科学技术的发展也可以采用其他结构的图像编码器，比如VGG(VisualGeometry Group，视觉几何)或者MobileNet等，本申请实施例对此不作限定。
比如，在该查询广告素材为广告图像的情况下，服务器将该查询广告素材拆分为多个图像块，得到该查询广告素材中的多个图像块。服务器对该多个图像块以及各个图像块的位置进行嵌入编码，得到各个图像块的第一融合特征，该第一融合特征包括对应图像块的图像块嵌入特征和位置嵌入特征。服务器将各个图像块的第一融合特征输入图像编码器，通过该图像编码器的第一变换矩阵、第二变换矩阵以及第三变换矩阵，对各个图像块的第一融合特征进行线性变换，得到各个图像块的查询矩阵、键矩阵和值矩阵。服务器通过该图像编码器，基于各个图像块的查询矩阵和键矩阵，确定该多个图像块中每两个图像块之间的注意力权重。服务器通过该图像编码器，将该多个图像块中每两个图像块之间的注意力权重与各个图像块的值矩阵相乘，输出各个图像块的图像块特征，各个图像块的图像块特征用于表示对应图像块的语义。服务器将该多个图像块的图像块特征进行相加或拼接，得到该查询广告素材的素材特征。
303、服务器基于该查询广告素材的素材特征与多个候选广告素材的索引，从该多个候选广告素材中确定多个参考广告素材，该多个参考广告素材的索引与该查询广告素材的素材特征之间的相似度符合第一相似度条件。
其中，该多个候选广告素材的类型可以与查询广告素材相同，也可以与候选广告素材不同，比如，在该查询广告素材为广告文本的情况下，该多个候选广告素材可以为广告文本，也可以为广告图像，还可以为广告视频，该多个候选广告素材的类型根据实际需求确定，该多个候选广告素材的类型决定最终查询得到的目标广告素材的类型。候选广告素材的索引用于表示对应的候选广告素材，候选广告素材的索引用于在进行广告素材查询时快速进行筛选，该多个参考广告素材也即是经过筛选后得到的候选广告素材。在一些实施例中，候选广告素材的索引是基于候选广告素材的素材特征确定的。在一些实施例中，相似度符合第一相似度条件是指相似度为多个候选广告素材中的前N个(Top N)，或者相似度大于或等于第一相似度阈值，N为正整数，第一相似度阈值由技术人员根据实际情况进行设置。从多个候选广告素材中确定多个参考广告素材的过程是一次筛选的过程。
在一种可能的实施方式中，服务器将该查询广告素材的素材特征拆分为多个子特征。对于该多个候选广告素材中的任一候选广告素材，服务器确定该查询广告素材的多个子特征与该候选广告素材的索引之间的相似度。在该候选广告素材的索引与该查询广告素材的多个子特征之间的相似度符合该第一相似度条件的情况下，服务器将该候选广告素材确定为参考广告素材。
在这种实施方式下，服务器能够将广告素材的素材特征拆分为多个子特征，确定多个子特征与候选广告素材的索引之间的相似度，从而在计算相似度的过程中实现了对素材特征的降维，提高确定相似度的效率。
举例来说，候选广告素材的索引包括多个子索引，服务器将该查询广告素材的素材特征拆分为多个子特征。对于该多个候选广告素材中的任一候选广告素材，服务器确定该查询广告素材的多个子特征与该候选广告素材的多个子索引之间的多个参考相似度。服务器将该多个参考相似度进行融合，得到该查询广告素材的多个子特征与该候选广告素材的索引之间的相似度。
其中，多个子索引和多个子特征的数量是相同的，子特征与子索引之间存在对应关系，对应关系通过在素材特征和索引中的相对位置来体现，比如，素材特征中的第一个子特征与索引中的第一个子索引之间存在对应关系。
比如，候选广告素材的索引包括多个子索引，服务器将该查询广告素材的素材特征拆分为多个子特征。对于该多个候选广告素材中的任一候选广告素材，服务器确定该查询广告素材的各个子特征与该候选广告素材的多个子索引中对应子索引之间的多个参考相似度，一个参考相似度为一个子特征与一个子索引之间的相似度。服务器将该多个参考相似度相加，得到该查询广告素材的多个子特征与该候选广告素材的索引之间的相似度，也即是该查询广告素材与该候选广告素材之间的相似度。
其中，该候选广告素材的每个子索引均是通过聚类得到的，一个子索引可能对应于多个候选广告素材，比如，一个候选广告素材的索引为ABCD，包括A、B、C和D四个子索引，子索引A可以对应于除该候选广告素材之外的其他候选广告素材，通过多个候选广告素材对应于一个子索引的方式，能够降低运算量，提高运算效率。
在一些实施例中，在服务器获取到素材查询类型的情况下，服务器还能够基于该素材查询类型进行筛选，从而得到该素材查询类型下的多个候选广告素材，并对该多个候选广告素材执行上述步骤。比如，在该素材查询类型为广告图像的情况下，那么该多个候选广告素材的均为广告图像。
为了对上述实施方式进行更加清楚地说明，下面对确定该多个候选广告素材的索引的方法进行说明。
在一种可能的实施方式中，服务器对该多个候选广告素材进行特征提取，得到各个候选广告素材的素材特征。服务器将各个候选广告素材的素材特征拆分为多个子特征。服务器基于各个候选广告素材的多个子特征，确定各个候选广告素材的索引。
需要说明的是，服务器确定该多个候选广告素材的索引的方法在步骤301之前，也即是在执行步骤301时该多个候选广告素材的索引已经确定，在步骤303中直接使用即可，这个确定索引的过程可以被称为离线流程。
在这种实施方式下，服务器将候选广告素材的素材特征拆分为多个子特征，基于多个子特征来确定候选广告素材的索引，实现对了素材特征的降维，基于索引进行查询具有较快的速度。
举例来说，服务器对该多个候选广告素材进行特征提取，得到各个候选广告素材的素材特征，其中，服务器对该多个候选广告素材进行特征提取的方法与上述步骤302属于同一发明构思，实现过程参见上述步骤302的描述，在此不再赘述。服务器将各个候选广告素材的素材特征拆分为多个子特征。服务器对该多个候选广告素材的多个子特征进行聚类，得到各个候选广告素材的索引。
下面对服务器对该多个候选广告素材的多个子特征进行聚类的方法进行说明。
对于该多个候选广告素材的第一个子特征，服务器对该多个候选广告素材的第一个子特征进行聚类，得到多个第一聚类中心。服务器采用各个候选广告素材的第一子特征对应的第一聚类中心确定为各个候选广告素材的第一子索引。以此类推，得到各个候选广告素材的多个子索引，该多个子索引构成各个候选广告素材的索引。
比如，以候选广告素材的索引为faiss(Facebook AI Similarity Search，Facebook AI相似性搜索)索引，分别以候选广告素材为广告文本和广告图像为例进行说明。参见图5，以候选广告素材为广告文本(texts)为例，服务器将广告文本输入文本塔，得到该广告文本的广告文本特征，该文本塔为一种文本编码器，用于将输入的广告文本编码成768维的特征向量，该广告文本特征也即是候选广告素材的素材特征。服务器基于该广告文本的广告文本特征，生成该广告文本的索引(TEXT faiss)。以候选广告素材为广告图像(images)为例，服务器将广告图像输入图像塔，得到该广告图像的广告图像特征，该图像塔为一种图像编码器，用于将输入的广告图像编码成768维的特征向量，该广告图像特征也即是候选广告素材的素材特征。服务器基于该广告图像的广告图像特征，生成该广告图像的索引(IMAGE faiss)。
304、服务器基于该查询广告素材的素材特征和该多个参考广告素材的素材特征，从该多个参考广告素材中确定至少一个与该查询广告素材匹配的目标广告素材。
其中，从多个参考广告素材中确定目标广告素材的过程是对广告素材的二次筛序，得到的目标广告素材与查询广告素材的匹配度较高。
在一种可能的实施方式中，服务器确定该查询广告素材的素材特征与该多个参考广告素材的素材特征之间的相似度。服务器将该多个参考广告素材中相似度符合第二相似度条件的参考广告素材确定为该目标广告素材。
在这种实施方式下，服务器能够基于查询广告素材的素材特征和参考广告素材的素材特征对参考广告素材进行二次筛选，从而得到目标广告素材，目标素材与查询广告素材之间的匹配度较高。
为了对上述实施方式进行更加清楚地说明，分为两个部分对上述实施方式进行说明。
第一部分、服务器确定该查询广告素材的素材特征与该多个参考广告素材的素材特征之间的相似度。
在一种可能的实施方式中，在该查询广告素材和该多个参考广告素材均为广告文本的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入文本相似度确定模型，由该文本相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。在一些实施例中，上述实施方式被称为“以文搜文”。
举例来说，在该查询广告素材和该多个参考广告素材均为广告文本的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入文本相似度确定模型。服务器通过该文本相似度确定模型对该查询广告素材的素材特征和该多个参考广告素材的素材特征进行全连接和归一化，输出该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征和该参考广告素材的素材特征输入文本相似度确定模型。服务器通过该文本相似度确定模型，将该查询广告素材的素材特征和该参考广告素材的素材特征进行拼接，得到第一拼接特征。服务器通过该文本相似度确定模型，对该第一拼接特征进行全连接和归一化，得到该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，参见图6，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征601和该参考广告素材的素材特征602输入文本相似度确定模型603，由该文本相似度确定模型603输出该查询广告素材的素材特征601和该参考广告素材的素材特征602的相似度。该文本相似度确定模型603对应的伪代码如下：
Text_features＝Text_encoder([text1,text2])；
Cls_output＝Linear(Text_features)。
在一种可能的实施方式中，在该查询广告素材和该多个参考广告素材均为广告图像的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图像相似度确定模型，由该图像相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。在一些实施例中，上述实施方式被称为“以图搜图”。
举例来说，在该查询广告素材和该多个参考广告素材均为广告图像的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图像相似度确定模型。服务器通过该图像相似度确定模型对该查询广告素材的素材特征和该多个参考广告素材的素材特征进行全连接和归一化，输出该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征和该参考广告素材的素材特征输入图像相似度确定模型。服务器通过该图像相似度确定模型，将该查询广告素材的素材特征和该参考广告素材的素材特征进行拼接，得到第二拼接特征。服务器通过该图像相似度确定模型，对该第二拼接特征进行全连接和归一化，得到该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，参见图7，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征701和该参考广告素材的素材特征702输入图像相似度确定模型703，由该图像相似度确定模型703输出该查询广告素材的素材特征701和该参考广告素材的素材特征702的相似度。该图像相似度确定模型703对应的伪代码如下：
Image1_features＝Image_encoder(image1)；
Image2_features＝Image_encoder(image2)；
Image_features＝concate(Image1_features,Image2_features)；
Cls_output＝Linear(Image_features)。
在一种可能的实施方式中，在该查询广告素材为广告文本，该多个参考广告素材为广告图像的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型，由该图文相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。在一些实施例中，上述实施方式被称为“以文搜图”。在一些实施例中，该图文相似度确定模型也被称为R2D2模型的图文相似度塔。
举例来说，在该查询广告素材为广告文本，该多个参考广告素材为广告图像的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型。服务器通过该图文相似度确定模型，基于交叉注意力机制对该查询广告素材的素材特征和该多个参考广告素材的素材特征进行编码，得到多个第一图文特征。服务器通过该图文相似度确定模型，对该多个第一图文特征进行归一化，输出该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征和该参考广告素材的素材特征输入图文相似度确定模型。服务器通过该图文相似度确定模型，基于交叉注意力机制对该查询广告素材的素材特征和该参考广告素材的素材特征进行编码，得到第一图文特征。服务器通过该图文相似度确定模型，对该第一图文特征进行归一化，输出该查询广告素材的素材特征和该参考广告素材的素材特征之间的相似度。
在一种可能的实施方式中，在该查询广告素材为广告图像，该多个参考广告素材为广告文本的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型，由该图文相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。在一些实施例中，上述实施方式被称为“以图搜文”。
举例来说，在该查询广告素材为广告图像，该多个参考广告素材为广告文本的情况下，服务器将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型。服务器通过该图文相似度确定模型，基于交叉注意力机制对该查询广告素材的素材特征和该多个参考广告素材的素材特征进行编码，得到多个第一图文特征。服务器通过该图文相似度确定模型，对该多个第一图文特征进行归一化，输出该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
比如，对于该多个参考广告素材中的任一参考广告素材，服务器将该查询广告素材的素材特征和该参考广告素材的素材特征输入图文相似度确定模型。服务器通过该图文相似度确定模型，基于交叉注意力机制对该查询广告素材的素材特征和该参考广告素材的素材特征进行编码，得到第一图文特征。服务器通过该图文相似度确定模型，对该第一图文特征进行归一化，输出该查询广告素材的素材特征和该参考广告素材的素材特征之间的相似度。
第二部分、服务器将该多个参考广告素材中相似度符合第二相似度条件的参考广告素材确定为该目标广告素材。
其中，相似度符合第二相似度条件是指相似度为多个候选广告素材中的前K个(Top K)，或者相似度大于或等于第二相似度阈值，K为正整数，第二相似度阈值由技术人员根据实际情况进行设置。
在一种可能的实施方式中，服务器将该多个参考广告素材中相似度最高的前K个参考广告素材确定为目标广告素材。
在一些实施例中，在确定出目标广告素材之后，服务器能够将目标广告素材发送给终端，由终端来显示该目标广告素材。比如，参见图4，终端将该目标广告素材显示在素材展示区域402中。
下面将结合图8对本申请实施例提供的广告素材的查询方法进行说明，参见图8，分别以查询广告素材为广告文本和广告图像为例进行说明。在查询广告素材为广告文本的情况下，服务器将广告文本输入文本编码器，通过该文本编码器对该广告文本进行特征提取，得到该广告文本的广告文本特征，服务器基于该广告文本的广告文本特征和多个候选广告素材的索引，确定多个参考广告素材，其中，在“以文搜文”的场景下，该多个参考广告文本为索引与该广告文本相似度最高的前N个候选广告文本。服务器基于该广告文本的广告文本特征与多个参考广告文本的素材特征之间的相似度，确定至少一个目标广告素材，该目标广告素材也即是目标广告文本，为该多个参考广告文本中素材特征与该广告文本最高的前K个参考广告文本，该过程通过文本相似度确定模型来实现。
在“以文搜图”的场景下，该多个参考广告图像为索引与该广告文本相似度最高的前N个候选广告图像。服务器基于该广告文本的广告文本特征与多个参考广告图像的素材特征之间的相似度，确定至少一个目标广告素材，该目标广告素材也即是目标广告图像，为该多个参考广告图像中素材特征与该广告文本最高的前K个参考广告图像，该过程通过图文相似度确定模型来实现。
在查询广告素材为广告图像的情况下，服务器将广告图像输入图像编码器，通过该图像编码器对该广告图像进行特征提取，得到该广告图像的广告图像特征，服务器基于该广告图像的广告图像特征和多个候选广告素材的索引，确定多个参考广告素材，其中，在“以图搜图”的场景下，该多个参考广告图像为索引与该广告图像相似度最高的前N个候选广告图像。服务器基于该广告图像的广告图像特征与多个参考广告图像的素材特征之间的相似度，确定至少一个目标广告素材，该目标广告素材也即是目标广告图像，为该多个参考广告图像中素材特征与该广告图像最高的前K个参考广告图像，该过程通过图像相似度确定模型来实现。
在“以图搜文”的场景下，该多个参考广告文本为索引与该广告图像相似度最高的前N个候选广告文本。服务器基于该广告图像的广告图像特征与多个参考广告文本的素材特征之间的相似度，确定至少一个目标广告素材，该目标广告素材也即是目标广告文本，为该多个参考广告文本中素材特征与该广告图像最高的前K个参考广告文本，该过程通过图文相似度确定模型来实现。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
通过本申请实施例提供的技术方案，对查询广告素材进行了特征提取，得到查询广告素材的素材特征。基于查询广告素材的素材特征与多个候选广告素材的索引进行第一次筛选，得到多个参考广告素材。基于该查询广告素材的素材特征与多个参考广告素材的素材特征进行二次筛选，得到与该查询广告素材对应的目标广告素材，从而实现广告素材之间的互相查询。
图9是本申请实施例提供的一种广告素材的查询装置的结构示意图，参见图9，装置包括：特征提取模块901、参考广告素材确定模块902以及目标广告素材确定模块903。
特征提取模块901，用于对查询广告素材进行特征提取，得到该查询广告素材的素材特征。
参考广告素材确定模块902，用于基于该查询广告素材的素材特征与多个候选广告素材的索引，从该多个候选广告素材中确定多个参考广告素材，该多个参考广告素材的索引与该查询广告素材的素材特征之间的相似度符合第一相似度条件。
目标广告素材确定模块903，用于基于该查询广告素材的素材特征和该多个参考广告素材的素材特征，从该多个参考广告素材中确定至少一个与该查询广告素材匹配的目标广告素材。
在一种可能的实施方式中，该特征提取模块901，用于执行下述任一项：
在该查询广告素材为广告文本的情况下，对该查询广告素材进行分词，得到该查询广告素材中的多个词汇。基于注意力机制对该多个词汇以及各个该词汇的位置进行编码，得到各个该词汇的词汇特征。将该多个词汇的词汇特征进行融合，得到该查询广告素材的素材特征。
在该查询广告素材为广告图像的情况下，将该查询广告素材拆分为多个图像块。基于注意力机制对该多个图像块以及各个该图像块的位置进行编码，得到各个该图像块的图像块特征。将该多个图像块的图像块特征进行融合，得到该查询广告素材的素材特征。
在一种可能的实施方式中，该特征提取模块901，用于对该多个词汇以及各个该词汇的位置进行嵌入编码，得到各个该词汇的第一融合特征，该第一融合特征包括对应词汇的词汇嵌入特征和位置嵌入特征。将各个该词汇的第一融合特征输入文本编码器，通过该文本编码器，基于各个该词汇的第一融合特征确定该多个词汇中每两个词汇之间的注意力权重。通过该文本编码器，基于该多个词汇中每两个词汇之间的注意力权重以及各个该词汇的第一融合特征，输出各个该词汇的词汇特征。
在一种可能的实施方式中，该特征提取模块901，用于对该多个图像块以及各个该图像块的位置进行嵌入编码，得到各个该图像块的第二融合特征，该第二融合特征包括对应图像块的图像块嵌入特征和位置嵌入特征。将各个该图像块的第二融合特征输入图像编码器，通过该图像编码器，基于各个该图像块的第二融合特征确定该多个图像块中每两个图像块之间的注意力权重。通过该图像编码器，基于该多个图像块中每两个图像块之间的注意力权重以及各个该图像块的第二融合特征，输出各个该图像块的图像块特征。
在一种可能的实施方式中，该参考广告素材确定模块902，用于将该查询广告素材的素材特征拆分为多个子特征。对于该多个候选广告素材中的任一候选广告素材，确定该查询广告素材的多个子特征与该候选广告素材的索引之间的相似度。在该候选广告素材的索引与该查询广告素材的多个子特征之间的相似度符合该第一相似度条件的情况下，将该候选广告素材确定为参考广告素材。
在一种可能的实施方式中，该参考广告素材确定模块902，用于确定该查询广告素材的多个子特征与该候选广告素材的多个子索引之间的多个参考相似度。将该多个参考相似度进行融合，得到该查询广告素材的多个子特征与该候选广告素材的索引之间的相似度。
在一种可能的实施方式中，该目标广告素材确定模块903，用于确定该查询广告素材的素材特征与该多个参考广告素材的素材特征之间的相似度。将该多个参考广告素材中相似度符合第二相似度条件的参考广告素材确定为该目标广告素材。
在一种可能的实施方式中，该目标广告素材确定模块903，用于执行下述任一项：
在该查询广告素材和该多个参考广告素材均为广告文本的情况下，将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入文本相似度确定模型，由该文本相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
在该查询广告素材和该多个参考广告素材均为广告图像的情况下，将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图像相似度确定模型，由该图像相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
在该查询广告素材为广告文本，该多个参考广告素材为广告图像的情况下，将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型，由该图文相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
在该查询广告素材为广告图像，该多个参考广告素材为广告文本的情况下，将该查询广告素材的素材特征和该多个参考广告素材的素材特征输入图文相似度确定模型，由该图文相似度确定模型确定该查询广告素材的素材特征和该多个参考广告素材的素材特征之间的相似度。
在一种可能的实施方式中，该装置还包括：
索引确定模块，用于对该多个候选广告素材进行特征提取，得到各个该候选广告素材的素材特征。将各个该候选广告素材的素材特征拆分为多个子特征。基于各个该候选广告素材的多个子特征，确定各个该候选广告素材的索引。
在一种可能的实施方式中，该索引确定模块，用于对该多个候选广告素材的多个子特征进行聚类，得到各个该候选广告素材的索引。
需要说明的是：上述实施例提供的广告素材的查询装置在查询广告素材时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的广告素材的查询装置与广告素材的查询方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
通过本申请实施例提供的技术方案，对查询广告素材进行了特征提取，得到查询广告素材的素材特征。基于查询广告素材的素材特征与多个候选广告素材的索引进行第一次筛选，得到多个参考广告素材。基于该查询广告素材的素材特征与多个参考广告素材的素材特征进行二次筛选，得到与该查询广告素材对应的目标广告素材，从而实现广告素材之间的互相查询。
本申请实施例提供了一种计算机设备，用于执行上述方法，该计算机设备可以实现为终端或者服务器，下面先对终端的结构进行介绍：
上述计算机设备可以实现为服务器，下面对服务器的结构进行介绍：
图10是本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1001和一个或多个的存储器1002，其中，所述一个或多个存储器1002中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器1000还可以具有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1000还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由处理器执行以完成上述实施例中的广告素材的查询方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序代码，该程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，使得该计算机设备执行上述广告素材的查询方法。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种广告素材的查询方法，其特征在于，所述方法包括：
对查询广告素材进行特征提取，得到所述查询广告素材的素材特征；
基于所述查询广告素材的素材特征与多个候选广告素材的索引，从所述多个候选广告素材中确定多个参考广告素材，所述多个参考广告素材的索引与所述查询广告素材的素材特征之间的相似度符合第一相似度条件；
基于所述查询广告素材的素材特征和所述多个参考广告素材的素材特征，从所述多个参考广告素材中确定至少一个与所述查询广告素材匹配的目标广告素材。
2.根据权利要求1所述的方法，其特征在于，所述对查询广告素材进行特征提取，得到所述查询广告素材的素材特征包括下述任一项：
在所述查询广告素材为广告文本的情况下，对所述查询广告素材进行分词，得到所述查询广告素材中的多个词汇；基于注意力机制对所述多个词汇以及各个所述词汇的位置进行编码，得到各个所述词汇的词汇特征；将所述多个词汇的词汇特征进行融合，得到所述查询广告素材的素材特征；
在所述查询广告素材为广告图像的情况下，将所述查询广告素材拆分为多个图像块；基于注意力机制对所述多个图像块以及各个所述图像块的位置进行编码，得到各个所述图像块的图像块特征；将所述多个图像块的图像块特征进行融合，得到所述查询广告素材的素材特征。
3.根据权利要求2所述的方法，其特征在于，所述基于注意力机制对所述多个词汇以及各个所述词汇的位置进行编码，得到各个所述词汇的词汇特征包括：
对所述多个词汇以及各个所述词汇的位置进行嵌入编码，得到各个所述词汇的第一融合特征，所述第一融合特征包括对应词汇的词汇嵌入特征和位置嵌入特征；
将各个所述词汇的第一融合特征输入文本编码器，通过所述文本编码器，基于各个所述词汇的第一融合特征确定所述多个词汇中每两个词汇之间的注意力权重；
通过所述文本编码器，基于所述多个词汇中每两个词汇之间的注意力权重以及各个所述词汇的第一融合特征，输出各个所述词汇的词汇特征。
4.根据权利要求2所述的方法，其特征在于，所述基于注意力机制对所述多个图像块以及各个所述图像块的位置进行编码，得到各个所述图像块的图像块特征包括：
对所述多个图像块以及各个所述图像块的位置进行嵌入编码，得到各个所述图像块的第二融合特征，所述第二融合特征包括对应图像块的图像块嵌入特征和位置嵌入特征；
将各个所述图像块的第二融合特征输入图像编码器，通过所述图像编码器，基于各个所述图像块的第二融合特征确定所述多个图像块中每两个图像块之间的注意力权重；
通过所述图像编码器，基于所述多个图像块中每两个图像块之间的注意力权重以及各个所述图像块的第二融合特征，输出各个所述图像块的图像块特征。
5.根据权利要求1所述的方法，其特征在于，所述基于所述查询广告素材的素材特征与多个候选广告素材的索引，从所述多个候选广告素材中确定多个参考广告素材包括：
将所述查询广告素材的素材特征拆分为多个子特征；
对于所述多个候选广告素材中的任一候选广告素材，确定所述查询广告素材的多个子特征与所述候选广告素材的索引之间的相似度；
在所述候选广告素材的索引与所述查询广告素材的多个子特征之间的相似度符合所述第一相似度条件的情况下，将所述候选广告素材确定为参考广告素材。
6.根据权利要求5所述的方法，其特征在于，所述候选广告素材的索引包括多个子索引，所述确定所述查询广告素材的多个子特征与所述候选广告素材的索引之间的相似度包括：
确定所述查询广告素材的多个子特征与所述候选广告素材的多个子索引之间的多个参考相似度；
将所述多个参考相似度进行融合，得到所述查询广告素材的多个子特征与所述候选广告素材的索引之间的相似度。
7.根据权利要求1所述的方法，其特征在于，所述基于所述查询广告素材的素材特征和所述多个参考广告素材的素材特征，从所述多个参考广告素材中确定至少一个与所述查询广告素材匹配的目标广告素材包括：
确定所述查询广告素材的素材特征与所述多个参考广告素材的素材特征之间的相似度；
将所述多个参考广告素材中相似度符合第二相似度条件的参考广告素材确定为所述目标广告素材。
8.一种广告素材的查询装置，其特征在于，所述装置包括：
特征提取模块，用于对查询广告素材进行特征提取，得到所述查询广告素材的素材特征；
参考广告素材确定模块，用于基于所述查询广告素材的素材特征与多个候选广告素材的索引，从所述多个候选广告素材中确定多个参考广告素材，所述多个参考广告素材的索引与所述查询广告素材的素材特征之间的相似度符合第一相似度条件；
目标广告素材确定模块，用于基于所述查询广告素材的素材特征和所述多个参考广告素材的素材特征，从所述多个参考广告素材中确定至少一个与所述查询广告素材匹配的目标广告素材。
9.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求7任一项所述的广告素材的查询方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的广告素材的查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211347719.3A CN117951325A (zh) | 2022-10-31 | 2022-10-31 | 广告素材的查询方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211347719.3A CN117951325A (zh) | 2022-10-31 | 2022-10-31 | 广告素材的查询方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117951325A true CN117951325A (zh) | 2024-04-30 |
Family
ID=90800181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211347719.3A Pending CN117951325A (zh) | 2022-10-31 | 2022-10-31 | 广告素材的查询方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117951325A (zh) |
-
2022
- 2022-10-31 CN CN202211347719.3A patent/CN117951325A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695674B (zh) | 联邦学习方法、装置、计算机设备及可读存储介质 | |
| CN112069319B (zh) | 文本抽取方法、装置、计算机设备和可读存储介质 | |
| CN113627447B (zh) | 标签识别方法、装置、计算机设备、存储介质及程序产品 | |
| CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN113723166A (zh) | 内容识别方法、装置、计算机设备和存储介质 | |
| CN113515942A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
| CN112085120B (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
| CN114495916B (zh) | 背景音乐的插入时间点确定方法、装置、设备和存储介质 | |
| CN115018549A (zh) | 广告文案生成方法及其装置、设备、介质、产品 | |
| CN115131698A (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN117216535A (zh) | 推荐文本生成模型的训练方法、装置、设备及介质 | |
| CN117056474A (zh) | 会话应答方法和装置、电子设备、存储介质 | |
| CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
| CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 | |
| CN116955707A (zh) | 内容标签的确定方法、装置、设备、介质及程序产品 | |
| CN115292603A (zh) | 商品搜索方法及其装置、设备、介质 | |
| CN117009577A (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
| CN117951325A (zh) | 广告素材的查询方法、装置、设备以及存储介质 | |
| CN116541556A (zh) | 标签确定方法、装置、设备以及存储介质 | |
| CN117952095A (zh) | 广告素材召回模型的训练方法、装置、设备以及存储介质 | |
| CN111444331A (zh) | 基于内容的分布式特征提取方法、装置、设备及介质 | |
| CN112417260A (zh) | 本地化推荐方法、装置及存储介质 | |
| CN114385903B (zh) | 应用账号的识别方法、装置、电子设备及可读存储介质 | |
| CN117649117B (zh) | 处置方案的确定方法、装置以及计算机设备 | |
| CN117216534A (zh) | 一种模型训练方法、装置、设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |