CN114677185A - 智慧大屏广告智能推荐系统及其推荐方法 - Google Patents

智慧大屏广告智能推荐系统及其推荐方法 Download PDF

Info

Publication number
CN114677185A
CN114677185A CN202210578278.1A CN202210578278A CN114677185A CN 114677185 A CN114677185 A CN 114677185A CN 202210578278 A CN202210578278 A CN 202210578278A CN 114677185 A CN114677185 A CN 114677185A
Authority
CN
China
Prior art keywords
vector
feature
feature vector
intelligent
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210578278.1A
Other languages
English (en)
Other versions
CN114677185B (zh
Inventor
车柯
卢姿萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hurui Technology Co ltd
Original Assignee
Shenzhen Hurui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hurui Technology Co ltd filed Critical Shenzhen Hurui Technology Co ltd
Priority to CN202210578278.1A priority Critical patent/CN114677185B/zh
Publication of CN114677185A publication Critical patent/CN114677185A/zh
Application granted granted Critical
Publication of CN114677185B publication Critical patent/CN114677185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements

Abstract

本申请公开了一种智慧大屏广告智能推荐系统及其推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

Description

智慧大屏广告智能推荐系统及其推荐方法
技术领域
本发明涉及智慧大屏广告的领域，且更为具体地，涉及一种智慧大屏广告智能推荐系统及其推荐方法。
背景技术
相较于传统的屏幕，智慧大屏具有更多的功能， 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流，应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域，智能交互体验系统将人与数码化的内容高度融合，为人们提供高品质的数字生活体验。
并且，智慧屏不仅能够与各种智能设备进行交互，还能够直接与用户直接进行交互。因此，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此，需要一种智慧大屏广告智能推荐系统。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展，为智慧大屏的广告智能推荐提供了解决思路和方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智慧大屏广告智能推荐系统及其推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
根据本申请的一个方面，提供了一种智慧大屏广告智能推荐系统，其包括：
源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；
图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；
文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；
第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；
时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；
第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；
分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。
在上述智慧大屏广告智能推荐系统中，所述图编码器单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
在上述智慧大屏广告智能推荐系统中，所述文本编码单元，进一步用于：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及，将所述多个文本特征向量进行级联以获得第二特征向量。
在上述智慧大屏广告智能推荐系统中，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
在上述智慧大屏广告智能推荐系统中，所述时序编码器单元，进一步用于：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure 67867DEST_PATH_IMAGE001
，其中
Figure 318720DEST_PATH_IMAGE002
是输入向量，
Figure 35003DEST_PATH_IMAGE003
是输出向量，
Figure 371306DEST_PATH_IMAGE004
是权重矩阵，
Figure 690292DEST_PATH_IMAGE005
是偏置向量，
Figure 458569DEST_PATH_IMAGE006
表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
Figure 204809DEST_PATH_IMAGE007
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在上述智慧大屏广告智能推荐系统中，所述第二融合单元，包括：矩阵分解子单元，用于：对所述矩阵
Figure 762829DEST_PATH_IMAGE008
以如下公式进行特征值分解；其中，所述公式为：
Figure 760872DEST_PATH_IMAGE009
，其中
Figure 720738DEST_PATH_IMAGE010
为所述本征值，且
Figure 637878DEST_PATH_IMAGE011
为对应于
Figure 948774DEST_PATH_IMAGE012
的本征向量；类概率联合融合子单元，用于：基于第三特征向量
Figure 484928DEST_PATH_IMAGE013
和第一特征矩阵
Figure 299301DEST_PATH_IMAGE014
以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：
Figure 652922DEST_PATH_IMAGE015
其中
Figure 185534DEST_PATH_IMAGE016
表示矩阵
Figure 259800DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 459838DEST_PATH_IMAGE006
和
Figure 984360DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
在上述智慧大屏广告智能推荐系统中，所述推荐结果生成单元，进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
根据本申请的另一方面，一种智慧大屏广告智能推荐系统的推荐方法，其包括：
获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；
将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；
将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；
使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；
将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；
计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；
将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及基于所述多个概率值，生成广告推荐结果。
在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量，包括：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，包括：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及，将所述多个文本特征向量进行级联以获得第二特征向量。
在上述智慧大屏广告智能推荐系统的推荐方法中，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量，包括：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure 378170DEST_PATH_IMAGE001
，其中
Figure 646340DEST_PATH_IMAGE002
是输入向量，
Figure 435305DEST_PATH_IMAGE003
是输出向量，
Figure 740515DEST_PATH_IMAGE004
是权重矩阵，
Figure 247720DEST_PATH_IMAGE005
是偏置向量，
Figure 54002DEST_PATH_IMAGE006
表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
Figure 697473DEST_PATH_IMAGE007
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在上述智慧大屏广告智能推荐系统的推荐方法中，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，包括：对所述矩阵
Figure 439164DEST_PATH_IMAGE008
以如下公式进行特征值分解；其中，所述公式为：
Figure 168085DEST_PATH_IMAGE009
，其中
Figure 778058DEST_PATH_IMAGE010
为所述本征值，且
Figure 541615DEST_PATH_IMAGE011
为对应于
Figure 188628DEST_PATH_IMAGE012
的本征向量；基于第三特征向量
Figure 670425DEST_PATH_IMAGE018
和第一特征矩阵
Figure 818510DEST_PATH_IMAGE014
以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：
Figure 436573DEST_PATH_IMAGE019
其中
Figure 18602DEST_PATH_IMAGE016
表示矩阵
Figure 722115DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 673891DEST_PATH_IMAGE006
和
Figure 21827DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
在上述智慧大屏广告智能推荐系统的推荐方法中，所述基于所述多个概率值，生成广告推荐结果，包括：将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
与现有技术相比，本申请提供的智慧大屏广告智能推荐系统、智慧大屏广告智能推荐系统的推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。
图2为根据本申请实施例的智慧大屏广告智能推荐系统的框图。
图3为根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。
图4为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的流程图。
图5为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，相较于传统的屏幕，智慧大屏具有更多的功能， 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流，应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域，智能交互体验系统将人与数码化的内容高度融合，为人们提供高品质的数字生活体验。
并且，智慧屏不仅能够与各种智能设备进行交互，还能够直接与用户直接进行交互。因此，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此，需要一种智慧大屏广告智能推荐系统。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展，为智慧大屏的广告智能推荐提供了解决思路和方案。
相应地，在本申请的技术方案中，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。
基于此，本申请的申请人使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。
具体地，首先，通过云端获取智慧大屏的注册用户与智慧大屏的第一交互数据以及注册用户与其他智能终端的第二交互数据。然后，为了更好地提取出第二交互数据中数据间的高维隐含关联性特征，进一步将第二交互数据分成图片数据和文本数据来分别进行处理。
也就是，先将第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取，以挖掘出第二交互数据中的图片数据的局部特征在高维空间中的特征分布，从而获得第一特征向量。再将第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将多个文本特征向量进行级联以获得第二特征向量。进一步计算第一特征向量的转置与第二特征向量之间的向量乘积，以使用Clip模型来融合第一特征向量和第二特征向量，进而生成第一特征矩阵。
并且，将第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。
应可以理解，考虑到对于由CLIP模型得到的第一特征矩阵和由时序编码器得到的第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。
并且，还考虑到第一特征矩阵为作为文本数据的上下文编码表达的第二特征向量与作为图像语义特征的第一特征向量的关联特征矩阵，其作为上下文编码表达的第二特征向量与通过时序编码器的时序关联编码得到的第三特征向量在维度上较为类似，因此基于第三特征向量
Figure 400855DEST_PATH_IMAGE020
和第一特征矩阵
Figure 591665DEST_PATH_IMAGE014
计算基于类概率联合相关的融合向量作为分类特征向量，表示为：
Figure 81553DEST_PATH_IMAGE021
其中
Figure 549574DEST_PATH_IMAGE016
表示矩阵
Figure 833925DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 246452DEST_PATH_IMAGE006
和
Figure 540030DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
并且，对向量的与实数相关的函数运算
Figure 128137DEST_PATH_IMAGE022
为对向量的每个位置进行该函数运算再排列为向量形式，可以表示为：
Figure 848968DEST_PATH_IMAGE023
其中R表示实数域，且
Figure 748791DEST_PATH_IMAGE024
表示向量
Figure 580481DEST_PATH_IMAGE025
对应的集合。
进一步地，就可以将分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
这样，通过计算第三特征向量
Figure 882149DEST_PATH_IMAGE026
和第一特征矩阵
Figure 147783DEST_PATH_IMAGE014
的基于类概率联合相关的融合向量，可以实现第三特征向量
Figure 534902DEST_PATH_IMAGE027
与第一特征矩阵
Figure 170283DEST_PATH_IMAGE014
的联合相关到第一特征矩阵
Figure 326458DEST_PATH_IMAGE014
在高维特征空间内的主维度的联立投影，提升了第三特征向量
Figure 389092DEST_PATH_IMAGE028
和第一特征矩阵
Figure 138873DEST_PATH_IMAGE014
的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量
Figure 312366DEST_PATH_IMAGE028
和第一特征矩阵
Figure 588626DEST_PATH_IMAGE014
进行维度对齐来提高融合后的分类向量的分类能力。
基于此，本申请提出了一种智慧大屏广告智能推荐系统，其包括：源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。
图1图示了根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。如图1所示，在该应用场景中，首先，获取智慧大屏的注册用户（例如，如图1中所示意的P）与所述智慧大屏（例如，如图1中所示意的H）的第一交互数据以及所述注册用户与其他智能终端（例如，如图1中所示意的T）的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。然后，将所述第一交互数据和所述第二交互数据输入至部署有智慧大屏广告智能推荐算法的服务器中（例如，如图1中所示意的云服务器S），其中，所述服务器能够以智慧大屏广告智能推荐算法对所述第一交互数据和所述第二交互数据进行处理，以生成分类特征向量归属于所述分类器的多个标签的多个概率值。进而，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的智慧大屏广告智能推荐系统的框图。如图2所示，根据本申请实施例的智慧大屏广告智能推荐系统 200，包括：源数据获取单元 210，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；图编码器单元 220，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；文本编码单元 230，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；第一融合单元 240，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；时序编码器单元 250，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；第二融合单元 260，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；分类单元 270，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，推荐结果生成单元 280，用于基于所述多个概率值，生成广告推荐结果。
具体地，在本申请实施例中，所述源数据获取单元 210和所述图编码器单元 220，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据，并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。因此，在本申请的技术方案中，使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。
也就是，在本申请的技术方案中，首先，通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解，由于图像数据与文本数据具有不同的维度特征，为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征，进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。
具体地，首先将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取，以挖掘出所述第二交互数据中的图片数据的局部特征在高维空间中的特征分布，从而获得第一特征向量。相应地，在一个具体示例中，使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
具体地，在本申请实施例中，所述文本编码单元 230和所述第一融合单元 240，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是，在本申请的技术方案中，在对所述第二交互数据中的图像数据进行特征挖掘后，进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出所述第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将所述多个文本特征向量进行级联，以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后，进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积，以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息，进而生成第一特征矩阵。
更具体地，在本申请实施例中，所述文本编码单元，进一步用于：首先，对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列。接着，使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列。然后，使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量。应可以理解，使用基于转化器的上下文编码器对所述词向量进行编码，可以使得获得的文本特征向量具有全局性的文本特征关联信息。值得一提的是，在别的示例中还可以采用其他的模型来进行处理，例如双向LSTM模型。最后，将所述多个文本特征向量进行级联以获得第二特征向量。
具体地，在本申请实施例中，所述时序编码器单元 250，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解，在对所述第二交互数据进行高维隐含关联特征挖掘后，进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出所述第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。
更具体地，在本申请实施例中，所述时序编码器单元，进一步用于：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure 822161DEST_PATH_IMAGE001
，其中
Figure 59239DEST_PATH_IMAGE002
是输入向量，
Figure 770843DEST_PATH_IMAGE003
是输出向量，
Figure 167189DEST_PATH_IMAGE004
是权重矩阵，
Figure 837205DEST_PATH_IMAGE005
是偏置向量，
Figure 295999DEST_PATH_IMAGE006
表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
Figure 811294DEST_PATH_IMAGE007
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
具体地，在本申请实施例中，所述第二融合单元 260，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解，考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。
并且，还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵，其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此，在本申请的技术方案中，基于所述第三特征向量
Figure 327726DEST_PATH_IMAGE030
和所述第一特征矩阵
Figure 903064DEST_PATH_IMAGE014
计算基于类概率联合相关的融合向量作为分类特征向量，表示为：
Figure 708209DEST_PATH_IMAGE031
其中
Figure 666675DEST_PATH_IMAGE016
表示矩阵
Figure 772035DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 518274DEST_PATH_IMAGE006
和
Figure 217239DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
并且，对向量的与实数相关的函数运算
Figure 74337DEST_PATH_IMAGE022
为对向量的每个位置进行该函数运算再排列为向量形式，可以表示为：
Figure 299782DEST_PATH_IMAGE023
其中R表示实数域，且
Figure 216922DEST_PATH_IMAGE024
表示向量
Figure 137605DEST_PATH_IMAGE025
对应的集合。
应可以理解，这样，通过计算所述第三特征向量
Figure 798393DEST_PATH_IMAGE032
和所述第一特征矩阵
Figure 878345DEST_PATH_IMAGE014
的基于类概率联合相关的融合向量，可以实现所述第三特征向量
Figure 700807DEST_PATH_IMAGE033
与所述第一特征矩阵
Figure 233420DEST_PATH_IMAGE014
的联合相关到所述第一特征矩阵
Figure 573266DEST_PATH_IMAGE014
在高维特征空间内的主维度的联立投影，提升了所述第三特征向量
Figure 507724DEST_PATH_IMAGE027
和所述第一特征矩阵
Figure 766667DEST_PATH_IMAGE014
的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对所述第三特征向量
Figure 786575DEST_PATH_IMAGE028
和所述第一特征矩阵
Figure 428647DEST_PATH_IMAGE014
进行维度对齐来提高融合后的分类特征向量的分类能力。
更具体地，在本申请实施例中，所述第二融合单元，包括：首先，对所述矩阵
Figure 217611DEST_PATH_IMAGE008
以如下公式进行特征值分解；其中，所述公式为：
Figure 647456DEST_PATH_IMAGE009
，其中
Figure 154660DEST_PATH_IMAGE010
为所述本征值，且
Figure 695363DEST_PATH_IMAGE011
为对应于
Figure 214200DEST_PATH_IMAGE012
的本征向量。然后，基于第三特征向量
Figure 346104DEST_PATH_IMAGE034
和第一特征矩阵
Figure 75026DEST_PATH_IMAGE014
以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：
Figure 419420DEST_PATH_IMAGE031
其中
Figure 792763DEST_PATH_IMAGE016
表示矩阵
Figure 829989DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 46207DEST_PATH_IMAGE006
和
Figure 928712DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
图3图示了根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。如图3所示，所述第二融合单元 260，包括：矩阵分解子单元 261，用于：对所述矩阵
Figure 546776DEST_PATH_IMAGE008
以如下公式进行特征值分解；其中，所述公式为：
Figure 630269DEST_PATH_IMAGE009
，其中
Figure 333783DEST_PATH_IMAGE010
为所述本征值，且
Figure 285558DEST_PATH_IMAGE011
为对应于
Figure 758128DEST_PATH_IMAGE012
的本征向量；类概率联合融合子单元 262，用于：基于第三特征向量
Figure 871578DEST_PATH_IMAGE033
和第一特征矩阵
Figure 701868DEST_PATH_IMAGE014
以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：
Figure 191755DEST_PATH_IMAGE035
其中
Figure 518831DEST_PATH_IMAGE016
表示矩阵
Figure 803182DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 356654DEST_PATH_IMAGE006
和
Figure 650233DEST_PATH_IMAGE017
分别表示向量乘法和向量点乘。
具体地，在本申请实施例中，所述分类单元 270和所述推荐结果生成单元 280，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值，并基于所述多个概率值，生成广告推荐结果。也就是，在本申请的技术方案中，进一步地，就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
综上，基于本申请实施例的所述智慧大屏广告智能推荐系统 200被阐明，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
如上所述，根据本申请实施例的智慧大屏广告智能推荐系统 200可以实现在各种终端设备中，例如智慧大屏广告智能推荐算法的服务器等。在一个示例中，根据本申请实施例的智慧大屏广告智能推荐系统 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智慧大屏广告智能推荐系统 200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智慧大屏广告智能推荐系统 200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该智慧大屏广告智能推荐系统 200与该终端设备也可以是分立的设备，并且该智慧大屏广告智能推荐系统 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了智慧大屏广告智能推荐系统的推荐方法的流程图。如图4所示，根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法，包括步骤：S110，获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；S120，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；S130，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；S140，使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；S150，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；S160，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；S170，将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，S180，基于所述多个概率值，生成广告推荐结果。
图5图示了根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。如图5所示，在所述智慧大屏广告智能推荐系统的推荐方法的网络架构中，首先，将获得的所述第二交互数据（例如，如图5中所示意的P）中的图片数据（例如，如图5中所示意的P1）通过Clip模型的第一卷积神经网络（例如，如图5中所示意的CNN）以获得第一特征向量（例如，如图5中所示意的VF1）；接着，将所述第二交互数据中的文本数据（例如，如图5中所示意的P2）通过所述Clip模型的包含嵌入层的上下文编码器模型（例如，如图5中所示意的E1）以获得多个文本特征向量（例如，如图5中所示意的VF），将所述多个文本特征向量进行级联以获得第二特征向量（例如，如图5中所示意的VF2）；然后，使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵（例如，如图5中所示意的MF1）；接着，将获得的所述第一交互数据（例如，如图5中所示意的Q）按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器（例如，如图5中所示意的E2）以生成第三特征向量（例如，如图5中所示意的VF3）；然后，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量（例如，如图5中所示意的V）；接着，将所述分类特征向量通过具有多标签的分类器（例如，如图5中所示意的圈S）以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，最后，基于所述多个概率值，生成广告推荐结果。
更具体地，在步骤S110和S120中，获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据，并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。因此，在本申请的技术方案中，使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。
也就是，在本申请的技术方案中，首先，通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解，由于图像数据与文本数据具有不同的维度特征，为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征，进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。
更具体地，在步骤S130和步骤S140中，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是，在本申请的技术方案中，在对所述第二交互数据中的图像数据进行特征挖掘后，进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出所述第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将所述多个文本特征向量进行级联，以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后，进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积，以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息，进而生成第一特征矩阵。
更具体地，在步骤S150中，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解，在对所述第二交互数据进行高维隐含关联特征挖掘后，进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出所述第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。
更具体地，在步骤S160中，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解，考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。并且，还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵，其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此，在本申请的技术方案中，基于所述第三特征向量
Figure 97394DEST_PATH_IMAGE036
和所述第一特征矩阵
Figure 818226DEST_PATH_IMAGE014
计算基于类概率联合相关的融合向量作为分类特征向量。这样，通过计算所述第三特征向量
Figure 593415DEST_PATH_IMAGE036
和所述第一特征矩阵
Figure 425105DEST_PATH_IMAGE014
的基于类概率联合相关的融合向量，可以实现所述第三特征向量
Figure 726773DEST_PATH_IMAGE037
与所述第一特征矩阵
Figure 618506DEST_PATH_IMAGE014
的联合相关到所述第一特征矩阵
Figure 5625DEST_PATH_IMAGE014
在高维特征空间内的主维度的联立投影，提升了所述第三特征向量
Figure 516371DEST_PATH_IMAGE038
和所述第一特征矩阵
Figure 938126DEST_PATH_IMAGE014
的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对所述第三特征向量
Figure 759DEST_PATH_IMAGE036
和所述第一特征矩阵
Figure 875175DEST_PATH_IMAGE014
进行维度对齐来提高融合后的分类特征向量的分类能力。
更具体地，在步骤S170和步骤S180中，将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值，并基于所述多个概率值，生成广告推荐结果。也就是，在本申请的技术方案中，进一步地，就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
综上，基于本申请实施例的所述智慧大屏广告智能推荐系统的推荐方法被阐明，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种智慧大屏广告智能推荐系统，其特征在于，包括：
源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；
图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；
文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；
第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；
时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；
第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；
分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。
2.根据权利要求1所述的智慧大屏广告智能推荐系统，其特征在于，所述图编码器单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
3.根据权利要求2所述的智慧大屏广告智能推荐系统，其特征在于，所述文本编码单元，进一步用于：
对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；
使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；
使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及将所述多个文本特征向量进行级联以获得第二特征向量。
4.根据权利要求3所述的智慧大屏广告智能推荐系统，其特征在于，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
5.根据权利要求4所述的智慧大屏广告智能推荐系统，其特征在于，所述时序编码器单元，进一步用于：
将所述第一交互数据按照时间维度排列为一维的输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure 702773DEST_PATH_IMAGE001
，其中
Figure 490600DEST_PATH_IMAGE002
是输入向量，
Figure 923856DEST_PATH_IMAGE003
是输出向量，
Figure 138936DEST_PATH_IMAGE004
是权重矩阵，
Figure 165798DEST_PATH_IMAGE005
是偏置向量，
Figure 367104DEST_PATH_IMAGE006
表示矩阵乘；
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
Figure 795811DEST_PATH_IMAGE007
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
6.根据权利要求5所述的智慧大屏广告智能推荐系统，其特征在于，所述第二融合单元，包括：
矩阵分解子单元，用于：对所述矩阵
Figure 181793DEST_PATH_IMAGE008
以如下公式进行特征值分解；其中，所述公式为：
Figure 86164DEST_PATH_IMAGE009
，其中
Figure 215794DEST_PATH_IMAGE010
为所述本征值，且
Figure 499008DEST_PATH_IMAGE011
为对应于
Figure 321470DEST_PATH_IMAGE012
的本征向量；
类概率联合融合子单元，用于：基于第三特征向量
Figure 696826DEST_PATH_IMAGE014
和第一特征矩阵
Figure 364567DEST_PATH_IMAGE015
以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：
Figure 767867DEST_PATH_IMAGE016
其中
Figure 26810DEST_PATH_IMAGE017
表示矩阵
Figure 249981DEST_PATH_IMAGE008
经过本征值分解后，其中的最大本征值对应的本征向量，且
Figure 111626DEST_PATH_IMAGE006
和
Figure 369432DEST_PATH_IMAGE018
分别表示向量乘法和向量点乘。
7.根据权利要求6所述的智慧大屏广告智能推荐系统，其特征在于，所述推荐结果生成单元，进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
8.一种智慧大屏广告智能推荐系统的推荐方法，其特征在于，包括：
获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；
将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；
将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；
使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；
将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；
计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；
将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及基于所述多个概率值，生成广告推荐结果。
9.根据权利要求8所述的智慧大屏广告智能推荐系统的推荐方法，其特征在于，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量，包括：
使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
10.根据权利要求8所述的智慧大屏广告智能推荐系统的推荐方法，其特征在于，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，包括：
对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；
使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；
使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及将所述多个文本特征向量进行级联以获得第二特征向量。
CN202210578278.1A 2022-05-26 2022-05-26 智慧大屏广告智能推荐系统及其推荐方法 Active CN114677185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210578278.1A CN114677185B (zh) 2022-05-26 2022-05-26 智慧大屏广告智能推荐系统及其推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210578278.1A CN114677185B (zh) 2022-05-26 2022-05-26 智慧大屏广告智能推荐系统及其推荐方法

Publications (2)

Publication Number Publication Date
CN114677185A true CN114677185A (zh) 2022-06-28
CN114677185B CN114677185B (zh) 2022-10-18

Family

ID=82079313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210578278.1A Active CN114677185B (zh) 2022-05-26 2022-05-26 智慧大屏广告智能推荐系统及其推荐方法

Country Status (1)

Country Link
CN (1) CN114677185B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860462A (zh) * 2022-07-11 2022-08-05 南京普道电子技术有限公司 双路机架式服务器的计算资源智能分配系统及其分配方法
CN115293747A (zh) * 2022-08-24 2022-11-04 陕西省君凯电子科技有限公司 用于车辆租赁的基于图像和文本信息的智能审核系统及其方法
CN115620303A (zh) * 2022-10-13 2023-01-17 杭州京胜航星科技有限公司 人事档案智慧管理系统
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN116320459A (zh) * 2023-01-08 2023-06-23 南阳理工学院 一种基于人工智能的计算机网络通信数据处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160225063A1 (en) * 2015-01-30 2016-08-04 Sears Brands, L.L.C. System and method for using crowdsourced personalized recommendations
CN106339911A (zh) * 2016-08-29 2017-01-18 星空电讯科技（北京）股份有限公司 智能云屏系统
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
US20200236434A1 (en) * 2014-11-13 2020-07-23 Comcast Cable Communications, Llc Personalized Content Recommendations Based on Consumption Periodicity
CN111581510A (zh) * 2020-05-07 2020-08-25 腾讯科技（深圳）有限公司 分享内容处理方法、装置、计算机设备和存储介质
US20210383279A1 (en) * 2020-12-25 2021-12-09 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent recommendation method and apparatus, model training method and apparatus, electronic device, and storage medium
CN113918764A (zh) * 2020-12-31 2022-01-11 浙江大学 一种基于交叉模态融合的电影推荐系统
CN114330475A (zh) * 2021-10-29 2022-04-12 腾讯科技（深圳）有限公司 内容匹配方法、装置、设备、存储介质及计算机程序产品
CN114449342A (zh) * 2022-01-21 2022-05-06 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机可读存储介质和计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200236434A1 (en) * 2014-11-13 2020-07-23 Comcast Cable Communications, Llc Personalized Content Recommendations Based on Consumption Periodicity
US20160225063A1 (en) * 2015-01-30 2016-08-04 Sears Brands, L.L.C. System and method for using crowdsourced personalized recommendations
CN106339911A (zh) * 2016-08-29 2017-01-18 星空电讯科技（北京）股份有限公司 智能云屏系统
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN111581510A (zh) * 2020-05-07 2020-08-25 腾讯科技（深圳）有限公司 分享内容处理方法、装置、计算机设备和存储介质
US20210383279A1 (en) * 2020-12-25 2021-12-09 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent recommendation method and apparatus, model training method and apparatus, electronic device, and storage medium
CN113918764A (zh) * 2020-12-31 2022-01-11 浙江大学 一种基于交叉模态融合的电影推荐系统
CN114330475A (zh) * 2021-10-29 2022-04-12 腾讯科技（深圳）有限公司 内容匹配方法、装置、设备、存储介质及计算机程序产品
CN114449342A (zh) * 2022-01-21 2022-05-06 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机可读存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD ETAL: "Contrastive LanguageImage Pre-training", 《HTTPS://ARXIV.ORG/ABS/2103.00020》 *
HUIDONG LIU ETAL: "CMA-CLIP: Cross-Modality Atention CLIP for Image-Text", 《HTTPS://ARXIV.ORG/ABS/2112.03562V2》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860462A (zh) * 2022-07-11 2022-08-05 南京普道电子技术有限公司 双路机架式服务器的计算资源智能分配系统及其分配方法
CN115293747A (zh) * 2022-08-24 2022-11-04 陕西省君凯电子科技有限公司 用于车辆租赁的基于图像和文本信息的智能审核系统及其方法
CN115620303A (zh) * 2022-10-13 2023-01-17 杭州京胜航星科技有限公司 人事档案智慧管理系统
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN115861246B (zh) * 2022-12-09 2024-02-27 唐山旭华智能科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN116320459A (zh) * 2023-01-08 2023-06-23 南阳理工学院 一种基于人工智能的计算机网络通信数据处理方法及系统
CN116320459B (zh) * 2023-01-08 2024-01-23 南阳理工学院 一种基于人工智能的计算机网络通信数据处理方法及系统

Also Published As

Publication number Publication date
CN114677185B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN114677185B (zh) 智慧大屏广告智能推荐系统及其推荐方法
CN109558781B (zh) 一种多视角视频识别方法及装置、设备和存储介质
CN115796173B (zh) 针对监管报送需求的数据处理方法和系统
Kumar et al. Extraction of informative regions of a face for facial expression recognition
CN110928997A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN115203380A (zh) 基于多模态数据融合的文本处理系统及其方法
CN114757659A (zh) 研发项目智能管理系统及其管理方法
CN111027559A (zh) 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
CN112587129A (zh) 一种人体动作识别方法及装置
CN116523583A (zh) 电子商务数据分析系统及其方法
CN113762050A (zh) 图像数据处理方法、装置、设备以及介质
CN114495916B (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN114884772A (zh) 裸机vxlan的部署方法、系统和电子设备
CN113537416A (zh) 基于生成式对抗网络的文本转换图像的方法及相关设备
CN114821169A (zh) 微服务架构下的方法级无侵入调用链路追踪方法
CN114648641A (zh) 图像描述方法和装置、计算机设备、存储介质
CN108090044B (zh) 联系方式的识别方法和装置
CN117635275A (zh) 基于大数据的智能电商运营商品管理平台及方法
CN116320459B (zh) 一种基于人工智能的计算机网络通信数据处理方法及系统
Miah et al. Hand Gesture Recognition for Multi-Culture Sign Language Using Graph and General Deep Learning Network
CN115687701A (zh) 文本处理方法
CN115905605A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114282543A (zh) 文本数据处理方法、装置、计算机设备及存储介质
CN113722475A (zh) 基于云存储的文件操作方法、系统和电子设备
CN113139751A (zh) 基于大数据的微服务用户业务类型确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant