CN114677185A - 智慧大屏广告智能推荐系统及其推荐方法 - Google Patents
智慧大屏广告智能推荐系统及其推荐方法 Download PDFInfo
- Publication number
- CN114677185A CN114677185A CN202210578278.1A CN202210578278A CN114677185A CN 114677185 A CN114677185 A CN 114677185A CN 202210578278 A CN202210578278 A CN 202210578278A CN 114677185 A CN114677185 A CN 114677185A
- Authority
- CN
- China
- Prior art keywords
- vector
- feature
- feature vector
- intelligent
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 405
- 239000011159 matrix material Substances 0.000 claims abstract description 126
- 230000002452 interceptive effect Effects 0.000 claims abstract description 97
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 230000003993 interaction Effects 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 25
- 238000000354 decomposition reaction Methods 0.000 claims description 19
- 229940050561 matrix product Drugs 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 abstract description 9
- 238000012512 characterization method Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种智慧大屏广告智能推荐系统及其推荐方法,其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵,并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量,这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了这两个特征的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
Description
技术领域
本发明涉及智慧大屏广告的领域,且更为具体地,涉及一种智慧大屏广告智能推荐系统及其推荐方法。
背景技术
相较于传统的屏幕,智慧大屏具有更多的功能, 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流,应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域,智能交互体验系统将人与数码化的内容高度融合,为人们提供高品质的数字生活体验。
并且,智慧屏不仅能够与各种智能设备进行交互,还能够直接与用户直接进行交互。因此,基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此,需要一种智慧大屏广告智能推荐系统。
目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
近年来,深度学习以及神经网络的发展,为智慧大屏的广告智能推荐提供了解决思路和方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种智慧大屏广告智能推荐系统及其推荐方法,其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵,并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量,这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了这两个特征的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
根据本申请的一个方面,提供了一种智慧大屏广告智能推荐系统,其包括:
源数据获取单元,用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;
图编码器单元,用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;
文本编码单元,用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;
第一融合单元,用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;
时序编码器单元,用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;
第二融合单元,用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;
分类单元,用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及推荐结果生成单元,用于基于所述多个概率值,生成广告推荐结果。
在上述智慧大屏广告智能推荐系统中,所述图编码器单元,进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量,其中,所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
在上述智慧大屏广告智能推荐系统中,所述文本编码单元,进一步用于:对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列;使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量;以及,将所述多个文本特征向量进行级联以获得第二特征向量。
在上述智慧大屏广告智能推荐系统中,所述第一融合单元,进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
在上述智慧大屏广告智能推荐系统中,所述时序编码器单元,进一步用于:将所述第一交互数据按照时间维度排列为一维的输入向量;使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征,其中,所述公式为:,其中是输入向量,是输出向量,是权重矩阵,是偏置向量,表示矩阵乘;使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征,其中,所述公式为:
其中,a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵,w为卷积核的尺寸。
在上述智慧大屏广告智能推荐系统中,所述第二融合单元,包括:矩阵分解子单元,用于:对所述矩阵以如下公式进行特征值分解;其中,所述公式为:,其中为所述本征值,且为对应于的本征向量;类概率联合融合子单元,用于:基于第三特征向量和第一特征矩阵以如下公式计算基于类概率联合相关的融合向量作为分类向量;其中,所述公式为:
在上述智慧大屏广告智能推荐系统中,所述推荐结果生成单元,进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
根据本申请的另一方面,一种智慧大屏广告智能推荐系统的推荐方法,其包括:
获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;
将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;
将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;
使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;
将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;
计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;
将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及基于所述多个概率值,生成广告推荐结果。
在上述智慧大屏广告智能推荐系统的推荐方法中,将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量,包括:使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量,其中,所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
在上述智慧大屏广告智能推荐系统的推荐方法中,将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量,包括:对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列;使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量;以及,将所述多个文本特征向量进行级联以获得第二特征向量。
在上述智慧大屏广告智能推荐系统的推荐方法中,所述第一融合单元,进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
在上述智慧大屏广告智能推荐系统的推荐方法中,将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量,包括:将所述第一交互数据按照时间维度排列为一维的输入向量;使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征,其中,所述公式为:,其中是输入向量,是输出向量,是权重矩阵,是偏置向量,表示矩阵乘;使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征,其中,所述公式为:
其中,a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵,w为卷积核的尺寸。
在上述智慧大屏广告智能推荐系统的推荐方法中,计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,包括:对所述矩阵以如下公式进行特征值分解;其中,所述公式为:,其中为所述本征值,且为对应于的本征向量;基于第三特征向量和第一特征矩阵以如下公式计算基于类概率联合相关的融合向量作为分类向量;其中,所述公式为:
在上述智慧大屏广告智能推荐系统的推荐方法中,所述基于所述多个概率值,生成广告推荐结果,包括:将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
与现有技术相比,本申请提供的智慧大屏广告智能推荐系统、智慧大屏广告智能推荐系统的推荐方法,其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵,并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量,这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了这两个特征的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。
图2为根据本申请实施例的智慧大屏广告智能推荐系统的框图。
图3为根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。
图4为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的流程图。
图5为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如前所述,相较于传统的屏幕,智慧大屏具有更多的功能, 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流,应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域,智能交互体验系统将人与数码化的内容高度融合,为人们提供高品质的数字生活体验。
并且,智慧屏不仅能够与各种智能设备进行交互,还能够直接与用户直接进行交互。因此,基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此,需要一种智慧大屏广告智能推荐系统。
目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
近年来,深度学习以及神经网络的发展,为智慧大屏的广告智能推荐提供了解决思路和方案。
相应地,在本申请的技术方案中,基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性,这本质上是一个多标签分类的问题,也就是,基于注册用户与智慧大屏的交互数据以及注册用户与其他智能终端的交互数据来综合进行多标签的分类,以生成广告的推荐结果。
基于此,本申请的申请人使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息,并通过回归分类来生成广告的推荐结果。
具体地,首先,通过云端获取智慧大屏的注册用户与智慧大屏的第一交互数据以及注册用户与其他智能终端的第二交互数据。然后,为了更好地提取出第二交互数据中数据间的高维隐含关联性特征,进一步将第二交互数据分成图片数据和文本数据来分别进行处理。
也就是,先将第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取,以挖掘出第二交互数据中的图片数据的局部特征在高维空间中的特征分布,从而获得第一特征向量。再将第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理,以提取出第二交互数据中的文本数据的全局性关联特征信息,从而获得多个文本特征向量,这样再将多个文本特征向量进行级联以获得第二特征向量。进一步计算第一特征向量的转置与第二特征向量之间的向量乘积,以使用Clip模型来融合第一特征向量和第二特征向量,进而生成第一特征矩阵。
并且,将第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理,以提取出第一交互数据在时间维度上的高维关联特征,从而生成第三特征向量。
应可以理解,考虑到对于由CLIP模型得到的第一特征矩阵和由时序编码器得到的第三特征向量,如果在融合过程中能够尽可能地进行维度对齐,则能够提高融合后的特征表达的分类能力。
并且,还考虑到第一特征矩阵为作为文本数据的上下文编码表达的第二特征向量与作为图像语义特征的第一特征向量的关联特征矩阵,其作为上下文编码表达的第二特征向量与通过时序编码器的时序关联编码得到的第三特征向量在维度上较为类似,因此基于第三特征向量和第一特征矩阵计算基于类概率联合相关的融合向量作为分类特征向量,表示为:
进一步地,就可以将分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后,将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
这样,通过计算第三特征向量和第一特征矩阵的基于类概率联合相关的融合向量,可以实现第三特征向量与第一特征矩阵的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了第三特征向量和第一特征矩阵的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
基于此,本申请提出了一种智慧大屏广告智能推荐系统,其包括:源数据获取单元,用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;图编码器单元,用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;文本编码单元,用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;第一融合单元,用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;时序编码器单元,用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;第二融合单元,用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;分类单元,用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及,推荐结果生成单元,用于基于所述多个概率值,生成广告推荐结果。
图1图示了根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。如图1所示,在该应用场景中,首先,获取智慧大屏的注册用户(例如,如图1中所示意的P)与所述智慧大屏(例如,如图1中所示意的H)的第一交互数据以及所述注册用户与其他智能终端(例如,如图1中所示意的T)的第二交互数据。这里,所述其他智能终端包括但不局限于智能手机、电脑、平板等。然后,将所述第一交互数据和所述第二交互数据输入至部署有智慧大屏广告智能推荐算法的服务器中(例如,如图1中所示意的云服务器S),其中,所述服务器能够以智慧大屏广告智能推荐算法对所述第一交互数据和所述第二交互数据进行处理,以生成分类特征向量归属于所述分类器的多个标签的多个概率值。进而,将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的智慧大屏广告智能推荐系统的框图。如图2所示,根据本申请实施例的智慧大屏广告智能推荐系统 200,包括:源数据获取单元 210,用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;图编码器单元 220,用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;文本编码单元 230,用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;第一融合单元 240,用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;时序编码器单元 250,用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;第二融合单元 260,用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;分类单元 270,用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及,推荐结果生成单元 280,用于基于所述多个概率值,生成广告推荐结果。
具体地,在本申请实施例中,所述源数据获取单元 210和所述图编码器单元 220,用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据,并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解,基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性,这本质上是一个多标签分类的问题,也就是,基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类,以生成广告的推荐结果。因此,在本申请的技术方案中,使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息,并通过回归分类来生成广告的推荐结果。
也就是,在本申请的技术方案中,首先,通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里,所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解,由于图像数据与文本数据具有不同的维度特征,为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征,进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。
具体地,首先将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取,以挖掘出所述第二交互数据中的图片数据的局部特征在高维空间中的特征分布,从而获得第一特征向量。相应地,在一个具体示例中,使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量,其中,所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
具体地,在本申请实施例中,所述文本编码单元 230和所述第一融合单元 240,用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量,并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是,在本申请的技术方案中,在对所述第二交互数据中的图像数据进行特征挖掘后,进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理,以提取出所述第二交互数据中的文本数据的全局性关联特征信息,从而获得多个文本特征向量,这样再将所述多个文本特征向量进行级联,以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后,进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积,以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息,进而生成第一特征矩阵。
更具体地,在本申请实施例中,所述文本编码单元,进一步用于:首先,对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列。接着,使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列。然后,使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量。应可以理解,使用基于转化器的上下文编码器对所述词向量进行编码,可以使得获得的文本特征向量具有全局性的文本特征关联信息。值得一提的是,在别的示例中还可以采用其他的模型来进行处理,例如双向LSTM模型。最后,将所述多个文本特征向量进行级联以获得第二特征向量。
具体地,在本申请实施例中,所述时序编码器单元 250,用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解,在对所述第二交互数据进行高维隐含关联特征挖掘后,进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理,以提取出所述第一交互数据在时间维度上的高维关联特征,从而生成第三特征向量。
更具体地,在本申请实施例中,所述时序编码器单元,进一步用于:将所述第一交互数据按照时间维度排列为一维的输入向量;使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征,其中,所述公式为:,其中是输入向量,是输出向量,是权重矩阵,是偏置向量,表示矩阵乘;使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征,其中,所述公式为:
其中,a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵,w为卷积核的尺寸。
具体地,在本申请实施例中,所述第二融合单元 260,用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解,考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量,如果在融合过程中能够尽可能地进行维度对齐,则能够提高融合后的特征表达的分类能力。
并且,还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵,其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此,在本申请的技术方案中,基于所述第三特征向量和所述第一特征矩阵计算基于类概率联合相关的融合向量作为分类特征向量,表示为:
应可以理解,这样,通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现所述第三特征向量与所述第一特征矩阵的联合相关到所述第一特征矩阵在高维特征空间内的主维度的联立投影,提升了所述第三特征向量和所述第一特征矩阵的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对所述第三特征向量和所述第一特征矩阵进行维度对齐来提高融合后的分类特征向量的分类能力。
更具体地,在本申请实施例中,所述第二融合单元,包括:首先,对所述矩阵以如下公式进行特征值分解;其中,所述公式为:,其中为所述本征值,且为对应于的本征向量。然后,基于第三特征向量和第一特征矩阵以如下公式计算基于类概率联合相关的融合向量作为分类向量;其中,所述公式为:
图3图示了根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。如图3所示,所述第二融合单元 260,包括:矩阵分解子单元 261,用于:对所述矩阵以如下公式进行特征值分解;其中,所述公式为:,其中为所述本征值,且为对应于的本征向量;类概率联合融合子单元 262,用于:基于第三特征向量和第一特征矩阵以如下公式计算基于类概率联合相关的融合向量作为分类向量;其中,所述公式为:
具体地,在本申请实施例中,所述分类单元 270和所述推荐结果生成单元 280,用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值,并基于所述多个概率值,生成广告推荐结果。也就是,在本申请的技术方案中,进一步地,就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后,将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
综上,基于本申请实施例的所述智慧大屏广告智能推荐系统 200被阐明,其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵,并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量,这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了这两个特征的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
如上所述,根据本申请实施例的智慧大屏广告智能推荐系统 200可以实现在各种终端设备中,例如智慧大屏广告智能推荐算法的服务器等。在一个示例中,根据本申请实施例的智慧大屏广告智能推荐系统 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该智慧大屏广告智能推荐系统 200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该智慧大屏广告智能推荐系统 200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该智慧大屏广告智能推荐系统 200与该终端设备也可以是分立的设备,并且该智慧大屏广告智能推荐系统 200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了智慧大屏广告智能推荐系统的推荐方法的流程图。如图4所示,根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法,包括步骤:S110,获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;S120,将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;S130,将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;S140,使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;S150,将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;S160,计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;S170,将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及,S180,基于所述多个概率值,生成广告推荐结果。
图5图示了根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。如图5所示,在所述智慧大屏广告智能推荐系统的推荐方法的网络架构中,首先,将获得的所述第二交互数据(例如,如图5中所示意的P)中的图片数据(例如,如图5中所示意的P1)通过Clip模型的第一卷积神经网络(例如,如图5中所示意的CNN)以获得第一特征向量(例如,如图5中所示意的VF1);接着,将所述第二交互数据中的文本数据(例如,如图5中所示意的P2)通过所述Clip模型的包含嵌入层的上下文编码器模型(例如,如图5中所示意的E1)以获得多个文本特征向量(例如,如图5中所示意的VF),将所述多个文本特征向量进行级联以获得第二特征向量(例如,如图5中所示意的VF2);然后,使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵(例如,如图5中所示意的MF1);接着,将获得的所述第一交互数据(例如,如图5中所示意的Q)按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器(例如,如图5中所示意的E2)以生成第三特征向量(例如,如图5中所示意的VF3);然后,计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量(例如,如图5中所示意的V);接着,将所述分类特征向量通过具有多标签的分类器(例如,如图5中所示意的圈S)以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及,最后,基于所述多个概率值,生成广告推荐结果。
更具体地,在步骤S110和S120中,获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据,并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解,基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性,这本质上是一个多标签分类的问题,也就是,基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类,以生成广告的推荐结果。因此,在本申请的技术方案中,使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息,并通过回归分类来生成广告的推荐结果。
也就是,在本申请的技术方案中,首先,通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里,所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解,由于图像数据与文本数据具有不同的维度特征,为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征,进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。
更具体地,在步骤S130和步骤S140中,将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量,并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是,在本申请的技术方案中,在对所述第二交互数据中的图像数据进行特征挖掘后,进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理,以提取出所述第二交互数据中的文本数据的全局性关联特征信息,从而获得多个文本特征向量,这样再将所述多个文本特征向量进行级联,以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后,进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积,以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息,进而生成第一特征矩阵。
更具体地,在步骤S150中,将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解,在对所述第二交互数据进行高维隐含关联特征挖掘后,进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理,以提取出所述第一交互数据在时间维度上的高维关联特征,从而生成第三特征向量。
更具体地,在步骤S160中,计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解,考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量,如果在融合过程中能够尽可能地进行维度对齐,则能够提高融合后的特征表达的分类能力。并且,还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵,其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此,在本申请的技术方案中,基于所述第三特征向量和所述第一特征矩阵计算基于类概率联合相关的融合向量作为分类特征向量。这样,通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现所述第三特征向量与所述第一特征矩阵的联合相关到所述第一特征矩阵在高维特征空间内的主维度的联立投影,提升了所述第三特征向量和所述第一特征矩阵的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对所述第三特征向量和所述第一特征矩阵进行维度对齐来提高融合后的分类特征向量的分类能力。
更具体地,在步骤S170和步骤S180中,将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值,并基于所述多个概率值,生成广告推荐结果。也就是,在本申请的技术方案中,进一步地,就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后,将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
综上,基于本申请实施例的所述智慧大屏广告智能推荐系统的推荐方法被阐明,其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵,并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量,这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量,可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影,提升了这两个特征的基于类概率表征的特征分布的维度对齐,从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种智慧大屏广告智能推荐系统,其特征在于,包括:
源数据获取单元,用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;
图编码器单元,用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;
文本编码单元,用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;
第一融合单元,用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;
时序编码器单元,用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;
第二融合单元,用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;
分类单元,用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及推荐结果生成单元,用于基于所述多个概率值,生成广告推荐结果。
2.根据权利要求1所述的智慧大屏广告智能推荐系统,其特征在于,所述图编码器单元,进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量,其中,所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
3.根据权利要求2所述的智慧大屏广告智能推荐系统,其特征在于,所述文本编码单元,进一步用于:
对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列;
使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;
使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量;以及将所述多个文本特征向量进行级联以获得第二特征向量。
4.根据权利要求3所述的智慧大屏广告智能推荐系统,其特征在于,所述第一融合单元,进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。
5.根据权利要求4所述的智慧大屏广告智能推荐系统,其特征在于,所述时序编码器单元,进一步用于:
将所述第一交互数据按照时间维度排列为一维的输入向量;
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征,其中,所述公式为:,其中是输入向量,是输出向量,是权重矩阵,是偏置向量,表示矩阵乘;
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征,其中,所述公式为:
其中,a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵,w为卷积核的尺寸。
7.根据权利要求6所述的智慧大屏广告智能推荐系统,其特征在于,所述推荐结果生成单元,进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。
8.一种智慧大屏广告智能推荐系统的推荐方法,其特征在于,包括:
获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据;
将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量;
将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量;
使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵;
将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量;
计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量,其中,所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成;
将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值;以及基于所述多个概率值,生成广告推荐结果。
9.根据权利要求8所述的智慧大屏广告智能推荐系统的推荐方法,其特征在于,将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量,包括:
使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量,其中,所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。
10.根据权利要求8所述的智慧大屏广告智能推荐系统的推荐方法,其特征在于,将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量,将所述多个文本特征向量进行级联以获得第二特征向量,包括:
对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列;
使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;
使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量;以及将所述多个文本特征向量进行级联以获得第二特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210578278.1A CN114677185B (zh) | 2022-05-26 | 2022-05-26 | 智慧大屏广告智能推荐系统及其推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210578278.1A CN114677185B (zh) | 2022-05-26 | 2022-05-26 | 智慧大屏广告智能推荐系统及其推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114677185A true CN114677185A (zh) | 2022-06-28 |
CN114677185B CN114677185B (zh) | 2022-10-18 |
Family
ID=82079313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210578278.1A Active CN114677185B (zh) | 2022-05-26 | 2022-05-26 | 智慧大屏广告智能推荐系统及其推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677185B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114860462A (zh) * | 2022-07-11 | 2022-08-05 | 南京普道电子技术有限公司 | 双路机架式服务器的计算资源智能分配系统及其分配方法 |
CN115293747A (zh) * | 2022-08-24 | 2022-11-04 | 陕西省君凯电子科技有限公司 | 用于车辆租赁的基于图像和文本信息的智能审核系统及其方法 |
CN115529166A (zh) * | 2022-09-05 | 2022-12-27 | 浙江御安信息技术有限公司 | 基于多源数据的网络安全扫描风险管控系统及其方法 |
CN115620303A (zh) * | 2022-10-13 | 2023-01-17 | 杭州京胜航星科技有限公司 | 人事档案智慧管理系统 |
CN115861246A (zh) * | 2022-12-09 | 2023-03-28 | 马鞍山远昂科技有限公司 | 应用于工业互联网的产品质量异常检测方法及其系统 |
CN116320459A (zh) * | 2023-01-08 | 2023-06-23 | 南阳理工学院 | 一种基于人工智能的计算机网络通信数据处理方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160225063A1 (en) * | 2015-01-30 | 2016-08-04 | Sears Brands, L.L.C. | System and method for using crowdsourced personalized recommendations |
CN106339911A (zh) * | 2016-08-29 | 2017-01-18 | 星空电讯科技(北京)股份有限公司 | 智能云屏系统 |
CN110196946A (zh) * | 2019-05-29 | 2019-09-03 | 华南理工大学 | 一种基于深度学习的个性化推荐方法 |
US20200236434A1 (en) * | 2014-11-13 | 2020-07-23 | Comcast Cable Communications, Llc | Personalized Content Recommendations Based on Consumption Periodicity |
CN111581510A (zh) * | 2020-05-07 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 分享内容处理方法、装置、计算机设备和存储介质 |
US20210383279A1 (en) * | 2020-12-25 | 2021-12-09 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Intelligent recommendation method and apparatus, model training method and apparatus, electronic device, and storage medium |
CN113918764A (zh) * | 2020-12-31 | 2022-01-11 | 浙江大学 | 一种基于交叉模态融合的电影推荐系统 |
CN114330475A (zh) * | 2021-10-29 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 内容匹配方法、装置、设备、存储介质及计算机程序产品 |
CN114449342A (zh) * | 2022-01-21 | 2022-05-06 | 腾讯科技(深圳)有限公司 | 视频推荐方法、装置、计算机可读存储介质和计算机设备 |
-
2022
- 2022-05-26 CN CN202210578278.1A patent/CN114677185B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200236434A1 (en) * | 2014-11-13 | 2020-07-23 | Comcast Cable Communications, Llc | Personalized Content Recommendations Based on Consumption Periodicity |
US20160225063A1 (en) * | 2015-01-30 | 2016-08-04 | Sears Brands, L.L.C. | System and method for using crowdsourced personalized recommendations |
CN106339911A (zh) * | 2016-08-29 | 2017-01-18 | 星空电讯科技(北京)股份有限公司 | 智能云屏系统 |
CN110196946A (zh) * | 2019-05-29 | 2019-09-03 | 华南理工大学 | 一种基于深度学习的个性化推荐方法 |
CN111581510A (zh) * | 2020-05-07 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 分享内容处理方法、装置、计算机设备和存储介质 |
US20210383279A1 (en) * | 2020-12-25 | 2021-12-09 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Intelligent recommendation method and apparatus, model training method and apparatus, electronic device, and storage medium |
CN113918764A (zh) * | 2020-12-31 | 2022-01-11 | 浙江大学 | 一种基于交叉模态融合的电影推荐系统 |
CN114330475A (zh) * | 2021-10-29 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 内容匹配方法、装置、设备、存储介质及计算机程序产品 |
CN114449342A (zh) * | 2022-01-21 | 2022-05-06 | 腾讯科技(深圳)有限公司 | 视频推荐方法、装置、计算机可读存储介质和计算机设备 |
Non-Patent Citations (2)
Title |
---|
ALEC RADFORD ETAL: "Contrastive LanguageImage Pre-training", 《HTTPS://ARXIV.ORG/ABS/2103.00020》 * |
HUIDONG LIU ETAL: "CMA-CLIP: Cross-Modality Atention CLIP for Image-Text", 《HTTPS://ARXIV.ORG/ABS/2112.03562V2》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114860462A (zh) * | 2022-07-11 | 2022-08-05 | 南京普道电子技术有限公司 | 双路机架式服务器的计算资源智能分配系统及其分配方法 |
CN115293747A (zh) * | 2022-08-24 | 2022-11-04 | 陕西省君凯电子科技有限公司 | 用于车辆租赁的基于图像和文本信息的智能审核系统及其方法 |
CN115529166A (zh) * | 2022-09-05 | 2022-12-27 | 浙江御安信息技术有限公司 | 基于多源数据的网络安全扫描风险管控系统及其方法 |
CN115529166B (zh) * | 2022-09-05 | 2024-09-20 | 浙江御安信息技术有限公司 | 基于多源数据的网络安全扫描风险管控系统及其方法 |
CN115620303A (zh) * | 2022-10-13 | 2023-01-17 | 杭州京胜航星科技有限公司 | 人事档案智慧管理系统 |
CN115861246A (zh) * | 2022-12-09 | 2023-03-28 | 马鞍山远昂科技有限公司 | 应用于工业互联网的产品质量异常检测方法及其系统 |
CN115861246B (zh) * | 2022-12-09 | 2024-02-27 | 唐山旭华智能科技有限公司 | 应用于工业互联网的产品质量异常检测方法及其系统 |
CN116320459A (zh) * | 2023-01-08 | 2023-06-23 | 南阳理工学院 | 一种基于人工智能的计算机网络通信数据处理方法及系统 |
CN116320459B (zh) * | 2023-01-08 | 2024-01-23 | 南阳理工学院 | 一种基于人工智能的计算机网络通信数据处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114677185B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114677185B (zh) | 智慧大屏广告智能推荐系统及其推荐方法 | |
CN109558781B (zh) | 一种多视角视频识别方法及装置、设备和存储介质 | |
CN115203380A (zh) | 基于多模态数据融合的文本处理系统及其方法 | |
Kumar et al. | Extraction of informative regions of a face for facial expression recognition | |
Liu et al. | Transferable Feature Representation for Visible‐to‐Infrared Cross‐Dataset Human Action Recognition | |
CN113392270A (zh) | 视频处理方法、装置、计算机设备以及存储介质 | |
CN114757659A (zh) | 研发项目智能管理系统及其管理方法 | |
CN112395979A (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
CN117251795A (zh) | 基于自适应融合的多模态虚假新闻检测方法 | |
CN112587129A (zh) | 一种人体动作识别方法及装置 | |
CN116523583A (zh) | 电子商务数据分析系统及其方法 | |
CN117058595B (zh) | 视频语义特征和可扩展粒度感知时序动作检测方法及装置 | |
CN114821169A (zh) | 微服务架构下的方法级无侵入调用链路追踪方法 | |
CN114495916B (zh) | 背景音乐的插入时间点确定方法、装置、设备和存储介质 | |
CN113778718A (zh) | 基于动态路由的微服务资源管理方法、系统和电子设备 | |
CN114884772A (zh) | 裸机vxlan的部署方法、系统和电子设备 | |
CN113537416A (zh) | 基于生成式对抗网络的文本转换图像的方法及相关设备 | |
CN118260432A (zh) | 一种基于多模态知识图谱的图像认知语义通信系统和方法 | |
CN108090044B (zh) | 联系方式的识别方法和装置 | |
CN115905605A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN113139751A (zh) | 基于大数据的微服务用户业务类型确定方法 | |
CN116320459B (zh) | 一种基于人工智能的计算机网络通信数据处理方法及系统 | |
CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
CN115131807A (zh) | 一种文本处理方法、装置、存储介质及设备 | |
CN114329065A (zh) | 视频标签预测模型的处理方法、视频标签预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |