CN113869420A - 基于对比学习的文本推荐方法及相关设备 - Google Patents

基于对比学习的文本推荐方法及相关设备 Download PDF

Info

Publication number
CN113869420A
CN113869420A CN202111148783.4A CN202111148783A CN113869420A CN 113869420 A CN113869420 A CN 113869420A CN 202111148783 A CN202111148783 A CN 202111148783A CN 113869420 A CN113869420 A CN 113869420A
Authority
CN
China
Prior art keywords
text
probability distribution
feature vector
feature map
historical browsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111148783.4A
Other languages
English (en)
Inventor
司世景
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111148783.4A priority Critical patent/CN113869420A/zh
Publication of CN113869420A publication Critical patent/CN113869420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，具体提供了一种基于对比学习的文本推荐方法及相关设备，其中，该方法包括：获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；对历史浏览文本进行数据增广处理，得到增广后的文本数据；对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。本申请实施例有利于提升文本推荐的准确度。

Description

基于对比学习的文本推荐方法及相关设备
技术领域
本申请涉及机器学习技术领域，尤其涉及一种基于对比学习的文本推荐方法及相关设备。
背景技术
随着互联网的发展，网络文本信息也呈爆发式增长，人们可以从繁多的文本中获取到各种信息，因此，基于用户的兴趣模式为用户推荐有价值的文本信息变得尤为重要。文本信息推荐通常依赖于机器学习模型去发现用户的兴趣模式，然后为用户进行针对性推送，而机器学习模型需要大量的用户历史浏览记录进行训练，但是由于这类数据的获取难度较大，模型训练缺乏足够的样本，以致于模型难以捕捉到用户的兴趣模式，从而导致文本推荐的准确度较低。
发明内容
针对上述问题，本申请提供了一种基于对比学习的文本推荐方法及相关设备，有利于提升文本推荐的准确度。
为实现上述目的，本申请实施例第一方面提供了一种基于对比学习的文本推荐方法，该方法包括：
获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
对历史浏览文本进行数据增广处理，得到增广后的文本数据；
对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
结合第一方面，在一种可能的实施方式中，增广后的文本数据包括第一增广矩阵和第二增广矩阵，对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量，包括：
对第一增广矩阵进行卷积，得到第一特征图和第二特征图；
对第一特征图进行最大池化，得到第一池化特征图，以及对第二特征图进行最大池化得到第二池化特征图；
将第一池化特征图与第二池化特征图进行拼接，得到第三特征向量；
对第二增广矩阵进行卷积，得到第三特征图和第四特征图；
对第三特征图进行最大池化，得到第三池化特征图，以及对第四特征图进行最大池化得到第四池化特征图；
将第三池化特征图与第四池化特征图进行拼接，得到第四特征向量；
将第三特征向量和第四特征向量确定为第二特征向量。
结合第一方面，在一种可能的实施方式中，基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布，包括：
采用全连接层对第三特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第三概率分布；
采用全连接层对第四特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第四概率分布；
将第三概率分布和第四概率分布确定为第二概率分布。
结合第一方面，在一种可能的实施方式中，编码是通过神经网络模型执行的，该方法还包括：
根据第一概率分布计算聚类损失函数值；
根据第二概率分布计算对比损失函数值；
根据聚类损失函数值和对比损失函数值中的至少一者对神经网络参数进行更新，得到神经网络模型。
结合第一方面，在一种可能的实施方式中，根据第一概率分布计算聚类损失函数值，包括:
根据第一概率分布确定目标分布；
根据第一概率分布和目标分布确定KL散度；
根据KL散度和样本文本的数量计算聚类损失函数值。
结合第一方面，在一种可能的实施方式中，根据第二概率分布计算对比损失函数值，包括：
计算第三特征向量和第四概率分布的第一负余弦值，以及计算第四特征向量与第三概率分布的第二负余弦值；
采用第一负余弦值、第二负余弦值和样本文本的数量计算对比损失函数值。
结合第一方面，在一种可能的实施方式中，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量，包括：
获取历史浏览文本的词向量矩阵；
对词向量矩阵进行填充，得到填充后的矩阵；
对填充后的矩阵进行卷积，得到第五特征图和第六特征图；
对第五特征图进行最大池化，得到第五池化特征图，以及对第六特征图进行最大池化得到第六池化特征图；
将第五池化特征图和第六池化特征图进行拼接，得到第一特征向量。
本申请实施例第二方面提供了一种基于对比学习的文本推荐装置，该装置包括获取单元和处理单元；
获取单元，用于获取用户的历史浏览文本；
处理单元，用于对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
处理单元，还用于基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
处理单元，还用于对历史浏览文本进行数据增广处理，得到增广后的文本数据；
处理单元，还用于对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
处理单元，还用于基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
处理单元，还用于根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
对历史浏览文本进行数据增广处理，得到增广后的文本数据；
对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
对历史浏览文本进行数据增广处理，得到增广后的文本数据；
对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
本申请的上述方案至少包括以下有益效果：本申请实施例通过获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；对历史浏览文本进行数据增广处理，得到增广后的文本数据；对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。这样通过对用户的历史浏览文本进行数据增广，以增广后的文本数据扩充数据集，即使在少量文本数据的情况下，也能提升模型对文本特征的提取能力，另外，在通过聚类学习得到的第一概率分布的基础上，结合对比学习基于增广数据得到的第二概率分布，有利于提升模型对用户兴趣模式捕捉的准确度，利用准确度更高的兴趣模式更容易确定用户感兴趣的文本内容，从而有利于提升文本推荐的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用环境的示意图；
图2为本申请实施例提供的一种基于对比学习的文本推荐方法的流程示意图；
图3为本申请实施例提供的一种提取特征向量的示意图；
图4为本申请实施例提供的一种兴趣类别预测的整体流程示意图；
图5为本申请实施例提供的一种数据增广的示意图；
图6为本申请实施例提供的另一种基于对比学习的文本推荐方法的流程示意图；
图7为本申请实施例提供的一种基于对比学习的文本推荐装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
本申请实施例提供一种基于对比学习的文本推荐方法，可基于图1所示的应用环境实施，请参见图1，该应用环境中包括用户设备和电子设备，其中，用户通过用户设备访问网络，以从网络中获取感兴趣或有价值的文本信息进行浏览，电子设备从网络中获取用户的文本浏览记录，通过聚类学习预测出用户感兴趣的文本类别，另外，通过对用户的文本浏览记录进行数据增广，利用增广后的数据进行对比学习，以预测出用户感兴趣的文本类别，电子设备基于聚类学习和对比学习的结果最终确定用户的兴趣模式，基于用户的兴趣模式，对用户不感兴趣的类别进行过滤，以及向用户推荐其感兴趣或对其有价值的文本。结合聚类学习和对比学习，即使只有少量用户历史浏览记录，也能准确捕捉到用户的兴趣模式，以提升对用户进行文本推荐的准确度。
其中，电子设备可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。用户设备可以是智能手机、电脑、平板、可穿戴设备、个人数字助理，等等。
基于图1所示的应用环境，以下结合其他附图对本申请实施例提供的基于对比学习的文本推荐方法进行详细阐述。
请参见图2，图2为本申请实施例提供的一种基于对比学习的文本推荐方法的流程示意图，该方法应用于电子设备，如图2所示，包括步骤201-206：
201：获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量。
本申请实施例中，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量，包括：
获取历史浏览文本的词向量矩阵；
对词向量矩阵进行填充，得到填充后的矩阵；
对填充后的矩阵进行卷积，得到第五特征图和第六特征图；
对第五特征图进行最大池化，得到第五池化特征图，以及对第六特征图进行最大池化得到第六池化特征图；
将第五池化特征图和第六池化特征图进行拼接，得到第一特征向量。
具体的，通过预训练的神经网络模型的编码器进行编码，该编码器包括输入层、卷积层和池化层，输入层用于对输入进行初始编码，得到词向量矩阵，卷积层用于采用两个尺寸不同的卷积核对词向量矩阵进行卷积处理，得到对应的两个特征图，池化层采用1-Max池化分别对两个特征图进行最大池化处理，并将得到的特征图进行拼接，得到编码完成的特征向量。
如图3所示，对于历史浏览文本，在输入层获取其词向量矩阵，其中，该词向量可以是词嵌入，也可以是独热编码，为了保证输入的矩阵大小保持一致，需要对历史浏览文本进行填充(padding)，得到填充后的矩阵的大小为n×d，其中，n表示历史浏览文本的单词数，d表示单词的维度，比如d可以是400。将填充后n×d的矩阵输入卷积层，通过3×d的卷积核的卷积，得到第五特征图，通过2×d的卷积核的卷积，得到第六特征图。在池化层对第五特征图进行1-Max池化，得到第五池化特征图，以及对第六特征图进行1-Max池化，得到第六池化特征图，将第五池化特征图和第六池化特征图拼接得到直接基于历史浏览文本得到的特征向量，即第一特征向量，该第一特征向量用于对历史浏览文本进行聚类学习。其中，两种卷积核可以分别是一个，也可以各有两个，应理解，在设定了两种卷积核各有两个的情况下，第五特征图和第六特征图也应分别是两个，则需要对两个第五特征图池化后的特征进行拼接，以及对两个第六特征图池化后的特征进行拼接。其中，由于卷积核的宽度与输入卷积层的矩阵的宽度一致，因此，卷积处理时卷积核只需在高度方向移动，即每次卷积核滑动的最小单元是字。
202：基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布。
本申请实施例中，将用户感兴趣的文本信息类别预设为K个，比如财经、体育、健康、社会、汽车等，每个类别用其类心来表示：μk,k∈{1,2……,K}。如图4所示，假设历史浏览文本xj，经过编码后的第一特征向量为ej，聚类学习中使用t分布计算样本xj被分为第k个兴趣类别的概率，得到第一概率分布，其公式表示为：
Figure BDA0003284979340000081
其中，qjk表示历史浏览文本xj在第k个兴趣类别的概率，α表示t分布的自由度，其值可以取1，本申请实施例采用一个线性映射层，即图4中的聚类头(cluster head)，来近似k个兴趣类别的类心μk′。
示例性的，在基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布之前，该方法还包括：
获取样本文本，该样本文本包括历史浏览文本，该样本文本同样是用户的历史浏览记录；
采用DBSCAN算法对样本文本进行聚类，得到K个文本簇，K为大于1的整数；
针对K个文本簇中的每个文本簇，计算该每个文本簇中核心点的平均值，将该平均值作为该每个文本簇的类心。
应理解，对于每条样本文本而言，其经过编码后的特征向量在高维空间就是一个点，DBSCAN算法基于点间密度进行聚类，核心点是指邻域半径Eps内点的数量达到邻域密度阈值Minpts的点，对于每个文本簇通过计算簇内核心点的平均值，并将该平均值作为该每个文本簇的类心μk，以使得K个预设兴趣类别的类心μk更具代表性。
203：对历史浏览文本进行数据增广处理，得到增广后的文本数据。
本申请实施例中，数据增广的方式可以是对历史浏览文本进行同义词替换、随机删除、随机插入等，具体不作限定，如图5所示，若历史浏览文本为“财经台报导”，采用任意两种方式对历史浏览文本进行数据增广，分别得到表示“财经台”的第一增广矩阵和表示“报导财经台”的第二增广矩阵，第一增广矩阵和第二增广矩阵即为增广后的文本数据。
204：对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量。
本申请实施例中，对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量，包括：
对第一增广矩阵进行卷积，得到第一特征图和第二特征图；
对第一特征图进行最大池化，得到第一池化特征图，以及对第二特征图进行最大池化得到第二池化特征图；
将第一池化特征图与第二池化特征图进行拼接，得到第三特征向量；
对第二增广矩阵进行卷积，得到第三特征图和第四特征图；
对第三特征图进行最大池化，得到第三池化特征图，以及对第四特征图进行最大池化得到第四池化特征图；
将第三池化特征图与第四池化特征图进行拼接，得到第四特征向量；
将第三特征向量和第四特征向量确定为第二特征向量。
具体的，第一增广矩阵和第二增广矩阵是经过填充后的矩阵，编码器的卷积层同样采用两种卷积核对第一增广矩阵和第二增广矩阵进行卷积，比如对于第一增广矩阵而言，通过3×d的卷积核的卷积，得到的特征图为第一特征图，通过2×d的卷积核的卷积，得到的特征图为第二特征图，类似的，3×d的卷积核和2×d的卷积核同样可以有两个，其具体处理方式可参见图3。卷积层输出的第一特征图和第二特征图分别由池化层进行1-Max池化，得到第一池化特征图和第二池化特征图，然后将二者拼接，得到第三特征向量
Figure BDA0003284979340000091
，即神经网络模型对第一增广矩阵进行编码得到第三特征向量
Figure BDA0003284979340000092
。比如对于第二增广矩阵而言，通过3×d的卷积核的卷积，得到的特征图为第三特征图，通过2×d的卷积核的卷积，得到的特征图为第四特征图，类似的，3×d的卷积核和2×d的卷积核同样可以有两个。卷积层输出的第三特征图和第四特征图分别由池化层进行1-Max池化，得到第三池化特征图和第四池化特征图，然后将二者拼接，得到第四特征向量
Figure BDA0003284979340000093
，即神经网络模型对第二增广矩阵进行编码得到第四特征向量
Figure BDA0003284979340000094
，第三特征向量和第四特征向量均表示为历史浏览文本的第二特征向量。
205：基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布。
本申请实施例中，神经网络模型通过一全连接层instance-CL head分别对第三特征向量
Figure BDA0003284979340000095
和第四特征向量
Figure BDA0003284979340000096
进行映射，得到对应的第三概率分布
Figure BDA0003284979340000097
和第四概率分布
Figure BDA0003284979340000098
，该第三概率分布
Figure BDA0003284979340000099
和第四概率分布
Figure BDA00032849793400000910
均可称为第二概率分布，即分别预测历史浏览文本所属的文本类别，比如财经、体育、健康、社会、汽车等。
206：根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
本申请实施例中，电子设备可以对第一概率分布、第三概率分布
Figure BDA0003284979340000105
和第四概率分布
Figure BDA0003284979340000106
一起进行排序，将K个预设兴趣类别中概率最大的兴趣类别作为用户的兴趣模式，即单一兴趣模式；或者对第一概率分布、第三概率分布
Figure BDA0003284979340000107
和第四概率分布
Figure BDA0003284979340000108
分别进行排序，基于第一概率分布排序后的序列，从K个预设兴趣类别中确定出概率最大的第一兴趣类别，基于第三概率分布
Figure BDA0003284979340000109
排序后的序列，从K个预设兴趣类别中确定出概率最大的第二兴趣类别，基于第四概率分布
Figure BDA00032849793400001010
排序后的序列，从K个预设兴趣类别中确定出概率最大的第三兴趣类别，将第一兴趣类别、第二兴趣类别和第三兴趣类别作为用户的兴趣模式，即多兴趣模式；或者根据第一概率分布、第三概率分布
Figure BDA00032849793400001011
和第四概率分布
Figure BDA00032849793400001012
计算K个预设兴趣类别中每个兴趣类别的概率之和，将K个预设兴趣类别中概率之和最大的兴趣类别作为用户的兴趣模式。基于确定出的兴趣模式，电子设备可筛选出与该兴趣模式相关的文本信息，并向用户进行推荐。进一步的，若K个预设兴趣类别中存在多个概率之和相等的兴趣类别，则确定所述用户的兴趣模式为随机噪声模式，随机噪声模式表示用户没有特别感兴趣的文本内容，则可向用户推荐与用户最近一次浏览的文本属于同一类别的文本。
示例性的，该方法还包括：
A1：根据第一概率分布计算聚类损失函数值。
本申请实施例中，通过定义的辅助分布对聚类学习进行优化，该辅助分布即为目标分布，其公式表示为：
Figure BDA0003284979340000101
Figure BDA0003284979340000102
其中，pjk表示目标分布，fk表示一个小批量(mini-batch)样本文本的软聚类频率。目标分布使用软分配概率qjk的平方进行锐化，然后对再对qjk进行归一化，以促使从高置信的兴趣类别中进行学习，并同时减缓类别不平衡所造成的偏差。
根据第一概率分布和目标分布确定KL散度，KL散度用于将第一概率分布qjk向目标分布pjk靠近，其公式表示为：
Figure BDA0003284979340000103
其中，
Figure BDA0003284979340000104
表示优化后的KL散度，pj表示目标分布，qj表示聚类分配概率。
则根据KL散度和样本文本的数量可以计算聚类损失函数值，其公式表示为：
Figure BDA0003284979340000111
其中，LCluster表示聚类损失函数值，M表示mini-batch中样本文本的数量，聚类损失函数的作用是将相同语义信息的文本放在一起。
A2：根据第二概率分布计算对比损失函数值。
本申请实施例中，通过计算第三特征向量
Figure BDA0003284979340000116
和第四概率分布
Figure BDA0003284979340000117
的第一负余弦值，以及计算第四特征向量
Figure BDA0003284979340000119
与第三概率分布
Figure BDA0003284979340000118
的第二负余弦值，然后对第一负余弦值和第二负余弦值取二分之一再求和得到对称损失，由对称损失和样本文本的数量计算对比损失函数值，其公式表示如下：
Figure BDA0003284979340000112
Figure BDA0003284979340000113
Figure BDA0003284979340000114
Figure BDA0003284979340000115
其中，LInstance-CL表示对比损失函数值，LSIM表示对称损失，
Figure BDA00032849793400001110
表示第一负余弦值，
Figure BDA00032849793400001111
表示第二负余弦值。此外，为了防止孪生网络退化，引入stop-gradient算子，通过阻断LSIM对编码器的反向梯度传递，防止孪生网络坍缩成没有意义的常量模型。该实施方式中，通过优化对比损失函数，让同源文本的特征向量在表示空间内相互靠近，不同源文本的特征向量相互远离，最大化神经网络模型对文本有效信息的抓取能力。从某种程度上隐式地将近似的文本信息聚集在一起，在进行分类时可以更好的分离出不同的类别，同时使同类别之间的距离更小。
A3：根据聚类损失函数值和对比损失函数值中的至少一者对神经网络参数进行更新，得到神经网络模型。
本申请实施例中，将联合损失函数定义为：
L＝LCluster+γLInstance-CL；
其中，γ表示对比学习的损失参数，可以设置为1，L表示联合损失，当一个mini-batch学习完成，则根据聚类损失函数值LCluster和对比损失函数值LInstance-CL中的至少一者对神经网络模型的参数进行更新，示例性的，当联合损失L收敛，则得到训练好的神经网络模型。该实施方式中，联合损失的意义在于：基于聚类学习，模型可以从无标签的数据中通过信息分布，了解用户的兴趣所在；而对比学习对用户样本文本的数量要求也有所降低，有利于提升模型的特征提取能力。结合二者可以使得样本文本在语义空间的类内距离拉近，类外距离拉远，提高模型对用户兴趣分布的理解，便于后续的信息筛选和推送。
可以看出，本申请实施例通过获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；对历史浏览文本进行数据增广处理，得到增广后的文本数据；对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。这样通过对用户的历史浏览文本进行数据增广，以增广后的文本数据扩充数据集，即使在少量文本数据的情况下，也能提升模型对文本特征的提取能力，另外，在通过聚类学习得到的第一概率分布的基础上，结合对比学习基于增广数据得到的第二概率分布，有利于提升模型对用户兴趣模式捕捉的准确度，利用准确度更高的兴趣模式更容易确定用户感兴趣的文本内容，从而有利于提升文本推荐的准确度。
请参见图6，图6本申请实施例提供的另一种基于对比学习的文本推荐方法的流程示意图，如图6所示，包括步骤601-611：
601：获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
602：基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
603：对历史浏览文本进行数据增广处理，得到增广后的文本数据；
其中，增广后的文本数据包括第一增广矩阵和第二增广矩阵。
604：对第一增广矩阵进行卷积，得到第一特征图和第二特征图；
605：对第一特征图进行最大池化，得到第一池化特征图，以及对第二特征图进行最大池化得到第二池化特征图；
606：将第一池化特征图与第二池化特征图进行拼接，得到第三特征向量；
607：对第二增广矩阵进行卷积，得到第三特征图和第四特征图；
608：对第三特征图进行最大池化，得到第三池化特征图，以及对第四特征图进行最大池化得到第四池化特征图；
609：将第三池化特征图与第四池化特征图进行拼接，得到第四特征向量；
610：将第三特征向量和第四特征向量确定为第二特征向量，基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
611：根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
其中，步骤601-611的具体实施方式在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。
基于上述基于对比学习的文本推荐方法实施例的描述，请参见图7，图7为本申请实施例提供的一种基于对比学习的文本推荐装置的结构示意图，如图7所示，该装置包括获取单元701和处理单元702；
获取单元701，用于获取用户的历史浏览文本；
处理单元702，用于对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
处理单元702，还用于基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
处理单元702，还用于对历史浏览文本进行数据增广处理，得到增广后的文本数据；
处理单元702，还用于对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
处理单元702，还用于基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
处理单元702，还用于根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
可以看出，在图7所示的基于对比学习的文本推荐装置中，通过获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；对历史浏览文本进行数据增广处理，得到增广后的文本数据；对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。这样通过对用户的历史浏览文本进行数据增广，以增广后的文本数据扩充数据集，即使在少量文本数据的情况下，也能提升模型对文本特征的提取能力，另外，在通过聚类学习得到的第一概率分布的基础上，结合对比学习基于增广数据得到的第二概率分布，有利于提升模型对用户兴趣模式捕捉的准确度，利用准确度更高的兴趣模式更容易确定用户感兴趣的文本内容，从而有利于提升文本推荐的准确度。
在一种可能的实施方式中，增广后的文本数据包括第一增广矩阵和第二增广矩阵，在对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量方面，处理单元702具体用于：
对第一增广矩阵进行卷积，得到第一特征图和第二特征图；
对第一特征图进行最大池化，得到第一池化特征图，以及对第二特征图进行最大池化得到第二池化特征图；
将第一池化特征图与第二池化特征图进行拼接，得到第三特征向量；
对第二增广矩阵进行卷积，得到第三特征图和第四特征图；
对第三特征图进行最大池化，得到第三池化特征图，以及对第四特征图进行最大池化得到第四池化特征图；
将第三池化特征图与第四池化特征图进行拼接，得到第四特征向量；
将第三特征向量和第四特征向量确定为第二特征向量。
在一种可能的实施方式中，在基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布方面，处理单元702具体用于：
采用全连接层对第三特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第三概率分布；
采用全连接层对第四特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第四概率分布；
将第三概率分布和第四概率分布确定为第二概率分布。
在一种可能的实施方式中，处理单元702还用于：
根据第一概率分布计算聚类损失函数值；
根据第二概率分布计算对比损失函数值；
根据聚类损失函数值和对比损失函数值中的至少一者对神经网络参数进行更新，得到神经网络模型。
在一种可能的实施方式中，在根据第一概率分布计算聚类损失函数值方面，处理单元702具体用于：
根据第一概率分布确定目标分布；
根据第一概率分布和目标分布确定KL散度；
根据KL散度和样本文本的数量计算聚类损失函数值。
在一种可能的实施方式中，在根据第二概率分布计算对比损失函数值方面，处理单元702具体用于：
计算第三特征向量和第四概率分布的第一负余弦值，以及计算第四特征向量与第三概率分布的第二负余弦值；
采用第一负余弦值、第二负余弦值和样本文本的数量计算对比损失函数值。
在一种可能的实施方式中，在对历史浏览文本进行编码，得到历史浏览文本的第一特征向量方面，处理单元702具体用于：
获取历史浏览文本的词向量矩阵；
对词向量矩阵进行填充，得到填充后的矩阵；
对填充后的矩阵进行卷积，得到第五特征图和第六特征图；
对第五特征图进行最大池化，得到第五池化特征图，以及对第六特征图进行最大池化得到第六池化特征图；
将第五池化特征图和第六池化特征图进行拼接，得到第一特征向量。
根据本申请的一个实施例，图7所示的基于对比学习的文本推荐装置的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于对比学习的文本推荐装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的基于对比学习的文本推荐装置设备，以及来实现本申请实施例的基于对比学习的文本推荐方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图8，该电子设备至少包括处理器801、输入设备802、输出设备803以及计算机存储介质804。其中，电子设备内的处理器801、输入设备802、输出设备803以及计算机存储介质804可通过总线或其他方式连接。
计算机存储介质804可以存储在电子设备的存储器中，所述计算机存储介质804用于存储计算机程序，所述计算机程序包括程序指令，所述处理器801用于执行所述计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器801可以用于进行一系列基于对比学习的文本推荐处理：
获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；
基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；
对历史浏览文本进行数据增广处理，得到增广后的文本数据；
对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；
基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；
根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。
可以看出，在图8所示的电子设备中，通过获取用户的历史浏览文本，对历史浏览文本进行编码，得到历史浏览文本的第一特征向量；基于第一特征向量预测历史浏览文本在预设兴趣类别上的第一概率分布；对历史浏览文本进行数据增广处理，得到增广后的文本数据；对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量；基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布；根据第一概率分布和第二概率分布确定用户的兴趣模式，以及基于兴趣模式为用户推荐文本。这样通过对用户的历史浏览文本进行数据增广，以增广后的文本数据扩充数据集，即使在少量文本数据的情况下，也能提升模型对文本特征的提取能力，另外，在通过聚类学习得到的第一概率分布的基础上，结合对比学习基于增广数据得到的第二概率分布，有利于提升模型对用户兴趣模式捕捉的准确度，利用准确度更高的兴趣模式更容易确定用户感兴趣的文本内容，从而有利于提升文本推荐的准确度。
再一个实施例中，增广后的文本数据包括第一增广矩阵和第二增广矩阵，处理器801执行对增广后的文本数据进行编码，得到历史浏览文本的第二特征向量，包括：
对第一增广矩阵进行卷积，得到第一特征图和第二特征图；
对第一特征图进行最大池化，得到第一池化特征图，以及对第二特征图进行最大池化得到第二池化特征图；
将第一池化特征图与第二池化特征图进行拼接，得到第三特征向量；
对第二增广矩阵进行卷积，得到第三特征图和第四特征图；
对第三特征图进行最大池化，得到第三池化特征图，以及对第四特征图进行最大池化得到第四池化特征图；
将第三池化特征图与第四池化特征图进行拼接，得到第四特征向量；
将第三特征向量和第四特征向量确定为第二特征向量。
再一个实施例中，处理器801执行
基于第二特征向量预测历史浏览文本在预设兴趣类别上的第二概率分布，包括：
采用全连接层对第三特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第三概率分布；
采用全连接层对第四特征向量进行分类，得到历史浏览文本在预设兴趣类别上的第四概率分布；
将第三概率分布和第四概率分布确定为第二概率分布。
再一个实施例中，编码是通过神经网络模型执行的，处理器801还用于执行：
根据第一概率分布计算聚类损失函数值；
根据第二概率分布计算对比损失函数值；
根据聚类损失函数值和对比损失函数值中的至少一者对神经网络参数进行更新，得到神经网络模型。
再一个实施例中，处理器801执行根据第一概率分布计算聚类损失函数值，包括:
根据第一概率分布确定目标分布；
根据第一概率分布和目标分布确定KL散度；
根据KL散度和样本文本的数量计算聚类损失函数值。
再一个实施例中，处理器801执行根据第二概率分布计算对比损失函数值，包括：
计算第三特征向量和第四概率分布的第一负余弦值，以及计算第四特征向量与第三概率分布的第二负余弦值；
采用第一负余弦值、第二负余弦值和样本文本的数量计算对比损失函数值。
再一个实施例中，处理器801执行对历史浏览文本进行编码，得到历史浏览文本的第一特征向量，包括：
获取历史浏览文本的词向量矩阵；
对词向量矩阵进行填充，得到填充后的矩阵；
对填充后的矩阵进行卷积，得到第五特征图和第六特征图；
对第五特征图进行最大池化，得到第五池化特征图，以及对第六特征图进行最大池化得到第六池化特征图；
将第五池化特征图和第六池化特征图进行拼接，得到第一特征向量。
示例性的，电子设备包括但不仅限于处理器801、输入设备802、输出设备803以及计算机存储介质804。还可以包括内存、电源、应用客户端模块等。输入设备802可以是键盘、触摸屏、射频接收器等，输出设备803可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器801执行计算机程序时实现上述的基于对比学习的文本推荐方法中的步骤，因此上述基于对比学习的文本推荐方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器801的计算机存储介质。在一个实施例中，可由处理器801加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关基于对比学习的文本推荐方法的相应步骤。
示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的基于对比学习的文本推荐方法中的步骤，因此上述基于对比学习的文本推荐方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于对比学习的文本推荐方法，其特征在于，所述方法包括：
获取用户的历史浏览文本，对所述历史浏览文本进行编码，得到所述历史浏览文本的第一特征向量；
基于所述第一特征向量预测所述历史浏览文本在预设兴趣类别上的第一概率分布；
对所述历史浏览文本进行数据增广处理，得到增广后的文本数据；
对所述增广后的文本数据进行编码，得到所述历史浏览文本的第二特征向量；
基于所述第二特征向量预测所述历史浏览文本在预设兴趣类别上的第二概率分布；
根据所述第一概率分布和所述第二概率分布确定用户的兴趣模式，以及基于所述兴趣模式为用户推荐文本。
2.根据权利要求1所述的方法，其特征在于，所述增广后的文本数据包括第一增广矩阵和第二增广矩阵，所述对所述增广后的文本数据进行编码，得到所述历史浏览文本的第二特征向量，包括：
对所述第一增广矩阵进行卷积，得到第一特征图和第二特征图；
对所述第一特征图进行最大池化，得到第一池化特征图，以及对所述第二特征图进行最大池化得到第二池化特征图；
将所述第一池化特征图与所述第二池化特征图进行拼接，得到所述第三特征向量；
对所述第二增广矩阵进行卷积，得到第三特征图和第四特征图；
对所述第三特征图进行最大池化，得到第三池化特征图，以及对所述第四特征图进行最大池化得到第四池化特征图；
将所述第三池化特征图与所述第四池化特征图进行拼接，得到所述第四特征向量；
将所述第三特征向量和所述第四特征向量确定为所述第二特征向量。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二特征向量预测所述历史浏览文本在预设兴趣类别上的第二概率分布，包括：
采用全连接层对所述第三特征向量进行分类，得到所述历史浏览文本在预设兴趣类别上的第三概率分布；
采用全连接层对所述第四特征向量进行分类，得到所述历史浏览文本在预设兴趣类别上的第四概率分布；
将所述第三概率分布和所述第四概率分布确定为所述第二概率分布。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述编码是通过神经网络模型执行的，所述方法还包括：
根据所述第一概率分布计算聚类损失函数值；
根据所述第二概率分布计算对比损失函数值；
根据所述聚类损失函数值和所述对比损失函数值中的至少一者对神经网络参数进行更新，得到所述神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一概率分布计算聚类损失函数值，包括:
根据所述第一概率分布确定目标分布；
根据所述第一概率分布和所述目标分布确定KL散度；
根据所述KL散度和所述样本文本的数量计算所述聚类损失函数值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第二概率分布计算对比损失函数值，包括：
计算所述第三特征向量和所述第四概率分布的第一负余弦值，以及计算所述第四特征向量与所述第三概率分布的第二负余弦值；
采用所述第一负余弦值、所述第二负余弦值和所述样本文本的数量计算所述对比损失函数值。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述历史浏览文本进行编码，得到所述历史浏览文本的第一特征向量，包括：
获取所述历史浏览文本的词向量矩阵；
对所述词向量矩阵进行填充，得到填充后的矩阵；
对所述填充后的矩阵进行卷积，得到第五特征图和第六特征图；
对所述第五特征图进行最大池化，得到第五池化特征图，以及对所述第六特征图进行最大池化得到第六池化特征图；
将所述第五池化特征图和所述第六池化特征图进行拼接，得到所述第一特征向量。
8.一种基于对比学习的文本推荐装置，其特征在于，所述装置包括获取单元和处理单元；
所述获取单元，用于获取用户的历史浏览文本；
所述处理单元，用于对所述历史浏览文本进行编码，得到所述历史浏览文本的第一特征向量；
所述处理单元，还用于基于所述第一特征向量预测所述历史浏览文本在预设兴趣类别上的第一概率分布；
所述处理单元，还用于对所述历史浏览文本进行数据增广处理，得到增广后的文本数据；
所述处理单元，还用于对所述增广后的文本数据进行编码，得到所述历史浏览文本的第二特征向量；
所述处理单元，还用于基于所述第二特征向量预测所述历史浏览文本在预设兴趣类别上的第二概率分布；
所述处理单元，还用于根据所述第一概率分布和所述第二概率分布确定用户的兴趣模式，以及基于所述兴趣模式为用户推荐文本。
9.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。
CN202111148783.4A 2021-09-28 2021-09-28 基于对比学习的文本推荐方法及相关设备 Pending CN113869420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148783.4A CN113869420A (zh) 2021-09-28 2021-09-28 基于对比学习的文本推荐方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148783.4A CN113869420A (zh) 2021-09-28 2021-09-28 基于对比学习的文本推荐方法及相关设备

Publications (1)

Publication Number Publication Date
CN113869420A true CN113869420A (zh) 2021-12-31

Family

ID=78992418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148783.4A Pending CN113869420A (zh) 2021-09-28 2021-09-28 基于对比学习的文本推荐方法及相关设备

Country Status (1)

Country Link
CN (1) CN113869420A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724183A (zh) * 2022-04-08 2022-07-08 平安科技（深圳）有限公司 人体关键点检测方法、系统、电子设备及可读存储介质
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法
WO2023134067A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 语音分类模型的训练方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023134067A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 语音分类模型的训练方法、装置、设备及存储介质
CN114724183A (zh) * 2022-04-08 2022-07-08 平安科技（深圳）有限公司 人体关键点检测方法、系统、电子设备及可读存储介质
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法
CN116227428B (zh) * 2023-05-08 2023-07-18 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法

Similar Documents

Publication Publication Date Title
US8447120B2 (en) Incremental feature indexing for scalable location recognition
CN113869420A (zh) 基于对比学习的文本推荐方法及相关设备
US9830526B1 (en) Generating image features based on robust feature-learning
US20200057958A1 (en) Identification and application of hyperparameters for machine learning
CN110647921B (zh) 一种用户行为预测方法、装置、设备及存储介质
CN110321422A (zh) 在线训练模型的方法、推送方法、装置以及设备
US11216459B2 (en) Multi-layer semantic search
CN109697451B (zh) 相似图像聚类方法及装置、存储介质、电子设备
CN109344893B (zh) 一种基于移动终端的图像分类方法
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN110209658A (zh) 数据清洗方法和装置
CN111062431A (zh) 图像聚类方法、图像聚类装置、电子设备及存储介质
CN112070550A (zh) 基于搜索平台的关键词确定方法、装置、设备及存储介质
CN112118295A (zh) 文件缓存方法、装置、边缘节点以及计算机可读存储介质
CN115456043A (zh) 分类模型处理、意图识别方法、装置和计算机设备
CN113315851A (zh) 域名检测方法、装置及存储介质
CN116684491A (zh) 一种基于深度学习的动态缓存方法、装置、设备和介质
CN111814051B (zh) 一种资源类型确定方法及装置
CN112115268B (zh) 基于特征编码器的训练方法及装置、分类方法及装置
CN115098771A (zh) 推荐模型更新方法、推荐模型训练方法及计算设备
CN114154051A (zh) 信息推荐方法、装置、设备及存储介质
CN111639260A (zh) 内容推荐方法及其装置、存储介质
CN116501993B (zh) 房源数据推荐方法及装置
KR20200036173A (ko) 사용자 그루핑 및 그룹별 선호 기계학습 분석 알고리즘을 추천하는 방법 및 장치
CN115455306B (zh) 推送模型训练、信息推送方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination