CN114780809A - 基于强化学习的知识推送方法、装置、设备及存储介质 - Google Patents
基于强化学习的知识推送方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114780809A CN114780809A CN202210404852.1A CN202210404852A CN114780809A CN 114780809 A CN114780809 A CN 114780809A CN 202210404852 A CN202210404852 A CN 202210404852A CN 114780809 A CN114780809 A CN 114780809A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- pushing
- user
- feature vector
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002787 reinforcement Effects 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 193
- 238000012549 training Methods 0.000 claims abstract description 75
- 230000009471 action Effects 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种基于强化学习的知识推送方法、装置、设备和存储介质，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算隐藏特征向量之间的余弦相似度，得到特征向量相似度，基于特征向量相似度对知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请能够产生更符合特定用户需求的知识推送，使得知识推送价值最大化。
Description
技术领域
本申请属于自然语言处理技术领域，具体涉及一种基于强化学习的知识推送方法、装置、设备和存储介质。
背景技术
以往人们获得知识，需要主动提供检索词、再根据检索词从各类知识库或互联网搜索引擎得到知识。这种方式提高了知识获取的门槛，其主要体现在：第一、很多时候用户对想要获取知识的领域不甚了解，不能精准提供检索词，导致获取的知识并非自己想要的；第二，通过检索得到的信息过多，导致用户仍需花费大量精力去筛选，才能得到自己真正想要的知识。
近年来，主动推送知识得到了业界广泛关注。知识推送可根据用户的特征，实现对不同群体的知识推送，在一定程度上解决了以往被动查询知识的缺陷。但现有知识推送方式多是基于静态的方式，在知识推送过程中与用户缺少交互。虽然一些技术手段对用户进行了画像，但画像往往不能及时反映用户兴趣的变化，导致用户对推送的结果不满意，影响用户的使用体验。
发明内容
本申请实施例的目的在于提出一种基于强化学习的知识推送方法、装置、计算机设备及存储介质，以解决现有知识学习存在的不能及时反映用户兴趣的变化，导致用户对推送的结果不满意，影响用户的使用体验的技术问题。
为了解决上述技术问题，本申请实施例提供一种基于强化学习的知识推送方法，采用了如下所述的技术方案：
一种基于强化学习的知识推送方法，包括：
对预设信息库中的用户信息进行特征提取，得到用户特征向量；
对预设知识库中的知识进行特征提取，得到知识特征向量；
将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量；
计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度；
基于特征向量相似度对预设知识库中的知识进行排序，生成候选知识队列；
接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈；
基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型；
利用知识推送模型为推送目标用户进行第二知识推送。
进一步地，对预设信息库中的用户信息进行特征提取，得到用户特征向量的步骤，具体包括：
对预设信息库中的用户信息进行特征提取，得到用户特征；
对用户特征进行归一化处理，得到归一化特征；
对归一化特征进行特征拼接，得到拼接特征；
对拼接特征进行向量转化，得到用户特征向量。
进一步地，通过以下公式对用户特征进行归一化处理：
式中，xp为归一化特征值，xi为用户特征x的任意一个特征值，xmax为用户特征x中的最大特征值，xmin为用户特征x中的最小特征值。
进一步地，将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量的步骤，具体包括：
利用预训练语言模型对用户特征向量进行特征变换，得到第一隐藏特征向量；
利用预训练语言模型对知识特征向量进行特征变换，得到第二隐藏特征向量。
进一步地，接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈的步骤，具体包括：
接收知识推送指令，确定待推送知识数量；
基于待推送知识数量在候选知识队列中选取对应的目标知识；
将目标知识推送给推送目标用户，以完成第一知识推送，并获取推送目标用户对第一知识推送的用户反馈。
进一步地，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型的步骤，具体包括：
根据预设的评级规则对用户反馈进行评价；
获取评价结果，并基于评价结果计算行动价值得分；
基于预训练语言模型的损失函数和行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型。
进一步地，基于以下公式计算行动价值得分：
式中，S为最终行动价值得分，Si为第i个知识推送的行动价值得分，n为迭代次数，γ为价值衰减系数，其中，Si通过以下公式计算：
式中，DTi为第i个知识推送的用户反馈历时时长，Ri为评价基础分，DT为时间阈值。
为了解决上述技术问题，本申请实施例还提供一种基于强化学习的知识推送装置，采用了如下所述的技术方案：
一种基于强化学习的知识推送装置，包括：
用户特征提取模块，用于对预设信息库中的用户信息进行特征提取，得到用户特征向量；
知识特征提取模块，用于对预设知识库中的知识进行特征提取，得到知识特征向量；
预训练语言模块，用于将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量；
相似度计算模块，用于计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度；
知识排序模块，用于基于特征向量相似度对预设知识库中的知识进行排序，生成候选知识队列；
第一知识推送模块，用于接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈；
模型迭代更新模块，用于基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型；
第二知识推送模块，用于利用知识推送模型为推送目标用户进行第二知识推送。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述任一项所述的基于强化学习的知识推送方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述中任一项所述的基于强化学习的知识推送方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请公开了一种基于强化学习的知识推送方法、装置、设备和存储介质，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度，通过特征向量相似度对知识库中的知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请可以应用于其中的示例性系统架构图；
图2示出了根据本申请的基于强化学习的知识推送方法的一个实施例的流程图；
图3示出了图2中步骤S201的一个实施例的流程图；
图4示出了图2中步骤S203的一个实施例的流程图；
图5示出了图2中步骤S206的一个实施例的流程图；
图6示出了图2中步骤S207的一个实施例的流程图；
图7示出了根据本申请的基于强化学习的知识推送装置的一个实施例的结构示意图；
图8示出了根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请实施例所提供的基于强化学习的知识推送方法一般由服务器执行，相应地，基于强化学习的知识推送装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于强化学习的知识推送方法的一个实施例的流程图。本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。所述的基于强化学习的知识推送方法，包括以下步骤：
S201，对预设信息库中的用户信息进行特征提取，得到用户特征向量。
具体的，服务器从预设信息库中获取推送目标用户的用户信息，并对用户信息进行特征提取，得到推送目标用户的用户特征向量。其中，用户信息包括年龄、收入、性别、学历等等，服务器先从用户信息中提取用户特征，再对用户特征进行向量转化，得到用户特征向量，用户特征向量用于确定推送目标用户期望学习的知识。
S202，对预设知识库中的知识进行特征提取，得到知识特征向量。
具体的，预设知识库存储了根据课程设置而准备的知识，每条知识以文本形式存储，服务器通过提取依次知识库中的各个知识的特征，并对知识特征进行向量转化，得到每个知识对应的知识特征向量。
S203，将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量。
具体的，服务器分别把用户特征向量和知识特征向量分别输入预训练语言模型进行处理，其中，本申请的预训练语言模型可以是BERT模型、ALBERT模型、XLNET模型等常见的预训练语言模型中的任意一种，对此本申请并不做限定。服务器将输入向量输入预训练语言模型后，通过预训练语言模型对输入向量进行线性变换和非线性变焕，最后得到能够代表输入数据的隐藏语义特征的输出向量，即通过预训练语言模型对用户特征向量进行线性变换和非线性变焕后，得到第一隐藏特征向量，通过预训练语言模型对知识特征向量进行线性变换和非线性变焕后，得到第二隐藏特征向量。
S204，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度。
具体的，服务器通过计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到第一隐藏特征向量和第二隐藏特征向量之间的相似度，即特征向量相似度。其中，余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值，来评估两个向量的相似度，余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间，余弦值的范围在[-1,1]之间，余弦值越趋近于1，代表两个向量的方向越接近，余弦值越趋近于-1，两个向量的方向越相反，余弦值接近于0，表示两个向量近乎于正交。
S205，基于特征向量相似度对预设知识库中的知识进行排序，生成候选知识队列。
具体的，根据第一隐藏特征向量和第二隐藏特征向量之间的相似度来确定推送目标用户期望学习的知识，基于特征向量相似度对预设知识库中的知识进行排序，设定一个相似度阈值，当特征向量相似度高于相似度阈值时，将该特征向量相似度对应的知识加入“候选知识队列”，队列中按照特征向量相似度降序排列，得到候选知识队列。
S206，接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈。
具体的，服务器在接收知识推送指令后，根据知识推送指令中的需要推送的知识数量，在候选知识队列选取对应数量的知识为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈。
需要说明的是，第一知识推送可以是单次知识推送或多次知识推送，例如，在第一知识推送中，服务器为用户完成3次知识推送，并得到3次知识推送的用户反馈。
在本实施例中，基于强化学习的知识推送方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收知识推送指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S207，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型。
其中，用户在学习第一知识推送的知识后，服务器会提示用户提交对所学知识的评价，通过用户评价，服务器可以确定所推送知识是否为用户需求的知识。在本申请具体的实施例中，用户评价分为A、B、C三个等级，为帮助用户提交评价，每个等级均有相关文字描述，如A等级描述为“该知识对我非常有意义”、B等级描述为“该知识对我还算有一点意义”、C等级描述为“该知识对我没有意义”。
具体的，服务器在第一知识推送的知识后，获取第一知识推送的用户反馈，并根据预设的评价规则对用户反馈进行评分，得到第一知识推送的行动价值得分，然后基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，知识推送模型更加适应个性化推送需求，产生更符合特定用户需求的知识推送。
需要说明的是，本申请可以采用随机梯度下降算法、Adam算法等常见预训练语言模型的优化方法来实现模型迭代更新，以Pa对数和总的行动价值得分的乘积的负值为训练优化目标。
S208，利用知识推送模型为推送目标用户进行第二知识推送。
具体的，在知识推送模型完成迭代后，获得了更加适应个性化推送需求，产生更符合特定用户需求的知识推送，此时利用知识推送模型为推送目标用户进行第二知识推送，使得推送的知识更加符合推送目标用户的需求。
在上述实施例中，本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
进一步地，继续参考图3，步骤S201对预设信息库中的用户信息进行特征提取，得到用户特征向量，具体包括：
S211，对预设信息库中的用户信息进行特征提取，得到用户特征；
S212，对用户特征进行归一化处理，得到归一化特征；
S213，对归一化特征进行特征拼接，得到拼接特征；
S214，对拼接特征进行向量转化，得到用户特征向量。
具体的，服务器在对预设信息库中的用户信息进行特征提取，得到用户特征后，还需要对用户特征进行归一化处理，得到归一化特征。在本申请具体的实施例中，针对对不同用户特征采取不同处理方法，例如，针对年龄、收入等连续型特征，由于上述特征指标量纲不一样，因此采用最大-最小归一化方法进行指标归一化处理，具体的归一化处理公式如下：
式中，xp为归一化特征值，xi为用户特征x的任意一个特征值，xmax为用户特征x中的最大特征值，xmin为用户特征x中的最小特征值。
针对性别、学历等离散型特征采取赋值的方式完成归一化处理，例如针对性别特征，可赋值男性为1，赋值女性为0；针对学历特征，可赋值小学为1、初中为2、高中为3、本科为4、硕士为5、博士为6等等。服务器在完成归一化处理后，对对归一化特征进行特征拼接，得到拼接特征，再对拼接特征进行向量转化，得到用户特征向量。
进一步地，继续参考图4，步骤S203将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量的步骤，具体包括：
S231，利用预训练语言模型对用户特征向量进行特征变换，得到第一隐藏特征向量；
S232，利用预训练语言模型对知识特征向量进行特征变换，得到第二隐藏特征向量。
具体的，预训练语言模型可以对输入向量进行线性变换和非线性变焕，最后得到能够代表输入数据的隐藏语义特征的输出向量。在本申请具体的实施例中，服务器通过预训练语言模型对用户特征向量进行线性变换和非线性变焕后，得到表征用户隐藏语义特征的第一隐藏特征向量，通过预训练语言模型对知识特征向量进行线性变换和非线性变焕后，得到表征知识隐藏语义特征的第二隐藏特征向量。
进一步地，继续参考图5，步骤S206接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈的步骤，具体包括：
S261，接收知识推送指令，确定待推送知识数量；
S262，基于待推送知识数量在候选知识队列中选取对应的目标知识；
S263，将目标知识推送给推送目标用户，以完成第一知识推送，并获取推送目标用户对第一知识推送的用户反馈。
具体的，知识推送指令中包含待推送知识数量的信息，服务器接收知识推送指令后，确定待推送知识数量，基于待推送知识数量在候选知识队列中选取对应的目标知识，将目标知识推送给推送目标用户，以完成第一知识推送，并获取推送目标用户对第一知识推送的用户反馈。例如，在实践中，考虑到用户精力有限，在一段时间内用户不能学完所有知识，所以随机从这些知识中选一个推送给用户，再根据用户反馈，利用强化学习技术手段不断调整下一次推送的知识。
进一步地，继续参考图6，步骤S207基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型的步骤，具体包括：
S271，根据预设的评级规则对用户反馈进行评价；
S272，获取评价结果，并基于评价结果计算行动价值得分；
S273，基于预训练语言模型的损失函数和行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型。
其中，可以预先配置评级规则，例如，将用户评价分为A、B、C三个等级，为帮助用户提交评价，每个等级均有相关文字描述，如A等级描述为“该知识对我非常有意义”、B等级描述为“该知识对我还算有一点意义”、C等级描述为“该知识对我没有意义”。并为评价分级赋分，例如针对A、B、C三个等级分别赋予+2、+1和-1的基础得分。
具体的，根据预设的评级规则对用户反馈进行评价，获取评价结果，并基于评价结果计算行动价值得分，基于预训练语言模型的损失函数和行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型。
进一步地，基于以下公式计算行动价值得分：
式中，S为最终行动价值得分，Si为第i个知识推送的行动价值得分，n为迭代次数，γ为价值衰减系数，其中，Si通过以下公式计算：
式中，DTi为第i个知识推送的用户反馈历时时长，Ri为评价基础分，DT为时间阈值。
具体的，设定最长反馈时间间隔DT，其中，DT为人工设定值，实践中可设定为随机选择的一批用户的反馈时间间隔的平均值的2倍，单位为分钟。通过统计第一知识推送中，第i个知识推送的用户反馈历时时长DTi，当在用户反馈历时时长DTi未超过最长反馈时间间隔DT时，对用户反馈A、B、C三个等级评价，分别给予+2、+1和-1的基础得分，最后第i个知识推送的行动价值得分Si为基础得分Ri和用户反馈经历时间DT的倒数的乘积；当用户反馈历时时长DTi超过最长反馈时间间隔DT时，该次行动价值得分直接为-2。
需要说明的是，由于每一次知识推送后的行动价值得分对于后续知识推送均会产生影响，且这种影响随着迭代轮数增加会逐渐衰减，因此还需要计算每次知识推送后的潜在价值得分，定义价值衰减系数γ，通过价值衰减系数γ计算最终行动价值得分S，最后以Pa对数和最终行动价值得分S的乘积的负值为训练优化目标，得到知识推送模型。
本申请通过采用强化学习领域中的策略梯度方法进行优化，尽可能最大化价值得分，具体过程如下：训练一个对应类别为M个行动的多层神经网络，以一个二层神经网络为例，将用户特征向量和知识特征向量输入到预训练语言模型后，得到的隐藏语义特征向量作为输入向量v，将输入向量v输入多层神经网络，设第一隐藏层权重矩阵为w1，采用relu激活函数，偏置量为b1，输出o1＝relu(w1*v+b1)；设第二隐藏层权重矩阵为w2，偏置量为b2，输出o2＝relu(w2*o1+b2)，再通过softmax层得到神经网络输出o3，实践中还可以采用更多隐藏层来获得更好效果。
在上述实施例中，本申请公开了一种基于强化学习的知识推送方法，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度，通过特征向量相似度对知识库中的知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图7，作为对上述图2所示方法的实现，本申请提供了一种基于强化学习的知识推送装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例所述的基于强化学习的知识推送装置包括：
用户特征提取模块701，用于对预设信息库中的用户信息进行特征提取，得到用户特征向量；
知识特征提取模块702，用于对预设知识库中的知识进行特征提取，得到知识特征向量；
预训练语言模块703，用于将用户特征向量和知识特征向量分别输入预训练语言模型，得到预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量；
相似度计算模块704，用于计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度；
知识排序模块705，用于基于特征向量相似度对预设知识库中的知识进行排序，生成候选知识队列；
第一知识推送模块706，用于接收知识推送指令，根据候选知识队列为推送目标用户进行第一知识推送，并获取第一知识推送的用户反馈；
模型迭代更新模块707，用于基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型；
第二知识推送模块708，用于利用知识推送模型为推送目标用户进行第二知识推送。
进一步地，用户特征提取模块701具体包括：
用户特征提取单元，用于对预设信息库中的用户信息进行特征提取，得到用户特征；
归一化处理单元，用于对用户特征进行归一化处理，得到归一化特征；
用户特征拼接单元，用于对归一化特征进行特征拼接，得到拼接特征；
特征向量转化单元，用于对拼接特征进行向量转化，得到用户特征向量。
进一步地，通过以下公式对用户特征进行归一化处理：
式中，xp为归一化特征值，xi为用户特征x的任意一个特征值，xmax为用户特征x中的最大特征值，xmin为用户特征x中的最小特征值。
进一步地，预训练语言模块703具体包括：
第一特征变换单元，用于利用预训练语言模型对用户特征向量进行特征变换，得到第一隐藏特征向量；
第二特征变换单元，用于利用预训练语言模型对知识特征向量进行特征变换，得到第二隐藏特征向量。
进一步地，第一知识推送模块706具体包括：
推送指令接收单元，用于接收知识推送指令，确定待推送知识数量；
目标知识选取单元，用于基于待推送知识数量在候选知识队列中选取对应的目标知识；
第一知识推送单元，用于将目标知识推送给推送目标用户，以完成第一知识推送，并获取推送目标用户对第一知识推送的用户反馈。
进一步地，模型迭代更新模块707具体包括：
反馈评价单元，用于根据预设的评级规则对用户反馈进行评价；
价值得分计算单元，用于获取评价结果，并基于评价结果计算行动价值得分；
模型迭代更新单元，用于基于预训练语言模型的损失函数和行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型。
进一步地，基于以下公式计算行动价值得分：
式中，S为最终行动价值得分，Si为第i个知识推送的行动价值得分，n为迭代次数，γ为价值衰减系数，其中，Si通过以下公式计算：
式中，DTi为第i个知识推送的用户反馈历时时长，Ri为评价基础分，DT为时间阈值。
在上述实施例中，本申请公开了一种基于强化学习的知识推送装置，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度，通过特征向量相似度对知识库中的知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有组件81-83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器81至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器81可以是所述计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，所述存储器81也可以是所述计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器81还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，所述存储器81通常用于存储安装于所述计算机设备8的操作系统和各类应用软件，例如基于强化学习的知识推送方法的计算机可读指令等。此外，所述存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制所述计算机设备8的总体操作。本实施例中，所述处理器82用于运行所述存储器81中存储的计算机可读指令或者处理数据，例如运行所述基于强化学习的知识推送方法的计算机可读指令。
所述网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在所述计算机设备8与其他电子设备之间建立通信连接。
在本实施例中，本申请公开了一种设备，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度，通过特征向量相似度对知识库中的知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于强化学习的知识推送方法的步骤。
在本实施例中，本申请公开了一种存储介质，属于自然语言处理技术领域。本申请通过将用户特征向量和知识特征向量分别输入预训练语言模型，得到第一隐藏特征向量和第二隐藏特征向量，计算第一隐藏特征向量和第二隐藏特征向量之间的余弦相似度，得到特征向量相似度，通过特征向量相似度对知识库中的知识进行排序，生成候选知识队列，根据候选知识队列为推送目标用户进行第一知识推送，并获取用户反馈，基于用户反馈计算行动价值得分，并基于行动价值得分对预训练语言模型进行迭代更新，得到知识推送模型，利用知识推送模型为推送目标用户进行第二知识推送。本申请采用强化学习技术手段，实现了在知识学习过程中用户可以根据自身需要对推送知识达到的效果进行评价，从而引导知识推送系统更加适应个性化推送需求，产生更符合特定用户需求的知识推送，尽可能使得知识推送价值最大化。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于强化学习的知识推送方法，其特征在于，包括：
对预设信息库中的用户信息进行特征提取，得到用户特征向量；
对预设知识库中的知识进行特征提取，得到知识特征向量；
将所述用户特征向量和所述知识特征向量分别输入预训练语言模型，得到所述预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量；
计算所述第一隐藏特征向量和所述第二隐藏特征向量之间的余弦相似度，得到特征向量相似度；
基于所述特征向量相似度对所述预设知识库中的知识进行排序，生成候选知识队列；
接收知识推送指令，根据所述候选知识队列为所述推送目标用户进行第一知识推送，并获取所述第一知识推送的用户反馈；
基于所述用户反馈计算行动价值得分，并基于所述行动价值得分对所述预训练语言模型进行迭代更新，得到知识推送模型；
利用所述知识推送模型为所述推送目标用户进行第二知识推送。
2.如权利要求1所述的基于强化学习的知识推送方法，其特征在于，所述对预设信息库中的用户信息进行特征提取，得到用户特征向量的步骤，具体包括：
对预设信息库中的用户信息进行特征提取，得到用户特征；
对所述用户特征进行归一化处理，得到归一化特征；
对所述归一化特征进行特征拼接，得到拼接特征；
对所述拼接特征进行向量转化，得到所述用户特征向量。
3.如权利要求2所述的基于强化学习的知识推送方法，其特征在于，通过以下公式对所述用户特征进行归一化处理：
式中，xp为归一化特征值，xi为用户特征x的任意一个特征值，xmax为用户特征x中的最大特征值，xmin为用户特征x中的最小特征值。
4.如权利要求1所述的基于强化学习的知识推送方法，其特征在于，所述将所述用户特征向量和所述知识特征向量分别输入预训练语言模型，得到所述预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量的步骤，具体包括：
利用所述预训练语言模型对所述用户特征向量进行特征变换，得到所述第一隐藏特征向量；
利用所述预训练语言模型对所述知识特征向量进行特征变换，得到所述第二隐藏特征向量。
5.如权利要求1所述的基于强化学习的知识推送方法，其特征在于，接收知识推送指令，根据所述候选知识队列为所述推送目标用户进行第一知识推送，并获取所述第一知识推送的用户反馈的步骤，具体包括：
接收知识推送指令，确定待推送知识数量；
基于待推送知识数量在所述候选知识队列中选取对应的目标知识；
将所述目标知识推送给所述推送目标用户，以完成所述第一知识推送，并获取所述推送目标用户对所述第一知识推送的用户反馈。
6.如权利要求1至5任意一项所述的基于强化学习的知识推送方法，其特征在于，所述基于所述用户反馈计算行动价值得分，并基于所述行动价值得分对所述预训练语言模型进行迭代更新，得到知识推送模型的步骤，具体包括：
根据预设的评级规则对所述用户反馈进行评价；
获取评价结果，并基于所述评价结果计算所述行动价值得分；
基于所述预训练语言模型的损失函数和所述行动价值得分对所述预训练语言模型进行迭代更新，得到所述知识推送模型。
7.如权利要求6所述的基于强化学习的知识推送方法，其特征在于，基于以下公式计算所述行动价值得分：
式中，S为最终行动价值得分，Si为第i个知识推送的行动价值得分，n为迭代次数，γ为价值衰减系数，其中，Si通过以下公式计算：
式中，DTi为第i个知识推送的用户反馈历时时长，Ri为评价基础分，DT为时间阈值。
8.一种基于强化学习的知识推送装置，其特征在于，包括：
用户特征提取模块，用于对预设信息库中的用户信息进行特征提取，得到用户特征向量；
知识特征提取模块，用于对预设知识库中的知识进行特征提取，得到知识特征向量；
预训练语言模块，用于将所述用户特征向量和所述知识特征向量分别输入预训练语言模型，得到所述预训练语言模型输出的第一隐藏特征向量和第二隐藏特征向量；
相似度计算模块，用于计算所述第一隐藏特征向量和所述第二隐藏特征向量之间的余弦相似度，得到特征向量相似度；
知识排序模块，用于基于所述特征向量相似度对所述预设知识库中的知识进行排序，生成候选知识队列；
第一知识推送模块，用于接收知识推送指令，根据所述候选知识队列为所述推送目标用户进行第一知识推送，并获取所述第一知识推送的用户反馈；
模型迭代更新模块，用于基于所述用户反馈计算行动价值得分，并基于所述行动价值得分对所述预训练语言模型进行迭代更新，得到知识推送模型；
第二知识推送模块，用于利用所述知识推送模型为所述推送目标用户进行第二知识推送。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于强化学习的知识推送方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于强化学习的知识推送方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210404852.1A CN114780809A (zh) | 2022-04-18 | 2022-04-18 | 基于强化学习的知识推送方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210404852.1A CN114780809A (zh) | 2022-04-18 | 2022-04-18 | 基于强化学习的知识推送方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114780809A true CN114780809A (zh) | 2022-07-22 |
Family
ID=82430536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210404852.1A Pending CN114780809A (zh) | 2022-04-18 | 2022-04-18 | 基于强化学习的知识推送方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114780809A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094360A (zh) * | 2023-10-18 | 2023-11-21 | 杭州同花顺数据开发有限公司 | 一种用户表征提取方法、装置、设备及存储介质 |
-
2022
- 2022-04-18 CN CN202210404852.1A patent/CN114780809A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094360A (zh) * | 2023-10-18 | 2023-11-21 | 杭州同花顺数据开发有限公司 | 一种用户表征提取方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112632385B (zh) | 课程推荐方法、装置、计算机设备及介质 | |
| CN110287479B (zh) | 命名实体识别方法、电子装置及存储介质 | |
| CN110555714A (zh) | 用于输出信息的方法和装置 | |
| CN114780727A (zh) | 基于强化学习的文本分类方法、装置、计算机设备及介质 | |
| CN108920717B (zh) | 用于显示信息的方法及装置 | |
| CN109766418B (zh) | 用于输出信息的方法和装置 | |
| CN113806552B (zh) | 信息提取方法、装置、电子设备和存储介质 | |
| CN111767375A (zh) | 语义召回方法、装置、计算机设备及存储介质 | |
| CN112085091B (zh) | 基于人工智能的短文本匹配方法、装置、设备及存储介质 | |
| CN112785005A (zh) | 多目标任务的辅助决策方法、装置、计算机设备及介质 | |
| CN112380421A (zh) | 简历的搜索方法、装置、电子设备及计算机存储介质 | |
| CN115730597A (zh) | 多级语义意图识别方法及其相关设备 | |
| CN115099326A (zh) | 基于人工智能的行为预测方法、装置、设备及存储介质 | |
| CN114398466A (zh) | 基于语义识别的投诉分析方法、装置、计算机设备及介质 | |
| CN113761375A (zh) | 基于神经网络的消息推荐方法、装置、设备及存储介质 | |
| CN114780809A (zh) | 基于强化学习的知识推送方法、装置、设备及存储介质 | |
| CN114117048A (zh) | 一种文本分类的方法、装置、计算机设备及存储介质 | |
| CN113723077A (zh) | 基于双向表征模型的句向量生成方法、装置及计算机设备 | |
| CN113569118A (zh) | 自媒体推送方法、装置、计算机设备及存储介质 | |
| CN115392361A (zh) | 一种智能排序方法、装置、计算机设备及存储介质 | |
| CN115238077A (zh) | 基于人工智能的文本分析方法、装置、设备及存储介质 | |
| CN112733645A (zh) | 手写签名校验方法、装置、计算机设备及存储介质 | |
| CN113792342B (zh) | 一种脱敏数据还原的方法、装置、计算机设备及存储介质 | |
| CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 | |
| CN113157896B (zh) | 一种语音对话生成方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |