CN117784948A - 输入推荐方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种输入推荐方法、装置、设备及可读存储介质。预先对大语言模型的输入推荐能力进行训练，得到输入推荐模型，基于用户的当前输入内容、用户的当前输入场景以及用户的个性化特征信息，调用输入推荐模型，得到输入推荐模型生成的候选输入结果，基于输入推荐模型生成的候选输入结果，生成最终候选输入结果，本方案在输入推荐时考虑了用户的个性化特征信息，且基于具有超强的语言理解能力、生成能力、逻辑推理能力的大语言模型实现输入推荐，因此，可为用户提供高质量的、个性化的候选输入。

Description

输入推荐方法、装置、设备及可读存储介质

技术领域

本申请涉及人工智能技术领域，更具体的说，是涉及一种输入推荐方法、装置、设备及可读存储介质。

背景技术

随着信息技术的不断发展，各式各样的智能终端在人们的生活工作中日益普及，智能终端通常采用各种各样的输入法来辅助用户输入，利用输入法来提高用户输入的效率在很大程度上取决于输入法推荐的候选输入。

但是，目前的输入法在推荐候选输入时，提供的候选输入质量较差，而且无法满足用户的个性化需求。

因此，如何提供一种输入推荐方法，以便为用户提供高质量的、个性化的候选输入，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于上述问题，本申请提出了一种输入推荐方法、装置、设备及可读存储介质，以便为用户提供高质量的、个性化的候选输入。具体方案如下：

一种输入推荐方法，所述方法包括：

获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

可选地，所述基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，包括：

确定输入推荐任务类型；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt；

将所述与所述输入推荐任务类型匹配的prompt输入所述输入推荐模型，得到所述输入推荐模型生成的候选输入结果。

可选地，所述基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt，包括：

获取预配置的与所述输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽以及用户个性化特征信息槽；

将所述用户的当前输入内容填充至所述输入内容槽中，将所述用户的当前输入场景填充至所述输入场景槽中，将所述用户的个性化特征信息填充至所述用户个性化特征信息槽中，得到所述与所述输入推荐任务类型匹配的prompt。

可选地，所述输入推荐任务类型包括输入解码任务、智能联想任务、会聊任务中的任意一种。

可选地，所述输入推荐模型的训练方式包括：

获取预训练数据集，所述预训练数据集包括输入法相关数据；

利用所述预训练数据集对所述大语言模型进行预训练，得到预训练后的大语言模型；

构建有监督微调数据集，所述有监督微调数据集中包括与不同输入推荐任务类型匹配的训练用prompt、以及，每个训练用prompt对应的候选输入结果标签；

利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调，得到所述输入推荐模型。

可选地，所述用户的个性化特征信息是通过如下方式确定的：

获取所述用户的历史输入数据，所述历史输入数据用于指示所述用户在各种输入场景下的历史输入内容；

基于所述用户的历史输入数据，确定所述用户的个性化特征信息。

可选地，所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果，包括：

获取输入法编辑器给出的候选输入结果；

针对所述输入推荐模型生成的候选输入结果和所述输入法编辑器给出的候选输入结果中的每个候选输入，计算所述候选输入的最终得分；

基于各个候选输入的最终得分，对所述各个候选输入进行降序排序，生成所述最终候选输入结果。

可选地，在所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果之后，所述方法还包括：

获取所述用户对所述最终候选输入结果的操作行为数据；

基于所述操作行为数据对所述输入推荐模型进行迭代优化。

一种输入推荐装置，所述装置包括：

获取单元，用于获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

输入推荐单元，用于基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

最终候选输入结果生成单元，用于基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

可选地，所述输入推荐单元，包括：

任务类型确定单元，用于确定输入推荐任务类型；

Prompt生成单元，用于基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt；

输入单元，用于将所述与所述输入推荐任务类型匹配的prompt输入所述输入推荐模型，得到所述输入推荐模型生成的候选输入结果。

可选地，所述prompt生成单元，具体用于：

获取预配置的与所述输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽以及用户个性化特征信息槽；

将所述用户的当前输入内容填充至所述输入内容槽中，将所述用户的当前输入场景填充至所述输入场景槽中，将所述用户的个性化特征信息填充至所述用户个性化特征信息槽中，得到所述与所述输入推荐任务类型匹配的prompt。

可选地，所述输入推荐任务类型包括输入解码任务、智能联想任务、会聊任务中的任意一种。

可选地，所述装置还包括：输入推荐模型训练单元，所述输入推荐模型训练单元，具体用于：

获取预训练数据集，所述预训练数据集包括输入法相关数据；

利用所述预训练数据集对所述大语言模型进行预训练，得到预训练后的大语言模型；

构建有监督微调数据集，所述有监督微调数据集中包括与不同输入推荐任务类型匹配的训练用prompt、以及，每个训练用prompt对应的候选输入结果标签；

利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调，得到所述输入推荐模型。

可选地，所述装置还包括个性化特征信息确定单元，所述个性化特征信息确定单元，具体用于：

获取所述用户的历史输入数据，所述历史输入数据用于指示所述用户在各种输入场景下的历史输入内容；

基于所述用户的历史输入数据，确定所述用户的个性化特征信息。

可选地，所述最终候选输入结果生成单元，具体用于：

获取输入法编辑器给出的候选输入结果；

针对所述输入推荐模型生成的候选输入结果和所述输入法编辑器给出的候选输入结果中的每个候选输入，计算所述候选输入的最终得分；

基于各个候选输入的最终得分，对所述各个候选输入进行降序排序，生成所述最终候选输入结果。

可选地，所述装置还包括：模型迭代优化单元，所述模型迭代优化单元，具体用于：

获取所述用户对所述最终候选输入结果的操作行为数据；

在所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果之后，基于所述操作行为数据对所述输入推荐模型进行迭代优化。

一种输入推荐设备，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上所述的输入推荐方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的输入推荐方法的各个步骤。

借由上述技术方案，本申请公开了一种输入推荐方法、装置、设备及可读存储介质。预先对大语言模型的输入推荐能力进行训练，得到输入推荐模型，基于用户的当前输入内容、用户的当前输入场景以及用户的个性化特征信息，调用输入推荐模型，得到输入推荐模型生成的候选输入结果，基于输入推荐模型生成的候选输入结果，生成最终候选输入结果，本方案在输入推荐时考虑了用户的个性化特征信息，且基于具有超强的语言理解能力、生成能力、逻辑推理能力的大语言模型实现输入推荐，因此，可为用户提供高质量的、个性化的候选输入。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例公开的一种输入推荐方法的流程示意图；

图2为本申请实施例公开的一种确定用户的个性化特征信息的示意图；

图3为本申请实施例公开的一种调用输入推荐模型，得到输入推荐模型生成的候选输入结果的方法的流程示意图；

图4为本申请实施例公开的一种输入推荐模型的训练方法示意图；

图5为本申请实施例公开的一种基于输入推荐模型生成的候选输入结果，生成最终候选输入结果的方法的流程示意图；

图6为本申请实施例公开的一种输入推荐装置结构示意图；

图7为本申请实施例公开的一种输入推荐设备的硬件结构框图。

具体实施方式

在介绍本申请方案之前，首先对本文中涉及到的英文进行解释：

prompt：指示指令。在借助AI(如大语言模型)进行对话时，需要向AI发送的指令，其可以是一段文字描述，比如你和AI对话时输入的“请帮我推荐一首流行音乐”，也可以是按照一定格式的参数描述，比如让AI按照一定格式进行绘图，需要描述相关绘图参数。

大语言模型：(Large language model，LLM)是指基于Transformer结构的生成式深度神经网络模型，其具备超强的具有超强的语言理解能力、生成能力、逻辑推理能力及多轮对话能力，常见的大语言模型如ChatGPT模型、PaLM(Pathways Language Model)模型、盘古大模型、文心一言大模型、星火认知大模型等。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在当今信息时代的背景下，推荐系统已经成为互联网服务和电子商务平台中不可或缺的一部分，推荐系统通过分析用户的历史行为和个人特征，为其提供个性化的推荐结果。为了提供一种输入推荐方法，便为用户提供高质量的、个性化的候选输入，本案发明人进行研究，起初的思路为：将现有推荐系统使用的推荐方法应用于输入法的候选输入推荐中。

现有推荐系统使用的推荐方法主要包括基于规则的推荐方法、协同过滤推荐方法、内容过滤推荐方法、基于深度学习的推荐方法等。

其中，基于规则的推荐方法使用预定义的规则或规则库来生成推荐结果。这些规则可以基于领域知识、专家经验或用户反馈等建立，用于推断用户的兴趣和推荐物品的适合程度。然而，基于规则的推荐方法往往受限于规则的设计和维护成本，难以应对大规模和复杂的推荐场景。

协同过滤推荐方法是一种常见的推荐方法，它基于用户行为数据或用户与物品之间的关系来进行推荐。分为基于用户的协同过滤和基于物品的协同过滤两种方式。基于用户的协同过滤通过寻找与目标用户行为相似的其他用户来进行推荐，而基于物品的协同过滤则是通过寻找与目标物品相似的其他物品来进行推荐。然而，传统的协同过滤方法存在数据稀疏性、冷启动问题和无法捕捉语义信息等局限性。

内容过滤推荐方法是根据物品的属性和特征进行推荐，而不依赖于用户行为数据。它通过分析物品的内容和特征，如文本、标签、属性等，来计算物品之间的相似性，然后根据用户的偏好进行推荐。内容过滤方法能够克服协同过滤中的数据稀疏性和冷启动问题，但可能受限于物品属性的获取和表示。

基于深度学习的推荐方法是利用神经网络模型进行推荐，通过学习用户和物品的表示向量，以及它们之间的关系来进行推荐。这种方法可以捕捉更复杂的特征和模式，并具备一定的个性化能力。然而，传统的基于深度学习的推荐方法在数据稀疏性和冷启动问题上仍存在挑战，并且可扩展性和实时性也存在限制。

而且，现有推荐系统使用的推荐方法主要是基于用户和物品之间的行为关系，缺乏对用户真实意图和推荐物品的语义关联的理解，另外，现有推荐系统使用的推荐方法一般需要事先加载待推荐列表，比如，待推荐的商品列表、待推荐的音乐列表、待推荐的视频列表等，只能在事先准备好的待推荐列表中进行推荐。在输入推荐系统中，事先准备好待推荐的文本列表，比如，待推荐的词语列表、待推荐的句子列表、待推荐的题目列表等是难以做到的，且难以全面覆盖。

因此，现有互联网服务和电子商务平台中推荐系统使用的推荐方法无法用作输入法的输入推荐方法。

鉴于上述思路存在的问题，本案发明人进行了深入研究发现，大规模语言模型(以下简称“大模型”)的出现在自然语言处理领域引起了广泛关注。大模型通过预训练、微调、基于人类反馈的强化学习的方式，展现出了巨大的超强的语言理解能力、逻辑推理能力、生成能力。因此，将大模型应用于输入法输入推荐方法中，应该能够为用户提供高质量的、个性化的候选输入。因此，本案发明人提供了一种基于大模型的输入推荐方法。

接下来，通过下述实施例对本申请提供的输入推荐方法进行介绍。

参照图1，图1为本申请实施例公开的一种输入推荐方法的流程示意图，该方法可以包括如下步骤：

S101：获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息。

在本申请中，用户的当前输入内容指的是用户采用当前的输入法输入的内容，输入方式包括但不限于目前常用的任意输入方式，比如，拼音输入方式、手写输入方式、语音输入方式等。

在本申请中，用户的当前输入场景指的是用户采用当前的输入法输入时所处的场景，比如购物场景、音乐场景、搜索场景、聊天场景、朋友圈发布场景等。

在本申请中，用户的个性化特征信息指的是用户的个人信息以及对输入法的使用习惯信息，作为一种可实施方式，用户的个性化特征信息包括但不限于用户的性别、年龄、职业、使用偏好、教育程度、地理位置等信息。其中，使用偏好指的是用户在使用输入法时偏向于某些功能，比如，输入法中偏向于使用26键还是9键，在拼音输入中哪些音节分不清楚，比如：“h”与“f”不分，“en”“eng”不分等。

需要说明的是，作为一种可实施方式，可以在用户知情并授权的前提下，获取用户的历史输入数据，所述历史输入数据用于指示所述用户在各种输入场景下的历史输入内容；然后基于所述用户的历史输入数据，确定所述用户的个性化特征信息。具体的，在基于所述用户的历史输入数据，确定所述用户的个性化特征信息时，可以采用较为成熟的神经网络模型实现，作为一种可实施方式，在本申请中，可以利用训练用输入数据以及训练用输入数据标注的用户个性化特征信息对BERT(Bidirectional Encoder Representationsfrom Transformers)模型进行训练，使BERT模型具备用户个性化特征信息的预测能力，则在本申请中，在基于所述用户的历史输入数据，确定所述用户的个性化特征信息时，将用户的在各种输入场景下的输入内容输入BERT模型，BERT模型输出用户的性别、年龄、职业、使用偏好、教育程度、地理位置等个性化特征信息。具体如图2所示。

S102：基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型。

在本申请中，可以将所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，输入至所述输入推荐模型，所述输入推荐模型即可输出候选输入结果。

需要说明的是，在本申请中，可以首先确定大语言模型的网络结构，再对大语言模型的输入推荐能力进行训练，即可得到输入推荐模型。大语言模型的网络结构可以采用常见的大语言模型如ChatGPT模型、PaLM(Pathways Language Model)模型、盘古大模型、文心一言大模型、星火认知大模型等中任意一种的结构，对此，本申请不进行任何限定。

S103：基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

在本申请中，作为一种可实施方式，可以直接将所述输入推荐模型生成的候选输入结果，作为最终候选输入结果。考虑到，输入推荐模型生成的候选输入结果中可能不包含用户所需的候选输入，则作为另一种可实施方式，可以获取输入法编辑器给出的候选输入结果，通过将输入法编辑器给出的候选输入结果与输入推荐模型生成的候选输入结果进行融合，得到最终候选输入结果。具体的，可以对输入法编辑器给出的候选输入结果中包含的候选输入和输入推荐模型生成的候选输入结果中包含的候选输入进行重新排序后，生成最终候选输入结果。

需要说明的是，在得到最终候选输入结果之后，需要将最终候选输入结果进行输出，用户可以对其进行各种操作，比如，从中选择符合自身需求的候选输入、对最终候选输入结果进行翻页，或者继续当前输入，以生成新的最终候选输入结果等。在本申请中，可以获取所述用户对所述最终候选输入结果的操作行为数据；基于所述操作行为数据对所述输入推荐模型进行迭代优化。

需要说明的是，所述用户对所述最终候选输入结果的操作行为数据可以进行记录，如果记录的操作行为数据达到预设长度(比如，5000至10000个字符的长度)，即可用于对所述输入推荐模型进行迭代优化。

本实施例公开了一种输入推荐方法。预先对大语言模型的输入推荐能力进行训练，得到输入推荐模型，基于用户的当前输入内容、用户的当前输入场景以及用户的个性化特征信息，调用输入推荐模型，得到输入推荐模型生成的候选输入结果，基于输入推荐模型生成的候选输入结果，生成最终候选输入结果，本方案在输入推荐时考虑了用户的个性化特征信息，且基于具有超强的语言理解能力、生成能力、逻辑推理能力的大语言模型实现输入推荐，因此，可为用户提供高质量的、个性化的候选输入。

在本申请的另一个实施例中，对步骤S102基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果的具体实现方式进行说明，如图3所示，该方式可以包括如下步骤：

S201：确定输入推荐任务类型。

考虑到输入法中包括多种不同功能，用户使用输入法的不同功能进行输入时，都可以进行输入推荐，因此，在本申请中，可以预设多种输入推荐任务类型，针对每种输入推荐任务类型，预配置与该输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽、用户个性化特征信息槽以及输入法编辑器结果槽。

作为一种可实施方式，在本申请中，所述输入推荐任务类型包括输入解码任务、智能联想任务、会聊任务中的任意一种。则在本申请中，可以预配置输入解码任务匹配的输入推荐prompt格式模板，智能联想任务匹配的输入推荐prompt格式模板和会聊任务匹配的输入推荐prompt格式模板。

为便于理解，输入解码任务匹配的输入推荐prompt格式模板示例如下：

“你需要根据以下的描述向我推荐基于当前输入的拼音序列推荐最适合当前用户的结果，该用户的个性化特征信息为：性别：xxx；年龄：xxx；职业：xxx；教育程度：xxx；地理位置：xxx；使用偏好：xxx。当前使用的输入场景为xxx场景。当前输入内容为xxx。请你根据以上信息，结合用户的个性化特征信息和场景信息，推荐该用户最有可能要输入的目标结果，结果不少于三个。”；

智能联想任务匹配的输入推荐prompt格式模板示例如下：

“你需要根据以下的描述向用户推荐基于当前用户已经选择上屏的文本内容推荐用户下一句最有可能输入的内容，可以是文字或者表情。该用户的个性化特征信息为：性别：xxx；年龄：xxx；职业：xxx；教育程度：xxx；地理位置：xxx；使用偏好：xxx。当前使用的输入场景为xxx场景。当前输入内容为xxx。请你根据以上信息，结合用户背景特征和场景信息，推荐该用户后续最可能输入的内容，结果不少于三个。”；

会聊任务匹配的输入推荐prompt格式模板示例如下：

“你需要根据以下的描述向用户推荐基于当前用户已经选择上屏的文本内容，将其改写成风格幽默、有趣、积极向上内容，基本意思要保持不变，可以包含文字和标签。该用户的个性化特征信息为：性别：xxx；年龄：xxx；职业：xxx；教育程度：xxx；地理位置：xxx；使用偏好：xxx。当前使用的输入场景为xxx场景。当前输入内容为xxx。请你根据以上信息，结合用户背景特征和场景信息，将输入内容改写成用户喜欢的风格，结果不少于三个。”

其中，xxx部分即为输入内容槽、输入场景槽、用户个性化特征信息槽中的其中一个。

需要说明的是，除了上述内容中给出的三种任务类型，与输入法相关的其他任务也在本申请的保护范围之内。

S202：基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt。

作为一种可实施方式，所述基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt，包括：获取预配置的与所述输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽以及用户个性化特征信息槽；将所述用户的当前输入内容填充至所述输入内容槽中，将所述用户的当前输入场景填充至所述输入场景槽中，将所述用户的个性化特征信息填充至所述用户个性化特征信息槽中，得到所述与所述输入推荐任务类型匹配的prompt。

为便于理解，假设用户的个性化特征信息为性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的输入场景为购物场景。当前输入内容为l’c’b。输入推荐任务类型为输入解码任务，则可以生成一条如下所示的输入解码任务匹配的prompt：

“你需要根据以下的描述向我推荐基于当前输入的拼音序列推荐最适合当前用户的结果，该用户的个性化特征信息为：性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的输入场景为购物场景。当前输入内容为l’c’b。请你根据以上信息，结合用户的个性化特征信息和场景信息，推荐该用户最有可能要输入的目标结果，结果不少于三个。”

假设用户的个性化特征信息为性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的输入场景为聊天场景。当前输入内容为“什么情况，电话也不接”，输入推荐任务类型为智能联想任务，则可以生成一条如下所示的智能联想任务匹配的prompt：

“你需要根据以下的描述向用户推荐基于当前用户已经选择上屏的文本内容推荐用户下一句最有可能输入的内容，可以是文字或者表情。该用户的个性化特征信息为：性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的场景为聊天场景。当前输入内容为“什么情况，电话也不接”。请你根据以上信息，结合用户背景特征和场景信息，推荐该用户后续最可能输入的内容，结果不少于三个。”

假设用户的个性化特征信息为性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的输入场景为朋友圈发布场景。当前输入内容为“秋天到了，这是一个美好的季节”，输入推荐任务类型为会聊任务，则可以生成一条如下所示的会聊任务匹配的prompt：

“你需要根据以下的描述向用户推荐基于当前用户已经选择上屏的文本内容，将其改写成风格幽默、有趣、积极向上内容，基本意思要保持不变，可以包含文字和标签。该用户的个性化特征信息为：性别：男；年龄：20-30岁；职业：程序员；教育程度：本科；地理位置：深圳；使用偏好：26键全简拼用户。当前使用的输入场景为朋友圈发布场景。当前输入内容为“秋天到了，这是一个美好的季节”，请你根据以上信息，结合用户背景特征和场景信息，将输入内容改写成用户喜欢的风格，结果不少于三个。”

S203：将所述与所述输入推荐任务类型匹配的prompt输入所述输入推荐模型，得到所述输入推荐模型生成的候选输入结果。

接下来，将对输入推荐模型的训练过程进行说明。

参照图4，图4为本申请实施例公开的一种输入推荐模型的训练方法示意图。如图4所示，输入推荐模型的训练方法，包括如下步骤：

S301：获取预训练数据集，所述预训练数据集包括输入法相关数据；

在本申请中，输入法相关数据可以为输入法的相关介绍数据以及输入法的应用数据。

S302：利用所述预训练数据集对所述大语言模型进行预训练，得到预训练后的大语言模型。

在本申请中，在对大语言模型进行预训练的损失函数同一般生成模型Transformer类保持一致。

S303：构建有监督微调数据集，所述有监督微调数据集中包括与不同输入推荐任务类型匹配的训练用prompt、以及，每个训练用prompt对应的候选输入结果标签。

与不同输入推荐任务类型匹配的训练用prompt的格式可参照上述实施例中的相关内容，此处不再赘述。

S304：利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调，得到所述输入推荐模型。

在本申请中，利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调时，损失函数可以为交叉熵损失。

在本申请的另一个实施例中，对步骤S103基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果的具体实现方式进行说明，参照图5，该方式可以包括如下步骤：

S401：获取输入法编辑器给出的候选输入结果。

在本申请中，输入法编辑器给出的候选输入结果指的是输入法编辑器(InputMethod Editors，IME)基于用户的当前输入内容给出的候选输入结果，比如，用户的当前输入内容为l’c’b，则输入法编辑器给出的候选输入结果可以为“里程碑，来吃吧，里程表，……”。

S402：针对所述输入推荐模型生成的候选输入结果和所述输入法编辑器给出的候选输入结果中的每个候选输入，计算所述候选输入的最终得分。

考虑到，输入法编辑器给出的候选输入结果中包含的候选输入和输入推荐模型生成的候选输入结果中包含的候选输入的打分体系不同，不能直接进行混合排序，则在本申请中，需要基于如下方式计算每个候选输入的最终得分：

假设，输入推荐模型生成的候选输入结果为r₁,r₂,...,r_m；输入法编辑器给出的候选输入结果为d₁,d₂,...,d_m；对于输入推荐模型生成的候选输入结果来说，只有两种情况，输入推荐模型生成的候选输入结果中的某一个候选输入r_i与输入法编辑器给出的候选输入结果中的某一个候选输入d_j相同或者不同。

如果输入推荐模型生成的候选输入结果中的某一个候选输入r_i与输入法编辑器给出的候选输入结果中的某一个候选输入d_j相同，即ri＝d_j时，可以基于如下公式计算该候选输入的最终得分：

MergeScore(ri)＝α·IME(d_j)+(1-α)·LLM(r_i)

其中，α为超参数，IME(d_j)为d_j输入法编辑器给出的得分，LLM(r_i)为r_i输入推荐模型给出的得分。

如果输入推荐模型生成的候选输入结果中的某一个候选输入r_i与输入法编辑器给出的候选输入结果中的某一个候选输入d_j不同，即，即ri≠d_j时，可以基于如下公式计算该候选输入的最终得分：：

MergeScore(r_i)＝β·E[IME(d1)，IME(d2)，…，IME(dn)]+(1-β)·LLM(ri)+γ·E[LLM(r_i≠d_j)]

其中，β，γ为超参数，IME(d_j)为d_j在输入法编辑器的得分，LLM(r_i)为r_i在输入推荐模型的得分，E[]为计算期望，LLM(r_i≠d_j)为输入推荐模型生成的候选输入结果中不同于输入法编辑器给出的候选输入结果的独有推荐结果，γ·E[LLM(r_i≠d_j)]用于激励系统给出更加多样性的结果。

在这两种情况下对于输入法编辑器给出的候选输入结果中独有的结果保持原分数不变，即：

MergeScore(d_i)＝IME(d_i)

S403：基于各个候选输入的最终得分，对所述各个候选输入进行降序排序，生成所述最终候选输入结果。

本案提出基于大语言模型的输入推荐方法，将推动输入法向更准确、更全面、个性化和交互性强的方向发展，提供更好的用户体验和推荐效果。

下面对本申请实施例公开的输入推荐装置进行描述，下文描述的输入推荐装置与上文描述的输入推荐方法可相互对应参照。

参照图6，图6为本申请实施例公开的一种输入推荐装置结构示意图。如图6所示，该输入推荐装置可以包括：

获取单元11，用于获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

输入推荐单元12，用于基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

最终候选输入结果生成单元13，用于基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

作为一种可实施方式，所述输入推荐单元，包括：

任务类型确定单元，用于确定输入推荐任务类型；

Prompt生成单元，用于基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt；

输入单元，用于将所述与所述输入推荐任务类型匹配的prompt输入所述输入推荐模型，得到所述输入推荐模型生成的候选输入结果。

作为一种可实施方式，所述prompt生成单元，具体用于：

获取预配置的与所述输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽以及用户个性化特征信息槽；

将所述用户的当前输入内容填充至所述输入内容槽中，将所述用户的当前输入场景填充至所述输入场景槽中，将所述用户的个性化特征信息填充至所述用户个性化特征信息槽中，得到所述与所述输入推荐任务类型匹配的prompt。

作为一种可实施方式，所述输入推荐任务类型包括输入解码任务、智能联想任务、会聊任务中的任意一种。

作为一种可实施方式，所述装置还包括：输入推荐模型训练单元，所述输入推荐模型训练单元，具体用于：

获取预训练数据集，所述预训练数据集包括输入法相关数据；

利用所述预训练数据集对所述大语言模型进行预训练，得到预训练后的大语言模型；

构建有监督微调数据集，所述有监督微调数据集中包括与不同输入推荐任务类型匹配的训练用prompt、以及，每个训练用prompt对应的候选输入结果标签；

利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调，得到所述输入推荐模型。

作为一种可实施方式，所述装置还包括个性化特征信息确定单元，所述个性化特征信息确定单元，具体用于：

获取所述用户的历史输入数据，所述历史输入数据用于指示所述用户在各种输入场景下的历史输入内容；

基于所述用户的历史输入数据，确定所述用户的个性化特征信息。

作为一种可实施方式，所述最终候选输入结果生成单元，具体用于：

获取输入法编辑器给出的候选输入结果；

针对所述输入推荐模型生成的候选输入结果和所述输入法编辑器给出的候选输入结果中的每个候选输入，计算所述候选输入的最终得分；

基于各个候选输入的最终得分，对所述各个候选输入进行降序排序，生成所述最终候选输入结果。

作为一种可实施方式，所述装置还包括：模型迭代优化单元，所述模型迭代优化单元，具体用于：

获取所述用户对所述最终候选输入结果的操作行为数据；

在所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果之后，基于所述操作行为数据对所述输入推荐模型进行迭代优化。

参照图7，图7为本申请实施例提供的一种输入推荐设备的硬件结构框图，参照图7，输入推荐设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种输入推荐方法，其特征在于，所述方法包括：

获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，包括：

确定输入推荐任务类型；

基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt；

将所述与所述输入推荐任务类型匹配的prompt输入所述输入推荐模型，得到所述输入推荐模型生成的候选输入结果。

3.根据权利要求2所述的方法，其特征在于，所述基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，生成与所述输入推荐任务类型匹配的prompt，包括：

获取预配置的与所述输入推荐任务类型匹配的输入推荐prompt格式模板，所述输入推荐prompt格式模板中包括输入内容槽、输入场景槽以及用户个性化特征信息槽；

将所述用户的当前输入内容填充至所述输入内容槽中，将所述用户的当前输入场景填充至所述输入场景槽中，将所述用户的个性化特征信息填充至所述用户个性化特征信息槽中，得到所述与所述输入推荐任务类型匹配的prompt。

4.根据权利要求2所述的方法，其特征在于，所述输入推荐任务类型包括输入解码任务、智能联想任务、会聊任务中的任意一种。

5.根据权利要求1所述的方法，其特征在于，所述输入推荐模型的训练方式包括：

获取预训练数据集，所述预训练数据集包括输入法相关数据；

利用所述预训练数据集对所述大语言模型进行预训练，得到预训练后的大语言模型；

构建有监督微调数据集，所述有监督微调数据集中包括与不同输入推荐任务类型匹配的训练用prompt、以及，每个训练用prompt对应的候选输入结果标签；

利用所述有监督微调数据集对所述预训练后的大语言模型进行监督微调，得到所述输入推荐模型。

6.根据权利要求1所述的方法，其特征在于，所述用户的个性化特征信息是通过如下方式确定的：

获取所述用户的历史输入数据，所述历史输入数据用于指示所述用户在各种输入场景下的历史输入内容；

基于所述用户的历史输入数据，确定所述用户的个性化特征信息。

7.根据权利要求1所述的方法，其特征在于，所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果，包括：

获取输入法编辑器给出的候选输入结果；

针对所述输入推荐模型生成的候选输入结果和所述输入法编辑器给出的候选输入结果中的每个候选输入，计算所述候选输入的最终得分；

基于各个候选输入的最终得分，对所述各个候选输入进行降序排序，生成所述最终候选输入结果。

8.根据权利要求1所述的方法，其特征在于，在所述基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果之后，所述方法还包括：

获取所述用户对所述最终候选输入结果的操作行为数据；

基于所述操作行为数据对所述输入推荐模型进行迭代优化。

9.一种输入推荐装置，其特征在于，所述装置包括：

获取单元，用于获取用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息；

输入推荐单元，用于基于所述用户的当前输入内容、所述用户的当前输入场景以及所述用户的个性化特征信息，调用输入推荐模型，得到所述输入推荐模型生成的候选输入结果，其中，所述输入推荐模型为通过训练得到的具备输入推荐能力的大语言模型；

最终候选输入结果生成单元，用于基于所述输入推荐模型生成的候选输入结果，生成最终候选输入结果。

10.一种输入推荐设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1至9中任一项所述的输入推荐方法的各个步骤。

11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的输入推荐方法的各个步骤。