CN116842942A - 数据处理方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种数据处理方法、装置及电子设备，所述方法包括：利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；利用所述第一标签信息更新所述第二处理模型。

Description

数据处理方法、装置及电子设备

技术领域

本公开涉及数据意图识别技术，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

在智能客服场景中，需要对对话日志进行意图分析，一般是人工预定义一个意图体系(schema)，再使用预训练大语言模型(Large Language Model，LLM)生成意图标签。但由于LLM并没有学习我们具体的schema的划分粒度和方向，经常会遗漏关键信息或者增加无关冗余信息，导致模型倾向于只是在给定体系下选择一个最相似结果，很难持续发现新的意图，无法利用LLM去优化意图体系，降低了用户使用体验。

发明内容

本公开提供了一种数据处理方法、装置及电子设备。

根据本公开的第一方面，提供一种数据处理方法，包括：

利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；

将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；

利用所述第一标签信息更新所述第二处理模型。

作为一种可选方式，将所述第二数据集和第三数据集输入所述第一处理模型进行处理，包括：

确定所述第三数据集中是否存在与所述第二数据集对应的数据；

若否，则利用所述第一处理模型将所述第二数据集和所述第三数据集生成第二数据子集，将所述第二数据子集确定为所述第一标签信息。

作为一种可选方式，利用所述第一标签信息更新所述第二处理模型，包括：

利用所述第一标签信息更新所述第一数据集，得到第四数据集，所述第四数据集中的意图标签数量多于所述第一数据集的意图标签数量；

利用所述第四数据集更新所述第二处理模型。

作为一种可选方式，利用所述第一标签信息更新所述第二处理模型，包括：

获得第一reward权重值，所述第一reward权重值为在得到所述第一标签信息时得到；

获得第二reward权重值，所述第二reward权重值为在得到所述第二数据集时得到；

基于所述第一reward权重值和所述第二reward权重值对所述第二处理模型进行更新优化。

作为一种可选方式，还包括：

利用第五数据集创建所述第二处理模型，所述第五数据集的数据量小于所述第一数据集。

作为一种可选方式，所述利用第五数据集创建所述第二处理模型包括：

从所述第一数据集抽取部分数据；

对所抽取的部分数据加标签信息，得到所述第五数据集；

将所述第五数据集中数据作为训练语料，利用预设模型对词序列出现的频率进行学习预测，得到预测参数，将所述预测参数赋予所述预设模型，得到所述第二处理模型。

作为一种可选方式，还包括：

根据所述第一数据集确定至少一个标签意图；

在目标图文库中查找与所述至少一个标签意图匹配的至少一个意图图片；

将查找到的所述至少一个意图图片与所述至少一个标签意图之间的对应关系，作为所述第三数据集。

作为一种可选方式，还包括：

利用所述第一标签信息在目标图文库中查找与所述第一标签信息匹配的第一意图图片；

将所述第一意图图片与所述第一标签信息之间的对应关系，添加到所述所述第三数据集中。

根据本公开的第二方面，提供一种数据处理装置，包括：

生成模块，用于利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；

处理模块，用于将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；

更新模块，用于利用所述第一标签信息更新所述第二处理模型。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的数据处理方法的步骤。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开所述的数据处理方法的步骤。

本公开的数据处理方法、装置及电子设备，通过对第一数据子集进行条件推理，得到第二数据集，利用第一处理模型对第二数据集和第三数据集进行处理，得到第一数据集的第一标签信息，并利用第一标签信息对第二处理模型进行更新，使其具有更精准的语义理解能力，对关键词的提取更精准。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本公开实施例的数据处理方法的实现流程示意图一；

图2示出了本公开实施例的数据处理方法的实现流程示意图二；

图3示出了本公开实施例的数据处理方法的实现流程示意图三；

图4示出了本公开实施例的数据处理方法的实现示意图；

图5示出了本公开实施例的数据处理装置的组成结构示意图；

图6示出了本公开实施例一种电子设备的组成结构示意图。

具体实施方式

为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1示出了本公开实施例的数据处理方法的实现流程示意图一，如图1所示，本公开实施例的数据处理方法包括以下处理步骤：

步骤101，利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集。

作为一种示例，第一处理模型可以包括预训练大语言模型(Large LanguageModel，LLM)，如可以是多模态LLM，至少支持文本数据与图像数据之间的关联处理，作为一种示例，多模态LLM可以实现自然语言的推理，支持多种各种对话文本、对话语音等的处理。多模态LLM也可以实现文本数据与数据列表之间关联关系的处理等。

本公开实施例中，第一数据集可以的针对某种主题或某些主题的对话数据，如目前智能客户与各种用户之间的关于业务、服务或商品之间的对话，这些对话包括语音数据、基于语音数据进行文本转换后的对话日志文本，也可以是其他场景下的数据，如地图数据、访客数据、交通数据等等，其中，地图数据可以包含用户输入的语音或文本导航信息，地图智能客户与用户之间的对话文本或对话语音数据等，访客数据可以是各种网页界面访客基于网页页面内容发表的评论，基于评论本身发表的再评论等数据，交通数据包括道路通行实时状况、通行平均速度、是否存在交通事故等的实时交通信息，也可以是历史交通数据等。

本公开实施例中，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到。

第二处理模型可以是监督学习训练模型Policy LM。利用Policy LM，通过对所述第一数据集进行关键短语数据的智能提取，生成所述第一数据集的多个关键短语，这些多个关键短语作为线索提示集。第一数据子集可以包括线索提示集。

第二数据集可以是对话日志数据的摘要。

本公开实施例中，Policy LM和LLM仅为示例性说明，并非用于限定，具有同类性能或数据分析能力的相关处理模型或处理模块等，均可作为Policy LM或LLM的替代。

步骤102，将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息。

本公开实施例中，当获取到第二数据集后，将第二数据集和第三数据集输入第一处理模型进行处理，即可获得第一标签信息。具体地，确定所述第三数据集中是否存在与所述第二数据集对应的数据；若否，则利用所述第一处理模型将所述第二数据集和所述第三数据集生成第二数据子集，将所述第二数据子集确定为所述第一标签信息。当确定所述第三数据集中存在与所述第二数据集对应的数据，将第三数据集中对应于第二数据集的相关数据作为第一数据集的标签信息。

本公开实施例中，第一标签信息与指定标签信息不同，这里的指定标签可以是基于第一数据集预先确定的标签信息。

所述第三数据集与所述第一数据集的数据类型不同。第三数据集可以是标签及其图片的对应关系集。具体地，根据所述第一数据集确定至少一个标签意图；在目标图文库中查找与所述至少一个标签意图匹配的至少一个意图图片；将查找到的所述至少一个意图图片与所述至少一个标签意图之间的对应关系，作为所述第三数据集。这里，目标图文库可以是外部图文知识库。

步骤103，利用所述第一标签信息更新所述第二处理模型。

利用所述第一标签信息更新所述第一数据集，得到第四数据集，所述第四数据集中的意图标签数量多于所述第一数据集的意图标签数量；利用所述第四数据集更新所述第二处理模型。

本公开实施例中，当确定第一标签信息为非第三数据集中的数据时，利用所述第一标签信息更新所述第一数据集。

其中，利用所述第四数据集更新所述第二处理模型，包括：获得第一reward权重值，所述第一reward权重值为在得到所述第一标签信息时得到；获得第二reward权重值，所述第二reward权重值为在得到所述第二数据集时得到；基于所述第一reward权重值和所述第二reward权重值对所述第二处理模型进行更新优化。具体地，可以根据第一reward权重值与第一reward的乘积，并与第二reward权重值与第二reward的乘积求和，将求和结果作为reward，来作为第二处理模型的优化后参数。

本公开实施例中，通过对第一数据子集进行条件推理，得到第二数据集，利用第一处理模型对第二数据集和第三数据集进行处理，得到第一数据集的第一标签信息，并利用第一标签信息对第二处理模型进行更新，使其具有更精准的语义理解能力，对关键词的提取更精准。

图2示出了本公开实施例的数据处理方法的实现流程示意图二，如图2所示，本公开实施例的数据处理方法包括以下处理步骤：

步骤201，利用第五数据集创建所述第二处理模型。

本公开实施例之间，第五数据集的数据量小于所述第一数据集。作为一种实现方式，从所述第一数据集抽取部分数据，可以通过few-shot方式，对所抽取部分数据进行标签插入，生成训练数据，作为第五数据集。

具体地，利用第五数据集创建所述第二处理模型，包括：从所述第一数据集抽取部分数据，对所抽取的部分数据加标签信息，得到所述第五数据集；将所述第五数据集中数据作为训练语料，利用预设模型对词序列出现的频率进行学习预测，得到预测参数，将所述预测参数赋予所述预设模型，得到所述第二处理模型。

第二处理模型可以包括policy LM模型。

步骤202，利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集。

本步骤与步骤101的处理方式相同，这里不再赘述其实现细节。

步骤203，将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息。

本步骤与步骤102的处理方式相同，这里不再赘述其实现细节。

步骤204，利用所述第一标签信息更新所述第二处理模型。

本步骤与步骤103的处理方式相同，这里不再赘述其实现细节。

本公开实施例，通过对第一数据子集进行条件推理，得到第二数据集，利用第一处理模型对第二数据集和第三数据集进行处理，得到第一数据集的第一标签信息，并利用第一标签信息对第二处理模型进行更新，使其具有更精准的语义理解能力，对关键词的提取更精准。

图3示出了本公开实施例的数据处理方法的实现流程示意图三，如图3所示，本公开实施例的数据处理方法包括以下处理步骤：

步骤301，利用第五数据集创建所述第二处理模型。

本步骤与步骤201的处理方式相同，这里不再赘述其实现细节。步骤202，利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集。

本步骤与步骤101的处理方式相同，这里不再赘述其实现细节。

步骤302，利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集。

本步骤与步骤101的处理方式相同，这里不再赘述其实现细节。

步骤303，将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息。

本步骤与步骤102的处理方式相同，这里不再赘述其实现细节。

步骤304，利用所述第一标签信息更新所述第二处理模型。

本步骤与步骤103的处理方式相同，这里不再赘述其实现细节。

步骤305，利用所述第一标签信息更新第三数据集。

具体地，利用所述第一标签信息在目标图文库中查找与所述第一标签信息匹配的第一意图图片；将所述第一意图图片与所述第一标签信息之间的对应关系，添加到所述所述第三数据集中。

本公开实施例，通过对第一数据子集进行条件推理，得到第二数据集，利用第一处理模型对第二数据集和第三数据集进行处理，得到第一数据集的第一标签信息，并利用第一标签信息对第二处理模型进行更新，使其具有更精准的语义理解能力，对关键词的提取更精准。

以下通过具体示例，进一步阐明本公开实施例的技术方案的本质。

本示例以对话日志作为数据处理的基础，其仅为示例性说明，并非是限定，其可以是其他的数据如评论数据，语音交互数据等。

为方便叙述，做以下定义：

定义一个意图类别集合，C＝{c1,c2,…,cn}，每个元素表示一种预定义意图。该意图类别集合C可以基于前述的日志数据而生成。如通过对日志数据的深度分析，确定其意图。

定义一个标注的训练集D<L,K,S,I,>

其中L＝{l1,l2,…,ln}，每个元素对应一个对话日志；K＝{k1,k2,…,kn}，每个元素对应该日志的关键短语序列；S＝{s1,s2,…,sn}，每个元素对应该日志的摘要；I＝{i1,i2,…,in}，每个元素对应该日志的意图；

定义一个外部图文检索知识库G＝G(P,T)；P表示图片的集合,T表示文本的集合。

利用few-shot数据，构建一个线索生成policy LM模型。这里，few-shot数据可以是标注的训练集D<L,K,S,I,>。

自动从日志中抽取关键片段(N个关键词组)，利用LLM，基于给定线索进行条件生成，控制摘要生成的方向和内容；通过多模态推理，检索外部图文知识库引入视觉维度信息，扩大相似意图标签之间的差异，使之能识别体系外的意图。当发现新意图后，通多模态信息生成关键主题词，同时两阶段的reward加权使用强化学习(Reinforcement Learning，RL)方式动态微调线索生成policy LM模型，优化线索生成模型，提高意图准确率，同时鼓励其持续泛化新意图的线索，提高LLM在下游对话意图分析能力，进一步利用LLM持优化现有的意图体系，提高用户体验。

图4示出了本公开实施例的数据处理方法的实现示意图，如图4所示，本公开实施例的数据处理方法包括：

利用few-shot训练集，通过监督学习训练policy LM，生成对话日志的多个关键短语作为线索提示k。

利用LLM进行条件生成，使之根据对话日志在k的基础上生成摘要s。

检索外部图文知识库G，将候选意图标签C转化为图片P。

利用多模态LLM进行语义推理，使之根据摘要s从候选意图中选择符合的图片并输出其ID，如果不在选项中则输出None。

如果模型输出ID则回找原本意图标签，如果输出None则再次调用LLM根据摘要s和其在图文知识库转化后的图片生成keymention作为新的意图标签。

将新意图加入意图体系，更新体系，迭代语料。在新的语料上通用强化学习(Reinforcement Learning，RL)的方式优化policy LM。

图5示出了本公开实施例的数据处理装置的组成结构示意图，如图5所示，本公开实施例的数据处理装置包括：

生成模块50，用于利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；

处理模块51，用于将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；

更新模块52，用于利用所述第一标签信息更新所述第二处理模型。

处理模块51，还用于确定所述第三数据集中是否存在与所述第二数据集对应的数据；若否，则利用所述第一处理模型将所述第二数据集和所述第三数据集生成第二数据子集，将所述第二数据子集确定为所述第一标签信息。

更新模块52，还用于利用所述第一标签信息更新所述第一数据集，得到第四数据集，所述第四数据集中的意图标签数量多于所述第一数据集的意图标签数量；利用所述第四数据集更新所述第二处理模型。

在示例性实施例中，生成模块50、处理模块51、更新模块52等可以被一个或多个中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics ProcessingUnit)、应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现。

关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

图6示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例的数据处理方法的步骤。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，包括：

利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；

将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；

利用所述第一标签信息更新所述第二处理模型。

2.根据权利要求1所述的方法，其中，将所述第二数据集和第三数据集输入所述第一处理模型进行处理，包括：

确定所述第三数据集中是否存在与所述第二数据集对应的数据；

若否，则利用所述第一处理模型将所述第二数据集和所述第三数据集生成第二数据子集，将所述第二数据子集确定为所述第一标签信息。

3.根据权利要求1或2所述的方法，其中，利用所述第一标签信息更新所述第二处理模型，包括：

利用所述第一标签信息更新所述第一数据集，得到第四数据集，所述第四数据集中的意图标签数量多于所述第一数据集的意图标签数量；

利用所述第四数据集更新所述第二处理模型。

4.根据权利要求3所述的方法，其中，利用所述第一标签信息更新所述第二处理模型，包括：

获得第一reward权重值，所述第一reward权重值为在得到所述第一标签信息时得到；

获得第二reward权重值，所述第二reward权重值为在得到所述第二数据集时得到；

基于所述第一reward权重值和所述第二reward权重值对所述第二处理模型进行更新优化。

5.根据权利要求1所述的方法，还包括：

利用第五数据集创建所述第二处理模型，所述第五数据集的数据量小于所述第一数据集。

6.根据权利要求5所述的方法，其中，所述利用第五数据集创建所述第二处理模型包括：

从所述第一数据集抽取部分数据；

对所抽取的部分数据加标签信息，得到所述第五数据集；

将所述第五数据集中数据作为训练语料，利用预设模型对词序列出现的频率进行学习预测，得到预测参数，将所述预测参数赋予所述预设模型，得到所述第二处理模型。

7.根据权利要求1所述的方法，还包括：

根据所述第一数据集确定至少一个标签意图；

在目标图文库中查找与所述至少一个标签意图匹配的至少一个意图图片；

将查找到的所述至少一个意图图片与所述至少一个标签意图之间的对应关系，作为所述第三数据集。

8.根据权利要求1所述的方法，还包括：

利用所述第一标签信息在目标图文库中查找与所述第一标签信息匹配的第一意图图片；

将所述第一意图图片与所述第一标签信息之间的对应关系，添加到所述所述第三数据集中。

9.一种数据处理装置，包括：

生成模块，用于利用第一处理模型对从第一数据集中获得的第一数据子集进行条件生成处理，得到第二数据集，所述第一数据子集通过第二处理模型对所述第一数据集进行关键数据提取得到；

处理模块，用于将所述第二数据集和第三数据集输入所述第一处理模型进行处理，得到第一标签信息，所述第一标签信息与指定标签信息不同，所述第三数据集与所述第一数据集的数据类型不同；

更新模块，用于利用所述第一标签信息更新所述第二处理模型。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述的数据处理方法的步骤。