CN113434689A - 一种基于在线会话标注的模型训练方法及装置 - Google Patents
一种基于在线会话标注的模型训练方法及装置 Download PDFInfo
- Publication number
- CN113434689A CN113434689A CN202110978287.5A CN202110978287A CN113434689A CN 113434689 A CN113434689 A CN 113434689A CN 202110978287 A CN202110978287 A CN 202110978287A CN 113434689 A CN113434689 A CN 113434689A
- Authority
- CN
- China
- Prior art keywords
- session
- message
- model
- training
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种基于在线会话标注的模型训练方法及装置,获取目标通信应用在线会话中的当前的会话消息;获取当前的会话消息中包括关键提取内容的目标会话消息;根据关键提取内容的定义对目标会话消息添加第一标识;根据初始的会话标注模型,得到被标识有第二标识的当前的会话消息;根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于迭代训练初始的会话标注模型的正负训练样本并进行训练,得到最终的会话标注模型。这样,本申请通过识别在线会话消息的关键提取内容进行标识标注,并将标注后的会话消息自动转机器学习训练,从而可以训练得到准确率较高的会话标注模型以及缩短模型训练周期。
Description
技术领域
本申请涉及人工智能技术领域,尤其是涉及一种基于在线会话标注的模型训练方法及装置。
背景技术
AI算法构建的主要流程包括数据采集标注、模型学习训练、部署应用、迭代优化等。其中数据采集标注是指完成数据收集,并对数据进行筛选、标注、分类的过程。模型训练学习是根据已知标识好的数据寻找模型参数的过程。
现有技术主要采用在线会话生产、离线标注训练的模式。当没有算法模型的时候,由标注团队(人员)先采样部分生产会话数据样本,然后将样本分发给相应的标注人员开展标注工作。标注人员根据自己对会话内容的理解,完成相应会话数据标注,并将标注后的数据用于模型训练,再将训练优化好的算法模型应用于生产系统。但是这种标注方法存在以下缺点:(一)、数据采集、数据标注、算法训练、模型生成、应用于生产系统整体周期较长,算法模型迭代优化周期较长。(二)、标注人员一般不是会话实际参与者,无法达到对会话语境的准确理解,导致准确性较低,标准性较差。
发明内容
有鉴于此,本申请的目的在于提供一种基于在线会话标注的模型训练方法及装置,通过识别在线标注过的会话消息中的关键提取内容,得到带有标识的目标会话消息,再通过与初始的会话标注模型得到的会话消息进行比对,得到训练所述初始的会话标注模型的正负训练样本,从而可以训练得到准确率较高的会话标注模型,进而可以缩短模型训练周期。
本申请实施例提供了一种基于在线会话标注的模型训练方法,所述模型训练方法包括:
获取目标通信应用在线会话中的当前的会话消息;
获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;
根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;
将所述当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;
根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;
使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
可选的,所述获取所述会话消息中包括关键提取内容的目标会话消息,包括:
使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
可选的,通过以下步骤构建所述初始的会话标注模型:
获取目标通信应用在线会话中的历史的会话消息;
获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;
根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;
使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
可选的,所述根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本,包括:
当所述一致性比对的结果为内容一致但标签不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第二标识的会话消息发送至目标用户,以供目标用户对标识有第二标识的会话消息进行确认,将目标用户确认过的标识有第二标识的会话消息确定为用于训练所述初始的会话标注模型的正训练样本或负训练样本。
可选的,所述模型训练方法还包括:
响应于目标用户对标识有第一标识的目标会话消息的操作或响应于目标用户对标识有第二标识的会话消息的操作,得到待处理数据以及所述待处理数据的标签;
基于待处理数据的标签,确定与处理所述待处理数据相应的处理系统,将所述待处理数据发送至相应的处理系统。
本申请实施例还提供了一种基于在线会话标注的模型训练装置,所述模型训练装置包括:
第一获取模块,用于获取目标通信应用在线会话中的当前的会话消息;
第二获取模块,用于获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;
第一标识模块,用于根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;
第二标识模块,用于将当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;
一致性比对模块,用于根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;
迭代训练模块,用于使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
可选的,所述第二获取模块在用于获取所述当前的会话消息中包括关键提取内容的目标会话消息时,所述第二获取模块用于:
使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
可选的,所述模型训练装置还包括初始模型构建模块,所述初始模型构建模块用于:
获取目标通信应用在线会话中的历史的会话消息;
获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;
根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;
使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
可选的,所述一致性比对模块在用于根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本时,所述一致性比对模块用于:
当所述一致性比对的结果为内容一致但标签不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第二标识的会话消息发送至目标用户,以供目标用户对标识有第二标识的会话消息进行确认,将目标用户确认过的标识有第二标识的会话消息确定为用于训练所述初始的会话标注模型的正训练样本或负训练样本。
可选的,所述模型训练装置还包括处理系统确定模块,所述处理系统确定模块用于:
响应于目标用户对标识有第一标识的目标会话消息的操作或响应于目标用户对标识有第二标识的会话消息的操作,得到待处理数据以及所述待处理数据的标签;
基于待处理数据的标签,确定与处理所述待处理数据相应的处理系统,将所述待处理数据发送至相应的处理系统。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的模型训练方法的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的模型训练方法的步骤。
本申请实施例提供的基于在线会话标注的模型训练方法及装置,所述模型训练方法包括:获取目标通信应用在线会话中的当前的会话消息;获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;将所述会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
这样,本申请通过将即时会话数据标注由事后批量离线标注变为对话过程中的在线实时标注,实现了数据的在线采集,并且提升了标注效率、标准准确率以及处理会话消息数据的能力,从而将标注好会话数据自动进行机器学习训练以及发送至对应的数据处理系统中进行数据处理,进而可以有效的缩短模型训练周期以及提升工作效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种基于在线会话标注的模型训练方法的流程图;
图2为本申请实施例所提供的一种基于在线会话标注的模型训练装置的结构示意图之一;
图3为本申请实施例所提供的一种基于在线会话标注的模型训练装置的结构示意图之二;
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
AI算法构建的主要流程包括数据采集标注、模型学习训练、部署应用、迭代优化等。其中数据采集标注是指完成数据收集,并对数据进行筛选、标注、分类的过程。模型训练学习是根据已知标识好的数据寻找模型参数的过程。
现有技术主要采用在线会话生产、离线标注训练的模式。当没有算法模型的时候,由标注团队(人员)先采样部分生产会话数据样本,然后将样本分发给相应的标注人员开展标注工作。标注人员根据自己对会话内容的理解,完成相应会话数据标注,并将标注后的数据用于模型训练,再将训练优化好的算法模型应用于生产系统。但是这种标注方法存在以下缺点:(一)、数据采集、数据标注、算法训练、模型生成、应用于生产系统整体周期较长,算法模型迭代优化周期较长。(二)、标注人员一般不是会话实际参与者,无法达到对会话语境的准确理解,导致准确性较低,标准性较差。
基于此,本申请实施例提供了一种基于在线会话标注的模型训练方法,通过识别在线标注过的会话消息中的关键提取内容,得到带有标识的目标会话消息,再通过与初始的会话标注模型得到的会话消息进行比对,得到训练所述初始的会话标注模型的正负训练样本,从而可以训练得到准确率较高的会话标注模型,进而可以缩短模型训练周期。
请参阅图1,图1为本申请实施例所提供的一种基于在线会话标注的模型训练方法的流程图。如图1中所示,本申请实施例提供的基于在线会话标注的模型训练方法,包括:
S101、获取目标通信应用在线会话中的当前的会话消息。
该步骤中,目标通信应用可以为即时通信软件,当前的会话消息可以为开始进行会话消息提取的时刻。
这里,会话消息包括问答方和回复方在即时通信软件会话场景下,双方进行多轮交流的会话消息。
其中,问答方可以为客户,回复方可以为员工。
S102、获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容。
该步骤中,对即时通信软件会话场景中的当前会话消息进行关键提取内容识别,将包括关键提取内容的指定会话消息提取出来,得到目标会话消息。
这里,目标会话消息可以为对应的当前的会话消息中的全部会话消息,也可以为当前的会话消息中的部分会话消息。
其中,关键提取内容中可以包括预设关键词、预设关键语句和预设符号中的至少一个。并且关键提取内容为预先设定的,关键提取内容与目标会话消息的标识有关,也和提取目标会话消息的提取方式有关。
可选的,所述获取所述会话消息中包括关键提取内容的目标会话消息,包括:使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及之间两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
该步骤中,根据预先设定的提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;这里,预设的提取策略对应多种会话信息提取方式,具体对应哪种提取方式是由会话信息中包括的关键提取内容决定的,其中,具体哪种关键提取内容对应哪种提取方式可以由用户根据需求自由设定。
这里,预定提取策略可以包括以下项中的任意一项:
(一)、提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略。
这里,特定消息为目标会话消息的首句,特定消息的回复为目标会话消息的尾句,提取的目标会话消息即为首句到尾句的全部会话消息,也是一组连续对话消息。其中,关键提取内容一般由会话参与者添加至所述特定消息的回复消息中。
需要说明的是,特定消息为回复方在即时通信软件中选定的需要进行回复的消息,特定消息为问答方在即时通信软件中某次输入的某句/某段会话。特定消息是回复者操控即时通信软件中的指定控件得到的,所以该消息中会有特定标识,在从会话消息中提取目标会话消息时,即可确定话轮中那句话为特定消息。此外,对特定消息的回复消息也有自己特定标识,也可以被识别出。
示例的,假设即时通信软件为企业A信时,员工判断客户多轮会话内容属于需求、问题咨询、问题处理投诉意图时,或者员工判断需要对会话中重要实体进行内容表示时。则员工通过企业A信自带的引用功能,选定某条消息选择企业A信的引用控件,然后就可以对客户的特定消息进行回复,并在回复时使用预设的关键提取内容。这里,员工引用的客户语句即为特定语句。
(二)、提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略。
这里,部分指定会话消息为预先设定好的。示例的,部分指定会话消息可以为特定消息和特定消息的回复消息之间的前两句会话消息、也可以为后两句消息,在此不做限定。即提取一组连续对话消息中的部分消息。
(三)、仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
这里,从会话消息中提取仅包括特定消息和特定消息的回复信息的一个对话问答对,得到目标会话消息。
S103、根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息。
该步骤中,在提取到目标会话消息后,根据目标消息包含的关键提取内容对目标会话消息进行意图标识识别,根据识别出的意图标识,对该目标会话消息添加对应的意图标识。这里,所述第一标识即为意图标识。
示例的,假设关键提取内容为“收到需求”,则对应的第一标识为“需求”标识;假设关键提取内容为“收到问题”,则对应的第一标识为“工单”标识;假设关键提取内容为“收到投诉”,则对应的第一标识为“投诉”标识等。
S104、将所述会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息。
该步骤中,在通过关键提取内容提取目标会话消息时,并行执行以下步骤,将目标通信应用在线会话中的当前的会话消息输入至初始的会话标注模型中,初始的会话标注模型对输入的会话数据进行实时识别、提取以及意图标识,得到带有第二标识的会话信息。
这里,初始的会话标注模型是基于在线标注的会话信息进行初始训练得到的机器学习模型,会话标注模型是用于输出被添加意图标识的会话信息的机器学习模型。
可选的,通过以下步骤构建所述初始的会话标注模型:获取目标通信应用在线会话中的历史的会话消息;获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
该步骤中,历史的会话消息为提取目标会话消息之前的某时间段的会话信息。这里,获取训练会话标注神经网络的带有第三标识的历史目标会话消息的提取方法与获取带有第一标识的目标会话消息的方法相同,在此不再赘述。
然后,使用得到的带有第三标识的历史目标会话消息训练会话标注神经网络,当达到初始模型训练结束条件时,停止训练,得到初始的会话标注模型。
这里,训练结束条件的选定可以由模型识别准确率、模型的损失值、训练时长等因素进行选定,在此不做限定。
S105、根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对。
该步骤中,将系统同时并行操作,根据关键提取内容提取的有第一标识的目标会话消息和使用初始的会话标注模型得到的有第二标识的会话消息进行内容一致性和/或标签一致性比对,筛选出用于训练所述初始的会话标注模型的正负训练样本。
这里,训练初始的会话标注模型实际上是对初始的会话标注模型进行迭代优化。
可选的,所述根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本,包括:当所述一致性比对的结果为内容一致但标签不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;当所述一致性比对的结果为内容不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;当所述一致性比对的结果为内容不一致时,将标识有第二标识的会话消息发送至目标用户,以供目标用户对标识有第二标识的会话消息进行确认,将目标用户确认过的标识有第二标识的会话消息确定为用于训练所述初始的会话标注模型的正训练样本或负训练样本。
这里,筛选训练初始的会话标注模型的正负训练样本的方法,具体包括以下步骤:
首先,将根据关键提取内容提取的有第一标识的目标会话消息和使用初始的会话标注模型得到的有第二标识的会话消息,分别进行内容一致性比对,当标识有第一标识的目标会话消息与标识有第二标识的会话消息内容匹配一致后,再进行标识比对,当标识比对不一致时,则将该有第一标识的目标会话消息作为训练初始的会话标注模型的正样本数据。这里标识比对是意图标识比对,其中,第一标识的目标会话消息实际为在线标识方式提取的消息。
该步骤中,在进行内容一致性比对时,可能会出现内容不一致的标识有第一标识的目标会话消息和标识有第二标识的会话消息。这种情况下,将有第一标识的目标会话消息作为训练初始的会话标注模型的正样本数据。将有第二标识的会话消息发送至应用前端,应用前端的用户对发送过来的消息数据和意图标识进行人工确认或者人工修正等,将人工确认或人工修正后的具有标识的会话消息确定为用于进行模型训练的正训练样本或负训练样本。这里,应用前端的用户是目标用户,目标用户可以为会话参与者。这里,可以将人工确认后标识错误的有第二标识的会话数据确定为负样本。
可选的,所述模型训练方法还包括:响应于目标用户对标识有第一标识的目标会话消息的操作或响应于目标用户对标识有第二标识的会话消息的操作,得到待处理数据以及所述待处理数据的标签;基于待处理数据的标签,确定与处理所述待处理数据相应的处理系统,将所述待处理数据发送至相应的处理系统。
该步骤中,基于关键提取内容提取的带有标识的目标会话数据以及通过会话标注模型得到的带有标识的会话数据除了用于模型训练,还用于发送至对应的处理系统中。具体可包括以下方式:将有第一标识的目标会话消息或所述第二标识的会话消息发送至应用前端,由应用前端的用户对数据进行人工确认、修正、以及选择指定消息数据,确定出业务数据处理系统所能处理的待处理数据。并根据接收到的会话消息的标识,确定待处理数据的标签,人工确认后,将确认后的数据发送至计算机,由计算机根据待处理数据的标识,确定能处理待处理数据的处理系统,并该所述待处理数据发送至相应的处理系统中。
这里,所述第二标识的会话数据为进行一致性比对过程中,内容不一致的有第二标识的会话信息。
其中,处理系统可以包括工单意图、需求管理系统、投诉处理系统、知识库、标签系统等。
可选的,通过关键提取内容提取到的目标会话消息都需发送至前端应用,由前端应用的用户进行人工确认、修正等,生成对应于不同处理系统的不同待处理数据。
S106、使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
该步骤中,确定出用于训练初始的会话标注模型的正负样本数据后,使用正负样本数据对初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
本申请实施例提供的基于在线会话标注的模型训练方法,所述模型训练方法包括:获取目标通信应用在线会话中的当前的会话消息;获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;将所述当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
这样,本申请通过将即时会话数据标注由事后批量离线标注变为对话过程中的在线实时标注,提升了标注效率和标准准确率,从而使用标注好的会话数据自动进行机器学习训练以及发送至对应的数据处理系统中进行数据处理,进而可以有效的缩短模型训练周期以及提升工作效率。
请参阅图2、图3,图2为本申请实施例所提供的一种基于在线会话标注的模型训练装置的结构示意图之一,图3为本申请实施例所提供的一种基于在线会话标注的模型训练装置的结构示意图之二。如图2中所示,所述模型训练装置200包括:
第一获取模块210,用于获取目标通信应用在线会话中的当前的会话消息;
第二获取模块220,用于获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;
第一标识模块230,用于根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;
第二标识模块240,用于将所述当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;
一致性比对模块250,用于根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;
迭代训练模块260,用于使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
可选的,所述第二获取模块220在用于获取所述当前的会话消息中包括关键提取内容的目标会话消息时,所述第二获取模块220用于:
使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
可选的,如图3所示,所述模型训练装置200还包括初始模型构建模块270,所述初始模型构建模块270用于:
获取目标通信应用在线会话中的历史的会话消息;
获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;
根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;
使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
可选的,所述一致性比对模块250在用于根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本时,所述一致性比对模块250用于:
当所述一致性比对的结果为内容一致但标签不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第二标识的会话消息发送至目标用户,以供目标用户对标识有第二标识的会话消息进行确认,将目标用户确认过的标识有第二标识的会话消息确定为用于训练所述初始的会话标注模型的正训练样本或负训练样本。
可选的,所述模型训练装置200还包括处理系统确定模块280,所述处理系统确定模块280用于:
响应于目标用户对标识有第一标识的目标会话消息的操作或响应于目标用户对标识有第二标识的会话消息的操作,得到待处理数据以及所述待处理数据的标签;
基于待处理数据的标签,确定与处理所述待处理数据相应的处理系统,将所述待处理数据发送至相应的处理系统。
请参阅图4,图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示,所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令,当电子设备400运行时,所述处理器410与所述存储器420之间通过总线430通信,所述机器可读指令被所述处理器410执行时,可以执行如上述图1所示方法实施例中的模型训练方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的模型训练方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于在线会话标注的模型训练方法,其特征在于,所述模型训练方法包括:
获取目标通信应用在线会话中的当前的会话消息;
获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;
根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;
将所述当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的会话消息;
根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;
使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
2.根据权利要求1所述的模型训练方法,其特征在于,所述获取所述会话消息中包括关键提取内容的目标会话消息,包括:
使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
3.根据权利要求1所述的模型训练方法,其特征在于,通过以下步骤构建所述初始的会话标注模型:
获取目标通信应用在线会话中的历史的会话消息;
获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;
根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;
使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
4.根据权利要求1所述的模型训练方法,其特征在于,所述根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本,包括:
当所述一致性比对的结果为内容一致但标签不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第一标识的目标会话消息确定为用于训练所述初始的会话标注模型的正训练样本;
当所述一致性比对的结果为内容不一致时,将标识有第二标识的会话消息发送至目标用户,以供目标用户对标识有第二标识的会话消息进行确认,将目标用户确认过的标识有第二标识的会话消息确定为用于训练所述初始的会话标注模型的正训练样本或负训练样本。
5.根据权利要求4所述的模型训练方法,其特征在于,所述模型训练方法还包括:
响应于目标用户对标识有第一标识的目标会话消息的操作或响应于目标用户对标识有第二标识的会话消息的操作,得到待处理数据以及所述待处理数据的标签;
基于待处理数据的标签,确定与处理所述待处理数据相应的处理系统,将所述待处理数据发送至相应的处理系统。
6.一种基于在线会话标注的模型训练装置,其特征在于,所述模型训练装置包括:
第一获取模块,用于获取目标通信应用在线会话中的当前的会话消息;
第二获取模块,用于获取所述当前的会话消息中包括关键提取内容的目标会话消息;所述关键提取内容表征包括含有预设关键词、预设关键语句和预设符号中至少一个的内容;
第一标识模块,用于根据所述关键提取内容的定义对所述目标会话消息进行标识,得到被标识有第一标识的目标会话消息;
第二标识模块,用于将所述当前的会话消息输入初始的会话标注模型,得到被标识有第二标识的所述当前的会话消息;
一致性比对模块,用于根据使用标识有第一标识的目标会话消息与标识有第二标识的会话消息进行一致性比对的结果,筛选出用于训练所述初始的会话标注模型的正负训练样本;所述一致性比对包括文本一致性比对和/或标识一致性比对;
迭代训练模块,用于使用所述正负训练样本对所述初始的会话标注模型进行迭代训练,更新所述初始的会话标注模型,以得到最终的会话标注模型。
7.根据权利要求6所述的模型训练装置,其特征在于,所述第二获取模块在用于获取所述当前的会话消息中包括关键提取内容的目标会话消息时,所述第二获取模块用于:
使用预定提取策略从所述会话消息中提取包括关键提取内容的目标会话消息;所述预定提取策略包括以下项中的任意一项:提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的所有会话消息的策略;提取所述会话消息中包括的特定消息和特定消息的回复以及两者之间的部分指定会话消息的策略;仅提取所述会话消息中的特定消息和特定消息的回复信息的策略。
8.根据权利要求6所述的模型训练装置,其特征在于,所述模型训练装置还包括初始模型构建模块,所述初始模型构建模块用于:
获取目标通信应用在线会话中的历史的会话消息;
获取所述历史的会话消息中包括关键提取内容的所述历史的目标会话消息;
根据所述关键提取内容的定义对所述历史的目标会话消息进行标识,得到被标识有第三标识的历史目标会话消息;
使用所述标识有第三标识的历史目标会话消息训练会话标注神经网络,生成初始的会话标注模型。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至5任一所述的基于在线会话标注的模型训练方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至5任一所述的基于在线会话标注的模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110978287.5A CN113434689B (zh) | 2021-08-25 | 2021-08-25 | 一种基于在线会话标注的模型训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110978287.5A CN113434689B (zh) | 2021-08-25 | 2021-08-25 | 一种基于在线会话标注的模型训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113434689A true CN113434689A (zh) | 2021-09-24 |
CN113434689B CN113434689B (zh) | 2021-12-28 |
Family
ID=77797806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110978287.5A Active CN113434689B (zh) | 2021-08-25 | 2021-08-25 | 一种基于在线会话标注的模型训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113434689B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115062629A (zh) * | 2022-07-12 | 2022-09-16 | 平安科技(深圳)有限公司 | 会话信息的识别方法及装置、存储介质、计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038208A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 上下文信息识别模型的训练方法、装置和存储介质 |
US20180373979A1 (en) * | 2017-06-22 | 2018-12-27 | Adobe Systems Incorporated | Image captioning utilizing semantic text modeling and adversarial learning |
CN110457449A (zh) * | 2019-07-05 | 2019-11-15 | 阿里巴巴集团控股有限公司 | 在线训练模型的方法、装置、设备及存储介质 |
CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
CN112257812A (zh) * | 2020-11-12 | 2021-01-22 | 四川云从天府人工智能科技有限公司 | 一种标注样本确定方法、装置、机器可读介质及设备 |
-
2021
- 2021-08-25 CN CN202110978287.5A patent/CN113434689B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180373979A1 (en) * | 2017-06-22 | 2018-12-27 | Adobe Systems Incorporated | Image captioning utilizing semantic text modeling and adversarial learning |
CN108038208A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 上下文信息识别模型的训练方法、装置和存储介质 |
CN110457449A (zh) * | 2019-07-05 | 2019-11-15 | 阿里巴巴集团控股有限公司 | 在线训练模型的方法、装置、设备及存储介质 |
CN112257812A (zh) * | 2020-11-12 | 2021-01-22 | 四川云从天府人工智能科技有限公司 | 一种标注样本确定方法、装置、机器可读介质及设备 |
CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115062629A (zh) * | 2022-07-12 | 2022-09-16 | 平安科技(深圳)有限公司 | 会话信息的识别方法及装置、存储介质、计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113434689B (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108256591B (zh) | 用于输出信息的方法和装置 | |
CN102971703B (zh) | 数据库搜索的加强查询 | |
CN105096016B (zh) | 印刷订单自动生成方法和装置 | |
CN113379398B (zh) | 一种项目需求的生成方法、装置、电子设备及存储介质 | |
CN104915359A (zh) | 主题标签推荐方法及装置 | |
CN113434689B (zh) | 一种基于在线会话标注的模型训练方法及装置 | |
CN110837998A (zh) | 一种合同审核方法、装置、设备以及介质 | |
WO2020000801A1 (zh) | 多方协作项目的问题处理方法、系统及服务器 | |
CN112363903A (zh) | 故障报告生成方法、装置、电子设备和计算机可读介质 | |
CN111211970B (zh) | 一种邮件联系人添加方法、装置及存储介质 | |
CN114971530A (zh) | 基于自然语言处理的协同运维方法及装置 | |
CN111723205B (zh) | 会议纪要处理方法、装置及会议纪要处理设备 | |
CN113362045A (zh) | 会议日程的生成方法、装置、电子设备及可读存储介质 | |
CN112101892A (zh) | 数据处理方法及服务端设备 | |
CN104104580A (zh) | 一种群组信息的处理方法、群组信息系统及相关装置 | |
US11334719B2 (en) | Systems and methods for predicting mapping between named entities and parameters using a model based on same predefined number of words that occur prior to the named entity via machine learning techniques | |
CN112241445B (zh) | 一种标注方法及装置、电子设备、存储介质 | |
CN111882419B (zh) | 质检文件的方法、装置及服务器 | |
CN111291042B (zh) | 一种用于供电服务的电力数据处理系统及方法 | |
CN113077288A (zh) | 消息推送方法、装置、计算机设备及计算机可读存储介质 | |
CN112633919A (zh) | 一种智能客服的实现方法及系统 | |
CN111242468A (zh) | 一种基于分布式的自动化生成评估报告的方法 | |
CN112241448A (zh) | 应答信息生成方法、装置、设备及存储介质 | |
CN115271668A (zh) | 一种项目管理的方法和系统 | |
CN110349626B (zh) | 基于生物云平台的测序数据分析系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |