CN109992663A - 意向评级模型及其构建方法、计算机设备及存储介质 - Google Patents

Abstract

本公开提供了一种意向评级模型的构建方法，包括构建多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型构建成对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1。本公开还提供了一种意向评级模型、电子设备及可读存储介质。

Description

意向评级模型及其构建方法、计算机设备及存储介质

技术领域

本公开涉及一种意向评级模型及其构建方法、计算机设备及存储介质。

背景技术

现有技术中，将诸如评级的分类任务转化为多分类任务，以评级为例，由于各个评级之间的差异并非一致(例如0级与1级之间的差异明显不同于0级与5级之间的差异)，而且各个评级所标注数据的比例也非常不均匀(比如0级所标注的数据可能占据了全部级别中的一半以上等)。因此目前的多分离器模型并不能适用于诸如评级的分类任务。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种意向评级模型及其构建方法、计算机设备及存储介质。

根据本公开的一个方面，一种意向评级模型的构建方法，包括构建多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型构建成对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1。

根据本公开的至少一个实施方式，每个二分类器包括：将文本数据映射为词向量，并且在所述词向量上叠加位置向量；对叠加后的向量进行特征提取；以及将提取的特征映射至第一类意向评级及第二类意向评级，其中所述第一类意向评级包括所述m个目标意向评级中的x个目标意向评级，所述第二类意向评级包括所述m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。

根据本公开的至少一个实施方式，对叠加后的向量进行特征提取时，通过自注意力机制来进行特征提取。

根据本公开的至少一个实施方式，在对叠加后的向量进行特征提取后，还包括对提取的特征进行池化以进行降维，从而将降维后的特征映射至所述第一类意向评级及第二类意向评级。

根据本公开的至少一个实施方式，通过全连接层将特征映射至所述第一类意向评级及第二类意向评级。

根据本公开的至少一个实施方式，对于每个二分类器，所述第一类意向评级及第二类意向评级之间的内部级别差距小。

根据本公开的至少一个实施方式，当对构建的多级二分类器模型进行训练时，属于所述第一类意向评级的文本数据的数量与属于所述第二类意向评级的文本数据的数量相同或相近。

根据本公开的另一方面，一种意向评级模型，所述意向评级模型为多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型用于对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1。

根据本公开的又一方面，一种计算机设备，其特征在于，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述的方法。

根据本公开的又一方面，一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的方法。

根据本公开的再一方面，一种意向评级模型的训练方法，该意向评级模型包括多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型构建成对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1，在意向评级模型的训练时，将文本数据映射为词向量，并且在所述词向量上叠加位置向量；对叠加后的向量进行特征提取；以及将提取的特征映射至第一类意向评级及第二类意向评级，其中所述第一类意向评级包括所述m个目标意向评级中的x个目标意向评级，所述第二类意向评级包括所述m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。

根据本公开的至少一个实施方式，第一类意向评级及第二类意向评级的内部级别差距小，并且属于第一类意向评级的数据的数量与属于第一类意向评级的数据的数量相同或相近。

根据本公开的至少一个实施方式，对叠加后的向量进行特征提取时，通过自注意力机制来进行特征提取。

根据本公开的至少一个实施方式，在对叠加后的向量进行特征提取后，还包括对提取的特征进行池化以进行降维，从而将降维后的特征映射至所述第一类意向评级及第二类意向评级。

根据本公开的再一方面，一种使用意向评级模型的训练方法训练的意向评级模型进行意向评级的方法，接收预定数据格式的请求对语料进行处理，预测并返回包括评级信息的预定数据格式的数据。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是根据本公开一个实施方式的意向评级模型的示意性视图。

图2是根据本公开一个实施方式的一个二分类器的示意性视图。

图3是根据本公开一个实施方式的电子设备的示意性视图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。

为了便于理解本公开，作为本公开的一个示例性的分类应用场景，举例说明对潜在客户到店意向评级的场景。销售场景中正在大量探索使用人工智能，旨在通过使用计算机对销售线索进行挖掘，这样可以节省客户评级时间及人工成本并能取得优良的效果。到店意向评级则是通过人工智能中的自然语言处理(NLP)技术对潜在客户的到店意向进行评级，以帮助商家在后期进行销售的一项任务。以下将在客户到店意向评级的场景下进行说明，但是本领域的技术人员应当理解，本公开的技术方案也可以应用于其他分类/评级场景。

根据本公开的一个实施方式，提供了一种意向评级模型的构建方法。该方法包括构建多级二分类器模型，其中每级二分类器包括一个或多个二分类器，多级二分类器模型构建成对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中文本数据的所属意向评级，其中，m＞1。其中，文本数据可以为通过自动语音识别技术得到的文本数据。

下面将结合图1的示例来进行详细的说明。

图1中示出了，评级包括6个级别(0级至5级)，其仅为示例，本领域的技术人员可以根据实际情况对级别进行增减，此时二分类器的级数(层数)及数量等也会发生相应的变化。

在图1中示例性地示出了四级二分类器。首先将每个完整轮次(如与客户的每通电话语音)的文本数据进行输入。在第一级的二分类器11中，对输入的文本数据进行处理，例如该二分类11的输出为预测的两个大类(第一类意向评级及第二类意向评级)，在图1中，第一类意向评级为“预测为0级”，第二类意向评级为“预测为(1,2,3,4,5)级”。需要注意的是，虽然在图1中示出了二分类器11的输出为“预测为0级”及“预测为(1,2,3,4,5)级”，但是本领域技术人员应当理解也可以采用其他划分方式，例如两个输出分别是“预测为(0，1)级”及“预测为(12,3,4,5)级”，本领域的技术人员可以根据实际情况来进行划分的设定。另外，下段中说明的各二分类器的输出的划分也可以根据实际情况来进行调整。

二分类器21的两个输出分别为“预测为(1,2)级”及“预测为(3,4,5)级”，并且二分类器31的输出为“预测为1级”及“预测为2级”，二分类器32的输出为“预测为3级”及“预测为(4,5)级”，并且二分类器41的输出为“预测为4级”及“预测为5级”。例如，如果实际上属于0级的文本数据，则在应用该模型时进行预测，其通过分类器11则被预测为0级，如果实际上属于5级的文本数据，则在应用该模型时进行预测，其通过分类器11、21、32、41则被预测为5级。其他情况类似，在此不再赘述。

图2示出了每个二分类器的具体架构。如图2所示，每个二分类器中可以包括步骤S21(输入文本数据)、步骤S22(将文本数据映射为词向量)、步骤S23(叠加位置向量)、步骤S24(特征提取)及步骤S26(映射至第一类意向评级及第二类意向评级)及S27(输出)。

在步骤S21中，输入文本数据，该文本数据可以为上述的文本数据。

在步骤S22中，将文本数据映射为词向量，其中可以对文本数据进行分词处理，并将各个词通过预训练过的词向量模型转换为词向量。例如可以将文本数据进行分词，假设文本中所分的词预定为512个，如果不满512个，则例如以0补足，这样每个词都转换为n维(例如200维)的词向量，这样将形成512×200维的计算机可处理数据。

在步骤S23中，在词向量的基础上叠加位置向量，例如改变词向量中的数值的权重等。

在步骤S24中，对叠加后的向量进行特征提取。根据本公开的一个可选实施方式，可以采用自注意力(self-attention)机制来进行特征提取，例如对需要关注的特征的提取，例如提高其权重。更可选地，可以采用多头自注意力机制(Multi-Head self-attention)，以便对不同部分的特征来进行不同的处理，以得到更细致的处理。

在步骤S26中，提取的特征映射至第一类意向评级及第二类意向评级，其中第一类意向评级包括m个目标意向评级中的x个目标意向评级，第二类意向评级包括m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。例如，在图1的第一级分类器输出中，第一类意向评级为0级，而第二类意向评级为(1,2,3,4,5)级。例如，通过全连接层映射至两类意向评级中。

根据本公开的一个可选实施方式，如图2所示，每个二分类器还可以包括步骤S25(池化)，在步骤S25中，对步骤S24提取的特征进行池化处理，以降低数据的维数，例如以步骤S24生成的512×200维数据为例，可以采用平均池化处理，池化为1×200维数据。之后，在步骤S26中对池化后的数据进行处理，例如映射为0或1(例如，对于二分类器11，0表示“预测为0级”，1表示“预测为(1,2,3,4,5)级”，对于二分类器21，0表示“预测为(1,2)级”，1表示“预测为(3,4,5)级”，……)。本领域的技术人员应当理解，也可以采用其他池化方式，例如也可以根据实际情况来采用最大池化。

根据本公开的另一实施方式，本公开还提供给了一种意向评级模型。如图1，意向评级模型为多级二分类器模型，其中每级二分类器包括一个或多个二分类器，多级二分类器模型用于对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中文本数据的所属意向评级，其中，m＞1。并且对于意向评级模型中的每级分类器的划分可以参见上面的描述。

对于该模型中的每个分类器，其可以包括将文本数据映射为词向量，并且在词向量上叠加位置向量；对叠加后的向量进行特征提取；以及将提取的特征映射至第一类意向评级及第二类意向评级，其中第一类意向评级包括m个目标意向评级中的x个目标意向评级，第二类意向评级包括m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。其具体内容也可以参见以上的描述，为了简洁起见，在此不再赘述。

根据本公开的又一实施方式，还提供了一种意向评级模型的训练方法。其中意向评级模型的结构可以参见图1及2所示及关于图1及图2的说明，在此不再赘述。

选取作为训练数据的文本数据，将每条完整轮次的文本(例如一通电话的文本数据)映射为词向量(通过预训练过的词向量模型)序列，之后叠加位置向量，并且对叠加后的向量进行特征提取；以及将提取的特征映射至第一类意向评级及第二类意向评级，其中第一类意向评级包括m个目标意向评级中的x个目标意向评级，第二类意向评级包括m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。

在训练的过程中，第一类意向评级及第二类意向评级中的内部级别差异较小，并且第一类意向评级的训练数据的数量与属于所述第二类意向评级的训练数据的数量尽可能接近。

下面以10000条数据，并且以6级为例，参照图1进行说明。

在训练过程中，二分类器11的输出为“预测为0级”及“预测为(1,2,3,4,5)级”，这样两个输出的所占的数据尽可能接近，例如如果相同时，则属于“预测为0级”的训练数据可以为5000条左右，属于“预测为(1,2,3,4,5)级”的训练数据可以为5000条左右。二分类器21的输出为“预测为(1,2)级”及“预测为(3,4,5)级”，属于“预测为(1,2)级”的训练数据可以为2500条，属于“预测为(3,4,5)级”的训练数据可以为2500条，依次类推。上述数据条数的划分仅为示例，其可以是尽可能地接近。本领域的技术人员，应当理解，可以根据训练数据的分布情况，来调整第一类意向评级及第二类意向评级中所包含的评级，例如，如果“预测为(0,1)级”及“预测为(2,3,4,5)级”的数据各为5000条左右，则分类器11的输出为“预测为(0,1)级”及“预测为(2,3,4,5)级”。然后再使用二分类器进行分类。在调整的过程中，可以根据预定的规则利用计算机自动调整。

根据本公开的再一实施方式，提供了一种使用意向评级模型的训练方法训练的意向评级模型进行意向评级的方法，接收预定数据格式的请求对语料进行处理，预测并返回包括评级信息的预定数据格式数据。

具体地，在模型训练完成后，进行部署，部署后可以接受预定数据格式的请求对语料(待预测的文本数据)进行处理，处理后，预测并返回包含评级信息的预定格式的数据。该预定数据格式优选地与训练时所用的数据格式相同，例如JSON格式，这时每条请求平均可以在200ms左右完成。例如该语料被预测时，可以通过分类器11被预测为0级，可以通过分类器11、21、32、41则被预测为5级。其他情况类似，在此不再赘述。这样可以得到语料的评级信息。

此外，模型的训练及预测可以在第一次部署后同步进行，可以在实际预测的同时不断地优化训练模型，在每次取得阶段性有效效果后可以在很短时间内替换原有的模型文件来部署新的训练模型。

根据本公开的技术方案，与多分类器模型相比，各评级之间的差异不同可以通过转化为几次二分类解决，每次二分类先把整体分成两个内部级别差异较小的大类，之后便可以在对每个大类进行后续的分类。同时，每次二分类中，选取的两个大类可以做到总体数据条数尽可能接近，这样就消去了数据比例分布不均对训练效果的不良影响。

此外，根据本公开的技术方案，进一步地，通过将self-attention机制应用于模型，可以在较短的训练时间内取得较好的训练效果。并且将多级评级问题转化为多级二分类任务；多级二分类网络用于真实任务既可以取得比直接多分类更明确的训练方向和效果，也可以大幅解决数据不均匀的问题。

另外，本领域的技术人员应当理解，该模型的架构也可以应用于更多的多级评级、分类任务。

本公开还提供一种电子设备，如图3所示，该设备包括：通信接口1000、存储器2000和处理器3000。通信接口1000用于与外界设备进行通信，进行数据交互传输。存储器2000内存储有可在处理器3000上运行的计算机程序。处理器3000执行所述计算机程序时实现上述实施方式中方法。所述存储器2000和处理器3000的数量可以为一个或多个。

存储器2000可以包括高速RAM存储器，也可以还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果通信接口1000、存储器2000及处理器3000独立实现，则通信接口1000、存储器2000及处理器3000可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果通信接口1000、存储器2000、及处理器3000集成在一块芯片上，则通信接口1000、存储器2000、及处理器3000可以通过内部接口完成相互间的通信。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在存储器中。

应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种意向评级模型的构建方法，其特征在于，包括构建多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型构建成对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1。

2.如权利要求1所述的方法，其特征在于，每个二分类器包括：

将文本数据映射为词向量，并且在所述词向量上叠加位置向量；

对叠加后的向量进行特征提取；以及

将提取的特征映射至第一类意向评级及第二类意向评级，其中所述第一类意向评级包括所述m个目标意向评级中的x个目标意向评级，所述第二类意向评级包括所述m个目标意向评级中的y个目标意向评级，其中1≤x＜m，1≤y＜m，且x+y＝m。

3.如权利要求2所述的方法，其特征在于，对叠加后的向量进行特征提取时，通过自注意力机制来进行特征提取。

4.如权利要求2或3所述的方法，其特征在于，在对叠加后的向量进行特征提取后，还包括对提取的特征进行池化以进行降维，从而将降维后的特征映射至所述第一类意向评级及第二类意向评级。

5.如权利要求2至4中任一项所述的方法，其特征在于，通过全连接层将特征映射至所述第一类意向评级及第二类意向评级。

6.如权利要求2所述的方法，其特征在于，对于每个二分类器，所述第一类意向评级及第二类意向评级之间的内部级别差距小。

7.如权利要求6所述的方法，其特征在于，当对构建的多级二分类器模型进行训练时，属于所述第一类意向评级的文本数据的数量与属于所述第二类意向评级的文本数据的数量相同或相近。

8.一种意向评级模型，其特征在于，所述意向评级模型为多级二分类器模型，其中每级二分类器包括一个或多个二分类器，所述多级二分类器模型用于对输入的文本数据进行二分类处理，以便得到在m个目标意向评级中所述文本数据的所属意向评级，其中，m＞1。

9.一种计算机设备，其特征在于，包括：

存储器，所述存储器存储执行指令；以及

处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如权利要求1至7中任一项所述的方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的方法。