CN107679234A - 客服信息提供方法、装置、电子设备、存储介质 - Google Patents

客服信息提供方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN107679234A
CN107679234A CN201711002661.8A CN201711002661A CN107679234A CN 107679234 A CN107679234 A CN 107679234A CN 201711002661 A CN201711002661 A CN 201711002661A CN 107679234 A CN107679234 A CN 107679234A
Authority
CN
China
Prior art keywords
model
lstm
input
output
customer service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711002661.8A
Other languages
English (en)
Other versions
CN107679234B (zh
Inventor
李健
刘浪
于天池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip International Travel Agency Co Ltd
Original Assignee
Shanghai Ctrip International Travel Agency Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip International Travel Agency Co Ltd filed Critical Shanghai Ctrip International Travel Agency Co Ltd
Priority to CN201711002661.8A priority Critical patent/CN107679234B/zh
Publication of CN107679234A publication Critical patent/CN107679234A/zh
Application granted granted Critical
Publication of CN107679234B publication Critical patent/CN107679234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种客服信息提供方法、装置、电子设备、存储介质，所述方法包括：接收用户输入的中文文本；将所输入的中文文本输入基于Bi‑LSTM模型和CNN模型的中文客服问答模型，获取应答语句；将所输入的中文文本输入基于Bi‑LSTM‑CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息；根据所述客户意图的分类及关键信息确定向用户推荐的服务；将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类；根据所述用户情感分类调整所述应答语句；结合经调整的应答语句及所确定的服务，向用户提供客服信息。本发明提供的方法及装置优化模型实现自动化客服应答。

Description

客服信息提供方法、装置、电子设备、存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种客服信息提供方法、装置、电子设备、存储介质。
背景技术
目前主流的客服平台还是以人工服务为主，人力成本较高，对客服人员的技能和知识储备要求也较高。有些平台虽然也提供智能聊天机器人服务，但是仅仅停留在使用传统的自然语言处理方法提取特征词进行相似问题匹配的初级阶段，维护成本高，准确率和召回率比较低，无法满足客户需要。
同时，由于大部分的客服平台仅提供单一的聊天功能，对于日益积累的问答语料并未提供很好的数据挖掘服务，数据所内含的客户价值和商业利益并未得到充分的体现，整个客户服务的闭环流程没有形成。
另外，还需要挖掘客户语句的特征和意图，目前的基于Bi-LSTM-CRF(反向长短时记忆网络及条件随机场)的命名实体识别方法只识别了文本中的命名实体，并没有识别文本中的其他内容信息，也没有识别文本的总体意图。此外，传统的客户情感分析采用关键词或统计的方法分析用户的情感，存在识别不准确的问题。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种客服信息提供方法、装置、电子设备、存储介质，以优化模型实现自动化客服应答。
根据本发明的一个方面，提供一种客服信息提供方法，包括：接收用户输入的中文文本；将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句；将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息；根据所述客户意图的分类及关键信息确定向用户推荐的服务；将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类；根据所述用户情感分类调整所述应答语句；结合经调整的应答语句及所确定的服务，向用户提供客服信息。
可选地，基于Bi-LSTM模型和CNN模型的中文客服问答模型关联第一知识库，所述第一知识库包括关联的问题语句及应答语句，所述将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句包括：基于Bi-LSTM模型和CNN模型的中文客服问答模型计算所输入的中文文本与第一知识库的各个问题语句的相似距离；获取相似距离最近的问题语句对应的应答语句。
可选地，基于Bi-LSTM模型和CNN模型的中文客服问答模型根据如下步骤构建：
S111：对输入模型的语句按字符切分；
S112：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数；
S113：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S114：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数；
S115：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct；
S116：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出；
S117：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S116至步骤S114获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出；
S118：将Bi-LSTM模型的输出作为CNN模型的输入，获得CNN模型的输出，包括：
S118a：CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数；
S118b：CNN模型的第二层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到池化层的输出，并用激活函数进行非线性映射以获得CNN模型的准输出，其中，m2，k2，s2为大于0的整数；
S118c：以不同的卷积核的维度重复进行S118a和S118b；
S118d：将多个准输出合并作为CNN模型的输出。
可选地，基于Bi-LSTM模型和CNN模型的中文客服问答模型根据如下步骤训练：
将所述第一知识库中关联相同应答语句的多个问题语句作为输入模型的语句分别经过步骤S111至步骤S118获得对应的CNN模型的输出，对各CNN模型的输出进行余弦运算，计算该多个问题语句之间的准向量余弦距离，将该多个问题语句之间的向量余弦距离为1并结合准向量余弦距离计算模型损失，利用随机梯度下降法训练基于Bi-LSTM和CNN的中文客服问答模型以优化模型损失的值。
可选地，将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息包括：对所输入的中文文本进行分词并得到字和词向量；将所输入的中文文本的字和词向量的序列作为基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型的输入；基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型输出包括客户意图的分类及作为关键信息的标签。
可选地，基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型中的Bi-LSTM-CRF模型由Bi-LSTM模型和CRF模型组成，所述Bi-LSTM模型根据如下步骤构建：
S121：对输入模型的语句按字符切分；
S122：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数；
S123：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S124：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数；
S125：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct；
S126：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出，将ht构成m维的特征向量作为Bi-LSTM模型的输出；
S127：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S126至步骤S124获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出ut；
可选地，所述Bi-LSTM-CRF模型关联第二知识库，所述第二知识库包括问题语句、问题语句的意图分类及问题语句的关键信息标签，所述Bi-LSTM-CRF模型根据如下步骤训练：
将第二知识库的问题语句作为Bi-LSTM模型的输入，将Bi-LSTM模型的输出序列[u1,u2,…,ut,…]作为CRF模型的输入，并计算CRF模型的损失函数
其中，yt表示第t步的标签，us表示CRF模型的输入序列中的第s个向量，Y表示该序列候选标签的集合，Ayz表示标签z到标签y的转移概率矩阵，然后通过反向传播算法实现对转移概率矩阵A和Bi-LSTM模型参数的估计。
可选地，所述Bi-LSTM-CRF模型运行时，通过计算
得到最佳标签序列
可选地，所述LSTM分类器根据如下步骤构建：
步骤S131：将构建所述Bi-LSTM模型的步骤S126的输出向量的序列作为步骤S123中的字符向量矩阵，然后根据步骤S124至步骤S126得到LSTM分类器的输出序列；
步骤S132：取LSTM分类器的输出序列的最后一项hm作为输入，计算输出向量l：
l＝g(W·hm+b)
其中，g为tanh函数，W为权值矩阵，b为偏置向量。
所述LSTM分类器根据如下步骤训练：
计算损失函数：
其中，若样本的类别为第i类，则r(ci)＝1，若样本的类别不为第i类，则r(ci)＝0。
所述LSTM分类器运行时，计算
其中，l为LSTM分类器的输出向量，为模型分类输出类别。
可选地，基于CNN模型的中文文本情感分析模型根据如下步骤构建：
S141：对输入模型的语句按字符切分；
S142：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数，并将情感分为s类，每种情感转为固定长度为s的one-hot向量；
S143：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S144：所述CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数；
S145：所述卷积层的输出经过RELU激活函数，进行非线性映射；
S146：CNN模型的第三层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到m2个l2×l2维的特征图作为池化层的输出，所述池化层的输出作为所述CNN模型的准输出，其中，m2，k2，l2，s2为大于0的整数；
S147：以不同的卷积核的维度重复进行S144至S146；
S148：将多个准输出合并作为CNN模型的输出。
可选地，基于CNN模型的中文文本情感分析模型关联第三知识库，所述第三知识库包括关联的问题语句及问题语句的情感分类，基于CNN模型的中文文本情感分析模型根据如下步骤训练：
将所述第三知识库的问题语句作为输入模型的语句分别经过步骤S141至步骤S148获得对应的CNN模型的输出，结合CNN模型的输出相邻与语句的实际情感向量计算模型损失利用随机梯度下降法训练CNN模型的中文文本情感分析模型以优化模型损失的值。
可选地，所述用户情感分类包括喜悦和愤怒，所述结合经调整的应答语句及所确定的服务，向用户提供客服信息包括：当所述用户情感分类为喜悦时，将经调整的应答语句和所确定的服务提供给用户；当所述用户情感分类为愤怒时，仅将经调整的应答语句提供给用户。
根据本发明的又一个方面，还提供一种客服信息提供装置，包括：接收模块，用于接收用户输入的中文文本；问答模块，用于将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句；意图模块，用于将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息；服务推荐模块，用于根据所述客户意图的分类及关键信息确定向用户推荐的服务；情感分类模块，用于将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类；整合模块，用于根据所述用户情感分类调整所述应答语句；应答模块，用于结合经调整的应答语句及所确定的服务，向用户提供客服信息。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明通过不同的模型获取客服应答语句、客户意图及关键信息、客户情感分类，由此，可根据获取的内容调整客服应答语句以安抚客户情绪，推荐准确的服务，进而提供自动化的客服应答。同时，根据应答语句、客户意图及关键信息、客户情感分类的不同属性和要求采用不同的模型进行训练和运行，提高最终应答的准确率。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的客服信息提供方法的流程图。
图2示出了根据本发明实施例的中文客服问答模型的示意图。
图3示出了根据本发明实施例的内容提取与意图分类模型的示意图。
图4示出了根据本发明实施例的各模型训练和运行的示意图。
图5示出了根据本发明实施例的客服信息提供装置的示意图。
图6示出了利用根据本发明实施例的客服信息提供方法的系统的示意图。
图7示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图8示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为了解决现有技术的缺陷，优化模型实现自动化客服应答，本发明提供一种一种客服信息提供方法、装置、电子设备、存储介质。
首先参见图1，图1示出了根据本发明实施例的客服信息提供方法的流程图。图1共示出7个步骤：
步骤S101：接收用户输入的中文文本。
具体而言，用户可通过各种输入设备，例如键盘、鼠标、话筒等实现中文文本的输入。
步骤S102：将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句。
具体而言，基于Bi-LSTM模型和CNN模型的中文客服问答模型关联第一知识库。所述第一知识库包括关联的问题语句及应答语句。
步骤S102基于Bi-LSTM模型和CNN模型的中文客服问答模型计算所输入的中文文本与第一知识库的各个问题语句的相似距离，并获取相似距离最近的问题语句对应的应答语句。
具体而言，基于Bi-LSTM(双向长短时记忆网络)模型和CNN(卷积神经网络)模型的中文客服问答模型根据如下步骤构建：
步骤S111：对输入模型的语句按字符切分。
步骤S112：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数。
步骤S113：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵。
步骤S114：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数。
步骤S115：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct。
步骤S116：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量。
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出。
步骤S117：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S116至步骤S114获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出。
步骤S118：将Bi-LSTM模型的输出作为CNN模型的输入，获得CNN模型的输出，包括：
步骤S118a：CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数；
步骤S118b：CNN模型的第二层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到池化层的输出，并用激活函数进行非线性映射以获得CNN模型的准输出，其中，m2，k2，s2为大于0的整数；
步骤S118c：以不同的卷积核的维度重复进行S118a和S118b；
步骤S118d：将多个准输出合并作为CNN模型的输出。
根据上述各个步骤构建模型后，可根据如下步骤对中文客服问答模型进行训练：将所述第一知识库中关联相同应答语句的多个问题语句作为输入模型的语句分别经过步骤S111至步骤S118获得对应的CNN模型的输出，对各CNN模型的输出进行余弦运算，计算该多个问题语句之间的准向量余弦距离，将该多个问题语句之间的向量余弦距离为1并结合准向量余弦距离计算模型损失，利用随机梯度下降法训练基于Bi-LSTM和CNN的中文客服问答模型以优化模型损失的值。可选地，使用随机梯度下降法训练模型，在验证集上观察到模型指标持续不再改进时停止。
进一步地，当运行中文客服问答模型时，可参见图2，将用户输入的中文文本207作为Bi-LSTM模型202的输入，经由Bi-LSTM模型202中的多个Bi-LSTM单元203，输出到CNN模型，获得CNN模型的输出Oa。将第一知识库中的所有问题语句201依次输入Bi-LSTM模型202的输入，经由Bi-LSTM模型202中的多个Bi-LSTM单元203，输出到CNN模型，获得CNN模型的输出Oq。将Oa和多个Oq分别进行余弦运算获得余弦距离，获取计算获得最近的余弦距离的Oq对应的问题语句201的应答语句。
上述步骤中，Bi-LSTM对序列文本有很强的解析能力，同时通过双向计算，大大提高了模型的稳定性和多特征综合提取。
步骤S103：将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息。
具体而言，步骤S103包括：对所输入的中文文本进行分词并得到字和词向量，并将所输入的中文文本的字和词向量的序列作为基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型的输入，基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型输出包括客户意图的分类及作为关键信息的标签。
具体而言，基于Bi-LSTM-CRF(双向长短时记忆网络及条件随机场)模型和LSTM分类器的内容提取与意图分类模型中的Bi-LSTM-CRF模型由Bi-LSTM(双向长短时记忆网络)模型和CRF(条件随机场)模型组成。
Bi-LSTM-CRF模型中的Bi-LSTM模型根据如下步骤构建：
步骤S121：对输入模型的语句按字符切分。
步骤S122：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数。
步骤S123：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵。
步骤S124：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数。
步骤S125：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct。
步骤S126：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出，将ht构成m维的特征向量作为Bi-LSTM模型的输出。
步骤S127：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S126至步骤S124获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出ut。
进一步地，CRF模型用于获取文本的关键信息。Bi-LSTM-CRF模型关联第二知识库，所述第二知识库包括问题语句、问题语句的意图分类及问题语句的关键信息标签。Bi-LSTM-CRF模型根据如下步骤训练：
将第二知识库的问题语句作为Bi-LSTM模型的输入，将Bi-LSTM模型的输出序列[u1,u2,…,ut,…]作为CRF模型的输入，并计算CRF模型的损失函数
其中，yt表示第t步的标签，us表示CRF模型的输入序列中的第s个向量，Y表示该序列候选标签(标签可事先人工标注)的集合，Ayz表示标签z到标签y的转移概率矩阵，然后通过反向传播算法实现对转移概率矩阵A和Bi-LSTM模型参数的估计。
需要获取关键信息时，所述Bi-LSTM-CRF模型运行时，通过计算
得到最佳标签序列作为关键信息。
进一步地，当需要获得客户意图的分类，进一步采用LSTM分类器来实现。LSTM分类器根据如下步骤构建：
步骤S131：将构建所述Bi-LSTM模型的步骤S126的输出向量的序列作为步骤S123中的字符向量矩阵，然后根据步骤S124至步骤S126得到LSTM分类器的输出序列；
步骤S132：取LSTM分类器的输出序列的最后一项hm作为输入，计算输出向量l：
l＝g(W·hm+b)
其中，g为tanh函数，W为权值矩阵，b为偏置向量。
所述LSTM分类器根据如下步骤训练：
计算损失函数：
其中，若样本的类别为第i类，则r(ci)＝1，若样本的类别不为第i类，则r(ci)＝0。
所述LSTM分类器运行时，计算
其中，l为LSTM分类器的输出向量，为模型分类输出类别。
具体而言，步骤S103可以参见图3，句子的输入向量301输入到Bi-LSTM模型302中的多个LSTM单元303，并输出到CFR模型304获取标记序列305，Bi-LSTM模型302的输出还通过LSTM分类器306中的多个LSTM单元307获取用户意图分类。第二知识库或其他用来训练的语料的用户情感类别和标签(标记)可通过人工进行。
步骤S104：根据所述客户意图的分类及关键信息确定向用户推荐的服务。
可选地，例如通过客户意图的分类及关键信息与服务的映射表，进行服务的推荐。客户意图的分类及关键信息与服务的映射表可通过人工设定，或通过用户操作的历史记录进行整理映射。
步骤S105：将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类。
具体而言，基于CNN模型的中文文本情感分析模型根据如下步骤构建：
步骤S141：对输入模型的语句按字符切分。
步骤S142：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数，并将情感分为s类，每种情感转为固定长度为s的one-hot向量。
步骤S143：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵。
步骤S144：所述CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数。
步骤S145：所述卷积层的输出经过RELU激活函数，进行非线性映射。
步骤S146：CNN模型的第三层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到m2个l2×l2维的特征图作为池化层的输出，所述池化层的输出作为所述CNN模型的准输出，其中，m2，k2，l2，s2为大于0的整数。
步骤S147：以不同的卷积核的维度重复进行S144至S146。
步骤S148：将多个准输出合并作为CNN模型的输出。
进一步地，基于CNN模型的中文文本情感分析模型关联关联第三知识库，所述第三知识库包括关联的问题语句及问题语句的情感分类。基于CNN模型的中文文本情感分析模型根据如下步骤训练：
将所述第三知识库的问题语句作为输入模型的语句分别经过步骤S141至步骤S148获得对应的CNN模型的输出，结合CNN模型的输出相邻与语句的实际情感向量计算模型损失利用随机梯度下降法训练CNN模型的中文文本情感分析模型以优化模型损失的值。可选地，初始训练学习率为r＝0.002，在随机梯度下降法中，初始训练学习率用来控制模型参数更新的步长大小，在验证集上观察到模型指标(即准确率和覆盖率)持续不再改进时停止
通过训练后，将用户输入的中文文本经过上述模型计算，可以获得最接近的情感分类结果。
步骤S106：根据所述用户情感分类调整所述应答语句。
调整应答语句，例如可以通过实现不同用户情感分类和同一应答语句的不同回复进行映射。在有一些实施例中，可在应答语句之前或之后增加安抚的语句。
步骤S107：结合经调整的应答语句及所确定的服务，向用户提供客服信息。
在一些具体实施例中，用户情感分类包括喜悦和愤怒。步骤S107包括：当所述用户情感分类为喜悦时，将经调整的应答语句和所确定的服务提供给用户；当所述用户情感分类为愤怒时，仅将经调整的应答语句提供给用户。
下面以一些具体的实施例说明中文客服问答模型、内容提取与意图分类模型及中文文本情感分析模型。
中文客服问答模型的具体步骤如下：
(1)对第一知识库的问题语句进行按字符切分，包括中文和其他字符。
(2)利用第一知识库的问题语句训练字向量，将每个字符转为固定长度为100的字向量，得到大约12474个字向量。
(3)第一知识库的问题句子长度固定为100，不足部分用<pad>字符补充完整，根据句子中每个字符的字符向量将句子转化为100×100的矩阵，作为输入[x1,x2,…,xt,…,xm]。
(4)设定当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数。
(5)通过公式更新当前时刻的Bi-LSTM单元状态的值Ct。
(6)根据以下公式算出各个隐藏节点的输出，将ht依次连接，构成100×100维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
(7)再将问题句子的向量矩阵反向经过(4)-(6)步骤，将两者输出结果合并；
(8)将Bi-LSTM模型的输出作为卷积神经网络(CNN)模型的输入；
(9)卷积神经网络的第一层为卷积层，选用500个1×100维的卷积核对输入数据进行卷积运算，卷积步长为1，得到卷积层的输出即500个100×100维的特征图；
(10)卷积神经网络的第二层为池化层，利用100×1维的卷积核，对第一层卷积层输出的特征图进行步长为1的池化，得到池化层的输出，并用激活函数进行非线性映射；
保持输入一致，再重复进行(9)-(10)三次，第一次卷积核的维度为2×2，第二次的卷积核的维度为3×3，第三次的卷积核的维度为5×5；
将多次的输出合并作为计算输出。
训练过程：将知识库中相同答案的问题句子矩阵分别经过上述Bi-LSTM和CNN的计算的结果做余弦运算，使向量余弦距离为1，与实际向量余弦距离一起计算模型损失，使用随机梯度下降法训练模型，初始训练学习率为r＝0.002，在验证集上观察到模型指标持续不再改进时停止；
运行过程：将客户输入的中文文本和第一知识库中的问题句子分别经过上述Bi-LSTM和CNN的计算的结果，计算相似距离，距离最近的知识库问题的答案作为最终输出结果。
以分析用户聊天记录中客户意图为例，将上述方法应用到内容提取与意图分类模型中，具体步骤如下：
(1)采用设定规则对输入模型的语句中特殊字符等进行替换，使用分词工具进行分词，在约1000万中文文本上训练词向量，词向量维度为n＝100，预设的词汇表共含87000词。
(2)标注好的用户意图文本中的意图类别有“预订”，“咨询”，“投诉”，“其它”四类，关键信息标签包括“出发时间”，“出发城市”，“人数”，“目的地”，“行程天数”五类，标注数量共12563个句子，分词后词数为158294，分为以0.75，0.2，0.05的比例分为训练集，测试集和验证集。
(3)利用预设的词汇表，固定句子长度为m＝150，把句子转为对应的字符向量矩阵,矩阵大小为150*100。
(4)把字符向量矩阵作为Bi-LSTM-CRF模型和LSTM分类器的输入进行训练，Bi-LSTM模型的正反向LSTM隐藏单元数量为256，LSTM分类器部分隐藏单元数量为256。
(5)模型训练使用随机梯度下降法，批处理样本数量为64，初始训练学习率为r＝0.002，每800个批次，把学习率调整为原来的0.95，在验证集上观察到模型指标持续不再改进时停止
(6)模型的输出为句子意图类别，并根据标签在原文本上标出关键信息。
基于CNN的中文文本情感分析模型，具体步骤如下：
(1)对用户提问的句子按字符切分，包括中文和其他字符；
(2)利用第二知识库的问题训练字向量，将每个字符转为固定长度为128的字向量，得到大约12474个字向量；同时将情感分类，分为8类，每种情感转为固定长度为2的one-hot向量(独热向量，其中有一个元素为1，其余为0，如[0,1],[1,0],[1,0,0,0]等)；
(3)第一知识库的问题句子长度固定为知识库句子的最大长度128，不足部分用<pad>字符补充完整，根据句子中每个字符的字符向量将句子转化为128×128的矩阵，作为输入[x1,x2,…,xt,…,xm]；
(4)卷积神经网络的第一层为卷积层，选用50个1×1维的卷积核对输入数据进行卷积运算，卷积步长为1，得到卷积层的输出即50个128×128维的特征图；
(5)卷积层的输出经过RELU激活函数，进行非线性映射；
(6)卷积神经网络的第二层为池化层，利用128×1维的卷积核，对非线性映射的输出进行步长为1的池化，得到池化层的输出；
(7)保持输入一致，再重复进行(4)-(6)三次，第一次卷积核的维度为2×2，第二次的卷积核的维度为3×3，第三次的卷积核的维度为5×5；
(8)将多次的输出合并作为计算输出；
(9)经过最后一层全连接层得出预测结果向量，即用户的情感分类，与实际情感向量一起计算模型损失，使用随机梯度下降法训练模型，初始训练学习率为r＝0.002，在验证集上观察到模型指标持续不再改进时停止；
(10)运行过程：将客户的问题句子经过上述模型计算，得出结果向量，比较情感向量得出最接近的情感分类结果，比如“愤怒”或是“喜悦”。
图4示出了根据本发明实施例的各模型训练和运行的示意图。
训练模型时，首先确定语料的数据源401。相同问题域内的领域知识或者历史聊天纪录作为该平台的语料来源。提供方式包括数据表、Excel表格、文本文件、消息队列等。然后获取数据源401的一批语料进行人工标注。标注好的语料存入离线语料库403(如第一知识库至第三知识库)中。模型根据更新后的语料进行离线训练404。从数据源401中获取一批新语料，利用模型进行预测，输出标注。对模型输出的标注内容进行人工审核，审核好的语料继续存入离线语料库403中投入模型训练，形成迭代训练的闭环。
图5示出了根据本发明实施例的客服信息提供装置的示意图。
客服信息提供装置500包括接收模块501、问答模块502、意图模块503、服务推荐模块504、情感分类模块505、整合模块506及应答模块507。
接收模块501用于接收用户输入的中文文本。问答模块502用于将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句。意图模块503用于将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息。服务推荐模块504用于根据所述客户意图的分类及关键信息确定向用户推荐的服务。情感分类模块505用于将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类。整合模块506用于根据所述用户情感分类调整所述应答语句。应答模块507用于结合经调整的应答语句及所确定的服务，向用户提供客服信息。
图5仅仅是示意性的，在不违背本发明构思的前提下，模块的合并、拆分、添加都在本发明的保护范围之内。
图6示出了利用根据本发明实施例的客服信息提供方法的系统的示意图。
为了实现在线客户服务的完整闭环，整个在线系统被划分为数据层970、模型层950、业务层920、展现层910，各相邻模块之间通过接口层960、940和920进行通讯。
数据接口层960通过消息队列对模型层950和展现层910提供数据实时存取服务，模型接口层940对业务层930提供实时的模型预测服务，服务接口层920对展现层提供实时的业务逻辑服务。
数据层970包括日志971、聊天记录972及在线语料库973(也可作为第一知识库、第二知识库和/或第三知识库)。在线语料库973基于离线语料库构建，同时加入线上的用户反馈数据作为补充。
中文客服问答模型951的语料库(第一知识库)需要提供问答对，内容提取与意图分类模型952的语料库(第二知识库)需要提供聊天文本的描述内容标记及其对应的意图标签分类，中文文本情感分析模型953的语料库(第三知识库)需要提供聊天文本的情感分类标注。
从数据来源获取语料之后需要经过数据清洗(主要包括文本去重、数字处理、日期处理、特殊符号处理等)及文本向量化(包括文本分词、词(字)向量模型、少量词特征等)。
模型接口层940对业务层930对业务层提供统一的模型预测服务。
业务层930包括5个业务模块：问答系统931、用户画像932、推荐服务933、情绪安抚934及投诉预警935。中文客服问答模型951实现了业务层930的问答系统931。内容提取与意图分类模型952识别了客户意图的分类和客户意图的关键信息，将客户关键信息加入用户画像932。推荐服务模块933可根据客户意图和客户关键信息，向用户进行推荐服务。情绪安抚模块934可根据中文文本情感分析模型953的情感分析的结果，关注消极地情感，对客户进行情绪安抚。投诉预警模块935可根据情感分析的结果和客户意图，分析可能的投诉内容，进行投诉预警。
业务层930逻辑封装成服务接口层920，对展现层910提供统一的服务。展现层910的终端平台包括IM(人机一体化智能系统)、APP、微信和PC(计算机端)，展现方式包括客服机器人聊天终端、用户画像管理平台、投诉预警平台等。
管理中980主要实现语料管理及服务管理两方面的功能。语料管理主要提供在线语料标注功能，将在线反馈数据进行人工标注后存入数据层，进行数据分析和对模型进行修正训练。语料管理同时提供对语料标注的质量审核、进度审核等服务。服务管理主要提供自动训练任务分配、服务性能监控等功能。
图6仅仅示意性地示出本发明的一个具体实现方式，本发明的并非以此为限。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
相比现有技术，本发明通过不同的模型获取客服应答语句、客户意图及关键信息、客户情感分类，由此，可根据获取的内容调整客服应答语句以安抚客户情绪，推荐准确的服务，进而提供自动化的客服应答。同时，根据应答语句、客户意图及关键信息、客户情感分类的不同属性和要求采用不同的模型进行训练和运行，提高最终应答的准确率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (15)

1.一种客服信息提供方法，其特征在于，包括：
接收用户输入的中文文本；
将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句；
将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息；
根据所述客户意图的分类及关键信息确定向用户推荐的服务；
将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类；
根据所述用户情感分类调整所述应答语句；
结合经调整的应答语句及所确定的服务，向用户提供客服信息。
2.如权利要求1所述的客服信息提供方法，其特征在于，基于Bi-LSTM模型和CNN模型的中文客服问答模型关联第一知识库，所述第一知识库包括关联的问题语句及应答语句，所述将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句包括：
基于Bi-LSTM模型和CNN模型的中文客服问答模型计算所输入的中文文本与第一知识库的各个问题语句的相似距离；
获取相似距离最近的问题语句对应的应答语句。
3.如权利要求2所述的客服信息提供方法，其特征在于，基于Bi-LSTM模型和CNN模型的中文客服问答模型根据如下步骤构建：
S111：对输入模型的语句按字符切分；
S112：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数；
S113：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S114：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
<mrow> <msub> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>C</mi> </msub> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>h</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>b</mi> <mi>C</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数；
S115：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct；
S116：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出；
S117：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S116至步骤S114获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出；
S118：将Bi-LSTM模型的输出作为CNN模型的输入，获得CNN模型的输出，包括：
S118a：CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数；
S118b：CNN模型的第二层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到池化层的输出，并用激活函数进行非线性映射以获得CNN模型的准输出，其中，m2，k2，s2为大于0的整数；
S118c：以不同的卷积核的维度重复进行S118a和S118b；
S118d：将多个准输出合并作为CNN模型的输出。
4.如权利要求3所述的客服信息提供方法，其特征在于，基于Bi-LSTM模型和CNN模型的中文客服问答模型根据如下步骤训练：
将所述第一知识库中关联相同应答语句的多个问题语句作为输入模型的语句分别经过步骤S111至步骤S118获得对应的CNN模型的输出，对各CNN模型的输出进行余弦运算，计算该多个问题语句之间的准向量余弦距离，将该多个问题语句之间的向量余弦距离为1并结合准向量余弦距离计算模型损失，利用随机梯度下降法训练基于Bi-LSTM和CNN的中文客服问答模型以优化模型损失的值。
5.如权利要求1所述的客服信息提供方法，其特征在于，将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息包括：
对所输入的中文文本进行分词并得到字和词向量；
将所输入的中文文本的字和词向量的序列作为基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型的输入；
基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型输出包括客户意图的分类及作为关键信息的标签。
6.如权利要求5所述的客服信息提供方法，其特征在于，基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型中的Bi-LSTM-CRF模型由Bi-LSTM模型和CRF模型组成，所述Bi-LSTM模型根据如下步骤构建：
S121：对输入模型的语句按字符切分；
S122：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数；
S123：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S124：将模型输入矩阵[x1,x2,…,xt,…,xm]输入Bi-LSTM模型，各时刻的Bi-LSTM单元包括遗忘门单元、输入门单元和输入门单元，根据当前时刻遗忘门单元和输入门单元的输出分别为ft和it，计算当前时刻的Bi-LSTM单元状态的值为
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
<mrow> <msub> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>C</mi> </msub> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>h</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>b</mi> <mi>C</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，xt为当前时刻的Bi-LSTM单元的输入，ht-1为前一时刻的Bi-LSTM单元隐藏层的输出，Wf、Wi和WC为遗忘门单元、输入门单元和Bi-LSTM单元状态的权值矩阵，bf、bi和bC分别为遗忘门单元、输入门单元和Bi-LSTM单元状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数；
S125：通过公式更新当前时刻的Bi-LSTM单元状态的值Ct；
S126：根据以下公式得出当前时刻的Bi-LSTM单元隐藏层的各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo为输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出，将ht构成m维的特征向量作为Bi-LSTM模型的输出；
S127：将模型输入矩阵[x1,x2,…,xt,…,xm]自步骤S126至步骤S124获得输入出的反向特征向量，合并所述特征向量和所述反向特征象向量作为Bi-LSTM模型的输出ut。
7.如权利要求6所述的客服信息提供方法，其特征在于，所述Bi-LSTM-CRF模型关联第二知识库，所述第二知识库包括问题语句、问题语句的意图分类及问题语句的关键信息标签，所述Bi-LSTM-CRF模型根据如下步骤训练：
将第二知识库的问题语句作为Bi-LSTM模型的输入，将Bi-LSTM模型的输出序列[u1,u2,…,ut,…]作为CRF模型的输入，并计算CRF模型的损失函数
<mrow> <mi>L</mi> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>t</mi> </munder> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>A</mi> <mrow> <msub> <mi>y</mi> <mi>t</mi> </msub> <msub> <mi>y</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>&amp;Element;</mo> <mi>Y</mi> </mrow> </munder> <mi>exp</mi> <mo>(</mo> <mrow> <munder> <mo>&amp;Sigma;</mo> <mi>s</mi> </munder> <msub> <mi>u</mi> <mi>s</mi> </msub> <mo>+</mo> <msub> <mi>A</mi> <mrow> <msub> <mover> <mi>y</mi> <mo>~</mo> </mover> <mi>s</mi> </msub> <msub> <mover> <mi>y</mi> <mo>~</mo> </mover> <mrow> <mi>s</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，yt表示第t步的标签，us表示CRF模型的输入序列中的第s个向量，Y表示该序列候选标签的集合，Ayz表示标签z到标签y的转移概率矩阵，然后通过反向传播算法实现对转移概率矩阵A和Bi-LSTM模型参数的估计。
8.如权利要求7所述的客服信息提供方法，其特征在于，所述Bi-LSTM-CRF模型运行时，通过计算
<mrow> <mover> <mi>y</mi> <mo>^</mo> </mover> <mo>=</mo> <mi>arg</mi> <mi> </mi> <msub> <mi>max</mi> <mrow> <mi>y</mi> <mo>&amp;Element;</mo> <mi>Y</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mi>t</mi> </munder> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>A</mi> <mrow> <msub> <mi>y</mi> <mi>t</mi> </msub> <msub> <mi>y</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
得到最佳标签序列作为所述关键信息。
9.如权利要求6所述的客服信息提供方法，其特征在于，所述LSTM分类器根据如下步骤构建：
步骤S131：将构建所述Bi-LSTM模型的步骤S126的输出向量的序列作为步骤S123中的字符向量矩阵，然后根据步骤S124至步骤S126得到LSTM分类器的输出序列；
步骤S132：取LSTM分类器的输出序列的最后一项hm作为输入，计算输出向量l：
l＝g(W·hm+b)
其中，g为tanh函数，W为权值矩阵，b为偏置向量。
所述LSTM分类器根据如下步骤训练：
计算损失函数：
<mrow> <mi>L</mi> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow>
其中，若样本的类别为第i类，则r(ci)＝1，若样本的类别不为第i类，则r(ci)＝0。
所述LSTM分类器运行时，计算
<mrow> <mover> <mi>c</mi> <mo>^</mo> </mover> <mo>=</mo> <mi>arg</mi> <mi> </mi> <msub> <mi>max</mi> <mi>i</mi> </msub> <msub> <mi>l</mi> <mi>i</mi> </msub> </mrow>
其中，l为LSTM分类器的输出向量，为模型分类输出类别。
10.如权利要求1所述的客服信息提供方法，其特征在于，基于CNN模型的中文文本情感分析模型根据如下步骤构建：
S141：对输入模型的语句按字符切分；
S142：将所述输入模型的语句的每个字符转为长度n的字符向量，n为大于0的整数，并将情感分为s类，每种情感转为固定长度为s的one-hot向量；
S143：所述输入模型的语句长度为m，根据输入模型的语句中每个字符的字符向量x将每个输入模型的语句转化为m×n的矩阵[x1,x2,…,xt,…,xm]作为模型输入矩阵，其中，x为1×n的矩阵；
S144：所述CNN模型的第一层为卷积层，选用m1个k1×k1维的卷积核对输入数据进行卷积运算，卷积步长为s1，得到m1个l1×l1维的特征图作为卷积层的输出，其中，m1，k1，l1，s1为大于0的整数；
S145：所述卷积层的输出经过RELU激活函数，进行非线性映射；
S146：CNN模型的第三层为池化层，选用m2个k2×k2维的卷积核，对卷积层输出的特征图进行步长为s2的池化，得到m2个l2×l2维的特征图作为池化层的输出，所述池化层的输出作为所述CNN模型的准输出，其中，m2，k2，l2，s2为大于0的整数；
S147：以不同的卷积核的维度重复进行S144至S146；
S148：将多个准输出合并作为CNN模型的输出。
11.如权利要求10所述的客服信息提供方法，其特征在于，基于CNN模型的中文文本情感分析模型关联第三知识库，所述第三知识库包括关联的问题语句及问题语句的情感分类，基于CNN模型的中文文本情感分析模型根据如下步骤训练：
将所述第三知识库的问题语句作为输入模型的语句分别经过步骤S141至步骤S148获得对应的CNN模型的输出，结合CNN模型的输出相邻与语句的实际情感向量计算模型损失利用随机梯度下降法训练CNN模型的中文文本情感分析模型以优化模型损失的值。
12.如权利要求1所述的客服信息提供方法，其特征在于，所述用户情感分类包括喜悦和愤怒，所述结合经调整的应答语句及所确定的服务，向用户提供客服信息包括：
当所述用户情感分类为喜悦时，将经调整的应答语句和所确定的服务提供给用户；
当所述用户情感分类为愤怒时，仅将经调整的应答语句提供给用户。
13.一种客服信息提供装置，其特征在于，包括：
接收模块，用于接收用户输入的中文文本；
问答模块，用于将所输入的中文文本输入基于Bi-LSTM模型和CNN模型的中文客服问答模型，获取应答语句；
意图模块，用于将所输入的中文文本输入基于Bi-LSTM-CRF模型和LSTM分类器的内容提取与意图分类模型，获取客户意图的分类及关键信息；
服务推荐模块，用于根据所述客户意图的分类及关键信息确定向用户推荐的服务；
情感分类模块，用于将所输入的中文文本输入基于CNN模型的中文文本情感分析模型，获取用户情感分类；
整合模块，用于根据所述用户情感分类调整所述应答语句；
应答模块，用于结合经调整的应答语句及所确定的服务，向用户提供客服信息。
14.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至12任一项所述的步骤。
15.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至12任一项所述的步骤。
CN201711002661.8A 2017-10-24 2017-10-24 客服信息提供方法、装置、电子设备、存储介质 Active CN107679234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711002661.8A CN107679234B (zh) 2017-10-24 2017-10-24 客服信息提供方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711002661.8A CN107679234B (zh) 2017-10-24 2017-10-24 客服信息提供方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN107679234A true CN107679234A (zh) 2018-02-09
CN107679234B CN107679234B (zh) 2020-02-11

Family

ID=61142133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711002661.8A Active CN107679234B (zh) 2017-10-24 2017-10-24 客服信息提供方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN107679234B (zh)

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN108563791A (zh) * 2018-04-29 2018-09-21 华中科技大学 一种建筑质量投诉文本分类的方法和系统
CN108777751A (zh) * 2018-06-07 2018-11-09 上海航动科技有限公司 一种呼叫中心系统及其语音交互方法、装置和设备
CN108829681A (zh) * 2018-06-28 2018-11-16 北京神州泰岳软件股份有限公司 一种命名实体提取方法及装置
CN108920510A (zh) * 2018-05-30 2018-11-30 出门问问信息科技有限公司 自动聊天方法、装置和电子设备
CN108920603A (zh) * 2018-06-28 2018-11-30 厦门快商通信息技术有限公司 一种基于客服机器模型的客服引导方法
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN108959243A (zh) * 2018-05-17 2018-12-07 中国电子科技集团公司第二十八研究所 一种面向用户角色的通用舆论信息情感识别方法
CN108984655A (zh) * 2018-06-28 2018-12-11 厦门快商通信息技术有限公司 一种客服机器人智能客服引导方法
CN109002434A (zh) * 2018-05-31 2018-12-14 青岛理工大学 客服问答匹配方法、服务器及存储介质
CN109033156A (zh) * 2018-06-13 2018-12-18 腾讯科技（深圳）有限公司 一种信息处理方法、装置及终端
CN109033413A (zh) * 2018-03-12 2018-12-18 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN109120613A (zh) * 2018-08-08 2019-01-01 北京云中轮科技咨询有限公司 通讯数据的监控方法和系统
CN109117952A (zh) * 2018-07-23 2019-01-01 厦门大学 一种基于深度学习的机器人情感认知的方法
CN109119155A (zh) * 2018-07-03 2019-01-01 厦门大学 基于深度学习的icu死亡危险性评估系统
CN109190060A (zh) * 2018-07-10 2019-01-11 天津大学 一种基于有效人机交互的服务标注质量优化方法
CN109241268A (zh) * 2018-07-05 2019-01-18 腾讯科技（深圳）有限公司 一种相似信息推荐方法、装置、设备及存储介质
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109285030A (zh) * 2018-08-29 2019-01-29 深圳壹账通智能科技有限公司 产品推荐方法、装置、终端及计算机可读存储介质
CN109325234A (zh) * 2018-10-10 2019-02-12 深圳前海微众银行股份有限公司 语句处理方法、设备及计算机可读存储介质
CN109493186A (zh) * 2018-11-20 2019-03-19 北京京东尚科信息技术有限公司 确定推送信息的方法和装置
CN109543030A (zh) * 2018-10-12 2019-03-29 平安科技（深圳）有限公司 客服机器人会话文本分类方法及装置、设备、存储介质
CN109635271A (zh) * 2018-10-22 2019-04-16 阿里巴巴集团控股有限公司 一种用户意图识别方法、客服服务系统、装置及电子设备
CN109684466A (zh) * 2019-01-04 2019-04-26 钛氧(上海)教育科技有限公司 一种智能教育顾问系统
CN109684455A (zh) * 2018-12-27 2019-04-26 深圳前海微众银行股份有限公司 智能客服系统的实现方法及装置、设备、可读存储介质
CN109688281A (zh) * 2018-12-03 2019-04-26 复旦大学 一种智能语音交互方法及系统
CN109753565A (zh) * 2018-12-27 2019-05-14 厦门智融合科技有限公司 知识产权智能服务方法及系统
CN109783632A (zh) * 2019-02-15 2019-05-21 腾讯科技（深圳）有限公司 客服信息推送方法、装置、计算机设备及存储介质
CN109947922A (zh) * 2019-03-20 2019-06-28 浪潮商用机器有限公司 一种问答处理方法、装置及问答系统
CN109960725A (zh) * 2019-01-17 2019-07-02 平安科技（深圳）有限公司 基于情感的文本分类处理方法、装置和计算机设备
CN109977201A (zh) * 2019-01-28 2019-07-05 平安科技（深圳）有限公司 带情感的机器聊天方法、装置、计算机设备及存储介质
CN109978569A (zh) * 2019-03-16 2019-07-05 钱露露 一种基于互联网的交互式办公系统
CN110019316A (zh) * 2018-07-06 2019-07-16 新疆玖富万卡信息技术有限公司 信息交互方法和服务器
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN110059082A (zh) * 2019-04-17 2019-07-26 东南大学 一种基于1D-CNN与Bi-LSTM的天气预测方法
CN110134947A (zh) * 2019-04-17 2019-08-16 中国科学院计算技术研究所 一种基于不平衡多源数据的情感分类方法及系统
CN110188173A (zh) * 2018-02-23 2019-08-30 丰田自动车株式会社 信息处理方法、存储介质、信息处理装置以及信息处理系统
CN110263128A (zh) * 2019-06-24 2019-09-20 百度在线网络技术（北京）有限公司 交互问答的方法、装置及计算机可读存储介质
CN110377715A (zh) * 2019-07-23 2019-10-25 天津汇智星源信息技术有限公司 基于法律知识图谱的推理式精准智能问答方法
CN110377692A (zh) * 2019-06-03 2019-10-25 广东幽澜机器人科技有限公司 一种训练机器人模仿学习人工客服方法及装置
CN110377713A (zh) * 2019-07-16 2019-10-25 杭州微洱网络科技有限公司 一种基于概率转移改善问答系统上下文的方法
CN110442858A (zh) * 2019-06-24 2019-11-12 平安科技（深圳）有限公司 一种问句实体识别方法、装置、计算机设备及存储介质
WO2019232883A1 (zh) * 2018-06-07 2019-12-12 平安科技（深圳）有限公司 推送保险产品的方法、装置、计算机设备和存储介质
CN110659091A (zh) * 2018-06-29 2020-01-07 国际商业机器公司 会话代理对话流用户界面
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
WO2020063148A1 (zh) * 2018-09-29 2020-04-02 深圳追一科技有限公司 一种基于深度学习的实体抽取方法、计算机设备和存储介质
CN111008283A (zh) * 2019-10-31 2020-04-14 中电药明数据科技(成都)有限公司 一种基于复合边界信息的序列标注方法及系统
WO2020073532A1 (zh) * 2018-10-12 2020-04-16 平安科技（深圳）有限公司 客服机器人对话状态识别方法及装置、电子设备、计算机可读存储介质
CN111128241A (zh) * 2019-12-30 2020-05-08 上海浩琨信息科技有限公司 语音通话的智能质检方法及系统
CN111143525A (zh) * 2019-12-17 2020-05-12 广东广信通信服务有限公司 车辆信息获取方法、装置和智能移车系统
CN111382249A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 聊天语料的清洗方法、装置、计算机设备和存储介质
CN111460107A (zh) * 2019-01-21 2020-07-28 北京京东尚科信息技术有限公司 一种应答方法和应答系统
CN111538817A (zh) * 2019-01-18 2020-08-14 北京京东尚科信息技术有限公司 人机交互方法和装置
CN111723198A (zh) * 2019-03-18 2020-09-29 北京京东尚科信息技术有限公司 一种文本情绪识别方法、装置及存储介质
CN111737989A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN112580347A (zh) * 2020-12-14 2021-03-30 国家电网有限公司客户服务中心 一种基于用户会话分析的情绪识别方法和装置
CN112612876A (zh) * 2019-09-19 2021-04-06 北京国双科技有限公司 用户咨询的应对处理方法、装置、存储介质及电子设备
CN114255044A (zh) * 2020-09-11 2022-03-29 四川大学 基于跨媒体分析的智能客服技术
CN114971795A (zh) * 2022-05-27 2022-08-30 中国平安财产保险股份有限公司 保险产品推荐方法、装置、计算机设备及存储介质
CN117556022A (zh) * 2023-12-18 2024-02-13 北京中关村科金技术有限公司 一种智能客服意图识别方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932413B (zh) * 2020-09-14 2021-01-12 平安国际智慧城市科技股份有限公司 案件要素提取方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342895A1 (en) * 2015-05-21 2016-11-24 Baidu Usa Llc Multilingual image question answering
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN106649561A (zh) * 2016-11-10 2017-05-10 复旦大学 面向税务咨询业务的智能问答系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342895A1 (en) * 2015-05-21 2016-11-24 Baidu Usa Llc Multilingual image question answering
CN107076567A (zh) * 2015-05-21 2017-08-18 百度（美国）有限责任公司 多语言图像问答
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN106649561A (zh) * 2016-11-10 2017-05-10 复旦大学 面向税务咨询业务的智能问答系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUNYIYUE 等: "Enhanced question understanding with dynamic memory networks for textual question answering", 《EXPERT SYSTEMS WITH APPLICATIONS》 *
TAOCHEN 等: "Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN", 《EXPERT SYSTEMS WITH APPLICATION》 *

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188173A (zh) * 2018-02-23 2019-08-30 丰田自动车株式会社 信息处理方法、存储介质、信息处理装置以及信息处理系统
CN109033413A (zh) * 2018-03-12 2018-12-18 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN109033413B (zh) * 2018-03-12 2022-12-23 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN108563791A (zh) * 2018-04-29 2018-09-21 华中科技大学 一种建筑质量投诉文本分类的方法和系统
CN108959243A (zh) * 2018-05-17 2018-12-07 中国电子科技集团公司第二十八研究所 一种面向用户角色的通用舆论信息情感识别方法
CN108920510A (zh) * 2018-05-30 2018-11-30 出门问问信息科技有限公司 自动聊天方法、装置和电子设备
CN109002434A (zh) * 2018-05-31 2018-12-14 青岛理工大学 客服问答匹配方法、服务器及存储介质
CN108777751A (zh) * 2018-06-07 2018-11-09 上海航动科技有限公司 一种呼叫中心系统及其语音交互方法、装置和设备
WO2019232883A1 (zh) * 2018-06-07 2019-12-12 平安科技（深圳）有限公司 推送保险产品的方法、装置、计算机设备和存储介质
CN109033156A (zh) * 2018-06-13 2018-12-18 腾讯科技（深圳）有限公司 一种信息处理方法、装置及终端
CN108920603A (zh) * 2018-06-28 2018-11-30 厦门快商通信息技术有限公司 一种基于客服机器模型的客服引导方法
CN108984655A (zh) * 2018-06-28 2018-12-11 厦门快商通信息技术有限公司 一种客服机器人智能客服引导方法
CN108920603B (zh) * 2018-06-28 2021-12-21 厦门快商通信息技术有限公司 一种基于客服机器模型的客服引导方法
CN108984655B (zh) * 2018-06-28 2021-01-01 厦门快商通信息技术有限公司 一种客服机器人智能客服引导方法
CN108829681B (zh) * 2018-06-28 2022-11-11 鼎富智能科技有限公司 一种命名实体提取方法及装置
CN108829681A (zh) * 2018-06-28 2018-11-16 北京神州泰岳软件股份有限公司 一种命名实体提取方法及装置
CN110659091A (zh) * 2018-06-29 2020-01-07 国际商业机器公司 会话代理对话流用户界面
CN109119155A (zh) * 2018-07-03 2019-01-01 厦门大学 基于深度学习的icu死亡危险性评估系统
CN109119155B (zh) * 2018-07-03 2022-01-28 厦门大学 基于深度学习的icu死亡危险性评估系统
CN109241268A (zh) * 2018-07-05 2019-01-18 腾讯科技（深圳）有限公司 一种相似信息推荐方法、装置、设备及存储介质
CN109241268B (zh) * 2018-07-05 2020-08-18 腾讯科技（深圳）有限公司 一种相似信息推荐方法、装置、设备及存储介质
CN110019316A (zh) * 2018-07-06 2019-07-16 新疆玖富万卡信息技术有限公司 信息交互方法和服务器
CN109190060A (zh) * 2018-07-10 2019-01-11 天津大学 一种基于有效人机交互的服务标注质量优化方法
CN109190060B (zh) * 2018-07-10 2021-05-14 天津大学 一种基于有效人机交互的服务标注质量优化方法
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN109117952B (zh) * 2018-07-23 2021-12-14 厦门大学 一种基于深度学习的机器人情感认知的方法
CN109117952A (zh) * 2018-07-23 2019-01-01 厦门大学 一种基于深度学习的机器人情感认知的方法
CN109120613A (zh) * 2018-08-08 2019-01-01 北京云中轮科技咨询有限公司 通讯数据的监控方法和系统
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109285030A (zh) * 2018-08-29 2019-01-29 深圳壹账通智能科技有限公司 产品推荐方法、装置、终端及计算机可读存储介质
WO2020063148A1 (zh) * 2018-09-29 2020-04-02 深圳追一科技有限公司 一种基于深度学习的实体抽取方法、计算机设备和存储介质
CN109325234A (zh) * 2018-10-10 2019-02-12 深圳前海微众银行股份有限公司 语句处理方法、设备及计算机可读存储介质
WO2020073532A1 (zh) * 2018-10-12 2020-04-16 平安科技（深圳）有限公司 客服机器人对话状态识别方法及装置、电子设备、计算机可读存储介质
CN109543030B (zh) * 2018-10-12 2023-04-07 平安科技（深圳）有限公司 客服机器人会话文本分类方法及装置、设备、存储介质
CN109543030A (zh) * 2018-10-12 2019-03-29 平安科技（深圳）有限公司 客服机器人会话文本分类方法及装置、设备、存储介质
CN109635271A (zh) * 2018-10-22 2019-04-16 阿里巴巴集团控股有限公司 一种用户意图识别方法、客服服务系统、装置及电子设备
CN109493186A (zh) * 2018-11-20 2019-03-19 北京京东尚科信息技术有限公司 确定推送信息的方法和装置
CN109688281A (zh) * 2018-12-03 2019-04-26 复旦大学 一种智能语音交互方法及系统
CN109753565A (zh) * 2018-12-27 2019-05-14 厦门智融合科技有限公司 知识产权智能服务方法及系统
CN109684455A (zh) * 2018-12-27 2019-04-26 深圳前海微众银行股份有限公司 智能客服系统的实现方法及装置、设备、可读存储介质
CN111382249A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 聊天语料的清洗方法、装置、计算机设备和存储介质
CN111382249B (zh) * 2018-12-29 2023-10-10 深圳市优必选科技有限公司 聊天语料的清洗方法、装置、计算机设备和存储介质
CN109684466B (zh) * 2019-01-04 2023-10-13 钛氧(上海)教育科技有限公司 一种智能教育顾问系统
CN109684466A (zh) * 2019-01-04 2019-04-26 钛氧(上海)教育科技有限公司 一种智能教育顾问系统
CN109960725A (zh) * 2019-01-17 2019-07-02 平安科技（深圳）有限公司 基于情感的文本分类处理方法、装置和计算机设备
WO2020147395A1 (zh) * 2019-01-17 2020-07-23 平安科技（深圳）有限公司 基于情感的文本分类处理方法、装置和计算机设备
CN111538817A (zh) * 2019-01-18 2020-08-14 北京京东尚科信息技术有限公司 人机交互方法和装置
CN111460107A (zh) * 2019-01-21 2020-07-28 北京京东尚科信息技术有限公司 一种应答方法和应答系统
CN109977201A (zh) * 2019-01-28 2019-07-05 平安科技（深圳）有限公司 带情感的机器聊天方法、装置、计算机设备及存储介质
CN109977201B (zh) * 2019-01-28 2023-09-22 平安科技（深圳）有限公司 带情感的机器聊天方法、装置、计算机设备及存储介质
CN109783632A (zh) * 2019-02-15 2019-05-21 腾讯科技（深圳）有限公司 客服信息推送方法、装置、计算机设备及存储介质
CN109978569A (zh) * 2019-03-16 2019-07-05 钱露露 一种基于互联网的交互式办公系统
CN111723198B (zh) * 2019-03-18 2023-09-01 北京汇钧科技有限公司 一种文本情绪识别方法、装置及存储介质
CN111723198A (zh) * 2019-03-18 2020-09-29 北京京东尚科信息技术有限公司 一种文本情绪识别方法、装置及存储介质
CN109947922A (zh) * 2019-03-20 2019-06-28 浪潮商用机器有限公司 一种问答处理方法、装置及问答系统
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110134947B (zh) * 2019-04-17 2021-03-26 中国科学院计算技术研究所 一种基于不平衡多源数据的情感分类方法及系统
CN110134947A (zh) * 2019-04-17 2019-08-16 中国科学院计算技术研究所 一种基于不平衡多源数据的情感分类方法及系统
CN110032645B (zh) * 2019-04-17 2021-02-09 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN110059082A (zh) * 2019-04-17 2019-07-26 东南大学 一种基于1D-CNN与Bi-LSTM的天气预测方法
CN110377692B (zh) * 2019-06-03 2021-10-08 广东幽澜机器人科技有限公司 一种训练机器人模仿学习人工客服方法及装置
CN110377692A (zh) * 2019-06-03 2019-10-25 广东幽澜机器人科技有限公司 一种训练机器人模仿学习人工客服方法及装置
CN110442858A (zh) * 2019-06-24 2019-11-12 平安科技（深圳）有限公司 一种问句实体识别方法、装置、计算机设备及存储介质
CN110263128A (zh) * 2019-06-24 2019-09-20 百度在线网络技术（北京）有限公司 交互问答的方法、装置及计算机可读存储介质
CN110442858B (zh) * 2019-06-24 2024-01-30 平安科技（深圳）有限公司 一种问句实体识别方法、装置、计算机设备及存储介质
CN110377713A (zh) * 2019-07-16 2019-10-25 杭州微洱网络科技有限公司 一种基于概率转移改善问答系统上下文的方法
CN110377713B (zh) * 2019-07-16 2023-09-15 广州探域科技有限公司 一种基于概率转移改善问答系统上下文的方法
CN110377715A (zh) * 2019-07-23 2019-10-25 天津汇智星源信息技术有限公司 基于法律知识图谱的推理式精准智能问答方法
CN112612876A (zh) * 2019-09-19 2021-04-06 北京国双科技有限公司 用户咨询的应对处理方法、装置、存储介质及电子设备
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
CN111008283B (zh) * 2019-10-31 2023-06-20 中电药明数据科技(成都)有限公司 一种基于复合边界信息的序列标注方法及系统
CN111008283A (zh) * 2019-10-31 2020-04-14 中电药明数据科技(成都)有限公司 一种基于复合边界信息的序列标注方法及系统
CN111143525A (zh) * 2019-12-17 2020-05-12 广东广信通信服务有限公司 车辆信息获取方法、装置和智能移车系统
CN111128241A (zh) * 2019-12-30 2020-05-08 上海浩琨信息科技有限公司 语音通话的智能质检方法及系统
CN111737989A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN114255044A (zh) * 2020-09-11 2022-03-29 四川大学 基于跨媒体分析的智能客服技术
CN112580347A (zh) * 2020-12-14 2021-03-30 国家电网有限公司客户服务中心 一种基于用户会话分析的情绪识别方法和装置
CN114971795A (zh) * 2022-05-27 2022-08-30 中国平安财产保险股份有限公司 保险产品推荐方法、装置、计算机设备及存储介质
CN117556022B (zh) * 2023-12-18 2024-10-01 北京中关村科金技术有限公司 一种智能客服意图识别方法、装置及系统
CN117556022A (zh) * 2023-12-18 2024-02-13 北京中关村科金技术有限公司 一种智能客服意图识别方法、装置及系统

Also Published As

Publication number Publication date
CN107679234B (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN107679234B (zh) 客服信息提供方法、装置、电子设备、存储介质
US10824815B2 (en) Document classification using attention networks
CN111090987B (zh) 用于输出信息的方法和装置
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN111783474B (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN109034203B (zh) 表情推荐模型的训练、表情推荐方法、装置、设备及介质
CN112015859A (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
CN111680159A (zh) 数据处理方法、装置及电子设备
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN111259647A (zh) 基于人工智能的问答文本匹配方法、装置、介质及电子设备
CN111339292A (zh) 文本分类网络的训练方法、系统、设备及存储介质
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
US20230359825A1 (en) Knowledge graph entities from text
CN110826327A (zh) 情感分析方法、装置、计算机可读介质及电子设备
CN115359799A (zh) 语音识别方法、训练方法、装置、电子设备及存储介质
CN108595717A (zh) 用于文本分类的数据处理方法、数据处理装置和电子设备
KR20200041199A (ko) 챗봇 구동 방법, 장치 및 컴퓨터 판독가능 매체
CN117891939A (zh) 粒子群算法结合cnn卷积神经网络的文本分类方法
US11099107B2 (en) Component testing plan considering distinguishable and undistinguishable components
CN117911079A (zh) 一种个性化商户营销智能推荐方法和系统
CN111241273A (zh) 文本数据分类方法、装置、电子设备及计算机可读介质
CN113139838A (zh) 酒店服务评价方法、系统、设备及存储介质
CN111966822A (zh) 用于确定评价信息的情感类别的方法和装置
CN113704471B (zh) 语句的分类方法、装置、设备和存储介质
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant