CN107273487A - 基于人工智能的聊天数据的生成方法、装置及计算机设备 - Google Patents

基于人工智能的聊天数据的生成方法、装置及计算机设备 Download PDF

Info

Publication number
CN107273487A
CN107273487A CN201710444259.9A CN201710444259A CN107273487A CN 107273487 A CN107273487 A CN 107273487A CN 201710444259 A CN201710444259 A CN 201710444259A CN 107273487 A CN107273487 A CN 107273487A
Authority
CN
China
Prior art keywords
vocabulary
language material
target
chat data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710444259.9A
Other languages
English (en)
Inventor
刘毅
董大祥
于佃海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710444259.9A priority Critical patent/CN107273487A/zh
Publication of CN107273487A publication Critical patent/CN107273487A/zh
Priority to US16/005,779 priority patent/US10762305B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/49—Data-driven translation using very large corpora, e.g. the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于人工智能的聊天数据的生成方法、装置及计算机设备。该方法包括：包括：根据用户输入的聊天数据确定第一语料序列；将所述第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；将所述目标词汇作为所述聊天数据的回复数据进行反馈第一个独权。本发明实施例能够基于用户输入的第一预料序列和用户兴趣标签，通过注意力模型生成作为回复数据的目标词汇。进而使得基于注意力模型得到的目标词汇不仅关注上下文信息且关注用户兴趣标签，使得聊天系统能够根据用户的主观兴趣与用户进行聊天，提高聊天回合数。

Description

基于人工智能的聊天数据的生成方法、装置及计算机设备
技术领域
本发明实施例涉及智能聊天技术，尤其涉及一种基于人工智能的聊天数据的生成方法、装置及计算机设备。
背景技术
人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
智能聊天表示机器根据用户输入的语句进行智能回复的过程。随着智能聊天技术的发展，智能聊天技术从对固定语句进行固定内容的回复，逐渐演变为通过对用户输入的语句的语义进行回复。
现有技术中聊天系统通过对语义进行分析，实现根据对话的上下文进行建模，然后预测下一条对话。例如，采用卷积神经网络对轮内会话进行语义表示，然后使用循环神经网络对轮间会话进行序列表示。最后，以末端的序列表示作为初始状态，应用循环神经网络生成会话。
然而，聊天系统在生成回复数据时，所基于的是数据对应的客观信息，进而无法基于用户主观信息进行回复，聊天回合数较低。
发明内容
本发明提供一种基于人工智能的聊天数据的生成方法、装置及计算机设备，以实现聊天系统根据用户兴趣进行回复，提高聊天回合数，使聊天系统更加智能。
第一方面，本发明实施例提供了一种基于人工智能的聊天数据的生成方法，包括：
根据用户输入的聊天数据确定第一语料序列；
将第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；
将目标词汇作为聊天数据的回复数据进行反馈。
第二方面，本发明实施例还提供了一种基于人工智能的聊天数据的生成装置，包括：
第一语料序列确定模块，用于根据用户输入的聊天数据确定第一语料序列；
目标词汇计算模块，用于将第一语料序列确定模块确定的第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；
聊天数据反馈模块，用于将目标词汇计算模块计算的目标词汇作为聊天数据的回复数据进行反馈。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面所示的基于人工智能的聊天数据的生成方法。
本发明实施例提供的技术方案能够根据用户输入的聊天数据确定第一语料序列，然后将第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；最后，将目标词汇作为聊天数据的回复数据进行反馈。相对于现有技术在仅根据上下文生成回复数据，本发明实施例能够基于用户输入的第一预料序列和用户兴趣标签，通过注意力模型生成作为回复数据的目标词汇。进而使得基于注意力模型得到的目标词汇不仅关注上下文信息且关注用户兴趣标签，使得聊天系统能够根据用户的主观兴趣与用户进行聊天，提高聊天回合数。
附图说明
图1是本发明实施例一提供的一个基于人工智能的聊天数据的生成方法的流程图；
图2是本发明实施例一中的编码端算法示意图；
图3是本发明实施例一提供的另一个基于人工智能的聊天数据的生成方法的流程图；
图4是本发明实施例一中的解码端算法示意图；
图5是本发明实施例二中的基于人工智能的聊天数据的生成装置的结构示意图；
图6是本发明实施例三中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的基于人工智能的聊天数据的生成方法的流程图，本实施例可适用于用户与机器进行智能聊天的情况，该方法可以由运行有聊天系统的服务器或终端来执行，具体包括如下步骤：
步骤110、根据用户输入的聊天数据确定第一语料序列。
聊天数据可以为用户输入的文本格式数据，也可以为用户输入的音频格式数据。如果由终端执行本实施例所示方法，则终端能通过输入设备获取用户输入的聊天数据。如果由服务器执行本实施例所示方法，则首先由终端获取用户输入的聊天数据，然后将聊天数据通过网络传输至该服务器。
如果聊天数据为音频格式数据，则将音频格式数据转换为文本格式数据。将音频格式数据转换为文本格式数据可以由终端执行也可以由具有转写功能的服务器执行。
可通过预设向量转换模型得到文本格式的聊天数据的向量表示，即第一语料序列。预设向量转换模型可以为向量空间模型(Vector Space Model，VSM)。通过向量空间模型等转换模型能够将文本格式的聊天数据转换成第一语料序列。
步骤120、将第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇。
本实施例提供了一种使用预设循环神经网络模型进行用户兴趣相关的会话生成方案。其中，预设循环神经网络模型可以为LSTM(Long Short-Term Memory)循环神经网络或GRU(Gated Recurrent Unit)循环神经网络，为了方便说明以LSTM循环神经网络为例进行说明。
LSTM循环神经网络分为模型训练和模型预测两个阶段。其中，模型训练包括训练数据准备、模型设计和优化算法三个阶段。
训练数据准备阶段包括：预先收集用户兴趣标签以及兴趣标签下的会话对。对兴趣标签生成兴趣标签词表，对会话对生成会话对词表。
在一种实现方式中，首先，获取至少一个用户的会话记录；
具体的，读取人工客服对话的聊天记录，将该聊天记录作为语料。
其次，对会话记录中每个语句对应的第二语料序列进行分词处理，得到至少一个分词词汇；
获取语料后，使用分词工具对语料进行逐条分析，依次对每个语句进行分词处理。分词工具用于将一个句子拆分为独立的词汇。例如，“我好久没有运动了”，经过分词处理得到“我”、“好久”、“没有”、“运动”、“了”五个词汇。
再次，统计每个分词词汇出现的概率值；
得到独立的词汇后，统计每个词汇出现的频率或次数。
最后，根据每个分词词汇出现的概率值确定词表空间。
将频率或次数最好的前N个关键词汇添加到词表。N的数值可根据应用需求进行选择，N越高可识别词汇的覆盖率越高，但是训练和预测的效率越低。未添加到词表中的词汇，使用预设标识进行标识。预设标识可以为“UNKOWN(未知)”。除了删除N个关键词汇、UNKOWN词汇，还包括标记为“START(开始)”和“END(结束)”的词汇。“START(开始)”词汇为解码端初始词，“END(结束)”词汇解码端结束词。此时，词表一共包含N个关键词汇、“UNKOWN(未知)”词汇、“START(开始)”词汇以及“END(结束)”词汇。根据词汇在词表中对应的需要，将语料中会话对逐一转换成序号。
同理，对用户的兴趣标签也进行词表生成(假设兴趣标签词表大小为M)和未登录词UNKOWN标记处理，配置START和END词汇标识。至此，训练数据准备完毕。其中，用户的兴趣标签可以根据用户的行为特征进行确定。例如，根据用户的运动参数确定用户喜爱的运动，以及用户的运动时段，根据用户喜爱的运动以及运动时段确定兴趣标签。又例如，根据用户安装的应用程序确定用户需要的应用类型，根据应用类型确定兴趣标签。
模型设计阶段包括：序列生成模型主要包含编码端和解码端两部分，算法主体是由两个循环神经网络模型组成。
具体的，编码端的算法结构如图2所示，其中，xi，i＝1,2,…,n，分别表示用户输入语句经过分词处理得到的词汇，x1到xn组成源端会话的词汇序列，在任意的时刻t，xt的计算如公式一：
it＝σ(Wixt+Uiht-1+bi)
ft＝σ(Wfxt+Ufht-1+bf)
ot＝σ(Woxt+Uoht-1+bo)
其中，b是偏置项，符号表示逐维度相乘运算，f表示“遗忘开关”(forget gate)，开关中每个元素的值域是[0,1]，决定了前续信息能保留多少，o表示输出开关(outputgate)，值域为[0,1]，决定了在当前输出多少信息。矩阵W和矩阵U为LSTM模型中，不同“开关”，如f何o，以及“信息”，如对应的参数，W和U可通过训练达到预期效果。σ表示Sigmoid函数：
上式能够实现LSTM(Long-Short Term Memory)循环神经网络，即通过“门”这种机制，将当前词汇xt的信息和前续词汇序列的信息ht-1综合建模后，生成当前词汇序列的信息ht。得到的每个词汇序列的信息h为编码端的运算结果。
进一步的，为了使LSTM循环神经网络表义更加丰富和准确，在沿正向处理一遍词汇序列，生成h1,h2,…,hn之后，沿反向，按照同样的运算处理词汇序列，生成rh1,rh2,…,rhn。然后，将对应位置上的ht,rhn-t拼接形成优化的输出cht，最终编码端生成序列的ch1,ch2,…,chn为第一预料序列。
解码端为带注意力机制的解码端，具体执行流程如图3所示，在进行解码时，依次遍历编码端得到的第一语料序列ch1,ch2,…,chn，遍历时采用LSTM循环神经网络作为基础的遍历策略。同解编端不一样的是：一，序列遍历过程中需要对编码端结果按注意力模型进行加权求和，生成上下文信息；二，序列遍历过程中产出的隐层结果需要预测出对应的目标词汇，特别是在解码阶段，该目标词汇会作为下一轮迭代的输入。通过结合集束搜索(BeamSearch)算法利用解码端算法产出概率最大的那个解码序列作为当前的会话回复给用户。具体过程如下：
步骤121、将第一语料序列中的预设词汇确定为第二语料序列的起始词汇。
示例性的，将编码阶段沿反向编码得到的第一个词汇rhn确定为第二语料序列的起始词汇。
步骤122、从起始词汇开始对第二语料序列进行序列遍历。
使用LSTM(Long-Short Term Memory)循环神经网络的遍历机制对第二语料序列进行遍历，在每个遍历过程中对第一语料序列进行加权求和后，根据加权求和结果、用户兴趣标签以及起始词汇，确定第一个回复数据。然后，将第一个回复数据作为起始词汇，参考加权求和结果和用户兴趣标签结算第二个回复数据。以此类推，直至得到的回复数据具有END标识。在任意一次遍历过程中，当前遍历的词汇为当前词汇。每次遍历可通过步骤123至步骤125的方式进行实施。
步骤123、在任意一个遍历过程中，对当前词汇按注意力模型进行加权求和，生成上下文信息，当前词汇为当前遍历到的第二语料序列的词汇。
对当前词汇按注意力模型进行加权求和，可具体通过下述方式进行实施：首先，根据当前词汇和用户兴趣标签生成权重信息。然后，根据权重信息对用户兴趣标签进行加权求和。
根据起始词汇以及第一语料序列计算，计算起始词汇相对于第一语料序列中各个词汇的权重信息。然后，根据相对于第一语料序列中各个词汇的权重信息和第一语料序列进行加权求和。
步骤124、根据上下文信息、用户兴趣标签和迭代起始词汇计算目标词汇。
具体的，在计算任意一组目标词汇时，可通过下属方式进行实施：
步骤401、根据上下文信息、用户兴趣标签以及迭代起始词汇计算隐层信息。
其中，上下文信息为根据第一语料序列进行求和得到的信息，迭代起始词汇为编码阶段沿反向得到第一个词汇rhn。如图4所示，隐层信息依次为S1、S2…Sn。每个遍历回合得到一个隐层信息。可以根据下述公式二计算隐层信息st。
步骤402、将隐层信息作线性变换投影到词表空间。
词表空间可以为第二语料序列组成的第二语料库。由于词汇可转换为向量表示，因此按照向量的维度，对隐层信息对应的响铃投影(Full Connect)到次表空间进行比对。
步骤403、在词表空间中预测第一词汇为下一个词汇的概率，第一词汇为词表空间中任意一个词汇。
Softmax操作能够预测隐层信息对应的下一个词汇的概率pi。分别得出次表空间中各词汇作为隐层信息对应的下一个词汇的概率pi。
步骤404、根据概率确定目标词汇。
将词表空间中概率pi最高的K个词汇确定为目标词汇Sn。然后,对K个词汇中的每个词汇作为迭代起始词汇。在得到多组目标词汇序列后，选取概率值最高的目标词汇组作为回复数据。
例如，假设每个K个词汇中每个词汇均得到L个目标词汇，则进过一轮迭代运算后，得到K*L个目标词汇组。分别计算每个目标词汇组对应的概率，选取概率值最高的目标词汇组作为回复数据。
步骤125、如果目标词汇未满足截止条件，则将目标词汇作为新的迭代起始词汇进行迭代，直至得到满足截止条件的目标词汇。
其中，截止条件，包括：目标词汇为预设结束词汇；和/或，已得到的目标词汇的数量达到预设长度。
预设结束词汇为具有END标识的词汇。可以将聊天记录的平均长度作为预设长度。也可以从聊天记录中查找具有第一语料序列中词汇对应的回复数据。
步骤130、将目标词汇作为聊天数据的回复数据进行反馈。
将回复数据转换为用户输入格式匹配的格式，如文本格式或音频格式。如果由终端执行本实施例所示步骤，则通过终端输出接口显示文本格式的回复数据，或播放音频格式的回复数据。如果由服务器执行，则将回复数据发送至用户终端，由用户终端输出回复数据。
下面通过一个具体使用场景对上述方法进行实施：
在任意的时刻t，源端会话的词汇序列xi，i＝1,2,…,n，xt的计算使用上述公式一：
it＝σ(Wixt+Uiht-1+bi)
ft＝σ(Wfxt+Ufht-1+bf)
ot＝σ(Woxt+Uoht-1+bo)
其中，W，U表示矩阵，b是偏置项，符号表示逐维度相乘运算，σ表示Sigmoid函数：
通过公式一可得到用户输入的任意一个词汇xt对应的词汇序列信息ht。沿正向处理一遍词汇序列，生成h1,h2,…,hn。然后，还沿反向，按照同样的运算处理词汇序列，生成rh1,rh2,…,rhn。最后，将对应位置上的ht,rhn-t拼接形成新的输出cht，生成序列第一语料序列ch1,ch2,…,chn。
注意力模型的基本公式为，公式二：
it＝σ(Wixt+UiSt-1+Aiat+bi)
ft＝σ(Wfxt+UfSt-1+Afat+bf)
ot＝σ(Woxt+UoSt-1+Aoat+bo)
其中，在任意一个t时刻，当前遍历词汇的上下文信息at的计算方式如公式三所示，公式三：
vit＝Vatanh(Wachi+Uast-1)
公式二能够得到隐层信息st，将隐层st作线性变换投影到词表大小空间，然后通过Softmax操作预测下一个词汇的概率pi。wit为权重信息(又称概率)。
为了能够将注意力模型与用户兴趣标签进行结合，仿照注意力模型，将注意力施加到用户标签上，如公式四所示：
zit＝Vgtanh(Wgqi+Ugst-1)
其中，qi，i＝0,1,…,m为用户兴趣标签的向量表示，j表示词表空间中任意一个词汇。zit为第一预料第i个词汇，第二语料第t个词汇对应的注意力参数z的数值。j的取值范围与i相同。上式能够实现将当前会话状态跟用户标签逐一比对生成相应权重uit，再按照权重对用户兴趣标签进行加权求和。这样，解码端在生成解码序列的时候，由于加入了与上下文st-1相关的用户兴趣标签gt，因此对话也会跟用户的兴趣有关。
由此，解码端的循环神经网络可以使用下述公式五计算当前词汇对应的目标词汇，公式五：
it＝σ(Wixt+UiSt-1+Sist+Gigt+bi)
ft＝σ(Wfxt+UfSt-1+Sfst+Gfgt+bf)
ot＝σ(Woxt+UoSt-1+Sost+Gogt+bo)
其中，任意一个循环中得到的目标词汇ht可作为下一个循环的ht-1进行迭代。当得到的目标词汇ht为END标识词汇或者目标词汇序列的长度达到预设长度，则停止迭代，并将得到的目标词汇序列作为回复数据。其中，Wi、Ui、Si和bi可根据注意力模型提供的基准矩阵确定。
在优化算法阶段，采用随机初始化模型，然后使用预先准备的训练数据按照小批量随机梯度下降法训练该模型，使得经验风险最小化：
θ＝argminθL(x)
其中，θ表示所有模型的参数集合，如前述的W、U等等。L表示损失函数，通过训练数据训练模型使得这个损失函数的值尽可能小。上述公式用于将损失函数取值最小时的参数作为最优的模型参数进行保存。
经过多轮训练以后，可得到能够生成对话序列的模型。在得到优化的模型后，对任意会话，先通过编码端，将该会话表示成为ch1,ch2,…,chn序列，同时查找用户的兴趣标签的表示序列q1,q2,…,qn，然后结合集束搜索(Beam Search)算法利用解码端算法产出概率最大的那个解码序列作为当前的会话回复给用户。其中，集束搜索算法跟解码端按照如下方式协同工作：
首先，给定序列起始词汇START作为时刻0的输入x0，然后经过解码端运算生成下一个词汇的概率分布P0。从P0中选出概率最大的K个词汇，然后分别以这K个词汇作为解码序列中的下一个词汇作为时刻1的输入x1。接着，在所有K个分支产生的K个P0分布中选出与前续序列概率乘积最大K个词汇作为x2的候选，并重复上述操作。若集束搜索产出序列终止词汇END，则集束搜索宽度减一，并继续搜索，直到集束的宽度变为0或达到最大序列生成长度为止。其中，集束搜索宽度对应预设序列长度。最后在所有K个以END结尾的序列中选取一个概率最大的序列作为结果。
本实施例提供的技术方案能够根据用户输入的聊天数据确定第一语料序列，然后将第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；最后，将目标词汇作为聊天数据的回复数据进行反馈。相对于现有技术在仅根据上下文生成回复数据，本实施例能够基于用户输入的第一预料序列和用户兴趣标签，通过注意力模型生成作为回复数据的目标词汇。进而使得基于注意力模型得到的目标词汇不仅关注上下文信息且关注用户兴趣标签，使得聊天系统能够根据用户的主观兴趣与用户进行聊天，提高聊天回合数。
实施例二
图5为本发明实施例二提供的一种基于人工智能的聊天数据的生成装置，该装置用于实现实施例一所示的方法，包括：
第一语料序列确定模块51，用于根据用户输入的聊天数据确定第一语料序列；目标词汇计算模块
目标词汇计算模块52，用于将第一语料序列确定模块51确定的第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；
聊天数据反馈模块53，用于将目标词汇计算模块52计算的目标词汇作为聊天数据的回复数据进行反馈。
进一步的，目标词汇计算模块52，包括：
起始词汇确定单元521，用于将第一语料序列中的预设词汇确定为第二语料序列的起始词汇
遍历单元522，用于从起始词汇确定单元确定的所述起始词汇开始对第二语料序列进行序列遍历：
上下文信息生成单元523，用于在任意一个遍历过程中，对当前词汇按注意力模型进行加权求和，生成上下文信息，当前词汇为当前遍历的第二语料序列的词汇；
目标词汇计算单元524，用于根据上下文信息、用户兴趣标签和迭代起始词汇计算目标词汇；如果目标词汇未满足截止条件，则将目标词汇作为新的迭代起始词汇进行迭代，直至得到满足截止条件的目标词汇。
进一步的，目标词汇计算单元524用于：
根据上下文信息、用户兴趣标签以及迭代起始词汇计算隐层信息；
将隐层信息作线性变换投影到词表空间；
在词表空间中预测第一词汇为下一个词汇的概率，第一词汇为词表空间中任意一个词汇；
根据概率确定目标词汇。
进一步的，上下文信息生成单元523用于：
根据当前词汇和用户兴趣标签生成权重信息；
根据权重信息对用户兴趣标签进行加权求和。
进一步的，截止条件，包括：
目标词汇为预设结束词汇；和/或，
已得到的目标词汇的数量达到预设长度。
进一步的，目标词汇计算模块52还包括词表空间确定单元525，用于：
获取至少一个用户的会话记录；
对会话记录中每个语句对应的第二语料序列进行分词处理，得到至少一个分词词汇；
统计每个分词词汇出现的概率值；
根据每个分词词汇出现的概率值确定词表空间。
本实施例提供的技术方案能够由第一语料序列确定模块51根据用户输入的聊天数据确定第一语料序列，然后目标词汇计算模块52将第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；最后，聊天数据反馈模块53将目标词汇作为聊天数据的回复数据进行反馈。相对于现有技术在仅根据上下文生成回复数据，本实施例能够基于用户输入的第一预料序列和用户兴趣标签，通过注意力模型生成作为回复数据的目标词汇。进而使得基于注意力模型得到的目标词汇不仅关注上下文信息且关注用户兴趣标签，使得聊天系统能够根据用户的主观兴趣与用户进行聊天，提高聊天回合数。
实施例三
图6为本发明实施例三提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于人工智能的聊天数据的生成方法。
实施例四
本发明实施例四还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的基于人工智能的聊天数据的生成方法。
本实施例提供的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种基于人工智能的聊天数据的生成方法，其特征在于，包括：
根据用户输入的聊天数据确定第一语料序列；
将所述第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；
将所述目标词汇作为所述聊天数据的回复数据进行反馈。
2.根据权利要求1所述的基于人工智能的聊天数据的生成方法，其特征在于，所述将所述第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇，包括：
将所述第一语料序列中的预设词汇确定为第二语料序列的起始词汇；
从所述起始词汇开始对所述第二语料序列进行序列遍历，在任意一个遍历过程中：
对当前词汇按注意力模型进行加权求和，生成上下文信息，所述当前词汇为当前遍历的第二语料序列的词汇；
根据所述上下文信息、用户兴趣标签和迭代起始词汇计算目标词汇；
如果所述目标词汇未满足截止条件，则将目标词汇作为新的迭代起始词汇进行迭代，直至得到满足所述截止条件的目标词汇。
3.根据权利要求2所述的基于人工智能的聊天数据的生成方法，其特征在于，所述根据所述上下文信息、用户兴趣标签和迭代起始词汇计算目标词汇，包括：
根据所述上下文信息、用户兴趣标签以及迭代起始词汇计算隐层信息；
将所述隐层信息作线性变换投影到词表空间；
在所述词表空间中预测第一词汇为下一个词汇的概率，所述第一词汇为所述词表空间中任意一个词汇；
根据所述概率确定目标词汇。
4.根据权利要求2所述的基于人工智能的聊天数据的生成方法，其特征在于，所述对当前词汇按注意力模型进行加权求和，包括：
根据所述当前词汇和用户兴趣标签生成权重信息；
根据所述权重信息对所述用户兴趣标签进行加权求和。
5.根据权利要求2所述的基于人工智能的聊天数据的生成方法，其特征在于，所述截止条件，包括：
所述目标词汇为预设结束词汇；和/或，
已得到的目标词汇的数量达到预设长度。
6.根据权利要求3所述的基于人工智能的聊天数据的生成方法，其特征在于，在根据用户输入的聊天数据确定第一语料序列之前，还包括：
获取至少一个用户的会话记录；
对所述会话记录中每个语句对应的第二语料序列进行分词处理，得到至少一个分词词汇；
统计每个分词词汇出现的概率值；
根据所述每个分词词汇出现的概率值确定所述词表空间。
7.一种基于人工智能的聊天数据的生成装置，其特征在于，包括：
第一语料序列确定模块，用于根据用户输入的聊天数据确定第一语料序列；
目标词汇计算模块，用于将所述第一语料序列确定模块确定的所述第一语料序列和用户兴趣标签代入注意力模型进行计算，得出目标词汇；
聊天数据反馈模块，用于将所述目标词汇计算模块计算的所述目标词汇作为所述聊天数据的回复数据进行反馈。
8.根据权利要求7所述的基于人工智能的聊天数据的生成装置，其特征在于，所述目标词汇计算模块，包括：
起始词汇确定单元，用于将所述第一语料序列中的预设词汇确定为第二语料序列的起始词汇；
遍历单元，用于从所述起始词汇确定单元确定的所述起始词汇开始对所述第二语料序列进行序列遍历：
上下文信息生成单元，用于在任意一个遍历过程中，对当前词汇按注意力模型进行加权求和，生成上下文信息，所述当前词汇为当前遍历的第二语料序列的词汇；
目标词汇计算单元，用于根据所述上下文信息、用户兴趣标签和迭代起始词汇计算目标词汇；如果所述目标词汇未满足截止条件，则将目标词汇作为新的迭代起始词汇进行迭代，直至得到满足所述截止条件的目标词汇。
9.根据权利要求8所述的基于人工智能的聊天数据的生成装置，其特征在于，所述目标词汇计算单元用于：
根据所述上下文信息、用户兴趣标签以及迭代起始词汇计算隐层信息；
将所述隐层信息作线性变换投影到词表空间；
在所述词表空间中预测第一词汇为下一个词汇的概率，所述第一词汇为所述词表空间中任意一个词汇；
根据所述概率确定目标词汇。
10.根据权利要求8所述的基于人工智能的聊天数据的生成装置，其特征在于，所述上下文信息生成单元用于：
根据所述当前词汇和用户兴趣标签生成权重信息；
根据所述权重信息对所述用户兴趣标签进行加权求和。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的基于人工智能的聊天数据的生成方法。
CN201710444259.9A 2017-06-13 2017-06-13 基于人工智能的聊天数据的生成方法、装置及计算机设备 Pending CN107273487A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710444259.9A CN107273487A (zh) 2017-06-13 2017-06-13 基于人工智能的聊天数据的生成方法、装置及计算机设备
US16/005,779 US10762305B2 (en) 2017-06-13 2018-06-12 Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710444259.9A CN107273487A (zh) 2017-06-13 2017-06-13 基于人工智能的聊天数据的生成方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN107273487A true CN107273487A (zh) 2017-10-20

Family

ID=60067538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710444259.9A Pending CN107273487A (zh) 2017-06-13 2017-06-13 基于人工智能的聊天数据的生成方法、装置及计算机设备

Country Status (2)

Country Link
US (1) US10762305B2 (zh)
CN (1) CN107273487A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862058A (zh) * 2017-11-10 2018-03-30 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108062388A (zh) * 2017-12-15 2018-05-22 北京百度网讯科技有限公司 人机对话的回复生成方法和装置
CN108364066A (zh) * 2017-11-30 2018-08-03 中国科学院计算技术研究所 基于n-gram和wfst模型的人工神经网络芯片及其应用方法
CN108491514A (zh) * 2018-03-26 2018-09-04 清华大学 对话系统中提问的方法及装置、电子设备、计算机可读介质
CN109255020A (zh) * 2018-09-11 2019-01-22 浙江大学 一种利用卷积对话生成模型解决对话生成任务的方法
CN109299231A (zh) * 2018-09-14 2019-02-01 苏州思必驰信息科技有限公司 对话状态跟踪方法、系统、电子设备及存储介质
CN109657890A (zh) * 2018-09-14 2019-04-19 阿里巴巴集团控股有限公司 一种转账欺诈的风险确定方法及装置
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN110826340A (zh) * 2019-11-06 2020-02-21 广东三维家信息科技有限公司 评价文本生成方法、装置及电子设备
CN110943904A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 消息的处理方法及装置、存储介质、处理器
WO2020078092A1 (zh) * 2018-10-17 2020-04-23 北京达佳互联信息技术有限公司 信息处理方法、装置、服务器、终端及存储介质
CN111125324A (zh) * 2019-11-22 2020-05-08 泰康保险集团股份有限公司 文本数据处理方法、装置、电子设备及计算机可读介质
CN111125506A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 兴趣圈主题确定方法、装置、服务器和介质
CN111241263A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 文本生成方法、装置和电子设备
CN111401084A (zh) * 2018-02-08 2020-07-10 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384643B1 (ko) * 2017-08-17 2022-04-08 엘지전자 주식회사 전자 장치 및 그 제어 방법
JP6775545B2 (ja) * 2018-05-09 2020-10-28 日本電信電話株式会社 対話データ生成装置、対話データ生成方法、およびプログラム
CN109815482B (zh) * 2018-12-17 2023-05-23 北京百度网讯科技有限公司 一种新闻交互的方法、装置、设备和计算机存储介质
CN109726397B (zh) * 2018-12-27 2024-02-02 网易（杭州）网络有限公司 中文命名实体的标注方法、装置、存储介质和电子设备
KR20210099564A (ko) * 2018-12-31 2021-08-12 인텔 코포레이션 인공 지능을 이용한 보안 시스템
CN111435411B (zh) * 2019-01-15 2023-07-11 菜鸟智能物流控股有限公司 命名体类型识别方法和装置以及电子设备
CN110147532B (zh) * 2019-01-24 2023-08-25 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN110147533B (zh) * 2019-01-24 2023-08-29 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN110263131B (zh) * 2019-03-05 2023-07-04 腾讯科技（深圳）有限公司 回复信息生成方法、装置及存储介质
CN110008476B (zh) * 2019-04-10 2023-04-28 出门问问信息科技有限公司 语义解析方法、装置、设备及存储介质
CN110737764B (zh) * 2019-10-24 2023-07-07 西北工业大学 一种个性化对话内容生成方法
CN111291169B (zh) * 2020-01-16 2024-05-28 中国平安人寿保险股份有限公司 模板编辑回复的方法、装置、设备及存储介质
CN113407707A (zh) * 2020-03-16 2021-09-17 北京沃东天骏信息技术有限公司 生成文本摘要的方法和装置
CN111553152B (zh) * 2020-04-03 2023-05-12 华为技术有限公司 问题生成方法和装置及问题-文本对的生成方法和装置
CN111625715B (zh) * 2020-05-09 2022-04-22 北京达佳互联信息技术有限公司 信息提取方法、装置、电子设备及存储介质
CN113312448B (zh) * 2021-04-02 2022-11-08 新大陆数字技术股份有限公司 一种诗歌生成方法、系统及可读存储介质
US11736423B2 (en) 2021-05-04 2023-08-22 International Business Machines Corporation Automated conversational response generation
CN113722308B (zh) * 2021-09-02 2023-12-08 重庆大学 基于EEMD-MultiCNN-LSTM的加速度响应数据补全方法及装置
CN114124860A (zh) * 2021-11-26 2022-03-01 中国联合网络通信集团有限公司 会话管理方法、装置、设备及存储介质
CN116188648B (zh) * 2023-04-27 2023-08-01 北京红棉小冰科技有限公司 基于无驱动源的虚拟人动作生成方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598445A (zh) * 2013-11-01 2015-05-06 腾讯科技（深圳）有限公司 自动问答系统和方法
CN105512228A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 一种基于智能机器人的双向问答数据处理方法和系统
CN105955964A (zh) * 2016-06-13 2016-09-21 北京百度网讯科技有限公司 一种自动生成诗歌的方法和装置
CN106126596A (zh) * 2016-06-20 2016-11-16 中国科学院自动化研究所 一种基于层次化记忆网络的问答方法
US20160350658A1 (en) * 2015-06-01 2016-12-01 Microsoft Technology Licensing, Llc Viewport-based implicit feedback

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922699B2 (en) * 1999-01-26 2005-07-26 Xerox Corporation System and method for quantitatively representing data objects in vector space
CN108319599B (zh) * 2017-01-17 2021-02-26 华为技术有限公司 一种人机对话的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598445A (zh) * 2013-11-01 2015-05-06 腾讯科技（深圳）有限公司 自动问答系统和方法
US20160350658A1 (en) * 2015-06-01 2016-12-01 Microsoft Technology Licensing, Llc Viewport-based implicit feedback
CN105512228A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 一种基于智能机器人的双向问答数据处理方法和系统
CN105955964A (zh) * 2016-06-13 2016-09-21 北京百度网讯科技有限公司 一种自动生成诗歌的方法和装置
CN106126596A (zh) * 2016-06-20 2016-11-16 中国科学院自动化研究所 一种基于层次化记忆网络的问答方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WANG, PW: "《CIKM"16: PROCEEDINGS OF THE 2016 ACM CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》", 31 December 2016, ASSOC COMPUTING MACHINERY, 1515 BROADWAY, NEW YORK, NY 10036-9998 USA *
天煞#孤星: ""深度学习方法（九）：自然语言处理中的Attention Model注意力模型"", 《HTTPS://BLOG.CSDN.NET/XBINWORLD/ARTICLE/DETAILS/54607525》 *
孙凯: "自动答疑系统中的问句理解与个性化推荐算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
苏超: "基于神经网络的人脸识别方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862058A (zh) * 2017-11-10 2018-03-30 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN107862058B (zh) * 2017-11-10 2021-10-22 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108364066A (zh) * 2017-11-30 2018-08-03 中国科学院计算技术研究所 基于n-gram和wfst模型的人工神经网络芯片及其应用方法
CN108388944A (zh) * 2017-11-30 2018-08-10 中国科学院计算技术研究所 Lstm神经网络芯片及其使用方法
CN108062388A (zh) * 2017-12-15 2018-05-22 北京百度网讯科技有限公司 人机对话的回复生成方法和装置
CN108062388B (zh) * 2017-12-15 2021-09-17 北京百度网讯科技有限公司 人机对话的回复生成方法和装置
CN111401084A (zh) * 2018-02-08 2020-07-10 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
CN111401084B (zh) * 2018-02-08 2022-12-23 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
CN108491514A (zh) * 2018-03-26 2018-09-04 清华大学 对话系统中提问的方法及装置、电子设备、计算机可读介质
CN109255020A (zh) * 2018-09-11 2019-01-22 浙江大学 一种利用卷积对话生成模型解决对话生成任务的方法
CN109255020B (zh) * 2018-09-11 2022-04-01 浙江大学 一种利用卷积对话生成模型解决对话生成任务的方法
CN109299231A (zh) * 2018-09-14 2019-02-01 苏州思必驰信息科技有限公司 对话状态跟踪方法、系统、电子设备及存储介质
CN109299231B (zh) * 2018-09-14 2020-10-30 苏州思必驰信息科技有限公司 对话状态跟踪方法、系统、电子设备及存储介质
CN109657890A (zh) * 2018-09-14 2019-04-19 阿里巴巴集团控股有限公司 一种转账欺诈的风险确定方法及装置
CN110943904A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 消息的处理方法及装置、存储介质、处理器
WO2020078092A1 (zh) * 2018-10-17 2020-04-23 北京达佳互联信息技术有限公司 信息处理方法、装置、服务器、终端及存储介质
US11483263B2 (en) 2018-10-17 2022-10-25 Beijing Dajia Internet Information Technology Co., Ltd. Method and terminal for facilitating chat between users of two terminals
CN111125506A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 兴趣圈主题确定方法、装置、服务器和介质
CN111125506B (zh) * 2018-11-01 2023-06-23 百度在线网络技术（北京）有限公司 兴趣圈主题确定方法、装置、服务器和介质
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN110413788B (zh) * 2019-07-30 2023-01-31 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN110826340A (zh) * 2019-11-06 2020-02-21 广东三维家信息科技有限公司 评价文本生成方法、装置及电子设备
CN111125324A (zh) * 2019-11-22 2020-05-08 泰康保险集团股份有限公司 文本数据处理方法、装置、电子设备及计算机可读介质
CN111125324B (zh) * 2019-11-22 2023-09-26 泰康保险集团股份有限公司 文本数据处理方法、装置、电子设备及计算机可读介质
CN111241263A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 文本生成方法、装置和电子设备

Also Published As

Publication number Publication date
US20180357225A1 (en) 2018-12-13
US10762305B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN107273487A (zh) 基于人工智能的聊天数据的生成方法、装置及计算机设备
CN110534087B (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
Kim et al. Efficient dialogue state tracking by selectively overwriting memory
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
Ghosh et al. Contextual lstm (clstm) models for large scale nlp tasks
CN103049792B (zh) 深层神经网络的辨别预训练
CN111198937B (zh) 对话生成及装置、计算机可读存储介质、电子设备
CN113516968B (zh) 一种端到端长时语音识别方法
CN108959482A (zh) 基于深度学习的单轮对话数据分类方法、装置和电子设备
CN111382565A (zh) 基于多标签的情绪-原因对抽取方法及系统
KR102109369B1 (ko) 시계열 데이터의 변화를 예측하고 그 이유를 설명하는 인공지능 시스템
CN112767917B (zh) 语音识别方法、装置及存储介质
CN111401079A (zh) 神经网络机器翻译模型的训练方法、装置及存储介质
JP7229345B2 (ja) 文処理方法、文復号方法、装置、プログラム及び機器
CN108805260A (zh) 一种图说生成方法及装置
CN114021524A (zh) 一种情感识别方法、装置、设备及可读存储介质
CN110222333A (zh) 一种语音交互方法、装置以及相关设备
Han et al. Self-supervised learning with cluster-aware-dino for high-performance robust speaker verification
CN115831102A (zh) 基于预训练特征表示的语音识别方法、装置及电子设备
Shu et al. Modeling multi-action policy for task-oriented dialogues
CN114267366A (zh) 通过离散表示学习进行语音降噪
CN112185340A (zh) 语音合成方法、语音合成装置、存储介质与电子设备
Rana et al. Multi-task semisupervised adversarial autoencoding for speech emotion
Liu et al. Emotion rendering for conversational speech synthesis with heterogeneous graph-based context modeling
CN113077785A (zh) 一种端到端的多语言连续语音流语音内容识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020