CN113627196A - 一种基于语境和Transformer的多语言对话机器人系统及其对话方法 - Google Patents

一种基于语境和Transformer的多语言对话机器人系统及其对话方法 Download PDF

Info

Publication number
CN113627196A
CN113627196A CN202110826108.6A CN202110826108A CN113627196A CN 113627196 A CN113627196 A CN 113627196A CN 202110826108 A CN202110826108 A CN 202110826108A CN 113627196 A CN113627196 A CN 113627196A
Authority
CN
China
Prior art keywords
voice
language
module
text
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110826108.6A
Other languages
English (en)
Inventor
庞文君
杨猛
许红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianhai Qibao Technology Shenzhen Co ltd
Original Assignee
Qianhai Qibao Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianhai Qibao Technology Shenzhen Co ltd filed Critical Qianhai Qibao Technology Shenzhen Co ltd
Priority to CN202110826108.6A priority Critical patent/CN113627196A/zh
Publication of CN113627196A publication Critical patent/CN113627196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于语境和Transformer的多语言对话机器人系统及其对话方法，该系统包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块和语音合成模块；目标语种识别器模块对不同的语种进行识别；语音识别模块是得到识别后的文本问句；语音情绪识别模块对语音进行情绪识别；语音多语言融合器模块将目标语言结合语音情绪特征和多语言融合文本答案输出情绪化翻译结果；语音合成模块将答案文本通过语音合成输出语音答案。本发明通过自动识别目标语种和语音情绪，进行语义多语言融合进行答案选择，并通过基于语境的答案翻译，能够智能回答多语言的问题，降低了采用人工客服的时间成本和资金成本，提高了对话机器人回答能力。

Description

一种基于语境和Transformer的多语言对话机器人系统及其 对话方法
技术领域
本发明涉及智能语音技术领域，具体涉及一种基于语境和Transformer的多语言对话机人系统及其对话方法。
背景技术
智能问答(Question Answering,QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的问答系统。不同于现有的搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。近年来，随着人工智能的飞速发展，智能问答已经成为备受关注且发展前景广泛的研究方向。现代的问答系统是融合知识库、信息检索、机器学习、自然语言理解等技术的人机对话服务。智能问答系统在很多方面不同于传统的信息检索系统：
1)系统的输入、输出都是自然语言；
2)需要考虑用户对话的上下文，即语境；
3)在不能理解用户意图的情况下，会请求用户补充信息。目前智能问答系统存在数据难收集(尤其是小语种)、跨语言能力差、多轮问答任务场景难度大等问题。
得益于深度学习、自然语言处理和机器翻译的快速发展，智能问答系统迎来了新的机遇和挑战。目前的智能问答系统性能，与人工智能的其他领域还存在很大的差距。虽然人工智能技术得到了长足的发展，但目前智能问答系统还存在着不够稳定、不够智能、跨语言对话能力不足等缺点。
而人工翻译来辅助人工客服或智能客服完成跨语言对话，具有翻译成本高，回答质量受个人影响大，主观性强等弱点。
因此，现有技术存在缺陷，需要进一步改进。
发明内容
针对现有技术存在的问题，本发明提供一种基于语境和Transformer的多语言对话机人系统及其对话方法。
为实现上述目的，本发明的具体方案如下：
本发明提供一种基于语境和Transformer的多语言对话机器人系统，包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块；
所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别；
所述语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
所述语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；
所述语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；
所述语音合成模块将目标语言答案文本通过语音合成输出语音答案。
优选地，所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别。
优选地，所述语音识别模块识别语音过程中将多语言融合文本经过BERT文本语义特征编码器处理得到文本语义特征向量。
优选地，所述语音情绪识别模块对语音进行情绪识别具体是将音频文件经过MDRE语音情感分类器处理得到音频情绪特征。
本发明还提供一种采用基于语境和Transformer的多语言对话机器人系统的对话方法，包括如下步骤：
S1：目标语种识别器模块，将客户的声音信息或文本信息通过目标语种识别器识别出目标语种；
S2：语音识别模块，根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
S3：语音情绪识别模块，对语音进行情绪识别，输出音频情绪特征向量；
S4：语音多语言融合器模块，将步骤S2中语音识别的结果先通过基于Transformer的基准语言翻译模块得到不同目标语言的答案文本并将多语言答案进行融合，最后融合步骤S3中得到音频情绪特征向量输出目标语言答案文本，即情绪化翻译结果；
S5：语音合成模块，将目标语言答案文本通过语音合成输出语音答案。
优选地，步骤S4具体包括：
S41，多语言融合文本经过文本语义特征编码器得到文本语义特征向量；
S42，对应音频文件经过语音情感分类器得到音频情绪特征向量；
S43，文本语义特征向量和音频情绪特征向量融合，得到融合后的特征；
S44，融合后的特征经过情绪化翻译器得到目标语言答案文本。
优选地，步骤S41具体包括：
S411，输入源语言通过通用表征器得到源语言句子的通用特征向量；
S412，源语言句子的通用特征向量通过Transformer编码器得到编码器输出向量；
S413，输入目标语言token，判断目标语言(解码时根据目标语言token来选择不同的语种解码器来进行解码得到翻译结果)；
S414，根据不同的目标语言，将编码器输出向量C送到对应的Transformer解码器进行解码，得到目标译文；
具体算法如下：
Figure BDA0003173638600000031
其中，
k(如1,2,3,…，n)表示语种编号，比如中文(k＝1),英文(k＝2),
t(1,2,3,…，Tk)表示目标语言的序列长度，
yk为对应语种k的参考译文，
Ck为语种k对应的上下文向量。
优选地，步骤S43具体算法如下：
Figure BDA0003173638600000032
其中，
A，是音频情绪特征向量；
T，是文本语义特征向量。
优选地，步骤S44具体算法如下：
C2＝EncoderTransformer(concat(Z,T))；
Figure BDA0003173638600000033
其中，
m为目标语言答案文本的序列长度,
θ为模型参数，
y<t表示y1,y2,…，yt-1；
C为编码器输出向量C(上下文特征)。
采用本发明的技术方案，具有以下有益效果：
本发明提供一种基于语境和Transformer的多语言对话机器人系统及其对话方法，包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块和语音合成模块；其中，目标语种识别器模块对不同的语种进行识别；语音识别模块是得到识别后的文本问句；语音情绪识别模块对语音进行情绪识别；语音多语言融合器模块将目标语言结合语音情绪特征和多语言融合文本答案输出情绪化翻译结果；语音合成模块将答案文本通过语音合成输出语音答案。本发明通过自动识别目标语种和语音情绪，进行语义多语言融合进行答案选择，并通过基于语境的答案翻译，能够智能回答多语言的问题，降低了采用人工客服的时间成本和资金成本，提高了对话机器人回答能力，从而支撑面向国际用户的对话机器人的应用研发。
附图说明
图1是基于语境和transformer的跨语言对话机器人框图；
图2是语音多语言融合器示意图；
图3是基于Transformer的基准语言翻译引擎；
图4是基于Transformer目标语言情绪化翻译模块。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图4对本发明进行具体说明。
本申请针对目前智能问答系统面临的对话数据难收集、不支持跨语言问答等痛点，解决各种业务场景中的智能客服问题。随着人工智能技术和自然语言技术发展，特别是随着深度学习技术的发展，自然语言理解得到长足的方法，使用在保险专业场景这个垂直领域，机器智能客服已经显示了它众多的优点，如知识丰富、客观性强、回复快速和低成本等优点，但也同时存在稳定性不足，跨语言对话能力弱以及语料缺乏等不足。
本发明能够将智能问答、语音情绪识别和机器翻译进行有机结合，能够克服智能问答系统现有的不足，同时能够最大限度的利用智能问答和机器翻译的优点。不但能够提升智能客服的稳定性，也能够利用机器翻译技术提高机器智能客服的跨语言对话能力。本发明通过自动识别目标语种和语音情绪，利用语音多语言融合器和自动化的基于语境的答案翻译，能够智能地回答跨语言的问题，降低了采用人工客服的时间成本和资金成本，提高了对话机器人回答能力，从而支撑面向国际用户的对话机器人的应用研发。
本申请可以为客户提供售前、售后咨询，产品推荐以及常见知识问题等能力。能够同时达到高准确率、快速回答、高可靠性、以及跨语言交互等优点。
如图1所示，本申请提出的基于语境和Transformer的跨语言对话机器人系统包含五大模块，包括目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块。其中，
目标语种识别器模块用的是朴素贝叶斯分类器对不同的语种进行识别；
语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；
语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；
语音合成模块将目标语言答案文本通过语音合成输出语音答案。
采用基于语境和Transformer的跨语言对话机器人系统，进行对话的方法，步骤如下：
S1：目标语种识别器模块，将客户的声音信息或文本信息通过目标语种识别器(朴素贝叶斯分类器)识别出目标语种；
S2：语音识别模块，根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
S3：语音情绪识别模块，对语音进行情绪识别，输出音频情绪特征向量；
S4：语音多语言融合器模块，将步骤S2中语音识别的结果先通过基于Transformer的基准语言翻译模块得到不同目标语言的答案文本并将多语言答案进行融合，最后融合步骤S3中得到音频情绪特征向量输出目标语言答案文本，即情绪化翻译结果；
S5：语音合成模块，将目标语言答案文本通过语音合成输出语音答案。
具体的，步骤4中基于Transformer目标语言情绪化翻译模块，流程如图4所示：
S41，多语言融合文本经过文本语义特征编码器(如BERT)得到文本语义特征向量T；
text_ans＝concat(Y1,Y2,K,Yn)；
T＝BERT(text_ans)；
S42，对应音频文件audio_vec经过语音情感分类器(如MDRE)得到音频情绪特征向量A；
A＝MDRE(audio_vec)；
S43，文本语义特征向量和音频情绪特征向量融合，得到融合后的特征；
具体算法如下：
Figure BDA0003173638600000061
其中，
A，是音频情绪特征向量；
T，是文本语义特征向量；
S44，融合后的特征经过情绪化翻译器得到目标语言答案文本；
具体算法如下：
C2＝EncoderTransformer(concat(Z,T))；
Figure BDA0003173638600000062
其中，
m为目标语言答案文本的序列长度,
θ为模型参数，
y<t表示y1,y2,…，yt-1。
更具体的说，步骤4中的基于Transformer的基准语言翻译引擎内部实现如图3所示：
S411，输入源语言(中、英或其他语言)通过通用表征器得到源语言句子的通用特征向量F(不同语言中具有相同意义的句子都表示成相同的特征向量)；
S412，源语言句子的通用特征向量F通过Transformer编码器得到编码器输出向量C(上下文特征)；
具体算法如下：
C＝EncoderTransformer(x1,x2,x3,K,xM)；
S413，输入目标语言token，，判断目标语言，(根据目标语言token，选择对应的语种解码器)；
S414，根据不同的目标语言，将编码器输出向量C送到对应的Transformer解码器进行解码，得到目标译文；
具体算法如下：
Figure BDA0003173638600000071
其中，
k(如1,2,3,…，n)表示语种编号，比如中文(k＝1),英文(k＝2),
t(1,2,3,…，Tk)表示目标语言的序列长度，
yk为对应语种k的参考译文，
Ck为语种k对应的上下文向量。
本申请具有如下创新点：
1)基于Transformer结构提出了多语言互译架构：不同语种的源语言句子通过通用表征器可以得到通用特征向量(不同语言中具有相同意义的句子都表示成相同的特征向量)，因而对于不同语种的输入句子共享Transformer编码，解码时根据目标语言token来选择不同的语种解码器来进行解码得到翻译结果。
2)神经机器翻译与智能对话系统有机结合。缓和了智能问答系统数据难收集(尤其是小语种)的问题，本申请在训练智能对话系统时，只需要中文对话数据就行，而中文数据相对其他多数语种而言要更易于收集。而和对话数据收集相比，收集用于神经机器翻译训练的各国平行语料要简单很多。
3)在生成目标语言答案文本前融合了多语言答案以及语音情绪特征，得到的答案文本更准确，更符合对话情景。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (9)

1.一种基于语境和Transformer的多语言对话机器人系统，其特征在于包括：
目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块；
所述目标语种识别器模块对不同的语种进行识别；
所述语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
所述语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；
所述语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；
所述语音合成模块将目标语言答案文本通过语音合成输出语音答案。
2.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别。
3.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音识别模块识别语音过程中将多语言融合文本经过BERT文本语义特征编码器处理得到文本语义特征向量。
4.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音情绪识别模块对语音进行情绪识别具体是将音频文件经过MDRE语音情感分类器处理得到音频情绪特征。
5.一种基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，包括如下步骤：
S1：目标语种识别器模块将客户的声音信息或文本信息通过目标语种识别器识别出目标语种；
S2：语音识别模块根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；
S3：语音情绪识别模块对语音进行情绪识别，输出音频情绪特征向量；
S4：语音多语言融合器模块将步骤S2中语音识别的结果先通过基于Transformer的基准语言翻译模块得到不同目标语言的答案文本并将多语言答案进行融合，最后融合步骤S3中得到音频情绪特征向量输出目标语言答案文本，即情绪化翻译结果；
S5：语音合成模块将目标语言答案文本通过语音合成输出语音答案。
6.根据权利要求5所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S4具体包括：
S41，多语言融合文本经过文本语义特征编码器得到文本语义特征向量；
S42，对应音频文件经过语音情感分类器得到音频情绪特征向量；
S43，文本语义特征向量和音频情绪特征向量融合，得到融合后的特征；
S44，融合后的特征经过情绪化翻译器得到目标语言答案文本。
7.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S41具体包括：
S411，输入源语言通过通用表征器得到源语言句子的通用特征向量；
S412，源语言句子的通用特征向量通过Transformer编码器得到编码器输出向量；
S413，输入目标语言token，判断目标语言；
S414，根据不同的目标语言，将编码器输出向量送到对应的Transformer解码器进行解码，得到目标译文；
具体算法如下：
Figure FDA0003173638590000021
其中，
k(如1,2,3,…，n)表示语种编号；
t(1,2,3,…，Tk)表示目标语言的序列长度，
yk为对应语种k的参考译文，
Ck为语种k对应的上下文向量。
8.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S43具体算法如下：
Figure FDA0003173638590000022
其中，
A，是音频情绪特征向量；
T，是文本语义特征向量。
9.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S44具体算法如下：
C2＝EncoderTransformer(concat(Z,T))；
Figure FDA0003173638590000031
其中，
m为目标语言答案文本的序列长度,
θ为模型参数，
y<t表示y1,y2,…，yt-1；
C为编码器输出向量，上下文特征。
CN202110826108.6A 2021-07-21 2021-07-21 一种基于语境和Transformer的多语言对话机器人系统及其对话方法 Pending CN113627196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110826108.6A CN113627196A (zh) 2021-07-21 2021-07-21 一种基于语境和Transformer的多语言对话机器人系统及其对话方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110826108.6A CN113627196A (zh) 2021-07-21 2021-07-21 一种基于语境和Transformer的多语言对话机器人系统及其对话方法

Publications (1)

Publication Number Publication Date
CN113627196A true CN113627196A (zh) 2021-11-09

Family

ID=78380789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110826108.6A Pending CN113627196A (zh) 2021-07-21 2021-07-21 一种基于语境和Transformer的多语言对话机器人系统及其对话方法

Country Status (1)

Country Link
CN (1) CN113627196A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179083A (zh) * 2021-12-10 2022-03-15 北京云迹科技有限公司 一种引领机器人语音信息的生成方法、装置和引领机器人
CN114239602A (zh) * 2021-11-19 2022-03-25 中国建设银行股份有限公司 会话方法、装置和计算机程序产品
CN116244417A (zh) * 2023-03-23 2023-06-09 山东倩倩网络科技有限责任公司 应用于ai聊天机器人的问答交互数据处理方法及服务器
CN117275459A (zh) * 2023-09-15 2023-12-22 天嘉科技(南京)有限公司 一种基于大数据服务的信息采集设备及信息采集方法
CN117992597A (zh) * 2024-04-03 2024-05-07 江苏微皓智能科技有限公司 信息反馈方法、装置、计算机设备及计算机存储介质
CN117992597B (zh) * 2024-04-03 2024-06-07 江苏微皓智能科技有限公司 信息反馈方法、装置、计算机设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008481A (zh) * 2019-04-10 2019-07-12 南京魔盒信息科技有限公司 翻译语音生成方法、装置、计算机设备和存储介质
WO2019156875A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask learning as question answering
CN110990543A (zh) * 2019-10-18 2020-04-10 平安科技（深圳）有限公司 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN111199160A (zh) * 2018-10-31 2020-05-26 西安欧思奇软件有限公司 即时通话语音的翻译方法、装置以及终端
CN111986687A (zh) * 2020-06-23 2020-11-24 合肥工业大学 基于交互式解码的双语情感对话生成系统
CN112214593A (zh) * 2020-11-05 2021-01-12 腾讯科技（深圳）有限公司 问答处理方法、装置、电子设备及存储介质
CN112633364A (zh) * 2020-12-21 2021-04-09 上海海事大学 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156875A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask learning as question answering
CN111199160A (zh) * 2018-10-31 2020-05-26 西安欧思奇软件有限公司 即时通话语音的翻译方法、装置以及终端
CN110008481A (zh) * 2019-04-10 2019-07-12 南京魔盒信息科技有限公司 翻译语音生成方法、装置、计算机设备和存储介质
CN110990543A (zh) * 2019-10-18 2020-04-10 平安科技（深圳）有限公司 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN111986687A (zh) * 2020-06-23 2020-11-24 合肥工业大学 基于交互式解码的双语情感对话生成系统
CN112214593A (zh) * 2020-11-05 2021-01-12 腾讯科技（深圳）有限公司 问答处理方法、装置、电子设备及存储介质
CN112633364A (zh) * 2020-12-21 2021-04-09 上海海事大学 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LEYANG CUI 等: "M u T ual: A Dataset for Multi-Turn Dialogue Reasoning", 《ARXIV:2004.04494V1 [CS.CL] 9 APR 2020》, pages 1 - 11 *
庄寅 等: "文本情感对话系统研究综述", 《计算机科学与探索》, vol. 15, no. 5, pages 825 - 837 *
温雷: "基于深度神经网络的仿人机器人对话及情感分析", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 3, pages 140 - 73 *
相洋: "问答系统的答案优化方法研究", 《中国博士学位论文全文数据库信息科技辑》, no. 1, pages 138 - 127 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239602A (zh) * 2021-11-19 2022-03-25 中国建设银行股份有限公司 会话方法、装置和计算机程序产品
CN114179083A (zh) * 2021-12-10 2022-03-15 北京云迹科技有限公司 一种引领机器人语音信息的生成方法、装置和引领机器人
CN114179083B (zh) * 2021-12-10 2024-03-15 北京云迹科技股份有限公司 一种引领机器人语音信息的生成方法、装置和引领机器人
CN116244417A (zh) * 2023-03-23 2023-06-09 山东倩倩网络科技有限责任公司 应用于ai聊天机器人的问答交互数据处理方法及服务器
CN116244417B (zh) * 2023-03-23 2024-05-24 上海笑聘网络科技有限公司 应用于ai聊天机器人的问答交互数据处理方法及服务器
CN117275459A (zh) * 2023-09-15 2023-12-22 天嘉科技(南京)有限公司 一种基于大数据服务的信息采集设备及信息采集方法
CN117275459B (zh) * 2023-09-15 2024-03-29 深圳市优讯佳电子科技有限公司 一种基于大数据服务的信息采集设备及信息采集方法
CN117992597A (zh) * 2024-04-03 2024-05-07 江苏微皓智能科技有限公司 信息反馈方法、装置、计算机设备及计算机存储介质
CN117992597B (zh) * 2024-04-03 2024-06-07 江苏微皓智能科技有限公司 信息反馈方法、装置、计算机设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN109146610B (zh) 一种智能保险推荐方法、装置及智能保险机器人设备
CN113627196A (zh) 一种基于语境和Transformer的多语言对话机器人系统及其对话方法
CN112201228A (zh) 一种基于人工智能的多模态语义识别服务接入方法
US11093110B1 (en) Messaging feedback mechanism
KR102041621B1 (ko) 인공지능 음성인식 기반 기계학습의 대규모 말뭉치 구축을 위한 대화형 말뭉치 분석 서비스 제공 시스템 및 구축 방법
CN114419387A (zh) 基于预训练模型和召回排序的跨模态检索系统及方法
KR20090000442A (ko) 범용 대화서비스 장치 및 그 방법
Vinnarasu et al. Speech to text conversion and summarization for effective understanding and documentation
CN112541347B (zh) 一种基于预训练模型的机器阅读理解方法
CN113392265A (zh) 多媒体处理方法、装置及设备
Liu et al. Cross-domain slot filling as machine reading comprehension: A new perspective
CN115730203A (zh) 一种基于全局感知跨模态特征融合网络的语音情感识别方法
CN111553157A (zh) 一种基于实体替换的对话意图识别方法
CN111460118A (zh) 一种人工智能冲突语义识别方法及装置
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN117524202A (zh) 一种ip电话语音数据检索方法及系统
CN117171314A (zh) 基于大模型的多模态政务问答方法
CN112257432A (zh) 一种自适应意图识别方法、装置及电子设备
US20050125224A1 (en) Method and apparatus for fusion of recognition results from multiple types of data sources
CN117235213A (zh) 一种交互式客服方法及系统
CN115859961A (zh) 一种慕课的课程概念抽取方法
CN115132182A (zh) 一种数据识别方法、装置、设备及可读存储介质
Ruiz Domingo et al. FILENG: an automatic English subtitle generator from Filipino video clips using hidden Markov model
Furui Overview of the 21st century COE program “Framework for Systematization and Application of Large-scale Knowledge Resources”
Wahlster Robust translation of spontaneous speech: a multi-engine approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination