CN107247750A - 人工智能交互方法及系统 - Google Patents
人工智能交互方法及系统 Download PDFInfo
- Publication number
- CN107247750A CN107247750A CN201710385767.4A CN201710385767A CN107247750A CN 107247750 A CN107247750 A CN 107247750A CN 201710385767 A CN201710385767 A CN 201710385767A CN 107247750 A CN107247750 A CN 107247750A
- Authority
- CN
- China
- Prior art keywords
- voice
- module
- information
- artificial intelligence
- text message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及人工智能交互方法及系统。本发明提供的方法，包括：根据用户的输入得到文本信息；分析所述文本信息得到回复信息；根据所述回复信息合成回复语音信息；根据所述回复信息调整3D模型中的虚拟形象的动作；通过全息成像技术显示所述虚拟形象，并同步播放所述回复语音信息。本实施例提供的人工智能交互方法及系统，能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及人工智能交互方法及系统。
背景技术
现有技术中，人工智能基本局限于聊天机器人的范畴，是指计算机软件来模拟具有一定语言功能的程序单元，实现与人进行简单的交流。目前现存的聊天机器人都受限于人工智能领域的研究和实现尚不成熟，本身尚未具有智能功能，只能接收用户的文本输入，同样给出简单的文本回复，与大众想象中的人工智能还相去甚远。
发明内容
针对现有技术中的缺陷，本发明提供的人工智能交互方法及系统，能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。
第一方面，本发明提供的一种人工智能交互方法，包括：根据用户的输入得到文本信息；分析所述文本信息得到回复信息；根据所述回复信息合成回复语音信息；根据所述回复信息调整3D模型中的虚拟形象的动作；通过全息成像技术显示所述虚拟形象，并同步播放所述回复语音信息。
本发明提供的人工智能交互方法，赋予计算机一些较为复杂的模拟智能，使之不仅能够针对用户的语言逻辑做出准确的回答，还能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。本发明提供的方法在客服、咨询、教育、娱乐以及研究等众多领域能够得到广泛应用，弥补人力资源严重不足的同时，让人工智能的使用更自然，大大降低了使用门槛。
优选地，所述根据用户的输入得到文本信息，包括：根据用户通过电子触摸膜输入的信息得到文本信息，或，将用户输入的语音信息转换为文本信息。
优选地，所述将用户输入的语音信息转换为文本信息，包括：将所述语音信息切分为若干帧语音；识别每一帧语音对应的状态；状态相同的多帧语音组合成一个音素；将所述音素组合成单词最终得到文本信息。
优选地，所述将所述语音信息切分为若干帧语音，还包括：将所述语音信息切分为若干帧语音；对每一帧语音进行波形变换后，提取声学特征向量，所述声学特征向量为一个多维特征向量，每一帧语音用一个多维特征向量表示。
优选地，所述识别每一帧语音对应的状态，包括：采用统计学的方法计算某一帧语音对应各个状态的概率，选取概率最大的状态作为该帧语音对应的状态。
优选地，所述分析所述文本信息得到回复信息，包括：将所述文本信息切分为词语；根据切分得到的词语统计所述文本信息在语料库中的概率，记为第一条件概率；将在语料库中每段语料的条件概率与第一条件概率进行匹配，选取最匹配的语料对应的回答作为回复信息。
优选地，所述根据所述回复信息调整3D模型中的虚拟形象的动作，包括：根据所述回复信息匹配工作指令，调取3D模型中与所述动作指令对应的动作画面用于全息显示。
第二方面，本发明提供的一种人工智能交互系统，包括：智能交互输入单元、智能处理单元和智能交互输出单元；
所述智能交互输入单元包括：电子收音设备、语音识别模块；
所述智能交互输出单元包括：音频输出设备、语音合成模块、全息成像模块、全息显示膜；
所述智能处理单元包括：人工智能模块、3D图像算法模块；
所述电子收音设备与所述语音识别模块连接，所述语音识别模块与所述人工智能模块连接；
所述音频输出设备与所述语音合成模块连接，所述语音合成模块与所述人工智能模块连接，所述全息成像模块与所述3D图像算法模块连接；
所述电子收音设备用于采集用户输入的语音信息；
所述语音识别模块用于将用户输入的语音信息转换为文本信息；
所述人工智能模块用于分析所述文本信息得到回复信息，
所述语音合成模块用于根据所述回复信息合成回复语音信息；
所述音频输出设备用于播放所述回复语音信息；
所述3D图像算法模块用于根据所述回复信息调整虚拟形象的动作；
所述全息成像模块用于将所述虚拟形象投影到所述全息显示膜上进行显示。
本发明提供的人工智能交互系统，赋予计算机一些较为复杂的模拟智能，使之不仅能够针对用户的语言逻辑做出准确的回答，还能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。本发明提供的方法在客服、咨询、教育、娱乐以及研究等众多领域能够得到广泛应用，弥补人力资源严重不足的同时，让人工智能的使用更自然，大大降低了使用门槛。
优选地，所述智能输入单元还包括：电子触摸膜，所述电子触摸膜与所述人工智能模块连接，所述电子触摸膜用于采集用户输入的信息得到文本信息，并发送给人工智能模块。
优选地，所述电子触摸膜设置在所述全息显示膜背面。
附图说明
图1为本发明实施例所提供的人工智能交互方法的流程图；
图2为因素与状态时间的关系示意图；
图3为本发明实施例所提供的人工智能交互系统的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本实施例提供了一种人工智能交互方法，包括：
步骤S1，根据用户的输入得到文本信息。
步骤S2，分析文本信息得到回复信息。
步骤S3，根据回复信息合成回复语音信息。
步骤S4，根据回复信息调整3D模型中的虚拟形象的动作。
步骤S5，通过全息成像技术显示虚拟形象，并同步播放回复语音信息。
本实施例例提供的人工智能交互方法，赋予计算机一些较为复杂的模拟智能，使之不仅能够针对用户的语言逻辑做出准确的回答，还能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。
本实施例提供的方法在客服、咨询、教育、娱乐以及研究等众多领域能够得到广泛应用，弥补人力资源严重不足的同时，让人工智能的使用更自然，大大降低了使用门槛。
其中，步骤S1的优选实施方式包括：根据用户通过电子触摸膜输入的信息得到文本信息，或，将用户输入的语音信息转换为文本信息。
通过电子触屏膜来接收用户的触觉信息输入，膜内含有传感器，将电子信号通过传输给人工智能系统。在语音输入受到外部环境干扰的情况下(如出现过度的噪音)，可以通过电子触摸模上的软键盘或者手写输入等方式，辅助语音输入生成准确无误的电子文本信息，并将电子文本信息传送给人工智能系统。
其中，为了提高语音识别的准确率，步骤S1中，将用户输入的语音信息转换为文本信息的优选实施方式包括：
步骤S31，将语音信息切分为若干帧语音。
其中，对声音进行分析，需要对语音信息进行分帧，即是把语音信息切开成一小段一小段，每小段成为一帧。使用移动窗函数来进行实现，帧与帧之间一般有交叠。
步骤S32，识别每一帧语音对应的状态。
步骤S33，状态相同的多帧语音组合成一个音素。
步骤S34，将音素组合成单词最终得到文本信息。
其中，单词的发音由音素构成。汉语直接用全部声母和韵母作为音素集，另外汉语识别还分有调无调。状态是比音素更细致的语音单位，通常一个音素划分为3个状态。音素和状态的关系参见图2，图2中，每个小竖条代表一帧，若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组合成一个单词，只要知道每帧语音对应哪个状态，语音识别的结果就出来了。
其中，步骤S31还包括：
步骤S311，将语音信息切分为若干帧语音。
步骤S312，对每一帧语音进行波形变换后，提取声学特征向量，声学特征向量为一个多维特征向量，每一帧语音用一个多维特征向量表示。
其中，分帧后语音信息就变成了很多小，但语音信息的波形在时域上几乎没有描述能力，因此必须将波形作变换，采用提取MFCC特征的方法来进行特征提取。MFCC是Mel频率倒谱系数的缩写，Mel频率是基于人耳听觉特性提出来的，它与Hz频率成非线性对应关系，Mel频率倒谱系数(MFCC)则是利用它们之间的这种关系，计算得到的Hz频谱特征，MFCC已经广泛地应用在语音识别领域。根据人耳的生理特性，把每一帧波形变成一个多维向量，这些向量包含了这帧语音的内容信息，整个过程称为声学特征提取。至此，声音就成了一个12行(设定声学特征为12维)、N列的一个矩阵，称之为观察序列，这里N是总帧数，每一帧都用一个12维的向量表示。
其中，步骤S32的优选实施例方式包括：采用统计学的方法计算某一帧语音对应各个状态的概率，选取概率最大的状态作为该帧语音对应的状态。每帧音素对应哪个状态采用统计学的方法，测算某帧对应哪个状态的概率最大，那这帧就属于哪个状态。
假设语音有1000帧，每帧对应1个状态，每3个状态组合成一个音素，那么大概会组合成300个音素，但这段语音实际上并没有这么多音素。以这样的形式，得到的状态可能根本无法组合成音素。实际上，相邻帧的状态应该大多数都相同才合理，因为每帧很短。通过使用隐马尔可夫模型通过如下步骤来解决这些问题：第一步，构建一个状态网络；第二步，从状态网络中寻找与声音最匹配的路径。
通过这样把结果限制在预先设定的网络中，避免了过多的音素组合。将网络搭建的足够大，以满足对任意文本路径的匹配。但是网络越大，得到较高识别准确率就越难。因此根据实际的使用场景，选择跟搭建合理的网络大小跟结构是有必要的。搭建状态网络，是由单词级网络展开成音素网络，再展开成状态网络，通过在状态网络寻找最佳路径，语音对应这条路径的概率最大。
为了提高语音识别的性能，步骤S32的另一优选实施例方式包括：
步骤S321，拼接相邻帧语音形成包含时序结构信息的输入矢量。
其中，每一帧语音用一个多维特征向量表示。
步骤S322，将输入矢量输入声学模型，得到每一帧语音对应的后验概率。
其中，声学模型采用DNN(深度神经网络)进行架构。其中，DNN使用了至少3层以上的隐层，通过增加隐层数量来进行错层的非线性变换，大大的提升了模型的建模能力。在声学模型中，存有大量的参数，通过这些参数可以得知帧与状态对应的概率。通过积累大量的语料库来训练声学模型以获取这些参数。
其中，DNN的训练方法有多种，本实施例采用交叉熵训练方法，交叉熵是对目标后验概率与实际后验概率间差异度的衡量。交叉熵目标函数为
式中：N为训练样本的数目；为标注的目标概率，其值为0或1；p(yXt)为DNN的实际输出概率。训练样本的标注可以通过使用GMM-HMM做强制对齐得到。迭代更新权重公式为
式中，η为学习率，X为声学特征向量；Wl为第l层神经网络的权重矩阵。依照上式更新DNN的权重，寻找使目标函数达到极小值时的权重参数Wl。输入向量X经过网络前向传播，网络输出值即为状态后验。
步骤S323，对输出的后验概率利用贝叶斯公式，得到解码识别所需的声学似然概率P(s|X)，选取声学似然概率最大的状态作为该帧语音对应的状态。
相比传统的基于隐马尔科夫模型(hidden Markov model，HMM)和高斯混合模型(Gaussian mixture model，GMM)构建的语音识别系统，本方法实施例采用DNN模型对语音的观察概率进行建模，不需要对语音数据分布进行假设。另外，近年来硬件设备的革命性进展使得用DNN作为语音识别的模型基础的想法得到了实现，以前需要数周才能完成的试验模拟，现在只需要几个小时便能完成。
其中，为了提高机器人回复的精准度，步骤S2的优选实施方式包括：
步骤S21，将文本信息切分为词语。
步骤S22，根据切分得到的词语统计文本信息在语料库中的条件概率，记为第一条件概率。
其中，语料库中存储有大量的语料和每段语料对应的回答。每段语料都有其对应的条件概率。
步骤S23，将在语料库中每段语料的条件概率与第一条件概率进行匹配，选取最匹配的语料对应的回答作为回复信息。
其中，每段语料的条件概率与第一条件概率进行匹配计算，都会得到一个匹配值；若至少有一个匹配值超过设定的临界值，则比较这几个匹配值，选取匹配值最高的作为最匹配的语料；若所有匹配值均不超过临界值，表示输入的文本信息不在语料库包含的范围内，则采用其它机制对文本信息进行提醒或是警告。其中，临界值的设定根据系统自身而定，若对精确度要求较高，则设定临界值较高，若对精确度要求较低，则可设定较低的临界值。
其中，一个句子的条件概率的计算方法如下：设S表示某一个有意义的句子，由一连串特定顺序排列的词w1,w2,…,wn组成，这里n是句子的长度。
现在，我们想知道S在文本中出现的可能性，也就是数学上所说的S的概率P(S)。
需要一个模型来计算它。既然S＝w1,w2,…,wn，那么可以把P(S)展开表示：
P(S)＝P(w1,w2,...,wn)
利用条件概率公式，S这个序列出现的概率等于每一个词出现的条件概率相乘，于是P(w1,w2,…,wn)可展开为：
P(w1,w2,...,wn)＝P(w1)·P(w2|w1)·P(w3|w1,w2)...P(wn|w1,w2,...,wn-1)
其中，P(w1)表示第一个词w1出现的概率，P(w2|w1)是在已经第一个词的前提下，第二个词出现的概率。以此类推，到了词wn，它的出现概率取决于它前面的所有词。
但是在数学计算上，从第三个词开始，条件概率就已经非常难算了，到最后一个词wn，条件概率P(wn|w1,w2,…,wn-1)几乎无法估算。
这里要用到马尔卡夫假设，每当遇到上述情况时，就假设任意一个词wi出现的概率只同它前面的词wi-1有关，于是问题就得到了解决。于是新的公式可以展开为：
P(S)＝P(w1)·P(w2|w1)·P(w3|w2)...P(wi|wi-1)...P(wn|wn-1)
这个公式对应的统计语言模型是二元模型。接下来的问题就是如何估计条件概率P(wi|wi-1)，根据它的定义：
并且估算联合概率P(wi-1|wi)和边缘概率P(wi-1)，也会变得很简单。因为有了大量的语料库，只要计算wi-1，wi这对词在统计的文本中前后相邻出现了多少次#(wi-1,wi)，以及wi-1本身在同样的文本中出现了多少次#(wi-1)，然后用两个数分别处以语料库的大小#，即可得到这些词或者二元组的相对频度：
根据大数定理，只要统计量足够，相对频度就等于概率，即
而P(wi-1|wi)就是两个数的比值，再考虑到上面的两个概率有相同的分母，可以约掉，因此条件概率为
考虑到基于文法规则的算法存在的这些劣势，本实施例采用上述统计算法的思想，基本思想与人类学习母语的方法类似，以经验主义的方式，通过大量的语料库(现今已经有大量的机读文本作为语料库的基础，确保了此方法的有效性跟准确度)作为人工智能的经验基础。对遇到的文字信息以经验作为判断，摒弃了繁杂的语法、规则，在确保准确性的同时，降低了整个系统的复杂度，提高了效率。
为了提高系统智能化程度，还采用了学习的机制，当输入的信息与语料库中的所有资料并不相同，但是却在语料库中匹配得到一个确切的回复时，判定这段输入信息属于语料库的相关领域，可将这段输入信息存入语料库中，作为新的语料更新。这样，在使用的过程中，语料库也会得到不断的更新，使用得越多，更新成长的越快，而且确保了学到的新信息都是确切有效的。
为了提高文本信息切分准确度，以提高后续处理的准确性，本实施例利用神经网络处理步骤S21中的文本信息切分问题，具体包括：
步骤S211，将文本信息中的每个字符输入查找表得到每个字符对应的字符向量。
其中，查找表是预先建立的，查找表中，每个字符都对应了一个低维的字符向量，该字符向量可以刻画字与字在语义和语法上的相关性，作为字符的特征成为神经网络的输入。依据查找表可以直接将输入的中文字符转换为字符向量。
步骤S212，将从查询表中提取的字符向量连接成一个向量，将连接的向量输入神经网络模型，为每个字符标注合适的标签。
其中，常用的标签集合为{B，M，E，S}，利用这4种标签来捕获词语的边界信息，其中B、M、E表示词语的开头、中间及结尾，S表示该字符单独成词。
其中，虽然RNN已成功应用于语言模型、文本生成等任务中，但由于梯度消失与梯度激增的问题，使得训练一个长距离依赖的RNN较为困难神经网络模型选用。为了解决上述问题，本实施例中的神经网络模型采用长短时记忆网络(Long Short-Term Memory，LSTM)，它通过加入记忆单元允许网络学习什么时候“忘记”前导信息以及通过新信息来更新记忆细胞。考虑到输入与对应输出之间的时间延续特点，LSTM神经网络可以从数据中学习长距离依赖信息，因此，理论上LSTM神经网络更适于完成如分词等序列标注任务。
步骤S213，根据每个字符的标签对文字进行切分。
其中，步骤S4的优选实施方式包括：根据回复信息匹配工作指令，调取3D模型中与动作指令对应的动作画面用于全息显示，使得人机交互过程更加生动有趣。
其中，动作指令指语料库中的回答，针对语料库中的每个回答都预先建立一个虚拟形象的动作画面存入参数库。相较于本系统使用者的输入信息存在着随机性和不可控性等性质，语料库生成的输出信息不是随机的，保证了输出的可控性和确定性，在这种情况下，我们就可以就这些在可控范围内的文字信息进行匹配编译。
要完成一个丰富的语料库产生的回复所对应的参数库，则需要大量的实验数据和实践数据，这是本系统在人工智能处理自然语言的基础上，能够生成生动的对应影像的关键。
为了节省系统中动作画面的存储量，步骤S4的另一优选实施方式包括：根据回复信息匹配3D参数，3D图像模型根据输入的3D参数计算出虚拟形象的变化和新的坐标位置，得到新的虚拟形象用于全息显示。输入的3D参数将多个三维点进行变换以达到对虚拟形象的变换，但是由于变换的可能只是三维物体的一部分，所以只需要输入变换部分的参数即可，其余部分默认是不变的，这样也可节省储存和运算空间。通过实时计算变换的虚拟形象，降低了系统中动作画面的存储量。
通过3D图像模型生成相应的虚拟动画形象的动作跟嘴型，人工智能系统会根据生成的各种不同回复信息，形成不同的指令来调动3D图像算法以改变虚拟形象，如改变虚拟形象的动作跟嘴型。
另外，本实施例中，还会根据回复信息生成字幕，并通过全息成像技术显示给用户，提高回馈信息的准确度和辨识度。
基于与上述人工智能交互方法相同的发明构思，本实施例还提供了一种人工智能交互系统，如图3所示，包括：智能交互输入单元、智能处理单元和智能交互输出单元。
智能交互输入单元包括：电子收音设备、语音识别模块；
智能交互输出单元包括：音频输出设备、语音合成模块、全息成像模块、全息显示膜；
智能处理单元包括：人工智能模块、3D图像算法模块；
电子收音设备与语音识别模块连接，语音识别模块与人工智能模块连接；
音频输出设备与语音合成模块连接，语音合成模块与人工智能模块连接，全息成像模块与3D图像算法模块连接；
电子收音设备用于采集用户输入的语音信息；
语音识别模块用于将用户输入的语音信息转换为文本信息；
人工智能模块用于分析文本信息得到回复信息，
语音合成模块用于根据回复信息合成回复语音信息；
音频输出设备用于播放回复语音信息；
3D图像算法模块用于根据回复信息调整虚拟形象的动作；
全息成像模块用于将虚拟形象投影到全息显示膜上进行显示。
本实施例例提供的人工智能交互系统，赋予计算机一些较为复杂的模拟智能，使之不仅能够针对用户的语言逻辑做出准确的回答，还能给予用户在视觉听觉等更多维度的反馈，使交互更加的自然，交互信息更加的丰富。
本实施例提供的系统在客服、咨询、教育、娱乐以及研究等众多领域能够得到广泛应用，弥补人力资源严重不足的同时，让人工智能的使用更自然，大大降低了使用门槛。
优选地，智能输入单元还包括：电子触摸膜，电子触摸膜与人工智能模块连接，电子触摸膜用于采集用户输入的信息得到文本信息，并发送给人工智能模块。
优选地，电子触摸膜设置在全息显示膜背面。
将电子触屏膜与全息显示膜贴于同一个显示幕墙上，可以更好地显示3D图像，显示幕墙最好为可使光源穿透的介质，以提高3D图像的逼真效果。电子触屏膜与全息显示膜的位置需要对齐，触屏膜需要在使用前进行定点设置和测试，确保使用时触控点位的准确度，调整全息影像模块的光源入射角度，使影像在全息显示膜上呈现的位置与触屏的操控点位相吻合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种人工智能交互方法，其特征在于，包括：
根据用户的输入得到文本信息；
分析所述文本信息得到回复信息；
根据所述回复信息合成回复语音信息；
根据所述回复信息调整3D模型中的虚拟形象的动作；
通过全息成像技术显示所述虚拟形象，并同步播放所述回复语音信息。
2.根据权利要求1所述的方法，其特征在于，所述根据用户的输入得到文本信息，包括：
根据用户通过电子触摸膜输入的信息得到文本信息，
或，
将用户输入的语音信息转换为文本信息。
3.根据权利要求2所述的方法，其特征在于，所述将用户输入的语音信息转换为文本信息，包括：
将所述语音信息切分为若干帧语音；
识别每一帧语音对应的状态；
状态相同的多帧语音组合成一个音素；
将所述音素组合成单词最终得到文本信息。
4.根据权利要求3所述的方法，其特征在于，所述将所述语音信息切分为若干帧语音，还包括：
将所述语音信息切分为若干帧语音；
对每一帧语音进行波形变换后，提取声学特征向量，所述声学特征向量为一个多维特征向量，每一帧语音用一个多维特征向量表示。
5.根据权利要求3或4所述的方法，其特征在于，所述识别每一帧语音对应的状态，包括：
采用统计学的方法计算某一帧语音对应各个状态的概率，选取概率最大的状态作为该帧语音对应的状态。
6.根据权利要求1所述的方法，其特征在于，所述分析所述文本信息得到回复信息，包括：
将所述文本信息切分为词语；
根据切分得到的词语统计所述文本信息在语料库中的概率，记为第一条件概率；
将在语料库中每段语料的条件概率与第一条件概率进行匹配，选取最匹配的语料对应的回答作为回复信息。
7.根据权利要求1所述的方法，其特征在于，所述根据所述回复信息调整3D模型中的虚拟形象的动作，包括：根据所述回复信息匹配工作指令，调取3D模型中与所述动作指令对应的动作画面用于全息显示。
8.一种人工智能交互系统，其特征在于，包括：智能交互输入单元、智能处理单元和智能交互输出单元；
所述智能交互输入单元包括：电子收音设备、语音识别模块；
所述智能交互输出单元包括：音频输出设备、语音合成模块、全息成像模块、全息显示膜；
所述智能处理单元包括：人工智能模块、3D图像算法模块；
所述电子收音设备与所述语音识别模块连接，所述语音识别模块与所述人工智能模块连接；
所述音频输出设备与所述语音合成模块连接，所述语音合成模块与所述人工智能模块连接，所述全息成像模块与所述3D图像算法模块连接；
所述电子收音设备用于采集用户输入的语音信息；
所述语音识别模块用于将用户输入的语音信息转换为文本信息；
所述人工智能模块用于分析所述文本信息得到回复信息，
所述语音合成模块用于根据所述回复信息合成回复语音信息；
所述音频输出设备用于播放所述回复语音信息；
所述3D图像算法模块用于根据所述回复信息调整虚拟形象的动作；
所述全息成像模块用于将所述虚拟形象投影到所述全息显示膜上进行显示。
9.根据权利要求8所述的系统，其特征在于，所述智能输入单元还包括：电子触摸膜，所述电子触摸膜与所述人工智能模块连接，所述电子触摸膜用于采集用户输入的信息得到文本信息，并发送给人工智能模块。
10.根据权利要求9所述的系统，其特征在于，所述电子触摸膜设置在所述全息显示膜背面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710385767.4A CN107247750A (zh) | 2017-05-26 | 2017-05-26 | 人工智能交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710385767.4A CN107247750A (zh) | 2017-05-26 | 2017-05-26 | 人工智能交互方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107247750A true CN107247750A (zh) | 2017-10-13 |
Family
ID=60016759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710385767.4A Pending CN107247750A (zh) | 2017-05-26 | 2017-05-26 | 人工智能交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107247750A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108241755A (zh) * | 2018-02-12 | 2018-07-03 | 广州市诚毅科技软件开发有限公司 | 一种交互信息生成器构建方法及装置 |
| CN108280885A (zh) * | 2018-01-09 | 2018-07-13 | 上海大学 | 构建全息偶像方法 |
| CN108762486A (zh) * | 2018-04-26 | 2018-11-06 | 上海蓝眸多媒体科技有限公司 | 一种多媒体智能交互装置 |
| CN109040875A (zh) * | 2018-08-27 | 2018-12-18 | 深圳普罗米修斯视觉技术有限公司 | 一种带智能音箱的全息通信系统 |
| CN109064793A (zh) * | 2018-06-22 | 2018-12-21 | 四川省有份儿智慧科技有限公司 | 一种基于全息技术的全学科先贤亲授及知识交互智能空间 |
| CN109087644A (zh) * | 2018-10-22 | 2018-12-25 | 奇酷互联网络科技（深圳）有限公司 | 电子设备及其语音助手的交互方法、具有存储功能的装置 |
| CN109599113A (zh) * | 2019-01-22 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
| CN109801632A (zh) * | 2019-03-08 | 2019-05-24 | 北京马尔马拉科技有限公司 | 一种基于大数据的人工智能语音机器人系统及方法 |
| CN109961777A (zh) * | 2019-02-16 | 2019-07-02 | 天津大学 | 一种基于智能机器人的语音交互方法 |
| CN110148406A (zh) * | 2019-04-12 | 2019-08-20 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110647636A (zh) * | 2019-09-05 | 2020-01-03 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
| CN110956859A (zh) * | 2019-11-05 | 2020-04-03 | 合肥成方信息技术有限公司 | 基于深度学习的vr智能语音交互英语方法 |
| CN112289303A (zh) * | 2019-07-09 | 2021-01-29 | 北京京东振世信息技术有限公司 | 合成语音数据的方法和装置 |
| CN112581964A (zh) * | 2020-12-04 | 2021-03-30 | 浙江大有实业有限公司杭州科技发展分公司 | 一种面向多领域的智能语音交互方法 |
| US11190465B2 (en) | 2018-08-06 | 2021-11-30 | Oracle International Corporation | Displaying data sets responsive to natural language messages received by chatbots |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536677A (zh) * | 2015-01-20 | 2015-04-22 | 湖南化身科技有限公司 | 具有智能语音交互功能的三维数字人像 |
| CN105446953A (zh) * | 2015-11-10 | 2016-03-30 | 深圳狗尾草智能科技有限公司 | 一种智能机器人与虚拟3d的交互系统及方法 |
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师系统及其方法 |
| CN106128453A (zh) * | 2016-08-30 | 2016-11-16 | 深圳市容大数字技术有限公司 | 一种机器人的智能识别语音自动应答方法及机器人 |
| CN106683677A (zh) * | 2015-11-06 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
-
2017
- 2017-05-26 CN CN201710385767.4A patent/CN107247750A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536677A (zh) * | 2015-01-20 | 2015-04-22 | 湖南化身科技有限公司 | 具有智能语音交互功能的三维数字人像 |
| CN106683677A (zh) * | 2015-11-06 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
| CN105446953A (zh) * | 2015-11-10 | 2016-03-30 | 深圳狗尾草智能科技有限公司 | 一种智能机器人与虚拟3d的交互系统及方法 |
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师系统及其方法 |
| CN106128453A (zh) * | 2016-08-30 | 2016-11-16 | 深圳市容大数字技术有限公司 | 一种机器人的智能识别语音自动应答方法及机器人 |
Non-Patent Citations (5)
| Title |
|---|
| HONGXUD22024: "第十六章 统计语言模型及信息检索", 《HTTPS://WENKU.BAIDU.COM/VIEW/5BE00353DDCCDA38376BAFF3.HTML》 * |
| 张晴晴等: "卷积神经网络在语音识别中的应用", 《网络新媒体技术》 * |
| 张洪刚等: "基于双向长短时记忆模型的中文分词方法", 《华南理工大学学报（自然科学版）》 * |
| 我偏笑_NSNIRVANA: "浅谈语音识别基础", 《HTTPS://WWW.JIANSHU.COM/P/A0E01B682E8A?FROM=TIMELINE&ISAPPINSTALLED=0》 * |
| 杨铁军: "《产业专利分析报告 第33册 智能识别》", 30 June 2015 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280885A (zh) * | 2018-01-09 | 2018-07-13 | 上海大学 | 构建全息偶像方法 |
| CN108280885B (zh) * | 2018-01-09 | 2021-12-03 | 上海大学 | 构建全息偶像方法 |
| CN108241755A (zh) * | 2018-02-12 | 2018-07-03 | 广州市诚毅科技软件开发有限公司 | 一种交互信息生成器构建方法及装置 |
| CN108762486A (zh) * | 2018-04-26 | 2018-11-06 | 上海蓝眸多媒体科技有限公司 | 一种多媒体智能交互装置 |
| CN109064793A (zh) * | 2018-06-22 | 2018-12-21 | 四川省有份儿智慧科技有限公司 | 一种基于全息技术的全学科先贤亲授及知识交互智能空间 |
| US11190465B2 (en) | 2018-08-06 | 2021-11-30 | Oracle International Corporation | Displaying data sets responsive to natural language messages received by chatbots |
| CN109040875A (zh) * | 2018-08-27 | 2018-12-18 | 深圳普罗米修斯视觉技术有限公司 | 一种带智能音箱的全息通信系统 |
| CN109087644B (zh) * | 2018-10-22 | 2021-06-25 | 奇酷互联网络科技（深圳）有限公司 | 电子设备及其语音助手的交互方法、具有存储功能的装置 |
| CN109087644A (zh) * | 2018-10-22 | 2018-12-25 | 奇酷互联网络科技（深圳）有限公司 | 电子设备及其语音助手的交互方法、具有存储功能的装置 |
| US11158102B2 (en) | 2019-01-22 | 2021-10-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing information |
| CN109599113A (zh) * | 2019-01-22 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
| CN109961777A (zh) * | 2019-02-16 | 2019-07-02 | 天津大学 | 一种基于智能机器人的语音交互方法 |
| CN109801632A (zh) * | 2019-03-08 | 2019-05-24 | 北京马尔马拉科技有限公司 | 一种基于大数据的人工智能语音机器人系统及方法 |
| CN110148406A (zh) * | 2019-04-12 | 2019-08-20 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110148406B (zh) * | 2019-04-12 | 2022-03-04 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN112289303A (zh) * | 2019-07-09 | 2021-01-29 | 北京京东振世信息技术有限公司 | 合成语音数据的方法和装置 |
| CN112289303B (zh) * | 2019-07-09 | 2024-04-16 | 北京京东振世信息技术有限公司 | 合成语音数据的方法和装置 |
| CN110647636A (zh) * | 2019-09-05 | 2020-01-03 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
| CN110956859A (zh) * | 2019-11-05 | 2020-04-03 | 合肥成方信息技术有限公司 | 基于深度学习的vr智能语音交互英语方法 |
| CN112581964A (zh) * | 2020-12-04 | 2021-03-30 | 浙江大有实业有限公司杭州科技发展分公司 | 一种面向多领域的智能语音交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247750A (zh) | 人工智能交互方法及系统 | |
| Fan et al. | Photo-real talking head with deep bidirectional LSTM | |
| Sun et al. | Voice conversion using deep bidirectional long short-term memory based recurrent neural networks | |
| Ofli et al. | Learn2dance: Learning statistical music-to-dance mappings for choreography synthesis | |
| Fan et al. | A deep bidirectional LSTM approach for video-realistic talking head | |
| Bear et al. | Decoding visemes: Improving machine lip-reading | |
| CN110610534B (zh) | 基于Actor-Critic算法的口型动画自动生成方法 | |
| CN109887484A (zh) | 一种基于对偶学习的语音识别与语音合成方法及装置 | |
| CN101187990A (zh) | 一种会话机器人系统 | |
| CN108492817A (zh) | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统 | |
| CN111243065B (zh) | 一种语音信号驱动的脸部动画生成方法 | |
| CN112581569B (zh) | 自适应情感表达的说话人面部动画生成方法及电子装置 | |
| EP3866117A1 (en) | Voice signal-driven facial animation generation method | |
| CN110136686A (zh) | 基于STARGAN与i向量的多对多说话人转换方法 | |
| CN113393832A (zh) | 一种基于全局情感编码的虚拟人动画合成方法及系统 | |
| CN115953521B (zh) | 远程数字人渲染方法、装置及系统 | |
| CN113744755A (zh) | 一种从音频信号生成语音动画的装置及方法 | |
| Wang et al. | Integrated speech and gesture synthesis | |
| Zhang et al. | A new language independent, photo-realistic talking head driven by voice only. | |
| Zen et al. | Context-dependent additive log f_0 model for HMM-based speech synthesis | |
| Ding et al. | Speech-driven eyebrow motion synthesis with contextual markovian models | |
| Filntisis et al. | Video-realistic expressive audio-visual speech synthesis for the Greek language | |
| Cosker et al. | Laughing, crying, sneezing and yawning: Automatic voice driven animation of non-speech articulations | |
| Chen et al. | An investigation of implementation and performance analysis of DNN based speech synthesis system | |
| Girin et al. | Extending the cascaded gaussian mixture regression framework for cross-speaker acoustic-articulatory mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171013 |
|
| RJ01 | Rejection of invention patent application after publication |