CN107368572A - 多功能智能人机交互方法及系统 - Google Patents

Abstract

本发明提供的多功能智能人机交互方法及系统，方法为：将用户输入的文字信息拆分成独立的字词，根据每个字词在用户输入的文字信息中的组合方式以及在不同句型中的位置以及语法规律，找出对应的词性；将带有词性的字词进行整合，得到带有词性的字词的组合规律，结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义和真实句义；在预先建立的知识储备库中找出与用户输入的文字信息对应的内容，得到用户输入的文字信息对应的回应。本发明通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上采用各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作。

Description

多功能智能人机交互方法及系统

技术领域

本发明涉及人工智能技术领域，尤其涉及多功能智能人机交互方法及系统。

背景技术

目前的人机对话，强于语音识别，但基本不理解语义，或者通过关键词寻找回复，或者通过固定的模板来匹配回复或执行命令。比如，目前在一些具体项目的人机对话服务：查询天气、购票信息等，就会采用模板匹配的方式。在限定语境的情况下，如果模板比较充分，因为语义范围比较狭窄，那么能找到具体的回复，准确率较高。而在聊天软件中往往使用关键词搜索的方式，因为聊天的范围太宽泛，如果还用模板方式，模板的量将过于巨大，而且模板之间的冲突也会越来越多。最关键的是，模板无法解决省略表达，而这个在聊天中经常会遇到的情况，所以只能采用关键词的方式。不过因为同一个关键词对应的内容很多，尽管大数据库越来越大，对数据的细分越来越多，还是会造成回答文不对题，而回答前后不具有逻辑性就是关键词搜索最大的缺陷。比如目前代表人机智能对话高水准的微软小冰，回答错误、毫无逻辑的情况比比皆是。

另外，目前的人机对话机器人，大多割裂了对话和执行。比如微软的小冰和小娜，一个负责聊天，一个负责执行程序。因为一个采用了关键词回复，一个采用了模板应答。苹果的siri尝试把这两种合并起来，可解决的并不好，聊天比小冰还差，指令执行也仅限于有限的几个，并且还不能语音控制关闭之前执行打开的程序(基于Ipad最新版测试)。它们都存在一个比较大弱点，就是聊天时似乎怎么表达都没问题(不论怎么说，都能得到回复)，可需要机器人具体执行或回答某个话题的时候，又需要一丝不苟，必须按照模板来表达，不然机器人就会无法识别、无法执行，它们通常会提示你应该怎么说它才能听得懂。这显得很不智能，更不人性化。

因此，现有技术中的技术缺陷是：现有的人机语言交互过程中，在并不理解人表达的真实意思的前提下，主要是基于关键词和模板来实现回答和执行对应的操作，这样回复要么准确度差，要么适用面窄，而且缺乏逻辑性。

发明内容

针对上述技术问题，本发明提供一种多功能智能人机交互方法及系统，通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上再采用但不限于关键词、模板等方式来进行各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作。

为解决上述技术问题，本发明提供的技术方案是：

第一方面，本发明提供一种多功能智能人机交互方法，包括：

步骤S1，获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

步骤S2，将所述用户输入的文字信息拆分成独立的字词，得到多个字词；

步骤S3，根据每个字词在所述用户输入的文字信息中的组合方式以及在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

步骤S4，将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；

步骤S5，根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互方法，其技术方案为：获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；将所述用户输入的文字信息拆分成独立的字词，得到多个字词；根据每个字词在所述用户输入的文字信息中的组合方式以及在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互方法，通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上再采用但不限于关键词、模板等方式来进行各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作，比如打开、关闭、以及更深层次的指令操作。

进一步地，所述步骤S4中，还包括：

通过所述用户输入的文字信息的句尾标点符号、空格、语气词、中文固有的表达方式和句型特征，判断所述用户输入的文字信息的语气；

根据所述用户输入的文字信息的语气，结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义。

进一步地，建立所述知识储备库，具体为：

对机器人进行分类知识设定，包括所述机器人的性格、所述机器人的特征、所述机器人的兴趣爱好、所述机器人的能力、所述机器人的社会伦理、所述机器人的自然常识、所述机器人的专项知识储备、所述机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，所述整合规则的设定指将字词整合成词组；

根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；

根据所述多种回复方式，建立知识储备库，所述知识储备库不断进行更新。

进一步地，还包括，交互模式选择步骤：

根据所述用户输入的文字信息，判断所述用户输入的文字信息的话题类型；

根据所述用户输入的文字信息的话题类型，判断所述用户输入的文字信息的交互类型，所述交互类型包括复杂话题交互和简单话题交互；

根据所述用户输入的文字信息的交互话题类型，自动变换交互模式。

进一步地，还包括：

计算所述人机交互的时间间隔，如果所述时间间隔大于预设值，机器人主动询问或根据预设寻找话题进行交互，所述寻找话题根据所述机器人与用户的历史交互信息提取获得。

进一步地，还包括：

根据所述用户输入的文字信息的语气语调和/或所述用户肢体语言，进行交互话题的选择。

第二方面，本发明提供一种多功能智能人机交互系统，包括：

信息获取模块，用于获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

字词拆分模块，用于将所述用户输入的文字信息拆分成独立的字词，得到多个字词；

词性分析模块，用于根据每个字词在所述用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

句义分析模块，用于将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；

交互回应模块，用于根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互系统，其技术方案为：通过信息获取模块，获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；通过字词拆分模块，将所述用户输入的文字信息拆分成独立的字词，得到多个字词；通过词性分析模块，根据每个字词在所述用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；通过句义分析模块，将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；通过交互回应模块，根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互系统，通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上再采用但不限于关键词、模板等方式来进行各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作，比如打开、关闭、以及更深层次的指令操作。

进一步地，所述句义分析模块，还包括语气分析子模块，具体用于：

通过所述用户输入的文字信息的句尾标点符号、空格、语气词以及中文固有的表达方式和句型特征，判断所述用户输入的文字信息的语气；

根据所述用户输入的文字信息的语气，结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义。

进一步地，还包括知识储备库建立模块，具体用于：

对机器人进行分类知识设定，包括所述机器人的性格、所述机器人的特征、所述机器人的兴趣爱好、所述机器人的能力、所述机器人的社会伦理、所述机器人的自然常识、所述机器人的专项知识储备、所述机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，所述整合规则的设定指将字词整合成词组；

根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；

根据所述多种回复方式，建立知识储备库，所述知识储备库不断进行更新。

进一步地，还包括，交互模式选择模块，具体用于：

根据所述用户输入的文字信息，判断所述用户输入的文字信息的话题类型；

根据所述用户输入的文字信息的话题类型，判断所述用户输入的文字信息的交互类型，所述交互类型包括复杂话题交互和简单话题交互；

根据所述用户输入的文字信息的交互话题类型，自动变换交互模式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1示出了本发明实施例所提供的一种多功能智能人机交互方法的流程图；

图2示出了本发明实施例所提供的一种多功能智能人机交互系统的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

参见图1，第一方面，本发明提供一种多功能智能人机交互方法，包括：

步骤S1，获取用户输入的文字信息，用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

步骤S2，将用户输入的文字信息拆分成独立的字词，得到多个字词；

步骤S3，根据每个字词在用户输入的文字信息中的组合方式以及在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

步骤S4，将带有词性的字词进行整合，得到带有词性的字词的组合规律，并结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义；

步骤S5，根据真实句义，在预先建立的知识储备库中找出与用户输入的文字信息对应的内容，得到用户输入的文字信息对应的回应，回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互方法，其技术方案为：获取用户输入的文字信息，用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；将用户输入的文字信息拆分成独立的字词，得到多个字词；根据每个字词在用户输入的文字信息中的组合方式以及在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；将带有词性的字词进行整合，得到带有词性的字词的组合规律，并结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义；根据真实句义，在预先建立的知识储备库中找出与用户输入的文字信息对应的内容，得到用户输入的文字信息对应的回应，回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互方法，通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上再采用但不限于关键词、模板等方式来进行各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作，比如打开、关闭、以及更深层次的指令操作。

通过本发明的方法可以让机器人学习人的表达方式，而不是让人学习机器人才理解的模板语言。通过给机器人广泛的设定和相关知识的预先储备，以及一些记忆方面的设计，让机器人不断学习人的语言习惯和新事物相关的知识，让机器人在理解的基础上进行回复或者执行操作，不仅能回答是什么的问题，还能回答为什么的问题，从根本上解决目前人机对话不具有逻辑性和准确性的情况。

其中，用户输入的文字信息中包括聊天和指令两种模式，机器人可通过对文字进行拆分，分析词性识别用户的真实意图，自动识别用户输入的文字信息中是聊天还是指令，并做出相应的回应。

其中，因为中文的特殊性(字总量很少)，通常一个字词具有很多的词性，然后每个字词性下面又有很多意思，而且和其他字词的不同组合后，又产生了新的意思。相同字词的不同组合可表达不同的意思，基于此需要考虑到带词性字词的组合方式，才能真正理解句子的真实意思。带有词性的字词的组合规律可根据字词在句中的位置和其他字词的前后关系来辨别判断。

其中，如果用户输入的文字信息是省略表达，需要根据上下文对缺失的信息进行补充，使句义表达完整。

优选地，还包括对拆分后的字词进行纠错，将拆分不正确的词进行纠正，保证字词拆分准确。

其中，对用户输入的文字信息中字词的词性获得，也可以先从分词软件中产生，再加以纠正的方式来获得。

优选地，步骤S4中，还包括：

通过用户输入的文字信息的句尾标点符号、空格、语气词以及中文固有的表达方式和句型特征，判断用户输入的文字信息的语气；

根据用户输入的文字信息的语气，结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义。

通过结合句子的语气，可进一步提高回答的准确性。其中，用户输入的文字信息的句型和语法规律包括句子中动词的施动和被动，句子中的主语、谓语和宾语的识别划分，某些副词、连词、关联词等的用法，中文表达中的固定、特殊组合，句子的句型，及复杂的语法规则等，结合这些因素对句子的真实句义进行分析，会得到更加真实的句义。

优选地，建立知识储备库，具体为：

对机器人进行分类知识设定，包括机器人的性格、机器人的特征、机器人的兴趣爱好、机器人的能力、机器人的社会伦理、机器人的自然常识、机器人的专项知识储备、机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，整合规则的设定指将字词整合成词组；

根据整合规则、回复规则、句子语气类型及分类知识的设定，进行回复的设定，得到多种回复方式；

根据多种回复方式，建立知识储备库，知识储备库不断进行更新。

其中，整合规则是指将字词整合成词组，比如吃、饭，整合为“吃饭”，“在”“家”“吃”“饭”，整合为“在家吃饭”，可更容易找到句子的核心内容。

其中，回复规则的设定具体根据句子和交互中包括的话题、语气类型、整合规则、重复语义、交互间隔时间、关键词、模板、模糊回复、执行操作、歧义辨析、用户画像等。根据句子和交互中包含的各种信息，进行回复规则的设定，有助于将回复规则设定的更准确，从而使回答更准确，更贴近用户真实想表达的意思。

为了能让针对性的回答的准确性提高，那么前期需要进行机器人基础知识的储备。知识储备库的具体建立过程如下：

首先：是字词词性和字词意思数据库的建立。还包括：

一：字词整合规则的完善，以便更容易找到句子的中心内容和辅助内容，主干和关键词。

二：句子语气类型的设定，不仅根据句尾的标点符号，还根据某些副词、连词、关联词以及一些特殊句式来判断是属于哪类句型，表达怎样的语气意思。是赞同、提问、怀疑、肯定、犹豫、斥责、反问、告知等等。

三：回复的设定，有些简单的可以直接设计好回复，有些需要复杂的设定，配合回复规则，以便让回复更人性化。

其次：机器人个性的设定。包括：

性格的设定(机器人的喜怒哀乐的触发点)；

机器人特征的设定(外形，高矮胖瘦)，兴趣爱好的设定(喜欢讨厌的内容)；

能力的设定(会做什么不会做什么)；

社会伦理的设定(什么是正确的，什么是错误的)；

自然常识的设定(一些基础的换算、火会烧着事物带来损失、打人不好，事物之间存在距离等等)；

专项知识的储备(金融知识、电影、音乐、书籍、文档、通信等)；

以及连接到网络获得的即时信息的程序设定(新闻、热点、天气情况、火车航班信息、交通状况、上映影片等)，这样在理解句子的真实含义的基础上，就能正确地回答。

各种命令执行程序的设定，这样可以对相关程序进行打开、关闭、以及更深层次的指令操作。

机器人基础知识的储备越完善，那么回答的准确性就越高。

优选地，还包括，交互模式选择步骤：

根据用户输入的文字信息，判断用户输入的文字信息的话题类型；

根据用户输入的文字信息的话题类型，判断用户输入的文字信息的交互类型，交互类型包括复杂话题交互和简单话题交互；

根据用户输入的文字信息的交互话题类型，自动变换交互模式。

根据回复的设定，有多种不同的回复方式，有些简单的可以直接设计好回复，有些需要复杂的设定，以便让回复更人性化。

其中，复杂话题的设定，指对一些复杂的话题，先预先进行尽可能的知识补充，并且这些话题的回复可能会用到专业术语，而离开这个话题就不适合再用此专业术语。比如：金融方面的话题回复，就需要用到专业具体的金融术语。通信业务的话题，就需要了解通讯方面的基础知识，才能保证回复的正确性。比如：“我要离场了。”这句话如果是在普通聊天模式下，那么机器人就回复“好的，再见”。可如果在金融方面的话题下，机器人就可能回复“你想什么价位抛售？需要我执行操作吗？”等内容。并且复杂话题的设定，会让人机对话更智能。就如我们平时交流有些问题随口可答，有些问题需要认真回答一样。

优选地，本发明中的智能交互方式，可与机器人进行无缝交互，不需要用户进行其他操作，可以谈论各种话题。这样可避免出现像目前购买车票，查询天气，查询商品等专项机器人，需要手动选择一个内容再和机器人聊天给人带来的隔阂感。

优选地，交互模式选择中设置一个语言触发开关，是机器人自动根据词性分析及以上的复杂方法分析后，明白句子的意思自动辨识的，不需要人来确认；比如：“我手机怎么不能用了？”机器人就能分析是关于手机的问题，并且句子语气类型是询问原因，然后找到关键词是“手机”、“不能用了”等信息，触发后自动进入到通讯话题复杂话题交互模式下，进行进一步的分析，然后针对性地回答，这样回复时可以采用一些专业术语，以区别其他话题的回复。

退出的话，也由机器人根据语言触发关闭(因为现在机器人都是根据人表达的意思来理解，如果人表达不清楚的时候，会增加一个询问机制，来保证没有理解错)。比如：人询问机器人目前的天气、时间、有没有某电影等这类简单的话题，那么根据句子的意思随时回答。如果人要和机器人玩游戏，询问移动业务，金融投资，个股选择等一些需要多层次反复的内容，那么就要进入到复杂话题机制，如果当中人回答时词不达意，又不是简单话题的话，就会询问确认，是不是不想继续复杂话题了，等确认后，再退出。如果当中人表达很清晰不继续聊复杂话题了，那么就自动结束复杂话题，回复到正常聊天的待命状态。这和我们同一个思维跳跃很快的人交流也是一样的，发现对方话题转移了，需要拉回来(问他是否还想继续旧的话题)或者直接跟着转移到新的话题中去。

优选地，还包括：

计算人机交互的时间间隔，如果时间间隔大于预设值，机器人主动询问或根据预设寻找话题进行交互，寻找话题根据机器人与用户的历史交互信息提取获得。

其中，从历史交互信息中提取交流比较多的话题、用户询问次数多的话题，或者根据话题的内容，交叉得出的有可能关注的话题，甚至可以自行进行相关的搜索，然后告知以前询问的问题的现在的新答案。比如某个股的现在行情如何，等等。通过对机器人进行预先的设定，机器人就会主动判断人的对话间隔，如果过长，主动询问，或者根据预设来寻找话题，提高人机交互的智能性。

优选地，还包括：

根据用户输入的文字信息的语气语调和/或用户肢体语言，进行交互话题的选择。

为了能让机器人更了解人的状态和表达的意思，那么对语气语调，人的肢体语言的识别，也是非常重要的，需要配合视觉识别程序来反馈到机器人，然后根据预设的程序由机器人分析，然后做出正确的反馈。比如观察到人很疲惫，可以主动播放轻音乐，观察到人很生气，可以表达关心的话等等。

基于本发明的方法进行人机交互，通过对人语言进行针对性地拆分，辨析词义、句型、语气等，来理解语言表达的真实含义，并结合之前对机器人进行的广泛设定和知识储备。这样智能对话机器人就可以在理解的基础上反馈正确的回复，而不是毫无逻辑地回答。并且可以执行相应的动作，比如打开关闭电脑上的程序，甚至在连接语音模块和机械手臂后，可以对机器人进行语音指挥，并让机器人进行物理方面的动作。

通过设置，机器人可以理解人表达的真实意思，然后做出准确的反馈。摆脱了目前只是通过关键词从数据库查找回复，导致缺乏逻辑性的问题，也不需要记忆机器人才懂的语言模板，而是让机器人掌握人的语言表达方式，可以让机器人真实进入家庭为人服务，不仅是闲暇聊天的伙伴，也是执行具体事物的好帮手。在和机器人聊天时不用再学习机器人能听得懂的表达方式，而是让机器人来学习人的表达方式。也能进入到企事业单位，进行一些事务性的交流和接待回复。

下面结合具体交互信息，对交互信息中的字词的词性、句型、语气等对本发明的方法进行进一步的说明：

比如：明，词性有很多、意思也很多。单独的‘明’无法确定意思，可是如果前后增加了字词，意思就可以明确。比如：小明(可以理解为人名)，明天(是时间名词)，明亮(是形容词)，明明(可以理解为副词)。这种方法执行起来会比较复杂，因为需要考虑很多情况，但准确度较高。

举个例子：‘小明喜欢吃饭。’，具体执行如下：

第一步，先分析‘小’，先不确定它的词性。小的后面是‘明’，‘明’后面是‘喜’，不能构成常用词，不成立，所以可以构成了人称名词‘小明’。‘喜’和后面的‘欢’又构成了动词‘喜欢’，后面的‘吃’是动词，‘饭’是名词，就比较容易分析出来。这样就可以拆分为独立的：小明-喜欢-吃-饭。在拆分的同时，也根据字词数据库找到它们对应的词性和意思(词义)。

第二步，整合字词，根据字词之间的相互关系，找出对应的内容，也就是通常理解的主谓，动宾结构等，进而理解句子的中心内容以及辅助内容。比如：‘吃-饭’就可以合并为‘吃饭’，动宾结构。而‘小明-喜欢’就是主谓结构。中心内容就是‘小明-喜欢-吃饭’。把句子中的每个部分和主谓宾等内容对应出来。

第三步，结合句子末尾的标点符号，看是疑问句、条件句、感叹句等等，再结合句子中各字词的词性及意思，以及相互之间的语法规律，来明确句子的语气类型是赞同、提问、怀疑、肯定、犹豫、惊讶、反问还是斥责、告知等等。比如：‘小明喜欢吃饭。’这句末尾是句号，而且是叙述一个事实，那么就是告知。另外，如果句子的语气类型不明确，需要机器人根据一些规则自行主动判断。

第四步，根据句子表达的意思进行有针对性的回答或者执行相应的动作(比如程序的开启关闭，甚至在加上语音识别和机械手脚后，可以进行真实的物理行为)。比如：这里可以判断是被告知‘小明喜欢吃饭。’，那么可以回答“哦”。如果机器人数据库中的信息是‘小明不喜欢吃饭’，那么和第二步得出的句子中的谓语是“喜欢”不一致，就会回答‘怎么和我知道的不一样呀’或者‘不对吧，我记得他喜欢吃饭。’等内容。回答可以是预设的也可以不是预设的，可以根据对方的内容，参照相应的回复规则灵活地回复，这里回复规则的建立需要不断调整完善，也可以设计一些个性化的规则。

第五步，个性化。用户可对机器人进行自定义个性化设计，可以对一些机器人尚未掌握的地域性或者用户个人特征的表达方式，告知机器人并让机器人学习掌握，以便机器人能理解的更加准确，让机器人学习到个性化的表达方式。比如：如果把机器人设定为懂礼貌的女孩，就可以对“小明喜欢吃饭。”这个聊天内容回复为：“真的？谢谢你告诉我。”

参见图2，第二方面，本发明提供一种多功能智能人机交互系统10，包括：

信息获取模块101，用于获取用户输入的文字信息，用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

字词拆分模块102，用于将用户输入的文字信息拆分成独立的字词，得到多个字词；

词性分析模块103，用于根据每个字词在用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

句义分析模块104，用于将带有词性的字词进行整合，得到带有词性的字词的组合规律，并结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义；

交互回应模块105，用于根据真实句义，在预先建立的知识储备库中找出与用户输入的文字信息对应的内容，得到用户输入的文字信息对应的回应，回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互系统10，其技术方案为：通过信息获取模块101，获取用户输入的文字信息，用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；通过字词拆分模块102，将用户输入的文字信息拆分成独立的字词，得到多个字词；通过词性分析模块103，根据每个字词在用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；通过句义分析模块104，将带有词性的字词进行整合，得到带有词性的字词的组合规律，并结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义；通过交互回应模块105，根据真实句义，在预先建立的知识储备库中找出与用户输入的文字信息对应的内容，得到用户输入的文字信息对应的回应，回应包括语言回应和/或执行操作回应。

本发明提供的多功能智能人机交互系统10，通过基于词性对用户输入的信息进行句义的分析，理解用户表达的真实意思，在理解的基础上再采用但不限于关键词、模板等方式来进行各种回复，给出智能的回答，提高了人机对话理解的准确性，不仅可以聊天还可以按照要求执行相应的操作，比如打开、关闭、以及更深层次的指令操作。

优选地，句义分析模块104，还包括语气分析子模块，具体用于：

通过用户输入的文字信息的句尾标点符号、空格、语气词以及中文固有的表达方式和句型特征，判断用户输入的文字信息的语气；

根据用户输入的文字信息的语气，结合对用户输入的文字信息的句型和语法规律，得到带有词性的字词的词义，并得出用户输入的文字信息对应的真实句义，得出用户输入的文字信息对应的真实句义。

优选地，还包括知识储备库建立模块，具体用于：

对机器人进行分类知识设定，包括机器人的性格、机器人的特征、机器人的兴趣爱好、机器人的能力、机器人的社会伦理、机器人的自然常识、机器人的专项知识储备、机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，整合规则的设定指将字词整合成词组；

根据整合规则、回复规则、句子语气类型及分类知识的设定，得到多种回复方式；

根据多种回复方式，建立知识储备库，知识储备库不断进行更新。

优选地，还包括，交互模式选择模块，具体用于：

根据所述用户输入的文字信息，判断所述用户输入的文字信息的话题类型；

根据所述用户输入的文字信息的话题类型，判断所述用户输入的文字信息的交互类型，所述交互类型包括复杂话题交互和简单话题交互；

根据所述用户输入的文字信息的交互话题类型，自动变换交互模式。

实施例二

作为本发明的优选实施例，基于实施例一中的多功能智能人机交互方法及系统，只是基于用户输入的文字信息进行分析，得到用户输入的文字信息的真实语义，然后给出智能的回复，为了使回复更加智能，结合用户画像，即结合用户自身特点，给出回复；具体方案如下：

S101，根据任务需求设计用户画像中的属性标签，构建语义解析器。

在本实施例中，根据任务需求设计用户画像中的属性标签，首先要考虑到应用需求，考虑哪些属性标签是和领域任务相关的，据此把用户属性标签分为基础属性和领域属性两类；

设计好属性标签后，构建语义解析器，需要建立领域相关数据库或知识库，不同领域的信息分类存储和分析，最后将所有的语义解析器贯通成完整的语义解析器。

在构建语义解析器时，以得到的知识库作为语义资源，采用传统的基于规则的算法或基于统计的算法等构建语义解析器，用“槽值对”(slot-value pair)的形式对语义进行表示，所谓“槽”即是属性标签的名称，“值”对应该属性标签的值，一个典型的语义表示格式为:“槽＝值”。

S102、采集实时对话信息。

通过实施例一中的可交互的、能产生实时对话数据的多功能智能人机交互系统得到对话信息，该系统能够接收用户输入，比如传统的语音、文字等，也可以接收图像类的输入，如手势、表情等。

该对话交互系统的结构与传统对话系统结构无异，所以除了考虑当前对话信息，还能够考虑了上下文的信息，和对话逻辑等信息。

该对话交互系统基于词性分析可时实时解析用户语义。

S103、获取用户语义解析结果。

从步骤S102中采集的实时对话信息中将语义解析的结果抽取出来，记录抽取的语义“槽值对”和对应的时间戳信息。

S104、根据用户语义计算和更新用户对应的属性标签的值。

该步骤包括更新基础属性的值和领域属性的值。基础属性包括：姓名、性别、年龄、电话、家庭住址、公司地址等；领域属性包括：常去日的地，常听的歌，常拨的号码等。

更新基础属性和领域属性的值时，要进行权重和衰减因子处理。计算权重时，首先设定时间窗口T，在该时间窗口内，时间越近的权重越高，含有衰减因子的权重计算公式为：其中：w_Aki为任意属性A的第k个值在该时间窗口内第i次出现时的权重；p表征遗忘速率，根据应用需求设定：(t₀-t)表示用户行为时间与当前时间的差值，且满足0<t₀-t≤T；然后在时间窗口T内，每个属性的每个值的权重需要合井在一起，以得到该值的完整权重，计算公式为：w_Ak＝∑iw_Aki，其中：w_Ak即是属性A的第k个值的权重。的权重优选经归一化处理，得到W_Ak，即属性A的第k个属性值的最终权重。

更新基础属性的值时，设定时间窗口T₁上，每当通过实时对话获得一个属性标签的值时，通过V_A＝argmax_kW_Ak，其中：V_A即是属性A更新后的值，W_Ak即是属性A的第k个属性值的最终权重，并直接将该值赋予用户属性标签。

更新领域属性的值时，设定时间窗口T₂，每当一个实时对话结束时，获取该对话中出现的每个属性标签的值，通过上述权重计算公式重新计算时间窗口内所有该属性标签的候选值的权重，得到该领域属性的新的常用取值的新分布，该分布以不同的取值为自变量，其函数公式为：其中F_A(k)表示属性A取第k个值的概率，F_A是属性A的值的概率分布函数，也即属性A更新后的值。

S105、根据上述标签数据生成用户画像。

通过将上述得到的所有属性标签信息进行融合，即可生成用户画像。步骤Sl01中，构建语义解析器，在可以满足应用需求或其他特殊需求的情况下，可以直接构建一个语义解析器，用于解析所有的用户属性。

在结合上述用户画像刻画的方法，结合基于词性的语义分析给出的回复，进行回复的优化处理，使在交互过程中，考虑到用户自身的个性信息，使回复更加智能。

另外，本实施例中的用户画像刻画方法，考虑时间因素，对于每个属性标签，出现时间越近的值具有越高的权重；还提供了时间窗口的设定，但并不需要等待用户日志的积累，而是在每次用户交互过程中实时推进时间窗口，使得用户画像的更新也具有实时性。

本实施例中还考虑不同属性的差异，对易变和不易变的属性、有特定时效性的属性等进行分类处理，采取不同的更新策略；用户画像的更新在对话交互中实时进行，结合上下文信息和对交互逻辑的分析更准确充分的利用得到的信息；对于用户在每一次对话过程中的句子，通过做语义分析，提取句子中出现的属性槽值(s1ot)，可以获得比关键字提取方法更高的信息准确度；在构建用户画像时，考虑对话系统的特殊性，采用新的用户建方法，以更精确利用用户信息、构建用户画像。本实施例构建的用户画像中，各种属性槽值的信息更加丰富，是历史值的统计分布而不是单纯的固定值，这样的结构化建模将使构建的用户画像更智能，细节更丰富，使得最后得到的回复更准确。

实施例三

作为本发明的优选实施例，实施例一中通过机器人摄像头对人面部进行图像采集，然后判断人的情绪，结合人的情绪进行交互，提高用户体验度，消除人机交互间的隔阂。具体方案如下：

建立人脸表情数据库，存储人脸在不同表情下的面部特征；

通过图像采集装置定期收集聊天者的数字图像；

从数字图像中识别聊天者的五官，统计聊天者面部特征；

根据聊天者而部特征，从人脸表情数据库中获得和上述位置关系对应的表情，作为聊天者的表情。

其中，存储人脸以下表情中的面部特征包括无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑等。

各种表情都会有对应的面部特征，例如:伤心。面部特征包括眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。害怕。害怕时，嘴巴和眼睛张开，眉毛上扬，鼻孔张大。愤怒。这时眉毛下垂，前额紧皱，眼睑和嘴唇紧张。厌恶。厌恶的表情包括嗤鼻，上嘴唇上抬，眉毛下垂，眯眼。惊讶。惊讶时，下颖下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬。轻蔑。轻蔑的著名特征就是嘴角一侧抬起，作讥笑或得意笑状。只要捕获聊天者这些面部特征的变化，即可判断出聊天者的当前心情。并且根据:人种、性别、年龄进行分类，因为，不同人种、性别和年龄的人，表达表情时的面部特征肯定不同。例如，很多白种人在表达相同情感时，面部表情比黄种人要更为夸张，功作幅度大。此外，还可以进行表情丰富和不丰富进行区分，有人表情丰富，就像人们常说的“高兴不高兴都挂在脸上”，而有的人则相对表情单一，仅能通过局部细微的变化，才能扑捉到他真实的心理。根据聊天者的历史聊天记录，机器人可以给聊天者进行一定的分类：表情丰富或表情不丰富。从而采用不同的判断策略，以提高判断的准确性。

优选地，面部特征包括：眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。

优选地，数字图像主要包括面部表情，肩部动作、头部动作和千部动作。肩部动作包括耸肩等常见动作；头部动作包括点头、摇头等常见动作；手部动作包括摆手、挥手、下压、抬手等常见动作。

优选地，还包括：

根据聊天内容获得聊天主题，并以当前聊天者的语言和表情为依据，判断聊天者对当前聊天主题的真实态度。

优选地，还包括：基于聊天者对当前聊天主题的真实态度调整聊天的策略：改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。

本实施例提供一种真实感强、判断准确的应用于聊天机器人的情绪判断方法。其充分运用人脸识别技术、心理学常识等，通过不断判断聊天者的真实含义，从而调整聊天内容，使得聊天者获得接近真实的聊天感受，从而极大提高聊天机器人的真实感、准确性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种多功能智能人机交互方法，其特征在于，包括：

步骤S1，获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

步骤S2，将所述用户输入的文字信息拆分成独立的字词，得到多个字词；

步骤S3，根据每个字词在所述用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

步骤S4，将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；

步骤S5，根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

2.根据权利要求1所述的多功能智能人机交互方法，其特征在于，

所述步骤S4中，还包括：

通过所述用户输入的文字信息的句尾标点符号、空格、语气词、中文固有的表达方式和句型特征，判断所述用户输入的文字信息的语气；

根据所述用户输入的文字信息的语气，结合语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义。

3.根据权利要求1所述的多功能智能人机交互方法，其特征在于，

建立所述知识储备库，具体为：

对机器人进行分类知识设定，包括所述机器人的性格、所述机器人的特征、所述机器人的兴趣爱好、所述机器人的能力、所述机器人的社会伦理、所述机器人的自然常识、所述机器人的专项知识储备、所述机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，所述整合规则的设定指将字词整合成词组；

根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；

根据所述多种回复方式，建立知识储备库，所述知识储备库不断进行更新。

4.根据权利要求1所述的多功能智能人机交互方法，其特征在于，

还包括，交互模式选择步骤：

根据所述用户输入的文字信息，判断所述用户输入的文字信息的话题类型；

根据所述用户输入的文字信息的话题类型，判断所述用户输入的文字信息的交互类型，所述交互类型包括复杂话题交互和简单话题交互；

根据所述用户输入的文字信息的交互话题类型，自动变换交互模式。

5.根据权利要求1所述的多功能智能人机交互方法，其特征在于，

还包括：

计算所述人机交互的时间间隔，如果所述时间间隔大于预设值，机器人主动询问或根据预设寻找话题进行交互，所述寻找话题根据所述机器人与用户的历史交互信息提取获得。

6.根据权利要求1所述的多功能智能人机交互方法，其特征在于，

还包括：

根据所述用户输入的文字信息的语气语调和/或所述用户肢体语言，进行交互话题的选择。

7.一种多功能智能人机交互系统，其特征在于，包括：

信息获取模块，用于获取用户输入的文字信息，所述用户输入的文字信息包括纯文字和可以转化文字描述的声音、动作、姿态、表情、图片和场景信息；

字词拆分模块，用于将所述用户输入的文字信息拆分成独立的字词，得到多个字词；

词性分析模块，用于根据每个字词在所述用户输入的文字信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；

句义分析模块，用于将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律，并结合对所述用户输入的文字信息的句型和语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义；

交互回应模块，用于根据所述真实句义，在预先建立的知识储备库中找出与所述用户输入的文字信息对应的内容，得到所述用户输入的文字信息对应的回应，所述回应包括语言回应和/或执行操作回应。

8.根据权利要求7所述的多功能智能人机交互系统，其特征在于，

所述句义分析模块，还包括语气分析子模块，具体用于：

通过所述用户输入的文字信息的句尾标点符号、空格、语气词、中文固有的表达方式和句型特征，判断所述用户输入的文字信息的语气；

根据所述用户输入的文字信息的语气，结合语法规律，得到所述带有词性的字词的词义，并得出所述用户输入的文字信息对应的真实句义。

9.根据权利要求7所述的多功能智能人机交互系统，其特征在于，

还包括知识储备库建立模块，具体用于：

对机器人进行分类知识设定，包括所述机器人的性格、所述机器人的特征、所述机器人的兴趣爱好、所述机器人的能力、所述机器人的社会伦理、所述机器人的自然常识、所述机器人的专项知识储备、所述机器人通过网络获得的即时信息和执行程序的触发程序；

根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；

根据预先的知识储备进行整合规则、回复规则和句子语气类型的设定，所述整合规则的设定指将字词整合成词组；

根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；

根据所述多种回复方式，建立知识储备库，所述知识储备库不断进行更新。

10.根据权利要求7所述的多功能智能人机交互系统，其特征在于，

还包括，交互模式选择模块，具体用于：

根据所述用户输入的文字信息，判断所述用户输入的文字信息的话题类型；

根据所述用户输入的文字信息的话题类型，判断所述用户输入的文字信息的交互类型，所述交互类型包括复杂话题交互和简单话题交互；

根据所述用户输入的文字信息的交互话题类型，自动变换交互模式。