CN107038220A - 用于生成备忘录的方法、智能机器人及系统 - Google Patents

Abstract

本发明提供一种用于生成备忘录的方法。该方法包括以下步骤：接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；解析所述多模态输入信息，提取语音数据；将用户所发出的语音转换为文本数据；对所述文本数据进行语义理解，从语义理解的意图结果中，抓取进入备忘录的功能的关键词；开启备忘事项记录功能，输出备忘记录成功的信息。通过方便快捷的录入方式，让智能机器人帮用户记住大小事件。需要查询时，通过精准的语义理解，能让智能机器人准确地得知用户意图，从而给出相应答案。

Description

用于生成备忘录的方法、智能机器人及系统

技术领域

本发明涉及人工智能技术领域，具体地说，涉及一种用于生成备忘录的方法、智能机器人及系统。

背景技术

随着科技技术的发展进步，人工智能的应用领域已经深入到人们生活的方方面面。目前的备忘录应用一般都是需要用户通过输入文本，并在日历的关联下保存备忘事件。然而，这与通常的用日记本记下备忘事件没有太多区别，仅仅是将纸面的信息转到电子产品上保存。并且，这样的备忘录查询起来也不是特别方便，基本上还需要花费用户一些时间来翻看以前的记录。

因此，需要一种能够改善当前备忘录应用的人工智能程度的技术方案。

发明内容

本发明主要为解决在现代社会，人们每天事务繁忙、输入输出的信息量极大、急切需要个人助理来帮助记录事件，以免忘记重要事情的问题，提供一种基于语音识别来生成备忘录的方法。该方法包括以下步骤：

接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；

解析所述多模态输入信息，提取语音数据；

将用户所发出的语音转换为文本数据；

对所述文本数据进行语义理解，从语义理解的意图结果中，抓取进入备忘录的功能的关键词；

开启备忘事项记录功能，输出备忘记录成功的信息。

在一个实施例中，根据本发明的用于生成备忘录的方法，在对所述文本数据进行语义解析时，提取出所述文本数据中包含的除关健词外的其他关键词作为特征项，并根据所述特征项辅以确认进入备忘录的某分类数据库中。

在一个实施例中，根据本发明的用于生成备忘录的方法，所述分类库包含以下所列的至少一项或多项的组合：

日常生活类，其进一步包括：

旅游备忘、生日备忘、地址备忘；

工作类，进一步包括：

会议备忘、出差备忘、单据备忘；

机密类，进一步包括：

账户密码。

在一个实施例中，根据本发明的用于生成备忘录的方法，判断所述语句特征参量中包括的关键词是否是用以引导进入查询备忘事项记录的功能的关键词，如果是，则向用户输出备忘录的请求确认多模态数据；

接收用户指示进入某一分类库的确认信息；

记录该用户的备忘数据。

在一个实施例中，根据本发明的用于生成备忘录的方法，判断所述关键词是否包含修改备忘事项记录的关键词，如果是，则向用户输出修改备忘录事项记录成功的多模态数据。

在一个实施例中，根据本发明的用于生成备忘录的方法，所述备忘数据为：

按照结构化数据形式的备忘事项记录，所述备忘事项记录可以包含所述关键词。

根据本发明的另一个方面，还提供了一种智能机器人。包括：

声音接收器，接收用户发出的语音模拟信号；

模数/数模转换器，其与所述声音接收器连接，用以将所述语音模拟信号转换为音频数字信号；

存储器；

中央处理单元，其与所述存储器连接，用以执行其上所存储的程序，所述程序在被执行时用以完成如上所述的方法步骤；

麦克风，用以将音频数据通过数模转换器转换成模拟数据，并进行语音输出。

在一个实施例中，还包括本地数据库，其用以存储语义解析所需要的语料信息，以及用以存储备忘事项数据表。

在一个实施例中，还包括通信接口，其用以与远端服务器进行通信以传送要进行语义解析所需要的文本数据以及接收查询到的备忘事项记录的文本数据。

根据本发明的另一个方面，还提个了一种个人助理系统。所述系统包括：

智能机器人；

远端服务器，其用以：

接收所述智能机器人发送的文本数据；

对所述文本数据进行语义理解，从语义理解的意图结果中，抓取进入备忘录的功能的关键词；

开启备忘事项记录功能，输出备忘记录成功的信息。

本发明的有利之处在于，通过方便快捷的语音录入方式，让智能机器人帮用户记住大小事件。需要查询时，通过精准的语义理解，能让智能机器人准确地得知用户意图，从而给出相应答案。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的用于生成备忘录的方法的总体流程图；

图2显示了用以存储备忘录事项的分类数据库的组成结构示意图；

图3-图5共同显示了根据本发明的另一个实施例的用于生成、查询、修改备忘录的方法的详细流程图；

图6显示了根据本发明的实施例智能机器人中具有后台数据库时的信号流程图；

图7显示了根据本发明的一个实施例通过云端进行语义解析和备忘录生成、查询以及修改的信号流程图，以及

图8显示了根据本发明的一个实施例的智能机器人的结构框图，其中该智能机器人具有本地数据库。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

实施例一

如图1所示，其中显示了根据本发明的一个实施例的基于语音识别来生成备忘录的方法的总体流程图。

备忘录的方法适用于多种平台，以及，人形机器人的应用及功能支持。基于语音识别来生成备忘录的方法可以机器人的应用实现，所述应用可搭载于机器人操作系统中，或为机器人某种模式下所实现的功能。

图1中，方法步骤开始于S101，智能机器人接收来自用户的多模态输入信息。本发明中，用户输入的多模态输入信息至少包括语音信息。通过智能机器人上设置的声音接收器来接收这些语音。在一个例子中，声音接收器的实例是麦克风，或其他收音良好的设备比如MIC阵列。

接下来，在步骤S102中，智能机器人解析接收到的多模态输入信息，并提取其中的语音数据。然后在步骤S103中，将用户所发出的语音转换为文本数据。一般地，智能机器人通过内置的自动语音识别应用(Automatic Speech Recognition，简称ASR技术)来将用户说出的话语变成文本来进行机器的识别。

然后，需要通过自然自然语言处理技术(Natural Language Processing，简称NLP)来对这些文本数据进行语义理解。从语义理解的意图结果中，抓取进入备忘录的功能的关键词，步骤S104。进入备忘录的功能的关键词包括是进入查询备忘事项的关键词、还是生成一条新的备忘事项的关键词、或者是修改原有备忘录事项的关键词。比如，当用户说出“图灵记一记”这一词语的时候，智能机器人便知道，需要将用户接下来提供的信息作为备忘录事项保存到指定位置中。当用户说出“图灵查一查”这一词语的时候，智能机器人便知道，需要将用户接下来提供的信息作为查找备忘录事项的检索词。按照本发明公开的存储备忘录事项的特点，智能机器人通过语义解析出用户说出的其他信息中包含的备忘录事项应属于哪一分类，从而初步确定出该备忘事项所被保存的大致位置。然后再进一步进行特征比对，找到最精确地待查备忘事项。

在步骤S105中，智能机器人在关键词的触发下，开启备忘事项记录功能，输出备忘记录成功的信息。开启备忘事项记录功能后，需要向用户输出备忘录的请求确认多模态数据。然后，接收用户指示进入某一分类库的确认信息。记录该用户的备忘数据。

优选的是，在对文本数据进行语义解析时，提取出文本数据中包含的除关健词外的其他关键词作为特征项，并根据特征项辅以确认进入备忘录的某分类数据库中。

文本分析是指对文本的表示及其特征项的选取。文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。

由于文本是非结构化的数据，要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。目前人们通常采用向量空间模型来描述文本向量，但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维，那么这个向量的维度将是非常的大。

这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销，使整个处理过程的效率非常低下，而且会损害分类、聚类算法的精确性，从而使所得到的结果很难令人满意。因此，必须对文本向量做进一步净化处理，在保证原文含义的基础上，找出对文本特征类别最具代表性的文本特征。为了解决这个问题，最有效的办法就是通过特征选择来降维。本发明在对文本进行解析时，对特征项进行了降维操作。例如，对于语句“大表妹的生日是8月8日，小表妹的生日是6月6日”，智能机器人将该语句分割成逐个的词以后，形成“表妹，生日”，“大，8月8日，小，6月6日”两个二维和三维数组来进行保存，而非“表妹，大，生日，8月8日”，“表妹，小，生日，6月6日”两个四维数组。

如图2所示，其中显示了根据本发明的备忘事项分类库的示意图。该分类库包含以下所列的至少一项或多项的组合：

日常生活类，其进一步包括：

旅游备忘、生日备忘、地址备忘；

工作类，进一步包括：

会议备忘、出差备忘、单据备忘；

机密类，进一步包括：

账户密码。

比如，在日常生活类的数据表中，又包括旅游备忘子表，生日备忘子表以及地址备忘子表。在工作类的数据表中，包括会议备忘子表，出差备忘子表，单据备忘子表。在机密类的数据表中，主要包括用户的银行密码，登陆某网站的登录密码。本发明的备忘事项的数据分类并不局限于上述例子，还可以有其他很多分类。这些分类数据表共同构成分类数据库200，如图2所示。

在一个实施例中，根据本发明的用于生成备忘录的方法，判断所述关键词是否包含修改备忘事项记录的关键词，如果是，则向用户输出修改备忘录事项记录成功的多模态数据。

根据本发明的原理，针对生成一条备忘事项记录的示例是，例如，用户说出“图灵记一记”这一关键词后，智能机器人会立刻响应，并回答：“你说吧”。用户接下来告知智能机器人一条信息是“大表妹的生日是6月6号，小表妹的是8月8号”。智能机器人接收该语句，并在内部进行语义解析，分析出该备忘事项记录与日期、生日类有关，因此会对该记录进行标记，并提取出其他特征项，例如大表妹对应6月6日，小表妹对应8月8日。按照这种关系将这些特征项用结构化的形式重组，并保存在事先分配好的关于生日类的数据存储器中，然后，再由智能机器人输出：“好的，我已经记住了”的语音。这样，不仅体现出用户与智能机器人完整自然的语言交互，而且用户需要保存的重要信息，也通过有趣地交互而记忆到了智能机器人中。

此外，用户还可以通过与智能机器人的语言交互，对日程或记事中的备忘事项的完成状态进行标识，使得用户以后查询时，智能机器人能容易地区分未办事项、已办事项，并进行告知。

用户需要查询智能机器人中的某备忘事项时，可以说出例如“图灵查一查”这一关键词，然后，智能机器人会即刻响应，并回答“你想知道什么？”听到用户说出“表妹的生日什么时候啊？”的语句时，便在数据库中搜索。由于根据语义解析，该语句中的各个特征项指向日常生活类。因此，智能机器人首先会到日常生活类的特定分区中检索，有关日期的记录。在查找日期的备忘事项时，“表妹”这一特征项比较重要，因此搜索比对时以该特征项进行逐个的比对。当在一条备忘事项记录中的特征数组中找到了表妹时，接下来就寻找有关日期的特征项。然后也找到了“大”对应“6月6日”，“小”对应的“8月8日”，智能机器人会通过进一步重组这些结构化的被分割的特征项，按照NLP的规则添加辅助特征项，最后得到完整的句子。最终，会通过智能机器人的TTS应用利用扬声器播放出来。比如，“帮你查到了，大表妹的生日是6月6号，小表妹的生日是8月8号”。

当用户需要修改备忘事项时，可能还需要使用同样的关键词，比如“图灵记一记”。

以下是为解释本发明所提供的一个场景举例：

用户：“图灵记一记，我的知乎密码是123456。”

设备：“好的！记住了。”

过段时间用户修改了密码。

用户：“图灵记一记，我的知乎密码改成了654321。”

设备：“好的！记住了。”

某天用户想不起来知乎密码

用户：“图灵查一查，我知乎密码多少？”

设备：“帮你查到了如下答案：你的知乎密码是123456，你的知乎密码是654321。”

用户：“想起来了，原来我改过密码，谢谢图灵！”

此示例将本发明的修改备忘录和查询备忘录的功能都是用上了。通过精确的语义理解，智能机器人帮用户快速地查到了密码。

由于密码属于机密类备忘信息，因此无论是查询，修改，以及增加均需要额外的验证过程。后面将会介绍验证的步骤。

实施例二

如图3-5所示，其中显示了根据本发明的另一个实施例的用于生成、查询、修改备忘录的方法的详细流程图。

在图3中，方法开始于步骤S301，首先根据收到的信息进行用户身份验证。在通过验证后，智能机器人将用户发出的语音转换为文本数据，步骤S302。

接下来，在步骤S303中，智能机器人通过云端对文本数据进行自然语言理解，形成包含了各个词语作为元素的语句特征参量。然后，判断该语句特征参量中是否包含进入查询备忘事项、增加备忘事项、修改备忘事项的关键词。如果语句特征参量中包括的第一关键词是用以引导进入增加备忘事项记录的功能的关键词，那么按照结构化数据形式重组语句特征参量中的其它分割词以形成一条备忘事项记录，并保存在对应的数据表中，步骤S304。例如，“大表妹的生日是6月6号，小表妹的是8月8号”重组为“表妹，生日”，“大，8月8日，小，6月6日”进行存储。

在对文本数据进行语义解析时，采用提取出文本数据中的特征参量进行标记等方式对该条备忘事项记录进行分类。比如，针对表妹生日的备忘事项、针对知乎密码的备忘事项将通过语义解析被分配到不同的数据表中存储。

如图4所示，其中显示了用智能机器人查询备忘事项的具体流程。步骤S401，确认进入查询备忘事项功能，确认查询备忘事项属于哪一类，步骤S402。接下来，步骤S403，在具体的分类下查找对应的备忘事项，并通过语音输出查询结果告知用户备忘事项，步骤S404。

如图5所示，其中显示了用智能机器人修改备忘事项的具体流程。步骤S501，确认语句特征参量中包括的关键词是用以引导进入修改备忘事项记录的功能的关键词，进入修改备忘事项功能。对其他关键词进行分析，判断所要修改的备忘事项属于哪一类，步骤S502。按照分类的结果来查询对应的备忘事项，步骤S503。接下来，步骤S504用当前输入的其他关键词中的一部分修改所查询到的备忘事项作为最新的备忘事项记录进行保存。

进一步地，如图6所示，其中显示了根据本发明的实施例智能机器人中具有后台数据库时的信号流程图。

通过指定口令进入此应用后，用户可用语音直接说出需要记住的备忘事项，通过ASR将语音转换成文字，并进入智能机器人的后台语义理解流程，获取用户真实意图，并在与用户确认正确理解了意图之后，将所要记住的备忘事项存入后台数据库。

用户需要查询时，通过指定的口令进入备忘录应用，说出想查询的问题，后台进行语义理解再次解析用户意图，在后台数据库中，和已录入的事件进行匹配，按匹配度从高到低输出相应文本答案，通过TTS应用(Text to Speech从文本到语音)由智能机器人播报出来。

在一个例子中，比如，用户说出“图灵记一记，出了小区门左转，过十字路口再右转，有一个老人家摆摊修鞋。”设备：“好的，记住了。”然后重复用户刚说出的这句话，在用户确认的情况下，智能机器人将该文本数据以一条记录的方式保存下来，并用“修鞋地址”作为该条记录的索引项。某天，用户家里的鞋坏了，用户想不起以前修鞋的地址，便会向智能机器人发出询问，“图灵查一查”，“在哪儿能修鞋？”这时，智能机器人通过搜索后台数据库对具有修鞋地址这一索引项的记录进行查找，然后返回“帮你查到了，出了小区门左转，过十字路口再右转，有一个老人家摆摊修鞋。”最后通过TTS应用向用户播放出来。

在本例中，后台服务器是智能机器人的一部分，其包括数据库并进行语义解析。在增加备忘事项时，并不进行语义解析，而是在查询时需要解析用户的问题，从而到数据库中查找答案数据，进行回答。

此外，如图6所示，本例中无论是进行备忘录输入还是进行查询，均需要口令来验证用户的身份。本发明并不限于口令这样的验证信息，还可以是其他生物信息，比如声纹等。因此，通过本发明实现的备忘录应用软件，其还具备安全性，即不登录验证用户身份，用户无法查询修改以及录入备忘事项。

实施例三

图7显示了用户、智能机器人与云端服务器之间进行三方通信的实施例。

用户通过发送多模态输入信息来发起第一次通信。该信息中包含语音。本例中，该信息为增加备忘的语音信息1。智能机器人接收该语音信息1，并通过ASR转换为文本数据1，智能机器人通过通信方式将该对话的文本数据1发送给云端服务器。云端服务器接收到文本数据1后，便进行语义理解。将语义理解后的备忘事项增加到云端数据库中。并向用户返回保存成功的确认消息。至此，第一轮三方通信结束。

用户通过发送多模态输入信息2来发起第二次通信。本例中，该信息为查询备忘的语音信息2。智能机器人接收该语音信息2，并通过ASR转换为文本数据2，智能机器人通过通信方式将该对话的文本数据2发送给云端服务器。云端服务器接收到文本数据2后，便进行语义理解。根据语义理解的结果查询数据库中的备忘事项记录。查询成功后，将结果返回。由云端服务器将备忘事项记录发送给智能机器人。然后，通过智能机器人中的TTS播放该备忘记录。

用户通过发送多模态输入信息3来发起第三次通信。本例中，该信息为修改备忘的语音信息3。智能机器人接收该语音信息3，并通过ASR转换为文本数据3，智能机器人通过通信方式将该对话的文本数据3发送给云端服务器。云端服务器接收到文本数据3后，便进行语义理解。根据语义理解的结果查询数据库中的备忘事项记录。查询成功后，将查询到的位置返回，然后用语义解析的其他特征数据项替换该位置中的原备忘事项记录。由云端服务器将修改成功的确认消息发送给智能机器人。然后，通过智能机器人中的TTS播放确认语音。

如图8所示，其中显示了根据本发明的智能机器人800的结构框图。该智能机器人800包括：

声音接收器801，其用以接收用户发出的语音模拟信号；

模数/数模转换器803，其与声音接收器801连接，用以将语音模拟信号转换为音频数字信号或者在播放声音时，用以将音频数字信号转换为语音模拟信号输出给麦克风或者扬声器802。麦克风或者扬声器802用以接收数模在转换器803的模拟信号，并进行语音输出。

智能机器人800的核心组成包括中央处理单元804、存储器805。存储器805除了存储程序和运行程序所必需的数据之外，还作为存储备忘事项的本地数据库。本地数据库805，其用以存储语义解析所需要的语料信息，以及用以存储备忘事项数据表。

当用以实现上述本发明的功能的程序加载在存储器中后，通过中央处理器804的运行，本发明的备忘录的应用便可以实现。

此外，本发明的智能机器人还包括通信接口806，其用以与云端服务器进行通信以传送要进行语义解析所需要的文本数据以及接收查询到的备忘事项记录的文本数据。该通信接口806可以是任何遵照标准通信协议的接口，并不局限。

本发明因此提供了一种个人助理系统，其包括如上所述的智能机器人和与该智能机器人通信的远端服务器。

远端服务器用以：

接收智能机器人发送的文本数据；

解析文本数据以形成语句特征参量；

判断语句特征参量中包括的第一关键词是否是用以引导进入增加备忘事项记录的功能的关键词；

按照结构化数据形式重组语句特征参量中的其它关键词以形成一条备忘事项记录，并保存在对应的数据表中；

向智能机器人发送保存成功的通知。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于生成备忘录的方法，其特征在于，所述方法包括以下步骤：

接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；

解析所述多模态输入信息，提取语音数据；

将用户所发出的语音转换为文本数据；

对所述文本数据进行语义理解，从语义理解的意图结果中，抓取进入备忘录的功能的关键词；

开启备忘事项记录功能，输出备忘记录成功的信息。

2.根据权利要求1所述的用于生成备忘录的方法，其特征在于，在对所述文本数据进行语义解析时，提取出所述文本数据中包含的除关健词外的其他关键词作为特征项，并根据所述特征项辅以确认进入备忘录的某分类数据库中。

3.根据权利要求2所述的用于生成备忘录的方法，其特征在于，所述分类库包含以下所列的至少一项或多项的组合：

日常生活类，其进一步包括：

旅游备忘、生日备忘、地址备忘；

工作类，进一步包括：

会议备忘、出差备忘、单据备忘；

机密类，进一步包括：

账户密码。

4.如权利要求1所述的用于生成备忘录的方法，其特征在于，判断所述语句特征参量中包括的关键词是否是用以引导进入查询备忘事项记录的功能的关键词，如果是，则向用户输出备忘录的请求确认多模态数据；

接收用户指示进入某一分类库的确认信息；

记录该用户的备忘数据。

5.根据权利要求1-4中任一项所述的用于生成备忘录的方法，其特征在于，判断所述关键词是否包含修改备忘事项记录的关键词，如果是，则向用户输出修改备忘录事项记录成功的多模态数据。

6.根据权利要求4所述的用于生成备忘录的方法，其特征在于，所述备忘数据为：

按照结构化数据形式的备忘事项记录，所述备忘事项记录可以包含所述关键词。

7.一种智能机器人，其特征在于，包括：

声音接收器，接收用户发出的语音模拟信号；

模数/数模转换器，其与所述声音接收器连接，用以将所述语音模拟信号转换为音频数字信号；

存储器；

中央处理单元，其与所述存储器连接，用以执行其上所存储的程序，所述程序在被执行时用以完成如权利要求1-5中任一项所述的方法步骤；

麦克风，用以将音频数据通过数模转换器转换成模拟数据，并进行语音输出。

8.如权利要求7所述的智能机器人，其特征在于，还包括本地数据库，其用以存储语义解析所需要的语料信息，以及用以存储备忘事项数据表。

9.如权利要求7所述的智能机器人，其特征在于，还包括通信接口，其用以与远端服务器进行通信以传送要进行语义解析所需要的文本数据以及接收查询到的备忘事项记录的文本数据。

10.一种个人助理系统，其特征在于，所述系统包括：

如权利要求9所述的智能机器人；

远端服务器，其用以：

接收所述智能机器人发送的文本数据；

对所述文本数据进行语义理解，从语义理解的意图结果中，抓取进入备忘录的功能的关键词；

开启备忘事项记录功能，输出备忘记录成功的信息。