CN106933807A - 备忘录事件提醒方法及系统 - Google Patents

Abstract

本发明公开了一种备忘录事件提醒方法及终端，其中，所述方法包括如下步骤：接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；解析所述多模态输入信息，提取语义信息；生成与所述语义信息对应的文本信息，对所述文本信息进行语义理解，并基于语义理解后的结果确定用户意图；针对用户意图所指示的备忘查询目的，从备忘录数据库查找匹配的目标备忘事件信息；将所述目标备忘事件信息以多模态方式向所述用户输出。本发明能够对用户的目标备忘事件进行多模态查询搜索，提高了系统的智能性，改善了用户体验。

Description

备忘录事件提醒方法及系统

技术领域

本发明涉及通信领域，尤其涉及一种备忘录事件提醒方法及系统。

背景技术

随着现代社会生活和工作节奏的变快，现代人的日程安排就显得非常紧张，有时候甚至因为太忙，把该做的事情给忘掉了，于是出现了备忘录系统来提醒人们需要处理的事情。现有的备忘录系统一般都只能以日期、时间作为判别依据，即当到达使用者预先设定之日、设定时间时提醒人们办理相关事项。但是，现有技术在形式上比较单一，无法实现备忘事件的搜索，智能性差，给用户带来了不好的体验。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够对用户的目标备忘事件进行多模态查询搜索的技术方案。

为了解决上述技术问题，本申请的实施例首先提供了一种备忘录事件提醒方法，该方法包括如下步骤：接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；解析所述多模态输入信息，提取语义信息；生成与所述语义信息对应的文本信息，对所述文本信息进行语义理解，并基于语义理解后的结果确定用户意图；针对用户意图所指示的备忘查询目的，从备忘录数据库查找匹配的目标备忘事件信息；将所述目标备忘事件信息以多模态方式向所述用户输出。

优选地，在从备忘录数据库查找匹配的目标备忘事件信息的步骤中，包括：以语义理解的切词结果中的至少一个关键词为索引从备忘录数据库中查找目标备忘事件信息。

优选地，该方法还包括：若语义理解的切词结果中包括事件提醒的时间信息，则抽取与所述时间信息对应的备忘事件进行输出。

优选地，所述关键词为名词词汇与疑问词的组合，或者，为名词词汇、动词词汇与疑问词的组合。

优选地，在解析所述多模态输入信息的步骤中，包括：解析获取的视觉采集数据，得到环境识别信息、人物肢体信息和/或人脸信息。

优选地，还包括：根据所识别的环境识别信息、人物肢体信息和/或人脸信息，则主动推送与上述信息所匹配的备忘事件信息

另外，本发明实施例还提供了一种备忘录事件提醒系统，所述系统包括：多模态信息接收单元，其接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；多模态信息解析单元，其解析所述多模态输入信息，提取语义信息；用户意图确认单元，其生成与所述语义信息对应的文本信息，对所述文本信息进行语义理解，并基于语义理解后的结果确定用户意图；目标备忘事件查找单元，其针对用户意图所指示的备忘查询目的，从备忘录数据库查找匹配的目标备忘事件信息；多模态信息发送单元，其将所述目标备忘事件信息以多模态方式向所述用户输出。

优选地，所述目标备忘事件查找单元，其进一步以语义理解的切词结果中的至少一个关键词为索引从备忘录数据库中查找目标备忘事件信息，所述关键词为名词词汇与疑问词的组合，或者，为名词词汇、动词词汇与疑问词的组合。

优选地，所述目标备忘事件查找单元，其在语义理解的切词结果中包括事件提醒的时间信息时，抽取与所述时间信息对应的备忘事件进行输出。

优选地，所述多模态信息解析单元，其进一步解析获取的视觉采集数据，得到环境识别信息、人物肢体信息和/或人脸信息；所述目标备忘事件查找单元根据所识别的环境识别信息、人物肢体信息和/或人脸信息，则主动推送与上述信息所匹配的备忘事件信息。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例的备忘录事件提醒方法，通过对用户发出的多模态输入信息进行解析、生成与之对应的文本信息，然后对文本信息进行语义理解确定用户意图，并以与该用户意图对应的关键词搜索备忘录数据库，从而实现查找匹配的目标备忘事件信息的功能。本发明实施例能够对用户的目标备忘事件进行多模态查询搜索，提高了系统的智能性，改善了用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1表示本申请实施例的备忘录事件提醒系统的概略结构图。

图2表示图1所示的系统的智能机器人1一侧的处理步骤。

图3表示图1所示的系统的云端服务器2一侧进行备忘录事件提醒的示例一的流程示意图。

图4表示图1所示的系统的云端服务器2一侧进行备忘录事件提醒的示例二的流程示意图。

图5表示图1所示的系统的云端服务器2一侧进行备忘录事件提醒的示例三的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

下面一边参照图1，一边对本发明的备忘录事件提醒系统的实施例进行说明。作为备忘录事件提醒系统的一个例子，可以为个人事务助理终端，也可以是安装了机器人操作系统的智能机器人，该机器人具备多模态数据交互功能。以下，以实现多模态交互及语义理解的机器人为例，来说明本发明的备忘录事件提醒系统。该备忘录事件提醒系统适用于多种平台，以及，人形机器人的应用及功能支持。另外，备忘录事件提醒系统可为机器人的应用，所述应用可搭载于机器人操作系统中，或为机器人某种模式下所实现的功能。

如图1所示，该备忘录事件提醒系统包括智能机器人1和云端服务器2。此处云端服务器2作为机器人1的云端大脑，使得机器人能够无限制地使用云平台的几乎任何资源，而不用考虑计算能力、存储能力、带宽、可靠性和安全性等问题，尽可能改善机器人的数据处理负担，提高运算速度，当然，将该云端服务器2的大部分功能转嫁到该机器人内部也是可行的。本例的智能机器人1包括多模态信息接收单元11、控制器10和备忘事件展示单元。多模态信息接收单元11，其接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；控制器10，其主要对多模态输入信息进行处理和解析提取语义信息；备忘事件展示单元，其对来自云端服务器2的经模式转换后的目标备忘事件信息进行多模态展示。

下面具体来说明该智能机器人1的各个部件的组成和功能。

再次参考图1，如图1所示，多模态信息接收单元11包括摄像机111、麦克风112和文本输入设备113等，另外还可以包括其他的信息输入设备，如扫描仪。摄像机111例如为将电荷耦合元件CCD(Charge-coupled Device)传感器或者互补金属氧化物半导体(CMOS)传感器用作摄像元件的结构。如此，摄像机111可以对于被摄体即用户表情、动作、所处环境等进行拍摄。另外，摄像机111不局限于视频摄像机，也可以是拍摄静止图像的装置。麦克风112为音频输入设备中的一种，可以为动圈式麦克风、MEMS麦克风和驻极体电容麦克风。其中，驻极体电容麦克风尺寸小、功耗低、价格低廉而且性能不错，因此采用这类麦克风作为该终端的声音传感器。文本输入设备113用来供用户输入文本信息，该文本输入设备113可以为键盘、触控屏等设备。优选地，上述这些设备与控制器10通过串行通信接口连接，将目标物理特征转换成电信号通过该串行通信接口传输至控制器10中。

如图1所示，控制器10主要包括多模态信息解析单元100和无线收发单元104。控制器10包括CPU、ROM和RAM。CPU执行了使多模态信息解析单元100动作的控制，ROM存储了实现该单元100功能所需要的软件，RAM用于软件执行时产生的数据的暂时存储和应用软件的存储等。在其他实施例中，CPU可以实现对服务器大部分功能的控制，进一步，ROM存储了实现备忘录事件提醒的控制所需要的软件和数据库。

首先说明多模态解析单元100。该单元100解析多模态输入信息，提取语义信息。如图1所示，该单元100包括图像处理单元101、声音处理单元102和文本处理单元103。图像处理单元101具备图像预处理功能、特征提取功能、决策功能和具体应用功能。图像预处理主要是对获取的视觉采集数据进行基本处理，包括颜色空间转换、边缘提取、图像变换和图像阈值化。特征提取主要提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息。决策主要是对特征信息，按照一定的决策策略分发给需要该特征信息的具体应用。具体应用功能实现人脸检测、人物肢体识别、运动检测和环境识别等功能。另外，图像处理单元101在完成具体功能实现之后，还根据识别结果提取语义信息。声音处理单元102采用语音识别技术将自然语音信息进行语言理解分析获取用户话语的语义信息。文本处理单元103主要实现文本预处理功能和文本转发功能。这些处理单元可以分别设置，也可以设置在同一个处理器中，此处不再赘述。其次，无线收发单元104将来自多模态信息解析单元100的解析后的语义信息通过无线通信链路30发送云端服务器(云平台)2，或经无线通信链路30从云端服务器2接收将目标备忘事件信息转换为不同模式的信息。

备忘事件展示单元包括显示器13和语音输出设备14等。显示器13可以选择液晶显示器，其控制显示屏以设定的页面显示模式显示接收到的备忘事件信息。语音输出设备14可以为喇叭，其将接收到的语音格式的信息以声音的方式输出给用户。

如图1所示，云端服务器2包括用户意图确认单元210、目标备忘事件查询单元220和多模态信息发送单元230这三大功能模块，下面分别说明这几个模块的具体功能。

对于用户意图确认单元210，其生成与语义信息对应的文本信息，对文本信息进行语义理解，并基于语义理解的结果确定用户意图。其中涉及到的语义理解方法可以使用基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法。在对文本信息进行切词之后，基于分词中的关键词确定用户的真实意图。例如，若文本信息是“你知道我的门钥匙放在哪里了吗”，通过分词确定用户意图是“查询门钥匙的收藏位置”。

接着说明目标备忘事件查找单元220。该单元220针对用户意图所指示的备忘查询目的，从备忘录数据库12查找匹配的目标备忘事件信息。目标备忘事件查找单元220，其进一步以语义理解的切词结果中的至少一个关键词为索引从备忘录数据库12中查找目标备忘事件信息，优选地，关键词可以为名词词汇与疑问词的组合，或者，为名词词汇、动词词汇与疑问词的组合，例如关键词“钥匙”+“哪里”，或者关键词“钥匙在哪里”。

多模态信息发送单元230一方面作为将目标备忘事件信息转换为不同模式的信息的转换模块，另一方面还作为通信控制单元，将转换后的信息通过例如无线通信链路30发送到机器人1的无线收发单元104中。该无线收发单元104将接收到的信息转发到备忘事件展示单元的对应设备(显示器13或语音输出设备14)中。

另外，在图1中，云端服务器2还包括备忘录数据库12，该数据库存储有用户之前录入的备忘事件信息，这些信息以特征项作为索引来存储在不同的分类数据包中，数据包可以包括日常生活类、工作类、机密类等数据内容，进一步日常生活类可以包含旅游备忘、生日备忘、地址备忘的内容；工作类进一步包括：会议备忘、出差备忘、单据备忘的内容；机密类进一步包括各种账户密码。

接下来对本实施方式涉及的进行备忘事件提醒的操作进行说明。下面先参考图2来说明机器人1一侧的处理流程。

如图2所示，控制器10对接收到的信息来源进行判断，若是通过通信接口接收到的来自摄像机111、麦克风112和文本输入设备113等的多模态输入信息(步骤S210)，则根据多模态输入信息的数据格式或特点判断输入信息的类型(步骤S220)，在确定类型后，控制器10将信息发送到对应的处理单元中，例如将图像数据发送到图像处理单元101进行图像解析操作(步骤S221)，将语音数据发送到声音处理单元102进行语音解析操作(步骤S222)，将文本数据发送到文本处理单元103进行文本处理操作。需要说明的是，为了提高用户的体验性，这些多模态输入信息中至少包含有语音信息。在经解析处理之后提取语义信息并通过无线收发单元104发送到云端服务器2中。若在步骤S200中判断是通过无线通信链路30接收到的目标备忘事件信息，则执行步骤S300，将接收到的目标备忘事件信息通过通信接口分发至对应的备忘事件展示设备中

在云平台2一侧的步骤流程请参考图3。用户意图确认单元210生成与语义信息对应的文本信息，采用分词方法进行文本信息的语义理解(步骤S230)。本例中，采用基于字符串匹配的分词方法，按照某种原则切取子串，判断子串与分词词库中的词条是否匹配，重复切词匹配步骤完成对该文本信息的处理得到语义理解的切词结果。根据语义理解的切词结果判断用户的意图是否为备忘事件查询目的(步骤S240)，在一个简单例子中就是判断该语义理解的切词结果中是否包含有例如“哪里”、“什么”之类的疑问代词，若包含这些词，则认为用户意图是有关备忘事件查询目的，否则执行其他操作。若用户意图是有关备忘事件查询目的，则目标备忘事件查找单元220提取语义理解的切词结果中的至少一个关键词(步骤S250)，以其为索引从备忘录数据库12中查找匹配的目标备忘事件信息。具体以遍历各个分类数据包的形式来查找目标事件(步骤S260)。然后，将遍历查找到的第一个目标备忘事件信息发送给多模态信息发送单元230。该单元230根据预设的转换模式，将目标备忘事件信息转换成设定多模态(步骤S270)发送给机器人1侧的无线收发单元104。控制器10将不同模态的目标备忘事件信息传输给对应的硬件，例如，将自然语言文本格式转换成语音格式传输给语音输出设备14，以语音方式输出给用户，或者将自然语言文本格式传输至显示器13以文本显示方式输出给用户。

由此，用户可以通过本发明实施例的个人事务助理终端实现备忘事件搜索，并通过多模态方式，例如语音交互方式播报给用户之前的备忘提醒事件。例如，用户向该终端发问：“我找不到备用钥匙了，你知道放在哪里吗？”，该终端通过后台算法进行数据分析、匹配和信息返回，前端播放返回的信息的语音数据并配合机器人的手势、表情输出以提醒用户：“帮你查到了，家里的备用钥匙放在兰花花盆下面了”。而且，该终端在查询备忘事件时，通过关键词来查询，这样在使用过程中，不要求用户语言表达的逻辑性，使用上更加便捷。

另外，考虑到用户在查询备忘事件时，会有不是针对具体事件来搜索的，而是以某一时间点来搜索提醒事件的情况，例如，用户发问：“星期日上午9点有什么事情需要处理？”的情况，则该云端服务器2进一步还可以参照图4所示的流程来实现另一功能。如图4所示，在步骤S250完成之后，目标备忘事件查找单元220判断语义理解的切词结果中是否还包括时间信息(步骤S310)，即判断语义理解的切词结果中是否有与时间词汇匹配的数据，若存在，则根据该时间信息生成索引项抽取出对应的备忘事件(步骤S320)，否则执行步骤S260。一般情况下，以用户提出的时间信息作为索引项来查找对应的备忘事件，考虑到用户提出的时间信息与已存储的备忘事件的时间提醒信息存在时间范围上的偏差，在以准确时间来查找备忘事件失败时，则将该语义理解的切词结果中的较大时间范围作为索引项。例如，该“星期日上午9点”的时间信息，在进行备忘事件抽取时，以“星期日上午”或“星期日”作为时间项，来提取这些时间段的备忘事件。最后执行步骤S270，将目标备忘事件信息转换成设定多模态通过无线通信链路30发送给机器人1的无线收发单元104。

在实际应用过程中，很可能查询出的目标备忘事件为多件，为了进一步提高用户体验，不将多件事件同时展示给用户，而从中选择一件级别较高的备忘事件发送给用户。该终端还可以参照图5所示的流程，在步骤S410中进一步判断查询到的事件是否为多件，若为多件，则判断是否有环境识别结果(步骤S420)，否则仍然执行步骤S270。环境识别结果是经图像处理单元101对采集的图像数据或环境声音数据进行解析得到的用户所处的环境，例如家庭(包括儿童看护场景等)、公司(办公备忘)、医疗(医患看护备忘)等。目标备忘事件查找单元220则根据事件录入时间与当前环境识别结果选择其中之一输出(步骤S421)，若不存在环境识别结果，则根据录入时间选择其中之一输出(步骤S421)，可以选择录入时间最早的一个事件进行输出，当然，在某些情况下，选择录入事件最晚的事件输出也可以。最后，执行步骤S270，将目标备忘事件信息转换成设定多模态发送给对应的硬件。

除了上面提到的个人事务助理终端所提供的备忘事件搜索功能以外，还能够在设置的提醒时间点提醒用户备忘事件，即当到达使用者预先设定之日、设定时间时提醒用户办理相关事项，而且，该终端还能够在超过提醒时间点的设定时间段再次提醒用户，询问用户是否完成该备忘事件，如此一来，能够使该终端更加智能和实用，提高用户的体验。

以及，根据所识别的环境识别信息、人物肢体信息和/或人脸信息，则主动推送与上述信息所匹配的备忘事件信息，如检测到用户在没有佩戴眼镜的情况下，在室内不断翻找的动作，则提供主动提醒“主人是否是在寻找眼镜，你的眼镜一般是睡前放置在床头柜上。”

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种备忘录事件提醒方法，该方法包括如下步骤：

接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；

解析所述多模态输入信息，提取语义信息；

生成与所述语义信息对应的文本信息，对所述文本信息进行语义理解，并基于语义理解后的结果确定用户意图；

针对用户意图所指示的备忘查询目的，从备忘录数据库查找匹配的目标备忘事件信息；

将所述目标备忘事件信息以多模态方式向所述用户输出。

2.根据权利要求1所述的方法，其特征在于，在从备忘录数据库查找匹配的目标备忘事件信息的步骤中，包括：

以语义理解的切词结果中的至少一个关键词为索引从备忘录数据库中查找目标备忘事件信息。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

若语义理解的切词结果中包括事件提醒的时间信息，则抽取与所述时间信息对应的备忘事件进行输出。

4.根据权利要求2所述的方法，其特征在于，

所述关键词为名词词汇与疑问词的组合，或者，为名词词汇、动词词汇与疑问词的组合。

5.根据权利要求1所述的方法，其特征在于，在解析所述多模态输入信息的步骤中，包括：解析获取的视觉采集数据，得到环境识别信息、人物肢体信息和/或人脸信息。

6.根据权利要求5所述的方法，其特征在于，还包括：根据所识别的环境识别信息、人物肢体信息和/或人脸信息，主动推送与上述信息所匹配的备忘事件信息。

7.一种备忘录事件提醒系统，所述系统包括：

多模态信息接收单元，其接收来自用户的多模态输入信息，所述多模态输入信息至少包括语音数据；

多模态信息解析单元，其解析所述多模态输入信息，提取语义信息；

用户意图确认单元，其生成与所述语义信息对应的文本信息，对所述文本信息进行语义理解，并基于语义理解后的结果确定用户意图；

目标备忘事件查找单元，其针对用户意图所指示的备忘查询目的，从备忘录数据库查找匹配的目标备忘事件信息；

多模态信息发送单元，其将所述目标备忘事件信息以多模态方式向所述用户输出。

8.根据权利要求7所述的系统，其特征在于，

所述目标备忘事件查找单元，其进一步以语义理解的切词结果中的至少一个关键词为索引从备忘录数据库中查找目标备忘事件信息，所述关键词为名词词汇与疑问词的组合，或者，为名词词汇、动词词汇与疑问词的组合。

9.根据权利要求7所述的系统，其特征在于，

所述目标备忘事件查找单元，其在语义理解的切词结果中包括事件提醒的时间信息时，抽取与所述时间信息对应的备忘事件进行输出。

10.根据权利要求7～9任一项所述的系统，其特征在于，

所述多模态信息解析单元，其进一步解析获取的视觉采集数据，得到环境识别信息、人物肢体信息和/或人脸信息；

所述目标备忘事件查找单元根据所识别的环境识别信息、人物肢体信息和/或人脸信息，则主动推送与上述信息所匹配的备忘事件信息。