CN105301997B - 基于移动机器人的智能提醒方法和系统 - Google Patents

Abstract

本发明涉及基于移动机器人的智能提醒方法，包括以下步骤：获取留言；通过语音识别技术和视觉识别技术对所述留言进行分析，确定提醒对象、提醒内容、提醒触发时机，并进行存储；当提醒触发时机到来时，机器人开始移动寻找提醒对象；通过图像检测模块检测当前目标是否为人脸图像；通过一判断模块确认当前目标为活的人脸；将当前目标的图像信息与留言中的提醒对象的图像信息进行对比，判断当前目标是否为提醒对象，如果当前目标是提醒对象，机器人播放留言内容。

Description

基于移动机器人的智能提醒方法和系统

技术领域

本发明涉及移动机器人领域，特别涉及一种基于移动机器人的智能提醒方法和系统。

背景技术

目前，人们常用的留言提醒方式是采用记事本或者手机设定闹钟提醒。这些提醒方式简单、原始。采用记事本的方式需要事先书写，过程比较麻烦，且必须放在妥当的位置，以供自己或他人能及时查看，因无法在恰当的时间与地点给人提醒，所以这种留言方式成功率不高。

随着电子产品的普及性发展，人们渐渐习惯使用手机等手持电子产品进行留言提醒，在手机上设置留言提醒功能，只能对手机持有者提醒，无法提醒他人；另外当手机忘记放在身边时，又往往会错过了提醒的时间。

总而言之，当前利用手机等电子产品进行留言提醒的方式比较呆板，不够灵活。

发明内容

有鉴于此，本发明提供一种基于移动机器人的智能提醒方法和装置。

一种基于移动机器人的智能提醒方法，包括以下步骤：

步骤1，机器人获取留言；

步骤2，机器人通过语音识别技术和视觉识别技术对所述留言进行分析，确定提醒对象、提醒内容、提醒触发时机，并进行存储；

步骤3，当提醒触发时机到来时，机器人开始移动寻找提醒对象；

步骤4，通过图像检测模块检测当前目标是否为人脸图像，如果当前目标非人脸图像，转入步骤3继续寻找提醒对象；如果当前目标是人脸图像，调整机器人图像采集模块的拍摄角度，使得当前目标处于图像采集模块视频图像的中心位置，获取当前目标的距离D，同时获取当前目标的温度T；根据T_d＝f(T,D)，获得经过距离修正的真实人脸表面温度T_d；

步骤5，通过一判断模块确认当前目标为活的人脸，判断条件为：Tmin<T_d<Tmax，如果满足该条件，确认当前目标为活的人脸，如果不满足该条件，转入步骤3继续寻找提醒对象；

步骤6，将当前目标的图像信息与留言中的提醒对象的图像信息进行对比，判断当前目标是否为提醒对象，如果当前目标是提醒对象，机器人播放留言内容；如果当前目标不是提醒对象时，转入步骤3继续寻找提醒对象。

优选地，所述机器人通过麦克风获取语音留言内容，通过摄像头获取录像或人脸图像，通过红外温度传感器获取目标体温，通过网络模块获取天气、交通、节假日等提醒信息。

优选地，所述提醒触发时机包括到达提醒时间，提醒对象出现，或者某件事情发生。

优选地，所述播放留言内容设置为连续播放或间隔一定时间重复播放，在收到提醒对象的确认指令后停止播放。

优选地，所述机器人获取留言的方式包括通过人机交互的方式或通过网络。

一种基于移动机器人的智能提醒系统，包括：

留言获取模块，包括用于获取语音的麦克风、用于获取录像或人脸图像以及目标距离的摄像头、用于获取目标体温的红外温度传感器；

留言分析模块，包括语音识别单元、视觉识别单元以及存储单元，所述语音识别单元用于分析语音留言，所述视觉识别单元用于分析视觉或录像留言，所述存储单元用于存储经过分析的留言内容，包括提醒内容、提醒对象以及提醒时机；

移动驱动模块，用于驱动机器人移动寻找提醒目标；

人脸检测模块，用于判断当前目标是否为人脸；

活的人脸检测模块，用于判断当前目标是否为活的人脸；

提醒对象判断模块，用于判断当前目标是否为提醒对象；

提醒模块，用于向提醒对象播放提醒内容。

与现有技术相比，本发明具有以下优点：

首先，本发明基于移动机器人的智能提醒方法，用于家庭服务机器人时，可以多个家庭成员共用一个机器人进行留言提醒，在机器人系统中预先存储各个家庭成员的人脸图像信息，针对不同的家庭成员，机器人可以识别不同人的身份，向其转达留言内容。

其次，机器人处于多个人存在的环境中时，可以通过实时驱动机器人移动寻找目标提醒对象，通过人脸检测模块、活的人脸判断模块、提醒对象判断模块等共同作用，快速、准确找到提醒对象，从而执行提醒功能。

附图说明

图1是本发明利用基于移动机器人的智能提醒系统的用于家庭服务机器人的结构示意图。

图2是本发明基于移动机器人的智能提醒系统的模块结构示意图。

图3是本发明基于移动机器人的智能提醒方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施方案，对本发明进行详细说明。应当理解，此处所描述的具体实施方案仅用以解释本发明，并不用于限定本发明。

图1给出了本发明的基于移动机器人的智能提醒系统的一个实施例，其用于一家用服务机器人中。该家用服务机器人包括头部10、机身20和底盘30。头部10可旋转地设置在机身20上，底盘30的底部设置有万向轮轮31，通过万向轮的移动使得机器人整体移动。

如图2所示，本发明的一种基于移动机器人的智能提醒系统，包括留言获取模块110，包括用于获取语音的麦克风111、用于获取录像或人脸图像以及目标距离的深度摄像头112、用于获取目标体温的红外温度传感器113。结合图1，留言获取模块110设置在机器人的头部10上，即，麦克风111、深度摄像头112、红外温度传感器113设置在机器人头部10上。

另外，除了机器人通过人机交互的方式，获取语音或录像形式的留言之外，也可以通过网络获取当地的天气、交通、节假日等信息，根据预先设定，机器人主动根据这些信息提供恰当的留言提醒。因此，留言获取模块110也可以包括网络模块114例如WIFI，通过网络获取所需要的信息。

留言分析模块120，包括语音识别单元121、视觉识别单元122以及存储单元123，所述语音识别单元121用于分析语音留言，所述视觉识别单元122用于分析视觉或录像留言，所述存储单元123用于存储经过分析的留言内容，包括提醒内容、提醒对象以及提醒时机。

可以理解，存储单元123也可以作为一个身份信息库，可以将家庭成员或其他有关人员的人脸信息预先录入。例如，本发明系统用于家用服务机器人时，家庭成员的身份信息可以预先通过拍摄人脸图像，将人脸的特征信息记载到存储单元123中。

移动驱动模块130，一方面用于驱动机器人整体移动，即通过控制机器人底盘30的万向轮轮31的运动使机器人整体按照所指示的方向移动。另一方面，用于驱动机器人头部10旋转，以便调整深度摄像头112拍摄的角度。

人脸检测模块140，用于判断当前目标是否为人脸。人脸检测模块140是要将人的特点和其他物体的特点区分开来，通过人脸图像特征的检测可以将人脸和其他动物、家具、家电等物体区别开来。

活的人脸检测模块150，用于判断当前目标是否为活的人脸。通过体温信息的检测，将体温信息和上述的人脸检测结果信息综合起来，判断当前目标是否为活的人脸。

提醒对象判断模块160，用于判断当前目标是否为提醒对象。将当前的活的人脸信息和存储单元123中所存储的提醒对象的人脸信息进行对比，如果二者匹配，则判断当前目标是提醒对象。

提醒模块170，用于向提醒对象播放提醒内容。经过提醒对象判断模块160确认当前目标是提醒对象后，启动提醒模块170播放提醒内容。播放提醒内容可以设置为连续播放，或间隔一定时间重复播放，在收到提醒对象的确认指令后停止播放，且该留言信息自动从任务栏中删除。

如图3所示，本发明提供一种基于移动机器人的智能提醒方法，包括以下步骤。

步骤1，机器人通过人机交互的方式，获取语音或录像形式的留言。

例如，家庭成员中，妈妈直接对机器人说话，“告诉淘淘(儿子的小名)，放学回家后先把作业做完，晚上等我回来一起出去吃饭，如果饿的话先去冰箱找点吃的填填肚子。”

步骤2，机器人通过语音识别技术和视觉识别技术对所述留言进行分析，确定提醒对象、提醒内容、提醒触发时机，并进行存储。可以理解，对于所确定的提醒对象、提醒内容、提醒触发时机，机器人分析出来之后，生成一段语音或文字等形式，待留言人确认之后进行存储。而不是，对于任何留言不经过留言人确认直接存储，以避免留言失误或错误。

例如，机器人收到妈妈的留言指令后，进行语音识别，识别结果是：提醒对象是淘淘(淘淘的图像信息已经预先存储在机器人中)，提醒的时机是：淘淘放学回到家中，提醒内容是“放学回家后先把作业做完，晚上等我回来一起出去吃饭，如果饿的话先去冰箱找点吃的填填肚子”；对于该分析结果，机器人通过语音回复妈妈：“收到一条留言指令，提醒对象为淘淘，提醒时机为放学回到家中，提醒内容为：放学回家后先把作业做完，晚上等我回来一起出去吃饭，如果饿的话先去冰箱找点吃的填填肚子。是否确认？”当妈妈通过语音直接说“确认”或者妈妈通过按键点击“确认”键后，机器人将上述留言信息进行存储。

步骤3，当提醒触发时机到来时，机器人开始移动寻找提醒对象。

步骤4，通过人脸检测模块140检测当前目标是否为人脸图像，如果当前目标非人脸图像，转入步骤3继续寻找提醒对象；如果当前目标是人脸图像，调整机器人图像采集模块的拍摄角度，使得当前目标处于图像采集模块视频图像的中心位置，获取当前目标的距离D，同时获取当前目标的温度T；根据T_d＝f(T,D)，获得经过距离修正的真实人脸表面温度T_d。

步骤5，通过活的人脸判断模块150判断当前目标为活的人脸，判断条件为：Tmin<T_d<Tmax，如果满足该条件，确认当前目标为活的人脸，如果不满足该条件，转入步骤3继续寻找提醒对象。

步骤6，利用提醒对象判断模块160将当前目标的图像信息与留言中的提醒对象的图像信息进行对比，判断当前目标是否为提醒对象，如果当前目标是提醒对象，机器人播放留言内容；如果当前目标不是提醒对象时，转入步骤3继续寻找提醒对象。

步骤3-6结合起来举例说明。例如，当淘淘放学回到家中，机器人通过视觉识别技术，例如通过深度摄像头112捕捉到淘淘的人脸图像，经过人脸检测模块140、活的人脸判断模块150判断后，利用提醒对象判断模块160将当前淘淘的人脸图像与存储单元123中存储的提醒对象的人脸图像信息进行对比，确认提醒对象之后，提醒模块170播放提醒内容。播放方式可以连续或间隔一段时间重复播放。例如，可以设定，如果十秒内未收到淘淘的反馈，提醒内容将重复播放。如果淘淘回复：“好的，我知道了”，机器人确认提醒内容已正确转达，并从系统中删除该留言记录。

另外，除了机器人通过人机交互的方式，获取语音或录像形式的留言之外，也可以通过网络获取当地的天气、交通、节假日等信息，根据预先设定，机器人主动根据这些信息提供恰当的留言提醒。例如，留言获取模块110中设置网络模块114，机器人通过网络模块114获取各种提醒内容。下面以另一个具体实施例来说明。提供多个上述家庭机器人，所有机器人连上网络后注册到一台服务器上，服务器根据机器人的ID以及IP地址识别、区分各个机器人以及其所在的城市。根据用户的设置，可以对指定机器人设置天气、交通、节假日等提醒功能。

当主人想让家用服务机器人对自己或家庭成员进行天气变化提醒时，使得家用服务机器人通过网络模块114连接服务器，并通过服务器获取天气情况，从而作出相应提醒。

例如，早晨主人在换鞋准备出门上班，机器人通过网络获取今天会下雨，会起过来对你说：“主人，今天会下雨，请别忘了带伞啊。”你回复：“我知道了，谢谢提醒。”机器人将离开你去充电或者做其他事情。如果你回复：“我知道了，我上班很近不需要伞，下次不要再提醒我了。”机器人会说：“遵命，主人”。然后记住你的习惯，以后将不会再提醒你下雨带伞。

与现有技术相比，本发明具有以下优点：

首先，本发明基于移动机器人的智能提醒方法，用于家庭服务机器人时，可以多个家庭成员共用一个机器人进行留言提醒，在机器人系统中预先存储各个家庭成员的人脸图像信息，针对不同的家庭成员，机器人可以识别不同人的身份，向其转达留言内容。

其次，机器人处于多个人存在的环境中时，可以通过实时驱动机器人移动寻找目标提醒对象，通过人脸检测模块、活的人脸判断模块、提醒对象判断模块等共同作用，快速、准确找到提醒对象，从而执行提醒功能。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于移动机器人的智能提醒方法，包括以下步骤：

步骤1，机器人获取留言；

步骤2，机器人通过语音识别技术和视觉识别技术对所述留言进行分析，生成语音或文字，确定提醒对象、提醒内容、提醒触发时机，并进行存储；

步骤3，当提醒触发时机到来时，机器人开始移动寻找提醒对象；

步骤4，通过图像检测模块检测当前目标是否为人脸图像，如果当前目标非人脸图像，转入步骤3继续寻找提醒对象；如果当前目标是人脸图像，调整机器人图像采集模块的拍摄角度，使得当前目标处于图像采集模块视频图像的中心位置，获取当前目标的距离D，同时获取当前目标的温度T；根据T_d＝f(T,D)，获得经过距离修正的真实人脸表面温度T_d；

步骤5，通过一判断模块确认当前目标为活的人脸，判断条件为：Tmin<T_d<Tmax，如果满足该条件，确认当前目标为活的人脸，如果不满足该条件，转入步骤3继续寻找提醒对象；

步骤6，将当前目标的图像信息与留言中的提醒对象的图像信息进行对比，判断当前目标是否为提醒对象，如果当前目标是提醒对象，机器人播放留言内容；如果当前目标不是提醒对象时，转入步骤3继续寻找提醒对象。

2.如权利要求1所述的方法，其特征在于，所述机器人通过麦克风获取语音留言内容，通过摄像头获取录像或人脸图像，通过红外温度传感器获取目标体温。

3.如权利要求1所述的方法，其特征在于，所述提醒触发时机包括到达提醒时间，提醒对象出现，或者某件事情发生。

4.如权利要求1所述的方法，其特征在于，所述播放留言内容设置为连续播放或间隔一定时间重复播放，在收到提醒对象的确认指令后停止播放。

5.如权利要求1所述的方法，其特征在于，所述机器人获取留言的方式包括通过人机交互的方式或通过网络。

6.一种基于移动机器人的智能提醒系统，包括：

留言获取模块，包括用于获取语音的麦克风、用于获取录像或人脸图像以及目标距离的摄像头、用于获取目标体温的红外温度传感器；

留言分析模块，包括语音识别单元、视觉识别单元以及存储单元，所述语音识别单元用于分析语音留言，生成语音或文字，所述视觉识别单元用于分析视觉或录像留言，所述存储单元用于存储经过分析的留言内容，包括提醒内容、提醒对象以及提醒时机；

移动驱动模块，用于驱动机器人移动寻找提醒目标；

人脸检测模块，用于判断当前目标是否为人脸；

活的人脸检测模块，通过调整机器人图像采集模块的拍摄角度，使得当前目标处于图像采集模块视频图像的中心位置，获取当前目标的距离D，同时获取当前目标的温度T；根据T_d＝f(T,D)，获得经过距离修正的真实人脸表面温度T_d，用于判断当前目标是否为活的人脸，判断条件为：Tmin<T_d<Tmax，如果满足该条件，确认当前目标为活的人脸；

提醒对象判断模块，用于判断当前目标是否为提醒对象；

提醒模块，用于向提醒对象播放提醒内容。