CN107515900B - 智能机器人及其事件备忘系统和方法 - Google Patents

智能机器人及其事件备忘系统和方法 Download PDF

Info

Publication number
CN107515900B
CN107515900B CN201710605808.6A CN201710605808A CN107515900B CN 107515900 B CN107515900 B CN 107515900B CN 201710605808 A CN201710605808 A CN 201710605808A CN 107515900 B CN107515900 B CN 107515900B
Authority
CN
China
Prior art keywords
event
scene
memo
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710605808.6A
Other languages
English (en)
Other versions
CN107515900A (zh
Inventor
余程鹏
徐纪卫
李健舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zonghui Shanghai Robot Co ltd
Original Assignee
Zonghui Shanghai Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zonghui Shanghai Robot Co ltd filed Critical Zonghui Shanghai Robot Co ltd
Priority to CN201710605808.6A priority Critical patent/CN107515900B/zh
Publication of CN107515900A publication Critical patent/CN107515900A/zh
Application granted granted Critical
Publication of CN107515900B publication Critical patent/CN107515900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种用于智能机器人及其事件备忘系统和方法。该系统能够自主地进行特定事件的备忘处理，在主动备忘事件的过程中，其跟随用户采集用户所处场景的场景信息，在该场景信息符合预设的备忘事件关注模式时，则将场景信息转化后的对应文本信息或结合了与之相关的场景信息进行存储。本实施例无需用户主动要求进行备忘记录，能够通过机器人对图像场景的理解，将观察到的事件转换为文字描述并存储。用户可以根据关键字查询物品所在的文件和曾经发生的事件，对于系统内置的级别较高的特定事件，机器人还会根据事件类型在合适的时间对用户进行提醒。

Description

智能机器人及其事件备忘系统和方法
技术领域
本发明涉及智能机器人领域，尤其涉及一种智能机器人，以及用于该智能机器人的事件备忘系统和方法。
背景技术
目前，智能手机中的许多应用软件都提供了事件备忘的功能。通常，以这类软件进行备忘的方法需要通过语音或文字方式将需要备忘的事件记录在手机APP中，APP根据用户的要求在特定的时间对用户进行提醒，达到备忘的目的。在这类方法中，用户是主动的，手机是被动的，即用户必须主动记录自己需要备忘的事件，而手机终端只是起到了一个事件闹钟或笔记本的作用，一旦用户忘记记录事件，备忘提醒也就无从谈起了。
发明内容
本发明所要解决的技术问题之一是需要提供一种能够在用户无意愿进行备忘操作时主动根据用户所处场景进行备忘事件的解决方案，该方案主要用于家庭生活场景下对各种事件或者物品进行协助记忆，防止因遗忘而产生的各类问题，尤其适合记忆力差的老年人使用。
为了解决上述技术问题，本申请的实施例首先提供了一种用于智能机器人的事件备忘系统，所述事件备忘系统能够自主地进行特定事件的备忘处理，该系统具备：备忘事件数据库，其存储有备忘事件，所述备忘事件包括描述特定事件的文本信息，或者结合了与之相关的场景视频、场景图像和/或场景语音信息；信息输入设备，其采集用户所在场景的场景信息；多模态输出设备，其在满足设定条件下，以多模态方式输出所述备忘事件；以及处理器，其对所述信息输入设备采集的场景信息进行解析，判断所述解析结果是否符合预设的备忘事件关注模式，若是，则将所述场景信息转换后的对应文本信息或者结合了与之相关的场景信息存储到备忘事件数据库中。
优选地，所述信息输入设备还采集来自用户的备忘事件问询信息；所述处理器，其进一步解析所述备忘事件问询信息，根据解析结果中的关键词从所述备忘事件数据库中查找对应的备忘事件发送给所述多模态输出设备。
优选地，所述处理器在判断解析结果至少为如下情景之一时，则判定符合预设的备忘事件关注模式：所述解析结果包括特定的关注物品；所述解析结果为预设的场景事件。
优选地，所述备忘事件数据库还存储有场景信息的采集时间，并按照时间戳的方式存储特定事件；所述处理器，其进一步在当前解析结果为预设的高级别场景事件时，启动计时操作，并在达到一定时间时通过所述多模态输出设备向用户发出提醒信息。
优选地，所述处理器，其进一步解析得到与之前已存储的关注物品或预设的场景事件相关的场景信息时，则以当前场景信息更新之前已存储的信息；或者，在从备忘事件数据库中查询备忘时间最新的备忘事件。
优选地，所述处理器，其进一步采用深度学习算法将所述场景视频或场景图像转换成对应的文本信息。
根据本发明的另一方面，还提供了一种智能机器人，其具备如上所述的能够自主地进行特定事件备忘处理的事件备忘系统。
根据本发明的另一方面，还提供了一种用于智能机器人的事件备忘方法，所述方法具备如下步骤：采集用户所在场景的场景信息，所述场景信息包括场景视频、场景图像和/或场景语音信息；对采集的场景信息进行解析，判断所述解析结果是否符合预设的备忘事件关注模式，若是，则将所述场景信息转换后的对应文本信息或者结合了与之相关的场景信息存储到备忘事件数据库中；在满足设定条件下，以多模态方式输出所述备忘事件。
优选地，还包括如下步骤：采集来自用户的备忘事件问询信息；解析所述备忘事件问询信息，根据解析结果中的关键词从所述备忘事件数据库中查找对应的备忘事件。
优选地，在判断解析结果至少为如下情景之一时，则判定符合预设的备忘事件关注模式：所述解析结果包括特定的关注物品；所述解析结果为预设的场景事件。
优选地，所述备忘事件数据库还存储有场景信息的采集时间，并按照时间戳的方式存储特定事件；进一步在当前解析结果为预设的高级别场景事件时，启动计时操作，并在达到一定时间时向用户发出提醒信息。
优选地，在解析得到与之前已存储的关注物品或预设的场景事件相关的场景信息时，则以当前场景信息更新之前已存储的信息；以及，在从备忘事件数据库中查询备忘时间最新的备忘事件。
优选地，采用深度学习算法将所述场景视频或场景图像转换成对应的文本信息。
根据本发明的另一方面，还提供了一种存储介质，其上存储有可执行如上所述的方法步骤的程序代码。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明实施例提供了一种用于智能机器人的事件备忘系统，该系统能够自主地进行特定事件的备忘处理，在主动备忘事件的过程中，其跟随用户采集用户所处场景的场景信息，在该场景信息符合预设的备忘事件关注模式时，则将场景信息转化后的对应文本信息或结合了与之相关的场景信息(例如视频、图像片段、语音等)进行存储。本实施例无需用户主动要求进行备忘记录，能够通过机器人对图像场景的理解，将观察到的事件转换为文字描述并存储(例如，以时间戳的方式来存储)。用户可以根据关键字查询物品所在的文件和曾经发生的事件，对于系统内置的级别较高的特定事件，机器人还会根据事件类型在合适的时间对用户进行提醒。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1为根据本发明实施例的智能机器人10所处场景的场景示意图。
图2为根据本发明实施例的用于智能机器人的事件备忘系统22的内部模块结构框图。
图3为根据本发明实施例的图片语义解析算法的示例图。
图4为根据本发明实施例的另一图片语义解析算法的示例图。
图5为根据本申请实施例的用于智能机器人的事件备忘方法的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。本实施例提出了一种应用在智能机器人的事件备忘系统，该机器人的应用场景主要是辅助特殊人群的生活，例如老年人的生活，通过事件备忘系统能够帮助老人主动记忆某些特定事件或者物品位置等，防止老人因为遗忘而引起意外事件，造成较为严重的后果。
实施例
图1为根据本发明实施例的智能机器人10所处场景的场景示意图。该机器人10作为用户的生活助手，与用户处于同一空间，即大部分时间都跟随在用户身边随时为用户提供服务。该机器人10具有移动机构，通过利用该移动机构来实现行走等简单操作，有关移动机构可以为轮式移动机构、履带式移动机构、足式移动机构、步进式移动机构、蠕动式移动机构、混合式移动机构等，本发明对此不作限定。机器人对用户的跟踪采用如下方法：首先使用深度学习算法检测出人体，框选出人体所在的区域，然后通过光流跟踪算法预测下一时刻人体所在的位置，最后控制机器人向特定的方向运动，保证人体始终在机器人的视野内。
机器人10在跟随用户移动的过程中，采集用户所处场景的场景信息，如图1所示，该场景信息主要但不限于图像信息，如1001中呈现的将钥匙放入收纳柜的抽屉的场景图像或者如1002显示的在炉灶上烧饭、烧水的场景图像等。需要说明的是，为了保证智能机器人10能够识别出用户所处场景中的物体信息，智能机器人10采用深度学习(CNN)方法对家居环境中的各类家居等进行识别。为了保证识别的良好效果，专门采集大量的家居环境的图片，并对图片内容进行标注(例如，当图片内容为衣柜的时候，给它标注上柜子这一分类信息)，然后用这些图片数据来训练出相应的神经网络模型，智能机器人用该模型进行场景信息中的物体识别。
在本例中，机器人10通过其内部设置的事件备忘系统22主动进行特定事件的记录操作。以输入设备为摄像机为例，在锁定用户位置后，利用摄像机采集一定时间段内多帧有关用户的场景图像，然后将场景图像发送至事件备忘系统22的处理器中，通过该处理器完成对特定事件的备忘处理。
下面就本申请实施例的事件备忘系统22的内部结构进行说明。
图2是表示本发明实施例的事件备忘系统22内部模块的结构示意图。如图2所示，该事件备忘系统22包括输入/输出设备2201、信息接收单元2202、处理器2203、备忘数据存储单元(也可认为是备忘事件数据库)2211和信息发送单元2217，它们分别通过内部总线连接，互相实施控制信号及数据等的收发。
输入/输出设备2201是用来采集有关用户场景信息(例如图像信息、语音信息、视频信息等)，或者以多模态方式向用户输出备忘事件信息的设备，该输入/输出设备2201可以是麦克风、摄像机、其他模态数据输入设备等。例如，在用户发出语音信息或周围环境产生声音信息后，麦克风采集该模拟语音信号，利用A/D转换器将将模拟语音信号转换成系统能够处理的语音信号，然后将数字语音信号输入至信息接收单元2202中。摄像机可以为CCD摄像机或CMOS摄像机，主要对用户当前所处的场景图像或场景视频进行采集。另外，作为其他模态数据输入设备，例如可以触控屏，供用户向机器人直接输入文本数据。
信息接收单元2202，其接收到的语音信息、图像信息和视频信息，并将这些信息转发至处理器2203中对应的处理单元。针对数字语音信息来说，该信息接收单元2202将数字语音信息发送至声音处理单元2205中进行语音识别处理。在语音识别的过程中，先对语音信息进行预处理，然后进行特征提取和训练识别。预处理主要包括语音信号的预加重，分帧加窗和端点检测等工作。语音识别器在将待识别语音经过特征提取后的特征参数与参考模型库中的各个模式一一进行比较，将相似度最高的模式作为识别的结果输出，完成模式的匹配过程，从而实现了语音识别。
而对于采集到的用户场景图像来说，信息接收单元2202将图像信息/视频信息发送至视频信息处理单元2204。在一个例子中，该视频信息处理单元2204内部嵌有视频分析软件，视频分析软件采用图像语义分析算法，例如深度学习算法，每隔一段时间将用户生活的图像场景转换为文字描述，并记录在备忘数据存储单元2211的文本信息数据库中。如此设置是考虑到相邻帧的视频内容是相似的，为了减轻视频分析软件处理的压力，对于需要关注的场景，没有必要对每一帧视频都进行分析，所以可以每隔1-3秒分析一次。
具体地，本实施例采用的深度学习算法优选是CNN+RNN相结合的方式。首先，用CNN提取图像特征，再用RNN对CNN输出的特征进行文本序列预测。主要架构包括三个部分，第一部分是CNN卷积层，通过它提取图片特征，将其最后一个隐藏层的输出编码为一个向量，作为下一部分的输入；第二部分为RNN层，根据输入产生对应的文本分布；第三部分为翻译层，将每一帧的文本集合翻译成对应的句子。具体地，基于公式(1)计算图像的表征：
Figure BDA0001358298380000061
Figure BDA0001358298380000062
表示将边界框中的像素Ib转换为分类器之前的全连接层输入，它是一个4096维的向量，θc为CNN卷积层参数，Wm是一个h×4096维的权重矩阵，bm是全连接层的偏置。这是一个典型的通过CNN提取图像表征的模型。
根据公式(2)-(6)计算句子的表征：
xt＝WwIIt (2)
et＝f(Wext+be) (3)
Figure BDA0001358298380000063
Figure BDA0001358298380000064
Figure BDA0001358298380000065
IIt是一个指针列向量，它是词汇表中第t个词的唯一索引值；Ww是“词嵌入”权重矩阵，由一个300维的词向量权重进行初始化，并保持不变。计算句子表征的过程也称为BRNN，其包含了连个独立的过程，一个从左到右：
Figure BDA0001358298380000066
一个从右到左：
Figure BDA0001358298380000067
st表示第t个词的输出，是一个关于这个词的位置和上下文信息的函数。We，Wf，Wb，wd，be，bf，bb，bd是待学习的BRNN网络参数，激活函数f统一采用ReLU激活函数。
如图3所示，首先通过CNN检测出场景中包含的物体分类：燃气灶、火、锅，然后将检测出的类别标签直接转换为词向量输入到BRNN中，再由BRNN计算出对应的句子表征，生成相应的句子。需要注意的是，为了提高句子生成的准确性，训练的时候一定要提供大量和这些生活场景有关的语料。否则，生成的句子很可能不太符合语法，或者描述不够准确。
如图3所示，通过上面的算法将图片转换成文本信息“燃气灶点火，灶上有锅”的内容。
除了上面采用的CNN+RNN的深度学习方法直接将图片转换到文本以外，还可以从图片中学习到视觉对象对应的单词(可以采用R-CNN算法来检测)，基于语言模型(RNN或LSTM)生成相应的句子，最后利用向关系模型对句子打分排序，将分值最高的句子作为该图片对应的文本，参见图4所示的例子。
考虑到特殊用户，如老年人，多有自言自语的习惯，因此在采集用户所处的场景图像的同时有很大概率能采集到用户的语音信息。如果在采集到用户所处场景的图像的同时还采集到了用户发出的语音信息，可以通过语音信息来验证图像转换成文本的准确度，例如图片转换成文本内容为“钥匙放在小柜子的第一个抽屉里”，而同时检测到“我把钥匙放在抽屉里吧”的语音信息，通过比对能够得到图像转换成文本的准确度较高。
当然，在进行对每幅图像的语义解析之前，视频信息处理单元2204还会对图像进行图像预处理。在对原始图像进行预处理时，一般需要执行滤波去噪、灰度修正、图像增强和几何变换等。
如图2所示，处理器2203还包括关注模式判定单元2207、优先级识别单元2208、计时器2209和信息提醒单元2210。
关注模式判定单元2207根据视频信息处理单元2204和声音处理单元2205解析后的文本信息识别当前用户场景是否符合预设的备忘事件关注模式，若是，则将文本信息或者结合了与之相关的场景信息(视频、图像和/或声音)存储到备忘数据存储单元2211中。
在本实施例中，备忘事件关注模式可以为用户(例如老人的子女等)预先设定好的需要自主进行备忘的初始设置模式，可以以配置文件的方式存储在机器人的内部，其中可以包括需要备忘的特定的场景事件、特定的物品、备忘事件/物品对应的优先级别等。该文件的配置和现有技术中的手机备忘记录不一样，用户只需要进行一次初始设置，而无须每次在需要备忘事件前进行设置，这样能减少用户的繁琐操作，方便用户的使用。
具体地，关注模式判定单元2207通过对比图片中识别出的物品或场景与预设的配置文件的内容进行比对，若图片中至少为如下情景之一时，则判定符合预设的备忘事件关注模式：图像解析结果中包括特定的关注物品，例如钥匙、剪刀等；图像解析结果为预设的场景事件，例如烧水、吃药等。在判断进入备忘事件关注模式后，处理器2203根据设定规则选择采集到的一帧图像，并将该帧图像转换成文本存储到备忘事件存储单元2211的文本信息数据库2213中，以及/或者将该一定时间段内的视频信息或该帧图像分别存储到视频信息数据库2214和图像信息数据库2215中。优选地，在处理器2203解析得到与之前已存储的关注物品或预设的场景事件相关的场景信息时，则以当前场景信息更新之前已存储的信息，即将采集时间最新的场景信息替换旧信息存储到数据库中。当然，再此期间采集的声音数据也可以存储到语音信息数据库2216中。为了后期便于查找，优选地将这些信息以时间戳的方式存储到数据库中。参考如下表1，该表作为备忘录数据库的数据结构的一个例子，文本信息存储的模式中包括备忘事件编号、关键字、存储时间、具体内容以及属性。用户可以根据关键字查询到物品的存放信息，而针对事件的记录主要用于机器人的主动提醒。
编号 关键字 时间 内容 属性
01 眼镜 2017.1.20.xx：xx：xx 眼镜放在书桌上 物品
02 剪刀 2017.2.13.xx：xx：xx 剪刀放在床头柜 物品
03 螺丝刀 2017.2.24.xx：xx：xx 螺丝刀放在壁橱抽屉 物品
04 燃气灶 2017.3.5.xx：xx：xx 燃气灶已经点火 事件
05 电水壶 2017.4.10.xx：xx：xx 电水壶开始烧水 事件
06 门窗 2017.5.11.xx：xx：xx 房间窗户被打开 事件
另一方面，考虑到针对级别度高的场景事件需要进行备忘提醒，该处理器2203还包括优先级识别单元2208。优先级识别单元2208查找预设的配置文件中对应当前场景事件的优先级别，在本例中设定有低级、中级和高级三个级别，对于级别处于中级以上级别的场景事件进行定时提醒。在优先级识别单元2208识别出当前场景事件为较高级别时，则启动计时器2209开始计时，在计时器2209计时到设定时间时，则启动信息提醒单元2210，其向信息发送单元2217发送提醒信息。信息发送单元2217将提醒信息输入到输入/输出设备2201，输入/输出设备2201优选以语音方式向用户发出提醒。
在用户向机器人问询有关备忘事件时，输入/输出设备2201采集来自用户的备忘事件问询信息，将采集到的信息发送指处理器2203中。处理器2203中对应的处理单元对备忘事件问询信息进行处理提出关键词，查找备忘数据存储单元2211中的关键词索引库2212，在查找到关键词后，根据关键词从文本信息数据库2213中查找对应的备忘文本数据发送至信息发送单元2217，然后通过输入输出设备2201发送给用户。由于考虑到用户主要为老年人，为了方便用户的使用，本例优选对声音数据的处理，并向用户发出语音信息。若数据库中存储了多个与特定事件先关的文本信息，则将备忘事件最新的备忘事件发送给用户。另外，根据用户的需求，还可以调取出与备忘事件相关的视频供用户来参考。
下面分别参考图5来说明如何使用该机器人主动完成事件备忘的流程。如图5所示，所述方法具备如下步骤。
在步骤S510中，采集用户所在场景的场景信息，所述场景信息包括场景视频、场景图像和/或场景语音信息。
在步骤S520中，对采集的场景信息进行解析，判断所述解析结果是否符合预设的备忘事件关注模式，若是，则在步骤S530中将所述场景信息转换后的对应文本信息或者结合了与之相关的场景信息存储到备忘事件数据库中，否则返回步骤S510。在判断解析结果至少为如下情景之一时，则判定符合预设的备忘事件关注模式：所述解析结果包括特定的关注物品；所述解析结果为预设的场景事件。在图像转换成文本信息时，采用深度学习算法将所述场景视频或场景图像转换成对应的文本信息。
在步骤S540和步骤S550中，判断是否满足设定条件，在满足设定条件下，以多模态方式输出所述备忘事件。
具体来说，在步骤S540中判断当前解析结果是否为预设的高级别场景事件，若是，则启动计时操作，并在达到一定时间时向用户发出提醒信息。否则进入步骤S550，判断是否接收到用户的备忘事件问询信息，若是，则查找到匹配的备忘事件，以多模态方式输出给用户，具体来说，解析所述备忘事件问询信息，根据解析结果中的关键词从所述备忘事件数据库中查找对应的备忘事件。所述备忘事件数据库还存储有场景信息的采集时间，并按照时间戳的方式存储特定事件，一般情况下，将最近一次记录的备忘事件信息反馈给用户。
典型应用场景一：
当用户正在使用剪刀时，机器人首先识别出剪刀这个物品，如果该物体属于用户在初始化设置时指定关注的物体，机器人将进入物品关注模式，此后，每隔1～3秒钟，机器人将用户使用剪刀的场景转换为文字描述，并打上时戳，记录在备忘数据库中。当用户带着剪刀移动的时候，机器人保持对用户的跟随，当用户将剪刀放入抽屉并关上时，机器人生成最后一个记录，此时由于剪刀不再出现于摄像头视线中，机器人退出关注模式。
典型应用场景二：
当用户开始烧开水的时候，机器人识别出烧开水这一事件，如果该事件属于用户在初始化设置时指定关注的事件，机器人将进入事件关注模式，记录下该事件发生的时刻，当用户离开烧水现场的时候，机器人跟随用户，随时准备提供其他服务，当用户应为忙于其他事务忘记了水壶正在烧水时，机器人会在烧水开始一段时间以后提醒用户水可能已经烧开，请及时处理。
补充说明
本发明除了可以用于家庭服务机器人的场景外，还可以用于公共场所的安防场景，通过大量的安防摄像头观察公共场所内发生的情况，对每一副场景生成特定的文字描述，并记录相应的视频数据。当需要查看特定的视频时，可根据关键字搜寻文字描述，进而通过文字描述所关联的索引查找到对应的视频数据。这样就减少了从头到尾查看视频所需要的巨大的工作量。
另外，本发明还提供了一种存储介质，其上存储有可执行如图5所述的方法步骤的程序代码。
本发明通过将图像转换为文字描述并记录下来，并通过关键字查询信息，提供了快速查询和助记备忘的功能。此方法运用于家庭机器人或者安防场所时，可以产生良好的用户体验，并使得工作效率得到提高，将产生较大的经济效益。
在其他例子中，需要说明的是，考虑到云计算网络可以将海量的大数据计算和大规模存储分散到大量低廉的计算设备上，根据需要提取存储空间、计算资源。因此，本发明实施例的机器人大脑可以使用云计算技术通过互联网访问“云”中的几何任何资源，而不用考虑计算能力、存储能力、带宽、可靠性和安全性等问题，因此上述的处理器2203和备忘事件数据库2211可以在云服务器中实现。机器人此时就充当通信模块，将采集到的场景信息添加到请求协议中，发送给云端服务器，云端服务器执行处理器2203和备忘事件数据库2211等模块类似的处理，返回结果给机器人。
本发明实施例的智能机器人能够自主地进行特定事件的备忘处理，在主动备忘事件的过程中，其跟随用户采集用户所处场景的场景信息，在该场景信息符合预设的备忘事件关注模式时，则将场景信息转化后的对应文本信息或结合了与之相关的场景信息(例如视频、图像片段、语音等)进行存储。本实施例无需用户主动要求进行备忘记录，能够通过机器人对图像场景的理解，将观察到的事件转换为文字描述并存储(例如，以时间戳的方式来存储)。用户可以根据关键字查询物品所在的文件和曾经发生的事件，对于系统内置的级别较高的特定事件，机器人还会根据事件类型在合适的时间对用户进行提醒。
由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人操作系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种用于智能机器人的事件备忘系统，其特征在于，所述事件备忘系统能够自主地进行特定事件的备忘处理，该系统具备：
备忘事件数据库，其存储有备忘事件，所述备忘事件包括描述特定事件的文本信息，或者结合了与之相关的场景视频、场景图像和/或场景语音信息；
信息输入设备，其采集用户所在场景的场景信息；
多模态输出设备，其在满足设定条件下，以多模态方式输出所述备忘事件；以及
处理器，其对所述信息输入设备采集的场景信息进行解析，判断所述解析结果是否符合预设的备忘事件关注模式，若是，则将所述场景信息转换后的对应文本信息或者结合了与之相关的场景信息存储到备忘事件数据库中并更新，其中，所述处理器在判断解析结果至少为如下情景之一时，则判定符合预设的备忘事件关注模式：
所述解析结果包括特定的关注物品；
所述解析结果为预设的场景事件。
2.根据权利要求1所述的系统，其特征在于，
所述信息输入设备还采集来自用户的备忘事件问询信息；
所述处理器，其进一步解析所述备忘事件问询信息，根据解析结果中的关键词从所述备忘事件数据库中查找对应的备忘事件发送给所述多模态输出设备。
3.根据权利要求1或2所述的系统，其特征在于，
所述备忘事件数据库还存储有场景信息的采集时间，并按照时间戳的方式存储特定事件；
所述处理器，其进一步在当前解析结果为预设的高级别场景事件时，启动计时操作，并在达到一定时间时通过所述多模态输出设备向用户发出提醒信息。
4.根据权利要求3所述的系统，其特征在于，
所述处理器，其进一步解析得到与之前已存储的关注物品或预设的场景事件相关的场景信息时，则以当前场景信息更新之前已存储的信息；或者，在从备忘事件数据库中查询备忘时间最新的备忘事件。
5.根据权利要求1所述的系统，其特征在于，
所述处理器，其进一步采用深度学习算法将所述场景视频或场景图像转换成对应的文本信息。
6.一种智能机器人，其特征在于，具备如权利要求1～5中任一项所述的能够自主地进行特定事件备忘处理的事件备忘系统。
7.一种用于智能机器人的事件备忘方法，其特征在于，所述方法具备如下步骤：
采集用户所在场景的场景信息，所述场景信息包括场景视频、场景图像和/或场景语音信息；
对采集的场景信息进行解析，判断所述解析结果是否符合预设的备忘事件关注模式，若是，则将所述场景信息转换后的对应文本信息或者结合了与之相关的场景信息存储到备忘事件数据库中并更新，其中，在判断解析结果至少为如下情景之一时，则判定符合预设的备忘事件关注模式：
所述解析结果包括特定的关注物品；
所述解析结果为预设的场景事件；
在满足设定条件下，以多模态方式输出所述备忘事件。
8.根据权利要求7所述的方法，其特征在于，还包括如下步骤：
采集来自用户的备忘事件问询信息；
解析所述备忘事件问询信息，根据解析结果中的关键词从所述备忘事件数据库中查找对应的备忘事件。
9.根据权利要求7或8所述的方法，其特征在于，
所述备忘事件数据库还存储有场景信息的采集时间，并按照时间戳的方式存储特定事件；
进一步在当前解析结果为预设的高级别场景事件时，启动计时操作，并在达到一定时间时向用户发出提醒信息。
10.根据权利要求9所述的方法，其特征在于，
在解析得到与之前已存储的关注物品或预设的场景事件相关的场景信息时，则以当前场景信息更新之前已存储的信息；以及，在从备忘事件数据库中查询备忘时间最新的备忘事件。
11.根据权利要求7所述的方法，其特征在于，
采用深度学习算法将所述场景视频或场景图像转换成对应的文本信息。
12.一种存储介质，其上存储有可执行如权利要求7-11中任一项所述的方法步骤的程序代码。
CN201710605808.6A 2017-07-24 2017-07-24 智能机器人及其事件备忘系统和方法 Expired - Fee Related CN107515900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710605808.6A CN107515900B (zh) 2017-07-24 2017-07-24 智能机器人及其事件备忘系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710605808.6A CN107515900B (zh) 2017-07-24 2017-07-24 智能机器人及其事件备忘系统和方法

Publications (2)

Publication Number Publication Date
CN107515900A CN107515900A (zh) 2017-12-26
CN107515900B true CN107515900B (zh) 2020-10-30

Family

ID=60722426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710605808.6A Expired - Fee Related CN107515900B (zh) 2017-07-24 2017-07-24 智能机器人及其事件备忘系统和方法

Country Status (1)

Country Link
CN (1) CN107515900B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256513A (zh) * 2018-03-23 2018-07-06 中国科学院长春光学精密机械与物理研究所 一种智能视频分析方法及智能视频记录系统
CN108921096A (zh) * 2018-06-29 2018-11-30 北京百度网讯科技有限公司 时间跟踪方法、装置、设备及计算机可读介质
CN109283849B (zh) * 2018-09-10 2021-12-31 缙云县科耳沃自动化科技有限公司 一种房屋智能化系统
CN111061259A (zh) * 2018-10-15 2020-04-24 上海肇观电子科技有限公司 行走机器人的事件化驱动方法、系统、设备及存储介质
CN109543569A (zh) * 2018-11-06 2019-03-29 深圳绿米联创科技有限公司 目标识别方法、装置、视觉传感器及智能家居系统
CN110148418B (zh) * 2019-06-14 2024-05-03 安徽咪鼠科技有限公司 一种场景记录分析系统、方法及其装置
CN112192584A (zh) * 2020-10-09 2021-01-08 移康智能科技（上海）股份有限公司 一种多功能学习陪伴机器人系统
CN116214528B (zh) * 2023-05-10 2023-10-03 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182399A (zh) * 2013-05-21 2014-12-03 华为技术有限公司 备忘提醒方法及装置
CN106156799A (zh) * 2016-07-25 2016-11-23 北京光年无限科技有限公司 智能机器人的物体识别方法及装置
CN106372850A (zh) * 2016-08-30 2017-02-01 北京光年无限科技有限公司 一种基于智能机器人的信息提醒方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN106302980A (zh) * 2015-06-29 2017-01-04 上海卓易科技股份有限公司 事件主动记录的方法及终端设备
CN104965552B (zh) * 2015-07-03 2017-03-08 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统
CN105279495B (zh) * 2015-10-23 2019-06-04 天津大学 一种基于深度学习和文本总结的视频描述方法
CN106933807A (zh) * 2017-03-20 2017-07-07 北京光年无限科技有限公司 备忘录事件提醒方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182399A (zh) * 2013-05-21 2014-12-03 华为技术有限公司 备忘提醒方法及装置
CN106156799A (zh) * 2016-07-25 2016-11-23 北京光年无限科技有限公司 智能机器人的物体识别方法及装置
CN106372850A (zh) * 2016-08-30 2017-02-01 北京光年无限科技有限公司 一种基于智能机器人的信息提醒方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. Sääskilahti 等.Needs and User Acceptance of Older Adults for Mobile Service.《The 21st IEEE International Symposium on Robot and Human Interactive Communication》.2012, *
空巢老人的智能养老系统设计;程欢;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20170215(第02期);C038-1953 *

Also Published As

Publication number Publication date
CN107515900A (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN107515900B (zh) 智能机器人及其事件备忘系统和方法
CN108227932B (zh) 交互意图确定方法及装置、计算机设备及存储介质
CN108334583B (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
US11948556B2 (en) Detection and/or enrollment of hot commands to trigger responsive action by automated assistant
US10402501B2 (en) Multi-lingual virtual personal assistant
US11810557B2 (en) Dynamic and/or context-specific hot words to invoke automated assistant
CN109102809B (zh) 一种用于智能机器人的对话方法及系统
CN106462608B (zh) 改进语言模型的知识源个性化
EP3859494B1 (en) Adapting automated assistant based on detected mouth movement and/or gaze
WO2019144542A1 (en) Affective interaction systems, devices, and methods based on affective computing user interface
CN105843381B (zh) 用于实现多模态交互的数据处理方法及多模态交互系统
JP2021524975A (ja) 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
CN106933807A (zh) 备忘录事件提醒方法及系统
WO2017100334A1 (en) Vpa with integrated object recognition and facial expression recognition
US11392213B2 (en) Selective detection of visual cues for automated assistants
TW202301080A (zh) 輔助系統的多裝置調解
CN115526602A (zh) 备忘提醒方法、装置、终端及存储介质
CN114510942A (zh) 获取实体词的方法、模型的训练方法、装置及设备
CN111971670A (zh) 在对话中生成响应
CN109739970A (zh) 信息处理方法及装置、以及电子设备
US20230252312A1 (en) Utilizing meaning to find a document
CN112836059B (zh) 医疗图谱建立方法及装置、医疗图谱查询方法及装置
CN117056822A (zh) 手语识别方法及电子设备
CN110853765A (zh) 一种基于环境可视的智能人机交互系统
CN117093695A (zh) 一种基于知识图谱的社区智能问答方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030

CF01 Termination of patent right due to non-payment of annual fee