CN102201030A - 机器人设备、机器人设备执行的信息提供方法和存储介质 - Google Patents

机器人设备、机器人设备执行的信息提供方法和存储介质 Download PDF

Info

Publication number
CN102201030A
CN102201030A CN201110069128XA CN201110069128A CN102201030A CN 102201030 A CN102201030 A CN 102201030A CN 201110069128X A CN201110069128X A CN 201110069128XA CN 201110069128 A CN201110069128 A CN 201110069128A CN 102201030 A CN102201030 A CN 102201030A
Authority
CN
China
Prior art keywords
prompting
user
information
robot
described user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110069128XA
Other languages
English (en)
Inventor
白土宽和
永野雅邦
小久保亘
岩井嘉昭
清水悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102201030A publication Critical patent/CN102201030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Nursing (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人设备、机器人设备执行的信息提供方法和存储介质。所述机器人设备、方法和计算机程序存储介质使用存储提示点信息和用户信息的存储器来帮助在外部环境中的用户。提示点被分布在机器人设备保有的环境地图内,并且当机器人设备检测到用户接近被分类为提示点的外部环境内的预定区时,机器人设备通过向用户提供提示来做出反应。该提示可以是用户特定的,或可选地基于由用户需求的护理级别提供。

Description

机器人设备、机器人设备执行的信息提供方法和存储介质
技术领域
本发明涉及一种机器人设备、由机器人设备执行的信息提供方法和计算机存储介质,所述计算机存储介质具有指令,所述指令当被处理器执行时使得处理器执行所述方法。
背景技术
在护理和医疗的场景中,例如,护理者或护士可以在视觉上或听觉上给出对接受护理或看护服务的人的行为的提示。这种提示提供了关于这人可能未注意的事项的通知,以便预先警告该人。例如,当房屋中有楼梯时,可以从护理者向接受护理者给出提示,由此,接受护理者能够避免诸如绊住和摔倒的危险。
在过去使用的技术中,不是护理者给出提示,接受护理者围着他的/她的脖子等佩戴监视/警告装置,监视/警告装置给出对于接受护理者的行为的提示。在另一种技术中,诸如被固定到一个位置的监视摄像机的环境安装类型的传感器识别接受护理者,并且给出对于所识别的人的行为的提示。
此外,在机器人的技术领域中,例如存在一种由日本专利申请公开No.2007-102488公开的技术。在这种技术中,自主移动设备跟踪特定的人,并且识别该特定人和周围环境。该自主移动设备确定该特定人的危险程度,并且当确定该特定人处于危险时,减小危险程度。
日本专利申请公开No.2004-243504公开了一种用于基于附加到点的操作支持信息控制在该点执行操作的驱动机构以便减少强加到由机器人执行的信息处理上的负担的技术,该点作为在工作场所中的预先设置的移动目的地的标记。
发明内容
然而,当接受护理者围着他的/她的脖子等佩戴监视/警告装置时,本发明人认识到存在下述问题:所述监视/警告装置在接受护理者上强加了负担。另一方面,当使用固定于一个位置的摄像机时,存在下述问题:摄像机仅可以识别有限的范围,并且照相机不能识别盲区中人的行为。
此外,因为在周围环境中的危险程度根据人的身身体能力力等而有所改变,所以危险程度根据接收由自主移动设备提供的提示的每个人而改变。因此,如果自主移动设备执行在人前移动或预先发出警告蜂鸣声的操作以便减少危险程度,则存在下述问题:这个操作对于可以自己预测危险程度的人而言是不必要的和累赘的。
此外,在自主移动设备未预先存储周围环境并且连续地识别周围环境的情况下,存在下述问题:自主移动设备根本不给出对于人的行为的、关于之前未识别的周围环境的任何提示。在自主移动设备未存储周围环境的这种情况下,存在下述问题:在自主移动设备未能识别的盲区中,不能给出对人的行为的提示。
考虑到上述情况,期望提供一种新颖和改进的机器人设备和一种新颖和改进的信息提供方法以及由机器人设备执行的相关计算机程序存储装置,其中,可以根据所识别的用户来适当地提供关于周围环境的信息。
在非限制上下文中,示例性机器人设备(利用机器人设备的相关方法和在机器人设备中使用的计算机程序存储装置)使用计算机存储装置。所述计算机程序存储装置存储提示点信息和用户信息。所述提示点信息包括位置信息和与所述位置信息相关联的护理级别信息。所述用户信息包括用户的标识信息和用户特定护理级别信息。所述机器人设备还包括确定单元,所述确定单元被配置来至少基于所述提示信息和所述用户信息来确定发出提示。类似地,用于使用机器人的方法以及具有将处理器编程来执行所述方法的指令的计算机程序存储装置具有类似的特征以及像下面在机器人设备的上下文中讨论的那些选用的特征。
机器人设备还可以包括用户识别单元,所述用户识别单元被配置来识别用户。在该情况下,所述确定单元基于由所述用户识别单元作出的识别来确定所述用户特定护理级别。
所述机器人设备还可以包括记录机构,所述记录机构被配置来记录环境地图。此外,用于对应的提示点的提示点信息与在环境地图内的预定区域相关联。
所述机器人设备还可以包括用户识别单元,所述用户识别单元被配置来识别用户的位置。在该情况下,所述确定单元被配置来确定当用户的位置位于对应的提示点的预定范围内时要给出的提示。
所述机器人设备还可以包括:行为识别单元,所述行为识别单元被配置来识别用户的行为;以及预测单元,所述预测单元被配置来基于由所述行为识别单元识别的用户的当前行为来预测用户的未来行为。在该情况下,所述确定单元基于由所述预测单元预测的用户的未来行为和对应的提示点确定要给出的提示。
所述机器人设备还可以包括提示产生机构,所述提示产生机构根据所述用户信息来产生音频提示和视频提示的至少一个。
所述机器人设备可以可选地包括驱动单元,所述驱动单元被配置来移动所述机器人设备。控制器用于发出移动命令,以操作所述驱动单元来将机器人向由所述用户识别单元识别的用户的位置移动。
附图说明
图1是图示根据本发明的一个实施例的机器人100的框图;
图2是图示根据所述实施例的机器人100的提示准备处理的流程图;
图3是图示根据所述实施例的机器人100的提示处理的流程图;
图4是图示由根据所述实施例的机器人100产生的环境地图10的说明图;
图5是示出关于提示点的信息的表格;
图6是示出关于用户的信息的表格;以及
图7是图示通过外部识别而获得的对象图像和行为识别的结果的示例的说明图。
具体实施方式
以下,将参考附图来详细描述本发明的优选实施例。注意,在本说明书和附图中,使用相同的参考标号来表示具有基本上相同的功能和结构的结构单元,并省略这些结构单元的重复描述。
将以下面列出的顺序来进行描述。
1.实施例的配置
2.实施例的操作
<1.实施例的配置>
首先,将参考图1来说明根据本发明的一个实施例的机器人100。图1是图示根据本实施例的机器人100的框图。
机器人100识别外部环境,根据所识别的环境来自主地移动,并且为用户执行行为。根据本实施例的机器人100产生环境地图。然后,机器人100确定用户的行为,并且提供信息,例如以可视或可听的方式来向用户给出提示。为了给出提示,机器人100存储在其要给出提示的提示点。提示点对应于外部环境中的位置并且在环境地图的区域内反映。
因此,机器人100可以在用户实际到达感兴趣点之前事先向用户通知要由用户执行的操作,例如当用户接近向下的楼梯时提示用户。机器人100确定是否要给出提示,并且根据诸如用户的身体能力之类的用户属性来确定提示的类型。
机器人100可以通过转来转去产生覆盖宽阔区域的环境地图,并且在计算机可读存储装置中存储所产生的环境地图。另外,机器人100预先在环境地图中设置提示点。因此,与机器人100连续的识别周围环境的情况相比而言,机器人100不太可能未能识别周围环境,因此,机器人100可以更经常地给出对于用户的行为的提示。另外,机器人100甚至可以给出对于在从机器人100的当前位置不能识别的盲区(未在视线中)中的人的行为的提示。
例如,在房间的情况下,在其应当给出提示的点的示例和在其优选地给出提示的点的示例包括人通过的窄门、楼梯部分、门和床。机器人100向接近门的人和在门中的人给出警告,使得该人避免碰撞、绊住和摔倒。例如,提示点可以是轮椅。在该情况下,根据用户的行为,机器人100当用户坐在轮椅上时提醒用户不要忘记施加制动。或者,提示点可以是卫生间。在该情况下,机器人100提醒接受护理者拉上和拉下他的/她的裤子。
如图1中所示,机器人100包括例如接口输入/输出单元102、提示指定单元104、用户级别指定单元106、外部环境识别单元110、环境地图产生单元112、人识别单元114、行为识别单元116、存储单元120、预测单元130、信息提供单元140和驱动单元150。
例如,机器人100具有微处理器,该微处理器控制接口输入/输出单元102、外部环境识别单元110、存储单元120、信息提供单元140和驱动单元150等。此外,该微处理器包括例如提示指定单元104、用户级别指定单元106、环境地图产生单元112、人识别单元114、行为识别单元116和预测单元130。
接口输入/输出单元102是操作单元,使用机器人100的用户等使用该操作单元来输入各种数据。接口输入/输出单元102也是具有显示屏幕的显示单元,其向用户显示视频。例如,接口输入/输出单元102在显示屏幕上显示环境地图。然后,用户使用接口输入/输出单元102来向环境地图输入提示点,并输入用户信息。可选地,机器人可以响应“来到这里”音频命令、IR或RF命令。机器人移动到命令来源,接近用户,这使得用户能够观看可以以特定行为来帮助用户的有益的视频。
提示指定单元104是信息提供点指定单元的示例,并且从接口输入/输出单元102接收关于提示点的信息。输入/输出单元102包括无线收发器,该无线收发器与诸如智能电话、平板电脑或其他无线装置之类的无线便携(或非便携)装置进行通信,以交换信息,诸如设置提示。然后,提示指定单元104将关于提示点的信息与关于环境地图的信息相关联,并且指定在环境地图中的提示点。此外,提示指定单元104指定关于提示点的坐标信息以及提示点的提示级别和名称。
用户级别指定单元106是用户管理单元的示例,并且从接口输入/输出单元102接收关于用户的信息。然后,用户级别指定单元106登记作为提示的接收者的多个用户,并且设置各个用户的提示级别。在本实施例中,根据用户的身体能力来给出提示,而不是向在提示点的所有用户给出提示。例如,不仅对于提示点还对于用户设置提示级别。因此,提示点和用户彼此相关联,并且对于是否给出提示进行调整。当设置提示级别时,可以对于每一个用户容易地设置是否给出提示。
通常,用于设置是否给出提示的方法不限于提示级别的设置。例如,在每一个提示点,用户可以逐个地被设置为提示的接收者。提示点和作为提示的接收者的用户不是简单地根据级别的大小而被分类,而是可以被分类为诸如行为模式和时间模式的类别,例如“家务事”、“行走移动”和“白天的时间段”。
外部环境识别单元110例如是立体照相机和距离传感器,并且获得和识别关于机器人100的外部环境的信息。外部环境识别单元110向环境地图产生单元112、人识别单元114和行为识别单元116发送关于外部环境的信息。
环境地图产生单元112基于关于外部环境的信息使用诸如SLAM(同步定位与建图)的技术来产生环境地图。环境地图被连续地更新(即,通过预定的时间段来触发更新),并且,环境地图产生单元112可以允许跟踪在外部环境中存在的物体。当在环境地图中指定提示点时,也跟踪提示点。
人识别单元114检测人,并且基于在存储单元120中登记的用户信息和关于外部环境的信息来识别所检测的人。
行为识别单元116计算由人识别单元114识别的人的位置和移动方向。行为识别单元116向预测单元130发送所计算的关于人的位置和移动方向的信息。此外,行为识别单元116基于在存储单元120中记录的人的行为模式和关于外部环境的信息来识别人的行为。然后,行为识别单元116向预测单元130发送所识别的人的行为。
存储单元120例如是存储器,该存储器记录所产生的环境地图、提示点和用户信息。此外,存储单元120存储用于由人识别单元114执行的人识别和由行为识别单元116执行的行为识别的各种程序和信息。从存储单元120读出用于每一个处理的信息。
预测单元130通过基于人的位置和移动方向以及提示点计算人是否接近提示点来预测人的行为。另外,预测单元130基于所识别的人的行为来预测人随后如何行为。预测单元130将所预测的行为发送到信息提供单元140。
信息提供单元140被布置在机器人100中,并且信息提供单元140基于关于用户的信息和所预测的行为来向用户给出提示。提示的示例包括可以被用户识别的灯的发光、在显示屏幕上的图像显示和可以被用户在听觉上识别的音频输出。可以基于对于每一个用户设置的提示级别根据用户来改变提示的内容。然而,本发明不限于在机器人100中安装信息提供单元140的情况。例如,机器人100可以包括通信单元,并且机器人100可以通过下述方式来向用户给出提示:向诸如便携电话之类的便携设备发送关于提示的信息,并且使得该便携设备接收邮件并且向用户提供震动。
驱动单元150使能机器人100的移动和操作。驱动单元150基于由机器人100本身自主产生的信号来驱动机器人100,或基于由用户的操作产生的信号来驱动机器人100。
<2.实施例的操作>
随后,将描述根据本实施例的机器人100的操作。
[提示准备处理]
首先,将描述根据本实施例的机器人100的提示准备处理。图2是图示根据本实施例的机器人100的提示准备处理的流程图。
首先,机器人100识别外部环境(步骤S11)。当机器人100识别外部环境时,机器人100可以获得关于在机器人100外部的物体的形状、位置、纹理和颜色等的信息。机器人100在转来转去的同时连续地获得这些信息。
随后,机器人100基于所获得的关于外部对象的信息来产生环境地图(步骤S12)。在机器人100识别新的外部环境的情况下,机器人100产生新的环境地图,并且向存储单元120记录所产生的环境地图。当在存储单元120中记录的环境地图与此时识别的外部环境匹配时,所记录的环境地图被更新。然后,向接口输入/输出单元102发送所产生的环境地图,并且显示屏幕显示环境地图(步骤S12)。
其后,例如,机器人100的管理员看到在显示屏幕上显示的环境地图,并且该管理员指定在环境地图中的提示点(步骤S13)。提示点是在房间中的适当位置的、在其应当给出提示的点(或位置)或在其优选地由机器人100给出提示的点。在环境地图中指定的提示点的坐标信息与在其给出提示的位置、对象的名称、提示方法和提示级别等一起被记录到存储单元120。
作为护理级别信息的分量的提示级别是用于根据接收提示的用户来分类提示点的级别。例如,当提示点的提示级别被设置为低级别时,向所有的用户给出提示。相反,当提示点的提示级别被设置为高级别时,仅向诸如老人之类的具有低身体能力的人提供提示。因此,与特定提示点相关联的护理级别信息的一个方面可以包括那个提示点的提示级别和提示信息本身。例如,如果提示级别被设置得低,则对于所有的用户给出至少一些提示。然而,如果与特定用户相关联的用户特定护理级别指示更多信息或独特信息与具有用户特定护理级别的、向该级别要求额外信息的用户相关联,则可以在那个提示点给出更多的信息。另一方面,如果另一个提示点具有更高(或不同)的提示级别,则护理级别信息可以最小(或不存在),并且仅被提供给在那种情况下需要一些帮助的特定用户,所述一些帮助如用户的用户特定护理级别信息所量化的那样。这种手段允许特定的提示点具有与其相关联的护理级别信息,这允许在环境地图内的阻碍物和其他位置都作为护理级别信息的一部分关联到离散的组内,该离散的组可以被使用普通级别来分类。类似地,用户本身可以具有与他们相关联的用户特定护理级别,使得当面对特定提示点时向那个用户提供的信息量可以适应于那个用户。老人可以具有与他们相关联的一个用户特定护理级别,而孩子可以具有与他们相关联的不同的用户特定护理级别。结果,对于特定提示点向特定用户给出的提示由与该提示点相关联的护理级别信息以及与那个用户相关联的用户特定护理级别确定。
用于指定提示点的方法可以是用于当显示屏是触摸板时使用手指和指示笔等来输入提示点的方法,或可以是用于使用鼠标和键盘来输入提示点的方法。可以可选地通过下述方式来以可听方式输入提示点:通过使得机器人移动到特定提示点或观察在特定提示点的用户。然后可以通过用户界面使用触觉命令或经由通过麦克风和音频处理电路接收的可听命令来标记提示点。类似地,用户可以具有当用户在特定位置时设置提示点的IR或RF遥控器。例如,用户可以随身携带遥控器(或其他便携无线装置,诸如智能电话或平板电脑),并且当他想起他希望在特定点提示时,用户可以按下遥控器上的按钮,这触发机器人建立新的提示点。来自便携无线装置的无线信号包括位置信息和用于描述建立提示点的请求的其他信息。诸如标识信息之类的用户信息和用户特定护理级别可以被输入以与提示点对应。也应当说明,用户特定护理级别可以是对于特定用户唯一的,或可以是多个等级之一,诸如三个不同级别之一。
然后,从机器人100接收提示的用户被管理员输入,并且被记录到存储单元120。例如,记录用户的面部信息和身体信息等。此外,对于所记录的用户的每一个设置使用哪个提示级别来向用户给出提示(步骤S14)。例如,对于几乎不需要任何提示的年轻人设置低提示级别,并且对于具有较低的注意力级别的老人设置高提示级别。
使用上面的步骤完成了提示的准备处理。
[提示处理]
随后,将说明根据本实施例的机器人100的提示处理。图3是图示根据本实施例的机器人100的提示处理的流程图。
首先,机器人100识别外部环境(步骤S21)。当机器人100识别外部环境时,机器人100可以获得关于在机器人100之外的对象的形状、位置、纹理和颜色等的信息。此外,机器人100可以通过识别外部环境来获得关于用户的面部或移动的信息。
随后,将所获得的关于用户的信息与先前登记的关于该用户的信息(例如,面部信息和身体信息)核对,由此识别该用户。此外,跟踪所识别的用户(步骤S22)。
然后,机器人100计算在环境地图中的用户的位置和移动方向,并且检测在用户和提示点之间的距离(步骤S23)。机器人100连续地检测在用户和提示点之间的距离,由此机器人100可以发现例如用户是否接近提示点和用户在该提示点停留多少秒或更多。
然后,机器人100基于用户的移动方向和在用户和提示点之间的距离来确定是否给出提示(步骤S24)。当机器人100确定要给出提示时,机器人100给出提示(步骤S26)。此时,在机器人100位于环境地图中在其机器人100不可直接识别提示点的位置的情况下,机器人100可以找到环境地图中用户和提示点之间的关系。因此,机器人100可以向用户给出提示。
另一方面,当机器人100基于用户的移动方向和在用户和提示点之间的距离确定不给出提示时,机器人识别用户的行为,并且确定用户的行为是否匹配先前登记的行为模式(步骤S25)。在作为行为识别的结果机器人100识别了与先前登记的行为模式匹配的行为或机器人100基于行为识别来预测用户可能在将来执行预定行为的情况下,机器人100给出提示(步骤S26)。另一方面,在作为行为识别的结果机器人100识别了没有行为与先前登记的行为模式匹配或机器人100未预测用户可能执行预定行为的情况下,机器人100返回到步骤S23以重复检测提示条件。
使用上面的步骤完成了一组提示处理。只要提示处理不中断地继续,则重复上面的处理操作,使得机器人100基于在用户和提示点之间的关系和用户的行为来给出提示。
[提示点的设置]
随后,将参考图4和图5来详细说明提示点的设置。当对于所产生的环境地图选择鸟瞰图模式时,例如,如图4中所示显示环境地图。图4是图示由机器人100产生的环境地图10的说明图。图4的环境地图10示出房间。在环境地图10中显示用户U1、U3和机器人100等。
当在显示屏幕上显示环境地图时,管理员指定例如提示点P11、P12、P13和P14等。通过P11来指定椅子。通过P12来指定门槛台阶。通过P13来指定地毯的台阶,通过P14来指定马桶。或者,提示点可以不是点信息,可以将每一个具有预定的面积大小的区域P11、P12、P13和P14指定为提示点。
此外,如图5中所示,不仅设置提示点的坐标信息,还设置提示点的名称和提示级别。图5是示出关于提示点的信息的表格。例如,当向所有人给出提示时,设置级别1。当仅向老人等给出提示时,设置级别3。
[用户的登记]
随后,将参考图6来说明用户的登记。图6是示出关于用户的信息的表格。如图6中所示,将用户的面部信息等的图像信息、用户ID、用户名、提示级别等彼此相关联并且记录。例如,对于老人(U1)的提示级别被设置为3,并且对于年轻人(U3)的提示级别被设置为1。
[行为识别处理]
现在,将参考图7来说明行为识别处理。图7是图示由外部识别获得的对象图像和行为识别的结果的示例的说明图。
当在行为识别之前执行面部识别处理时,可以识别从外部环境识别获得的人。在图7的示例中,在左面的人被确定为凯特,并且在右面的人被确定为莫妮卡。然而,在中间的人还没有被识别,或不可识别(未知者)。
在人的行为识别中,例如,提取特征点,并且跟踪所提取的特征点,由此可以发现人如何行为。在图7的示例中,识别出在左面的人在跑,并且在右面的人在踢。识别出在中间的人在站着而没有行走。
另外,获得整个人的中心的坐标点。可以通过跟踪坐标点在朝什么方向移动来获得人的当前位置和移动速度。可以从人的面部的位置、方向和移动速度来计算人的当前方位和移动速度。在图7的示例中,识别出在左面的人的坐标点(43,892)正在以9km/h向右移动,并且在右面的人的坐标点(51,901)正在以5km/h向左移动。
可以预测所识别的人随后如何行为,并且可以对于用于执行如上所述的人识别处理的预测行为给出提示。结果,可以在短时间内或预先向用户推荐随后的行为。
如上所述,根据本实施例,从机器人100给出提示,而不对于诸如接受护理者等的用户强加负担。此外,因为机器人100转来转去,所以机器人100可以识别宽阔范围,并且机器人100可以通过识别环境地图来识别在盲区中的人的行为。
此外,虽然在周围环境中的危险程度根据人的身体能力等而改变,但是根据本实施例的机器人100识别用户,并且根据用户来给出提示。例如,进行设置使得不向几乎不需要任何提示的用户给出提示。因此,由于可以自己预测危险程度的用户不必接收不必要的提示,所以该用户不被那些不必要的提示烦扰。另一方面,因为进行设置使得频繁地需要提示的用户在各种情况下接收提示,所以该用户可以适当地接受提示的益处。
此外,机器人100存储环境地图。因此,机器人100可以对于机器人100不能识别的盲区中的人的行为给出提示。
本领域内的技术人员应当明白,可以根据设计要求和其他因素来进行各种修改、组合、子组合和替代,只要各种修改、组合、子组合和替代在所附的权利要求或其等同内容的范围内。
例如,在上面的实施例中,机器人100使用在外部环境中执行的识别的结果来识别人。然而,本发明不限于此示例。例如,机器人100可以接收从由人拥有的GPS(全球定位系统)装置发射的信息,并且机器人100可以发现人的独特信息、位置信息和人的移动方向。即使当机器人100位于在其机器人100不能直接识别用户的位置时,机器人100从GPS装置获得关于用户的信息,并且可以基于与在环境地图中提示点的关系来向用户给出提示。
在上面的实施例的描述中,向机器人100登记用户。然而,本发明不限于这个示例。例如,本发明甚至也可以适用于对于不确定的数量的人提供提示的情况。例如,当人具有显著的外观,即人在轮椅或人在推着童车时,可以在确定外观而未识别人时给出提示。
本申请包含与在2010年3月26日在日本专利局提交的日本在先专利申请JP 2010-073032中公开的主题相关的主题,该日本在先专利申请的整体内容通过引用合并于此。

Claims (30)

1.一种机器人设备,包括:
计算机程序存储装置,其存储提示点信息和用户信息,所述提示点信息包括:
位置信息和与所述位置信息相关联的护理级别信息,
所述用户信息包括
用户的标识信息和用户特定护理级别信息;以及
确定单元,其被配置来至少基于所述提示点信息和所述用户信息确定发出提示。
2.根据权利要求1所述的机器人设备,还包括:
用户识别单元,其被配置来识别所述用户,其中
所述确定单元被配置来基于由所述用户识别单元作出的识别来确定所述用户特定护理级别信息。
3.根据权利要求1所述的机器人设备,还包括:
记录机构,其被配置来记录环境地图,其中,用于对应的提示点的提示点信息与在所述环境地图内的预定区域相关联。
4.根据权利要求3所述的机器人设备,其中:
所述记录机构被配置来记录所述环境地图的更新,所述更新由预定时间段和在所述环境地图中的内容的改变的至少一个触发。
5.根据权利要求1所述的机器人设备,还包括:
用户识别单元,其被配置来识别用户的位置,其中
所述确定单元被配置来确定当所述用户的位置位于对应的提示点的预定范围内时要给出的提示。
6.根据权利要求1所述的机器人设备,还包括:
行为识别单元,其被配置来识别所述用户的行为;以及
预测单元,其被配置来基于由所述行为识别单元识别的所述用户的当前行为来预测所述用户的未来行为;其中
所述确定单元基于由所述预测单元预测的所述用户的未来行为和对应的提示点确定要给出的提示。
7.根据权利要求1所述的机器人设备,还包括:
提示产生机构,其根据所述用户信息来产生音频提示和视频提示的至少一个。
8.根据权利要求7所述的机器人设备,其中:
由所述提示产生机构产生的提示被分类为包括行为模式和时间模式的多个模式之一。
9.根据权利要求5所述的机器人设备,还包括:
驱动单元,其被配置来移动所述机器人设备;以及
控制器,其被配置来发出移动命令,以操作所述驱动单元来将机器人向由所述用户识别单元识别的所述用户的位置移动。
10.根据权利要求1所述的机器人设备,还包括:
接收器,其被配置来从便携无线装置接收无线通信信号。
11.根据权利要求1所述的机器人设备,还包括:
发射器,其被配置来向便携无线装置发射关于提示的信息。
12.一种使用机器人设备执行的信息提供方法,包括:
存储并随后从计算机存储装置检索所述提示点信息和所述用户信息,所述提示点信息包括:
位置信息和与所述位置信息相关联的护理级别信息,
所述用户信息包括
用户的标识信息和用户特定护理级别信息;以及
使用处理器来至少基于所述提示点信息和所述用户信息确定发出提示。
13.根据权利要求12所述的方法,还包括:
使用用户识别单元来识别所述用户,其中
所述确定步骤基于由所述用户识别单元在所述识别步骤中作出的识别来确定所述用户特定护理级别信息。
14.根据权利要求12所述的方法,还包括:
在所述计算机程序存储装置中记录环境地图,其中,用于对应的提示点的提示点信息被与在所述环境地图内的预定区域相关联地存储。
15.根据权利要求14所述的方法,其中:
所述记录包括记录所述环境地图的更新,所述更新由预定时间段和在所述环境地图中的内容的改变的至少一个触发。
16.根据权利要求12所述的方法,还包括:
使用用户识别单元来识别所述用户的位置,其中
所述确定步骤包括确定当所述用户的位置位于对应的提示点的预定范围内时要给出的提示。
17.根据权利要求12所述的方法,还包括:
使用行为识别单元来识别所述用户的行为;以及
基于由所述行为识别单元识别的所述用户的当前行为来预测所述用户的未来行为;其中
所述确定步骤基于在所述预测步骤中预测的所述用户的未来行为和对应的提示点确定要给出的提示。
18.根据权利要求12所述的方法,还包括:
根据所述用户信息来产生音频提示和视频提示的至少一个。
19.根据权利要求18所述的方法,其中:
在所述产生中产生的提示被分类为包括行为模式和时间模式的多个模式之一。
20.根据权利要求16所述的方法,还包括:
发出移动命令,以将机器人向在所述识别步骤中识别的所述用户的位置移动;以及
响应于所述移动命令来使用驱动单元来移动所述机器人设备。
21.根据权利要求16所述的方法,还包括
从便携无线通信装置接收请求对于预定位置设置提示点的信号。
22.一种计算机程序存储装置,具有指令,所述指令当被处理器执行时使用机器人设备来执行方法,所述方法包括:
存储并随后从所述计算机程序存储装置检索所述提示点信息和所述用户信息,所述提示点信息包括:
位置信息和与所述位置信息相关联的护理级别信息,
所述用户信息包括
用户的标识信息和用户特定护理级别信息;以及
使用处理器来至少基于所述提示点信息和所述用户信息确定发出提示。
23.根据权利要求22所述的计算机程序存储装置,其中,所述方法还包括:
使用用户识别单元来识别所述用户,其中
所述确定步骤基于由所述用户识别单元在所述识别步骤中作出的识别来确定所述用户特定护理级别信息。
24.根据权利要求22所述的计算机程序存储装置,其中,所述方法还包括:
在所述计算机程序存储装置中记录环境地图,其中,用于对应的提示点的提示点信息被与在所述环境地图内的预定区域相关联地存储。
25.根据权利要求24所述的计算机程序存储装置,其中:
所述记录包括记录所述环境地图的更新,所述更新由预定时间段和在所述环境地图中的内容的改变的至少一个触发。
26.根据权利要求22所述的计算机程序存储装置,其中,所述方法还包括:
使用用户识别单元来识别所述用户的位置,其中
所述确定步骤包括确定当所述用户的位置位于对应的提示点的预定范围内时要给出的提示。
27.根据权利要求22所述的计算机程序存储装置,其中,所述方法还包括:
使用行为识别单元来识别所述用户的行为;以及
基于由所述行为识别单元识别的所述用户的当前行为来预测所述用户的未来行为;其中
所述确定步骤基于在所述预测步骤中预测的所述用户的未来行为和对应的提示点确定要给出的提示。
28.根据权利要求22所述的计算机程序存储装置,所述方法还包括:
根据所述用户信息来产生音频提示和视频提示的至少一个。
29.根据权利要求28所述的计算机程序存储装置,其中:
在所述产生中产生的提示被分类为包括行为模式和时间模式的多个模式之一。
30.根据权利要求22所述的计算机程序存储装置,其中,所述方法还包括:
从便携无线通信装置接收请求对于预定位置设置提示点的信号。
CN201110069128XA 2010-03-26 2011-03-18 机器人设备、机器人设备执行的信息提供方法和存储介质 Pending CN102201030A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010073032A JP5581770B2 (ja) 2010-03-26 2010-03-26 ロボット装置及びロボット装置による情報提供方法
JP2010-073032 2010-03-26

Publications (1)

Publication Number Publication Date
CN102201030A true CN102201030A (zh) 2011-09-28

Family

ID=44343047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110069128XA Pending CN102201030A (zh) 2010-03-26 2011-03-18 机器人设备、机器人设备执行的信息提供方法和存储介质

Country Status (5)

Country Link
US (1) US8972054B2 (zh)
EP (1) EP2369436B1 (zh)
JP (1) JP5581770B2 (zh)
KR (1) KR20110108264A (zh)
CN (1) CN102201030A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103884330A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
CN108734503A (zh) * 2018-03-06 2018-11-02 北京猎户星空科技有限公司 一种信息显示方法、装置及智能设备
CN109117112A (zh) * 2018-08-13 2019-01-01 维沃移动通信有限公司 一种语音引导方法、终端设备
CN109498306A (zh) * 2018-12-27 2019-03-22 昆山市工研院智能制造技术有限公司 具有对接机构的床椅分体式护理床及自动对接方法
CN110480629A (zh) * 2018-05-15 2019-11-22 发那科株式会社 机器人系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297486B (zh) * 2012-03-05 2017-03-29 联想(北京)有限公司 即时定位与地图构建方法和设备
US8983662B2 (en) * 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
US9517559B2 (en) * 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
JP6388141B2 (ja) * 2014-12-25 2018-09-12 株式会社エクォス・リサーチ 移動体
US10037712B2 (en) 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
US9914218B2 (en) 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
US10217379B2 (en) 2015-01-30 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying vision-assist device parameters based on an environment classification
CN105301997B (zh) * 2015-10-22 2019-04-19 深圳创想未来机器人有限公司 基于移动机器人的智能提醒方法和系统
KR101868374B1 (ko) 2016-10-20 2018-06-18 엘지전자 주식회사 이동 로봇의 제어방법
US11597086B2 (en) 2018-09-13 2023-03-07 The Charles Stark Draper Laboratory, Inc. Food-safe, washable interface for exchanging tools

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN1911606A (zh) * 2005-08-10 2007-02-14 株式会社东芝 用于控制机器人的行为的装置和方法
CN101002209A (zh) * 2004-08-10 2007-07-18 皇家飞利浦电子股份有限公司 用于根据临床指南配置每个病人的临床护理设置的系统和方法
CN201267592Y (zh) * 2008-10-15 2009-07-08 王红 多功能床头牌

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243504A (ja) 2003-02-17 2004-09-02 Matsushita Electric Works Ltd ロボット及び該ロボットに情報提供可能な作業対象物並びに対人サービスロボット
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP4257230B2 (ja) * 2004-02-26 2009-04-22 株式会社東芝 移動ロボット
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
JP4830438B2 (ja) 2005-10-04 2011-12-07 トヨタ自動車株式会社 自律移動装置
JP4786516B2 (ja) * 2006-12-13 2011-10-05 三菱重工業株式会社 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
JP4919856B2 (ja) * 2007-03-28 2012-04-18 セコム株式会社 移動ロボット
JP4976903B2 (ja) * 2007-04-05 2012-07-18 本田技研工業株式会社 ロボット
JP2008260107A (ja) * 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2009136987A (ja) * 2007-12-10 2009-06-25 Toyota Motor Corp 移動ロボット、及び床面形状データの補正方法
JP2010073032A (ja) 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002209A (zh) * 2004-08-10 2007-07-18 皇家飞利浦电子股份有限公司 用于根据临床指南配置每个病人的临床护理设置的系统和方法
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN1911606A (zh) * 2005-08-10 2007-02-14 株式会社东芝 用于控制机器人的行为的装置和方法
CN201267592Y (zh) * 2008-10-15 2009-07-08 王红 多功能床头牌

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103884330A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
CN103884330B (zh) * 2012-12-21 2016-08-10 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
CN108734503A (zh) * 2018-03-06 2018-11-02 北京猎户星空科技有限公司 一种信息显示方法、装置及智能设备
CN110480629A (zh) * 2018-05-15 2019-11-22 发那科株式会社 机器人系统
US10987810B2 (en) 2018-05-15 2021-04-27 Fanuc Corporation Robot system
CN109117112A (zh) * 2018-08-13 2019-01-01 维沃移动通信有限公司 一种语音引导方法、终端设备
CN109117112B (zh) * 2018-08-13 2021-07-27 维沃移动通信有限公司 一种语音引导方法、终端设备
CN109498306A (zh) * 2018-12-27 2019-03-22 昆山市工研院智能制造技术有限公司 具有对接机构的床椅分体式护理床及自动对接方法

Also Published As

Publication number Publication date
EP2369436A2 (en) 2011-09-28
JP5581770B2 (ja) 2014-09-03
US8972054B2 (en) 2015-03-03
EP2369436A3 (en) 2017-01-04
JP2011201001A (ja) 2011-10-13
KR20110108264A (ko) 2011-10-05
US20110238212A1 (en) 2011-09-29
EP2369436B1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN102201030A (zh) 机器人设备、机器人设备执行的信息提供方法和存储介质
US11892851B2 (en) System and methods for tagging accessibility features with a motorized mobile system
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
JP6694053B2 (ja) レーダ対応センサフュージョン
US10360907B2 (en) Smart necklace with stereo vision and onboard processing
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) Wearable clip for providing social and environmental awareness
JP4630146B2 (ja) 位置管理システムおよび位置管理プログラム
US8326456B2 (en) Behavior control apparatus, method, and program
CN106092091B (zh) 电子机器设备
JP2019005591A (ja) 人見知りする自律行動型ロボット
JP2008175816A (ja) ユーザ行跡追跡システム、方法および媒体
JPWO2019087484A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106415509A (zh) 集线器到集线器外设发现
US11426879B2 (en) Device, method, and program
CN104904158A (zh) 用于控制外部设备的方法和系统
CN106209595A (zh) 信息提醒方法及装置
KR101330046B1 (ko) 고령자의 일상생활지원을 위한 보행보조로봇을 이용한 고령자의 기억 보조 시스템, 및 보행보조로봇을 이용한 고령자의 기억 보조 방법
US20220016757A1 (en) Information processing device, information processing method, and program
CN212241058U (zh) 智能平台装置、电路系统与其智能系统
JPWO2020129992A1 (ja) ロボットと、ロボットのための充電ステーションおよびランドマーク装置
JP6884854B2 (ja) 音声提供装置、音声提供方法及びプログラム
CN114599434A (zh) 自主移动体、信息处理方法、程序和信息处理设备
JPWO2019087490A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240118713A1 (en) System and method for navigation support for a motorized mobile system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110928