CN106548231A - 移动控制装置、可移动机器人和移动到最佳交互点的方法 - Google Patents

移动控制装置、可移动机器人和移动到最佳交互点的方法 Download PDF

Info

Publication number
CN106548231A
CN106548231A CN201611049992.2A CN201611049992A CN106548231A CN 106548231 A CN106548231 A CN 106548231A CN 201611049992 A CN201611049992 A CN 201611049992A CN 106548231 A CN106548231 A CN 106548231A
Authority
CN
China
Prior art keywords
user
mobile robot
interaction point
optimal interaction
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611049992.2A
Other languages
English (en)
Other versions
CN106548231B (zh
Inventor
刘鸣
刘一鸣
林鹏宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201611049992.2A priority Critical patent/CN106548231B/zh
Publication of CN106548231A publication Critical patent/CN106548231A/zh
Application granted granted Critical
Publication of CN106548231B publication Critical patent/CN106548231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Abstract

本发明涉及移动控制装置、可移动机器人和移动到最佳交互点的方法。在一实施例中,一种使可移动机器人移动到最佳交互点的方法可包括:接收用户指令;基于该指令锁定用户;规划与该用户交互的最佳交互点;以及移动到该最佳交互点以与该用户进行交互。本发明的可移动机器人能够主动移动到与用户交互的最佳交互点以迎合用户的交互需求,从而改善用户的人机交互体验。

Description

移动控制装置、可移动机器人和移动到最佳交互点的方法
技术领域
本发明总体上涉及人机交互领域,更特别地,涉及一种可移动机器人,其能够自主移动到最佳交互点,从而改善用户的人机交互体验。
背景技术
可移动性对于机器人而言是一个重要特性,其能够大大提高机器人的功能性和实用性,尤其是自主移动技术的发展,改善了可移动机器人的智能水平,使得可移动机器人已经在诸多应用领域得到实用。
人机交互是用户操作和控制机器人的惯用手段,常见的人机交互方式包括语音交互、视觉交互等。相比于固定式机器人,可移动机器人对于人机交互有更高的要求。例如,可能会出现因为移动而导致交互位置过远或过近的情况,使用户感到不适;或者可能出现被其他物体遮挡的情况,这会导致交互指令不能被正确地识别,从而影响交互效率。
然而,目前尚没有针对上述问题的良好解决方案,很多可移动机器人要求用户进入到合适的区域或位置以进行交互,这会让用户感到不便。例如市场上存在的一种机器狗,它能够与人进行正常的语音和视觉交互,但是需要人主动接近它才能进入视觉交互状态,因此用户必须迎合机器狗以进行交互,交互舒适性不高。
因此,期望提供一种可移动机器人,其能够拟人化地迎合用户以进行交互,从而改善用户的人机交互体验。
发明内容
本发明的一个方面在于提供一种移动控制装置,其能够用于控制可移动机器人移动到最佳交互点以与用户交互,从而能够大大提高机器人的交互配合度,改善用户的交互体验。
本发明的另一方面还提供这样的可移动机器人、以及使可移动机器人移动到最佳交互点的方法。
根据一示例性实施例,一种使可移动机器人移动到最佳交互点的方法可包括:接收用户指令;基于该指令锁定用户;规划与该用户交互的最佳交互点;以及移动到该最佳交互点以与该用户进行交互。
在一示例中,接收用户指令包括接收用户的手势指令,锁定用户包括利用图像识别来锁定该用户。
在一示例中,接收用户指令包括接收用户的语音指令,锁定用户包括利用声源定位来确定用户的方向,以及利用图像识别来锁定该用户。
在一示例中,当确定用户的方向后,如果图像识别未能在该方向上识别到用户,则该方法还包括使该可移动机器人朝向该方向移动预定距离以识别被障碍物遮挡的用户。
在一示例中,所述方法在锁定用户之后还包括:判断可移动机器人是否处于与该用户进行交互的最佳交互点;如果可移动机器人不处于最佳交互点,则执行规划与该用户交互的最佳交互点的步骤。
在一示例中,判断可移动机器人是否处于最佳交互点的步骤包括:对所锁定的用户执行多项检测,每项检测的结果对应一得分;计算各项检测的总得分是否超过预定阈值,如果超过,则确定该可移动机器人处于最佳交互点,如果未超过,则确定该可移动机器人不处于最佳交互点。
在一示例中,计算各项检测的总得分包括将每项检测的得分乘以其对应的权重,然后计算各个乘积的总和。
在一示例中,规划与该用户交互的最佳交互点包括:建立关于环境的实时地图;确定用户在环境中的位置以建立关于用户的感知地图;融合实时地图和感知地图以确定用户在环境中的位置和移动方向,并且确定在该环境中与该用户交互的最佳交互点;以及规划从该可移动机器人的当前位置到该最佳交互点的移动路径。
在一示例中,建立关于环境的实时地图包括:载入静态地图;以及通过利用传感器实时扫描周围环境来建立动态地图。
在一示例中,建立关于用户的感知地图还包括:跟踪用户的位置以预测用户的移动。
根据另一示例性实施例,一种用于可移动机器人的移动控制装置可包括:识别模块,用于基于用户的指令识别并且锁定用户;最佳交互点规划模块,用于规划与该用户进行交互的最佳交互点;以及移动控制模块,用于控制该可移动机器人移动到该最佳交互点。
在一示例中,所述识别模块包括图像识别模块和语音识别模块。
在一示例中,所述移动控制装置还包括:判断模块,用于判断该可移动机器人是否处于与该用户进行交互的最佳交互点。
根据本发明另一示例性实施例,一种可移动机器人可包括:一个或多个传感器,用于接收来自外界的输入;驱动装置,用于驱动所述可移动机器人进行移动;以及处理器,用于运行存储在机器可读介质上的计算机程序指令以执行上述方法。
根据本发明另一示例性实施例,一种计算机程序产品可包括计算机程序指令,所述计算机程序指令在被处理器运行时使所述处理器执行上述方法。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是示出根据本发明一示例性实施例的使可移动机器人移动到最佳交互点的方法的流程图。
图2是示出根据本发明一示例性实施例的判断可移动机器人是否处于最佳交互点的方法的流程图。
图3示出根据本发明一示例性实施例的规划最佳交互点的方法的流程图。
图4A示出根据本发明一示例性实施例的静态地图的示例。
图4B示出根据本发明一示例性实施例的感知地图的示例。
图4C示出根据本发明一示例性实施例的动态地图的示例。
图4D示出根据本发明一示例性实施例的融合地图的示例。
图5是示出根据本发明另一示例性实施例的使可移动机器人移动到最佳交互点的方法的流程图。
图6示出根据本发明一示例性实施例的移动控制装置的功能框图。
图7示出根据本发明一示例性实施例的可移动机器人的结构框图。
具体实施方式
下面,将参考附图详细地描述根据本发明的示例性实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,这些示例性实施例仅用于说明本发明的原理,本发明不受这里描述的示例性实施例的限制。
图1是示出根据本发明一示例性实施例的使可移动机器人移动到最佳交互点的方法100的流程图。首先应理解的是,本文描述的可移动机器人可以是具有任何外观、功能、用途的能够移动并且能够与用户交互的机器人,例如巡逻机器人、导游机器人、扫地机器人、咨询服务机器人等。
如图1所示,方法100可始于步骤S101,可移动机器人处于监视模式,也可称为待命模式。在该模式中,可移动机器人可以利用其上安装的各种传感器监视周围环境,以识别用户输入的各种指令。可以理解,可移动机器人上可安装有各种传感器,典型的包括图像传感器和语音传感器。图像传感器可以包括一个或多个单目、双目或更多目摄像头等,语音传感器可包括麦克风或麦克风阵列,麦克风阵列包括按预定图案排列的多个麦克风,其配合处理电路或软件能实现更多的功能,诸如降噪、声源定位等。当然,可移动机器人也可包括其他类型的传感器,这里不再一一描述。利用这些传感器,可移动机器人可接收各种形式的用户指令,包括视觉指令和语音指令等。
在步骤S102中,判断可移动机器人是否在预定时间内接收到用户指令。该预定时间可以是任意时间段,例如三分钟、五分钟、十分钟等,可以根据具体的应用场景来设定。如果可移动机器人在预定时间内未收到任何用户指令,则其可以进入休眠模式。与监视模式不同,在休眠模式中可移动机器人的大多数功能模块可以停止工作,从而可以降低能耗。休眠模式的可移动机器人仅监视特定的用户指令,即唤醒指令。唤醒指令可以是例如语音指令,例如特定的关键词,或者是视觉指令,例如特定的手势或手势动作,也可以是其他指令。应理解,唤醒指令不限于一个,而是可以使用多个唤醒指令,每个都可以用来唤醒可移动机器人。在一些实施例中,也可以使用人脸识别来执行唤醒操作,这样只有特定的人才能够唤醒可移动机器人。当在步骤S104中可移动机器人被唤醒指令唤醒时,其进入步骤S101的监视模式,否则其保持在休眠模式。
当在步骤S102中接收到用户指令时,则方法100可以进行到步骤S105,在该步骤中可移动机器人可以基于所接收到的用户指令来检测相应的用户。检测用户的方法可根据用户指令而有所不同。例如,当用户指令是视觉指令,例如手势动作时,可以直接将在用户检测为请求交互的用户;当用户指令是语音指令时,则可移动机器人可以旋转一圈以寻找用户,如果周围只有一个用户,在将该用户确定为交互用户,如果周围有多个用户,则还可以利用声源定位来确定语音指令的来源方向,从而将在该方向上的用户确定为交互用户。在另一些实施例中,可移动机器人也可以先利用声源定位确定语音指令的来源方向,然后利用图像识别直接检测该方向上的用户。
然而,可移动机器人的使用场景非常多样,因此其所面对的环境是复杂的。在一种特殊场景下,有可能可移动机器人在通过声源定位确定的方向上不能检测到任何用户,例如声源方向上的通道有拐弯,导致用户被遮挡。此时,在一实施例中,可移动机器人可以朝向声源方向移动一定距离,再检测用户,从而可以检测到被障碍物遮挡的用户,大大提高可移动机器人的智能水平。此外,在可移动机器人向声源方向行进以搜寻用户时,还可能接收到用户的进一步语音指令提示,从而有助于检测到用户。
当可移动机器人在步骤S105中检测到与所接收的指令对应的交互用户时,就锁定该用户。在步骤S106中可判断是否锁定了用户。如果仍未锁定用户,则可以返回到步骤S102,判断是否接收到用户的进一步指令。
当在步骤S106中确定锁定了用户时,则方法100可以进行到步骤S107,判断可移动机器人是否处于与当前用户进行交互的最佳交互点。判断是否处于最佳交互点的步骤S107将在下面进一步详细地描述。如果在步骤S107中确定处于最佳交互点,则可移动机器人不需要移动位置,可以保持在该位置以执行人机交互步骤S110。如果在步骤S107中确定可移动机器人当前不处于最佳交互点,则方法100进行至步骤S108,在该步骤中规划最佳交互点,然后在步骤S109中可以使可移动机器人移动到所规划的交互点,并且返回到步骤S107。同样,规划最佳交互点的步骤S108也将在下面进一步详细描述。
应理解,即使在人机交互时,锁定用户也可能处于移动之中,从而最佳交互点可能会发生变化。为了使可移动机器人保持处于最佳交互点,需要针对锁定用户重复执行步骤S107,从而当用户移动而导致可移动机器人不再处于最佳交互点时,可以通过步骤S108来重新规划最佳交互点,由此使得可移动机器人能够一直保持在最佳交互位置,直到交互结束或因其他原因而使可移动机器人停止对该用户的锁定为止。此外应理解的是,最佳交互点不限于一个位置点,而是包括能与用户进行方便、顺畅、舒适的人机交互的区域中的任意位置点,这也将在下面进行进一步的描述。
上面描述了使可移动机器人移动到最佳交互点的大体方法过程100。图2示出根据本发明一示例性实施例的判断可移动机器人是否处于最佳交互点的方法200的流程图。可以理解,方法200可用于在图1的方法100中的步骤S107中执行。
由于可移动机器人的应用场景和环境很多,使得最佳交互点的确定可能因不同场景而不同。在本发明的一实施例中,采用了综合检测、整体判断的方法来确定是否处于最佳交互点。简言之,对锁定用户进行多项检测,每项检测的结果可以对应于一得分,通过计算各项检测的总得分,来判断可移动机器人当前是否处于最佳交互点。
如图2所示,首先对锁定用户执行多项检测,例如,可以执行检测S201至S207中的一种或多种,下面将逐一描述这些检测内容。
S201人脸检测,即检测可移动机器人是否能看到用户的人脸,根据看到的人脸的大小,来给出相应的检测得分。如果能够看到完整的人脸正面,则得分高;如果只能看到人脸侧面,或者只能看到部分人脸,则得分低。应理解,本发明不限于此,在一些应用场景中,例如在恶作剧机器人的应用中,也可以在能检测到人脸正面时得分低。
S202头肩检测,即检测用户的头部和肩部轮廓。如果能够看到完整的头肩轮廓,则得分高;如果只能看到头肩侧面,或者只能看到部分头肩轮廓,则得分低。同样,本发明不限于此,在一些应用场景中,也可以在能检测到完整的头肩轮廓时得分低。
S203人体检测,即检测整个人体轮廓,该检测还能够得到从可移动机器人到人体头部的大致视角。如果能检测到整个轮廓,并且从可移动机器人到人体头部的视角在舒适的角度范围内,则得分高;反之,则得分低。
S204人手检测,即检测用户的人手。如果能检测到两个人手以及胳膊,表明可以方便地检测用户的手势命令,则得分高;反之,如果只能检测到一只手,或者只能检测到部分胳膊,则得分低。
S205距离检测,即检测可移动机器人与用户之间的水平距离,这可以利用专门的距离传感器来检测,也可以利用双目甚至单目摄像头来检测。如果人机距离在合适的范围内,则得分高,如果过远或过近,则得分低。
S206障碍检测,即检测可移动机器人与用户之间是否存在障碍遮挡。如果没有障碍,则得分高;反之,则得分低。
S207位置检测,即检测用户在环境地图中的位置。可移动机器人中可存储有静态环境地图,根据用户相对于可移动机器人的位置,即可确定用户在静态地图中的位置。根据用户在环境地图中的位置,也可以确定可移动机器人的当前位置的得分高低。
虽然上面给出了针对示例检测的一些得分策略,但是应理解,本发明不限于这些得分策略。而是,根据不同的应用场景,也可以采用不同的得分策略。例如,在某些应用场景中能检测到一特征则得分高,而在另一些场景中能检测到该特征则得分低。这些变化都未偏离本发明的原理,而是落在本发明的范围内。
还应理解的是,上面的这些检测可以不是彼此独立的,而是可以相互关联地来考虑。例如,如果用户在环境中站在窗户前(位置检测S207)并且面向窗户外(头肩检测S202和人脸检测S201),则用户身后的位置得分较高(位置检测S207)。此外,各项检测的得分可以具有相应的权重。例如,人脸检测S201和人手检测S204可以具有较高的权重,人体检测S203可以具有较低的权重,等等。还应理解的是,也可以对用户执行这里未列出的其他检测。
然后在步骤S208,计算各项检测的总得分,或者是带权重的总得分。在步骤S209中将总得分与预定阈值相比较。如果超过预定阈值,则在步骤S211中确定可移动机器人当前处于最佳交互点;否则,则在步骤S210中确定可移动机器人当前不处于最佳交互点。
应理解,对于不同的应用环境,上述各项检测的得分和权重、以及预定阈值可以有所不同。在本发明一示例性实施例中,可以事先通过机器学习来为各种应用场景建立模型,从而能够针对具体的应用场景准确地判断是否处于最佳交互点。
当可移动机器人当前不处于最佳交互点时,如图1所示,需要规划最佳交互点。图3示出根据本发明一示例性实施例的规划最佳交互点的方法300的流程图。如图3所示,方法300可以始于开始步骤S301,然后在步骤S302中载入静态地图,并且在步骤S303中建立动态地图。
将理解的是,静态地图是可移动机器人的使用环境中的静止对象构成的地图,其示例示于图4A中。如图4A所示,静态地图包括可移动机器人401所在的环境中的固定障碍402。动态地图则是可移动机器人的使用环境中的经常移动的对象构成的地图,其示例示于图4C中。如图4C所示,动态地图包括可移动机器人401所在的环境中的不固定(动态)障碍404。应理解的是,固定障碍和动态障碍可能相互转化。例如,当动态障碍404长时间固定不动时,可移动机器人401可将其识别为固定障碍,并且更新静态地图。另一方面,如果某一固定障碍突然从原来的位置移动离开,则可移动机器人401同样更新静态地图,去除该固定障碍。静态地图和动态地图示出了可移动机器人401的使用环境中的所有障碍。
在步骤S302中,可移动机器人可以直接载入其所存储的静态地图;在步骤S303中,可移动机器人则需要使用各种传感器(例如摄像头、雷达等)对环境进行扫描,以建立动态地图。静态地图和动态地图的组合构成了实时环境地图。虽然图3示出了载入静态地图的步骤S302和建立动态地图的步骤S303,但是在本发明另一示例性实施例中,也可以不使用静态地图,而是通过实时扫描来建立整个实时环境地图。使用静态地图的方案是优选的,因为这将大大提高视觉定位的鲁棒性,同时减小对于固定障碍的扫描和识别的计算量,从而缩短处理时间。
继续参照图3,在步骤S304中持续跟踪用户,从而可以在步骤S305中预测用户的移动。例如,如果检测到用户正以一速度朝向一方向移动,则可以预测该用户在一定时间内的位置。然后,在步骤S306中建立感知地图,感知地图可以是关于用户的当前位置、移动速度、移动方向、以及预测位置中的一项或多项的地图。图4B示出了感知地图的示例,其示出了用户403正以速度v朝向一方向移动。
接下来,在步骤S307中进行静态地图、动态地图(或者相当于二者的组合的实时地图)、以及感知地图的融合,产生融合地图,其示例示于附图4D中。如图4D所示,融合地图包括环境中的所有障碍以及用户在环境中的位置,可选地还包括用户的当前移动状态、以及所预测的用户的将来位置。
基于该融合地图,即可在步骤S308中确定最佳交互点。应理解,确定最佳交互点的策略有多种。例如,如果用户静止不动,则可以确定用户面前适当距离处的一个区域为最佳交互点。如果用户面向窗外,则可以选择用户后方或侧后方适当距离处的一个区域为最佳交互点。如果用户正在移动,则可以预测用户403在一短时间后的位置,该时间可以大致取决于可移动机器人401与用户403之间的距离,即可移动机器人401走到用户403当前位置附近所需的时间,然后根据该预测位置来规划最佳交互点,例如在该用户后面一适当距离处。可以根据不同的场景来应用不同的策略以确定最佳交互点。还应理解的是,最佳交互点不局限于某个点,而是能够在该场景下方便、舒适地进行类似人与人之间的交流的区域中包括的所有点,都可以被认为是最佳交互点。当存在多个点时,可移动机器人可以根据预先设置的策略自动地选取某一点。
在步骤S308中确定了最佳交互点之后,可以在步骤S309中规划可移动机器人401从当前位置移动到最佳交互点的路径,该路径规划可以利用融合地图方便地进行,图4D示出了规划得到的路径的示例,如从可移动机器人401引出的虚线箭头所示。这样,可移动机器人401可以越过障碍,包括固定障碍402和动态障碍404等,到达合适的位置与用户403进行交互。
如上所述,通过采用图2所示的判断方法和图3所示的规划方法,即可完成图1所示的使可移动机器人移动到最佳交互点的方法。由此,在接收到来自用户的请求交互的指令后,可移动机器人能够判断用户,并且主动移动到最佳交互点,迎合用户进行交互,提高了机器人的智能化水平,使用户能够获得更富满足感的交互体验。
图5是示出根据本发明另一示例性实施例的使可移动机器人移动到最佳交互点的方法500的流程图。可以看出,方法500基本采用了与方法100相同的步骤,只是省略了判断步骤S107。下面仅描述方法500与方向100不同的部分。
如图5所示,在步骤S106中确定锁定了用户之后,即可在步骤S108中规划最佳交互点。同样,规划最佳交互点的步骤S108可以如图3所示的方法300那样执行。然后在步骤S109,可移动机器人可以移动到所规划的最佳交互点,并且在该位置进行人机交互步骤S110。应理解的是,由于用户可能移动,所以规划最佳交互点的步骤S108可移动到最佳交互点的步骤S109是在交互过程中不断重复地进行的,从而使得可移动机器人可以保持在最佳交互位置,直到交互结束或因其他原因而使可移动机器人停止对该用户的锁定为止。
与图1所示的方法100相比,方法500省略了判断步骤S107,而是通过重复执行规划步骤S108并且在步骤S109中使可移动机器人移动到规划的交互点来使可移动机器人保持在最佳交互点。因此,方法500更简单,且易于执行。
图6示出根据本发明一示例性实施例的移动控制装置600的功能框图。如图6所示,移动控制装置600可包括识别模块610,其可用于识别用户的指令并且锁定用户。例如,识别模块610可包括图像识别模块612和语音识别模块614以接收来自用户的视觉指令或语音指令,并且通过图像检测、声源定位等技术来锁定用户。将理解的是,除了接收用户指令之外,识别模块610还可用于识别各种其他环境数据,例如用于关于图2描述的各种检测以及关于图3描述的建图步骤等。
移动控制装置600还可包括最佳交互点规划模块620和移动控制模块630。最佳交互点规划模块620可用于规划与用户进行交互的最佳交互点,如关于图3描述的那样,这里不再重复描述。基于规划模块620规划的最佳交互点,移动控制模块630可以控制可移动机器人移动到该最佳交互点。
可选地,移动控制装置600还可包括判断模块640,其可配置为执行图2所示的判断操作。具体而言,判断模块640可以与识别单元610协作,确定对用户和环境的逐项检测的得分,确定得分的总和或加权总和,并且基于该总和来确定可移动机器人当前是否处于最佳交互点。
因此,图6的移动控制装置600可配置来执行前面关于图1-3、5所描述的方法。应理解的是,移动控制装置600的这些功能块可以通过硬件、软件、硬件与软件的组合、固件等形式来实施以实现其功能。还可以理解的是,图6描绘的功能框中每个都可以组合或者分离成子框以实施上面描述的本发明的原理。因此,这里的描述可以支持这里描述的功能框的任何可行的组合或分离或者进一步定义。
图7示出根据本发明一示例性实施例的可移动机器人700的结构框图。如图7所示,可移动机器人700可包括多个传感器710a和710b、存储器720、交互装置730、驱动装置740和处理器750,它们通过总线系统760彼此连接。
如图7所示,多个传感器710a、710b可以分别是图像传感器和语音传感器。例如,图像传感器710a可以是单目摄像头、双目摄像头或者更多目的摄像头等,语音传感器710b可以是麦克风或麦克风阵列,麦克风阵列包括按预定图案排列的多个麦克风。虽然图7示出了两个传感器,但是应理解,可移动机器人700可包括更多或更少的传感器,例如仅包括图像传感器,或者出了图像和语音传感器之外还包括诸如雷达之类的距离传感器等。
存储器720可以是其上存储有计算机程序指令的各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。所述存储器720还可以是可移除存储器或者诸如网络附属存储(NAS)之类的远程存储器。存储器720中还可以存储各种其他应用程序和数据,例如用户数据、用于人机交互的知识数据库等。
交互装置730可用于与用户执行人机交互,其可因可移动机器人700的具体用途而具有特定的交互功能。例如,交互装置730可包括扬声器、显示屏、各种颜色的指示灯等。
驱动装置740可以驱动可移动机器人700的驱动轮或者履带从而使可移动机器人700移动到期望的位置。例如,驱动装置740可以是驱动电机,其可以由可移动机器人700中的蓄电池供电,或者可以通过电缆连接到插座以获取供电。
处理器750可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元、处理核、或控制器。处理器750可以执行存储器720中存储的计算机程序指令,从而使得可移动机器人700能够执行前面参照图1-3、5-6描述的步骤或方法,这里不再对这些步骤或方法进行重复的描述,但是基于前面的描述,这里对这些步骤或方法的执行对于本领域技术人员而言是清楚的。
除了上述方法、装置和设备以外,本申请的各示例性实施例还可以包括计算机程序产品,其包括有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书中描述的根据本发明各示例性实施例的步骤和方法。
所述计算机程序产品所包括的程序指令可以由一种或多种程序设计语言编写,所述程序设计语言的示例包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在可移动机器人上执行、部分地在可移动机器人上执行、作为一个独立的软件包执行、部分在可移动机器人上部分在远程计算设备(例如,用户的便携式电子设备,诸如手机或平板)上执行、或者完全在远程计算设备或服务器上执行。
此外,本发明的示例性实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书描述的根据本发明各示例性实施例的步骤或步骤。
所述计算机可读存储介质可以采用一种或多种机器可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合示例性实施例描述了本发明的基本原理,但是需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须同时具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不将本发明限制为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。本申请提供的流程图所示的方法并不限于流程图的说明顺序,而是,多个步骤可以按照不同的顺序执行,或者两个或更多步骤可以同时执行,这些变化对于本领域技术人员而言是显见的。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (15)

1.一种使可移动机器人移动到最佳交互点的方法,包括:
接收用户指令;
基于该指令锁定用户;
规划与该用户交互的最佳交互点;以及
移动到该最佳交互点以与该用户进行交互。
2.如权利要求1所述的方法,其中,接收用户指令包括接收用户的手势指令,锁定用户包括利用图像识别来锁定该用户。
3.如权利要求1所述的方法,其中,接收用户指令包括接收用户的语音指令,锁定用户包括利用声源定位来确定用户的方向,以及利用图像识别来锁定该用户。
4.如权利要求3所述的方法,其中,当确定用户的方向后,如果图像识别未能在该方向上识别到用户,则该方法还包括使该可移动机器人朝向该方向移动预定距离以识别被障碍物遮挡的用户。
5.如权利要求1所述的方法,在锁定用户之后,还包括:
判断可移动机器人是否处于与该用户进行交互的最佳交互点;
如果可移动机器人不处于最佳交互点,则执行规划与该用户交互的最佳交互点的步骤。
6.如权利要求5所述的方法,其中,判断可移动机器人是否处于最佳交互点的步骤包括:
对所锁定的用户执行多项检测,每项检测的结果对应一得分;
计算各项检测的总得分是否超过预定阈值,如果超过,则确定该可移动机器人处于最佳交互点,如果未超过,则确定该可移动机器人不处于最佳交互点。
7.如权利要求6所述的方法,其中,计算各项检测的总得分包括将每项检测的得分乘以其对应的权重,然后计算各个乘积的总和。
8.如权利要求1所述的方法,其中,规划与该用户交互的最佳交互点包括:
建立关于环境的实时地图;
确定用户在环境中的位置以建立关于用户的感知地图;
融合实时地图和感知地图以确定用户在环境中的位置,并且确定在该环境中与该用户交互的最佳交互点;以及
规划从该可移动机器人的当前位置到该最佳交互点的移动路径。
9.如权利要求8所述的方法,其中,建立关于环境的实时地图包括:
载入静态环境地图;以及
通过利用传感器实时扫描环境来建立动态地图。
10.如权利要求8所述的方法,其中,建立关于用户的感知地图还包括:
跟踪用户的位置以预测用户的移动。
11.一种用于可移动机器人的移动控制装置,包括:
识别模块,用于基于用户的指令识别并且锁定用户;
最佳交互点规划模块,用于规划与该用户进行交互的最佳交互点;以及
移动控制模块,用于控制该可移动机器人移动到该最佳交互点。
12.如权利要求11所述的移动控制装置,其中,所述识别模块包括图像识别模块和语音识别模块。
13.如权利要求11所述的移动控制装置,还包括:
判断模块,用于判断该可移动机器人是否处于与该用户进行交互的最佳交互点。
14.一种可移动机器人,包括:
一个或多个传感器,用于接收来自外界的输入;
驱动装置,用于驱动所述可移动机器人进行移动;以及
处理器,用于运行存储在机器可读介质上的计算机程序指令以执行权利要求1至10中的任一项所述的方法。
15.一种计算机程序产品,包括计算机程序指令,所述计算机程序指令在被处理器运行时使所述处理器执行权利要求1至10中的任一项所述的方法。
CN201611049992.2A 2016-11-24 2016-11-24 移动控制装置、可移动机器人和移动到最佳交互点的方法 Active CN106548231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611049992.2A CN106548231B (zh) 2016-11-24 2016-11-24 移动控制装置、可移动机器人和移动到最佳交互点的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611049992.2A CN106548231B (zh) 2016-11-24 2016-11-24 移动控制装置、可移动机器人和移动到最佳交互点的方法

Publications (2)

Publication Number Publication Date
CN106548231A true CN106548231A (zh) 2017-03-29
CN106548231B CN106548231B (zh) 2020-04-24

Family

ID=58394881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611049992.2A Active CN106548231B (zh) 2016-11-24 2016-11-24 移动控制装置、可移动机器人和移动到最佳交互点的方法

Country Status (1)

Country Link
CN (1) CN106548231B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717532A (zh) * 2018-05-23 2018-10-30 梧州井儿铺贸易有限公司 一种人机交互效果良好的智能机器人
CN109048899A (zh) * 2018-08-15 2018-12-21 深圳市烽焌信息科技有限公司 一种巡逻机器人及存储介质
CN109062212A (zh) * 2018-08-15 2018-12-21 深圳市烽焌信息科技有限公司 一种用于巡逻的机器人及存储介质
CN109085833A (zh) * 2018-08-15 2018-12-25 深圳市烽焌信息科技有限公司 一种巡逻机器人及存储介质
CN109145697A (zh) * 2017-08-10 2019-01-04 湖南超能机器人技术有限公司 一种语音召唤智能居家康护机器人的方法
CN109307856A (zh) * 2017-07-27 2019-02-05 深圳市冠旭电子股份有限公司 一种机器人空间定位的交互方法及装置
CN109480708A (zh) * 2018-12-19 2019-03-19 珠海市微半导体有限公司 清洁机器人的位置提醒方法
JP2019160289A (ja) * 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
CN110916576A (zh) * 2018-12-13 2020-03-27 成都家有为力机器人技术有限公司 基于声音和图像识别指令的清洁方法及清洁机器人
CN111065981A (zh) * 2017-09-25 2020-04-24 日本电产新宝株式会社 移动体和移动体系统
CN112447065A (zh) * 2019-08-16 2021-03-05 北京地平线机器人技术研发有限公司 一种轨迹规划方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术(北京)有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105825268A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向机器人学习动作表达的数据处理方法和系统
CN105929827A (zh) * 2016-05-20 2016-09-07 北京地平线机器人技术研发有限公司 移动机器人及其定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术(北京)有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105825268A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向机器人学习动作表达的数据处理方法和系统
CN105929827A (zh) * 2016-05-20 2016-09-07 北京地平线机器人技术研发有限公司 移动机器人及其定位方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109307856A (zh) * 2017-07-27 2019-02-05 深圳市冠旭电子股份有限公司 一种机器人空间定位的交互方法及装置
CN109145697A (zh) * 2017-08-10 2019-01-04 湖南超能机器人技术有限公司 一种语音召唤智能居家康护机器人的方法
CN111065981A (zh) * 2017-09-25 2020-04-24 日本电产新宝株式会社 移动体和移动体系统
JP2019160289A (ja) * 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP7225763B2 (ja) 2018-03-07 2023-02-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
CN108717532A (zh) * 2018-05-23 2018-10-30 梧州井儿铺贸易有限公司 一种人机交互效果良好的智能机器人
CN108717532B (zh) * 2018-05-23 2020-04-10 扬州小纳熊机器人有限公司 一种人机交互效果良好的智能机器人
CN109085833A (zh) * 2018-08-15 2018-12-25 深圳市烽焌信息科技有限公司 一种巡逻机器人及存储介质
CN109062212A (zh) * 2018-08-15 2018-12-21 深圳市烽焌信息科技有限公司 一种用于巡逻的机器人及存储介质
CN109048899A (zh) * 2018-08-15 2018-12-21 深圳市烽焌信息科技有限公司 一种巡逻机器人及存储介质
CN110916576A (zh) * 2018-12-13 2020-03-27 成都家有为力机器人技术有限公司 基于声音和图像识别指令的清洁方法及清洁机器人
CN109480708A (zh) * 2018-12-19 2019-03-19 珠海市微半导体有限公司 清洁机器人的位置提醒方法
CN109480708B (zh) * 2018-12-19 2021-02-23 珠海市一微半导体有限公司 清洁机器人的位置提醒方法
CN112447065A (zh) * 2019-08-16 2021-03-05 北京地平线机器人技术研发有限公司 一种轨迹规划方法及装置
CN112447065B (zh) * 2019-08-16 2022-04-26 北京地平线机器人技术研发有限公司 一种轨迹规划方法及装置

Also Published As

Publication number Publication date
CN106548231B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN106548231A (zh) 移动控制装置、可移动机器人和移动到最佳交互点的方法
CN108303972B (zh) 移动机器人的交互方法及装置
CN106660208B (zh) 用于机器人装置的虚拟安全罩
CN105144202B (zh) 基于人类‑机器人交互来调节机器人行为
JP6744679B2 (ja) ヒューマンマシンハイブリッド意思決定方法および装置
JP4976903B2 (ja) ロボット
CN105425795B (zh) 规划最优跟随路径的方法及装置
US11858148B2 (en) Robot and method for controlling the same
US11217246B2 (en) Communication robot and method for operating the same
US20190091865A1 (en) Robot systems incorporating cloud services systems
US20160025499A1 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US20200064827A1 (en) Self-driving mobile robots using human-robot interactions
US20210158815A1 (en) Remote control method and apparatus for an imaging apparatus
US11269328B2 (en) Method for entering mobile robot into moving walkway and mobile robot thereof
US20210097852A1 (en) Moving robot
KR20190100085A (ko) 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법
CN106292657A (zh) 可移动机器人及其巡逻路径设置方法
CN109159733A (zh) 无人车路口通行的方法、装置、设备及存储介质
WO2011146254A2 (en) Mobile human interface robot
JP6134895B2 (ja) ロボット制御システム、ロボット制御プログラムおよび説明ロボット
KR102331672B1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
KR20190085895A (ko) 사용자의 시선에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법
KR20190104488A (ko) 인공 지능을 이용하여, 오브젝트의 이동을 관리하는 인공 지능 로봇 및 그의 동작 방법
Ahn et al. PDA-based mobile robot system with remote monitoring for home environment
KR20190098102A (ko) 외부 기기를 제어하기 위한 인공 지능 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant