CN117762122A - 机器人引领方法及装置 - Google Patents
机器人引领方法及装置 Download PDFInfo
- Publication number
- CN117762122A CN117762122A CN202211124670.5A CN202211124670A CN117762122A CN 117762122 A CN117762122 A CN 117762122A CN 202211124670 A CN202211124670 A CN 202211124670A CN 117762122 A CN117762122 A CN 117762122A
- Authority
- CN
- China
- Prior art keywords
- robot
- user
- destination
- state
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000001276 controlling effect Effects 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000010030 laminating Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 50
- 230000000875 corresponding effect Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000012790 confirmation Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000037361 pathway Effects 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001122315 Polites Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请提供一种机器人引领方法及装置,涉及终端技术领域,能够实现对用户的陪伴,给用户带来便利。方法包括:机器人接收用户指令,用户指令用于指示用户行进的目的地;机器人根据用户指令控制目标路径上的一个或多个设备的状态,目标路径为从用户的位置到达目标地的路径;机器人按照目标路径引领用户行进到目的地。
Description
技术领域
本申请涉及终端技术领域,尤其涉及机器人引领方法及装置。
背景技术
随着人工智能技术的快速发展,为给用户带来更加智能化的服务以及体验,众多产品形态的机器人应运而生,如家居场景中的扫地机器人,陪伴交互场景中的服务型机器人等。且随着社会节奏的加快,父母或者子女无法做到时常(比如:夜晚、工作时间等)陪伴在家人身边,用户可能期望一种陪伴型的机器人,以代替自己陪护家人。
发明内容
本申请提供一种机器人引领方法及装置,能够实现对用户的陪伴,给用户带来便利。
第一方面,本申请提供一种机器人引领方法,方法包括:机器人接收用户指令,用户指令用于指示用户行进的目的地;机器人根据用户指令控制目标路径上的一个或多个设备的状态,目标路径为从用户的位置到达目标地的路径;机器人按照目标路径引领用户行进到目的地。
基于上述技术方案,机器人在接收到用于指示用户行进的目的地的指令之后,可以控制行进路径上的一个或多个设备的状态,帮助用户进行对应设备的管控。比如:在老人、孩童夜间出行时,这些设备可以是灯光、移动机器人等各种设备,通过打开灯光等,可以利于老人、孩童的出行,还可以照顾到儿童恐惧黑暗的心理,给用户带来智能化以及人性化的体验。并且,机器人还会陪伴用户行进到目的,对于老人、儿童等群体,使得其有一种被照顾以及陪伴的感受,给用户带来人文关怀。
一种可能的设计中,在机器人根据用户指令控制目标路径上的一个或多个设备的状态之前,方法还包括:机器人根据目标地图确定目标路径上的一个或多个设备以及一个或多个设备的初始状态,目标地图为基于机器人所处环境构建的地图。基于该设计,机器人根据基于所处环境构建的地图,也即全场景地图即可远程获知行进路径上存在哪些设备以及各设备的初始状态等,无需人为确认,更加便捷以及智能。
一种可能的设计中,在机器人根据用户指令控制目标路径上的一个或多个设备的状态之前,方法还包括:机器人根据目标地图、目的地以及用户的位置确定目标路径。基于该设计,机器人即可规划好行进到目的地的路径,以便于引领用户行进。
一种可能的设计中,在机器人按照目标路径引领用户行进到目的地之前,方法还包括:机器人获取用户的生理参数;机器人根据用户的生理参数确定目标距离,目标距离为机器人引领用户行进到目的地的过程中,机器人和用户之间的距离。这样,由于不同用户的生理参数是不同的,因此能够根据用户的生理参数确定适用于该用户的陪伴距离,保证不同用户的需求,也可以保证与用户适中的距离,让用户存在被陪伴的感觉。
一种可能的设计中,在机器人按照目标路径引领用户行进到目的地之前,方法还包括:机器人根据用户的生理参数确定机器人的初始速度。基于该设计,根据用户的生理参数设定与之相适应的速度,使得用户容易跟随机器人,也可以保证机器人一直陪伴在用户身边,让用户有被陪伴的感觉。
一种可能的设计中,生理参数包括年龄、身高、体重中的一种或多种。
一种可能的设计中,机器人根据用户指令控制目标路径上的一个或多个设备的状态,包括:机器人根据用户指令以及每个设备所处地点的特征信息控制每个设备的状态,每个设备属于目标路径上的设备。由于不同地点的特征信息(比如:是否有人占用、用户是否处于睡眠状态等)可能是不同的,基于该设计,根据设备所处地点的特征信息来控制对应设备的状态,可以使得管控的结果更加智能化以及人性化,在给用户带来便利的同时,避免给他人带来影响。
一种可能的设计中,特征信息包括以下一种或多种:环境状态,设备状态、占用状态、用户状态;环境状态包括亮暗程度、空气清新度、温度、潮湿度、门锁状态、房门状态中的一种或多种;设备状态包括开启状态、关闭状态、故障状态、无故障状态中的一种或多种;占用状态包括被占用状态、未被占用状态;用户状态包括睡眠状态,清醒状态、工作状态、学习状态、忙碌状态、休闲状态中的一种或多种。
一种可能的设计中,在机器人根据用户指令以及每个设备所处地点的特征信息控制每个设备的状态之前,方法还包括:机器人根据目标地图与每个设备所处地点中的智能设备进行交互,获取每个地点的特征信息。基于该设计,机器人可以远程判定各设备所处地点的状态,无需人为确认,更加便捷智能。
一种可能的设计中,在机器人按照目标路径引领用户行进到目的地的过程中,方法还包括:机器人确定目标视野是否被遮挡,目标视野为机器人到用户的视野。基于该设计,通过判断机器人到用户的视野是否被遮挡,可以使得用户一直处于机器人的视野之内,可以防止发生意外情况而机器人未识别到的情况,还使得用户有被陪伴的感受以及体验。
一种可能的设计中,机器人确定目标视野是否被遮挡,包括:机器人根据预估的机器人下一时刻的位姿、以及用户当前时刻的位姿预测下一时刻目标视野是否被遮挡。
一种可能的设计中,预估的机器人下一时刻的位姿根据机器人当前时刻的位姿,机器人当前时刻的速度、目标路径以及时间间隔确定,时间间隔为当前时刻与下一时刻之间的时间间隔。
一种可能的设计中,若预测下一时刻目标视野被遮挡,方法还包括:机器人确定临时地点,处于临时地点的机器人到用户当前位姿的视野预测不被遮挡。基于该设计,通过选择临时地点,可以保证机器人到用户的视野不被遮挡。
一种可能的设计中,机器人确定临时地点包括:机器人根据预设距离条件和/或路径贴合度条件确定临时地点;其中,预设距离条件包括第一距离满足第一条件,和/或第二距离满足第二条件;第一距离为机器人当前时刻的位姿与临时地点之间的距离,第二距离为用户当前时刻的位姿与临时地点之间的距离;路径贴合度条件包括:机器人当前时刻的位姿到临时地点的路径,和机器人当前时刻的位姿到预估的机器人下一时刻的位姿的路径的偏差程度满足第三条件。可选的,偏差程度也可以用贴合程度描述。基于该设计,可以选取的临时目标点能够保证机器人与用户之间的陪伴距离要求,并使得用户可以一直处于机器人的视野之内,给用户被陪伴的感受。另外,也可以使得机器人能够尽量按照原来规划的路径行驶,减少重新规划路径的功耗。
一种可能的设计中,目标距离大于或等于第一阈值且小于或等于第二阈值;第一条件包括:小于或等于第一阈值;第二条件包括:大于或等于第一阈值;第三条件包括:小于或等于预设偏差阈值(或描述为,第三条件包括:大于或等于预设贴合阈值)。
一种可能的设计中,机器人当前时刻的位姿到临时地点的路径,和机器人当前时刻的位姿到预估的机器人下一时刻的位姿的路径的偏差程度根据第一直线与第二直线之间的夹角确定,第一直线为机器人当前时刻的位姿与临时地点的连线,第二直线为机器人当前时刻的位姿与预估的机器人下一时刻的位姿的连线。
一种可能的设计中,在机器人按照目标路径引领用户行进到目的地的过程中,方法还包括:机器人确定机器人与用户之间的实际距离是否满足距离阈值。可选的,该距离阈值可以为上述目标距离。基于该设计,在行进过程中,判断机器人与用户之间的实际距离,可以使得机器人和用户之间的实际距离可以一直保持在适中的状态。另外,也可以避免发生用户返回或者跌倒等,而机器人仍旧继续前进的情况,能够及时识别用户的实际情况,给用户一种一直被陪伴的感受。
一种可能的设计中,若不满足距离阈值,方法还包括:机器人调整机器人当前时刻的速度。基于该设计,机器人可以通过调整自身的速度,达到调整机器人与用户之间的实际距离的目的。
一种可能的设计中,机器人调整机器人当前时刻的速度,包括:机器人基于调节系数调整机器人当前时刻的速度,调节系数与偏差距离正相关,偏差距离为机器人与用户之间的实际距离,和目标距离之间的偏差。基于该设计,基于调节系数来调整机器人的速度,不同的调节系数对应的调节力度不同,而调节系数与偏差距离正相关,可以使得偏差距离越大时,调节力度越大,使得机器人与用户之间的实际距离可以尽快满足距离阈值。
一种可能的设计中,目的地为洗手间,且洗手间处于占用状态;机器人按照目标路径引领用户行进到目的地之前,方法还包括:机器人提醒用户洗手间已被占用。基于该设计,通过提前通知用户洗手间的占用状态,比如被占用,使得用户可以根据实际需要取消去往洗手间,避免去往洗手间之后,一直等待的情况。
一种可能的设计中,若目的地为卧室,且卧室的房门状态处于关闭状态;在机器人按照目标路径引领用户行进到目的地时,方法还包括:机器人提醒用户敲门。基于该设计,对于卧室这种隐私性较高的场景,提醒用户敲门,可以避免影响他人的同时,对于儿童,还有助于儿童礼貌的养成。
一种可能的设计中,若目标路径上的一个或多个设备包括灯光,且灯光处于关闭状态;机器人控制目标路径上的一个或多个设备的状态,包括:机器人将灯光的状态控制为打开状态。该设计可以实现智能灯光的管控,对于用户夜间出行,可以为其带来便利。
一种可能的设计中,若目的地为卧室,目标路径上的一个或多个设备包括灯光,且卧室的灯光处于关闭状态;机器人控制目标路径上的一个或多个设备的状态,包括:机器人将卧室的灯光保持为关闭状态。基于该设计,对于关灯的卧室,机器人选择不打开该卧室的灯光,可以避免给他人带来不便。
第二方面,本申请提供一种机器人,该机器人具有实现如上述第一方面及其中任一设计所述的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面,本申请提供一种机器人,包括处理器和存储器,所述存储器和所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述处理器从所述存储器中读取所述计算机指令,以使得所述机器人执行如上述第一方面及其中任一设计所述的方法。
第四方面,本申请提供一种机器人,包括:至少一个处理器;所述处理器用于执行存储器中存储的计算机程序或指令,以使机器人执行上述第一方面及其中任一设计所述的方法。该存储器可以与处理器耦合,或者,也可以独立于该处理器。
一种可能的设计中,机器人还包括传感器,该传感器与处理器耦合,传感器可用于执行感知操作。
一种可能的设计中,机器人还包括通信接口,该通信接口可用于机器人与其他装置通信。示例性的,该通信接口可以为收发器、输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。
第五方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序或指令,当所述计算机程序或指令在机器人上运行的情况下,使得所述机器人执行如上述第一方面及其中任一设计所述的方法。
第六方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机可以执行如上述第一方面及其中任一设计所述的方法。
第七方面,本申请提供一种电路系统,电路系统包括处理电路,处理电路被配置为执行第一方面及其中任一设计所述的方法。
第八方面,本申请提供一种芯片系统,包括至少一个处理器和至少一个接口电路,至少一个接口电路用于执行收发功能,并将指令发送给至少一个处理器,当至少一个处理器执行指令时,至少一个处理器执行如上述第一方面及其中任一设计所述的方法。
需要说明的是,上述第二方面至第八方面中任一设计所带来的技术效果可以参见第一方面中对应设计所带来的技术效果,此处不再赘述。
附图说明
图1a为本申请实施例提供的一种通信系统的架构示意图;
图1b为本申请实施例提供的一种机器人的结构示意图;
图2为本申请实施例提供的又一种机器人的结构示意图;
图3为本申请实施例提供的一种机器人的功能模块图;
图4为本申请实施例提供的一种机器人引领方法的流程示意图;
图5为本申请实施例提供的界面示意图一;
图6为本申请实施例提供的界面示意图二;
图7为本申请实施例提供的界面示意图三;
图8为本申请实施例提供的界面示意图四;
图9为本申请实施例提供的一种可行路径的示意图;
图10为本申请实施例提供的界面示意图五;
图11为本申请实施例提供的一种机器和用户的位姿示意图;
图12为本申请实施例提供的夹角示意图;
图13为本申请实施例提供的一种临时目标点的示意图;
图14为本申请实施例提供的一种引领装置的结构示意图;
图15为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的技术方案进行详细的描述。
本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
随着社会节奏的加快,父母或者子女可能无法做到时常陪伴在家人身边。因此,用户可能期望一种陪伴型的机器人,以代替自己陪护家人。比如:孩童对夜晚可能具有恐惧心理,这样,在孩童夜间独自起夜时,这种恐惧可能会伴随孩童,因此父母可能期望由机器人来代替自己陪伴孩子,以保证孩子的正常生活起居。同样的,对于老人夜间独自起夜时,也可能发生摔倒等的意外情况,子女也可能期望由机器人来代替自己陪伴父母,以实现对老人的监护等。
基于此,本申请实施例提供一种机器人引领方法,能够引领(或称陪伴)用户行进到目的地,还能够控制行进路径中的一个或多个设备等,从而在实现对用户的陪伴,给用户带来便利的情况下,还可以从用户角度出发,给用户带来人文关怀,抚慰心灵,给用户一种被照顾以及陪伴的感受。
本申请实施例提供的技术方案可以应用于机器人100中,或者应用于包含机器人100的通信系统中。示例性的,图1a示出了本申请实施例提供的技术方案应用的一种通信系统的架构示意图。如图1a所述,该通信系统包括机器人100以及至少一个智能设备200。
其中,机器人100和智能设备200可通过有线通信技术和/或无线通信技术建立连接。其中,无线通信技术包括但不限于以下的至少一种:近距离无线通信(near fieldcommunication,NFC),蓝牙(bluetooth,BT)(例如,传统蓝牙或者低功耗(bluetooth lowenergy,BLE)蓝牙),无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),紫蜂(Zigbee),调频(frequency modulation,FM),红外(infrared,IR)等。
可选的,机器人100可以是各种具有移动功能的人工智能(artificialintelligence,AI)设备。智能设备200可以是手机,平板电脑,手持计算机,个人计算机(personal computer,PC),电视机,蜂窝电话,个人数字助理(personal digitalassistant,PDA),可穿戴式设备(如智能手表),车载电脑,游戏机,以及增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备,智能家居设备、智慧城市设备等各种终端设备。在一些实施例中,终端设备可以为固定式设备,也可以为便携式设备。本申请对终端设备的具体类型不作限制。
其中,图1a中以至少一个智能设备200为AI音响、智能灯、空气净化器、AI摄像头、扫地机器人、智能开关、智慧屏示出。
应理解,图1a仅为便于理解而示例的简化示意图,该通信系统中还可以包括其他设备,图1a未予以画出。
示例性的,图1b示出了本申请实施例提供的一种机器人100的结构示意图。
如图1b所示,机器人100包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
机器人100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。机器人100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在机器人100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在机器人100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,机器人100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得机器人100可以通过无线通信技术与网络以及其他设备通信。
机器人100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,机器人100可以包括1个或N个显示屏194,N为大于1的正整数。在本申请的一些实施例中,显示屏194可用于接收用户输入的指令和/或数据等。在本申请的另一些实施例中,显示屏194还可用于输出各种提醒消息。
机器人100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。在一些实施例中,机器人100可以包括1个或N个摄像头193,N为大于1的正整数。在本申请的一些实施例中,摄像头193可用于捕获用户的人脸图像、人体图像、用户的瞳孔数据等中的一种或多种。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展机器人100的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。在本申请的一些实施例中,内部存储器121中存储有全场景地图(即目标地图),关于该全场景地图的详细介绍请参考后文所述。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
在本申请的一些实施例中,音频模块170包括麦克风170A(图中未示出)。麦克风170A,也称“话筒”,“传声器”,用于将声音信号转换为电信号。在本申请的一些实施例中,麦克风170A可用于接收用户输入的语音指令等。
在本申请的一些实施例中,音频模块170还可以包括扬声器170B(图中未示出),也称“喇叭”,用于将音频电信号转换为声音信号。机器人100可以通过扬声器170B收听音乐,或收听免提通话。在本申请的一些实施例中,扬声器170B也可用于输出提醒消息。
传感器模块180可用于确定机器人的速度、与周围物体(如用户)之间的距离、用户的速度等一种或多种信息。示例性的,传感器模块180可以包括陀螺仪传感器,速度传感器,加速度传感器,距离传感器等中的一种或多种(图中未示出)。
其中,陀螺仪传感器可以用于确定机器人100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定机器人100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的,当机器人100在进行图像采集时,陀螺仪传感器检测机器人100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消机器人100的抖动,实现防抖。陀螺仪传感器还可以用于机器人的导航场景。
速度传感器用于测量移动速度。在一些实施例中,机器人100可以通过速度传感器测得当前时刻的移动速度。
加速度传感器可检测机器人100在各个方向上(一般为三轴)加速度的大小。当机器人100静止时可检测出重力的大小及方向。
距离传感器,用于测量距离。机器人100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,机器人100可以利用距离传感器测距以实现快速对焦。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。在本申请的一些实施例中,马达191可用于通过震动的方式,提醒用户。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。在本申请的一些实施例中,指示器192可通过不同状态的指示灯提醒用户。
示例性的,上述仅是举例说明本申请实施例中机器人的结构的,但并不构成对机器人结构、形态的限制。本申请实施例对机器人的结构、形态不作限制。示例性的,图2示出了机器人的另一种示例性结构。如图2所示,机器人包括:处理器201、存储器202、收发器203、传感器204。处理器201、存储器202、传感器204的实现可参见图1b所示的机器人的处理器、存储器、传感器模块的实现。收发器203,用于机器人与其他设备交互。收发器203可以是基于诸如Wi-Fi、蓝牙或其他通信协议的器件。
可以理解的是,本申请实施例示意的结构并不构成对机器人的具体限定。在另一些实施例中,机器人可以包括比图1b、图2所示的更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在一些实施例中,还可以对机器人进行功能模块的划分,如可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集中在一个处理单元中。上述集成的单元既可以采用硬件的形式,也可以采用软件功能模块的形式实现。
作为一种可能的划分方式,图3示出了本申请实施例提供的一种机器人的功能模块图。
如图3所示,机器人100可以包括目的地确认模块301、导航规划模块302等。可选的,机器人100还可以包括防遮挡模块303、距离保持模块304等。
其中,目的地确认模块301可用于确定用户的意图,比如:用户想要前往的目的地(如洗手间、卧室、厨房、仓库等),用户是否想要前往某目的地等。在一些实施例中,目的地确认模块301可以基于用户输入的指令确定用户想要前往的目的地,和/或用户是否想要前往某目的地。示例性的,用户输入的指令包括但不限于语音指令、手势指令、按键指令等各种类型的指令。在另一些实施例中,目的地确认模块301还可用于识别各种地点,以确定某地点是否为用户想要前往的目的地。示例性的,目的地识别模块301可以采用各种目标识别技术确认某地点是否为用户想要前往的目的地,本申请对此不做任何限制。在又一些实施例中,目的地确认模块301还可用于确定目的地的属性和/或目的地的状态等,关于目的地的属性以及目的地的状态也请参考后文所述。
在一些实施例中,导航规划模块302可用于规划起始点到终点的路径,以便于按照该规划好的路径引领用户从起始点行进到终点,即目的地。在另一些实施例中,导航规划模块302还用于执行导航功能,以便于按照规划的路径行进。
在一些实施例中,防遮挡模块303还可以用于判断机器人100到用户的视野是否存在被遮挡的可能。在一些实施例中,若防遮挡模块303确定机器人到用户的视野存在被遮挡的可能,防遮挡模块303还可用于调整机器人的行进路线,以便用户可以处于机器人的视野之内。
在一些实施例中,距离保持模块304可用于判断机器人100与用户之间的距离。在一些实施例中,若距离保持模块304确定机器人100与用户之间的实际距离不满足机器人的陪伴距离(即目标距离)的情况下,距离保持模块304还可用于调整机器人100与用户之间的实际距离,以使得该实际距离可以满足机器人的陪伴距离。其中,关于此处机器人的陪伴距离的介绍请参考后文所述。
可以理解,图3所示的划分方式仅仅是示意性的,其仅作为一种逻辑上的划分,实际划分时可以有另外的划分方式。
以下实施例所涉及的技术方案均可以在具有如图1b、图2、图3等所示结构的设备中实现。
可以理解,本申请实施例中,机器人可以执行本申请实施例中的部分或全部步骤,这些步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照本申请实施例呈现的不同的顺序来执行,并且有可能并非要执行本申请实施例中的全部操作。
示例性的,图4示出了本申请实施例提供的一种机器人引领方法的流程示意图,该方法包括以下步骤:
S401、机器人接收用户指令。
在一些实施例中,该用户指令用于指示用户想要前往的目的地。示例性的,用户指令可以为语音指令、按键指令、手势指令等各种类型的指令,本申请实施例对该用户指令的类型不做任何限制。可选的,同一个目的地对应的用户指令可以有一个或多个,用户可以选择输入其中任一个用户指令来指示想要去往的目的地。当然,机器人还可以接收用于指示机器人执行其他操作的指令。
在一种可能的示例中,机器人可以显示诸如图5中(1)所示的指令输入界面500,其中,在指令输入界面500中可以包括目的地输入区域501,用户可以直接在目的地输入区域501中输入想要前往的目的地,以目的地为洗手间为例,该用户指令可以诸如在目的地501中输入“洗手间”的操作。可选的,用户在目的地输入区域501中输入的目的地可以以文字、字符、图片等各种形式表示。
在另一种可能的示例中,机器人可以显示诸如图5中(2)所示的指令输入界面510,其中,在指令输入界面510中包括一个或多个目的地选项,如卧室、洗手间、厨房、书房等,用户可以从这一个或多个目的地选项中选择想要去往的目的地。以目的地为洗手间为例,该用户指令可以诸如用户对洗手间511的选定操作。
可选的,上述示例是以用户直接将用户指令输入到机器人为例,用户也可以将用户指令输入到其他设备,其他设备再将该用户指令发送给机器人。
S402、机器人根据用户指令确定目的地。
以用户指令为语音指令为例,比如:若机器人接收到的语音指令诸如“洗手间”、“toilet”、“卫生间”、“厕所”、“WC”等,则机器人确定目的地为洗手间。再比如:若机器人接收到的语音指令诸如“卧室”、“bedroom”、“bedchamber”,“就寝”、“睡觉”、“困”等,则机器人可以确定目的地为卧室。
作为一种可能的示例,机器人可以通过自动语音识别技术(automated speechrecognition,ASR)技术对该语音指令进行处理,以确定目的地。示例性的,机器人可以采用神经网络ASR模型对语音指令进行处理,当然,也可以采用其他的ASR算法对语音指令进行处理,本申请对此不作具体限定。
当然,当该用户指令为其他类型的指令时,机器人还可以通过其他技术对用户指令进行解析,以确定目的地。
可选的,该步骤是以机器人确定目的地为例的,该确定目的地的操作也可以由其他设备执行,机器人再从其他设备接收该目的地。
可选的,机器人在根据用户指令(如语音指令等)确定出目的地之后,机器人和/或其他设备还可以输出确定出的目的地,以便于用户获知机器人确定出的目的地,从而确认机器人确定出的目的地与用户想要前往的目的地(或称用户输入的目的地)是否一致,避免由于解析用户指令出错,而导致机器人确定出的目的地与用户想要前往的目的地不一致的情况。
在一些实施例中,在机器人确定出目的地之后,即可直接执行步骤S403。
在另一些实施例中,在机器人确定出目的地之后,还可以获取目的地的属性和/或目的地的状态,进而再判断是否要执行步骤S403。
示例性的,目的地可以划分为不同属性(或称类型)。一种可能的划分方式中,目的地可以划分为卧室、洗手间、客厅、餐厅、厨房、书房、储物间(或称仓库)、花房、健身房等等。另一种可能的划分方式中,目的地可以划分为公共房间(或称公共区域、公共空间等)、私人房间(或称私人区域、私人空间等)等。公共房间可以指隐私性较低的房间。如公共房间可以包括但不限于:客厅、餐厅、厨房、储物间等。私人房间可以指隐私性较高的房间。如私人房间可以包括但不限于卧室、洗手间、书房等。又一种可能的划分方式中,目的地还可以划分为有归属权的房间以及无归属权的房间。有归属权的房间可以指有用户占用的房间。如有归属权的房间可以指有用户占用的卧室、书房、卫生间等。无归属权的房间可以指无人占用的房间。如无归属权的房间可以指没有用户占用的卧室、书房、卫生间等。当然,目的地还可以有其他的划分方式,本申请对此不做限定。
可以理解,本申请实施例中的“房间”还可以描述为“区域”、“空间”、“场所”等。
示例性的,目的地的状态可以包括但不限于环境状态,设备状态、占用状态、用户状态等。环境状态可以指环境情况,示例性的,环境状态可以包括但不限于亮暗程度、空气清新度、温度、潮湿度、门锁状态、房门状态等。设备状态可以指设备的状况,该设备可以为目的地的一个或多个设备。示例性的,设备状态可以包括但不限于设备运行状态(如开启状态、关闭状态)、设备故障状态(如有故障状态、无故障状态等)。占用状态可以指是否被占用。用户状态可以指用户的情况,示例性的,用户状态可以包括但不限于:睡眠状态,清醒状态、工作状态、学习状态、忙碌状态、休闲状态等。
作为一种可能的实现,目的地的占用状态可以根据目的地中是否存在用户、目的地的门锁状态(如反锁状态、未反锁状态等)、目的地的房门状态(如打开状态、关闭状态等)、目的地的设备运行状态(如打开状态、关闭状态等)等中的一种或多种确定。比如:若目的地中存在用户,则认为目的地被占用,若目的地中不存在用户,则认为目的地未被占用。再比如:若目的地的门锁处于反锁状态,则认为目的地被占用,若目的地的门锁未处于反锁状态,则认为目的地未被占用。再比如:若目的地的房门处于关闭状态,则认为目的地被占用,若目的地的房门处于打开状态,则认为目的地未被占用。再比如:若目的地的设备处于开启状态,则认为目的地被占用,若目的地的设备处于关闭状态,则认为目的地未被占用。
再比如:若目的地中存在用户,且目的地的房门处于关闭状态,则认为目的地被占用。若目的地中不存在用户,但目的地的房门处于关闭状态;或目的地中存在用户,但目的地的房门处于打开状态;或目的地中不存在用户,且目的地的房门处于打开状态,则认为目的地未被占用。再比如:若目的地中存在用户,且目的地的门锁处于反锁状态,则认为目的地被占用。若目的地中不存在用户,但目的地的门锁处于反锁状态;或目的地中存在用户,但目的地的门锁未处于反锁状态;或目的地中不存在用户,且目的地的门锁未处于反锁状态,则认为目的地未被占用等等。
可以理解,以上仅为举例说明判断目的地的占用状态是否被占用的一些示例,并不构成本申请的限定。目的地的占用状态可以依据目的地中是否存在用户、目的地的门锁状态、目的地的房门状态、目的地的设备运行状态等中的任一种因素确定,也可以由任多种因素结合确定。
可选的,机器人可以自己确定目的地的属性,也可以从其他设备获取目的地的属性,本申请对确定目的地的属性的方式不做任何限定。
可选的,机器人可以自己确定目的地的状态,如机器人在确定目的地之后,在引领用户行进到目的地之前,可以自行去目的地检测目的地的状态,然后再返回用户所在的位置。当然,机器人也可以从其他设备获取目的地的状态,本申请对此也不做任何限定。
以机器人从其他设备获取目的地的状态为例,下面给出一种机器人获取目的地的状态的实现方式。
在一些实施例中,机器人可以根据全场景地图调用智能设备完成对目的地的状态进行感知的操作,然后,机器人可以接收这些智能设备感知的目的地的状态。示例性的,这些智能设备可以包括但不限于智能家居设备,如智能灯泡、智能摄像头、空气净化器、智能电视、智能马桶、智能床垫、智能卫浴、智能镜、智能窗帘、扫地机器人等等。可选的,这些智能设备可以是处于目的地的智能设备,也可以是未处于目的地的智能设备。
当然,机器人也可以通过调用智能设备完成其他的操作,比如:通过调用智能摄像头等捕捉用户画面等,本申请对于机器人调用智能设备所实现的功能不做任何限制。
可以理解,全场景地图可以指机器人所处环境中的地图。在该全场景地图中,包括机器人所处环境中的各种智能设备以及各智能设备所处位置等的相关信息,机器人基于该全场景地图即可确定各智能设备以及各智能设备在机器人所处环境中的位置(如是否位于目的地等)。由此,机器人可以基于该全场景地图调用对应的智能设备完成对目的地状态的感知。
可选的,该全场景地图可以是由机器人构建的,如机器人可以基于同时定位与建图(simultaneous localization and mapping,SLAM)技术构建。其中,SLAM技术指的是机器人从未知环境中的未知地点出发,在运动过程中通过重复观测到的地图特征(比如:墙角,柱子等)定位自身的位置和姿态,再根据自身位置增量式的构建地图,从而达到同时定位和地图构建的目的。当然,机器人也可以采用其他的技术,比如:模型训练方法等构建该全场景地图,本申请对此不做限制。或者,该全场景地图也可以是由机器人从其他设备(如电子设备、服务器、云端等)获取的。或者,该全场景地图也可以是由用户输入的,如用户可以将全场景地图中的元素(如机器人所处的环境、该环境中包括的智能设备、各智能设备的位置等)输入至机器人或者其他设备中,机器人即可获得该全场景地图。
可以理解,本申请实施例所涉及的模型可以是各种机器学习模型,如神经网络模型等,本申请对其不做限定。
下面给出几种根据目的地的属性和/或目的地的状态,判断是否要执行步骤S403的实现方式。
一种可能的实现方式中,机器人可以在确定目的地的属性满足预设属性条件的情况下,再执行步骤S403。示例性的,预设属性条件可以为目的地的属性为公共房间。或者,预设属性条件可以为目的地的属性为无归属权的房间。比如:若目的地为客厅,机器人可以确定该目的地的属性为公共房间,满足预设属性条件。若目的地为洗手间,机器人可以确定该目的地的属性为私人房间,不满足预设属性条件。再比如:若目的地为有人使用的洗手间,则机器人可以确定目的地的属性为有归属权的房间,不满足预设属性条件。若目的地为无人使用的洗手间,则机器人可以确定目的的属性为无归属权的房间,满足预设属性条件。
另一种可能的实现方式中,机器人在确定目的地的状态满足预设状态条件的情况下,再执行步骤S403。示例性的,预设状态条件可以包括但不限于以下一种或多种:环境条件、设备条件、占用条件、用户条件等。如环境条件可以为明亮程度满足预设亮度范围、空气清新度满足预设清新度范围、温度满足预设温度范围、潮湿度满足预设潮湿度范围、门锁状态满足门锁条件(如未反锁状态)、房门状态满足房门条件(如开门条件或者关门条件等)等中的一种或多种。设备条件可以为设备处于开启状态,或者设备处于关闭状态,或者设备处于无故障状态等。占用条件可以为未被占用。用户状态可以为用户处于预设状态(如清醒状态、休闲状态等)。
可以理解,在预设状态条件包括多种条件的情况下,满足预设状态条件可以指满足其中部分或全部的条件。比如:以预设状态条件包括设备条件以及占用条件为例,满足预设状态条件可以指满足设备条件和/或占用条件等。可以理解,对于预设状态条件中包括的条件也多个多种情况时,满足该条件也可以指满足该条件中的部分或全部情况。比如:以预设状态条件包括环境条件以及用户条件为例,满足预设状态条件可以指满足环境条件和/或用户条件。其中,满足环境条件可以指满足明亮程度满足预设亮度范围、空气清新度满足预设清新度范围、温度满足预设温度范围、潮湿度满足预设潮湿度范围、门锁状态满足门锁条件、房门状态满足房门条件等中的一种或多种。
示例性的,以目的地为洗手间,预设状态条件包括占用条件为例,若洗手间处于未被占用状态,则机器人可以确定满足预设状态条件。再比如:以目的地为卧室,预设状态条件包括用户条件为例,若卧室中的用户处于清醒状态,则机器人可以确定满足预设状态条件。
在一些实施例中,对于不同属性的目的地对应的预设状态条件可以相同也可以不同。在一些实施例中,对于不同时段(比如:白天、夜晚等),设定的预设状态条件可以相同也可以不同。
又一种可能的实现方式中,机器人还可以在根据目的地的属性以及目的地的状态确定满足预设条件的情况下,再执行步骤S403。可以理解,该预设条件中包括目的地的属性需要满足的条件以及目的地的状态需要满足的条件,关于目的地的属性需要满足的条件可以参考预设属性条件的相关实现,关于目的地的状态需要满足的条件可以参考预设状态条件的相关实现。
还可以理解,对于不同属性的目的地,预设条件中包括的目的地的状态需要满足的条件可以相同也可以不同。比如:对于属性为洗手间的目的地,预设条件中包括的目的地的状态需要满足的条件可以为满足占用条件(如未被占用)。对于属性为书房的目的地,预设条件中包括的目的地的状态需要满足的条件也可以为满足占用条件(如未被占用)。再比如:对于属性为卧室的目的地,预设条件中包括的目的地的状态需要满足的预设条件可以为不满足占用条件,但是满足用户条件(如清醒状态)。
下面例举一些满足预设条件的示例,比如:若目的地的属性为洗手间,且目的地的状态满足占用条件(如未被占用),则机器人可以确定满足预设条件。再比如:若目的地的属性为卧室,目的地的状态不满足占用条件,但是满足用户条件(如清醒状态),则机器人可以确定满足预设条件。再比如:若目的地的属性为客厅,目的地的状态不满足占用条件,机器人仍可以确定满足预设条件。
下面例举一些不满足预设条件的示例,比如:若目的地的属性为洗手间,且目的地的状态不满足占用条件,则机器人可以确定不满足预设条件。再比如:若目的地的属性为洗手间,且目的地的状态满足占用条件,但不满足环境条件,则机器人可以确定不满足预设条件。再比如:若目的地的属性为卧室,目的地的状态不满足占用条件,且不满足用户条件(如用户处于睡眠状态等),则机器人可以确定不满足预设条件。
可以理解,本申请实施例所提及的各预设的条件均可以由开发人员根据需求设定,本申请对此不做具体限定。
还可以理解,本申请实施例是以机器人确定是否满足各预设的条件为例的,该操作也可以由其他设备执行,其他设备再将判断的结果发送给机器人。
在一些实施例中,机器人在确定满足预设的条件的情况下,在执行步骤S403之前,机器人可以输出提醒消息(如显示屏显示提醒消息、扬声器播报提醒消息等),提醒用户是否还要去往该目的地。以目的地为洗手间为例,示例性的,机器人可以显示诸如图6所示的提醒消息601。可选的,机器人还可以显示确认按钮602和/或取消按钮603。若用户确定要去往洗手间,则用户可以执行确认操作,该确认操作可以诸如对确认按钮602的点击操作,响应于该操作,机器人再执行步骤S403。若用户执行取消操作,取消操作可以诸如对取消按钮603的点击操作,响应于该操作,则机器人可以不再执行步骤S403。
可以理解,本申请实施例中,用户执行的确认操作和/或取消操作也可以为其他类型的操作,比如:语音操作、手势操作、按键操作等各种类型的操作,本申请对其不做具体限制。
在另一些实施例中,机器人在确定不满足预设的条件的情况下,机器人也可以输出提醒消息,提醒用户是否还要去往目的地。可选的,该提醒消息中可以包括目的地的属性、目的地的状态等中的一种或多种。比如:以目的地为洗手间,机器人确定洗手间被占用为例,则机器人可以显示诸如图7中(1)所示的提醒消息701,如:“洗手间正在被占用,是否仍旧前往?”。再比如:以目的地为卧室,卧室中的用户处于睡眠状态为例,则机器人可以显示诸如图7中(2)所示的提醒消息711,如:“卧室中的用户正在睡觉,是否仍旧前往?”等。
可选的,图7中(1)所示的界面还可以显示有确认按钮702和/或取消按钮703。若用户坚持去往洗手间,则用户可以执行确认操作,诸如对确认按钮702的点击操作,响应于该操作,机器人执行步骤S403。若用户不再坚持去往洗手间,则用户可以执行取消操作,诸如对取消按钮703的点击操作,响应于该操作,机器人不再执行步骤S403。同理,在图7中(2)所示的界面中也可以显示确认按钮712和/或取消按钮713,以便于用户执行确认操作以及取消操作等。
可选的,该实施例中,机器人还可以输出温馨提示(如显示屏显示温馨提示、扬声器播放温馨提示等)。比如:在诸如图7中(2)所示的界面中可以呈现诸如“若坚持去往该卧室,可能会打扰到他人休息”等的温馨提示。这样,通过类似的温馨提示提醒用户,可以避免影响他人,也可以避免出现尴尬的状况(如洗手间正在被占用,用户误闯入的尴尬情况等)。并且,在用户为孩童的情况下,通过类似的温馨提示告知孩童坚持做某事可能会影响他人,有助于孩童日常礼貌的养成。
可选的,该温馨提示可以直接呈现在诸如图7中(2)所示的界面中(图中以此为例),也可以呈现在其他的界面中,比如:在检测到用户确认坚持去往目的地的操作(诸如对确认按钮712的点击操作)之后,再呈现该温馨提示。可以理解,本申请并不限定该温馨提示输出的方式以及时机。
可选的,该实施例中,机器人在确定不满足预设的条件的情况下,还可以继续实时性或者周期性执行判断是否满足预设的条件的操作。可选的,机器人直至确定满足预设的条件的情况下,机器人还可以输出提醒消息,提醒用户是否继续前往目的地。示例性的,以洗手间为例,该提醒消息可以诸如“检测到洗手间此时已无人使用,是否前往?”等。响应于用户执行的确认操作,机器人可以执行步骤S403。响应于用户执行的取消操作,机器人不再执行步骤S403。
可选的,该继续实时性或周期性判断是否满足预设的条件的操作可以是机器人主动执行的,本申请并不限定机器人主动执行的具体时机。当然,前述操作也可以由用户触发执行的,该触发操作可以为语音操作、按键操作、手势操作等各种类型的操作。以图7中(1)所示的提醒消息为例,如图8所示,机器人还可以显示等待按钮704,如机器人检测到诸如用户对等待按钮704的点击操作,响应于该操作,机器人执行实时性或周期性判断是否满足预设的条件的操作。
可以理解,本申请实施例中各按钮的功能可以通过一个按钮实现,如通过对一个按钮执行不同的操作实现,也可以通过不同的按钮实现,本申请对此不做限制。
上述实施例均是以机器人先执行判断是否满足预设的条件,再执行步骤S403为例的。当然,机器人也可以先执行步骤S403,再执行判断是否满足预设的条件的操作。
S403、机器人执行路径规划。
在一些实施例中,机器人通过路径规划可以得到从起始点到终点的可行路径。关于路径规划的具体介绍请参考相关技术中的介绍。可选的,该可行路径可以为全局路径,全局路径指的是从起始点到终点的一条完整的路径。该可行路径也可以是局部路径,局部路径可以指从起始点到途径的若干地点的路径,也即使从起始点到终点的完整路径中的一部分路径。
可选的,以可行路径为全局路径为例,该可行路径可能包括一条或者多条路径,机器人可以选择其中任一条路径。或者,机器人可以依据规则选择其中最优的一条路径。又或者,机器人还可以输出这多条路径,由用户选择其中的某条路径,机器人可以基于用户选定的路径引领用户行进。本申请并不限定确定机器人最终采用的可行路径的方式。
示例性的,以家居场景,起始点为儿童房,终点为洗手间为例,图9示出了本申请实施例提供的一条可行路径的示意。如图9所示,该可行路径为从儿童房出发,途径主卧门口以及客厅,到达终点洗手间。
在一些实施例中,机器人可以基于起始点、终点以及全场景地图执行路径规划,以获得从起始点到终点的可行路径(即目标路径)。其中,可行路径的起始点可以为用户当前所处的位置(或者机器人当前所处的位置),终点可以为目的地所处的位置。该实施例中,作为一种可能的实现,对于不同属性的目的地,其对应的终点的设定方式可以相同。如均将目的地房门正前方预设距离的位置设定为终点。以目的地为卧室为例,可以将卧室房门正前方预设距离的位置设定为终点。
作为另外一种可能的实现,对于不同属性的目的地,其对应的终点的设定方式可以不同,也就是说,终点的设定方式与目的地的属性是对应的。如对于卧室而言,可以将卧室正前方预设距离的位置设定为终点。对于洗手间而言,可以将卧室左前方预设距离的位置设定为终点。对于书房而言,可以将书房右前方预设距离的位置设定为终点等等。
可选的,上述实现方式中,终点的设定还需要保证机器人到目的地房门的视野不被遮挡,也即机器人的视野不被遮挡,以便机器人可以观察到目的地的情况。
当然,机器人也可以基于其他的方式执行路径规划以确定可行路径,比如:通过模型训练的方式等,本申请对于机器人确定可行路径的方式不做任何限定。
可选的,机器人在确定可行路径之后,可以选择按照该可行路径引领用户前往目的地。
S404、机器人引领用户行进到目的地。
在一些实施例中,机器人可以按照确定的可行路径引领用户行进到目的地,也就是说,机器人和用户均可以按照确定的可行路径行进到目的地。
在另一些实施例中,机器人也可以按照确定的可行路径独自行进到目的地,也就是说,用户不用前行去目的地。可选的,机器人到达目的地之后,机器人还可以返回用户所在的位置。可选的,机器人可以告知用户目的地的状态,或者转交用户想要获得的目的地中的物品等。
可选的,机器人行进过程中,可以采用各种定位技术,如SLAM、超宽带(ultrawideband,UWB)等,以保证机器人行进方向的正确性。
在一些实施例中,机器人还可以控制一个或多个设备的状态,这一个或多个设备可以是出发点、终点、可行路径途径地点等中的一个或多个地点的设备。可选的,该可行路径可以是机器人通过步骤S403确定的可行路径,也可以是机器人前进到目的地实际采用的路径,该实际采用的路径与机器人通过步骤S403确定的可行路径可能相同,也可能不同。
示例性的,在家居场景时,这一个或多个设备可以是智能家居设备,当然,在其他场景(比如:公共商场引领顾客、车间、办公室等等)时,这一个或多个设备也可以是其他场景中的设备。示例性的,设备的状态包括但不限于设备位置、设备运行状态(如开启状态、关闭状态)等中的一种或多种。
可选的,机器人可以在执行步骤S404之前,也即机器人出发行进到目的地之前,即可将上述一个或多个设备的状态控制为合适的状态。当然,机器人也可以在执行步骤S404的过程中,也即机器人在向目的地行进的过程中,将上述一个或多个设备的状态控制为合适的状态。
在一些实施例中,对于不同的可行路径(或者机器人前进到目的地实际采用的路径),和/或不同的目的地,和/或不同属性的目的地,和/或不同状态的目的地,和/或不同的时间段,和/或不同的地点(该地点指的是途径地点),和/或不同属性的地点,和/或不同状态的地点等,上述一个或多个设备可能有所不同,和/或上述一个或多个设备的类型可能有所不同,和/或上述一个或多个设备被机器人控制后的状态可能有所不同。也就是说,机器人可以基于前述一个或多个因素(如:目的地的属性、目的地的状态、时间段、途径地点的属性、途径地点的状态等中的一个或多个)(即特征信息)来控制对应的设备,比如:机器人可以根据途径地点的属性和/或途径地点的状态控制该途径地点中的设备。关于途径点的属性以及状态可参考目的地的属性以及状态的介绍。
在一些实施例中,机器人还可以记录(或称存储)上述一个或多个设备的初始状态,也即机器人未对其执行控制操作前的状态。可选的,机器人还可以对控制后的设备的状态执行控制操作,使得设备的状态恢复为对应的初始状态。可选的,本申请并不限定,机器人控制设备恢复初始状态的时机,如机器人可以在用户返回到出发点之后,返回出发点的途中或者其他的时机等控制设备恢复初始状态。
可选的,机器人可以基于全场景地图获知这一个或多个设备、这一个或多个设备的初始状态,如调用全场景地图中的智能设备感知这一个或多个设备、这一个或多个设备的初始状态,然后从智能设备获取感知结果。当然,机器人也可以预先行进到目的地,以获知这一个或多设备、这一个或多个设备的初始状态等。本申请对此不做限定。
下面结合一些场景,对机器人控制一个或多个设备的状态进行举例说明。
在一些场景中,以用户夜间出发去洗手间为例,机器人可以打开用户房间、洗手间、途经的房间等的灯光。机器人还可以移动途中的障碍物的位置,如扫地机器人等。在一些示例中,若途径的某个房间的状态为不适合打开灯光的状态(如房间中的用户处于睡眠状态),则机器人不会控制该房间中的灯光打开。在用户返回自己的房间时,机器人还可以关闭用户房间、洗手间、途径的房间等的灯光。机器人还可以将障碍物移动回原来的位置。
在另一些场景中,以用户早上起床出发去客厅为例,机器人可以打开用户房间、客厅等的窗帘,打开客厅的电视、空调,关闭用户房间的空调等。
这样,可以帮助用户进行对应设备的管控,并且结合目的地的属性、目的地的状态、时间段等各种因素对设备进行管控,使得设备的管控结果更加智能化以及人性化。并且,对于老人和孩童等夜间出行的场景,通过管控灯光等诸如此类的设备,可以避免老人和孩童夜晚起身开灯,帮助减少孩童对夜晚的恐惧。
下面对机器人行进的速度进行介绍。可选的,机器人行进的速度包括机器人行进的初始速度(以下简称为机器人的初始速度)以及机器人途中的行进速度(简称为机器人的途中速度)。可以理解,机器人的初始速度可以指机器人从起始点出发时的速度,机器人的途中速度可以指机器人行进过程中的速度。
在一些实施例中,机器人的初始速度可以是默认的。也就是说,对于不同的用户,其对应的机器人的初始速度可以是相同的。
在另一些实施例中,机器人的初始速度可以是用户设定的。以用户通过机器人设定该机器人的初始速度为例。机器人可以接收用户通过各种操作(如语音操作、按键操作、手势操作等)输入的该机器人的初始速度。示例性的,如图10中(1)所示,机器人可以显示初始速度输入界面1000,用户可以直接在该初始速度输入界面1000中输入期望的机器人的初始速度,如每秒钟1米(1m/s)等。或者,机器人也可以呈现诸如图10中(2)所示的初始速度输入界面1010,其中在初始速度输入界面1010中包括一个或多个速度选项,比如:0.6m/s、0.75m/s、0.8m/s等等,用户可以根据实际需求选定期望的初始速度等。当然,机器人也可以呈现其他的界面,以便于用户输入期望的机器人的初始速度。
可选的,该实施例中,机器人的初始速度可以是用户提前设定的,也可以是实时设定的,本申请对此不做限定。
在又一些实施例中,机器人的初始速度可以基于用户的生理参数等确定,示例性的,该生理参数可以包括但不限于用户的年龄、身高、体重等中的一种或多种。该基于用户的生理参数确定机器人的初始速度的操作可以由机器人执行,也可以由其他设备执行,机器人再从其他设备获取该机器人的初始速度。本申请实施例中,均以机器人执行该操作为例。基于该方案,根据用户的生理参数设定与之相适应的速度,使得用户容易跟随机器人,也可以保证机器人一直陪伴在用户身边,让用户有被陪伴的感觉。
可选的,机器人可以直接获取该生理参数,如机器人可以接收用户直接输入的生理参数,机器人也可以从其他设备获取该生理参数。或者,机器人可以根据用户的其他信息(除生理参数以外的信息)确定用户的生理参数。比如:用户的其他信息与用户的生理参数存在对应关系,该对应关系可以保存在机器人和/或其他设备中,机器人可以根据用户的其他信息以及该对应关系确定用户的生理参数。再比如:机器人还可以通过将用户的其他信息输入预先训练好的模型中,以此来估算用户的生理参数,示例性的,该用户的其他信息可以诸如用户的人脸信息、人体图像等。当然,机器人也可以采用其他的方式确定用户的生理参数,本申请对此不做任何限制。
该实施例中,机器人在确定用户的生理参数之后,作为一种可能的实现,用户的生理参数中的一个或多个参数与机器人的初始速度存在映射关系,机器人可以基于获取的用户的生理参数以及映射关系确定机器人的初始速度。
该实现方式中,作为一个具体的示例,以用户的生理参数包括年龄以及身高为例,机器人可以根据用户的年龄、身高以及第一对应关系确定机器人的初始速度,其中,第一对应关系为年龄、身高以及机器人的速度三者之间的对应关系。作为另一个具体的示例,以用户的生理参数包括用户的身高为例,机器人可以根据用户的身高,身高和机器人的速度之间的对应关系确定机器人的初始速度。
该实现方式中,作为又一个具体的示例,还是以用户的生理参数包括年龄以及身高为例,机器人可以根据第二对应关系、用户的年龄以及身高估算机器人的初始速度,其中,第二对应关系指的是各个年龄段对应的平均身高与机器人的速度之间的关系。
示例性的,表1示出了本申请实施例提供的第二对应关系的一些示例。
表1
年龄段 | 平均身高 | 机器人的速度 |
4岁到6岁 | 110厘米(cm) | 0.7m/s |
7岁到9岁 | 130cm | 0.8m/s |
10岁到12岁 | 140cm | 0.9m/s |
65岁到75岁 | 170cm | 1.0m/s |
75岁到85岁 | 165cm | 0.8m/s |
… | … | … |
可以理解,表1中的数据仅为便于理解本申请实施例所做出的示例性说明,与实际数据可能有所差别。
示例性的,以用户的年龄为10岁,身高为150cm为例,机器人可以根据用户的年龄确定用户所处的年龄段为10岁到12岁,该年龄段对应的平均身高为140cm,对应的机器人的速度为0.9cm。机器人可以根据用户的身高与用户年龄所属年龄段对应的平均身高(后文简称为用户年龄对应的平均身高)之间的关系,以及该平均身高对应的机器人的速度确定机器人的初始速度,比如机器人可以根据用户的身高与用户年龄对应的平均身高之间的差值、或者比例关系,确定该平均身高对应的机器人的速度与机器人的初始速度之间的差值、或者比例关系,进而确定机器人的初始速度。
可选的,该示例中,若用户为儿童,则机器人的初始速度可以设定为与用户的年龄、身高等正相关。若用户为老人,则机器人的初始速度可以设定为与用户的年龄负相关。
该实施例中,机器人在确定用户生理参数之后,作为另外一种可能的实现,机器人也可以将用户的生理参数输入训练好的模型中,通过该模型输出机器人的初始速度。
可以理解,本申请并不限定确定机器人的初始速度的方式。
可选的,机器人的途中速度与机器人的初始速度可以相同,也就是说,机器人可以采用机器人的初始速度匀速行进到目的地。或者,机器人的途中速度与机器人的初始速度也可以不同,也就是说,机器人采用机器人的初始速度从起始点出发之后,行进的过程中,可以调整自身的行进速度,该调整后的行进速度即为机器人的途中速度。比如:机器人可以通过接收用户指令的方式,如语音指令,按键指令、手势指令等调整自身的行进速度。以语音指令为例,机器人在接收到诸如“走快点”等的语音之后,机器人可以提高自身的行进速度。在接收到诸如“走慢点”等的语音之后,机器人可以降低自身的行进速度。本申请对机器人调整自身的行进速度的方式不做任何限制。或者,机器人还可以根据机器人与用户之间的距离自适应调整自身的行进速度。这样,机器人可以根据用户的实际需求调整自身的行进速度,避免走的过快或者过慢等,还可以使得机器人与用户之间可以保持合适的距离,使得用户容易跟随机器人,也可以保证机器人一直陪伴在用户身边,让用户有被陪伴的感觉。
下面对机器人的陪伴距离进行介绍。可以理解,机器人的陪伴距离指的是,机器人引领用户行进到目的地的过程中,二者之间的距离。
在一些实施例中,机器人的陪伴距离可以是默认的。也就是说,对于不同的用户,其对应的机器人的陪伴距离是相同的。
在另一些实施例中,机器人的陪伴距离可以是用户设定的。以用户通过机器人设定该机器人的陪伴距离为例。机器人也可以接收用户通过各种操作(如语音操作、按键操作、手势操作等)输入的该机器人的陪伴距离。示例性的,用户也可以通过诸如图10中(1)、图10中(2)等输入机器人的初始速度等类似的方式,通过机器人的显示屏输入机器人的陪伴距离。本申请也不限定用户设定机器人的陪伴距离的时机。
在又一些实施例中,机器人的陪伴距离也可以基于用户的生理参数等确定。关于生理参数的介绍以及确定生理参数的方式请参考上文所述。该实施例中,一种可能的实现方式中,用户的生理参数中的一个或多个参数与机器人的陪伴距离存在映射关系,机器人可以基于获取的用户的生理参数以及映射关系确定机器人的陪伴距离。关于该实现方式的具体实现,可参考对应的确定机器人的初始速度的相关实现。另一种可能的实现方式中,机器人也可以将用户的生理参数输入训练好的模型中,通过该模型输出机器人的陪伴距离。这样,基于用户的生理参数可以设定合适的陪伴距离,保证不同用户的不同需求。
在又一些实施例中,机器人的陪伴距离也可以根据用户的身高以及机器人的身高确定。
可以理解,本申请并不限定确定机器人的陪伴距离的方式。可选的,本申请实施例中,机器人的初始速度和/或机器人的陪伴距离可以采用具体数值的形式,也可以采用数值范围的形式,本申请对此不做限定。
在一些实施例中,由于用户行进速度改变、用户行进方向改变、用户跌倒等种种原因,可能使得用户与机器人之间的距离不满足机器人的陪伴距离。以机器人的陪伴距离为具体数值为例,用户与机器人之间的实际距离与机器人的陪伴距离之间的差值可能不满足预设差值条件。或者,以机器人的陪伴距离为数值范围为例,用户与机器人的之间的距离可能处于该机器人的陪伴距离之外。因此,机器人和/或其他设备还可以实时或者周期性的判断用户与机器人的实际距离,本申请实施例均以机器人执行该操作为例,如机器人可以基于用户的当前位姿与机器人的当前位姿确定当前用户与机器人的实际距离,如机器人可以基于。可以理解,本申请实施例中,位姿可以指位置和朝向。
在一些实施例中,若确定用户和机器人之间的实际距离不满足机器人的陪伴距离,机器人还可以调整与用户之间的实际距离,以满足机器人的陪伴距离。如机器人可以通过调整自身行进速度的方式,达到调整用户和机器人之间的实际距离的目的。
作为一种可能的实现,以机器人的陪伴距离为数值范围(如0.2米至0.4米之间)为例,若用户与机器人之间的实际距离大于机器人的陪伴距离的上限(如大于0.4米),则机器人可以降低自身的行进速度,以减小用户与机器人之间的实际距离。若用户与机器人之间的实际距离小于机器人的陪伴距离的下限(小于0.2米),则机器人可以提高自身的行进速度,以增加用户与机器人之间的实际距离。
可选的,该实现方式中,机器人可以通过速度调节系数(即调节系数)调整自身的行进速度,调整后的机器人的行进速度可以根据机器人当前的行进速度与速度调节系数确定。
可选的,机器人提高自身的行进速度与降低自身的行进速度对应的速度调节系数可以相同。作为一种可能的示例,以机器人当前的行进速度用v1表示,v1大于等于0,速度调节系数用K表示,机器人提高后的行进速度可以为v1*(1+K),机器人降低后的行进速度可以为v1*(1-K),K可以为大于0且小于1的实数。或者,机器人提高后的行进速度可以为v1+K,机器人降低后的行进速度可以为v1-K,K大于或等于0且小于或等于v1。又或者,机器人提高后的行进速度可以为v1*(1-K),机器人降低后的行进速度可以为v1*(1+K),K可以为大于或等于-1且小于或等于0的实数。
可选的,机器人提高自身的行进速度与降低自身的行进速度对应的速度调节系数也可以不同。作为一种可能的示例,以机器人当前的行进速度为v1,v1大于等于0,机器人提高自身的行进速度采用(或称对应)的速度调节系数可以为K1,机器人提高后的行进速度可以为v1*K1,K1为大于1的实数。或者,机器人提高后的行进速度可以为v1*(1+K1),K1为大于或等于0的实数。又或者,机器人提高后的行进速度可以为v1+K1,K1为大于或等于0的实数。
机器人降低自身的行进速度采用的速度调节系数可以为K2,机器人降低后的行进速度可以为v1*K2,K2可以为大于或等于0且小于或等于1的实数。或者,机器人降低后的行进速度可以为v1*(1+K2),K2为大于或等于-1且小于或等于0的实数。又或者,机器人降低后的行进速度可以为v1+K2,K2为大于或等于-v1且小于或等于0的实数。
在一些实施例中,速度调节系数可以根据用户与机器人之间的实际距离,和机器人的陪伴距离之间的差值(或称用户和机器人之间的实际距离相对于机器人的陪伴距离之间的偏差)确定。
在一些实现方式中,对于不同的用户与机器人之间的实际距离,和机器人的陪伴距离之间的差值(以下简称为差值),其对应的速度调节系数可以相同。
在另一些实现方式中,对于不同的差值,其对应的速度调节系数可以不同。可选的,速度调节系数的大小可以与该差值的大小正相关(即差值越大,速度调节系数的大小越大,差值越小,速度调节系数的大小越小)、或者负相关(即差值越大,速度调节系数的大小越小,差值越小,速度调节系数的大小越大)等。
以机器人提高后的行进速度可以为v1*K1,K1为大于或等于1的实数为例,K1的大小可以与前述差值的大小正相关。以机器人降低后的行进速度可以为v1*K2,K2可以为大于或等于0且小于或等于1的实数为例,K2的大小可以与前述差值的大小负相关。也就是说,可以通过不同的调节力度对机器人的行进速度进行调整,可以使得机器人与用户之间的实际距离尽快满足机器人的陪伴距离。
可以理解,上述实施例均是以机器人的行进方向不改变为例,机器人也可以通过调整行进方向的方式来达到调整用户和机器人之间的实际距离的目的。比如:若用户与机器人之间的实际距离大于机器人的陪伴距离的上限时,机器人可以向用户所在方向前进,以达到降低和用户之间的实际距离的目的。
为防止发生意外情况而机器人未识别到的情况,或者,使得用户有被陪伴的感受以及体验。可以使得用户处于机器人的视野之内。因此,在一些实施例中,机器人和/或其他设备还可以实时的或者周期性的判断用户是否处于机器人的视野之内,也即判断机器人到用户的视野是否被遮挡,或者,是否存在被遮挡的可能。能够及时有效的判断是否存在被遮挡的情况,提高机器人一直陪伴在用户身边的概率,提高用户的陪伴体验。尤其针对儿童这类用户,可以给其带来更为安心的感受。
本申请实施例中也均以机器人执行判断用户是否处于机器人的视野之内为例。
在一些实施例中,机器人可以判断下一时刻机器人到用户的视野是否存在被遮挡的可能。该实施例中,作为一种可能的实现方式,机器人可以基于机器人下一时刻的位姿以及用户当前时刻的位姿确定下一时刻机器人到用户的视野是否存在遮挡的可能。
可选的,机器人下一时刻的位姿可以基于机器人当前时刻的行进速度、机器人当前时刻的位姿以及机器人当前行进的路径确定。如,假设机器人采用当前时刻的行进速度,按照当前行进的路径行进,则经过预设时间间隔后机器人所处的位姿即为机器人下一时刻的位姿。可以理解,预设间隔可以指当前时刻与下一时刻之间的时间间隔。还可以理解。机器人当前时刻的行进速度可能是机器人的初始速度,也可能不是机器人的初始速度。机器人当前行进的路径可以步骤S403中确定的可行路径,也可以是重新规划的路径。
可选的,机器人可以直接获取用户当前时刻的位姿,也可以基于机器人当前时刻的位姿以及当前时刻机器人和用户之间的相对位姿确定用户的当前时刻的位姿。
该实现方式中,作为一种可能的示例,可以将机器人下一时刻的位姿以及用户当前时刻的位姿映射至全场景地图中。示例性的,图11示出了该映射结果的一个示意图。如图11所示,机器人下一时刻的位姿为A,用户当前时刻的位姿为B。通过对位姿A以及位姿B连线,如图11中直线C。判断该连线是否穿过其他障碍物(如墙、家居设备等各种障碍物),若穿过,则说明机器人下一时刻的位姿和用户当前时刻的位姿之间存在障碍物,则可以确定下一时刻机器人到用户的视野存在被遮挡的可能。示例性的,如图11所示,由于直线C穿过了墙D,因此下一时刻机器人到用户的视野存在被遮挡的可能。若未穿过,则说明机器人下一时刻的位姿和用户当前时刻的位姿之间不存在障碍物,则可以确定下一时刻机器人到用户的视野不存在被遮挡的可能。
可选的,可以将机器人下一时刻位姿所处位置的某一点连接到用户当前时刻位姿所处位置的某一点。如将下一时刻机器人的摄像头所在的位置与当前时刻用户所在位置的某一点(如面部、身体骨骼等)进行连线。可选的,在执行该连线操作时,还可以结合机器人的身高和/或用户的身高等信息。
作为另一种可能的实现方式,机器人也可以基于机器人下一时刻的位姿以及用户下一时刻的位姿确定下一时刻机器人到用户的视野是否存在被遮挡的可能。
可选的,机器人也可以采用与确定机器人下一时刻的位姿类似的方式确定用户下一时刻的位姿。如:机器人可以基于用户当前时刻的行进速度、用户当前时刻的位姿以及用户当前行进的路径确定。关于该示例的具体实现也可参考上文类似的实现。可选的,用户当前行进的路径与机器人当前行进的路径可以相同。当然,机器人也可以从其他设备预估的下一时刻用户的位姿。
可以理解,本申请实施例对确定机器人下一时刻的位姿、用户下一时刻的位姿、机器人当前时刻的位姿、用户当前时刻的位姿的方式不做任何限制。
可选的,该实现方式中,也可以将机器人下一时刻的位姿以及用户下一时刻的位姿映射至全场景地图中,通过对两个连线的方式判断下一时刻机器人到用户的视野是否存在被遮挡的可能。
在另一些实施例中,机器人可以确定当前时刻机器人到用户的视野是否被遮挡。比如:机器人可以采集当前视野范围内的图像,确定该图像中是否存在用户的图像,若存在,则可以确定当前时刻机器人到用户的视野未被遮挡。若不存在,则可以确定当前时刻机器人到用户的视野被遮挡。再比如:机器人也可以将机器人当前时刻的位姿以及用户当前时刻的位姿映射至全场景地图中,通过对两个位姿进行连线,判断该连线是否穿过其他障碍物,若穿过,则说明机器人当前时刻的位姿和用户当前时刻的位姿之间存在障碍物,则可以确定当前时刻机器人到用户的视野被遮挡。若未穿过,则说明机器人当前时刻的位姿和用户当前时刻的位姿之间不存在障碍物,则可以确定当前时刻机器人到用户的视野未被遮挡。
可选的,本申请实施例,机器人的位姿以及用户的位姿可以均为全场景地图的坐标系下的位姿。
可选的,上述实施例中,以机器人的行进路径为步骤S403中确定的可行路径为例,若机器人到用户的视野不会被遮挡,则机器人可以按照原来的可行路径继续行进。若机器人到用户的视野会被遮挡(如拐弯场景等),在一些实施例中,机器人也可以按照原来的可行路径继续行进。在另一些实施例中,机器人可以改变行进的路径,以避免出现机器人到用户的视野被遮挡的情况。比如:机器人可以重新进行路径规划,重新选择一条全新的可行路径行进,也即与原来的可行路径不同的路径。
在又一些实施例中,机器人仍旧可以采用原来的可行路径,但是对于机器人到用户的视野可能被遮挡的这段路径,机器人可以重新规划这段路径。作为一个具体的实施例,机器人可以将按照当前可行路径行进时,机器人下一时刻的位姿作为目标位姿,然后选取临时目标点(或称临时地点),通过规划机器人当前时刻的位姿到临时目标点的路径以及临时目标点到目标位姿的路径,达到避免机器人到用户的视野被遮挡的目的。
在一些实现方式中,机器人可以将机器人当前时刻的位姿到目标位姿之间,能够满足机器人到用户的视野不被遮挡的任一点作为临时目标点。如也可以将临时目标点以及用户当前时刻的位姿映射至全场景地图中,通过将临时目标点与用户当前时刻的位姿进行连线的方式来判断机器人处于临时目标点时到用户的视野是否会被遮挡。
在另一些实现方式中,机器人还可以结合机器人的陪伴距离和/或路径贴合度要求等来选取临时目标点。其中,路径贴合度指的是机器人从机器人当前时刻的位姿行进到临时目标点的路径,与机器人从当前时刻的位姿行进到目标位姿的路径之间的贴合程度。在一些示例中,该路径贴合度可以用夹角表示,该夹角可以指机器人当前时刻的位姿与临时目标点之间的连线,与机器人当前时刻的位姿与目标位姿之间的连线之间的夹角。示例性的,图12示出了本申请实施例提供的该夹角的示意图,其中机器人当前时刻的位姿为M,临时目标点为N,目标位姿为P,M与N之间的连线为直线1,M与P之间的连线为直线2,直线1与直线2之间的夹角a即可用于表示路径贴合度。其中,夹角a越大,则表示路径贴合度越低(或称越差),夹角a越小,则表示路径贴合度越高(或称越好)。示例性的,a的取值范围可以为大于或等于0度且小于或等于180度。
该实现方式中,作为一种可能的示例,机器人可以将满足机器人的陪伴距离、且能够满足机器人到用户的视野不被遮挡某一位置作为临时目标点。作为另外一种可能的示例,机器人可以将路径贴合度最高、且能够满足机器人到用户的视野不被遮挡的某一位置作为临时目标点。
作为又一种可能的示例,机器人可以将满足机器人的陪伴距离,路径贴合度最高、且能够满足机器人到用户的视野不被遮挡的某一位置作为临时目标点。可选的,满足机器人的陪伴距离,路径贴合度最高、且能够满足机器人到用户的视野不被遮挡的位置可能存在多个,机器人可以将其中任一位置作为临时目标点。或者,可选的,机器人还可以通过打分的方式来选择该临时目标点。以机器人陪伴距离用数值范围表示为例,示例性的,如图13所示,以机器人当前时刻的位姿为圆心O,以机器人的陪伴距离的下限为半径R的范围内,确定与用户之间的距离不小于该机器人的陪伴距离的下限,且能够满足机器人到用户的视野不被遮挡的多个备选点,如备选点1、备选点2、备选点3等等。然后依据路径贴合度、以及备选点与用户之间的距离对这些备选点打分。其中,路径贴合度越大、与用户之间的距离越小的备选点的打分越高,最终可以将打分最高的备选点作为临时目标点。
在一些实施例中,机器人和/或其他设备还可以实时或者周期性的判断用户的状况,示例性的,用户的状况可以包括但不限于用户的行进速度、用户的行进方向、用户的行进状态(比如:行进、停止等)、用户的状态(比如:跌倒、正常)等中的一种或多种。可选的,在用户的状况不满足预设状况时,机器人还可以执行对应的调整策略。示例性的,预设状况可以指用户按照可行路径正常行进的状况。这样,可以及时的监测到用户的情况,在及时监测到一些意外情况发生的同时,在用户的意图发生改变时,可以及时的调整自身的策略。
可选的,在用户的状态不满足预设状况时,机器人执行的调整策略可以相同也可以不同。
比如:若确定机器人的行进速度小于预设阈值(示例性的,该预设阈值可以为初始速度的0.1倍、0.2倍、0.15倍或者为其他的数值等,本申请对该预设阈值不做任何限制),或者用户处于静止状态等,机器人可以触发原地等待。
再比如:若用户的行进方向与预设方向(如按照可行路径行进的方向)不同或者相反时,机器人还可以触发跟随模式,跟随用户。或者在用户按照与预设方向不同或者相反的方向行进一段距离,和/或一段时间之后,机器人再触发跟随模式。
再比如:若用户处于跌倒状态时,机器人还可以启动应急机制,比如:通知关联用户如子女、拨打急救电话等等。可选的,可以通过采集用户的图像,通过训练好的模型来输出用户的状态,以判断用户是否处于跌倒状态。当然也可以采用其他的跌倒检测技术,比如:骨点检测,通过判断用户的某些骨骼点与地面之间的距离确定用户是否跌倒。或者,通过检测用户下坠的速度,确定用户是否发生跌倒等。本申请对此不做任何限制。
在一些实施例中,机器人引领用户到达目的地时。对于不同的属性的目的地和/或不同状态的目的地,机器人执行的到达策略可以相同也可以不同。示例性的,该到达策略可以包括但不限于机器人的到达位置、机器人是否输出提醒消息等中一种或多种。
比如:以目的地为卧室,目的地的房门处于关闭状态为例,则机器人可以输出提醒消息,提醒用户敲门,有助于孩童礼貌的养成。在用户进入卧室之后,机器人可以跟随进入。如:若机器人根据全场景地图确定目的地的房门位置表现为障碍,则机器人可以确定目的地的房门处于关闭状态,当然,机器人也可以通过其他的方式判断目的地的房门是否处于关闭状态,本申请对此不做限定。可选的,此处在房门处于半开半掩的情况下,也可认定房门处于关闭状态。
再比如:以目的地为洗手间为例,目的地的房门处于关闭状态,但是目的地的灯光处于关闭状态,则机器人不会输出提醒用户敲门的消息。机器人可以打开目的地的灯光,等待用户进入。在用户进入洗手间之后,机器人还可以在洗手间外(如房门侧边)等待用户,可以保证用户的隐私。
本申请实施例中是以机器人引领用户行进到目的的场景为例的,当然,机器人也可以通过移动能力实现其他场景下对用户的陪伴,比如:陪伴用户(如儿童)做游戏等。上述主要是从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是,机器人为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本申请中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超过本申请实施例的技术方案的范围。
本申请是实施例可以根据上述方法示例对机器人进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
作为一种可能的划分方式,如图14所示,为本申请实施例提供的一种引领装置1400的结构示意图,该引领装置可应用于机器人,以使得机器人实现以上各个方法实施例中记载的方法。示例性的,该引领装置1400具体可以包括:处理单元1401、移动单元1402。
处理单元1401,可用于支持机器人执行图4中的步骤S401至步骤S403;和/或,处理单元1401,还用于支持机器人执行本申请实施例中机器人执行的其他处理操作。
移动单元1402,可用于支持机器人执行图4中的步骤S404;和/或,移动单元1402,还用于支持机器人执行本申请实施例中机器人执行的其他移动操作。
可选的,图14所示的引领装置1400还可以包括存储单元1403,该存储单元1403存储有程序或指令。当处理单元1401执行该程序或指令时,使得应用图14所示引领装置的机器人可以执行本申请实施例所示的方法。
可选的,图14所示的引领装置1400还可以包括通信单元(图14中未示出),该通信单元,用于支持引领装置1400执行本申请实施例中引领装置与其他设备(如智能设备)之间通信的步骤。
图14所示的引领装置1400的技术效果可以上述方法实施例的技术效果,此处不再赘述。图14所示的引领装置1400中涉及的处理单元1401可以由处理器或处理器相关电路组件实现,可以为处理器或处理模块。通信单元可以由收发器或收发器相关电路组件实现,可以为收发器或收发模块。
本申请实施例还提供一种芯片系统,如图15所示,该芯片系统包括至少一个处理器1501和至少一个接口电路1502。处理器1501和接口电路1502可通过线路互联。例如,接口电路1502可用于从其它装置接收信号。又例如,接口电路1502可用于向其它装置(例如处理器1501)发送信号。示例性的,接口电路1502可读取存储器中存储的指令,并将该指令发送给处理器1501。当所述指令被处理器1501执行时,可使得机器人执行上述实施例中的机器人执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
可选地,该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
可选地,该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置,本申请并不限定。示例性的,存储器可以是非瞬时性处理器,例如只读存储器ROM,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请对存储器的类型,以及存储器与处理器的设置方式不作具体限定。
示例性的,该芯片系统可以是现场可编程门阵列(field programmable gatearray,FPGA),可以是专用集成芯片(application specific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processorunit,CPU),还可以是网络处理器(network processor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logic device,PLD)或其他集成芯片。
应理解,上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在机器人上运行时,使得机器人执行上述方法实施例所述的方法。
本申请实施例提供一种计算机程序产品,该计算机程序产品包括:计算机程序或指令,当计算机程序或指令在计算机上运行时,使得该计算机执行上述方法实施例所述的方法。
本申请实施例提供一种电路系统,电路系统包括处理电路,处理电路被配置为执行上述方法实施例所述的方法。
另外,本申请实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使装置执行上述各方法实施例中的方法。
其中,本实施例提供的引领装置、计算机存储介质、计算机程序产品、电路系统、芯片或装置均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。各实施例在不冲突的情况下可以相互结合或相互参考。以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种机器人引领方法,其特征在于,所述方法包括:
所述机器人接收用户指令,所述用户指令用于指示用户行进的目的地;
所述机器人根据所述用户指令控制目标路径上的一个或多个设备的状态,所述目标路径为从所述用户的位置到达所述目标地的路径;
所述机器人按照所述目标路径引领所述用户行进到所述目的地。
2.根据权利要求1所述方法,其特征在于,在所述机器人根据所述用户指令控制目标路径上的一个或多个设备的状态之前,所述方法还包括:
所述机器人根据目标地图确定所述目标路径上的一个或多个设备以及所述一个或多个设备的初始状态,所述目标地图为基于所述机器人所处环境构建的地图。
3.根据权利要求1或2所述的方法,其特征在于,在所述机器人根据所述用户指令控制目标路径上的一个或多个设备的状态之前,所述方法还包括:
所述机器人根据所述目标地图、所述目的地以及所述用户的位置确定所述目标路径。
4.根据权利要求1-3任一项所述的方法,其特征在于,在所述机器人按照所述目标路径引领所述用户行进到所述目的地之前,所述方法还包括:
所述机器人获取所述用户的生理参数;
所述机器人根据所述用户的生理参数确定目标距离,所述目标距离为所述机器人引领所述用户行进到所述目的地的过程中,所述机器人和所述用户之间的距离。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述机器人按照所述目标路径引领所述用户行进到所述目的地之前,所述方法还包括:
所述机器人根据所述用户的生理参数确定所述机器人的初始速度。
6.根据权利要求4或5所述的方法,其特征在于,所述生理参数包括年龄、身高、体重中的一种或多种。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述机器人根据所述用户指令控制目标路径上的一个或多个设备的状态,包括:
所述机器人根据所述用户指令以及每个设备所处地点的特征信息控制所述每个设备的状态,所述每个设备属于所述目标路径上的设备。
8.根据权利要求7所述的方法,其特征在于,在所述机器人根据所述用户指令以及每个设备所处地点的特征信息控制所述每个设备的状态之前,所述方法还包括:
所述机器人根据所述目标地图与所述每个设备所处地点中的智能设备进行交互,获取所述每个地点的特征信息。
9.根据权利要求1-8任一项所述的方法,其特征在于,在所述机器人按照所述目标路径引领所述用户行进到所述目的地的过程中,所述方法还包括:
所述机器人确定目标视野是否被遮挡,所述目标视野为所述机器人到所述用户的视野。
10.根据权利要求9所述的方法,其特征在于,所述机器人确定目标视野是否被遮挡,包括:
所述机器人根据预估的所述机器人下一时刻的位姿、以及所述用户当前时刻的位姿预测下一时刻所述目标视野是否被遮挡。
11.根据权利要求10所述的方法,其特征在于,若预测所述下一时刻所述目标视野被遮挡,所述方法还包括:
所述机器人确定临时地点,处于所述临时地点的所述机器人到所述用户当前位姿的视野预测不被遮挡。
12.根据权利要求11所述的方法,其特征在于,所述机器人确定所述临时地点包括:
所述机器人根据预设距离条件和/或路径贴合度条件确定所述临时地点;
其中,所述预设距离条件包括第一距离满足第一条件,和/或第二距离满足第二条件;
所述第一距离为所述机器人当前时刻的位姿与所述临时地点之间的距离,所述第二距离为所述用户当前时刻的位姿与所述临时地点之间的距离;
所述路径贴合度条件包括:所述机器人当前时刻的位姿到所述临时地点的路径,和所述机器人当前时刻的位姿到所述预估的所述机器人下一时刻的位姿的路径的偏差程度满足第三条件。
13.根据权利要求12所述的方法,其特征在于,所述目标距离大于或等于第一阈值且小于或等于第二阈值;
所述第一条件包括:小于或等于所述第一阈值;
所述第二条件包括:大于或等于所述第一阈值;
所述第三条件包括:小于或等于预设偏差阈值。
14.根据权利要求1-13任一项所述的方法,其特征在于,在所述机器人按照所述目标路径引领所述用户行进到所述目的地的过程中,所述方法还包括:
所述机器人确定所述机器人与所述用户之间的实际距离是否满足距离阈值。
15.根据权利要求14所述的方法,其特征在于,若不满足所述距离阈值,所述方法还包括:
所述机器人调整所述机器人当前时刻的速度。
16.根据权利要求15所述的方法,其特征在于,所述机器人调整所述机器人当前时刻的速度,包括:
所述机器人基于调节系数调整所述机器人当前时刻的速度,所述调节系数与偏差距离正相关,所述偏差距离为所述机器人与所述用户之间的实际距离,和所述目标距离之间的偏差。
17.根据权利要求1-16任一项所述的方法,其特征在于,所述目的地为洗手间,且所述洗手间处于占用状态;所述机器人按照所述目标路径引领所述用户行进到所述目的地之前,所述方法还包括:
所述机器人提醒用户洗手间已被占用。
18.根据权利要求1-17任一项所述的方法,其特征在于,若所述目的地为卧室,且所述卧室的房门状态处于关闭状态;在所述机器人按照所述目标路径引领所述用户行进到所述目的地时,所述方法还包括:
所述机器人提醒用户敲门。
19.根据权利要求1-18任一项所述的方法,其特征在于,若所述目标路径上的一个或多个设备包括灯光,且所述灯光处于关闭状态;所述机器人控制目标路径上的一个或多个设备的状态,包括:
所述机器人将所述灯光的状态控制为打开状态。
20.根据权利要求7-19任一项所述的方法,其特征在于,若所述目的地为卧室,所述目标路径上的一个或多个设备包括灯光,且所述卧室的灯光处于关闭状态;所述机器人控制目标路径上的一个或多个设备的状态,包括:
所述机器人将所述卧室的灯光保持为关闭状态。
21.一种机器人,其特征在于,包括:包括处理器和存储器,所述存储器和所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述处理器从所述存储器中读取所述计算机指令,以使得所述机器人执行如权利要求1至20中任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序或指令,当所述计算机程序或指令在机器人上运行的情况下,使得所述机器人执行如权利要求1至20中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211124670.5A CN117762122A (zh) | 2022-09-15 | 2022-09-15 | 机器人引领方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211124670.5A CN117762122A (zh) | 2022-09-15 | 2022-09-15 | 机器人引领方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117762122A true CN117762122A (zh) | 2024-03-26 |
Family
ID=90322416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211124670.5A Pending CN117762122A (zh) | 2022-09-15 | 2022-09-15 | 机器人引领方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117762122A (zh) |
-
2022
- 2022-09-15 CN CN202211124670.5A patent/CN117762122A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11604471B2 (en) | Systems and methods for crowd navigation in support of collision avoidance for a motorized mobile system | |
KR102104896B1 (ko) | 로봇청소기 및 이를 이용한 휴먼 케어방법 | |
JP2022173244A (ja) | 状況認識のためのモバイル清掃ロボット人工知能 | |
US20180356233A1 (en) | Intelligent navigation assistance device | |
US20060129308A1 (en) | Management and navigation system for the blind | |
US20050216126A1 (en) | Autonomous personal service robot | |
JP2024508843A (ja) | 定義区域内の対象物を追跡する技術 | |
US11256261B1 (en) | System for movement of autonomous mobile device | |
US11460303B2 (en) | Electronic apparatus, control device, and operation method of electronic apparatus | |
US20220282985A1 (en) | Computer-implemented method, wearable device, computer program and computer readable medium for assisting the movement of a visually impaired user | |
KR101330046B1 (ko) | 고령자의 일상생활지원을 위한 보행보조로봇을 이용한 고령자의 기억 보조 시스템, 및 보행보조로봇을 이용한 고령자의 기억 보조 방법 | |
US20230196691A1 (en) | Extended reality 3d space monitoring | |
CN117762122A (zh) | 机器人引领方法及装置 | |
US20230133750A1 (en) | Video conference interruption prediction | |
US11961393B2 (en) | System and method for audible spatial description for people with sensory disabilities and the aging population | |
CN113183162A (zh) | 一种智能护理机器人控制方法及系统 | |
US11480968B1 (en) | System for dynamic positioning of an autonomous mobile device with respect to a user | |
US20230196681A1 (en) | Extended reality 3d space creation and management | |
US20230196692A1 (en) | Coordinating extended reality 3d space | |
US20240134393A1 (en) | System and methods for tagging accessibility features with a motorized mobile system | |
US20240118713A1 (en) | System and method for navigation support for a motorized mobile system | |
CN116959204A (zh) | 基于床垫的地震预警方法及床垫、存储介质 | |
CN117357380A (zh) | 一种行走辅助导航方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |