CN111055288B - 一种随叫随到的机器人控制方法、存储介质及机器人 - Google Patents

一种随叫随到的机器人控制方法、存储介质及机器人 Download PDF

Info

Publication number
CN111055288B
CN111055288B CN202010038772.XA CN202010038772A CN111055288B CN 111055288 B CN111055288 B CN 111055288B CN 202010038772 A CN202010038772 A CN 202010038772A CN 111055288 B CN111055288 B CN 111055288B
Authority
CN
China
Prior art keywords
robot
people
target
search
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010038772.XA
Other languages
English (en)
Other versions
CN111055288A (zh
Inventor
罗方龙
向良华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flyingwings Intelligent Robot Technology Shanghai Co ltd
Original Assignee
Flyingwings Intelligent Robot Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flyingwings Intelligent Robot Technology Shanghai Co ltd filed Critical Flyingwings Intelligent Robot Technology Shanghai Co ltd
Priority to CN202010038772.XA priority Critical patent/CN111055288B/zh
Publication of CN111055288A publication Critical patent/CN111055288A/zh
Application granted granted Critical
Publication of CN111055288B publication Critical patent/CN111055288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种随叫随到的机器人控制方法、存储介质及机器人，所述随叫随到的机器人控制方法包括：所述机器人获取声源定位方向信息后获取搜索目标点列表，并根据所述搜索目标点列表依次导航到各个搜索目标点，在导航的同时获取周围物体信息并逐个进行分析是否有人，当检测到有人后判断是否为目标人，若是，则计算到所述目标人的距离并导航到距离所述目标人一预设距离值的停止点，若不是，则返回继续导航并检测。本发明通过语音识别、声源定位方向、人体检测和人脸识别技术，实现机器人随叫随到的功能，提高机器人的互动性和类人特征。

Description

一种随叫随到的机器人控制方法、存储介质及机器人
技术领域
本发明涉及机器人控制的技术领域，尤其是涉及一种随叫随到的机器人控制方法、存储介质及机器人。
背景技术
人工智能技术的发展与普及，促进了机器人行业的迅速发展，越来越多的工厂及企事业单位期望利用机器人来代替人类低效高成本的工作；而巡检机器人成为诸类机器人中最受欢迎的机器人之一，众多工厂希望利用巡检机器人来完成枯燥的监控管理任务，以节时高效的完成巡检工作；但是目前现有技术无法实现巡检机器人与人之间的随叫随到的交互控制。
申请公布号CN110428821A的中国专利公开了一种用于巡检机器人的语音指令控制方法，至少包括以下步骤：获取音频数据；其中，所述音频数据包括本地音频数据和远程音频数据；通过深度学习法对所述音频数据中的语音指令进行识别；根据识别到的所述语音指令执行对应的命令动作。
上述中的现有技术方案存在以下缺陷：该方案通过语音控制代替传统的按键控制，能够有效提高控制的便捷性和美观，但还无法实现令机器人随叫随到的功能。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种随叫随到的机器人控制方法、存储介质及机器人。
本发明的上述发明目的一是通过以下技术方案得以实现的：
一种随叫随到的机器人控制方法，所述机器人获取声源定位方向信息后获取搜索目标点列表，并根据所述搜索目标点列表依次导航到各个搜索目标点，在导航的同时获取周围物体信息并逐个进行分析是否有人，当检测到有人后判断是否为目标人，若是，则计算到所述目标人的距离并导航到距离所述目标人一预设距离值的停止点，若不是，则返回继续导航并检测。
通过采用上述技术方案，通过语音识别、声源定位方向、人体检测和人脸识别技术，实现机器人随叫随到的功能，提高机器人的互动性和类人特征。
本发明在一较佳示例中可以进一步配置为：所述获取声源定位方向信息之前还包括：所述机器人获取声纹信息，并根据所述声纹信息从数据库中获取对应目标人面部或身体的图像信息。
通过采用上述技术方案，将声纹信息转化为面部或身体的图像信息，有利于人体检测单元和人脸识别单元对目标人进行准确识别，提高搜索效率和搜索成功率。
本发明在一较佳示例中可以进一步配置为：所述获取声源定位方向信息的同时，所述机器人通过转向装置转动，以使所述机器人正面朝向所述声源定位方向。
通过采用上述技术方案，所述机器人正面设置有人体检测单元和人脸识别单元，有利于人体检测单元和人脸识别单元准确转向目标人，方便后续检测步骤的进行。
本发明在一较佳示例中可以进一步配置为：所述获取搜索目标点列表具体步骤为：
S01：判断是否存在地图数据，若存在则进入步骤S02，若不存在则进入步骤S04；
S02：根据所述地图数据，以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值且在所述地图中的若干个点为搜索点；
S03：逐个判断所述搜索点是否可以到达，若可以到达，则加入搜索目标点列表，若不可以到达，则在该搜索点附近寻找合适的替代点作为新的搜索点并加入所述搜索目标点列表；
S04：以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值的若干个点为搜索点并依次加入到所述搜索目标点列表。
通过采用上述技术方案，获取搜索目标点列表的方法分为带地图数据和不带地图数据两种模式，在带地图数据模式下，将搜索点规定在地图数据中，有利于提高导航的精准性，附加不带地图数据模式，有利于提高系统的适配性。
本发明在一较佳示例中可以进一步配置为：当所述机器人导航到各个所述搜索点时还未检测到人，则所述机器人通过转向装置转动一圈获取周围物体信息并逐个进行分析是否有人。
通过采用上述技术方案，当所述机器人导航到各个所述搜索点时还未检测到人，有可能是目标人在所述机器人的导航过程中进行了移动，导致不在原来的检索范围，这时候让所述机器人转一圈，有利于提高搜索成功率。
本发明在一较佳示例中可以进一步配置为：所述当检测到有人后判断是否为目标人具体步骤为：根据目标人面部或身体的图像信息判断检测到的是否为目标人。
通过采用上述技术方案，在以声纹信息进行目标人检测时，在检测到人后，需要进行目标人面部或身体图像信息的匹配，以防止导航到不是目标人面前。
本发明在一较佳示例中可以进一步配置为：所述在导航的同时获取周围物体信息并逐个进行分析是否有人：当检测到有多人时，所述机器人发出询问信息，以获取新的声源定位方向信息，并根据所述新的声源定位方向信息进行确定目标人。
通过采用上述技术方案，当检测到有多人时，也可以启用目标人面部或身体的图像信息的匹配判断，从而确定声源定位方向信息，但是当目标人此时面部或身体被遮挡，所述机器人发出询问信息，以获取新的声源定位方向信息，并根据所述新的声源定位方向信息进行确定目标人，防止因目标人此时面部或身体被遮挡而导致导航失败。
本发明在一较佳示例中可以进一步配置为：当所述搜索目标点列表中的所有搜索目标点都导航过后仍然没有检测到目标人时，则发出搜索失败的提示并停止搜索。
通过采用上述技术方案，当所述搜索目标点列表中的所有搜索目标点都导航过后仍然没有检测到目标人，说明目标人已经离开之前的位置，此时机器人停止搜索并等待目标人下一步指令。
本发明的上述发明目的二是通过以下技术方案得以实现的：
一种存储介质，其存储有指令集，所述指令集适用于一处理器加载并执行所述的随叫随到的机器人控制方法。
通过采用上述技术方案，通过语音识别、声源定位方向、人体检测和人脸识别技术，实现机器人随叫随到的功能，提高机器人的互动性和类人特征。
本发明的上述发明目的三是通过以下技术方案得以实现的：
一种机器人，包括：
处理器，用于加载并执行指令集；以及，
所述的存储介质。
通过采用上述技术方案，通过语音识别、声源定位方向、人体检测和人脸识别技术，实现机器人随叫随到的功能，提高机器人的互动性和类人特征。
综上所述，本发明包括以下至少一种有益技术效果：
1.通过语音识别、声源定位方向、人体检测和人脸识别技术，实现机器人随叫随到的功能，提高机器人的互动性和类人特征；
2.将声纹信息转化为面部或身体的图像信息，有利于人体检测单元和人脸识别单元对目标人进行准确识别，提高搜索效率和搜索成功率；
3.获取搜索目标点列表的方法分为带地图数据和不带地图数据两种模式，在带地图数据模式下，将搜索点规定在地图数据中，有利于提高导航的精准性，附加不带地图数据模式，有利于提高系统的适配性。
附图说明
图1是本发明随叫随到的机器人控制方法流程图；
图2是本发明一实施例的随叫随到的机器人控制方法流程图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
参照图1，为本发明公开的一种随叫随到的机器人控制方法，所述机器人获取声源定位方向信息后获取搜索目标点列表，并根据所述搜索目标点列表依次导航到各个搜索目标点，在导航的同时获取周围物体信息并逐个进行分析是否有人，当检测到有人后判断是否为目标人，若是，则计算到所述目标人的距离并导航到距离所述目标人一预设距离值的停止点，若不是，则返回继续导航并检测。
参照图2，为本实施例公开的一种随叫随到的机器人控制方法，所述机器人利用语音识别单元获取声源定位方向信息后获取搜索目标点列表，并根据所述搜索目标点列表依次导航到各个搜索目标点，在导航的同时利用人体检测单元获取周围物体信息并逐个进行分析是否有人，当检测到有人后利用人脸识别单元判断是否为目标人，若是，则利用深度相机计算到所述目标人的距离并导航到距离所述目标人一预设距离值的停止点（并以预设分贝输出语音“来了！”），若不是，则返回继续导航并检测。
继续参照图2，所述获取声源定位方向信息之前还包括：所述机器人获取声纹信息，并根据所述声纹信息从数据库中获取对应目标人面部或身体的图像信息。将声纹信息转化为面部或身体的图像信息，有利于人体检测单元和人脸识别单元对目标人进行准确识别，提高搜索效率和搜索成功率。
继续参照图2，所述获取声源定位方向信息的同时，所述机器人通过转向装置转动，以使所述机器人正面朝向所述声源定位方向。所述机器人正面设置有人体检测单元和人脸识别单元，有利于人体检测单元和人脸识别单元准确转向目标人，方便后续检测步骤的进行。
继续参照图2，所述获取搜索目标点列表具体步骤为：
S01：判断是否存在地图数据，若存在则进入步骤S02，若不存在则进入步骤S04；
S02：根据所述地图数据，以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值且在所述地图中的若干个点为搜索点；可在所述声源定位方向上10米范围内规划5个搜索点，然后可以从近到远依次获取每个搜索点的图像信息；
S03：逐个判断所述搜索点是否可以到达，若可以到达，则加入搜索目标点列表，若不可以到达，则在该搜索点附近寻找合适的替代点作为新的搜索点并加入所述搜索目标点列表；
S04：以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值的若干个点为搜索点并依次加入到所述搜索目标点列表。
所述机器人根据所述搜索目标点列表规划移动路线，并根据所述移动路线导航。在所述移动路线上导航时，通过超声波、深度相机、激光雷达多种传感器判断所述移动路线上是否具有障碍物；若碰到障碍物，则以所述机器人当前的位置重新进行获取搜索目标点列表并导航。在判断所述移动路线具有障碍物时，所述机器人根据预设的规则进行变向，变向后判断是否能绕开障碍物，若能则以当前方向与声源定位方向最近的路线为规划路线，若不能则继续变向。
继续参照图2，当所述机器人导航到各个所述搜索点时还未检测到人，则所述机器人通过转向装置转动一圈利用人体检测单元获取周围物体信息并逐个进行分析是否有人。
所述当检测到有人后判断是否为目标人具体步骤为：根据目标人面部或身体的图像信息判断检测到的是否为目标人。
继续参照图2，所述在导航的同时获取周围物体信息并逐个进行分析是否有人：当检测到有多人时，所述机器人发出询问信息（本实施例优选为以预设分贝输出语音“人呢”），以获取新的声源定位方向信息，并根据所述新的声源定位方向信息进行确定目标人。
在导航到距离所述目标人一预设距离值的停止点过程中，实时监测所述机器人与所述目标人之间的实时距离，判断所述实时距离是否小于所述预设距离值（本实施例优选为0.6米），若是，则所述机器人停止移动，若否，则所述机器人继续移动。
当所述搜索目标点列表中的所有搜索目标点都导航过后仍然没有检测到目标人时，则发出搜索失败的提示并停止搜索。
本发明还公开一种存储介质，其存储有指令集，所述指令集适用于一处理器加载并执行所述的随叫随到的机器人控制方法。
本发明还公开一种机器人，包括：
处理器，用于加载并执行指令集；以及，
所述的存储介质。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (8)

1.一种随叫随到的机器人控制方法，其特征在于：所述机器人获取声源定位方向信息后获取搜索目标点列表，并根据所述搜索目标点列表依次导航到各个搜索目标点，在导航的同时获取周围物体信息并逐个进行分析是否有人，当检测到有人后判断是否为目标人，若是，则计算到所述目标人的距离并导航到距离所述目标人一预设距离值的停止点，若不是，则返回继续导航并检测；
所述获取搜索目标点列表具体步骤为：
S01：判断是否存在地图数据，若存在则进入步骤S02，若不存在则进入步骤S04；
S02：根据所述地图数据，以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值且在所述地图中的若干个点为搜索点；
S03：逐个判断所述搜索点是否可以到达，若可以到达，则加入搜索目标点列表，若不可以到达，则在该搜索点附近寻找合适的替代点作为新的搜索点并加入所述搜索目标点列表；
S04：以所述机器人为起点，沿着所述声源定位方向选取间隔距离为一预设间隔值的若干个点为搜索点并依次加入到所述搜索目标点列表。
2.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于，所述获取声源定位方向信息之前还包括：所述机器人获取声纹信息，并根据所述声纹信息从数据库中获取对应目标人面部或身体的图像信息。
3.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于：所述获取声源定位方向信息的同时，所述机器人通过转向装置转动，以使所述机器人正面朝向所述声源定位方向。
4.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于：当所述机器人导航到各个所述搜索点时还未检测到人，则所述机器人通过转向装置转动一圈获取周围物体信息并逐个进行分析是否有人。
5.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于，所述当检测到有人后判断是否为目标人具体步骤为：根据目标人面部或身体的图像信息判断检测到的是否为目标人。
6.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于，所述在导航的同时获取周围物体信息并逐个进行分析是否有人：当检测到有多人时，所述机器人发出询问信息，以获取新的声源定位方向信息，并根据所述新的声源定位方向信息进行确定目标人。
7.根据权利要求1所述的随叫随到的机器人控制方法，其特征在于：当所述搜索目标点列表中的所有搜索目标点都导航过后仍然没有检测到目标人时，则发出搜索失败的提示并停止搜索。
8.一种机器人，其特征在于，包括：
处理器，用于加载并执行指令集；以及，
存储介质，其存储有指令集，所述指令集适用于所述处理器加载并执行如权利要求1-7任一项所述的随叫随到的机器人控制方法。
CN202010038772.XA 2020-01-14 2020-01-14 一种随叫随到的机器人控制方法、存储介质及机器人 Active CN111055288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010038772.XA CN111055288B (zh) 2020-01-14 2020-01-14 一种随叫随到的机器人控制方法、存储介质及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010038772.XA CN111055288B (zh) 2020-01-14 2020-01-14 一种随叫随到的机器人控制方法、存储介质及机器人

Publications (2)

Publication Number Publication Date
CN111055288A CN111055288A (zh) 2020-04-24
CN111055288B true CN111055288B (zh) 2021-04-13

Family

ID=70307368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010038772.XA Active CN111055288B (zh) 2020-01-14 2020-01-14 一种随叫随到的机器人控制方法、存储介质及机器人

Country Status (1)

Country Link
CN (1) CN111055288B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115963825B (zh) * 2022-12-23 2024-03-26 美的集团(上海)有限公司 智能设备及其控制方法和装置、计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105856260A (zh) * 2016-06-24 2016-08-17 深圳市鑫益嘉科技股份有限公司 一种带有随叫随到功能的机器人
CN105929827A (zh) * 2016-05-20 2016-09-07 北京地平线机器人技术研发有限公司 移动机器人及其定位方法
CN108748218A (zh) * 2018-08-27 2018-11-06 浙江华嘉驰智能科技有限公司 基于机器视觉与ar技术的新零售智能导购机器人及导购方法
CN109145697A (zh) * 2017-08-10 2019-01-04 湖南超能机器人技术有限公司 一种语音召唤智能居家康护机器人的方法
CN109382827A (zh) * 2018-10-26 2019-02-26 深圳市三宝创新智能有限公司 一种机器人系统及其智能记忆识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE527086T1 (de) * 2002-12-10 2011-10-15 Honda Motor Co Ltd Steuervorrichtung, steuerverfahren und steuerprogramm für einen roboter
US20170021497A1 (en) * 2015-07-24 2017-01-26 Brandon Tseng Collaborative human-robot swarm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929827A (zh) * 2016-05-20 2016-09-07 北京地平线机器人技术研发有限公司 移动机器人及其定位方法
CN105856260A (zh) * 2016-06-24 2016-08-17 深圳市鑫益嘉科技股份有限公司 一种带有随叫随到功能的机器人
CN109145697A (zh) * 2017-08-10 2019-01-04 湖南超能机器人技术有限公司 一种语音召唤智能居家康护机器人的方法
CN108748218A (zh) * 2018-08-27 2018-11-06 浙江华嘉驰智能科技有限公司 基于机器视觉与ar技术的新零售智能导购机器人及导购方法
CN109382827A (zh) * 2018-10-26 2019-02-26 深圳市三宝创新智能有限公司 一种机器人系统及其智能记忆识别方法

Also Published As

Publication number Publication date
CN111055288A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
JP2501010B2 (ja) 移動ロボットの誘導装置
CN108062098B (zh) 智能机器人的地图构建方法和系统
US8868410B2 (en) Non-dialogue-based and dialogue-based learning apparatus by substituting for uttered words undefined in a dictionary with word-graphs comprising of words defined in the dictionary
US7873448B2 (en) Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles
JP5411789B2 (ja) コミュニケーションロボット
US8694323B2 (en) In-vehicle apparatus
JP2008158868A (ja) 移動体、及びその制御方法
US20200064827A1 (en) Self-driving mobile robots using human-robot interactions
JP2008087140A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
CN111507164B (zh) 实时更新可检测类的类别的对象检测系统的方法和设备
JP2015081831A (ja) 音源位置推定装置、移動体および移動体の制御方法
CN109557920A (zh) 一种自动导航建图机器人及控制方法
Guo et al. Tracking and localization for omni-directional mobile industrial robot using reflectors
CN108733059A (zh) 一种导览方法及机器人
CN111055288B (zh) 一种随叫随到的机器人控制方法、存储介质及机器人
US20230205234A1 (en) Information processing device, information processing system, method, and program
Hakim et al. Indoor Low Cost Assistive Device using 2D SLAM Based on LiDAR for Visually Impaired People.
Fazli et al. Simultaneous landmark classification, localization and map building for an advanced sonar ring
CN112327848A (zh) 机器人避障方法及装置、存储介质和电子设备
Kawasaki et al. A multimodal path planning approach to human robot interaction based on integrating action modeling
Murray et al. Auditory robotic tracking of sound sources using hybrid cross-correlation and recurrent networks
Eoh et al. Faulty robot rescue by multi-robot cooperation
CN113031588B (zh) 商场机器人导航系统
Simões et al. Indoor navigation assistant for visually impaired by pedestrian dead reckoning and position estimative of correction for patterns recognition
CN112578338B (zh) 声源定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant