CN114770559B - 一种机器人的取物控制系统及方法 - Google Patents

一种机器人的取物控制系统及方法 Download PDF

Info

Publication number
CN114770559B
CN114770559B CN202210591667.8A CN202210591667A CN114770559B CN 114770559 B CN114770559 B CN 114770559B CN 202210591667 A CN202210591667 A CN 202210591667A CN 114770559 B CN114770559 B CN 114770559B
Authority
CN
China
Prior art keywords
robot
route
acquiring
obstacle
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210591667.8A
Other languages
English (en)
Other versions
CN114770559A (zh
Inventor
边锡
陈甲成
吴超
杨亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongdi Robot Yancheng Co ltd
Original Assignee
Zhongdi Robot Yancheng Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdi Robot Yancheng Co ltd filed Critical Zhongdi Robot Yancheng Co ltd
Priority to CN202210591667.8A priority Critical patent/CN114770559B/zh
Publication of CN114770559A publication Critical patent/CN114770559A/zh
Application granted granted Critical
Publication of CN114770559B publication Critical patent/CN114770559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种机器人的取物控制系统及方法，其中，系统包括：获取模块，用于获取第一用户输入的取物任务，取物任务包括：目标物体、取物区域和送物位置；控制模块，用于控制机器人前往取物区域，抵达后，控制机器人采集取物区域的区域图像，基于区域图像，控制机器人对目标物体进行取物，取物后，控制机器人前往送物位置进行送物。本发明的机器人的取物控制系统及方法，当作业人员等临时需要一些设备和材料等，无需自行前往仓库等进行拿取，节省时间，提升便捷性，特别适用于当作业人员不方便离开作业现场时的情形。

Description

一种机器人的取物控制系统及方法
技术领域
本发明涉及机器人技术领域，特别涉及一种机器人的取物控制系统及方法。
背景技术
目前，当作业人员在现场作业时，可能临时需要一些设备和材料等，需要作业人员前往仓库等进行拿取，耽误时间，特别是当作业人员不方便离开作业现场时，更加麻烦；
因此，亟需一种解决办法。
发明内容
本发明提供一种机器人的取物控制系统及方法，当作业人员等临时需要一些设备和材料等，无需自行前往仓库等进行拿取，节省时间，提升便捷性，特别适用于当作业人员不方便离开作业现场时的情形。
本发明提供一种机器人的取物控制系统，包括：
获取模块，用于获取第一用户输入的取物任务，取物任务包括：目标物体、取物区域和送物位置；
控制模块，用于控制机器人前往取物区域，抵达后，获取取物区域的区域图像，基于区域图像，控制机器人对目标物体进行取物，取物后，控制机器人前往送物位置进行送物。
优选的，控制模块控制机器人前往取物区域，执行如下操作：
获取机器人当前的第一位置，同时，获取取物区域的第一中心点的第二位置；
在预设的场地地图上规划第一位置至第二位置的第一移动路线；
基于第一移动路线，控制机器人开始前往取物区域；
在机器人前往取物区域的过程中，持续获取机器人当前的第三位置；
基于第三位置，确定移动路线上机器人的剩余路线；
通过场地内对应于剩余路线的第一图像采集设备采集剩余路线的路线图像；
基于路线图像，确定剩余路线上的至少一个障碍物和障碍物的第四位置和类别，类别包括：物体和人；
当障碍物的类别为物体时，基于障碍物的第四位置，对剩余路线进行路线修正，获得修正路线；
基于修正路线，接力控制机器人继续前往取物区域；
当障碍物的类别为人时，获取机器人即将路过障碍物的第四位置时相对于障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据行驶来向，生成机器人来向提醒信息；
当剩余路线上对应于机器人当前的第三位置与障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将机器人来向提醒信息发送至障碍物佩戴的智能终端；
和/或，
通过对应于障碍物的第四位置的第二图像采集设备采集障碍物的人物图像；
基于人物图像，确定障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内障碍物的第四位置周边预设的第一范围的第三图像采集设备采集障碍物的第四位置周边第一范围内的第一范围图像；
基于第一范围图像，确定障碍物的第四位置周边第一范围内设置的第二中心点的第六位置与第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制显示朝向与脸部朝向的夹角落在预设的夹角范围内的最大夹角对应的显示设备临时持续显示机器人来向提醒信息。
优选的，控制模块获取取物区域的区域图像，执行如下操作：
通过对应于取物区域的第四图像采集设备采集取物区域的区域图像；
或，
控制机器人全方位采集取物区域内的区域图像。
优选的，控制模块基于区域图像，控制机器人对目标物体进行取物，执行如下操作：
基于区域图像，确定取物区域内目标物体的物体位置；
控制机器人持续采集物体位置周边预设的第二范围内的第二范围图像，直至取物完成；
基于预设的取物控制模型，根据第二范围图像，控制机器人对目标物体进行取物。
优选的，控制模块控制机器人前往送物位置进行送物，执行如下操作：
获取机器人当前的第七位置；
在场地地图上规划第七位置至送物位置的第二移动路线；
基于第二移动路线，控制机器人开始前往送物位置；
在机器人前往送物位置的过程中，持续获取机器人当前的第八位置；
当第八位置落在任一预设的风险区域内时，控制机器人持续对机器人周边预设的第三范围进行三维扫描，获得三维信息；
基于三维信息，构建机器人周边第三范围的三维模型；
基于模型识别技术，识别三维模型中是否存在至少一个人体模型；
若是，统计人体模型的数目；
若数目唯一，基于行为识别技术，识别人体模型产生的至少一个第一行为；
获取预设的行为风险评估库，将第一行为与风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的第二行为对应的预设的第一风险值；
若第一风险值大于等于预设的风险阈值，控制机器人进行防抢预警；
若数目不唯一，基于行为识别技术，识别各个人体模型产生的至少一个第三行为和任意至少两个人体模型之间交互产生的第四行为；
将第三行为和第四行为与风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的第二行为对应的预设的第二风险值；
若第二风险值大于等于风险阈值，控制机器人进行防抢预警。
优选的，控制模块控制机器人进行防抢预警，执行如下操作：
获取第八位置落在的风险区域内的预设的至少一个第一有效点位的第九位置；
获取场地内空闲的至少一个第一安保人员当前的第十位置；
在场地地图上规划第九位置至第十位置的第三移动路线；
统计第三移动路线的第二路线长度；
将第二路线长度最短的第三移动路线对应的第一有效点位和第一安保人员分别作为第二有效点位与第二安保人员；
调度第二安保人员前往第二有效点位；
获取第二有效点位相对于第八位置的位置朝向；
基于预设的安保人员抵达提醒信息生成模板，根据位置朝向，生成安保人员抵达提醒信息；
控制机器人输出安保人员抵达提醒信息。
优选的，当机器人抵达送物位置旁时，控制模块还执行如下操作：
获取第一用户输入的取物信息，取物信息包括：进行取物的第二用户和第一用户的留言；
当第三用户基于机器人输入取物请求时，控制机器人采集第三用户的第一人脸ID；
获取第二用户对应的预设的第二人脸ID；
将第一人脸ID与第二人脸ID进行匹配；
若匹配符合，基于留言，生成输出内容；
控制机器人输出输出内容，同时，控制机器人采集之后预设的时间段内第三用户查看输出内容的视线的视线变化；
获取第三用户查看输出内容的标准视线变化；
计算视线变化与标准视线变化的相似度；
若相似度大于等于预设的相似度阈值，控制机器人允许第三用户取出目标物体。
优选的，控制模块基于留言，生成输出内容，执行如下操作：
基于语义理解技术，提取留言的多个第一语义；
获取预设的语义重要性评估库，将第一语义与语义重要性评估库中的第二语义进行匹配；
若匹配符合，获取匹配符合的第二语义对应的重要度，同时，确定留言中对应于匹配符合的第一语义的局部内容；
获取重要度对应的预设的内容重要性标记模板，基于内容重要性标记模板，对局部内容进行对应内容重要性标记；
当需要进行内容重要性标记的局部内容均标记后，将留言作为输出内容，完成生成。
本发明提供一种机器人的取物控制方法，包括：
步骤1：获取第一用户输入的取物任务，取物任务包括：目标物体、取物区域和送物位置；
步骤2：控制机器人前往取物区域，抵达后，获取取物区域的区域图像，基于区域图像，控制机器人对目标物体进行取物，取物后，控制机器人前往送物位置进行送物。
优选的，步骤2中，控制机器人前往取物区域，包括：
获取机器人当前的第一位置，同时，获取取物区域的第一中心点的第二位置；
在预设的场地地图上规划第一位置至第二位置的第一移动路线；
基于第一移动路线，控制机器人开始前往取物区域；
在机器人前往取物区域的过程中，持续获取机器人当前的第三位置；
基于第三位置，确定移动路线上机器人的剩余路线；
通过场地内对应于剩余路线的第一图像采集设备采集剩余路线的路线图像；
基于路线图像，确定剩余路线上的至少一个障碍物和障碍物的第四位置和类别，类别包括：物体和人；
当障碍物的类别为物体时，基于障碍物的第四位置，对剩余路线进行路线修正，获得修正路线；
基于修正路线，接力控制机器人继续前往取物区域；
当障碍物的类别为人时，获取机器人即将路过障碍物的第四位置时相对于障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据行驶来向，生成机器人来向提醒信息；
当剩余路线上对应于机器人当前的第三位置与障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将机器人来向提醒信息发送至障碍物佩戴的智能终端；
和/或，
通过对应于障碍物的第四位置的第二图像采集设备采集障碍物的人物图像；
基于人物图像，确定障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内障碍物的第四位置周边预设的第一范围的第三图像采集设备采集障碍物的第四位置周边第一范围内的第一范围图像；
基于第一范围图像，确定障碍物的第四位置周边第一范围内设置的第二中心点的第六位置与第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制显示朝向与脸部朝向的夹角落在预设的夹角范围内的最大夹角对应的显示设备临时持续显示机器人来向提醒信息。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种机器人的取物控制系统的示意图；
图2为本发明实施例中一种机器人的取物控制方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供一种机器人的取物控制系统，如图1所示，包括：
获取模块1，用于获取第一用户输入的取物任务，取物任务包括：目标物体、取物区域和送物位置；
控制模块2，用于控制机器人前往取物区域，抵达后，获取取物区域的区域图像，基于区域图像，控制机器人对目标物体进行取物，取物后，控制机器人前往送物位置进行送物。
上述技术方案的工作原理及有益效果为：
第一用户可以为现场作业人员即目标物体的需求方；还可以为机器人调度人员，现场作业人员联系机器人调度人员，由其负责调度机器人进行送物；还可以为某员工，调度机器人来取物送给其他员工。第一用户基于智能终端输入取物任务，取物任务包括需要机器人拿取的目标物体、目标物体所在的取物区域以及取物后将目标物体送至的送物位置；智能终端可以为，例如：智能手机等。控制机器人前往取物区域，机器人抵达取物区域后，基于取物区域的区域图像，控制机器人对目标物体进行取物；例如：基于区域图像，确定目标物体的位置，控制机器人的机械手夹取目标物体。取物后，控制机器人前往送物位置进行送物。当作业人员等临时需要一些设备和材料等，无需自行前往仓库等进行拿取，节省时间，提升便捷性，特别适用于当作业人员不方便离开作业现场时的情形。
本发明提供一种机器人的取物控制系统，控制模块2控制机器人前往取物区域，执行如下操作：
获取机器人当前的第一位置，同时，获取取物区域的第一中心点的第二位置；
在预设的场地地图上规划第一位置至第二位置的第一移动路线；
基于第一移动路线，控制机器人开始前往取物区域；
在机器人前往取物区域的过程中，持续获取机器人当前的第三位置；
基于第三位置，确定移动路线上机器人的剩余路线；
通过场地内对应于剩余路线的第一图像采集设备采集剩余路线的路线图像；
基于路线图像，确定剩余路线上的至少一个障碍物和障碍物的第四位置和类别，类别包括：物体和人；
当障碍物的类别为物体时，基于障碍物的第四位置，对剩余路线进行路线修正，获得修正路线；
基于修正路线，接力控制机器人继续前往取物区域；
当障碍物的类别为人时，获取机器人即将路过障碍物的第四位置时相对于障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据行驶来向，生成机器人来向提醒信息；
当剩余路线上对应于机器人当前的第三位置与障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将机器人来向提醒信息发送至障碍物佩戴的智能终端；
和/或，
通过对应于障碍物的第四位置的第二图像采集设备采集障碍物的人物图像；
基于人物图像，确定障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内障碍物的第四位置周边预设的第一范围的第三图像采集设备采集障碍物的第四位置周边第一范围内的第一范围图像；
基于第一范围图像，确定障碍物的第四位置周边第一范围内设置的第二中心点的第六位置与第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制显示朝向与脸部朝向的夹角落在预设的夹角范围内的最大夹角对应的显示设备临时持续显示机器人来向提醒信息。
上述技术方案的工作原理及有益效果为：
机器人在仓库等内进行待命，当执行取物任务时，需要在仓库内进行移动。一般的，仓库内的过道上会存在临时摆放的设备或货品等，例如：对货架进行补货时，待补入的货品临时摆放在过道上；过道上还会存在工作人员，例如：对货品进行统计的工作人员和人工进行取物的工作人员等。因此，当机器人行驶在过道上时，若不考虑避障，可能会与临时摆放的货品或工作人员产生误碰装，不仅会影响取物任务的执行进度，还可能造成机器人受损。但是，若考虑避障，传统的，在机器人内设置避障设备，设备投入及后期维护成本均较大。因此，亟需进行解决。
首先，引入预设的场地地图，场地地图可以为仓库的地图等，在场地地图上规划第一移动路线(基于最短路线规划技术实现，属于现有技术范畴，不作赘述)。接着，通过对应于第一移动路线(拍摄范围与第一移动路线存在交集，其余第二图像采集设备、第三图像采集设备和第四图像采集设备的选取与之同理)的第一图像采集设备(例如：摄像头)采集路线图像，基于路线图像，确定障碍物的第四位置和类别，类别分为物体(例如：临时摆放的货品)和人(例如：工作人员)。最后，当类别为物体时，对机器人的剩余路线进行修正，例如：重新规划路线，规避开临时摆放的货品；当类别为人时，提醒工作人员注意机器人即将炉路过。有效避免了机器人与临时摆放的货品或工作人员产生误碰装，保证了取物任务的执行进度，避免机器人受损；另外，与图像采集设备的配合，无需在机器人内设置避障设备，降低了成本，更具有适用性。
另外，对工作人员提醒时，引入预设的机器人来向提醒信息生成模板，来向提醒信息生成模板可以为，例如：“注意啦！机器人即将从X边过来，请注意避让！”，根据行驶来向(例如：东边)，生成机器人来向提醒信息，例如：“注意啦！机器人即将从东边过来，请注意避让！”，提升提醒有效性。同时，引入预设的路线长度阈值，当局部路线的第一路线长度较小时，再进行提醒，进一步提升了提醒的有效性。
对工作人员进行提醒的方式有两种：第一种，将机器人来向提醒信息发送至工作人员佩戴的智能终端，例如：智能手环、智能手机和手持工作终端等；第二种，从工作人员周边预设的第一范围(例如：2米)内的显示设备挑选出最佳显示设备，由其显示机器人来向提醒信息。充分保证了提醒的可达性。
在对显示设备进行挑选时，考虑无视线遮挡且显示朝向(垂直于显示屏向外)与脸部朝向的夹角(可转换成大小随机，方向与之对应的两个向量，计算向量夹角)落在预设的夹角范围(例如：120°～180°)内最大夹角对应的显示设备(一般的，当工作人员完全正视显示屏时，夹角为180°)，提升了挑选的合理性。同理，当机器人送物时，也可以这样实现与图像采集设备配合式的避障。
本发明提供一种机器人的取物控制系统，控制模块2获取取物区域的区域图像，执行如下操作：
通过对应于取物区域的第四图像采集设备采集取物区域的区域图像；
或，
控制机器人全方位采集取物区域内的区域图像。
上述技术方案的工作原理及有益效果为：
获取区域图像的方式有两种：第一种，通过第四图像采集设备进行采集；第二种，控制机器人全方位(多角度)采集取物区域内的区域图像。
本发明提供一种机器人的取物控制系统，控制模块2基于区域图像，控制机器人对目标物体进行取物，执行如下操作：
基于区域图像，确定取物区域内目标物体的物体位置；
控制机器人持续采集物体位置周边预设的第二范围内的第二范围图像，直至取物完成；
基于预设的取物控制模型，根据第二范围图像，控制机器人对目标物体进行取物。
上述技术方案的工作原理及有益效果为：
基于区域图像，确定取物区域内目标物体的物体位置，可基于图像识别技术实现。控制机器人采集物体位置周边预设的第二范围(例如：0.75米)内的第二范围图像。引入预设的取物控制模型，取物控制模型为将大量人工根据物体图像控制机械手等夹具夹取物体的控制记录作为训练样本对神经网络模型进行训练至收敛后的神经网络模型。基于取物控制模型，根据第二范围图像，控制机器人对目标物体进行取物，提升了取物效率。
本发明提供一种机器人的取物控制系统，控制模块2控制机器人前往送物位置进行送物，执行如下操作：
获取机器人当前的第七位置；
在场地地图上规划第七位置至送物位置的第二移动路线；
基于第二移动路线，控制机器人开始前往送物位置；
在机器人前往送物位置的过程中，持续获取机器人当前的第八位置；
当第八位置落在任一预设的风险区域内时，控制机器人持续对机器人周边预设的第三范围进行三维扫描，获得三维信息；
基于三维信息，构建机器人周边第三范围的三维模型；
基于模型识别技术，识别三维模型中是否存在至少一个人体模型；
若是，统计人体模型的数目；
若数目唯一，基于行为识别技术，识别人体模型产生的至少一个第一行为；
获取预设的行为风险评估库，将第一行为与风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的第二行为对应的预设的第一风险值；
若第一风险值大于等于预设的风险阈值，控制机器人进行防抢预警；
若数目不唯一，基于行为识别技术，识别各个人体模型产生的至少一个第三行为和任意至少两个人体模型之间交互产生的第四行为；
将第三行为和第四行为与风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的第二行为对应的预设的第二风险值；
若第二风险值大于等于风险阈值，控制机器人进行防抢预警。
上述技术方案的工作原理及有益效果为：
当机器人进行送物时，在送物途中，可能会遭遇抢物。特别是当一些仓库设置在偏僻地带时，机器人的行驶位置的周边安保人员及其他人员可能较少，提升遭遇抢物的可能性。因此，亟需进行解决。
首先，引入预设的风险区域，风险区域为机器人行驶至该区域内，遭遇抢物的可能性较大，可由工作人员设定。当机器人进入风险区域时，再进行风险识别，减少风险识别的资源占用，也降低机器人的功耗。接着，当机器人进入风险区域时，控制机器人对周边第三范围(例如：5米)内进行三维扫描(可基于毫米波雷达传感器实现)，产生三维信息，基于三维信息，构建三维模型；识别三维模型中是否存在周边人员的人体模型，若是，识别其产生的第一行为。最后，引入行为风险评估库，行为风险评估库中存储有大量存在抢物可能性的行为和对应风险值，评估人体模型产生的第一行为、第三行为和第四行为(例如：一人东张西望，一人靠近机器人)的风险程度，若风险程度较高，进行防抢预警。极大程度上保证送物过程的安全性，特别适用于设置在一些特殊位置的场地。
本发明提供一种机器人的取物控制系统，控制模块2控制机器人进行防抢预警，执行如下操作：
获取第八位置落在的风险区域内的预设的至少一个第一有效点位的第九位置；
获取场地内空闲的至少一个第一安保人员当前的第十位置；
在场地地图上规划第九位置至第十位置的第三移动路线；
统计第三移动路线的第二路线长度；
将第二路线长度最短的第三移动路线对应的第一有效点位和第一安保人员分别作为第二有效点位与第二安保人员；
调度第二安保人员前往第二有效点位；
获取第二有效点位相对于第八位置的位置朝向；
基于预设的安保人员抵达提醒信息生成模板，根据位置朝向，生成安保人员抵达提醒信息；
控制机器人输出安保人员抵达提醒信息。
上述技术方案的工作原理及有益效果为：
进行防抢预警时，引入第八位置落在的风险区域内的预设的第一有效点位，第一有效点位为当安保人员出现在该点位时，对风险区域内的可能产生抢物行为的人员有示警作用，可由工作人员事先进行场地考察设定。挑选第二路线长度最短的第三移动路线对应的第一有效点位和第一安保人员分别作为第二有效点位与第二安保人员，进行对应调度，无需基于安保人员前往机器人当前位置的距离进行挑选，更加合理，特别是一些内部道路复杂，安保人员前往机器人当前位置比较麻烦的场地，若基于安保人员前往机器人当前位置的距离进行挑选，可能会导致示警的不及时性。另外，当第二安保人员前往第二有效点位时，引入预设的安保人员抵达提醒信息生成模板，安保人员抵达提醒信息生成模板可以为，例如：“安保人员在X边”，根据位置朝向(例如：东)，生成安保人员抵达提醒信息，例如“安保人员在东边”，并控制机器人进行输出(例如：语音播报等)，对周边可能进行抢物的人员进行示警，进一步提升防抢预警效果。
本发明提供一种机器人的取物控制系统，当机器人抵达送物位置旁时，控制模块2还执行如下操作：
获取第一用户输入的取物信息，取物信息包括：进行取物的第二用户和第一用户的留言；
当第三用户基于机器人输入取物请求时，控制机器人采集第三用户的第一人脸ID；
获取第二用户对应的预设的第二人脸ID；
将第一人脸ID与第二人脸ID进行匹配；
若匹配符合，基于留言，生成输出内容；
控制机器人输出输出内容，同时，控制机器人采集之后预设的时间段内第三用户查看输出内容的视线的视线变化；
获取第三用户查看输出内容的标准视线变化；
计算视线变化与标准视线变化的相似度；
若相似度大于等于预设的相似度阈值，控制机器人允许第三用户取出目标物体。
上述技术方案的工作原理及有益效果为：
当一用户为某员工，调度机器人来取物送给其他员工时，第一用户会进行备注留言，例如：一些设备或材料的使用提醒等。因此，当第三用户输入取物请求时(例如：基于机器人上设置的取物按钮输入)，控制机器人采集第三用户的第一人脸ID，与第二用户对应的预设的第二人脸ID进行匹配，若匹配符合，执行下一步操作，保证取物的安全性。基于留言，生成输出内容，由于留言的重要性，因此，需要识别地锁用户是否细致查看该输出内容，采集第三用户视线的视线变化(视线采集属于现有技术范畴，不作赘述)，获取第三用户查看输出内容的标准视线变化(可以基于输出内的文字顺序等模拟出第三用户细致查看输出内容的视线变化)，技术两者的相似度，若相似度较大，说明第三用户细致查看输出内容，允许其去除目标物体，提升了留言的可达性，特别是一些特殊设备或材料有特定使用方法或注意事项等，更加适用。
本发明提供一种机器人的取物控制系统，控制模块2基于留言，生成输出内容，执行如下操作：
基于语义理解技术，提取留言的多个第一语义；
获取预设的语义重要性评估库，将第一语义与语义重要性评估库中的第二语义进行匹配；
若匹配符合，获取匹配符合的第二语义对应的重要度，同时，确定留言中对应于匹配符合的第一语义的局部内容；
获取重要度对应的预设的内容重要性标记模板，基于内容重要性标记模板，对局部内容进行对应内容重要性标记；
当需要进行内容重要性标记的局部内容均标记后，将留言作为输出内容，完成生成。
上述技术方案的工作原理及有益效果为：
提取出留言的多个第一语义。引入预设的语义重要性评估库，语义重要性评估库中存储有大量语义及对应重要度，评估第一语义的重要度，引入重要度对应的预设的内容重要性标记模板，内容重要性标记模板可以为红色标记模板等，对局部内容进行标记，全部标记完成后，将留言作为输出内容。无需第一用户留言时，进行重要性标记，提升了便捷性，也提升了第三用户查看输出内容时的鲜明性，提升了用户体验。另外，在获取第三用户查看输出内容的标准视线变化时，也可以适应性增加模拟的视线在重要内容的停留时长，提升模拟的合理性和精准性。
本发明提供一种机器人的取物控制方法，如图2所示，包括：
步骤1：获取第一用户输入的取物任务，取物任务包括：目标物体、取物区域和送物位置；
步骤2：控制机器人前往取物区域，抵达后，获取取物区域的区域图像，基于区域图像，控制机器人对目标物体进行取物，取物后，控制机器人前往送物位置进行送物。
本发明提供一种机器人的取物控制方法，步骤2中，控制机器人前往取物区域，包括：
获取机器人当前的第一位置，同时，获取取物区域的第一中心点的第二位置；
在预设的场地地图上规划第一位置至第二位置的第一移动路线；
基于第一移动路线，控制机器人开始前往取物区域；
在机器人前往取物区域的过程中，持续获取机器人当前的第三位置；
基于第三位置，确定移动路线上机器人的剩余路线；
通过场地内对应于剩余路线的第一图像采集设备采集剩余路线的路线图像；
基于路线图像，确定剩余路线上的至少一个障碍物和障碍物的第四位置和类别，类别包括：物体和人；
当障碍物的类别为物体时，基于障碍物的第四位置，对剩余路线进行路线修正，获得修正路线；
基于修正路线，接力控制机器人继续前往取物区域；
当障碍物的类别为人时，获取机器人即将路过障碍物的第四位置时相对于障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据行驶来向，生成机器人来向提醒信息；
当剩余路线上对应于机器人当前的第三位置与障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将机器人来向提醒信息发送至障碍物佩戴的智能终端；
和/或，
通过对应于障碍物的第四位置的第二图像采集设备采集障碍物的人物图像；
基于人物图像，确定障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内障碍物的第四位置周边预设的第一范围的第三图像采集设备采集障碍物的第四位置周边第一范围内的第一范围图像；
基于第一范围图像，确定障碍物的第四位置周边第一范围内设置的第二中心点的第六位置与第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制显示朝向与脸部朝向的夹角落在预设的夹角范围内的最大夹角对应的显示设备临时持续显示机器人来向提醒信息。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种机器人的取物控制系统，其特征在于，包括：
获取模块，用于获取第一用户输入的取物任务，所述取物任务包括：目标物体、取物区域和送物位置；
控制模块，用于控制机器人前往所述取物区域，抵达后，获取所述取物区域的区域图像，基于所述区域图像，控制机器人对所述目标物体进行取物，取物后，控制机器人前往所述送物位置进行送物；
所述控制模块控制机器人前往所述取物区域，执行如下操作：
获取机器人当前的第一位置，同时，获取所述取物区域的第一中心点的第二位置；
在预设的场地地图上规划所述第一位置至所述第二位置的第一移动路线；
基于所述第一移动路线，控制机器人开始前往所述取物区域；
在机器人前往所述取物区域的过程中，持续获取机器人当前的第三位置；
基于所述第三位置，确定所述移动路线上所述机器人的剩余路线；
通过场地内对应于所述剩余路线的第一图像采集设备采集所述剩余路线的路线图像；
基于所述路线图像，确定所述剩余路线上的至少一个障碍物和所述障碍物的第四位置和类别，所述类别包括：物体和人；
当所述障碍物的类别为物体时，基于所述障碍物的第四位置，对所述剩余路线进行路线修正，获得修正路线；
基于所述修正路线，接力控制机器人继续前往所述取物区域；
当所述障碍物的类别为人时，获取所述机器人即将路过所述障碍物的第四位置时相对于所述障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据所述行驶来向，生成机器人来向提醒信息；
当所述剩余路线上对应于机器人当前的第三位置与所述障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将所述机器人来向提醒信息发送至所述障碍物佩戴的智能终端；
和/或，
通过对应于所述障碍物的第四位置的第二图像采集设备采集所述障碍物的人物图像；
基于所述人物图像，确定所述障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内所述障碍物的第四位置周边预设的第一范围的第三图像采集设备采集所述障碍物的第四位置周边所述第一范围内的第一范围图像；
基于所述第一范围图像，确定所述障碍物的第四位置周边所述第一范围内设置的第二中心点的第六位置与所述第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制所述显示朝向与所述脸部朝向的夹角落在预设的夹角范围内的最大所述夹角对应的所述显示设备临时持续显示所述机器人来向提醒信息。
2.如权利要求1所述的一种机器人的取物控制系统，其特征在于，所述控制模块获取所述取物区域的区域图像，执行如下操作：
通过对应于所述取物区域的第四图像采集设备采集所述取物区域的区域图像；
或，
控制机器人全方位采集所述取物区域内的区域图像。
3.如权利要求1所述的一种机器人的取物控制系统，其特征在于，所述控制模块基于所述区域图像，控制机器人对所述目标物体进行取物，执行如下操作：
基于所述区域图像，确定所述取物区域内所述目标物体的物体位置；
控制机器人持续采集所述物体位置周边预设的第二范围内的第二范围图像，直至取物完成；
基于预设的取物控制模型，根据所述第二范围图像，控制机器人对所述目标物体进行取物。
4.如权利要求1所述的一种机器人的取物控制系统，其特征在于，所述控制模块控制机器人前往所述送物位置进行送物，执行如下操作：
获取机器人当前的第七位置；
在所述场地地图上规划所述第七位置至所述送物位置的第二移动路线；
基于所述第二移动路线，控制机器人开始前往所述送物位置；
在机器人前往所述送物位置的过程中，持续获取机器人当前的第八位置；
当所述第八位置落在任一预设的风险区域内时，控制机器人持续对机器人周边预设的第三范围进行三维扫描，获得三维信息；
基于所述三维信息，构建机器人周边所述第三范围的三维模型；
基于模型识别技术，识别所述三维模型中是否存在至少一个人体模型；
若是，统计所述人体模型的数目；
若所述数目唯一，基于行为识别技术，识别所述人体模型产生的至少一个第一行为；
获取预设的行为风险评估库，将所述第一行为与所述风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的所述第二行为对应的预设的第一风险值；
若第一风险值大于等于预设的风险阈值，控制机器人进行防抢预警；
若所述数目不唯一，基于行为识别技术，识别各个所述人体模型产生的至少一个第三行为和任意至少两个所述人体模型之间交互产生的第四行为；
将所述第三行为和所述第四行为与所述风险评估库中的第二行为进行匹配；
若匹配符合，获取匹配符合的所述第二行为对应的预设的第二风险值；
若第二风险值大于等于所述风险阈值，控制机器人进行防抢预警。
5.如权利要求4所述的一种机器人的取物控制系统，其特征在于，所述控制模块控制机器人进行防抢预警，执行如下操作：
获取第八位置落在的所述风险区域内的预设的至少一个第一有效点位的第九位置；
获取场地内空闲的至少一个第一安保人员当前的第十位置；
在所述场地地图上规划所述第九位置至所述第十位置的第三移动路线；
统计所述第三移动路线的第二路线长度；
将所述第二路线长度最短的所述第三移动路线对应的所述第一有效点位和所述第一安保人员分别作为第二有效点位与第二安保人员；
调度所述第二安保人员前往所述第二有效点位；
获取所述第二有效点位相对于所述第八位置的位置朝向；
基于预设的安保人员抵达提醒信息生成模板，根据所述位置朝向，生成安保人员抵达提醒信息；
控制机器人输出所述安保人员抵达提醒信息。
6.如权利要求1所述的一种机器人的取物控制系统，其特征在于，当机器人抵达所述送物位置旁时，所述控制模块还执行如下操作：
获取所述第一用户输入的取物信息，所述取物信息包括：进行取物的第二用户和所述第一用户的留言；
当第三用户基于机器人输入取物请求时，控制机器人采集所述第三用户的第一人脸ID；
获取所述第二用户对应的预设的第二人脸ID；
将所述第一人脸ID与所述第二人脸ID进行匹配；
若匹配符合，基于所述留言，生成输出内容；
控制机器人输出所述输出内容，同时，控制机器人采集之后预设的时间段内所述第三用户查看所述输出内容的视线的视线变化；
获取所述第三用户查看所述输出内容的标准视线变化；
计算所述视线变化与所述标准视线变化的相似度；
若所述相似度大于等于预设的相似度阈值，控制机器人允许所述第三用户取出所述目标物体。
7.如权利要求6所述的一种机器人的取物控制系统，其特征在于，所述控制模块基于所述留言，生成输出内容，执行如下操作：
基于语义理解技术，提取所述留言的多个第一语义；
获取预设的语义重要性评估库，将所述第一语义与所述语义重要性评估库中的第二语义进行匹配；
若匹配符合，获取匹配符合的所述第二语义对应的重要度，同时，确定所述留言中对应于匹配符合的所述第一语义的局部内容；
获取所述重要度对应的预设的内容重要性标记模板，基于内容重要性标记模板，对所述局部内容进行对应内容重要性标记；
当需要进行内容重要性标记的所述局部内容均标记后，将所述留言作为输出内容，完成生成。
8.一种机器人的取物控制方法，其特征在于，包括：
步骤1：获取第一用户输入的取物任务，所述取物任务包括：目标物体、取物区域和送物位置；
步骤2：控制机器人前往所述取物区域，抵达后，获取所述取物区域的区域图像，基于所述区域图像，控制机器人对所述目标物体进行取物，取物后，控制机器人前往所述送物位置进行送物；
所述步骤2中，控制机器人前往所述取物区域，包括：
获取机器人当前的第一位置，同时，获取所述取物区域的第一中心点的第二位置；
在预设的场地地图上规划所述第一位置至所述第二位置的第一移动路线；
基于所述第一移动路线，控制机器人开始前往所述取物区域；
在机器人前往所述取物区域的过程中，持续获取机器人当前的第三位置；
基于所述第三位置，确定所述移动路线上所述机器人的剩余路线；
通过场地内对应于所述剩余路线的第一图像采集设备采集所述剩余路线的路线图像；
基于所述路线图像，确定所述剩余路线上的至少一个障碍物和所述障碍物的第四位置和类别，所述类别包括：物体和人；
当所述障碍物的类别为物体时，基于所述障碍物的第四位置，对所述剩余路线进行路线修正，获得修正路线；
基于所述修正路线，接力控制机器人继续前往所述取物区域；
当所述障碍物的类别为人时，获取所述机器人即将路过所述障碍物的第四位置时相对于所述障碍物的第四位置的行驶来向；
基于预设的机器人来向提醒信息生成模板，根据所述行驶来向，生成机器人来向提醒信息；
当所述剩余路线上对应于机器人当前的第三位置与所述障碍物的第四位置之间的局部路线的第一路线长度小于等于预设的路线长度阈值时，将所述机器人来向提醒信息发送至所述障碍物佩戴的智能终端；
和/或，
通过对应于所述障碍物的第四位置的第二图像采集设备采集所述障碍物的人物图像；
基于所述人物图像，确定所述障碍物的脸部的第五位置和脸部朝向；
通过对应于场地内所述障碍物的第四位置周边预设的第一范围的第三图像采集设备采集所述障碍物的第四位置周边所述第一范围内的第一范围图像；
基于所述第一范围图像，确定所述障碍物的第四位置周边所述第一范围内设置的第二中心点的第六位置与所述第五位置的连线上无视线遮挡物的至少一个显示设备的显示朝向；
控制所述显示朝向与所述脸部朝向的夹角落在预设的夹角范围内的最大所述夹角对应的显示设备临时持续显示所述机器人来向提醒信息。
CN202210591667.8A 2022-05-27 2022-05-27 一种机器人的取物控制系统及方法 Active CN114770559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210591667.8A CN114770559B (zh) 2022-05-27 2022-05-27 一种机器人的取物控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210591667.8A CN114770559B (zh) 2022-05-27 2022-05-27 一种机器人的取物控制系统及方法

Publications (2)

Publication Number Publication Date
CN114770559A CN114770559A (zh) 2022-07-22
CN114770559B true CN114770559B (zh) 2022-12-13

Family

ID=82409482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210591667.8A Active CN114770559B (zh) 2022-05-27 2022-05-27 一种机器人的取物控制系统及方法

Country Status (1)

Country Link
CN (1) CN114770559B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115122334B (zh) * 2022-07-27 2023-06-06 中迪机器人(盐城)有限公司 一种操作机器人的控制方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095060A1 (zh) * 2020-11-09 2022-05-12 深圳市大疆创新科技有限公司 路径规划方法、路径规划装置、路径规划系统和介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
AT514162A1 (de) * 2013-04-09 2014-10-15 Knapp Ag Lager- und Kommissioniersystem zum vollautomatisierten Erkennen und Kommissionieren von Artikeln
JP5815664B2 (ja) * 2013-12-26 2015-11-17 ファナック株式会社 無線加速度センサを有するロボットシステム
CN103716399B (zh) * 2013-12-30 2016-08-17 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN207387674U (zh) * 2017-09-13 2018-05-22 昆山塔米机器人有限公司 一种会议服务智能机器人
JP7467041B2 (ja) * 2018-09-27 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
CN109571499A (zh) * 2018-12-25 2019-04-05 广州天高软件科技有限公司 一种智能导航引领机器人及其实现方法
CN111906778B (zh) * 2020-06-24 2023-04-28 深圳市越疆科技有限公司 基于多重感知的机器人安全控制方法及装置
CN112465439B (zh) * 2021-02-02 2021-05-11 红石阳光（北京）科技股份有限公司 基于智慧大脑控制机器人的物流配送方法及系统
CN215093599U (zh) * 2021-04-09 2021-12-10 中迪机器人(盐城)有限公司 一种水平多关节机器人
CN113537810A (zh) * 2021-07-28 2021-10-22 北京云迹科技有限公司 一种酒店机器人的送物方法及送物装置
CN114102585B (zh) * 2021-11-16 2023-05-09 北京洛必德科技有限公司 一种物品抓取规划方法及系统
CN114187067A (zh) * 2021-12-01 2022-03-15 北京云迹科技有限公司 移动机器人的订单配送方法、装置、存储介质及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095060A1 (zh) * 2020-11-09 2022-05-12 深圳市大疆创新科技有限公司 路径规划方法、路径规划装置、路径规划系统和介质

Also Published As

Publication number Publication date
CN114770559A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11361391B2 (en) Manufacturing control in the metal processing industry
US11797910B2 (en) Hands-free augmented reality system for picking and/or sorting assets
US10664809B2 (en) Observation based event tracking
KR101745670B1 (ko) 위치정보를 이용한 근로자 관리시스템
CN112394690B (zh) 仓库管理方法、装置、系统及电子设备
CN114770559B (zh) 一种机器人的取物控制系统及方法
WO2019048153A1 (de) Assistiertes zuordnen eines werkstücks zu einer mobileinheit eines innenraum-ortungssystems
US20190243345A1 (en) Control of manufacturing processes in metal processing industry
US20210272225A1 (en) Mobile correctional facility robots
US11959733B2 (en) Mobile correctional facility robots
JPWO2013145631A1 (ja) 動線データ解析装置、システム、プログラム及び方法
CN115659452B (zh) 一种智能巡视方法、智能巡视系统及计算机可读存储介质
CN115049322B (zh) 一种集装箱堆场的集装箱管理方法及系统
CN107730212A (zh) 一种施工项目人员远程实时管理系统
CN106292661A (zh) 一种基于无线终端的自动导引控制系统及控制方法
CN115035458B (zh) 一种安全风险评价方法及系统
CN113519012A (zh) 现场作业辅助系统
CN116070989A (zh) 一种智慧园区外部人员管理方法、系统及存储介质
CN109544067A (zh) 一种小区储物柜取货控制方法及系统
CN113977597B (zh) 配送机器人的控制方法及相关装置
Astafiev et al. Method of controlling the movement of large metal products with the use of algorithms for localization and recognition of bar code markings
CN107798504A (zh) 一种用于高风险放射源自动化安全监管的设备和方法
CN103530920B (zh) 基于格栅式智能识别单元的人数清点系统及方法
CN110497331A (zh) 辅助隐患识别巡检机器人
US20230282026A1 (en) Monitoring package pickups using video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant