CN116985142A - 一种机器人运动规划方法、装置和机器人 - Google Patents
一种机器人运动规划方法、装置和机器人 Download PDFInfo
- Publication number
- CN116985142A CN116985142A CN202311242829.8A CN202311242829A CN116985142A CN 116985142 A CN116985142 A CN 116985142A CN 202311242829 A CN202311242829 A CN 202311242829A CN 116985142 A CN116985142 A CN 116985142A
- Authority
- CN
- China
- Prior art keywords
- robot
- pedestrian
- motion
- sampling
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 188
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 28
- 230000009471 action Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种机器人运动规划方法、装置和机器人。本申请提供的机器人运动规划方法，在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；根据所述机器人的当前位姿，确定所述机器人的能力映射；根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。本申请提供的机器人运动规划方法、装置和机器人，可以对机器人进行运动规划，避免人机发生冲突，实现人机共融。
Description
技术领域
本申请涉及机器人技术领域，尤其涉及一种机器人运动规划方法、装置和机器人。
背景技术
随着人机协作的快速发展，人机协作要充分保障人员的安全性，除了对机器人本身开展任务与运动规划，还需要对协作人员进行观测。
现阶段人机共融环境下对于人员动作趋势的预测方法，有循环神经网络RNN、长短期记忆神经网络LSTM等。其中，LSTM因其对于历史时序数据的较强筛选与分析能力，可作为生产制造场景中的人员动作预测的优势方法。
但是，预测所需训练样本大、预测结果后处理操作复杂等问题，使得LSTM仍难以为人机协作中的机器人安全规划提供指导。另外，为保障人机共融环境中的人员安全，应结合机器人当前状态，判断人员动作对于机器人操作安全的影响。机器人应针对可能与自身发生运动干扰的人体动作趋势进行路径规划，以避免机器人运动对人员安全造成影响。
发明内容
有鉴于此，本申请提供一种机器人运动规划方法、装置和机器人，用以为人机协作中的机器人进行路径规划，以避免人机发生冲突。
具体地，本申请是通过如下技术方案实现的：
本申请第一方面提供一种机器人运动规划方法，所述方法应用于机器人；所述方法包括：
在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；
根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；
根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置；
根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
本申请第二方面提供一种机器人运动规划装置，所述装置包括检测模块、确定模块、预测模块和更新模块；其中，
所述检测模块，用于在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；
所述确定模块，用于根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；
所述预测模块，用于根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置；
所述更新模块，用于根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
本申请第三方面提供一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的任一项所述方法的步骤。
本申请第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面提供的任一项所述方法的步骤。
本申请提供的机器人运动规划方法、装置和机器人，在检测到行人进入指定区域时，通过获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹，并根据所述机器人的当前位姿，确定所述机器人的能力映射，进而根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹，从而根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。这样，可根据机器人的当前位姿确定机器人的能力映射，进而根据机器人的能力映射和行人的行人实际运动轨迹预测行人的行人可能运动轨迹，最后根据行人可能运动轨迹更新能力映射，进而根据更新的能力映射对机器人进行运动规划，可避免机器人与行人发生冲突。
附图说明
图1为本申请提供的机器人运动规划方法实施例一的流程图；
图2为本申请一示例性实施例示出的一种机器人的示意图；
图3为本申请一示例性实施例示出的一种确定能力映射的流程图；
图4为本申请一示例性实施例示出的一种机器人的能力映射的可视化图；
图5为本申请一示例性实施例示出的机器人运动规划方法的流程图；
图6为本申请提供的机器人运动规划方法实施例二的流程图；
图7为本申请一示例性实施例示出的一种改进的LSTM神经网络的结构示意图；
图8为本申请提供的机器人运动规划方法实施例三的流程图；
图9为本申请一示例性实施例示出的三种神经网络的损失值的变化趋势图；
图10为本申请一示例性实施例示出的机器人更新后的能力映射的可视化图；
图11为本申请一示例性实施例示出的实验设备和实验场景的示意图；
图12为本申请一示例性实施例示出的人机协作动作集合的示意图；
图13为本申请一示例性实施例示出的实际场景损失值的示意图；
图14为本申请一示例性实施例示出的实际行动和预测行动之间的可视化比较的示意图；
图15为本申请提供的机器人运动规划装置所在机器人的一种硬件结构图；
图16为本申请提供的机器人运动规划装置实施例一的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
大型飞机机舱内部等狭小封闭空间中的协作装配任务，面临装配点位多、装配空间小等问题，目前人力依赖较大。人与人之间在工业现场的协同工作，既要考虑自身的操作灵活性和姿态稳定性，又要考虑对方的协作灵活性和动作安全性。过高的人力需求导致大型飞机机舱内部件装配效率难以得到提升。又因为室内环境受地面承载力与操作空间等限制，要求执行任务的机器人具备较高的负载比，工业机器人等设备难以实现全自动化的部署。因此，人机协作是目前提升机舱内装配效率的有效思路。
机器人实现人机协作，需要具有较高的灵活性，即具有多重运动冗余，移动操作机器人具备此特点。移动操作机器人是由机械臂和移动底盘组合而成的具备平面移动能力的新型机器人，可在室内人机共融场景快速部署。但是，它的高冗余特性导致其在环境中欠约束，运动规划效率有待提升。
人机协作要充分保障人员的安全性，除了对机器人本身开展任务与运动规划，还需要对协作人员进行观测。此外，为保障人机共融环境中的人员安全，应结合机器人当前状态，判断人员动作对于机器人操作安全的影响。机器人应针对可能与自身发生运动干扰的人体动作趋势进行路径规划，以避免机器人运动对人员安全造成影响，从而进行对于人员安全威胁最小的运动规划。
有鉴于此，本申请提供一种机器人运动规划方法、装置和机器人，以对进行运动规划，避免人机发生冲突，实现人机共融。
本申请提供的机器人运动规划方法、装置和机器人，在检测到行人进入指定区域时，通过获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹，并根据所述机器人的当前位姿，确定所述机器人的能力映射，进而根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹，从而根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。这样，可根据机器人的当前位姿确定机器人的能力映射，进而根据机器人的能力映射和行人的行人实际运动轨迹预测行人的行人可能运动轨迹，在预测行人的行人可能运动轨迹时，结合了机器人的能力映射，最后根据行人可能运动轨迹更新能力映射，进而根据更新的能力映射对机器人进行运动规划，即更新后的能力映射考虑了行人的行人可能运动轨迹对机器人造成的影响，这样，可避免机器人与行人发生冲突，实现人机共融。
下面给出具体的实施例，用以详细介绍本申请的技术方案。
图1为本申请提供的机器人运动规划方法实施例一的流程图。请参照图1，本实施例提供的方法，应用于机器人，所述方法包括：
S101、在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置。
具体的，本实施例提供的方法和装置，应用于机器人，该机器人可以是移动操作机器人。
具体的，指定区域是根据实际需要设定的，本实施例中，不对指定区域进行限定。例如，在一种可能的实现方式中，指定区域为以机器人为圆心、半径为5m的圆形区域。
需要说明的是，例如，在一种可能的实现方式中，机器人上可以设置有行人感应器（例如，可以为红外传感器），可基于该行人感应器检测行人是否进行指定区域。
进一步的，机器人的位姿表征机器人在三维空间中的位置和姿态，其中，位置用三维坐标表示，姿态描述了机器人在空间中的朝向或方向。
具体的，指定时间段是根据实际需要设定的，本实施例中，不对指定时间段的具体值进行限定。例如，在一种可能的实现方式中，指定时间段为30分钟；此外，行人实际运动轨迹表征行人在指定时间段内的不同时刻所处的位置。具体实现时，例如，在一种可能的实现方式中，可基于当前时刻之前30分钟拍摄到的所述行人的多张图片，获取所述行人的行人实际运动轨迹。
S102、根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的圆心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性。
机器人的空间操作能力，可以用机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度表示。具体的，图2为本申请一示例性实施例示出的一种机器人的示意图。进一步的，该机器人的DH（Denavit-Hartenberg，即运动学模型）参数如表1所示：
表1 机器人的DH参数
图3为本申请一示例性实施例示出的一种确定能力映射的流程图。请参照图3，可选的，确定所述机器人的能力映射的过程，可以包括：
S301、确定用于表征所述机器人工作空间的采样立方体，并对所述采样立方体进行离散化，得到所述采样立方体所对应的多个子立方体。
具体的，根据机器人的机械臂的臂展和可达空间范围，构建表示机械臂采样点位范围（即机器人工作空间）的采样立方体。接着，对该立方体作离散化处理。将该立方体按照机械臂臂展的0.1倍为单位长度，分割成n个子立方体。其中，n是根据实际需要设定的，本实施例中，不对其具体值进行限定。
S302、针对每个子立方体，确定与该子立方体内切的子球体，并在所述子球体上确定多个采样位姿。
具体的，在离散化后的n个子立方体内做与该子立方体内切的子球体，子球体用q（q = 1，2，…，n）进行编号，在球面上采用螺旋布点法均匀布置m q 个坐标点，在各坐标点上再生成个表示采样位姿（该采样位姿为机械臂末端的位姿）的坐标，其中，每个采样位姿以坐标点为原点、指向球心的方向为z方向、与球面相切的两个方向为x方向和y方向的。这样，最终每个子球体上相当于共有/>。
S303、对所述多个采样位姿进行运动学求解，得到所述多个采样位姿中存在运动学解的可解采样位姿。
具体的，分别对这些采样位姿进行逆运动学求解，得到每个子球体上存在逆运动学解的可解采样位姿的数目Dq。
S304、将所述可解采样位姿的数目与所述多个采样位姿的数目的比值确定为所述子球体所对应的采样点位的运动灵活度；其中，所述子球体所对应的采样点位用所述子球体的球心表征。
具体的，将可解采样位姿的数目与多个采样位姿的数目相除，得到该子球体所对应的采样点位的运动灵活度，运动灵活度越大代表机器人到达该子球体所包围区域的位姿多样性越大。
具体实现时，可以按照如下公式来计算每个子球体所对应的采样点位的运动灵活度：
,
其中，μ 1(q)为子球体q所对应的采样点位的第一运动灵活度；D q 为子球体q上存在逆运动学解的可解采样位姿的数目；N q 为子球体q上采样位姿的个数；表示所有（n个）采样点中所计算出的/>的最大值；/>表示所有（n个）采样点中所计算出的/>的最小值。
需要说明的是，因为机器人的能力映射不仅要用采样位姿是否存在逆运动学解来评价，还要根据机械臂是否临近关节极限、奇异位姿等因素来判断机器人机械臂的笛卡尔空间灵活运动能力。因此，本实施例将机器人的当前位姿Pq与关节极限位姿和奇异位姿之间建立联系，为机械臂的位姿灵活性提供量化指标。这里用表示子球体q（q = 1，2，…，n）上的第N个（N = 1，2，…，Nq）采样位姿：
,
其中，表示从机器人当前位姿到奇异位姿的关节转角；/>表示采样位姿的雅克比矩阵。
进一步的，为了得到机械臂位姿，对每个子球体q的N个采样位姿求取逆运动学解，得到到达此采样位姿时的机械臂位姿。由于逆运动学解存在不唯一性，此处取使得机器人从零位姿态到达该采样位姿关节转角最小的机械臂位姿作为，再对每个子球体上的做归一化：
,
其中，表示对关节旋转距离做归一化后、子球体q所对应的采样点位的运动灵活度值（该值越大，表示机器人在此处的运动灵活度越高）。
需要说明的是，计算机械臂位姿对于关节转角的极限值的接近程度，首先用作为关节转角极限值趋近程度量化公式，表达机械臂在目标位姿下的关节运动范围变化能力：
,
其中，θ i 表示各转动关节的关节转角，可得机械臂关节处于运动范围中间位置时，；接近极限位置时，/>。为了将取值范围与其他考量标准统一，并以数值大小对应机器人的能力映射，又有关节转角为连续值且只能无限趋近极限值，采用调整后的Sigmoid函数进行数据归一化：
,
其中，表示采用调整后的sigmoid函数对关节旋转距离做归一化后的运动灵活度。对每个子球体的所有位姿通过上述公式求解后，并以/>为权重取加权平均值，整合上述两个判断关节奇异性与关节转角的极限值趋近程度计算，得到该子球体所对应的采样点位的第二运动灵活度μ 2 (q)：
,
其中，μ 2(q)表示经过sigmoid函数归一化后、子球体q所对应的采样点位的第二运动灵活度。
对上述两个归一化后的结果μ 1 (q)和μ 2 (q)取算术平均值，得到子球体q所对应的采样点位的运动灵活度，即：
μ(q) = average[μ 1(q)，μ 2 (q)]
其中，μ(q)为子球体q所对应的采样点位的运动灵活度。
进一步的，所述子球体所对应的采样点位用所述子球体的球心表征，此时，该采样点位的运动灵活度可以表征为c(q):
c(q) = ((x q, y q ,z q ) , μ(q))
其中，(x q, y q ,z q ) 为子球体q所对应的采样点位的坐标；μ(q)为该采样点位的运动灵活度。
S305、根据所有子球体对应的采样点位的运动灵活度，构建所述机器人的能力映射。
构建好的能力映射为所有子球体对应的采样点位的运动灵活度的集合。
具体实现时，例如，一实施例中，还可以绘制能力映射对应的能力映射图，例如，可以基于各个采样点位的坐标，将各个采样点位表示为空间坐标下的一个点，进而将该采样点位的运动灵活度作为该点的值，得到能力映射图。例如，一实施例中，图4为本申请一示例性实施例示出的一种机器人的能力映射的可视化图。参见图4，其中，图4中a图为能力映射对应的立体图。进一步的，为了便于观察机器人的能力映射在整个空间中的分布形态，可以沿z=0截面（即机械臂基座所在高度为横截面），以俯视图展现机器人的能力映射，例如，图4中b图为能力映射对应的俯视图。
具体的，参照图4，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性。
S103、根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。
具体的，预设时间段是根据实际需要设定的，本实施例中，不对预设时间段的具体值进行限定，例如，一实施例中，预设时间段为20分钟。进一步的，行人可能运动轨迹表征行人在所述预设时间段内的不同时刻所处的位置。
具体实现时，可基于预先训练好的运动轨迹预测模型来预测行人在当前时刻之后的预设时间段内的行人可能运动轨迹。
有关根据机器人的能力映射和行人实际运动轨迹预测行人的行人可能运动轨迹的具体实现过程放在以下实施例中说明，此处不再赘述。
S104、根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
可选的，图5为本申请一示例性实施例示出的机器人运动规划方法的流程图。请参照图5，本实施例提供的方法，主要用于介绍更新所述能力映射的具体实现过程。参照图5，根据所述行人可能运动轨迹，更新所述能力映射，包括：
S501、针对所述行人可能运动轨迹中的每个时刻对应的至少一个可能位置点中的每个可能位置点，从所述能力映射中查找所述可能位置点的冲突采样点位；其中，所述冲突采样点位与所述可能位置点的欧式距离小于预设距离。
具体的，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。需要说明的是，行人在预设时间段内的任一时刻所处的位置用至少一个可能位置点表征。例如，在一种可能的实现方式中，行人用其中心点表征时，此时，行人在任一时刻所处的位置用一个可能位置点表征；再例如，在另一种可能的实现方式中，行人用多个关节点来表征时，此时，行人在任一时刻所处的位置用多个可能位置点表征。例如，行人用头、双手、双脚来表征时，此时，行人在任一时刻所处的位置用5个可能位置点来表征（即头所在的可能位置点、左手所在的可能位置点、右手所在的可能位置点、左脚所在的可能位置点、右脚所在的可能位置点）。
换言之，行人可能运动轨迹可以由一定长度时间序列内的一组轨迹点集Sq表示，Sq= [vr1,vr2,…,vrm]，其中，vrm表示行人r在m时刻所处的位置，即行人r在m时刻对应的可能位置点，进一步的，vrm=（x rm ，y rm ，z rm ）。
具体的，冲突采样点位指的是能力映射中的各个采样点位中、与行人的可能位置点的欧式距离小于预设距离的采样点位，由于其与行人的可能位置点的欧式距离较小，可能会与行人产生冲突。
具体的，预设距离是根据实际需要设定的，本实施例中，不对预设距离的具体值进行限定，例如，一实施例中，预设距离为5厘米。
具体实现时，可针对每个时刻对应的至少一个可能位置点中的每个可能位置点，计算每个采样点位和该可能位置点的欧式距离，进而基于计算出的欧式距离，找到欧式距离小于预设距离的采样点位，该采样点位即为该可能位置点的冲突采样点位。
需要说明的是，采样点位的坐标是机器人坐标系下的坐标，可能位置点的坐标是相机坐标系或世界坐标系下的坐标，两者不是同一坐标系下的坐标，因此，在计算欧式距离之前，先将可能位置点的坐标转换为机器人坐标系下的坐标，进而基于转换后的坐标来计算欧式距离，具体实现时，可按照如下公式进行坐标转换：
,
其中，l为机器人机械臂的臂展；n为子立方体的个数；(x r1， y r1， z r1)为可能位置点的原始坐标；(x rm0， y rm0， z rm0)为该可能位置点在机器人坐标系下的坐标。
具体实现时，欧式距离的计算公式如下：
,
其中，rq为采样点位(x q, y q ,z q )与可能位置点(xrm0,yrm0,zrm0)之间的欧氏距离。
S502、根据所述冲突采样点位与所述可能位置点的欧式距离，计算所述冲突采样点位的运动灵活度衰减值。
具体实现时，可以按如下公式来计算冲突采样点位的运动灵活度衰减值：
,
其中，v(x q ,y q ,z q )为冲突采样点位(x q ,y q ,z q )的运动灵活度衰减值；所述k为指定值；所述rq为采样点位(x q, y q ,z q )与可能位置点(xrm0,yrm0,zrm0)之间的欧氏距离。
S503、根据所述运动灵活度衰减值，更新所述冲突采样点位的运动灵活度。
具体的，若运动灵活度的当前值不为0，则将运动灵活度的值更新为当前值减运动灵活度衰减值之后的值；若运动灵活度的当前值为0，则保持运动灵活度的值为0。
换言之，在运动灵活度的值不为0时，可按照如下公式进行更新计算：
,
其中，μ(q) e 为更新后的运动灵活度值；v(x q ,y q ,z q )为所述冲突采样点位的运动灵活度衰减值；μ(q)为当前的运动灵活度值。
本实施例提供的机器人运动规划方法，在检测到行人进入指定区域时，通过获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹，并根据所述机器人的当前位姿，确定所述机器人的能力映射，进而根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹，从而根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。这样，可根据机器人的当前位姿确定机器人的能力映射，进而根据机器人的能力映射和行人的行人实际运动轨迹预测行人的行人可能运动轨迹，在预测行人的可能运功轨迹时，结合了机器人的能力映射，最后根据行人可能运动轨迹更新能力映射，进而根据更新的能力映射对机器人进行运动规划，即更新后的能力映射考虑了行人的行人可能运动轨迹对机器人造成的影响，这样，可避免机器人与行人发生冲突，实现人机共融。
图6为本申请提供的机器人运动规划方法实施例二的流程图。请参照图6，本实施例提供的方法，在上述实施例的基础上，所述行人在每个时刻所处的位置用所述行人上的至少一个关节点所在的位置点表征；所述根据所述机器人的能力映射和所述当前运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹序列，包括：
S601、针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位。
参见前面的描述，所述行人在每个时刻所处的位置用所述行人上的至少一个关节点所在的位置点表征。例如，行人在每个时刻所处的位置用行人上的5个关节点所在的位置点表征（头、双手、双脚）。
由于人体动作坐标(x r ,y r ,z r )是在空间内连续的，而代表机器人能力映射的运动灵活度值是在离散化空间中计算得到的，两者是不同的。因此，首先需要计算实际位置点对应的采样点位的运动灵活度值，实际位置点(x r ,y r ,z r )对应的采样点位(x rm0， y rm0， z rm0) 计算方法如下：
,
其中，l为机器人机械臂的臂展；n为子立方体的个数；(x q1， y q1， z q1)为实际位置点的坐标，(x rm0， y rm0， z rm0)为该实际位置点对应的采样点位的坐标。
S602、根据查找到的采样点位的运动灵活度，确定该实际位置点的权重。
根据查找到的采样点位(x rm0， y rm0， z rm0) ，查询能力映射，查找到该采样点位的运动灵活度值。
具体的，可按照如下公式计算该实际位置点的权重：
，
其中，所述m为调整参数，可根据不同的人机协作任务调整该值的大小。若任务对于安全性要求较高，给该参数赋予较大值；所述μ(q)为查找到的采样点位的运动灵活度；所述w 1 (μ(q))为该实际位置点的权重。
S603、根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹。
具体实现时，可利用各个实际位置点的权重构建一个权重矩阵W 1，进一步的，实际轨迹中的各个实际位置点对应的坐标数据构成矩阵X，更新过程可以表示为：
，
其中，W1为各个实际位置点的权重构建的权重矩阵；X为行人实际运动轨迹中的各个实际位置点的坐标构成的矩阵；Xt为更新后的更新运动轨迹中的各个位置点的坐标构成的矩阵。
S604、利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。
具体实现时，利用LSTM神经网络来基于更新运动轨迹预测行人的行人可能运动轨迹。
需要说明的是，在一可能的实现方式中，可基于引入“安全门”的改进的LSTM神经网络来预测行人的行人可能运动轨迹。
图7为本申请一示例性实施例示出的一种改进的LSTM神经网络的结构示意图。
请参照图7，安全门作用为：第一，在输入行人实际运动轨迹之前，导入机器人的能力映射，得到行人实际运动轨迹中各个实际位置点的权重，再基于各个实际位置点的权重与行人实际运动轨迹求点积，得到更新运动轨迹。
具体实现时，可以设计一个全连接层，它的输入是行人实际运动轨迹中的各个实际位置点构成的矩阵和各个实际位置点对应的采样点位的运动灵活度，门上使用激活函数以运动灵活度为自变量计算输出0-1之间的实数向量，最终得到各个实际位置点的权重。
具体的，安全门分为两部分，第一部分嵌套于输入门之前，用于得到更新后运动轨迹，进一步的，计算得到更新运动轨迹后，更新运动轨迹作为输入门的输入，经下述公式进行计算:
，
其中，σ表示sigmoid函数；b i 、b c 为线性偏置项；W i 、W c 为输入门权重矩阵；h t-1 为上一时刻的输出值。
第二部分附加于输出门之后，输出门的计算过程如下所示：
，
其中，W o 为输出门权重矩阵，ft为遗忘门输出。输出门得到的数据再通过安全门的记忆状态更新公式，进行注意力权重的计算，如下所示：
α t = softmax[W a ☉tanh(W ha h t-1 +W xa X t +b a )]
其中，所述α t 为各个类别的概率分布；所述W a 、W ha 、W xa 为安全门中进行训练的对应注意力参数、上一时刻输出值、本时刻输入值的权重矩阵；所述h t-1 为上一时刻的输出值；所述X t 为当前LSTM神经网络的输入；所述b a 为线性偏置项。
此外，本实施例使用的改进LSTM神经网络由输入层、LSTM层和输出层组成，且该LSTM神经网络选用Huber损失函数对训练效果进行评价，具体如下：
，
其中，y true 表示预测值；y pred 表示真实值；δ表示y true 的标准差σ(y true )。在神经网络训练期间，设置该损失函数值小于0.01时，即可退出迭代，保存模型结果。
本实施例提供的机器人运动规划方法，通过针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位，并根据查找到的采样点位的运动灵活度，确定该实际位置点的权重，进而根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹，从而利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。这样，可根据采样点位的运动灵活度来更新行人的行人实际运动轨迹，进而基于更新运动轨迹来预测行人的行人可能运动轨迹，即在预测行人的行人可能运动轨迹时，考虑了机器人的能力映射对行人运动造成的影响，可准确预测行人的行人可能运动轨迹。
图8为本申请提供的机器人运动规划方法实施例三的流程图。请参照图8，本实施例提供的方法，包括：
S801、在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置。
S802、根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性。
S803、针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位。
S804、根据查找到的采样点位的运动灵活度，确定该实际位置点的权重。
S805、根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹。
S806、利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。
S807、针对所述行人可能运动轨迹中的每个时刻对应的至少一个可能位置点中的每个可能位置点，从所述能力映射中查找所述可能位置点的冲突采样点位；其中，所述冲突采样点位与所述可能位置点的欧式距离小于预设距离。
S808、根据所述冲突采样点位与所述可能位置点的欧式距离，计算所述冲突采样点位的运动灵活度衰减值。
S809、根据所述运动灵活度衰减值，更新所述冲突采样点位的运动灵活度。
S810、根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
具体的，有关步骤S801至S810的具体实现原理和实现过程，可以参见前面实施例中的描述，此处不再赘述。
本实施例提供的机器人运动规划方法，在检测到行人进入指定区域时，通过获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹，并根据所述机器人的当前位姿，确定所述机器人的能力映射，进而根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹，从而根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置。这样，可根据机器人的当前位姿确定机器人的能力映射，进而根据机器人的能力映射和行人的行人实际运动轨迹预测行人的行人可能运动轨迹，最后根据行人的行人可能运动轨迹更新能力映射，进而根据更新的能力映射对机器人进行运动规划，可避免机器人与行人发生冲突。
下面给出一个更具体的实施例，用以详细说明本方案。
具体的，为验证本实施例提供的方法的效果，采用UTD-MHAD数据集来进行人体运动轨迹的预测，这些数据集以30帧/秒的速度记录，包含27个不同的动作类别，每类动作由10个人完成。数据集可包含了在人机协作中常见的人体动作信息。因此，首先使用本数据集中的人体关节坐标，根据人机协作实际操作习惯，将其投影到机器人工作空间内，为人体可能位置点位匹配运动灵活度值，并以向量形式对应各组坐标数据，利用处理后的数据集进行人体动作预测的验证。
进一步的，本实施例采用传统LSTM神经网络、Attention-LSTM神经网络，与本实施例的引入安全门的改进LSTM神经网络进行对比实验。由于本实施例的算法是在传统LSTM的基础上进行改进的，且算法复杂度与Attention-LSTM类似，因此选用这两种网络作为对比。
选用数据集中编号a27动作数据的第1-8组作为训练集，第9、10组作为测试集，对每组神经网络进行6次重复实验。实验在一台配备有第11代Intel Core i7-1165G7处理器（基础频率为2.80GHz）、16GB RAM和NVIDIA GeForce MX450图形处理器的计算机上进行。操作系统为基于x64的64位处理器。编程环境为Python 3.7.16，使用PyTorch 1.10.0（CUDA版本）作为深度学习框架。表2中展示的为三种神经网络通过训练集进行训练时损失函数收敛时长（表2为本申请一示例性实施例示出的三种神经网络预测偏差的比较），以及经过训练后对于测试集的平均预测偏差对比。表中的结果为6次重复实验所得数据的均值。
表2三种神经网络预测偏差的比较
本实施例提出的算法训练到收敛的时间，介于传统LSTM和Attention-LSTM之间，且时间更接近于Attention-LSTM。根据算法特点分析，本实施例对于神经网络的优化，一方面利用安全门的激活函数对数据输入权重进行了处理，有利于模型更快朝向正确的方向进行参数调整。另一方面，安全门的计算增加了算法模型的复杂度，使得学习时间较长。从相对误差的对比结果可以看出，本实施例提出的改进LSTM方法相比于传统LSTM神经网络预测误差降低了7.05%，相比于Attention-LSTM降低了2.75%。说明该方法在人机协作中重点关注的人机共融区域的人体运动预测效果较好。
图9展示的是三者在训练时的损失函数下降趋势（图9为本申请一示例性实施例示出的三种神经网络的损失值的变化趋势图）。从图中对比可以发现，改进LSTM神经网络在训练初期，就得到了相对其他两个神经网络较小的损失值，并且收敛过程较快，下降趋势较为稳定，表现出了对于数据集较好的学习能力。这初步说明本实施例提出的基于机器人能力映射与运动灵活度，引入“安全门”对于数据模型特征提取与学习的有效性和准确性。
在经过改进的LSTM神经网络得出行人的行人可能运动轨迹之后，再通过上述实施例提出的方法更新机器人的能力映射，得到更新后的能力映射，最后基于更新后的能力映射引导机器人执行更为安全高效的运动规划。
这里展示出了在采用测试集进行预测时，人体上肢进入机器人坐标(-0.11,0.03,0.02)附近时更新后的能力映射，如图10所示（图10为本申请一示例性实施例示出的更新后的能力映射的可视化图）。
可以看出，在预测到人体可能在未来时序出现的点位附近（图中圈出的部分），机器人的运动灵活度由原本的0.5以上降低为了较低的值。说明本实施例设计的机器人能力映射更新方法不仅结合机器人自身的运动可达性及奇异性进行解算，而且充分考虑了协作人员的运动对机器人的影响，在较为准确地预测出人员动作坐标后，再次更新了机器人的运动灵活度，给机器人设计出了更为安全的能力映射。机器人在路径规划过程中通过查询该能力映射，可充分保障人机协作安全。
同时为验证本实施例提供的方法在实际人机协作场景中的适用性，搭建了模拟装配场景的人机协作操作，建立实际机器人的能力映射，并获取到了人体的动作信息进行训练。这里选择了人与机器人之间呈递物品、人在机器人前方近前挥动两个在人机协作场景中经常出现的动作，进行数据集的采集与实验验证。如图11所示（图11为本申请一示例性实施例示出的实验设备和场景的示意图），实验环境利用AUBO-Haina移动操作机器人作为机器人平台，构建能力映射模型；利用Microsoft Kinect V2相机进行行人轨迹采集。每组动作执行6次，相机数据采集频率为每秒30帧，每次识别25个关节点。
在进行采集过程中，由于相机自身采样频率不稳定及试验现场受光线等噪声信号影响，通过相机直接获取到的关节点有较大概率出现位置偏差与跟踪失真。这样的数据引入到数据集中会发生明显的波动，直接输入神经网络会对模型引入较大的不稳定性，影响学习过程对于特征的提取，且处理不当还会造成过拟合等问题。因此，对数据进行滤波处理。将输入数据进行平滑连续修正。图12展示的是识别效果较好的连续动作序列（图12为本申请一示例性实施例示出的人机协作动作集合的示意图）。
利用该数据集采用本实施例提出的改进LSTM神经网络算法，按照上述实施例设定的参数进行训练，取前80%帧数据作为训练集，后20%帧数据作为测试集。训练过程中的损失值变化情况如图13所示（图3为本申请一示例性实施例示出的实际场景损失值的示意图），横坐标表示迭代次数，纵坐标为损失函数值。由学习期间的损失值下降过程可以看出，该算法对于人机协作中人员动作的预测过程，损失值收敛效果较好，在前期损失值可以快速下降，并且波动较小，到后期基本损失值基本稳定，模型训练到稳定所需的时间成本较小，学习效果较好。
同时，利用训练模型对另一组数据进行动作预测的验证，得到的可视化效果如图14所示（图14为本申请一示例性实施例示出的实际行动和预测行动之间的可视化比较的示意图）。其中，上图是时序上的实际运动，下图为模型预测的结果。可以看出，模型对于动作的预测拟合度较高。表明本实施例所提出的算法比较适合应用机器人对于人机协作场景下人员动作的预测。
与前述机器人运动规划方法的实施例相对应，本申请还提供了机器人运动规划装置的实施例。
本申请提供的机器人运动规划装置的实施例可以应用在机器人上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在机器人的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图15所示，为本申请提供的机器人运动规划装置所在机器人的一种硬件结构图，除了图15所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的机器人通常根据该机器人运动规划装置的实际功能，还可以包括其他硬件，对此不再赘述。
图16为本申请提供的机器人运动规划装置实施例一的结构示意图。请参考图16，本实施例提供的装置，包括检测模块1610、确定模块1620、预测模块1630和更新模块1640；其中，
所述检测模块1610，用于在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；
所述确定模块1620，用于根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；
所述预测模块1630，用于根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置；
所述更新模块1640，用于根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
本实施例提供的装置，可用以执行图1所示方法实施例的技术方法，其实现原理和技术效果类似，此处不再赘述。
可选的，所述预测模块1630，具体用于：
针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位；
根据查找到的采样点位的运动灵活度，确定该实际位置点的权重；
根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹；
利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种机器人运动规划方法，其特征在于，所述方法应用于机器人；所述方法包括：
在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；
根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；
根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置；
根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
2.根据权利要求1所述的方法，其特征在于，所述行人在每个时刻所处的位置用所述行人上的至少一个关节点所在的位置点表征；所述根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹序列，包括：
针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位；
根据查找到的采样点位的运动灵活度，确定该实际位置点的权重；
根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹；
利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。
3.根据权利要求1或2所述的方法，其特征在于，根据所述行人可能运动轨迹，更新所述能力映射，包括：
针对所述行人可能运动轨迹中的每个时刻对应的至少一个可能位置点中的每个可能位置点，从所述能力映射中查找所述可能位置点的冲突采样点位；其中，所述冲突采样点位与所述可能位置点的欧式距离小于预设距离；
根据所述冲突采样点位与所述可能位置点的欧式距离，计算所述冲突采样点位的运动灵活度衰减值；
根据所述运动灵活度衰减值，更新所述冲突采样点位的运动灵活度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述冲突采样点位与所述可能位置点的欧式距离，计算所述冲突采样点位的运动灵活度衰减值，包括：
按照第一公式计算所述冲突采样点位的运动灵活度衰减值；其中，所述第一公式为：
,
其中，所述v(x q, y q ,z q ) 为所述冲突采样点位(x q, y q ,z q ) 的运动灵活度衰减值；所述k为指定值；所述r q 为所述冲突采样点位与所述可能位置点的欧式距离。
5.根据权利要求2所述的方法，其特征在于，所述根据查找到的采样点位的运动灵活度，确定该实际位置点的权重，包括：
按照第二公式计算该实际位置点的权重；其中，所述第二公式为：
,
其中，所述w 1 (μ(q))为该实际位置点的权重；所述m为调整参数；所述μ(q)为查找到的采样点位的运动灵活度。
6.根据权利要求1所述的方法，其特征在于，根据所述机器人的当前位姿，确定所述机器人的能力映射，包括：
确定用于表征所述机器人工作空间的采样立方体，并对所述采样立方体进行离散化，得到所述采样立方体所对应的多个子立方体；
针对每个子立方体，确定与该子立方体内切的子球体，并在所述子球体上确定多个采样位姿；
对所述多个采样位姿进行运动学求解，得到所述多个采样位姿中存在运动学解的可解采样位姿；
将所述可解采样位姿的数目与所述多个采样位姿的数目的比值确定为所述子球体所对应的采样点位的运动灵活度；其中，所述子球体所对应的采样点位用所述子球体的球心表征；
根据所有子球体对应的采样点位的运动灵活度，构建所述机器人的能力映射。
7.一种机器人运动规划装置，其特征在于，所述装置包括检测模块、确定模块、预测模块和更新模块；其中，
所述检测模块，用于在检测到行人进入指定区域时，获取所述机器人的当前位姿、以及所述行人在当前时刻之前的指定时间段内的行人实际运动轨迹；其中，所述行人实际运动轨迹用于表征所述行人在所述指定时间段内的不同时刻所处的位置；
所述确定模块，用于根据所述机器人的当前位姿，确定所述机器人的能力映射；其中，所述能力映射用于表征所述机器人在其工作空间所对应的采样立方体内的各个采样点位的运动灵活度；所述采样点位为所述采样立方体离散化后所对应的各个子球体的球心所在的位置；所述机器人在每个所述采样点位的运动灵活度用于表征所述机器人到达所述采样点位所对应的子球体所包围区域的位姿多样性；
所述预测模块，用于根据所述机器人的能力映射和所述行人实际运动轨迹，预测所述行人在当前时刻之后的预设时间段内的行人可能运动轨迹；其中，所述行人可能运动轨迹包括所述行人在所述预设时间段内的不同时刻所处的位置；
所述更新模块，用于根据所述行人可能运动轨迹，更新所述能力映射，并根据更新后的能力映射对所述机器人进行运动规划，以避免所述机器人与所述行人发生冲突。
8.根据权利要求7所述的装置，其特征在于，所述预测模块，具体用于：
针对所述行人实际运动轨迹中的每个时刻对应的至少一个实际位置点中的每个实际位置点，从所述能力映射中查找该实际位置点对应的采样点位；
根据查找到的采样点位的运动灵活度，确定该实际位置点的权重；
根据各个实际位置点的权重，对所述行人实际运动轨迹中的各个实际位置点进行更新，得到更新后的更新运动轨迹；
利用所述更新运动轨迹预测所述行人的行人可能运动轨迹。
9.一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311242829.8A CN116985142B (zh) | 2023-09-25 | 2023-09-25 | 一种机器人运动规划方法、装置和机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311242829.8A CN116985142B (zh) | 2023-09-25 | 2023-09-25 | 一种机器人运动规划方法、装置和机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116985142A true CN116985142A (zh) | 2023-11-03 |
| CN116985142B CN116985142B (zh) | 2023-12-08 |
Family
ID=88530450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311242829.8A Active CN116985142B (zh) | 2023-09-25 | 2023-09-25 | 一种机器人运动规划方法、装置和机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116985142B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011082800A1 (de) * | 2011-09-15 | 2013-03-21 | Convergent Information Technologies Gmbh | System und Verfahren zur automatisierten Erstellung von Roboterprogrammen |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN109807886A (zh) * | 2019-01-15 | 2019-05-28 | 西北工业大学 | 一种基于预测的空间非合作目标抓捕策略 |
| US20190184561A1 (en) * | 2017-12-15 | 2019-06-20 | The Regents Of The University Of California | Machine Learning based Fixed-Time Optimal Path Generation |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN110561430A (zh) * | 2019-08-30 | 2019-12-13 | 哈尔滨工业大学（深圳） | 用于离线示例学习的机器人装配轨迹优化方法及装置 |
| US20210078175A1 (en) * | 2019-09-12 | 2021-03-18 | Beijing Geekplus Technology Co. Ltd. | Method, server and storage medium for robot routing |
| CN113771034A (zh) * | 2021-09-17 | 2021-12-10 | 西北工业大学 | 一种基于模型置信度和高斯过程的机器人轨迹预测方法 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN116276966A (zh) * | 2023-01-09 | 2023-06-23 | 戴盟(深圳)机器人科技有限公司 | 基于二次规划的移动操作机器人全身反应规划控制方法 |
| CN116430882A (zh) * | 2023-03-16 | 2023-07-14 | 人工智能与数字经济广东省实验室(广州) | 一种实现四足机器人独立行走的控制方法、设备和介质 |
| CN116604571A (zh) * | 2023-07-14 | 2023-08-18 | 湖南大学 | 一种基于深度强化学习的机器人三维测量路径规划方法 |
-
2023
- 2023-09-25 CN CN202311242829.8A patent/CN116985142B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011082800A1 (de) * | 2011-09-15 | 2013-03-21 | Convergent Information Technologies Gmbh | System und Verfahren zur automatisierten Erstellung von Roboterprogrammen |
| US20190184561A1 (en) * | 2017-12-15 | 2019-06-20 | The Regents Of The University Of California | Machine Learning based Fixed-Time Optimal Path Generation |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN109807886A (zh) * | 2019-01-15 | 2019-05-28 | 西北工业大学 | 一种基于预测的空间非合作目标抓捕策略 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN110561430A (zh) * | 2019-08-30 | 2019-12-13 | 哈尔滨工业大学（深圳） | 用于离线示例学习的机器人装配轨迹优化方法及装置 |
| US20210078175A1 (en) * | 2019-09-12 | 2021-03-18 | Beijing Geekplus Technology Co. Ltd. | Method, server and storage medium for robot routing |
| CN113771034A (zh) * | 2021-09-17 | 2021-12-10 | 西北工业大学 | 一种基于模型置信度和高斯过程的机器人轨迹预测方法 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN116276966A (zh) * | 2023-01-09 | 2023-06-23 | 戴盟(深圳)机器人科技有限公司 | 基于二次规划的移动操作机器人全身反应规划控制方法 |
| CN116430882A (zh) * | 2023-03-16 | 2023-07-14 | 人工智能与数字经济广东省实验室(广州) | 一种实现四足机器人独立行走的控制方法、设备和介质 |
| CN116604571A (zh) * | 2023-07-14 | 2023-08-18 | 湖南大学 | 一种基于深度强化学习的机器人三维测量路径规划方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘宏;李志奇;刘伊威;金明河;倪风雷;刘业超;夏进军;张元飞;: "天宫二号机械手关键技术及在轨试验", 中国科学:技术科学, no. 12 * |
| 张永贵;李海龙;: "铣削机器人去除锻件裂纹的轨迹规划研究", 组合机床与自动化加工技术, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116985142B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vianello et al. | Human posture prediction during physical human-robot interaction | |
| CN110000781B (zh) | 基于发育网络的移动机器人运动方向预先决策方法 | |
| Kumar et al. | A hybridized RA-APSO approach for humanoid navigation | |
| CN110489707A (zh) | 一种基于gan网络的机器人逆运动学求解方法 | |
| EP3753683A1 (en) | Method and system for generating a robotic program for industrial coating | |
| Frank et al. | Using gaussian process regression for efficient motion planning in environments with deformable objects | |
| AbuBaker | A novel mobile robot navigation system using neuro-fuzzy rule-based optimization technique | |
| Hak et al. | Reverse control for humanoid robot task recognition | |
| CN111673733A (zh) | 未知环境下机器人的智能自适应柔顺控制方法 | |
| CN115890670A (zh) | 基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法 | |
| Muñoz et al. | Geometrically constrained path planning for robotic grasping with Differential Evolution and Fast Marching Square | |
| Mainampati et al. | Evolution of machine learning algorithms on autonomous robots | |
| Chen et al. | Optimizing the obstacle avoidance trajectory and positioning error of robotic manipulators using multigroup ant colony and quantum behaved particle swarm optimization algorithms | |
| Akhtyamov et al. | Social robot navigation through constrained optimization: a comparative study of uncertainty-based objectives and constraints | |
| Sulaiman et al. | Dexterity analysis and intelligent trajectory planning of redundant dual arms for an upper body humanoid robot | |
| Li et al. | Robust human upper-limbs trajectory prediction based on gaussian mixture prediction | |
| CN116985142B (zh) | 一种机器人运动规划方法、装置和机器人 | |
| Xu et al. | Avoidance of manual labeling in robotic autonomous navigation through multi-sensory semi-supervised learning | |
| Zhang et al. | Auto-conditioned recurrent mixture density networks for learning generalizable robot skills | |
| Lan et al. | Improved Q-Learning-Based Motion Control for Basketball Intelligent Robots Under Multi-Sensor Data Fusion | |
| Wei | A comprehensive approach to the generation of human-like arm movements on robot NAO | |
| Wang et al. | Optimizing robot arm reaching ability with different joints functionality | |
| Trombetta et al. | Human intention estimation using fusion of pupil and hand motion | |
| Gao et al. | A novel local path planning method considering both robot posture and path smoothness | |
| Raño et al. | Modelling human arm motion through the attractor dynamics approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |