CN113829343B - 基于环境感知的实时多任务多人人机交互系统 - Google Patents
基于环境感知的实时多任务多人人机交互系统 Download PDFInfo
- Publication number
- CN113829343B CN113829343B CN202111115194.6A CN202111115194A CN113829343B CN 113829343 B CN113829343 B CN 113829343B CN 202111115194 A CN202111115194 A CN 202111115194A CN 113829343 B CN113829343 B CN 113829343B
- Authority
- CN
- China
- Prior art keywords
- robot
- joint
- human
- module
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 66
- 230000008447 perception Effects 0.000 title claims abstract description 18
- 241000282414 Homo sapiens Species 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 238000011217 control strategy Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims 2
- 239000011248 coating agent Substances 0.000 claims 1
- 238000000576 coating method Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
基于多人人体姿态估计器的多人人机协作交互系统，包括感知模块、控制模块、决策模块；感知模块通过相机去感知人机交互中的多人人体姿态信息和机器人位置信息；将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人状态进行监听(GUI)和更新，并反馈到感知模块，同时更新人机状态；控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前状态信息，对当前机器人任务路径重新规划，将更新后的任务轨迹通过机器人控制器发送到真实机械臂，同时将机器人的更新后的状态信息反馈给决策模块。GUI是用来可视化相关的实验结果，如相机视频流等。
Description
技术领域
本发明涉及基于环境感知的实时多任务多人人机交互技术，具体涉及一种基于多人人体姿态估计器的多人人机协作交互系统。
背景技术
目前，在大部分自动化生产过程中，机器人依靠事先编写好的程序代替人类进行简单且重复的工作，机器人暴露在人员可能活动的范围中，工作人员存在潜在的危险。为保证人员安全，需要给机器人设置围栏，但仍无法保证人机绝对安全，也降低了空间利用率。
传统工业机器人的技术发展进入了瓶颈期，为了进一步提高产能，人与机器人共同协作的灵活生产模式逐渐受到了更多的关注。而现有的人机交互系统只针对单人人机交互，且无法满足人机交互中的动态需求。
发明内容
本发明要克服现有的人机交互系统只针对单人人机交互，以及无法满足人机交互中的动态需求的问题。基于单目相机的人体姿态识别技术研究，结合多任务的多人人机协作需求，设计并实现了一种人机协作系统。
本发明为解决现有技术问题所采用的技术方案是：
整个软件系统通过ROS(Robot Operating System)开源平台搭建完成，整体的系统架构由附图1给出。
该系统包括感知模块、控制模块、决策模块。首先，感知模块通过相机去感知人机交互中的多人人体姿态信息和机器人位置信息(有时可能需要物体的位置)；其次，将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人状态进行监听(GUI)和更新，并反馈到感知模块，同时更新人机状态；进一步，控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前状态信息，对当前机器人任务路径重新规划，将更新后的任务轨迹发送到真实机械臂，同时将机器人的更新后的状态信息反馈给决策模块。GUI是用来可视化相关的实验结果，如相机视频流等。
各个模块功能的具体解析如下。
所述感知模块：首先对整体系统进行标定，包括相机和机器人位置。通过人机姿态表示方法对机器人和人的表示做出相应的规定，然后进行多人人体姿态估计、识别和跟踪，其中姿态估计是为了得到人机交互中人的关节位置信息，而识别和跟踪则是用来识别场景中的操作人员和非操作人员(包括不相关场外人员干扰)。
1)坐标系标定：是HRI系统确定任意刚体变换的基础，标定过程将确定机器人相对于摄像机的位置和方向，如附图2所示。设w为世界坐标，c为摄像机坐标，r0为机器人的基坐标，h0为人类的根关节。对于固定摄像机和机器人，可以通过机器人手眼标定方法计算变换矩阵单目相机外参矩阵/>表示摄像机c相对于世界坐标w的变换。那么机器人的基坐标到世界坐标的变换表示为公式1，变换/>是常数矩阵。
2)人机姿态表示：在坐标系标定完成之后，对人机姿态表示方法进行研究。机器人可以看作是一个串联的刚体连杆运动系统，父连杆和子连杆由单个自由度的旋转关节连接。通过对机器人的正运动学分析，可以实现从基坐标到子连杆坐标的变换。子关节rj和机器人基坐标r0之间的变换关系可以表示为：
其中，表示连杆rx与连杆rx-1之间的关节角，可由机器人的内部控制器读取。和/>分别表示关节rx和关节rx-1之间的旋转矩阵和平移向量。则任意连杆rj在世界坐标系下的变换/>可表示为：
人的三维姿态由对应的一系列由根关节表示的关节点组成。与机器人类似，人体任意关节hj与根关节h0之间的变换可以表示为：
其中I3为单位矩阵。不同的是，人体骨骼结构并不是完全串联的。的长度取决于关节hj到根关节h0的肢体数量。
同样，人体的位置也应该在世界坐标中表达出来。假设表示关节hj相对于根关节h0的位置，那么关节在世界坐标中的位置/>可以通过方程5计算出来。
其中为相机坐标与世界坐标的转换，/>为相机坐标与人体根关节的之间的变换矩阵。
3)人体姿态估计与跟踪：使用基于深度学习的算法进行单目多人人体姿态估计。网络结构如下附图4所示，图中整个网络是一个多任务结构，有多个分支。网络中MobileNet作为骨干网络Backbone，2D姿态估计和3D姿态估计两个阶段都是基于骨干网络完成各自的任务，2D姿态估计部分包括Initial Stage和Refinement Stage，首先输入人体图像，代表人体图像信息的主要是表示人体2D姿态的15个关节点，每个关节点包含对应的像素坐标和对应的置信度，表示神经网络对关节点的检测和评估。3D阶段的任务基于2D姿态估计的结果，通过Backbone，ResBlock，Refinement Stage完成提取人体的三维姿态，人体3D姿态信息包括每个关节点相对于根关节的空间坐标位置，最终转换到摄像机坐标下表示。
利用每帧的三维姿态估计结果和多个人的初始身份，应用了一种基于贪心算法的连续帧三维位姿跟踪算法，解决了操作者和非操作者在HRC中的连续跟踪和识别问题。这里同时考虑时间索引t和3D姿态。设计的多人姿态跟踪算法是将帧中未排序的3D位姿作为输入，然后输出带有时间信息的4D姿态序列。本发明采用前向搜索的方法，在连续帧中找到属于同一人的骨架。通过贪心算法计算对应代价来连接不同帧间的骨架。该方法使得在配对过程中因关联错误或遮挡而在某些帧中不存在的情况下，使得骨架也能有效的被跟踪。因为当前阶段仅存在三维姿态，骨架之间代价函数可被定义为：
其中，n＝(1，2，3，...，N)表示关节编号，以及N为骨架的总关节数量。表示当前时刻的编号为i的姿态，表示该骨架的第n个关节，而/>是用来表示第n个关节在t时刻是否存在。
所述决策模块：在决策模块中，系统根据先验信息(交互任务、操作人员数量)决定交互的规则。在交互过程中，通过实时接收感知模块中的人机状态，根据交互规则决定机器人的运动轨迹。此外，该模块还对人机交互场景进行监控、可视化(GUI)，生成机器人任务目标点和记录相关的度量参数。
本发明中，机器人在工作空间中总是有一个任务目标机器人通过跟踪/>来达到交互的目的。根据感知信息，结合设计任务，给出对应的/>的生成方法。
在人机安全交互中，人体关节点被当作移动或者静止的障碍物。对于移动障碍物避障，一个较好的处理方法是利用障碍物与机器人末端之间的引力和斥力相加使得机器人进行主动避让。在交互过程中，通过实时计算机器人的各个连杆与人体的各个连杆的距离，目标位置会根据引力和斥力向量相加进行修正。当人体与机器人距离足够大的情况下，机械臂向任务目标点运动，目标点对机械臂坐标rtool产生引力向量Fo：
当检测到人体i的关节点坐标与rtool小于一定的安全阈值时，产生斥力向量/>
通过斥力向量与引力向量相加生成合成力Fadd：
其中，I，J分别表示人的集合和每个人的关节集合。生成目标点
其中，δ∈(0，∞)为目标点距离系数，用于调整合成力与生成的目标点之间的线性关系。
针对人机协作任务，物块位姿信息是通过检测其表面粘贴的标记生成。任务目标就是物块在世界坐标系下的表示，基于式(11)生成目标点。
其中，表示物块在相机c下的姿态信息表示。人机任务目标点要根据任务的需求进行单独设计。
所述控制模块：在交互过程中，操作人员与机器人在同一工作空间进行交互、协作，并为机器人指定任务目标。人们在互动过程中给出的目标具有潜在的随机性和不合理性。随机性意味着操作者不能直接给出精确的任务目标，在给出一般目标后，需要通过不断的反馈进行调整，最终使操作者满意；不合理是指人们在指定目标时往往不考虑机器人自身能力和周围环境等因素。给定的目标很可能导致机器人不安全移动，甚至由于碰撞造成损失。在人机交互过程中，一方面，机器人需要对频繁变化的目标做出快速响应，以提高效率和交互舒适性；另一方面要考虑机器人安全，纠正不合理的目标指令，及时反馈给操作者。本发明提出基于边界约束的目标校正和设计基于机器人模型预测控制的底层控制器来解决上述问题。该模块基于决策模块生成的任务目标点以及通过感知模块获得的人体姿态信息与机械臂姿态信息，通过障碍物边界约束进行路径/运动规划，并将校正后的任务目标点和规划路径输出到机器人控制器，对实际机械臂进行控制。
1)路径/运动规划：也是基于障碍物边界约束进行运动目标点校正的过程，机器人在达到最大伸展距离时会处于奇异姿态，在奇异姿态下无法保证逆运动学求解的合理性，将导致机器人的运动方式进入一种难以预估的状态。为避免奇异姿态的出现，奇异状态边界被设置用来限制机器人的工作空间范围。假设机器人工作空间W{R′}，目标姿态在超出W{R′}时将被重新限制到W{R′}的边界，以此避免奇异姿态的出现。除工作空间的限制外，机器人的运动还受到工作空间中静态障碍物的限制，对于体积较大的静态障碍物，如操作台面，货架等，机器人难以通过运动规划对其进行避让，拟根据此类障碍物的形状形成边界，在奇异状态边界限制的基础上对工作空间进行限制。该边界的生成拟根据障碍物的接触阈值，在障碍物周围形成外包络边界，将目标姿态/>限制在包络边界外，以免和环境发生碰撞。机器人在运动时也可能会与自身发生碰撞，类似与静态障碍物的边界定义，在机器人连杆周围根据接触阈值设置外包络边界约束，将目标姿态/>修正在边界外，防止自碰撞的发生。
2)机器人控制器：在HRI系统中，不同的任务可能会有不同的控制要求。例如，在人机协作中，机器人需要快速的响应速度来减少轨迹的跟踪误差，在人机安全交互过程中，运动过程的柔软性和人机器人的安全性更为重要。为了能够灵活地调整机器人的控制策略，对机器人的各个关节采用了模型预测控制。
在给定目标点的情况下，通过逆运动学求解各关节的状态。将每个关节的当前状态和目标状态作为非线性优化器的输入，输出控制动作ui(i＝1，...，6)。将ui输入MPC控制器，通过更新关节状态实时控制机器人手臂的运动。
控制器的目的是计算机器人从起始位姿q0到期望位姿Tgoal的轨迹。轨迹规划的非线性模型预测控制问题可表示为：
假设Xk和Uk分别对应关节位置和速度极限和关节加速度极限约束。这里lk(xk，uk)为第k个瞬间的阶段成本，以参考跟踪误差为基准，包括控制误差、系统状态误差，可以表示为：
lk(xk，uk)＝(xk-xref)TQk(xk-xref)+(uk-uref)TRk(uk-uref) (13)
lN(xk)＝(xN-xref)TQN(xN-xref) (14)
其中Rk，Qk分别表示为加速度和系统状态的惩罚系数。
通过调整惩罚系数的大小，可以针对不同的交互情况采用不同的机器人控制策略，可以严格约束机器人的运动，从而实现安全灵活的机器人交互控制。
本发明的优点和积极效果是：
1.设计实现的基于环境感知的实时多任务多人人机交互系统，能够为一般化的人机交互环境提供生产优化支撑，降低运行风险，提升生产效率，也是对人机交互平台体系应用层的研究补充。
2.将多人人体姿态估计应用于人机交互技术，针对人机交互中多人的情况，提出了一种基于人体动作识别和姿态跟踪的操作者和非操作者识别算法，用于在交互过程中不断识别每个人的身份，从而有效的与机器人进行交互。
3.在人机交互这个过程中，可以通过实时监控人机状态，要求机器人根据任务要求执行相应的动作。
4.系统进行模块化设计，其具有良好的灵活性和可扩展性。
附图说明
图1是本发明的系统整体结构框图。
图2是本发明的HRI系统中的坐标描述。
图3是本发明的系统参考坐标系标定图。
图4是本发明的姿态估计器网络结构图。
图5a是本发明的感知模块在测试视频第45帧的姿态估计结果。
图5b是本发明的感知模块在测试视频第384帧的姿态估计与跟踪结果。
图5c是本发明的感知模块在测试视频第731帧的姿态估计与跟踪结果。
图6a是本发明的控制模块在测试时机械臂关节1的目标及跟踪轨迹。
图6b是本发明的控制模块在测试时机械臂关节2的目标及跟踪轨迹。
图6c是本发明的控制模块在测试时机械臂关节3的目标及跟踪轨迹。
图7a是本发明在多人安全协作实验时机械臂的无干扰运动轨迹。
图7b是本发明在多人安全协作实验时机械臂的避障运动轨迹。
图7c是本发明在多人安全协作实验时机械臂的避障运动轨迹。
具体实施方式
以下结合附图对本发明的实施做进一步详述。
本发明的硬件系统的组成主要包括：Kinect V2相机一台(但本系统中仅使用彩色摄像头，并未使用深度摄像头)、RealSence相机一台(安装在机械臂末端，用于检测物块)，一个用于人体捕捉，另一个用于物体检测，高清摄像头的图像分辨率为1920X1080，两台摄像机都通过USB3.0接口连接到主机。还包括UR5中小型6自由度机械臂一台，以及台式电脑(配置i7-8700X和Nvidia Titan XP卡)和笔记本电脑。前者是进行多人2D/3D位姿估计、识别和跟踪的主机，而作为从机的笔记本电脑控制机器人的运动。相机与计算机通过USB连接传输数据，机械臂通过局域网与计算机相连接，此外，主从机之间通过基于TCP/IP发布或接收ROS主题消息进行通信。
参照附图1，基于环境感知的实时多任务多人人机交互系统的整体架构包括感知、控制、决策三个模块。感知模块通过摄像机感知多个人的3D姿态和机器人的位置(有时可能需要物体的位置)。然后，人类操作者的感知信息和机器人姿态被传送到决策模块和动作模块。决策模块根据任务描述监控并更新已发布的用于更新任务轨迹的人体三维姿态和机器人状态，并向感知模块反馈请求，同时输出期望的任务点。控制模块通过获取决策模块提供的目标位置和感知模块提供的机器人当前状态，重新规划机器人当前的任务路径，并将更新后的状态发送给真实机器人，并分别向决策模块和感知模块反馈信号。
本系统需要进行基于环境感知的实时多任务多人人机交互，设计了相应的多人机交互任务来验证系统的实时性和有效性。系统的实验操作步骤如下：
(1)按照设计的硬件系统搭建好系统硬件环境。两台摄像机都通过USB3.0接口连接到主机，相机与计算机通过USB连接传输数据，机械臂通过局域网与计算机相连接，对主从机之间进行通信测试。
(2)坐标系标定：为了系统算法方便计算和保证人机交互的安全性能，首先对所有的设备进行参考坐标系的统一是十分重要的。本系统使用可被彩色相机识别的ArUcoMarker#0作为整个系统的参考坐标系。如附图2所示。设w为世界坐标，c为摄像机坐标，r0为机器人的基坐标，h0为人类的根关节。对于固定摄像机和机器人，可以通过机器人手眼标定方法计算变换矩阵单目相机外参矩阵/>表示摄像机c相对于世界坐标w的变换。那么机器人的基坐标到世界坐标的变换可以表示为公式1，变换/>是常数矩阵。
标定效果如附图3所示。
(3)多人人体姿态估计、识别、跟踪：利用多人3D姿态估计器，将Kinect相机实时检测画面以连续帧的形式传入3D姿态估计器的网络，网络结构如附图4所示，经过网络回归，可得到场景中人员的3D姿态信息。姿态估计结果如图5a所示。获得场景中人员的3D姿态信息之后，对结果进行可视化，可以在PC端方便、直观观测人员的姿态变化。同时，利用动作识别器可以确定操作人员与非操作人员，之后进行持续跟踪，如图5b、5c所示，查看一定时间之后人员跟踪结果，人员id并未发生变化，可见所设计的姿态跟踪算法具有较好的鲁棒性。
(4)基于模型预测的机器人控制器控制机器人运动：结合机器人运动学和非线性优化，机器人通过跟踪给出的任务点来实现人机交互。在给定目标点的情况下，通过逆运动学求解各关节的状态。将每个关节的当前状态和目标状态作为非线性优化器的输入，输出控制动作ui(i＝1，...，6)。将ui输入MPC控制器，通过更新关节状态实时控制机器人手臂的运动。
控制器的目的是计算机器人从起始位姿q0到期望位姿Tgoal的轨迹。轨迹规划的非线性模型预测控制问题可表示为：
假设Xk和Uk是封闭的紧凸集投影，分别对应关节位置和速度极限和关节加速度极限约束。这里lk(xk，uk)为第k个瞬间的阶段成本，以参考跟踪误差为基准，包括控制误差、系统状态误差，可以表示为：
lk(xk，uk)＝(xk-xref)TQk(xk-xref)+(uk-uref)TRk(uk-uref) (13)
lN(xk)＝(xN-xref)TQN(xN-xref) (14)
其中Rk，Qk分别表示为加速度和系统状态的惩罚系数。
通过调整惩罚系数的大小，可以针对不同的交互情况采用不同的机器人控制策略，可以严格约束机器人的运动，从而实现安全灵活的机器人交互控制。
实验中，机器人的采样频率和控制频率均为100Hz，关节速度和加速度的最大值分别限制在1.5rad/s和3.0rad/s2。目标轨迹和跟踪轨迹如图6a、6b、6c所示，图6a、图6b、图6c三幅图分别显示了机器人关节1、关节2和关节3的跟踪轨迹，图中Target trajectory代表目标轨迹，Track trajectory代表跟踪轨迹，可以看出机器人具有很好的跟踪性能。
(5)多人人机安全实验：为了更好地的验证避障算法，设计了多人避障实验。在进行实验前，对人员进行识别，Operator为操作人员，Non-Operator为非操作人员。给机器人设定几个目标点，首先让其进行正常运行，运行轨迹可见附图7a中所示，黑色箭头是机器人在正常运行时的运行方向。当操作人员或非操作人员进入机器人工作区域时，机器人进行主动避让，如附图7b、图7c所示，人的手臂出现在机器人行进路线时，机器人或重新构建中间目标点，直到避开人的手臂，当人员离开机器人工作区域时，机器人会到达指定目标点。机械臂能够精确避开人，保障系统的安全，并且在同一场景中能够对操作人员与非操作人员同时避障。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (3)
1.基于环境感知的实时多任务多人人机交互系统，其特征在于：包括感知模块、控制模块、决策模块，感知模块通过相机去感知人机交互中的多人人体姿态信息、机器人位置信息和物体的位置信息，将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人位置进行监听和更新，并反馈到感知模块，同时更新人机姿态信息，控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前位置信息，对当前机器人任务路径重新规划，将更新后的任务轨迹发送到真实机械臂，同时将机器人的更新后的位置信息反馈给决策模块，GUI可视化处理相关的实验结果；
所述感知模块：首先对整体系统进行标定，包括相机和机器人位置，规定人机姿态表示方式，然后进行多人人体姿态估计、识别和跟踪，其中姿态估计得到人机交互中人的关节位置信息，而识别和跟踪识别场景中的操作人员和非操作人员，包括不相关场外人员干扰；坐标系标定过程，是人机交互系统确定任意刚体变换的基础，标定过程确定机器人相对于相机的位置和方向；设w为世界坐标，c为相机坐标，r0为机器人的基坐标，h0为人类的根关节；对于固定相机和机器人，通过机器人手眼标定方法计算变换矩阵单目相机外参矩阵表示相机c相对于世界坐标w的变换，机器人的基坐标到世界坐标的变换表示为公式(1)，变换/>是常数矩阵；
人体姿态估计与跟踪过程，是使用基于深度学习的算法进行单目多人人体姿态估计，设计多任务结构网络，有多个分支；网络中Mobile Net作为骨干网络Backbone，2D姿态估计和3D姿态估计两个阶段都是基于骨干网络完成各自的任务，2D姿态估计部分包括InitialStage和Refinement Stage，首先输入人体图像，代表人体图像信息的是表示人体2D姿态的15个关节点，每个关节点包含对应的像素坐标和对应的置信度，表示神经网络对关节点的检测和评估；3D阶段的任务基于2D姿态估计的结果，通过Backbone、ResBlock、RefinementStage完成提取人体的三维姿态，人体3D姿态信息包括每个关节点相对于根关节的空间坐标位置，最终转换到相机坐标下表示；应用一种基于贪心算法的连续帧三维位姿跟踪算法，解决操作者和非操作者在人机交互系统中的连续跟踪和识别问题，使得在配对过程中因关联错误或遮挡而在某些帧中不存在的情况下，也能有效地跟踪骨架；因为当前阶段仅存在三维姿态，骨架之间代价函数被定义为：
其中，n＝(1，2，3，...，N)表示关节编号，以及N为骨架的总关节数量；表示当前时刻的编号为i的姿态，/>表示该骨架的第n个关节,/>是用来表示第n个关节在t时刻是否存在；对人机姿态分别进行表示，机械臂任意连杆rj在世界坐标系下的变换/>表示为：
将人体的位置在世界坐标中表达出来；假设表示关节hj相对于根关节h0的位置，关节在世界坐标中的位置/>通过式(5)计算出来；
其中为相机坐标与世界坐标的转换矩阵，/>为相机坐标与人体根关节的之间的变换矩阵；
所述决策模块：在决策模块中，系统根据先验信息决定交互的规则，先验信息包括交互任务、操作人员数量；在交互过程中，通过实时接收感知模块中的人机姿态，根据交互规则决定机器人的运动轨迹；此外，决策模块还对人机交互场景进行监控、可视化，生成机器人任务目标位置和记录相关的度量参数；
在人机安全交互中，人体关节点被当作移动或者静止的障碍物；对于移动障碍物避障的处理方法是利用障碍物与机器人末端之间的引力和斥力相加使得机器人进行主动避让；在交互过程中，通过实时计算机器人的各个连杆与人体的各个连杆的距离，目标点根据引力和斥力向量相加进行修正；当人体与机器人距离足够大的情况下，机器人向任务目标运动，目标位置对机器人工具坐标系rtool产生引力向量Fo；
当检测到人体i连杆坐标系与rtool小于一定的安全阈值时，产生斥力向量/>
通过斥力向量与引力向量相加生成合成力Fadd：
其中，I，J分别表示人的集合和每个人的关节集合；进而利用下式生成目标点
其中，δ∈(0，∞)为目标点距离系数，用于调整合成力与生成的目标点之间的线性关系；针对人机协作任务，物体的位置是通过检测其表面粘贴的标记生成；目标点就是物体在世界坐标系下的表示，基于下式生成目标点；
其中，表示物体在相机c下的姿态信息表示；人机协作任务目标点要根据任务的需求进行单独设计；
所述控制模块：在交互过程中，操作人员与机器人在同一工作空间进行交互、协作，并为机器人指定任务目标；在人机交互过程中，一方面，机器人需要对频繁变化的目标做出快速响应，以提高效率和交互舒适性；另一方面要考虑机器人安全，纠正不合理的目标指令，及时反馈给操作者；控制模块进行基于边界约束的目标校正和设计基于机器人模型预测控制的底层控制器；根据障碍物边界约束生成路径，并输入到机器人控制器，通过机器人控制器来实现对机械臂的实际操作；
设置奇异状态边界以限制机器人的工作空间范围；假设机器人工作空间W{R′}，目标姿态在超出W{R′}时将被重新限制到W{R′}的边界，以此避免奇异姿态的出现；除工作空间的限制外，机器人的运动还受到工作空间中静态障碍物的限制，对于体积较大的静态障碍物，机器人难以通过运动规划对其进行避让，根据此类障碍物的形状形成边界，在奇异状态边界限制的基础上对工作空间进行限制；障碍物边界的生成根据障碍物的接触阈值，在障碍物周围形成外包络边界，将目标姿态/>限制在外包络边界外，以免和环境发生碰撞；机器人在运动时会与自身发生碰撞，在机械臂连杆周围根据接触阈值设置外包络边界约束，将目标姿态/>修正在边界外，防止自碰撞的发生；
在人机交互系统中，在给定目标位置的情况下，通过逆运动学求解各关节的状态；将每个关节的当前状态和目标状态作为非线性优化器的输入，输出控制动作ui(i＝1，...，6)；将ui输入MPC控制器，通过更新关节状态实时控制机械臂的运动；
控制器计算机器人从起始位姿q0到期望位姿Tgoal的轨迹；轨迹规划的非线性模型预测控制问题表示为：
Xk和Uk分别对应关节位置和速度极限和关节加速度极限约束；lk(xk，uk)为第k个瞬间的阶段成本，以参考跟踪误差为基准，跟踪误差包括控制误差、系统状态误差，则表示为：
lk(xk，uk)＝(xk-xref)TQk(xk-xref)+(uk-uref)TRk(uk-uref) (13)
lN(xk)＝(xN-xref)TQN(xN-xref) (14)
其中Rk,Qk分别表示为加速度和系统状态的惩罚系数；
通过调整惩罚系数的大小，针对不同的交互情况采用不同的机器人控制策略，约束机器人的运动，实现机器人交互控制。
2.根据权利要求1所述的基于环境感知的实时多任务多人人机交互系统，其特征在于：将多人人体姿态估计应用于人机交互技术，针对人机交互中多人的情况，基于人体姿态识别与跟踪的操作者和非操作者识别算法，用于在交互过程中不断识别每个人的身份，从而有效的与机器人进行交互。
3.根据权利要求1所述的基于环境感知的实时多任务多人人机交互系统，其特征在于：通过实时监控人机状态，要求机器人根据任务要求执行相应的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111115194.6A CN113829343B (zh) | 2021-09-23 | 2021-09-23 | 基于环境感知的实时多任务多人人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111115194.6A CN113829343B (zh) | 2021-09-23 | 2021-09-23 | 基于环境感知的实时多任务多人人机交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113829343A CN113829343A (zh) | 2021-12-24 |
| CN113829343B true CN113829343B (zh) | 2023-09-29 |
Family
ID=78969460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111115194.6A Active CN113829343B (zh) | 2021-09-23 | 2021-09-23 | 基于环境感知的实时多任务多人人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113829343B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114800524B (zh) * | 2022-05-25 | 2023-06-20 | 宁波职业技术学院 | 一种人机交互协作机器人主动避碰的系统及方法 |
| CN115407750B (zh) * | 2022-08-12 | 2023-11-21 | 北京津发科技股份有限公司 | 人机协同智能系统决策能力的测评方法及系统 |
| CN115709484B (zh) * | 2023-01-09 | 2023-05-02 | 常州检验检测标准认证研究院 | 一种移动机器人安全仿真检测方法及系统 |
| CN116862208A (zh) * | 2023-09-05 | 2023-10-10 | 中煤科工机器人科技有限公司 | 一种煤矿机器人集群管理系统 |
| CN116985142B (zh) * | 2023-09-25 | 2023-12-08 | 北京航空航天大学 | 一种机器人运动规划方法、装置和机器人 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
| CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130076616A1 (en) * | 2008-04-24 | 2013-03-28 | Ambrus Csaszar | Adaptive tracking system for spatial input devices |
| US20150371083A1 (en) * | 2008-04-24 | 2015-12-24 | Ambrus Csaszar | Adaptive tracking system for spatial input devices |
-
2021
- 2021-09-23 CN CN202111115194.6A patent/CN113829343B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
| CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 乒乓球机器人手臂及其击球策略;刘伊威;王滨;姚郁;刘宏;;哈尔滨工业大学学报(第03期);全文 * |
| 电力巡检移动操作机控制系统的分析与设计;戚晖;赵玉良;王明瑞;管瑞清;;控制工程(第S2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113829343A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113829343B (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
| Wang et al. | Symbiotic human-robot collaborative assembly | |
| Krupke et al. | Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction | |
| US9862090B2 (en) | Surrogate: a body-dexterous mobile manipulation robot with a tracked base | |
| Du et al. | Markerless human–robot interface for dual robot manipulators using Kinect sensor | |
| CN108838991A (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 | |
| Kohrt et al. | An online robot trajectory planning and programming support system for industrial use | |
| Fritsche et al. | First-person tele-operation of a humanoid robot | |
| Wang et al. | A modified image-based visual servo controller with hybrid camera configuration for robust robotic grasping | |
| Wang et al. | A real-time human imitation system | |
| CN112706158B (zh) | 基于视觉和惯导定位的工业人机交互系统及方法 | |
| Liang et al. | An augmented discrete-time approach for human-robot collaboration | |
| Lacevic et al. | Safety-oriented control of robotic manipulators–a kinematic approach | |
| CN115469576A (zh) | 一种基于人-机械臂异构运动空间混合映射的遥操作系统 | |
| Lambrecht et al. | Markerless gesture-based motion control and programming of industrial robots | |
| Chen et al. | A human–robot interface for mobile manipulator | |
| Yang et al. | Humanoid motion planning of robotic arm based on human arm action feature and reinforcement learning | |
| Ovur et al. | Naturalistic robot-to-human bimanual handover in complex environments through multi-sensor fusion | |
| Du et al. | An intelligent interaction framework for teleoperation based on human-machine cooperation | |
| Sugiura et al. | Reactive self collision avoidance with dynamic task prioritization for humanoid robots | |
| Morato et al. | Safe human robot interaction by using exteroceptive sensing based human modeling | |
| Kanellakis et al. | Guidance for autonomous aerial manipulator using stereo vision | |
| Wang et al. | A visual servoing system for interactive human-robot object transfer | |
| Das et al. | Neuro-Adaptive Dynamic Control with Edge-Computing for Collaborative Digital Twin of an Industrial Robotic Manipulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240306 Address after: 311100, 15th Floor, Building 3, No. 99 Wangzhou Road, Liangzhu Street, Yuhang District, Hangzhou City, Zhejiang Province, China 1517 Patentee after: Hangzhou Lizhong Digital Technology Co.,Ltd. Country or region after: China Address before: No.18 Chaowang Road, Gongshu District, Hangzhou City, Zhejiang Province 310014 Patentee before: JIANG University OF TECHNOLOGY Country or region before: China |