CN108527370B - 基于视觉的人机共融安全防护控制系统 - Google Patents

Abstract

本发明公开了一种基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人控制单元，安全防护控制单元接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，并根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，基于防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，对可能发生的碰撞进行局部路径规划与修正，进而控制机器人对人机协作过程中可能发生的碰撞做出响应，最终实现人机协作过程中的安全防护控制。本发明结构简单，易于工程化，能够为人机协作提供三维空间的安全防护。

Description

基于视觉的人机共融安全防护控制系统

技术领域

本发明属于机器人技术领域，具体涉及一种基于视觉的人机共融安全防护控制系统。

背景技术

机器人具有负载大、响应快、精度高等优点，通常被用来替代人类从事重复、繁重或者危险的任务，在工业制造的各领域得到了广泛应用。随着传感器、人工智能、自动控制等学科和技术的进步，机器人正逐步发展成具有感知、认知和自主行动能力的智能化装备，特别是共融机器人概念的提出极大地丰富了机器人的任务内涵。所谓共融机器人，是指机器与人共享同一时间下的工作空间和生产活动，利用人类更为直接的认知和高度智能的决策能力，发挥机器大承载、高精度执行的优势，通过人机协同作业完成非结构化环境下的非确定性任务。共融机器人的发展面临着三大技术瓶颈：情景认知、人机协作以及安全防护，其中情景认知需要解决的是机器人对非结构化环境、不确定性作业任务的感知以及对人类行为和抽象指令的理解，人机协作解决在线实时人机交互、动态未知环境中自主作业等问题，安全防护解决的人机协作过程中机器人行为自律控制问题，为人机协同作业提供技术支撑。

工业机器人的安全防护主要是在机器人作业区域周围设置防护栏，包括物理防护栏、电子防护栏等多种形式，其目的是阻止人员进入机器人的工作空间。它们的设置虽然在一定程度上避免了机器伤人的事故，但也从空间上将人员和机器人进行了隔离，无法用于共融机器人的安全防护。近些年来，有些学者提出了机器人虚拟工作空间的概念，以基座为中心，将机器人周围划分为危险区域、警告区域和安全区域，将人员视为一个圆柱体或长方体，通过视觉的方式获取人员的实时位置，机器人则根据人员所处的区域等级做出降低速度或停止运行等响应。上述方法虽然取消了物理防护栏，拉近了机器和人的距离，但是对人机协作共享工作空间的要求尚有不小的差距。

对于航天器装配任务，机器人需抓取超过30kg的大重量设备，从初始位置移动至狭小凹舱内的安装位置，再由操作人员完成紧固件安装。在装配过程中，为了避免装配过程中磕碰星体，需要人员近距离严密监视机器人与星体之间的安全空间。因而，航天器装配任务是需要机器和人密切配合协作，是共融机器人典型的应用场景。然而，当前的围栏以及虚拟工作空间等方法本质上是将机器人和人从一维垂直空间上进行隔离，无法满足共融机器人的安全防护需求。

发明内容

针对航天器大重量设备装配过程中人机协作安全防护问题，本发明提出一种基于视觉的人机共融安全防护控制系统，以圆柱体和球为元素建立机器人和人的三维运动防护模型，通过视觉追踪单元获取人员当前的位置和姿态信息，利用卡尔曼滤波技术对人体运动进行预测，通过空间球体、圆柱体最小距离计算方法实现机器人与人体之间的碰撞检测，对可能发生的碰撞进行局部路径规划与修正，最终实现人机协作过程中的主动避碰。

本发明的目的在于提供一种基于视觉的人机共融安全防护控制系统，解决传统防护技术对共融机器人不适用的问题，从而实现共融机器人高效、安全的人机协同装配作业。

根据本发明提出的一种基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人运动控制单元，各单元之间的数据交换均通过局域网实现；

所述安全防护控制单元与所述视觉追踪单元、机器人运动控制单元通过网线进行电气连接，用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人运动控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，并根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，进而利用防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，对可能发生的碰撞进行局部路径规划与修正，并将修正后的路径转换成运动指令传输给机器人运动控制单元，然后控制机器人对人机协作过程中可能发生的碰撞做出响应；

所述视觉追踪单元由视觉传感器、图像处理器组成，视觉传感器通过路由器与图像处理器进行网络连接，用于采集装配现场人员的实时图像信息，通过图像处理器提取人体骨架坐标并传输给安全防护控制单元；

所述机器人运动控制单元是指机器人控制器及其数据传输接口系统，用于接收安全防护控制单元的运动指令并返回机器人当前状态。

上述技术方案中，所述视觉传感器可以是CCD摄像头，也可以是其他类型的摄像头，如Kinect相机，能够满足图像采集的要求即可。

其中所述图像处理器是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理，提取所述图像中的人员信息，通过神经网络模型或深度学习等方法识别出描述人员位姿信息的人体骨架参数的模块。

其中，所述人体骨架数据共有13个，分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部，能够完整描述人体各组成部分的位置。

上述技术方案中，所述机器人是六自由度串联式机器人，可以是成熟的工业机器人。

上述技术方案中，所述安全防护控制单元用于确定操作人员在下一时刻的运动趋势，根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型，基于该模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数，然后通过对视觉追踪单元获取的连续骨架参数的学习与建模，得出人员运动时的人体骨架参数，修正卡尔曼滤波方法得到的模型参数，从而得到下一时刻操作人员的位姿信息。

上述技术方案中，所述防护模型包括机器人防护模型和人员防护模型，其中机器人防护模型是由2个两端带有半球的圆柱体构成，分别包围着机器人的大臂和小臂，圆柱体的大小取决于机器人的结构参数；人员的防护模型是由球体和圆柱体构成，在人体骨架参数基础上，用圆柱体表示躯干、手臂和腿部，用球体表示头部，各圆柱体和球体的大小可以通过二元二次回归方法进行拟合。

上述技术方案中，所述安全防护控制单元的碰撞检测是通过计算机器人和人体防护模型之间的最小距离进行碰撞检测，具体计算方法为：

机器人防护模型的第i个圆柱体可以用空间向量p_i和q_i表示，人体防护模型中的第j个圆柱体同样可以用p_j和q_j表示，球体可以视为高度为零的圆柱体，那么两个圆柱体之间的最小距离即为：

d_min＝min(|p_j+n_jλ_j-(p_i+n_iλ_i)|)-ρ_i-ρ_j

其中，n_j＝q_j-p_j，n_i＝q_i-p_i，均为已知量；ρ_i和ρ_j为圆柱体半径，也是已知量；λ_i和λ_j为加权变量，取值介于0和1之间。通过矩阵变换可将上式转换为一个二元一次规划问题，求解域为平行四边形，存在解析解u_min，那么两个圆柱体之间的最小距离为：

d_min＝|Ax_min-y|-ρ_i-ρ_j

其中，A＝[q_j,q_i]，x_min＝R^-1(u_min+Q^Ty)，y＝p_i-p_j，Q和R为矩阵A的QR分解矩阵。

上述技术方案中，所述安全防护控制单元的路径规划是根据机器人预定的运动轨迹，以机器人当前时刻T₀位姿为初始值，选取T₀+T时刻机器人的位姿为目标值，以人体在T₀时刻到T₀+T时刻内的运动轨迹为动态约束，采用动态路图法或人工势场法进行动态路径规划，局部修正机器人的运动轨迹，实现机器人的主动避碰。所述T时间段的选取受限于T₀到T₀+T时间段之间有碰撞发生，而在T₀+T时刻无碰撞。

其中，所述人体骨架数据共有13个，分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部，能够完整描述人体各组成部分的位置。

实践证明，本发明提出的共融机器人安全防护控制系统可以达到以下效果：

本发明提出的利用多个视觉传感器组合应用，能够有效避免视线遮挡造成的目标识别不充分、精度差等问题，同时提取人体骨架参数可以有效表征人员的三维运动状态，为人机协作过程中人员肢体防护提供基础；采用圆柱体、球体建立机器人和人员的安全防护模型，包络充分、参数变量少，将机器人与人员的干涉检查转化为圆柱体之间最小距离计算，大大减小计算量和计算耗时，能够进行实时碰撞检测；本发明结构简单，易于工程化，能够为人机协作提供三维空间的安全防护。

附图说明

图1为本发明基于视觉的共融机器人安全防护控制系统的单元组成示意图；

图2为根据本发明一实施例的基于视觉的共融机器人安全防护控制系统的结构示意图；

其中：1-安全防护控制单元；2-视觉追踪单元；3-机器人运动控制单元；4-共融机器人；5-机器人；6-操作人员；7-航天器本体；8-视觉传感器；

图3为本发明提出的人体骨架与安全防护模型示意图；

图4为机器人安全防护模型示意图；

图5为本发明提出的圆柱体最小距离计算示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明基于视觉的共融机器人安全防护控制系统的组成示意图，如图1所示，本发明的基于视觉的人机共融安全防护控制系统，包括安全防护控制单元、视觉追踪单元、机器人运动控制单元，其中：

所述安全防护控制单元与所述视觉追踪单元、机器人运动控制单元电气连接，用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，基于防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，对可能发生的碰撞进行局部路径规划与修正，并修正后的路径转换成运动指令传输给机器人控制单元，进而控制机器人对人机协作过程中可能发生的碰撞做出响应；

所述视觉追踪单元由3个视觉传感器、图像处理器组成，视觉传感器通过路由器与图像处理器进行网络连接，用于采集装配现场人员的实时图像信息，通过图像处理器提取人体骨架坐标并传输给安全防护控制单元；

所述机器人运动控制单元是指机器人控制器及其数据传输接口系统，用于接收安全防护控制单元的运动指令并返回机器人当前状态。

图2为本发明基于视觉的共融机器人安全防护控制系统的结构示意图，如图2所示，所述共融机器人包括机器人及其移动平台、操作人员，可用于航天器大重量设备装配等工况。

根据本发明提出的基于视觉的人机共融安全防护控制系统，该系统的使用包括以下步骤：

步骤1，视觉追踪单元通过视觉传感器实时采集共融机器人作业现场的图像信息，并传输给图像处理器进行计算，从而获得现场人员的人体骨架参数，然后传输给安全防护控制单元；

步骤2，机器人运动控制单元读取机器人各关节的位置数据，并传输给安全防护控制单元；

步骤3，安全防护控制单元接收并存储人体骨架参数以及机器人关节位置数据，将上一时间段操作人员人体骨架运动轨迹作为输入，计算得到下一时间段人体骨架参数；

步骤4，根据机器人的预定运动轨迹和预测的操作人员人体骨架参数，建立机器人和操作人员的三维防护模型，并计算防护模型之间的最小距离；

步骤5，当最小距离小于0时，表示机器人和人员将发生碰撞，则根据局部路径规划算法修正机器人各关节的运动轨迹，避免机器人碰撞到人员，保障共融机器人作业过程中人员的安全。

在步骤1中，所述视觉传感器可以是CCD摄像头，也可以是其他类型的摄像头，如Kinect相机，能够满足图像采集的要求即可；所述图像处理器是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理，提取所述图像中的人员信息，通过神经网络模型或深度学习等方法识别出描述人员位姿信息的人体骨架参数；所述人体骨架参数共有13个，如图3所示，分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部，能够完整描述人体各组成部分的位置。

在步骤3中，所述安全防护控制单元的行为预测是用于确定人员在下一时刻的运动趋势，根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型，基于该模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数，然后通过对视觉追踪单元获取的连续骨架参数的学习与建模，得出人员运动时的人体骨架参数，修正卡尔曼滤波方法得到的模型参数，从而得到下一时刻人员的位姿信息。

在步骤4中，所述防护模型包括机器人防护模型和人员防护模型，其中机器人防护模型是由2个两端带有半球的圆柱体构成，如图4所示，分别包围着机器人的大臂和小臂，圆柱体的大小取决于机器人的结构参数；人员的防护模型是由球体和圆柱体构成，如图3所示，在人体骨架参数基础上，用圆柱体表示躯干、手臂和腿部，用球体表示头部，各圆柱体和球体的大小可以通过二元二次回归方法进行拟合。

在步骤4中，所述安全防护控制单元的碰撞检测是通过计算机器人和人体防护模型之间的最小距离进行判断的，具体计算方法为：

如图5所示，机器人防护模型的第i个圆柱体可以用空间向量p_i和q_i表示，人体防护模型中的第j个圆柱体同样可以用p_j和q_j表示，球体可以视为高度为零的圆柱体，那么两个圆柱体之间的最小距离即为：

d_min＝min(|p_j+n_jλ_j-(p_i+n_iλ_i)|)-ρ_i-ρ_j

其中，n_j＝q_j-p_j，n_i＝q_i-p_i，均为已知量；ρ_i和ρ_j为圆柱体半径，也是已知量；λ_i和λ_j为加权变量，取值介于0和1之间。通过矩阵变换可将上式转换为一个二元一次规划问题，求解域为平行四边形，存在解析解u_min，那么两个圆柱体之间的最小距离为：

d_min＝|Ax_min-y|-ρ_i-ρ_j

其中，A＝[q_j,q_i]，x_min＝R^-1(u_min+Q^Ty)，y＝p_i-p_j，Q和R为矩阵A的QR分解矩阵。

在步骤5中，所述安全防护控制单元的路径规划是根据机器人预定的运动轨迹，以机器人当前时刻T₀位姿为初始值，选取T₀+T时刻机器人的位姿为目标值，以人体在T₀时刻到T₀+T时刻内的运动轨迹为动态约束，采用动态路图法或人工势场法进行动态路径规划，局部修正机器人的运动轨迹，实现机器人的主动避碰，所述T时间段的选取受限于T₀到T₀+T时间段之间有碰撞发生，而在T₀+T时刻无碰撞。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，相关技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (5)

1.基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人控制单元，安全防护控制单元、视觉追踪单元、机器人控制单元之间的数据交换均通过局域网实现；

所述安全防护控制单元与所述视觉追踪单元、机器人控制单元电气连接，安全防护控制单元包括行为预测模块、碰撞检测模块和路径规划模块，用于接收视觉追踪单元采集到的操作人员的人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，行为预测模块根据机器人的工作任务和操作人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型，基于该人体初始运动模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数，然后通过对视觉追踪单元获取的连续人体骨架参数的学习与建模，得出操作人员运动时的人体骨架参数，修正卡尔曼滤波方法得到的模型参数，从而得到下一时刻操作人员的位姿信息，碰撞检测模块基于安全防护模型计算机器人与操作人员之间的最小距离，从而进行碰撞预测，路径规划模块对可能发生的碰撞进行局部路径规划与修正，并将修正后的路径转换成运动指令传输给机器人控制单元，进而控制机器人对人机协作过程中可能发生的碰撞作出响应；

所述视觉追踪单元由视觉传感器、计算机以及图像处理单元组成，视觉传感器通过路由器与计算机进行网络连接，用于采集装配现场的操作人员的实时图像信息，通过图像处理单元提取人体骨架坐标并传输给安全防护控制单元；

所述机器人控制单元是指机器人控制器及其数据传输接口，用于接收安全防护控制单元的运动指令并返回机器人当前状态；

其中，所述安全防护模型包括机器人安全防护模型和人体安全防护模型，其中机器人安全防护模型是由2个两端带有半球的圆柱体构成，分别包围着机器人的大臂和小臂，圆柱体的大小取决于机器人的结构参数；人体安全防护模型是由球体和圆柱体构成，在人体骨架参数基础上，用圆柱体表示躯干、手臂和腿部，用球体表示头部，各圆柱体和球体的大小通过二元二次回归方法进行拟合；

其中，所述碰撞检测模块通过计算机器人安全防护模型和人体安全防护模型之间的最小距离进行碰撞检测，具体计算方法为：

机器人安全防护模型的第i个圆柱体可以用空间向量p_i和q_i表示，人体安全防护模型中的第j个圆柱体同样可以用p_j和q_j表示，球体能够视为高度为零的圆柱体，那么第i个圆柱体和第j个圆柱体之间的最小距离即为：

d_min＝min(|p_j+n_jλ_j-(p_i+n_iλ_i)|)-ρ_i-ρ_j

其中，n_j＝q_j-p_j，n_i＝q_i-p_i，均为已知量；ρ_i和ρ_j分别为第i个圆柱体和第j个圆柱体的半径，也是已知量；λ_i和λ_j为加权变量，取值介于0和1之间；通过矩阵变换可将上式转换为一个二元一次规划问题，求解域为平行四边形，存在解析解u_min，那么第i个圆柱体和第j个圆柱体之间的最小距离为：

d_min＝|Ax_min-y|-ρ_i-ρ_j

其中，A＝[q_j，q_i]，x_min＝R^-1(u_min+Q^Ty)，y＝p_i-p_j，Q和R为矩阵A的QR分解矩阵；

其中，所述路径规划模块根据机器人预定的运动轨迹，以机器人当前时刻T₀位姿为初始值，选取T₀+T时刻机器人的位姿为目标值，以人体在T₀时刻到T₀+T时刻内的运动轨迹为动态约束，采用动态路图法或人工势场法进行动态路径规划，局部修正机器人的运动轨迹，实现机器人的主动避碰，所述T时间段的选取受限于T₀到T₀+T时间段之间有碰撞发生，而在T₀+T时刻无碰撞。

2.如权利要求1所述的基于视觉的人机共融安全防护控制系统，其中，所述视觉传感器是CCD摄像头。

3.如权利要求1所述的基于视觉的人机共融安全防护控制系统，其中，所述图像处理单元是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理，提取所述图像中的操作人员信息，通过神经网络模型或深度学习方法识别出描述操作人员位姿信息的人体骨架参数的模块。

4.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制系统，其中，所述人体骨架数据共有13个，分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部，能够完整描述人体各组成部分的位置。

5.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制系统，其中，所述机器人是六自由度串联式机器人。

Images