CN108789500B - 人机安全防护系统及安全防护方法 - Google Patents

Abstract

本发明提供一种人机安全防护系统及安全防护方法，采用的普通的摄像头，将摄像头置于机器人顶端，通过过滤掉机器人本体的像素点，利用前景提取的方法判断是否有物体进入用户规定的检测范围，如果出现移动的物体即使机器人减速或者停止，保证机器人和操作者的安全。本发明采用普通RGB摄像头，成本低廉；无需标定摄像头并且可以根据用户需求规定检测范围，维护方便，配置灵活，效率较高。

Description

人机安全防护系统及安全防护方法

技术领域

本发明涉及人机安全防护技术领域，特别是涉及一种人机安全防护系统及安全防护方法。

背景技术

传统工业机器人生产作业是通常在其周围设置隔离栅栏或者通过外设传感器来实现机器人与人的隔离。传统的传感器例如压敏传感器或者扫描激光测距仪成本较高并且维护麻烦，在现场环境变化时需要重新安装调试，效率较低；而较为先进的触觉和力觉传感器价格也相当昂贵，此类接触式的传感器是以人和机器人之间产生力的接触为前提的，若机器人运行速度过快或者执行末端较为锋利时，机器人仍具有一定地的危险性。

视觉传感器比力学传感器和其他传统的传感器提供了更加丰富的信息，目前，视觉传感器的普及使廉价以视觉传感器为基础的人机安全系统成为可能。

通过对现有的文件检索发现，在机器人与人安全交互方面主要有如下几种方法：

中国专利申请号为2013800564474，名称为“机器人安全工作的系统和方法”采用将声呐与视觉相机结合的方法。该方法将声呐和视觉相机声呐装在机器人上，声呐用于检测是否有人，相机用于识别人体躯干、头部与手臂。由于安装位置的限制，机器人感知周围环境时视角会受到限制，如若人从传感器安装位置的反方向靠近机器人，机器人就可能检测不到而导致危险发生。

中国专利申请号为2013101032541，名称为“人机协作装置及实现人机协作的方法”通过Kinect相机实现人机安全。该发明采用深度图进行计算，当人与机器人在深度图中有重叠时，可能难以识别人体骨骼信息，甚至出现误判；同时，Kinect传感器成本较高而且每次安装后需要进行标定，不方便修改维护。

中国专利申请号为2015107774898，名称为“一种机器人的人-机交互安全防护系统”，采用结合语音提示装置，视觉传感器、灵敏皮肤及信号传递线路等组成安全防护系统。该系统将视觉传感器安装于机器人末端，限制了视觉传感器的功能，同时多传感融合导致成本比较高。

发明内容

本发明所要解决的技术问题是：为了克服现有技术中的不足，本发明提供一种人机安全防护系统及安全防护方法，采用的普通的摄像头，将摄像头置于机器人顶端，通过过滤掉机器人本体的像素点，利用前景提取的方法判断是否有物体进入用户规定的检测范围，如果出现移动的物体即使机器人减速或者停止，保证机器人和操作者的安全。

本发明解决其技术问题所要采用的技术方案是：一种人机安全防护系统，包括机器人、摄像头和计算机，所述摄像头安装在机器人上方，且所述机器人和摄像头均与计算机连接，工作区域内的机器人的数量可以为一个或多个，每个机器人具有至少一个可移动的执行部件；摄像头的安装位置位于机器人工作区域的上方，高度能够使摄像头拍摄到工作区域内的所有机器人。

所述摄像头用于拍摄机器人周围环境的检测范围内的图像，并将拍摄的图像发送至计算机；其中，检测范围指摄像头所能拍摄到的机器人周围的所有区域。

所述计算机用于通过鼠标在图像上限定安全区域，并根据摄像头拍摄的图像判断是否有人或物进入该安全区域，以控制机器人的运动状态。其中，安全区域是指用户根据机器人的有效工作空间以及安全距离，通过鼠标规定的用于判断是否存在移动障碍物的区域。

一种人机安全防护方法，包括上述的人机安全防护系统，还包括以下步骤：

S1：搭建系统，将摄像头固定于机器人上方，并将机器人和摄像头与计算机连接，启动计算机上的人机安全防护系统软件，打开摄像头；

其中，人机安全防护系统软件主要由GUI界面和内部算法组成。GUI界面主要包括视频显示窗口和用户操作按钮，内部算法即区域选择算法和前景提取算法。功能主要是通过摄像头读回图像，经过算法处理判定，给机器人发送是否有障碍物的信号。

S2：摄像头拍摄的画面显示在计算机上，用户通过鼠标在计算机上确定安全区域，并选择安全区域的保护类型；

S3：安全区域以及保护类型选取成功之后，启动前景提取算法，对安全区域图像进行前景提取，所述前景提取即从摄像头采集的序列图像中将变化区域从背景图像中提取出来，然后，对前景区域进行去除孔洞优化处理并统计前景区域像素值，像素值若大于设定阈值即判断该区域存在移动物体，并实时通过以太网Ethenet给机器人发送减速或停止命令；

S4：计算机实时接收摄像头拍摄的图像，对每一帧图像进行检测，且计算机一直进行循环检测，若安全区域内出现人或者其他障碍物则计算机通过网口给机器人发送减速或者停止命令，当人或者障碍物消失后，机器人则恢复正常运行状态。

步骤2中安全区域选择具体包括以下步骤：

S2.1：打开计算机上的人机安全防护系统软件，通过鼠标在区域选择界面上移动确定安全区域的范围，并通过OpenCV库中的鼠标事件回调函数记录用户在区域选择界面上鼠标移动的坐标，生成安全区域轮廓参数；

S2.2：利用安全区域轮廓参数生成安全区域的“蒙版”；建立“蒙版”的原理是，首先生成一张与原始图像(摄像头所拍摄的图像)大小相同的RGB值全为0的蒙版图像，利用轮廓参数在蒙版图像上画出RGB值全为255的填充区域，即生成“蒙版”。

S2.3：将“蒙版”与摄像头所拍摄的图像进行“与”操作过滤掉非安全区域像素点；“与”操作即对两幅图像每个像素点进行按位与操作，原始图像中对应蒙版图像RGB值为255的区域的像素值保留，而对应蒙版图像中RGB值为0 的区域像素值均变为0，这个步骤使图像安全区域的像素值保留，而非安全区域像素值均变为0。

“与”操作的目的就是过滤掉非安全区域的像素点，即在后续的前景提取的算法中，非安全区域的像素点会均被作为背景像素处理，当非安全区出现移动物体时也不会判定为障碍物而使机器人减速。

在步骤S2中安全区域的范围类型包括矩形、圆形或任意形状，安全区域的保护类型包括减速和/或停止。

在步骤S2的安全区域选择时，若用户选取的安全区域不符合要求(如区域不闭合)系统会提示错误并重新选取。

检测移动的障碍物需要对图像进行前景提取，可以采用对比背景差分法、混合高斯法，均值法和Vibe算法等背景建模方法，综合考虑算法的实时性和鲁棒性，本发明选择Vibe算法来对图像进行前景提取，在步骤3中前景提取的具体步骤如下：

S3.1采用Vibe算法获得二值图，具体步骤如下：

S3.1.1：每个像素存储一个含有20个样本值的背景样本集，样本集中采样值就是该像素邻居点的像素值；

S3.1.2：将下一帧该像素值的新像素值和样本集进行比较来判断是否是前景点；

S3.1.3：每一个背景点有一定概率去更新自己的模型样本值和邻近点的模型样本值，以此规律对背景样本集进行更新再进行下一帧的比较和判断；

S3.2：通过Vibe算法处理后的图像为二值图，在此基础上，采用区域生长法进行孔洞填充和小区域去除，步骤如下：

S3.2.1：选取图像中的一点种子点；

S3.2.2：在种子点处进行邻域扩展，如果考虑的像素和种子点的灰度值差的绝对值下于某个阈值，则将该像素包括进种子像素所在区域；

S3.2.3：当不再有像素满足加入区域时，区域停止生长；

通过以上算法可以高效实时地检测安全区域内的移动障碍物，满足系统要求。

本发明的有益效果是：本发明提供的一种人机安全防护系统及安全防护方法，采用普通RGB摄像头，成本低廉；无需标定摄像头并且可以根据用户需求规定检测范围，维护方便，配置灵活，效率较高，可以直接作为示教盒或者其他第三方平台的扩展，实现人机安全交互。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明人机安全防护系统工作示意图；

图2是本发明人机安全防护方法流程图；

图3是安全区域选择算法流程图；

图4是生成蒙版示意图；

图5是“与”操作示意图；

图6是前景提取算法流程图；

图中：1、操作人员，2、机器人，3、网线，4、计算机，5、USB连接线， 6、摄像头。

具体实施方式

现在结合附图对本发明作详细的说明。此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本实施例中以工作区域内有一个机器人2为例进行说明，当有多个机器人2 时，摄像头6的拍摄范围更大一些即可。

如图1所示，本发明的一种人机安全防护系统，包括机器人2、摄像头6和计算机4，为了便于后续数据处理，所述摄像头6安装在机器人2正上方，且所述机器人2和摄像头6均与计算机4连接，所述机器人2具有至少一个可移动的执行部件；所述摄像头6用于拍摄机器人2周围环境的检测范围内的图像，并将拍摄的图像发送至计算机4；其中，检测范围指摄像头6所能拍摄到的机器人2周围的所有区域。

所述计算机4用于通过鼠标在图像上限定安全区域，并根据摄像头6拍摄的图像判断是否有人或物进入该安全区域，以控制机器人2的运动状态。其中，安全区域是指用户根据机器人2的有效工作空间以及安全距离，通过鼠标规定的用于判断是否存在移动障碍物的区域。

一种人机安全防护方法，包括上述的人机安全防护系统，还包括以下步骤：

S1：搭建系统，将摄像头6固定于机器人2正上方，并将机器人2和摄像头6与计算机4连接，启动计算机4上的人机安全防护系统软件，打开摄像头6；

需要先确定一个没有人进入的安全区域的状态，在选择安全区域时，用于选择安全区域的那张图像同时会用于后面提到的ViBe算法中采集背景样本集图像，可以理解为是这张图像确定了一个没有人进入的安全区域的一个装填。

S2：摄像头6拍摄的画面显示在计算机4上，用户通过鼠标在计算机4上确定安全区域，并选择安全区域的保护类型；安全区域的范围类型包括矩形、圆形或任意形状，安全区域的保护类型包括减速和/或停止。安全区域选择时，若用户选取的安全区域不符合要求(如区域不闭合)系统会提示错误并重新选取。安全区域选择时需要保证所选择的安全区域内处于没有障碍物(人)的状态。任意的形状指用户可以通过鼠标的移动自己选择一个形状任意的区域作为安全区域。如图4所示，图中A表示安全区域，形状任意，安全区域A以外的图像I的区域B形成非安全区域。

由于摄像头6是安装在机器人2的正上方的，在选择安全区域时机器人2 处于安全区域的范围内，因此，首先需要将机器人2自身从安全区域内过滤掉，由于机器人2的有效工作区域的俯视图呈固定半径的圆形，因此可以通过 OpenCV库中的图像“与”操作过滤机器人2的像素点。

如图3所示，安全区域选择具体包括以下步骤：

S2.1打开计算机4上的人机安全防护系统软件，通过鼠标在区域选择界面上移动确定安全区域的范围，并通过OpenCV库中的鼠标事件回调函数记录用户在区域选择界面上鼠标移动的坐标，生成安全区域轮廓参数；

S2.2：利用安全区域轮廓参数生成安全区域的“蒙版”；建立“蒙版”的原理是，首先生成一张与原始图像(摄像头6所拍摄的图像)大小相同的RGB值全为0的蒙版图像，利用轮廓参数在蒙版图像上画出RGB值全为255的填充区域，即生成“蒙版”。

如图5所示，其中，图5 的 a为原始图像，图5 的 b为蒙版图像，通过与算法得到图5 的 c效果。首先生成一张图像I，且使图像I的大小与摄像头6读回来的原始图像相同，且图像I的RGB值全为0，则将图像I作为蒙版图像，利用轮廓参数在蒙版图像上画出与安全区域A相同的填充区域A’，且使填充区域A’的RGB 值全为255，则填充区域A’即为“蒙版”，此时，填充区域A’以外的区域B’的RGB值全为0。

S2.3：将“蒙版”与摄像头6所拍摄的图像进行“与”操作过滤掉非安全区域像素点；如图5所示，“与”操作即对两幅图像每个像素点进行按位与操作，原始图像中对应蒙版图像RGB值为255的区域的像素值保留，而对应蒙版图像中RGB值为0的区域像素值均变为0，这个步骤使图像安全区域A的像素值保留，而非安全区域B像素值均变为0。

“与”操作的目的就是过滤掉非安全区域的像素点，即在后续的前景提取的算法中，非安全区域的像素点会均被作为背景像素处理，当非安全区出现移动物体时也不会判定为障碍物而使机器人减速。

S3：安全区域以及保护类型选取成功之后，启动算法，对安全区域图像进行前景提取，所述前景提取即从摄像头6采集的序列图像中将变化区域从背景图像中提取出来，然后，对前景区域进行去除孔洞优化处理并统计前景区域像素值，像素值若大于设定阈值即判断该区域存在移动物体，并实时通过Ethenet 给机器人2发送减速或停止命令；

检测移动的障碍物需要对图像进行前景提取，可以采用对比背景差分法、混合高斯法，均值法和Vibe算法等背景建模方法，综合考虑算法的实时性和鲁棒性，本发明选择Vibe算法来对图像进行前景提取，如图6所示，在步骤3中前景提取的具体步骤如下：

S3.1采用Vibe算法获得二值图，具体步骤如下：

S3.1.1：每个像素存储一个含有20个样本值的背景样本集，样本集中采样值就是该像素邻居点的像素值，记v(x)：x点处的像素值，则：

M(x)＝{V1,V2,…VN}为x处的背景样本集(样本集大小N为20)；

S3.1.2：将下一帧该像素值的新像素值和样本集进行比较来判断是否是前景点；

具体地，SR(v(x))：以x为中心R为半径的区域，如{SR(v(x))∩{V1,V2,..., VN}}大于一个给定的阈值#min,那么就认为x点属于背景点(阈值#min取2)；

S3.1.3：每一个背景点有一定概率去更新自己的模型样本值和邻近点的模型样本值，以此规律对背景样本集进行更新再进行下一帧的比较和判断；

设更新的概率均为

则在dt时间过去后，样本值仍然保留的概率为：

S3.2：通过Vibe算法处理后的图像为二值图，在此基础上，采用区域生长法进行孔洞填充和小区域去除，步骤如下：

S3.2.1：选取图像中的一点种子点；此处的图像指经过Vibe算法处理后得到的二值图像；

S3.2.2：在种子点处进行邻域扩展，如果考虑的像素和种子点的灰度值差的绝对值小于某个阈值，则将该像素包括进种子像素所在区域；其中，阈值指的是一个像素的灰度的差值；

S3.2.3：当不再有像素满足加入区域时，区域停止生长；

S4：计算机4实时接收摄像头6拍摄的图像，对每一帧图像进行检测，且计算机4一直进行循环检测，若安全区域内出现人或者其他障碍物则计算机4 通过网口给机器人2发送减速或者停止命令，当人或者障碍物消失后，机器人2 则恢复正常运行状态。通过以上算法可以高效实时地检测安全区域内的移动障碍物，满足系统要求。

下面以一个具体的实施例进行安全防护方法的说明。

本实施例中，软件的系统环境在ubunt14.04操作系统下，基于Qt编程，主要调用免费开源的OpenCV3.0库。

硬件环境主要有机器人2、计算机4，RGB摄像头6、网线3等。其中，计算机4处理器要求Pentium4 1.6GHz或性能更好的处理器；内存要求512M及以上；显卡要求支持分辨率1024×768，16位增强色或以上；硬盘要求空间为128G 及以上。

RGB摄像头6固定于机器人2正上方，摄像头6采用任何类型品牌的USB 摄像头6都可以，即插即用，无需标定，本实施例中采用杰瑞微通科技公司720P 1.4mm的鱼眼摄像头6，不需要图像处理装置，通过USB连接线5直接连接电脑USB口即可。

本安全防护系统适用于所有品牌的机器人2。以节卡7公斤负载机器人2为例，该机器人2有6个自由度，最大臂展869mm。

如图1所示，首先安装好摄像头6，让摄像头6对准机器人2所在区域，计算机4上面就会看到摄像头6对准的区域，然后，用于通过鼠标手绘出一个封闭的防护区域，形状不限，如图4所述，通过鱼眼摄像头6实时采集机器人2 机器人2周围环境的检测范围内的图像，将图像发送至计算机4的安全防护系统软件，通过前景提取算法实时地检测安全区域内的移动障碍物，当有人或者移动物体闯入防护区域时，摄像头6所传输给计算机4的图像就会发生变化，计算机4上显示的区域会变红，提醒操作人员1并发送控制命令给机器人2，此时机器人2减慢或停止动作，实现安全防护功能。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种人机安全防护方法，其特征在于：包括人机安全防护系统，人机安全防护系统包括机器人、摄像头和计算机，所述摄像头安装在机器人上方，且所述机器人和摄像头均与计算机连接，所述摄像头用于拍摄检测范围内的图像，并将拍摄的图像发送至计算机；

所述计算机用于通过鼠标在图像上限定安全区域，并根据摄像头拍摄的图像判断是否有人或物进入该安全区域，以控制机器人的运动状态；还包括以下步骤：

S1：搭建系统，将摄像头固定于机器人上方，并将机器人和摄像头与计算机连接，启动计算机上的人机安全防护系统软件，打开摄像头；

S2：摄像头拍摄的画面显示在计算机上，用户通过鼠标在计算机上确定安全区域，并选择安全区域的保护类型；

S3：安全区域以及保护类型选取成功之后，启动前景提取算法，对安全区域图像进行前景提取，所述前景提取即从摄像头采集的序列图像中将变化区域从背景图像中提取出来，然后，对前景区域进行去除孔洞优化处理并统计前景区域像素值，像素值若大于设定阈值即判断该区域存在移动物体，并实时通过Ethenet给机器人发送减速或停止命令；

S4：计算机对图像进行循环检测，若安全区域内出现人或者其他障碍物则计算机通过网口给机器人发送减速或者停止命令，当人或者障碍物消失后，机器人则恢复正常运行状态；

步骤2中安全区域选择具体包括以下步骤：

S2 .1：打开计算机上的人机安全防护系统软件，通过鼠标在区域选择界面上移动确定安全区域的范围，并记录用户在区域选择界面上鼠标移动的坐标，生成安全区域轮廓参数；

S2 .2：利用安全区域轮廓参数生成安全区域的“蒙版”；

S2 .3：将“蒙版”与摄像头所拍摄的图像进行“与”操作过滤掉非安全区域像素点。

2.如权利要求1所述的人机安全防护方法，其特征在于：在步骤S2中安全区域的范围类型包括矩形、圆形或任意形状，安全区域的保护类型包括减速和/或停止。

3.如权利要求1所述的人机安全防护方法，其特征在于：在步骤S2的安全区域选择时，若用户选取的安全区域不符合要求系统会提示错误并重新选取。

4.如权利要求1所述的人机安全防护方法，其特征在于：在步骤3中前景提取具体包括以下步骤：

S3 .1采用Vibe算法获得二值图，具体步骤如下：

S3 .1 .1：每个像素存储一个含有20个样本值的背景样本集，样本集中采样值就是该像素邻居点的像素值；

S3 .1 .2：将下一帧该像素值的新像素值和样本集进行比较来判断是否是前景点；

S3 .1 .3：每一个背景点有一定概率去更新自己的模型样本值和邻近点的模型样本值，以此规律对背景样本集进行更新再进行下一帧的比较和判断；

S3 .2：通过Vibe算法处理后的图像为二值图，在此基础上，采用区域生长法进行孔洞填充和小区域去除，步骤如下：

S3 .2 .1：选取图像中的一点种子点；

S3 .2 .2：在种子点处进行邻域扩展，如果考虑的像素和种子点的灰度值差的绝对值下于某个阈值，则将该像素包括进种子像素所在区域；

S3 .2 .3：当不再有像素满足加入区域时，区域停止生长。

Images