CN110378937A - 基于Kinect摄像头的工业机械臂人机安全距离检测方法 - Google Patents

基于Kinect摄像头的工业机械臂人机安全距离检测方法 Download PDF

Info

Publication number
CN110378937A
CN110378937A CN201910444610.3A CN201910444610A CN110378937A CN 110378937 A CN110378937 A CN 110378937A CN 201910444610 A CN201910444610 A CN 201910444610A CN 110378937 A CN110378937 A CN 110378937A
Authority
CN
China
Prior art keywords
mechanical arm
camera
operator
indicate
kinect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910444610.3A
Other languages
English (en)
Other versions
CN110378937B (zh
Inventor
禹鑫燚
来磊
欧林林
金燕芳
吴加鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910444610.3A priority Critical patent/CN110378937B/zh
Publication of CN110378937A publication Critical patent/CN110378937A/zh
Application granted granted Critical
Publication of CN110378937B publication Critical patent/CN110378937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于Kinect摄像头的工业机械臂人机安全距离检测方法，首先对Kinect摄像头和机械臂底座进行基于最小二乘法的标定，并根据机械臂的D‑H参数，构建机械臂的3D模型。接着使用Kinect摄像头获取机械臂工作空间内的环境信息，当环境中有操作员进入时，使用背景差分法对操作员进行识别并构建操作员的轮廓模型。最后，当操作员进入机械臂工作空间时，机械臂进行状态切换进入预警模式，并使用最小包围盒法对人机最小距离进行计算，判断人机安全性。

Description

基于Kinect摄像头的工业机械臂人机安全距离检测方法
技术领域
本发明属于机械臂安全技术领域，具体涉及一种基于Kinect摄像头的工业机械臂人机安全距离检测方法。
背景技术
随着智能技术和现代制造技术的发展，现如今的工业生产中，工业机械臂逐步取代人工，完成一些喷涂、焊按、切割、装配等任务。目前大多数工业机械臂在工作过程中只能按照既定的关节轨迹运行，不能感加周围的运动物体，而在生产现场，人员的安全问题永远是排在第一位。因此为了避免事故发生，机械臂通常被单独划分一块工作区域，与人隔离。然而，这种方法虽然可以避免事故发生，但是一方面浪费空间资源，另一方面不能满足人与机械臂协调工作的需求。因此，在人机共存的环境中，提高机械臂的环境感加能力和人机协作的安全性是一个重要的发展方向。
针对这一问题，基于各类传感器的监测系统被开发完成。陈呈辰，肖南峰提出了一种基于Kinect深度摄像头的工业机械臂实时避规划抓取系统(陈星辰；肖南峰.基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统[P].广东：CN108972549A，2018-12-11.)，通过Kinect摄像头对机械臂周围环境进行感知，检测追踪动态障碍物，但该方法利用人的骨架信息进行碰撞检测，对环境中若存在由人引入的动态障碍物，仅仅通过人体骨架捕捉是无法识别的，因此该方法存在一定局限性。叶宇航、杨辰光等人提出一种具有安全识别区的人机交互机械臂系统(叶宇航；杨辰光；贺波涛；刘小峰.一种具有安全识别区的人机交互机械臂系统[P].中国专利：CN206998933U，2018-02-13.)，采用投影仪定义机器人周围环境的安全区域，当人进入机器人不同安全区域时会相应改变机器人的状态，但该方法把人和机器人的位置映射到一个平面上，不能进行有效对人和机器人空间位置进行估计。
发明内容
本发明克服现有技术的上述问题，提出一种基于Kinect摄像头的工业机械臂人机安全距离检测方法。具体方法流程图如图1所示。
本发明首先对Kinect摄像头和机械臂底座进行基于最小二乘法的标定，并根据机械臂的D-H参数，构建机械臂的3D模型。按着使用Kinect摄像头获取机械臂工作空间内的环境信息，当环境中有操作员进入时，使用背景差分法对操作员进行识别并构建操作员的轮廓模型。最后，当操作员进入机械臂工作空间时，机械臂进行状态切换进入预警模式，并使用最小包围盒法对人机最小距离进行计算，判断人机安全性。
一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，具体步骤如下：
步骤1：对Kinect摄像头和机械臂底座进行标定；
本发明首先对Kinect摄像头进行内参标定，获取相机的投影矩阵和畸变参数。在机械臂的末端贴上标定板，通过Kinect摄像头获取其在相机坐标系下的位姿。然后手动调整机械臂的应姿，记录下不同位姿下，机械臂参数与通过Kinect摄像头所识别的标定板的位姿；最后通过迭代最小二乘法计算得到机械臂基座相对于相机坐标系的位置，即完成对机械臂的定位。
定义如下方程描述相机空间下，相机、机械臂基座、机械臂末端与机械臂末端标定板的相对位置关系：
其中，Pcam表示相机坐标系下，相机与机械臂末端标定板的位姿关系，表示待求解的相机与机械臂基座的位姿关系；表示机械臂基座与机械臂末端的位姿关系；Poff表示机械臂末端与其末端标定板之间的相对位姿关系；
由于测量过程中难免会产生误差，因此，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代，便可得到待求解矩阵即相机与机械臂基座的位姿关系。
步骤2：使用Kinect摄像头获取障碍物信息；
机械臂定位完成后，使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧。按着将摄像头下一时刻获取到的帧序列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息。背景差分法计算公式如下：
δ(i，j)＝|a(i，j)-r(i，j)| (2)
其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值。
当背景差大于阈值时，则表示有运动物体出现。为了能确定运动物体的尺寸和位置，采用Canny边缘检测算子对得到的差分图像进行轮廓检测。然后，对得到的轮廓像素点，通过深度摄像头获取对应的深度值。最后，恢复轮廓像素点所在世界坐标系中的3D轮廓模型。
步骤3：机械臂工作模式和预警模式的切换；
一般情况下，机械臂执行自身任务，处于正常工作模式。利用步骤1和步骤2获取的机械臂底座位置和操作员位置，计算操作员和机械臂底座的水平距离xrh。如果xrh小于机械臂工作半径R，表示操作员进入机械臂工作空间，则机械臂从正常工作模式转换为预警模式。机械臂的状态函数表示为：
P(x)＝ar(t)Pr(Δxd)+ah(t)[Ph(Δxh)C] (4)
其中，P(x)是机械臂状态函数，ar(t)和ah(t)是在机械臂的工作任务和预警任务之间分配的变量，C是常数值。当操作员在机械臂工作空间之外时，预警任务Ph功能被禁用，即ah(t)＝0，机械臂执行自身任务；当操作员进入工作空间时，Ph被激活，即ah(t)＝1。假设tei为操作员进入机械臂的工作空间的时间，ah(t)定义为：
其中，xrh表示人与机器人基座之间的水下距离，R表示机械臂的工作半径，T表示ah(t)从0到1变化过渡时间，fin(t，tei)是从0到1的递增函数。
步骤4：计算磁撞距离；
机械臂进入预警模式后，首先将步骤1、2分别获得的机械臂3D模型和操作员3D轮廓模型放到同一坐标系下进行组合。然后，对操作员3D轮廓模型使用最小包围盒法，分割成i个子包围盒，计算每个包围盒的中心坐标(xi，yi，zi)和对应包围球的半径ri；对机械臂的3D模型进行同样操作，分割成j个子包围盒，其中每个包围盒的中心坐标记为(Xj，Yj，Zj)对应包围球的半径记为Rj，开始对操作员和机械臂进行磁撞检删，距离判断公式如下：
根据公式(6)，若其计算值小于0，则表示操作员和机器人发生了碰撞；若其计算值大于0，则表示两者相互分离。最后在上述数据中进行最小值搜索，得到最短距离Q，即可确定机械臂离操作员最近的距离，即当计算得到多个距离时，按照最小距离进行人机距离判断。
Q＝Dmin (7)
本发明的优点：本发明使用Kinect摄像头获取机械臂工作空间内的视觉信息，能够有效地利用图像的深度信息，对操作员进行3D模型恢复，和普通单目相机相比，构建的3D模型更加准确。另外，相比于人体骨架捕获的方式，若环境中存在由人引入的动态障碍物，仅通过人体骨架捕捉是无法识别的，本发明采用的背景差分法跟踪动态障碍物，可以很好的解决这一问题。同时，本发明设计的机械臂任务模式控制，可以根据周围环境的变化，使机械臂在工作模式和预警模式下切换，提高了机械臂人机协同的效率。
附图说明
图1是本发明的方法流程图
图2是本发明的机械臂标定结果图
具体实施方式
以下结合附图对本发明实例做进一步详述：
一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，平台组成主要包括Kinect2.0深度摄像头1、UR5机械臂2、二脚架3、联想ThinkPad电脑4。Kinect2.0深度摄像头1固定在二脚架3上。
本发明专利的具体实施方式如下：
步骤1：本发明首先对Kinect摄像头进行内参标定，获取相机的投影矩阵和畸变参数。在机械臂的末端贴上标定板，通过Kinect摄像头获取其在相机坐标系下的位姿。然后手动调整机械臂的位姿，记录下不同位姿下，机械臂参数与通过Kinect摄像头所识别的标定板的位姿；最后通过迭代最小二乘法计算得到机械臂基座相对于相机坐标系的位置，即完成对机械臂的定位。
定义如下方程描述相机空间下，相机、机械臂基座、机械臂末端与机械臂末端标定板的相对位置关系：
其中，Pcam表示相机坐标系下，相机与机械臂末端标定板的位姿关系，表示待求解的相机与机械臂基座的位姿关系；表示机械臂基座与机械臂末端的位姿关系；Poff表示机械臂末端与其末端标定板之间的相对位姿关系；
由于测量过程中难免会产生误差，因此，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代，便可得到待求解矩阵即相机与机械臂基座的位姿关系。
步骤2：使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧。按着将摄像头下一时刻获取到的帧序列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息。背景差分法计算公式如下：
δ(i，j)＝|a(i，j)-r(i，j)| (2)
其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值。
当背景差大于阈值时，则表示有运动物体出现。为了能确定运动物体的尺寸和位置，采用Canny边缘检测算子对得到的差分图像进行轮廓检测。然后，对得到的轮廓像素点，通过深度摄像头获取对应的深度值。最后，恢复轮廓像素点所在世界坐标系中的3D轮廓模型。
步骤3：一般情况下，机械臂执行自身任务，处于正常工作模式。利用步骤1和步骤2获取的机械臂底座位置和操作员位置，计算操作员和机械臂底座的水下距离xrh。如果xrh小于机械臂工作半径R，表示操作员进入机械臂工作空间，则机械臂从正常工作模式转换为预警模式。机械臂的状态函数表示为：
P(x)＝ar(t)Pr(Δxd)+ah(t)[Ph(Δxh)C] (4)
其中，P(x)是机械臂状态函数，ar(t)和ah(t)是在机械臂的工作任务和预警任务之间分配的变量，C是常数值。当操作员在机械臂工作空间之外时，预警任务Ph功能被禁用，即ah(t)＝0，机械臂执行自身任务；当操作员进入工作空间时，Ph被激活，即ah(t)＝1。假发tei为操作员进入机械臂的工作空间的时间，ah(t)定义为：
其中，xrh表示人与机器人基座之间的水平距离，R表示机械臂的工作半径，T表示ah(t)从0到1变化过渡时间，fin(t，tei)是从0到1的递增函数。
步骤4：当机械臂进入预警模式后，首先将步骤1、2分别获得的机械臂3D模型和操作员3D轮廓模型放到同一坐标系下进行组合。然后，对操作员3D轮廓模型使用最小包围盒法，分割成i个子包围盒，计算每个包围盒的中心坐标(xi，yi，zi)和对应包围球的半径ri；对机械臂的3D模型进行同样操作，分割成j个子包围盒，其中每个包围盒的中心坐标记为(Xj，Yi，Zi)对应包围球的半径记为Rj，开始对操作员和机械臂进行磁撞检测，距离判断公式如下：
若其计算值小于0，则表示操作员和机器人发生了磁撞；若其计算值大于0，则表示两者相互分离。最后在上述数据中进行最小值搜索，得到最短距离Q，即可确定机械臂离操作员最近的距离，即当计算得到多个距离时，按照最小距离进行人机距离判断。
Q＝Dmin (7)
步骤1中由于测量过程中难免会产生误差，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代得到待求解的矩阵
步骤2中机械臂定应完成后，使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧。按着将摄像头下一时刻获取到的帧厅列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息。背景差分法计算公式如下：
δ(i，j)＝|a(i，j)-r(i，j)| (8)
其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值。
要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，具体步骤如下：
步骤1：对Kinect摄像头和机械臂底座进行标定；
首先对Kinect摄像头进行内参标定，获取相机的投影矩阵和畸变参数；在机械臂的末端贴上标定板，通过Kinect摄像头获取其在相机坐标系下的位姿；然后手动调整机械臂的位姿，记录下不同位姿下，机械臂参数与通过Kinect摄像头所识别的标定板的位姿；最后通过迭代最小二乘法计算得到机械臂基座相对于相机坐标系的位置，即完成对机械臂的定位；
定义如下方程描述相机空间下，相机、机械臂基座、机械臂末端与机械臂末端标定板的相对位置关系：
其中，Pcam表示相机坐标系下，相机与机械臂末端标定板的位姿关系，表示待求解的相机与机械臂基座的位姿关系；表示机械臂基座与机械臂末端的位姿关系；Poff表示机械臂末端与其末端标定板之间的相对位姿关系；
由于测量过程中难免会产生误差，因此，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代，便可得到待求解矩阵即相机与机械臂基座的位姿关系；
步骤2：使用Kinect摄像头获取障碍物信息；
机械臂定位完成后，使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧；接着将摄像头下一时刻获取到的帧序列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息；背景差分法计算公式如下：
δ(i，j)＝|a(i，j)-r(i，j)| (2)
其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值；
当背景差大于阈值时，则表示有运动物体出现；为了能确定运动物体的尺寸和位置，采用Canny边缘检测算子对得到的差分图像进行轮廓检测；然后，对得到的轮廓像素点，通过深度摄像头获取对应的深度值；最后，恢复轮廓像素点所在世界坐标系中的3D轮廓模型；
步骤3：机械臂工作模式和预警模式的切换；
一般情况下，机械臂执行自身任务，处于正常工作模式；利用步骤1和步骤2获取的机械臂底座位置和操作员位置，计算操作员和机械臂底座的水平距离xrh；如果xrh小于机械臂工作半径R，表示操作员进入机械臂工作空间，则机械臂从正常工作模式转换为预警模式；机械臂的状态函数表示为：
P(x)＝ar(t)Pr(Δxd)+ah(t)[Ph(Δxh)-C] (4)
其中，P(x)是机械臂状态函数，ar(t)和ah(t)是在机械臂的工作任务和预警任务之间分配的变量，C是常数值；当操作员在机械臂工作空间之外时，预警任务Ph功能被禁用，即ah(t)＝0，机械臂执行自身任务；当操作员进入工作空间时，Ph被激活，即ah(t)＝1；假设tei为操作员进入机械臂的工作空间的时间，ah(t)定义为：
其中，xrh表示人与机器人基座之间的水平距离，R表示机械臂的工作半径，T表示ah(t)从0到1变化过渡时间，fin(t，tei)是从0到1的递增函数；
步骤4：计算磁撞距离；
机械臂进入预警模式后，首先将步骤1、2分别获得的机械臂3D模型和操作员3D轮廓模型放到同一坐标系下进行组合；然后，对操作员3D轮廓模型使用最小包围盒法，分割成i个子包围盒，计算每个包围盒的中心坐标(xi，yi，zi)和对应包围球的半径ri；对机械臂的3D模型进行同样操作，分割成j个子包围盒，其中每个包围盒的中心坐标记为(Xj，Yj，Zj)对应包围球的半径记为Rj，开始对操作员和机械臂进行磁撞检测，距离判断公式如下：
根据公式(6)，若其计算值小于0，则表示操作员和机器人发生了碰撞；若其计算值大于0，则表示两者相互分离；最后在上述数据中进行最小值搜索，得到最短距离Q，即可确定机械臂离操作员最近的距离，即当计算得到多个距离时，按照最小距离进行人机距离判断。
Q＝Dmin (7)。
2.根据权利要求1所述的一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，其特征在于，步骤1中由于测量过程中难免会产生误差，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代得到待求解的矩阵
3.根据权利要求1所述的一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，其特征在于，步骤2中机械臂定位完成后，使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧；接着将摄像头下一时刻获取到的帧序列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息；背景差分法计算公式如下：
δ(i，j)＝|a(i，j)-r(i，j)| (8)
其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值。
CN201910444610.3A 2019-05-27 2019-05-27 基于Kinect摄像头的工业机械臂人机安全距离检测方法 Active CN110378937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910444610.3A CN110378937B (zh) 2019-05-27 2019-05-27 基于Kinect摄像头的工业机械臂人机安全距离检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910444610.3A CN110378937B (zh) 2019-05-27 2019-05-27 基于Kinect摄像头的工业机械臂人机安全距离检测方法

Publications (2)

Publication Number Publication Date
CN110378937A true CN110378937A (zh) 2019-10-25
CN110378937B CN110378937B (zh) 2021-05-11

Family

ID=68248738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910444610.3A Active CN110378937B (zh) 2019-05-27 2019-05-27 基于Kinect摄像头的工业机械臂人机安全距离检测方法

Country Status (1)

Country Link
CN (1) CN110378937B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110900601A (zh) * 2019-11-15 2020-03-24 武汉理工大学 一种面向人-机器人协作安全保障的机器人运行自主控制方法
CN112704564A (zh) * 2020-12-22 2021-04-27 上海微创医疗机器人（集团）股份有限公司 手术机器人系统、碰撞检测方法、系统及可读存储介质
CN113284192A (zh) * 2021-06-18 2021-08-20 广东智源机器人科技有限公司 运动捕捉方法、装置、电子设备以及机械臂控制系统
CN113971800A (zh) * 2020-07-22 2022-01-25 中国科学院沈阳自动化研究所 一种基于rgb-d相机的人机安全协作在线监控方法及系统
US20230166406A1 (en) * 2021-11-29 2023-06-01 Fanuc Corporation Effective calculation method of the minimum distance to dynamic objects

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
KR20170135097A (ko) * 2016-05-30 2017-12-08 현대위아 주식회사 동작인식 카메라와 소음 측정센서를 이용한 공작 기계 안전 시스템
CN108453742A (zh) * 2018-04-24 2018-08-28 南京理工大学 基于Kinect的机器人人机交互系统及方法
CN108972549A (zh) * 2018-07-03 2018-12-11 华南理工大学 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN109015644A (zh) * 2018-08-17 2018-12-18 徐润秋 一种机器人安全工作控制方法
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109398688A (zh) * 2018-11-16 2019-03-01 湖南大学 一种旋翼飞行双机械臂目标定位抓取系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
KR20170135097A (ko) * 2016-05-30 2017-12-08 현대위아 주식회사 동작인식 카메라와 소음 측정센서를 이용한 공작 기계 안전 시스템
CN108453742A (zh) * 2018-04-24 2018-08-28 南京理工大学 基于Kinect的机器人人机交互系统及方法
CN108972549A (zh) * 2018-07-03 2018-12-11 华南理工大学 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN109015644A (zh) * 2018-08-17 2018-12-18 徐润秋 一种机器人安全工作控制方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN109398688A (zh) * 2018-11-16 2019-03-01 湖南大学 一种旋翼飞行双机械臂目标定位抓取系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110900601A (zh) * 2019-11-15 2020-03-24 武汉理工大学 一种面向人-机器人协作安全保障的机器人运行自主控制方法
CN110900601B (zh) * 2019-11-15 2022-06-03 武汉理工大学 一种面向人-机器人协作安全保障的机器人运行自主控制方法
CN113971800A (zh) * 2020-07-22 2022-01-25 中国科学院沈阳自动化研究所 一种基于rgb-d相机的人机安全协作在线监控方法及系统
CN112704564A (zh) * 2020-12-22 2021-04-27 上海微创医疗机器人（集团）股份有限公司 手术机器人系统、碰撞检测方法、系统及可读存储介质
CN113284192A (zh) * 2021-06-18 2021-08-20 广东智源机器人科技有限公司 运动捕捉方法、装置、电子设备以及机械臂控制系统
US20230166406A1 (en) * 2021-11-29 2023-06-01 Fanuc Corporation Effective calculation method of the minimum distance to dynamic objects
US12076869B2 (en) * 2021-11-29 2024-09-03 Fanuc Corporation Effective calculation method of the minimum distance to dynamic objects

Also Published As

Publication number Publication date
CN110378937B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110378937A (zh) 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110561432B (zh) 一种基于人机共融的安全协作方法及装置
CN111192307B (zh) 基于激光切割三维零部件的自适应纠偏方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
US8731276B2 (en) Motion space presentation device and motion space presentation method
CN110253570A (zh) 基于视觉的工业机械臂人机安全系统
CN109048926A (zh) 一种基于立体视觉的机器人智能避障系统及方法
CN101511550B (zh) 用于观测工业环境中的人员的方法
CN112454333B (zh) 基于图像分割及表面肌电信号的机器人示教系统及方法
WO2021103154A1 (zh) 一种可用于多车型的智能喷涂的机器人控制方法
Zhang et al. A novel laser vision sensor for weld line detection on wall-climbing robot
CN107662195A (zh) 一种具有临场感的机器手主从异构遥操作控制系统及控制方法
CN107123145B (zh) 基于人工标志和几何变换的电梯按钮定位和识别方法
CN111562791A (zh) 一种无人机合作目标识别视觉辅助着陆的系统及方法
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN112347974A (zh) 人体头部姿态估计算法及操作员工作状态识别系统
CN118155107A (zh) 一种基于增强现实的机械臂轨迹规划和碰撞检测方法
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
CN116704017B (zh) 一种基于视觉混合的机械臂位姿检测方法
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
Duan et al. HRC of intelligent assembly system based on multimodal gesture control
CN111832542A (zh) 三目视觉识别与定位方法及装置
CN116071436A (zh) 一种异构双目的蝠鲼机器人目标识别与测距方法及系统
CN110722547A (zh) 模型未知动态场景下移动机器人视觉镇定
Sigalas et al. Robust model-based 3d torso pose estimation in rgb-d sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant