CN118009874A - 面向工业机器人的人类操作者行为安全检测系统及方法 - Google Patents

面向工业机器人的人类操作者行为安全检测系统及方法 Download PDF

Info

Publication number
CN118009874A
CN118009874A CN202311836828.6A CN202311836828A CN118009874A CN 118009874 A CN118009874 A CN 118009874A CN 202311836828 A CN202311836828 A CN 202311836828A CN 118009874 A CN118009874 A CN 118009874A
Authority
CN
China
Prior art keywords
robot
module
human operator
instruction
obstacle avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311836828.6A
Other languages
English (en)
Inventor
严思杰
易淑茗
陈巍
岳晶
丁汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202311836828.6A priority Critical patent/CN118009874A/zh
Publication of CN118009874A publication Critical patent/CN118009874A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种面向工业机器人的人类操作者行为安全检测系统及方法，系统包括：深度视觉传感器模块、数据处理模块、碰撞预警模块、指令转换模块以及机器人通讯与执行模块；深度视觉传感器模块：采集人类操作者在机器人工作区域的深度图像信息；数据处理模块：建立人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；碰撞预警模块：监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行安全评估判断；指令转换模块：计算机器人进行避障的运动参数，将避障指令转化为工业机器人运动指令并输出；机器人通讯与执行模块：执行所述机器人指令，实现避障运动。以此实时保障生产人员安全与设备正常运行。

Description

面向工业机器人的人类操作者行为安全检测系统及方法
技术领域
本发明属于人机协作领域与智能感知技术领域，更具体地，涉及一种面向工业机器人的人类操作者行为安全检测方法。
背景技术
工业生产与装备之中广泛采用带有机器人的人机协作的方式。然而，人机协作过程中存在的安全问题也日益凸显，为了确保人机协作的安全性，需要进行安全检测。机器人需要具备感知、决策和执行的能力，而这些能力都需要通过传感器和算法来实现。现有的传感器和算法可能存在缺陷或不足，导致机器人无法准确感知周围环境或做出正确的决策，从而引发安全问题。此外，人机协作过程中还可能存在其他的安全隐患，如人员操作不当、机器人故障等。因此，为了确保人机协作的安全性，需要采用安全监测来保障人类操作者的安全。具体来说，通过检测机器人的感知、决策和执行能力，以及人机协作过程中的各种安全隐患，及时发现并解决问题，确保人机协作的安全性和稳定性。
现有技术中，主流的安全检测方法有四类：其一，设立工业机器人的孤立工作空间，当人类操作员在协作工作区之外时，安全等级监控停止才允许机器人运动，一旦进入互动，机器人的动作就停止，直到他退出；其二，设置人体靠近时的安全预警，令机器人在预警期间停止工作或主动减速直至障碍物离开，机器人运动速度根据操作员和机器人之间的距离而动态增加。如果距离低于最小保护间隔距离，机器人停止；其三，在接受人与机器人之间的接触的情况下，通过拖动示教的方式实现末端示教器跟随人类完成工作；其四，机器人的功率和力控受到限制，以确保符合不同的身体部位的生物力学力或压力阈值。
在工业生产线中仍然存在一些复杂多变，无法适用于以上四类的工况，在实际中，无法实时监测和预警潜在的安全风险，缺乏实时性；难以应对工业生产线的复杂性，无法全面、准确地检测和评估人机协作中的安全风险；缺乏智能化支持，不能胜任数据量庞大、环境动态变化的场景。因此，工业生产中急需对工业场景下针对人类操作者行为安全检测方法。本发明的方法，通过智能安全监测能够实时收集和分析数据，及时发现和预警安全风险，自动化地收集、处理和分析数据，精准认定风险，及时预测潜在的安全威胁和风险，提前采取措施预防事故的发生，降低了安全风险。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种面向工业机器人的人类操作者行为安全检测系统及方法，通过设置深度视觉传感器模块、数据处理模块、碰撞预警模块、指令转换模块以及机器人通讯与执行模块，采集机器人工作区域的深度图像信息，实时获取人类操作行为姿态的关键点与机器人轴关节点的相对距离，当相对距离超过设置的安全阈值则会要求机器人进行避障运动。
按照本发明的第一方面，提供一种面向工业机器人的人类操作者行为安全检测系统，包括：深度视觉传感器模块、数据处理模块、碰撞预警模块、指令转换模块以及机器人通讯与执行模块；所述深度视觉传感器模块与所述数据处理模块连接，所述数据处理模块和所述碰撞预警模块连接，所述碰撞预警模块和所述指令转换模块连接，所述指令转换模块连接和所述机器人通讯与执行模块通信连接；
所述深度视觉传感器模块：用于采集人类操作者在机器人工作区域的深度图像信息；
所述数据处理模块：用于根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
所述碰撞预警模块：用于基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断；
所述指令转换模块：用于在避障模式下，根据所述相对距离，计算出机器人进行避障的运动参数，将避障指令转化为工业机器人运动指令并输出；
所述机器人通讯与执行模块：用于连通机器人控制柜，执行所述机器人指令，实现避障运动。
所述深度视觉传感器模块，包括：深度相机装置模块以及相机标定算法模块；
所述深度相机装置模块，用于采集工作区域内一定范围内的人类操作者的活动；深度相机装置模块每秒能处理30帧深度图像，测量范围为0.5-4.5m；
所述深度相机装置模块，设置有镜头，包括彩色摄像机、红外发射器以及红外接收器；镜头通过红外接收器感知红外线，由内部处理硬件分析处理获得机器人工作区域的深度图像信息；
所述相机标定算法模块，用于通过标定求解相机的参数，包括相机的内参、外参以及畸变参数。
所述数据处理模块，包括：深度学习训练模型模块、姿态估计输出界面模块以及手眼标定算法模块；
所述深度学习训练模型模块，用于基于采集现场人类操作者行为数据集，并加以训练，根据残差网络深度学习算法，构建姿态估计模型；
所述姿态估计输出界面模块，用于基于深度视觉传感器模块获得的深度图像，提取人类操作者行为姿态关键点坐标；
所述手眼标定算法模块，用于建立人类操作者行为关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，并进行校正。
所述碰撞预警模块，采用阈值分级预警模式，安全阈值采取基于国际标准化组织规范的ISO/TS15066，采用对于人体不同部位的不同保护等级；
所述相对距离，包括人类操作者关键点中心点与机器人轴关节中心点的相对距离。
所述碰撞预警模块，包括：碰撞预警安全阈值模块、碰撞预警避障模式模块、安全评估流程模块；
所述碰撞预警安全阈值模块，用于对于人体不同部位的保护等级设立不同距离的安全阈值；
所述碰撞预警避障模式模块，用于设定多项工序下机器人所采取的避障模式；
所述安全评估流程模块，用于基于安全阈值与避障模式对碰撞进行决策判断。
所述指令转换模块，包括：姿态规整模块以及指令转化模块；
所述姿态规整模块，用于将关键点坐标以四元数作为机器人控件姿态的表示方式；
所述指令转化模块，用于结合所述安全阈值与执行工序输出机器人指令；指令的执行距离由安全阈值与执行工序为定。
所述机器人通讯与执行模块，用于通过调节所述深度视觉传感器模块的图像采集频率以实现机器人避障运动控制，以实现对工业机器人的碰撞预警与避障；
连通所述机器人控制柜的指令由TCP/IP通讯协议完成。
按照本发明的第二方面，提供一种面向工业机器人的人类操作者行为安全检测方法，包括以下步骤：
S100，信息获取：采集人类操作者在机器人工作区域的深度图像信息；
S200，数据处理：根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
S300，碰撞预警：基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断，及时采取避障模式；
S400，指令转换：基于所述避障模式，计算出机器人进行避障的运动参数，并输出机器人指令；
S500，指令执行：连通机器人控制柜，执行所述机器人指令，实现避障运动。
进一步地，步骤S100包括，
使用深度相机装置采集工作区域中一定范围内的人类操作者行为信息，配合相机标定算法模块，获得深度图像信息。
进一步地，步骤S200包括，
基于所述深度图像信息，利用残差网络深度学习算法构建姿态估计模型，通过姿态估计输出界面模块从所述深度图像中提取人类操作者姿态的关键点坐标；从机器人控制柜中获得机器人轴关节点坐标；利用预设的手眼标定算法，搭建所述关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，以此连通人类操作者关键点坐标与机器人轴关节点坐标，获得人类操作者关键点和机器人轴关节点的基于世界坐标系的三维坐标；
所述人类操作者关键点，包括：人体的头、脖、右肩、左肩、右肘、左肘、右手、左手、躯干、右腿、左腿、右膝盖、左膝盖、右脚、左脚；
所述机器人轴关节点，包括：本体旋转轴、下臂轴、上臂轴、手腕旋转轴、手腕摆动轴、手腕回转轴；
使用所述残差网络深度学习算法构建姿态估计模型，能实现端对端的预测，步骤包括：直接从深度图像的输入，获得人体关键点的位置信息；每一个方框代表特定深度的残差网络拟合更高维的函数；每一个跳跃连接里，将残差的输入直接与残差输出加在一起，然后再激活；最后以全连接的实现线性分类，以获得最终的人体关键点。
进一步地，步骤S300包括，
依据人体不同部位的保护等级，设置人类操作者关键点与机器人轴关节点之间距离的安全阈值；实时监测人类操作者关键点与机器人轴关节点的相对距离，利用安全评估流程模块判断所述相对距离是否超过安全阈值；
在所述相对距离超过安全阈值时，判断工作性质是否以任务优先；若判断为是以任务优先，则启用碰撞预警避障模式模块，指令机器人采取避让模式；若判断为否，则机器人停止工作并发出警告。
进一步地，步骤S400包括，
根据所述避障模式，通过姿态规整模块，结合所述关键点坐标与轴关节坐标，计算出机器人进行避障的运动参数；通过指令转化模块，结合所述安全阈值与机器人执行工序，输出机器人指令。
进一步地，步骤S500包括，
基于所述机器人指令，通过指令转换模块连通机器人控制柜，调节深度视觉传感器模块的图像采集频率以实现机器人避障运动控制。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1.本发明的方法，通过深度视觉传感器采集工业采集的三维关键点数据，能够补充了工业复杂环境下的人类姿态数据库，在近距离内实现非常高的空间分辨率和非常高的精度；能够准确地跟踪用户的位置和姿态，获取用户在三维空间中的精确位置和动作信息；
2.本发明的方法，将深度图像作为模型的输入数据，使用残差网络深度学习算法，使得网络易于训练，更是可以训练更深的网络结构，从而提高模型的性能；
3.本发明的方法，通过引入针对与人体不同部位的碰撞预警安全阈值与避障模式，并通过安全评估流程进一步对碰撞进行决策判断，能够实现对工业机器人的碰撞预警与避障，保障设备运行与工人安全。
4.本发明的方法，通过连通机器人控制柜的方法，可以实现机器人对环境的感知和自主导航，拓展了机器人的应用范围，使其能够在更复杂、更动态的环境中工作；
5.本发明的方法，通过调节深度视觉传感器模块的图像采集频率以实现机器人避障运动控制，可以实时获取环境信息，使得机器人的避障运动控制更加实时、迅速，能够更准确地判断障碍物的位置和距离，提高避障的精度。
附图说明
图1为本发明实施例面向工业机器人的人类操作者行为安全检测系统的结构框图；
图2为本发明实施例面向工业机器人的人类操作者行为安全检测系统流程图；
图3为本发明实施例人类操作者关键点示意图；
图4为本发明实施例工业机器人关键点示意图；
图5为本发明实施例基于残差网络的姿态估计训练模型图；
图6为本发明实施例碰撞预警模块的安全评估流程图。
在所有附图中，同样的附图标记表示相同的技术特征，具体为：1-头、2-脖、3-右肩、4-左肩、5-右肘、6-左肘、7-右手、8-左手、9-躯干、10-右腿、11-左腿、12-右膝盖、13-左膝盖、14-右脚、15-左脚、21-本体旋转轴、22-下臂轴、23-上臂轴、24-手腕旋转轴、25-手腕摆动轴、26-手腕回转轴。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供了一种面向工业机器人的人类操作者行为安全检测系统，包括：深度视觉传感器模块、数据处理模块、碰撞预警模块、指令转换模块以及机器人通讯与执行模块；所述深度视觉传感器模块与所述数据处理模块连接，所述数据处理模块和所述碰撞预警模块连接，所述碰撞预警模块和所述指令转换模块连接，所述指令转换模块连接和所述机器人通讯与执行模块通信连接；
所述深度视觉传感器模块：用于采集人类操作者在机器人工作区域的深度图像信息；
所述数据处理模块：用于根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
所述碰撞预警模块：用于基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断；
所述指令转换模块：用于在避障模式下，根据所述相对距离，计算出机器人进行避障的运动参数，结合安全阈值与机器人执行工序，输出机器人指令；
所述机器人通讯与执行模块：用于连通机器人控制柜，执行所述机器人指令，实现避障运动。
所述深度视觉传感器模块，包括：深度相机装置模块以及相机标定算法模块；
所述深度相机装置模块，用于采集工作区域内一定范围内的人类操作者的活动；深度相机装置模块每秒能处理30帧深度图像，测量范围为0.5-4.5m；
所述深度相机装置模块，设置有镜头，包括彩色摄像机、红外发射器、红外接收器；镜头通过红外接收器感知红外线，由内部处理硬件分析处理获得机器人工作区域的深度图像信息；
所述相机标定算法模块，用于通过标定求解相机的参数，包括相机的内参、外参以及畸变参数。
所述数据处理模块，包括：深度学习训练模型模块、姿态估计输出界面模块以及手眼标定算法模块；
所述深度学习训练模型模块，用于基于采集现场人类操作者行为数据集，并加以训练，根据残差网络深度学习算法，构建姿态估计模型；
所述姿态估计输出界面模块，用于基于深度视觉传感器模块获得的深度图像，提取人类操作者行为姿态关键点坐标；
所述手眼标定算法模块，用于建立人类操作者行为关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，并进行校正。
所述碰撞预警模块，采用阈值分级预警模式，安全阈值采取基于国际标准化组织规范的为ISO/TS15066，采用对于人体不同部位的不同保护等级；
所述相对距离，包括人类操作者关键点中心点与机器人轴关节中心点的相对距离；
所述碰撞预警模块，包括：碰撞预警安全阈值模块、碰撞预警避障模式模块、安全评估流程模块；
所述碰撞预警安全阈值模块，用于对于人体不同部位的保护等级设立不同距离的安全阈值；
所述碰撞预警避障模式模块，用于设定多项工序下机器人所采取的避障模式；
所述安全评估流程模块，用于基于安全阈值与避障模式对碰撞进行决策判断。
所述指令转换模块将所述避障指令转化为工业机器人运动指令，并以四元数作为机器人控件姿态的表示方式；
所述指令转换模块，包括：姿态规整模块以及指令转化模块；
所述姿态规整模块，用于将关键点坐标以四元数作为机器人控件姿态的表示方式；
所述指令转化模块，用于结合所述安全阈值与执行工序输出机器人指令；指令的执行距离由安全阈值与执行工序为定。
所述机器人通讯与执行模块连通机器人控制柜，通过调节所述深度视觉传感器模块的图像采集频率以实现机器人避障运动控制，以实现对工业机器人的碰撞预警与避障；
连通所述机器人控制柜的指令由TCP/IP通讯协议完成。
本发明实施例中还提供了一种面向工业机器人的人类操作者行为安全检测方法，如图2所示，其步骤如下：
S100，信息获取：采集人类操作者在机器人工作区域的深度图像信息；
具体而言，使用深度相机装置采集工作区域中一定范围内的人类操作者行为信息，配合相机标定算法模块，获得深度图像信息；
S200，数据处理：根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
具体而言，基于所述深度图像信息，利用残差网络深度学习算法构建姿态估计模型，通过姿态估计输出界面模块从所述深度图像中提取人类操作者姿态的关键点坐标；从机器人控制柜中获得机器人轴关节点坐标；利用预设的手眼标定算法，搭建所述关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，以此连通人类操作者关键点坐标与机器人轴关节点坐标，获得人类操作者关键点和机器人轴关节点的基于世界坐标系的三维坐标；
进一步地，如图3所示，所述人类操作者关键点，包括：人体的头、脖、右肩、左肩、右肘、左肘、右手、左手、躯干、右腿、左腿、右膝盖、左膝盖、右脚、左脚；
进一步地，如图4所示，所述机器人轴关节点，包括：本体旋转轴、下臂轴、上臂轴、手腕旋转轴、手腕摆动轴、手腕回转轴；
进一步地，如图5所示，使用所述残差网络深度学习算法构建姿态估计模型，能实现端对端的预测，步骤包括：直接从深度图像的输入，获得人体关键点的位置信息；每一个方框代表特定深度的残差网络拟合更高维的函数；每一个跳跃连接里，将残差的输入直接与残差输出加在一起，然后再激活；最后以全连接的实现线性分类，以获得最终的人体关键点。
S300，碰撞预警：基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断，及时采取避障模式；
具体而言，依据人体不同部位的保护等级，设置人类操作者关键点与机器人轴关节点之间距离的安全阈值；实时监测人类操作者关键点与机器人轴关节点的相对距离，利用安全评估流程模块判断所述相对距离是否超过安全阈值；
在所述相对距离超过安全阈值时，判断工作性质是否以任务优先；若判断为是以任务优先，则启用碰撞预警避障模式模块，指令机器人采取避让模式；若判断为否，则机器人停止工作并发出警告。
S400，指令转换：基于所述避障模式，计算出机器人进行避障的运动参数，并输出机器人指令；
具体而言，根据所述避障模式，通过姿态规整模块，结合所述关键点坐标与轴关节坐标，计算出机器人进行避障的运动参数；通过指令转化模块，结合所述安全阈值与机器人执行工序，输出机器人指令。
S500，指令执行：连通机器人控制柜，执行所述机器人指令，实现避障运动；
具体而言，基于所述机器人指令，指令转换模块连通机器人控制柜，通过调节深度视觉传感器模块的图像采集频率以实现机器人避障运动控制。
如图6所示，本发明实施例中的执行程序流程包括：
采集人类操作者的深度图像并通过数据处理模块获得姿态估计以获得人类操作者关键点坐标，同时监控机器人控制柜以获得机器人关键点坐标；
判断工业机器人与人类操作者关节点的距离是否超过安全阈值，若此时机器人的工作性质决定以任务优先，则采取避让模式，若否，则机器人停止工作，发出警告；
让机器人得到避让模式的决策后，将避让信息转化为避障指令，最后由机器人执行指令。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，包括：深度视觉传感器模块、数据处理模块、碰撞预警模块、指令转换模块以及机器人通讯与执行模块；所述深度视觉传感器模块与所述数据处理模块连接，所述数据处理模块和所述碰撞预警模块连接，所述碰撞预警模块和所述指令转换模块连接，所述指令转换模块连接和所述机器人通讯与执行模块通信连接；
所述深度视觉传感器模块：用于采集人类操作者在机器人工作区域的深度图像信息；
所述数据处理模块：用于根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
所述碰撞预警模块：用于基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断；
所述指令转换模块：用于在避障模式下，根据所述相对距离，计算出机器人进行避障的运动参数，将避障指令转化为工业机器人运动指令并输出；
所述机器人通讯与执行模块：用于连通机器人控制柜，执行所述机器人指令，实现避障运动。
2.根据权利要求1所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述深度视觉传感器模块，包括：深度相机装置模块以及相机标定算法模块；
所述深度相机装置模块，用于采集工作区域内一定范围内的人类操作者的活动；深度相机装置模块每秒能处理30帧深度图像，测量范围为0.5-4.5m；
所述深度相机装置模块，设置有镜头，包括彩色摄像机、红外发射器以及红外接收器；镜头通过红外接收器感知红外线，由内部处理硬件分析处理获得机器人工作区域的深度图像信息；
所述相机标定算法模块，用于通过标定求解相机的参数，包括相机的内参、外参以及畸变参数。
3.根据权利要求1所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述数据处理模块，包括：深度学习训练模型模块、姿态估计输出界面模块以及手眼标定算法模块；
所述深度学习训练模型模块，用于基于采集现场人类操作者行为数据集，并加以训练，根据残差网络深度学习算法，构建姿态估计模型；
所述姿态估计输出界面模块，用于基于深度视觉传感器模块获得的深度图像，提取人类操作者行为姿态关键点坐标；
所述手眼标定算法模块，用于建立人类操作者行为关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，并进行校正。
4.根据权利要求1所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述碰撞预警模块，采用阈值分级预警模式，安全阈值采取基于国际标准化组织规范的ISO/TS15066，采用对于人体不同部位的不同保护等级；
所述相对距离，包括人类操作者关键点中心点与机器人轴关节中心点的相对距离。
5.根据权利要求4所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述碰撞预警模块，包括：碰撞预警安全阈值模块、碰撞预警避障模式模块、安全评估流程模块；
所述碰撞预警安全阈值模块，用于对于人体不同部位的保护等级设立不同距离的安全阈值；
所述碰撞预警避障模式模块，用于设定多项工序下机器人所采取的避障模式；
所述安全评估流程模块，用于基于安全阈值与避障模式对碰撞进行决策判断。
6.根据权利要求1所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述指令转换模块，包括：姿态规整模块以及指令转化模块；
所述姿态规整模块，用于将关键点坐标以四元数作为机器人控件姿态的表示方式；
所述指令转化模块，用于结合所述安全阈值与执行工序输出机器人指令；指令的执行距离由安全阈值与执行工序为定。
7.根据权利要求1-6任一项所述的一种面向工业机器人的人类操作者行为安全检测系统，其特征在于，
所述机器人通讯与执行模块，通过调节所述深度视觉传感器模块的图像采集频率以实现机器人避障运动控制，以实现对工业机器人的碰撞预警与避障；
连通所述机器人控制柜的指令由TCP/IP通讯协议完成。
8.一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，包括以下步骤：
S100，信息获取：采集人类操作者在机器人工作区域的深度图像信息；
S200，数据处理：根据所述深度图像信息，构建姿态估计训练模型，获得人类操作者行为关键点和机器人轴关节点的基于世界坐标系的三维坐标；
S300，碰撞预警：基于所述三维坐标，监测所述人类操作者关键点与机器人轴关节点的相对距离，并进行机器人行为的安全评估判断，及时采取避障模式；
S400，指令转换：基于所述避障模式，计算出机器人进行避障的运动参数，并输出机器人指令；
S500，指令执行：连通机器人控制柜，执行所述机器人指令，实现避障运动。
9.根据权利要求8所述的一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，步骤S100包括，
使用深度相机装置采集工作区域中一定范围内的人类操作者行为信息，配合相机标定算法模块，获得深度图像信息。
10.根据权利要求8所述的一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，步骤S200包括，
基于所述深度图像信息，利用残差网络深度学习算法构建姿态估计模型，通过姿态估计输出界面模块从所述深度图像中提取人类操作者姿态的关键点坐标；从机器人控制柜中获得机器人轴关节点坐标；利用预设的手眼标定算法，搭建所述关键点坐标系与机器人轴关节点坐标系的矩阵转换关系，以此连通人类操作者关键点坐标与机器人轴关节点坐标，获得人类操作者关键点和机器人轴关节点的基于世界坐标系的三维坐标；
所述人类操作者关键点，包括：人体的头、脖、右肩、左肩、右肘、左肘、右手、左手、躯干、右腿、左腿、右膝盖、左膝盖、右脚、左脚；
所述机器人轴关节点，包括：本体旋转轴、下臂轴、上臂轴、手腕旋转轴、手腕摆动轴、手腕回转轴；
使用所述残差网络深度学习算法构建姿态估计模型，能实现端对端的预测，步骤包括：直接从深度图像的输入，获得人体关键点的位置信息；每一个方框代表特定深度的残差网络拟合更高维的函数；每一个跳跃连接里，将残差的输入直接与残差输出加在一起，然后再激活；最后以全连接的实现线性分类，以获得最终的人体关键点。
11.根据权利要求8所述的一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，步骤S300包括，
依据人体不同部位的保护等级，设置人类操作者关键点与机器人轴关节点之间距离的安全阈值；实时监测人类操作者关键点与机器人轴关节点的相对距离，利用安全评估流程模块判断所述相对距离是否超过安全阈值；
在所述相对距离超过安全阈值时，判断工作性质是否以任务优先；若判断为是以任务优先，则启用碰撞预警避障模式模块，指令机器人采取避让模式；若判断为否，则机器人停止工作并发出警告。
12.根据权利要求8所述的一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，步骤S400包括，
根据所述避障模式，通过姿态规整模块，结合所述关键点坐标与轴关节坐标，计算出机器人进行避障的运动参数；通过指令转化模块，结合所述安全阈值与机器人执行工序，输出机器人指令。
13.根据权利要求8-12任一项所述的一种面向工业机器人的人类操作者行为安全检测方法，其特征在于，步骤S500包括，
基于所述机器人指令，通过指令转换模块连通机器人控制柜，调节深度视觉传感器模块的图像采集频率以实现机器人避障运动控制。
CN202311836828.6A 2023-12-28 2023-12-28 面向工业机器人的人类操作者行为安全检测系统及方法 Pending CN118009874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311836828.6A CN118009874A (zh) 2023-12-28 2023-12-28 面向工业机器人的人类操作者行为安全检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311836828.6A CN118009874A (zh) 2023-12-28 2023-12-28 面向工业机器人的人类操作者行为安全检测系统及方法

Publications (1)

Publication Number Publication Date
CN118009874A true CN118009874A (zh) 2024-05-10

Family

ID=90946988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311836828.6A Pending CN118009874A (zh) 2023-12-28 2023-12-28 面向工业机器人的人类操作者行为安全检测系统及方法

Country Status (1)

Country Link
CN (1) CN118009874A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119360308A (zh) * 2024-12-20 2025-01-24 青岛理工大学 基于卷积神经网络的人-机器人交互安全检测方法及系统
CN119578786A (zh) * 2024-11-15 2025-03-07 易思特熵智能科技(南京)有限公司 一种基于视觉检测的工业生产安全数据管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119578786A (zh) * 2024-11-15 2025-03-07 易思特熵智能科技(南京)有限公司 一种基于视觉检测的工业生产安全数据管理方法及系统
CN119360308A (zh) * 2024-12-20 2025-01-24 青岛理工大学 基于卷积神经网络的人-机器人交互安全检测方法及系统

Similar Documents

Publication Publication Date Title
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN112454333B (zh) 基于图像分割及表面肌电信号的机器人示教系统及方法
CN118009874A (zh) 面向工业机器人的人类操作者行为安全检测系统及方法
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
CN107253192A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
Невлюдов et al. Model development of dynamic representation a model description parameters for the environment of a collaborative robot manipulator within the industry 5.0 framework
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测系统及巡检方法
CN111402287B (zh) 用于活动序列的标准化评估的系统和方法
CN112706158B (zh) 基于视觉和惯导定位的工业人机交互系统及方法
CN105468033A (zh) 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法
CN107932560A (zh) 一种人机安全防护系统和防护方法
CN116460857A (zh) 基于数字孪生的个性化人机协作装配安全检测与预警方法
CN114140609A (zh) 基于改进YOLOv3与双目视觉的挖掘机周边人员测距方法
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN112883792A (zh) 一种基于视觉深度分析的机器人主动安全防护方法及系统
CN114299039A (zh) 一种机器人及其碰撞检测装置和方法
CN116985134A (zh) 一种基于机器人图像处理的伺服控制方法与系统
CN118952192A (zh) 一种视觉辅助的工业机器人路径规划控制系统
CN104898675A (zh) 一种机器人智能导航控制方法
CN116647651B (zh) 一种基于北斗卫星的无人机施工监控方法及系统
CN111702787B (zh) 人机协作控制系统及控制方法
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
US12049002B2 (en) System and methods for monitoring machine health
CN110666820A (zh) 一种高性能工业机器人控制器
KR102772458B1 (ko) 사람과 로봇 간의 충돌을 방지하기 위한 실시간 충돌 방지 방법 및 이를 이용한 실시간 충돌 방지 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination