CN117893998A - 基于机器视觉的人机位姿智能防碰方法 - Google Patents
基于机器视觉的人机位姿智能防碰方法 Download PDFInfo
- Publication number
- CN117893998A CN117893998A CN202410022635.5A CN202410022635A CN117893998A CN 117893998 A CN117893998 A CN 117893998A CN 202410022635 A CN202410022635 A CN 202410022635A CN 117893998 A CN117893998 A CN 117893998A
- Authority
- CN
- China
- Prior art keywords
- human
- robot
- machine
- collision avoidance
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101150008052 traA gene Proteins 0.000 description 2
- 101150072193 traB gene Proteins 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于机器视觉的人机位姿智能防碰方法，包括以下步骤：S1、基于多模态深度融合算法识别人体运动数据；S2、人体动态安全区域绘制及预测；S3、基于多模态数据的机器人路径安全规划算法。本发明为了确保工人在机械臂运转时近场调试、协作、维护时的人身安全，提高机器运转效率，降低企业对安全监管系统维护成本，本发明通过融合OpenPose，3D‑CNN，DDPG等机器学习算法开发出一个具有自学习更新功能的人机位姿识别及防碰机制，该机制在丰富的人体位姿数据基础上预测人体位姿变换速度和方向，同时控制机器人合理规避人员可能的误操作，实现人机安全协同操作。
Description
技术领域
本发明涉及智能防碰技术领域，具体为基于机器视觉的人机位姿智能防碰方法。
背景技术
在新时期智能化大潮蓬勃发展的大背景下，随着人工智能算法在机器视觉、路径规划、机器人控制等领域的应用，机器人智能化和操作能力也随之不断提高，同时促进了制造业由人工生产方式向数字化及智能化等方式转变的发展进程。工业机器人越来越广泛地应用到生产制造领域，在给社会生产力和经济发展带来提高、给大家生活带来便利的同时，也存在着不可忽视的安全隐患。
当前的自动化产线上的机器人面临人机近距离协作安全性差的问题，目前制造企业通常会采用光栅、护栏、激光扫描、互锁装置等传统防护措施来降低伤人风险。但在实际应用过程中，以上防护措施存在无法全范围、全时段、无死角覆盖的问题，且无法在人员违规操作时，及时发现、并实时反应减轻伤害。机器人发生故障时，仍采用传统策略：执行停机-维护-重启-检视，但通常这个过程要重复几次，这严重影响了作业的生产效果，也不利于自动化生产线的配置，且限制了机器人的智能化应用，这会降低整个生产线的效率。
综上所述的问题，为此，我们提出基于机器视觉的人机位姿智能防碰方法。
发明内容
本发明的目的在于提供基于机器视觉的人机位姿智能防碰方法，解决了现有的问题。
为实现上述目的，本发明提供如下技术方案：
基于机器视觉的人机位姿智能防碰方法，包括以下步骤：
S1、基于多模态深度融合算法识别人体运动数据：
利用深度图像通过RGB图像的关键点蒙版投影方式估计人体关键点的三维坐标信息，通过坐标信息估计人机安全问题中的人机最小距离，并采用KD树搜索策略，通过监测人体关节的关节角变化来构建人机数字动力学系统；
S2、人体动态安全区域绘制及预测：
深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点后分析出的人体速度数据绘制安全区域，并与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态；
S3、基于多模态数据的机器人路径安全规划算法：
借助多模态感知信息系统的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；构建DDPG网络，设计合适的学习率、衰减因子参数，根据自避碰任务设置合理的奖励函数；训练得到主动自避碰模型；调用主动自避碰模型，使之处于实时等待路径规划请求模式；路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。
优选的，所述步骤S1具体包括以下步骤：
S11、对多模态传感器采集到的人体特征进行建模；
S12、通过人工标注的方式为人体特征部位打上标签，采集其特征向量，并打包后形成基础人体动作数据集，以及将训练集分为A、B两个子集，使用A集数据对CNN进行有监督训练，再将B集输入训练好的CNN模型；
S13、利用卷积层提取人体四肢和躯干特征，经过池化层压缩后，生成简化人体骨骼特征，最后由全连接层连接各个部分特征，将其输出给分类器；
S14、将多个学习结果用3DConv+3DPooling融合技术融合时间流与空间流信息，识别出人体运动状态；
S15、将测试集输入训练好的模型。
优选的，所述步骤S2具体包括以下步骤：
S21、在人体标记21个关键标识点，人体动作行为通过ORBBECastra深度摄像头捕捉；
S22、深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点，并分析出的人体速度数据绘制安全区域，以及与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态。
优选的，所述步骤S22中，安全区域的安全阈值，包括以下步骤：
S221、根据训练得出的多模态训练模型，可以得到人体关键部位的运动速度和运动方向；
S222、当速度越大且方向指向机器人的概率越大时，人体安全阈值随之延其速度方向伸展；
S223、当安全阈值边界与机器人固定运动安全边界相交时，声光报警器启动，用以提醒工人小心机器伤人；
S224、若工人姿态仍在靠近机器人运行轨迹上，根据计算出人关节角信息，得到机器人与人之间的最小距离。
优选的，所述步骤S3具体包括以下步骤：
S31、为了实现机器人在人体安全阈值已经越过警示区域并继续接近的过程中进行机体的减速，采用一对虚拟力矩，并根据人机最小距离计算虚拟力矩大小；
S32、通过力矩叠加的方式实现机器人力传感器信息同多模态视觉信息处理，同时借助机器人DDPG自避碰算法实现机器人手臂的自避碰规划模式；
S33、该模式分为训练模式和非训练模式，训练模式下，可通过离线训练的方式生成主动自避碰模型；
S34、非训练模式下先将操作臂的目标位姿发送给此模型，进行路径规划。
优选的，所述步骤S32中的机械臂自避碰，包括以下步骤：
设每个时间步长智能体所执行的动作为at，所对应的状态为：
st＝[θ,d,dmin,Ki,P,Q] (1)
式中：θ为机械臂当前关节角；d为各关节间包围盒最小距离；dmin为当前状态下各关节最小距离d中的最小值；Ki为dmin所对应的关节编号；P为机械臂末端位置，包含x，y，z的坐标值；Q为机械臂末端姿态，以四元数方式x，y，z，w表示，动作为at＝[Δθ,ΔP,ΔQ]，奖励值为：
Rk＝rk+γrk-1+...γN-krN (2)
式中：γ∈[0,1]为衰减因子；第k步长的回报为：
其中，s为当前时刻状态，P0和Ps分别为初始时刻的末端位姿和机械臂当前关节角，θj和θj0分别为当前状态下末端位姿和机械臂当前关节角，me和mk分别为末端位置变化和关节角变化在奖励函数中所占比重，经反复测试，分别取值为0.5和0.1，w为权重矩阵，f(s)为最小距离所在关节状态变化函数，其取值为0或1，其取值原则为：
优选的，所述步骤S32中，DDPG通过关节遍历的方式按照一定采样密度生成关节状态数据集，并存储到本地，由DDPG和式(1)可以看出：中包含生成奖励函数的所有必备参数，因此通过读取数据集，结合随机采样的方式为DDPG传入训练数据，由于该方式核心是从数据集上学习权重的模式构建主动自避碰策略，因此将该方法称之为D-DDPG。
优选的，所述D-DDPG自避碰方法，包括以下步骤：
步骤1、基于式(1)的数据格式并借助策略1的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；
步骤2、构建DDPG网络，设计合适的学习率、衰减因子等参数，根据自避碰任务设置合理的奖励函数式(4)；
步骤3、训练得到主动自避碰模型；
步骤4、调用主动自避碰模型，使之处于实时等待路径规划请求模式；
步骤5、路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。
与现有技术相比，本发明的有益效果如下：
为了确保工人在机械臂运转时近场调试、协作、维护时的人身安全，提高机器运转效率，降低企业对安全监管系统维护成本，本发明通过融合OpenPose，3D-CNN，DDPG等机器学习算法开发出一个具有自学习更新功能的人机位姿识别及防碰机制，该机制在丰富的人体位姿数据基础上预测人体位姿变换速度和方向，同时控制机器人合理规避人员可能的误操作，实现人机安全协同操作。
附图说明
图1为本发明基于多模态机器视觉的车间工人安全状态监测研究示意图；
图2为本发明多模态感知信息建模流程图；
图3为本发明人机安全控制框架示意图；
图4为本发明机器人DDPG自避碰模型示意图；
图5为本发明未佩戴安全帽捕捉图；
图6为本发明人体行为捕捉图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施案例1：
请参阅图1-6，基于机器视觉的人机位姿智能防碰方法，包括以下步骤：
S1、基于多模态深度融合算法识别人体运动数据：
利用深度图像通过RGB图像的关键点蒙版投影方式估计人体关键点的三维坐标信息，通过坐标信息估计人机安全问题中的人机最小距离，并采用KD树搜索策略，通过监测人体关节的关节角变化来构建人机数字动力学系统；
S11、对多模态传感器采集到的人体特征进行建模；
S12、通过人工标注的方式为人体特征部位打上标签，采集其特征向量，并打包后形成基础人体动作数据集，以及将训练集分为A、B两个子集，使用A集数据对CNN进行有监督训练，再将B集输入训练好的CNN模型；
S13、利用卷积层提取人体四肢和躯干特征，经过池化层压缩后，生成简化人体骨骼特征，最后由全连接层连接各个部分特征，将其输出给分类器；
S14、将多个学习结果用3DConv+3DPooling融合技术融合时间流与空间流信息，识别出人体运动状态；
S15、将测试集输入训练好的模型。
S2、人体动态安全区域绘制及预测：
如图2所示，深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点后分析出的人体速度数据绘制安全区域，并与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态；
S21、在人体标记21个关键标识点，人体动作行为通过ORBBECastra深度摄像头捕捉，其中，该系列摄像头采用单目结构光技术，具有高精度、低功耗、响应迅速、稳定可靠的优点，能够覆盖近距离和中远距离的多种室内场景应用，如面部识别、手势识别、人体跟踪、三维测量、环境感知和三维地图重建等，并支持识别人体21个关节点，支持正面、侧面、背面、躺、卧等各种复杂动作；
如图5所示，人体行为识别算法实现(yolov5 deepsort slowfast)，人体行为识别检测是不是行为人，检测到进入区域范围内部的行人后，人体行为识别算法进行目标追踪，利用卡尔曼(基于估计值和观测值进行综合)预测与更新下一帧位置，并使用匈牙利算法匹配返回结果，将预测后的track和当前帧中的，以及通过(Slowfast)检测人具体行为，并采集数据集、训练判断不同行为，如：触碰紧急操作杆、进入车间危险区域、身体阻挡机械臂的运动区域、强制搬动、悬吊、骑坐在机械臂上、依靠在机械臂或者其他控制装置上、工作时随意离开工作岗位、未穿戴防护装置，如果发现有人员受伤，能够及时报警并通知医护人员，如图6所示，未佩戴安全帽。
S22、深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点，并分析出的人体速度数据绘制安全区域，以及与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态；
S221、根据训练得出的多模态训练模型，可以得到人体关键部位的运动速度和运动方向；
S222、当速度越大且方向指向机器人的概率越大时，人体安全阈值随之延其速度方向伸展；
S223、当安全阈值边界与机器人固定运动安全边界相交时，声光报警器启动，用以提醒工人小心机器伤人；
S224、若工人姿态仍在靠近机器人运行轨迹上，根据计算出人关节角信息，得到机器人与人之间的最小距离。
S3、基于多模态数据的机器人路径安全规划算法：
借助多模态感知信息系统的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；构建DDPG网络，设计合适的学习率、衰减因子参数，根据自避碰任务设置合理的奖励函数；训练得到主动自避碰模型；调用主动自避碰模型，使之处于实时等待路径规划请求模式；路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划；
S31、通过分析人体当前运动特征参数，可以预测出人体运动位姿，该位姿可以视为人体在未来的运动趋势，当工人未来运动趋势与机器人运动路径产生重叠时，为安全区域重叠且有碰撞风险，从而操作机器人进行减速，避让，必要时停止；
为了实现机器人在人体安全阈值已经越过警示区域并继续接近的过程中进行机体的减速，采用一对虚拟力矩，并根据人机最小距离计算虚拟力矩大小；
S32、通过力矩叠加的方式实现机器人力传感器信息同多模态视觉信息处理，同时借助机器人DDPG自避碰算法实现机器人手臂的自避碰规划模式；
S33、该模式分为训练模式和非训练模式，训练模式下，可通过离线训练的方式生成主动自避碰模型；
S34、非训练模式下先将操作臂的目标位姿发送给此模型，进行路径规划。
步骤S32中的机械臂自避碰，包括以下步骤：
设每个时间步长智能体所执行的动作为at，所对应的状态为：
st＝[θ,d,dmin,Ki,P,Q] (1)
式中：θ为机械臂当前关节角；d为各关节间包围盒最小距离；dmin为当前状态下各关节最小距离d中的最小值；Ki为dmin所对应的关节编号；P为机械臂末端位置，包含x，y，z的坐标值；Q为机械臂末端姿态，以四元数方式x，y，z，w表示，动作为at＝[Δθ,ΔP,ΔQ]，奖励值为：
Rk＝rk+γrk-1+...γN-krN (2)
式中：γ∈[0,1]为衰减因子；第k步长的回报为：
其中，s为当前时刻状态，P0和Ps分别为初始时刻的末端位姿和机械臂当前关节角，θj和θj0分别为当前状态下末端位姿和机械臂当前关节角，me和mk分别为末端位置变化和关节角变化在奖励函数中所占比重，经反复测试，分别取值为0.5和0.1，w为权重矩阵，f(s)为最小距离所在关节状态变化函数，其取值为0或1，其取值原则为：
如图3和图4所示，人的动作可以通过RGB图像进行实时监视和提取，当从RGB图像中得到人体关键点后，可利用这些关键点在深度图上的映射，对人体关键点的三维坐标信息进行估计，然后利用人与机器人的包围盒的空间相对关系，实时计算人与机器人之间的最小距，并借助人机最小距离可求解出人机之间的虚拟力，而虚拟力在叠加到机器人末端进行相关动力学求解前需要经过变换处理。在此基础上，就可以直接根据正向动力学和其他关节输入元素计算机器人末端的虚拟力与末端力的力Fco。Fco和其持续时间t也是评估安全状态的两个重要参数。本发明的基于视觉与力觉人机安全算法将安全状态估计为三种状态:避让、协作运动和暂停，其中协作运动意味着人-机器人处于正常的操作状态，避让表示人与机器人距离太近，机器人需要进行一系列的远离操作来保证人的安全，当最近一次的避让移动达到阈值或机器人已经回到起始位置时，将启动暂停模式。
根据安全状态估计值s，机器人可以考虑从中断位置点qc和中断时间点ti进行安全规划，然后将新的关节位置qa发送到机器人控制模块，进而通过逆动力学计算关节速度qa，实现机器人的控制。这样，机器人就可以随着人类的接近而降低速度直到停止，更重要的是，如果状态切换到协作运动，任务将是连续的，无需重新启动，这种降速不停机、连续规划的模式代替了传统的急停-重启协同操作模式，既能保证人的安全，又能保证执行的效率。
实施案例2：
本发明利用深度图像，通过RGB图像的关键点蒙版投影来的方式估计人体关键点的三维坐标信息，通过这种方式虽然可以进行人体关键点的三维位置估计，但目前还无法获得人体每个关键点的姿态信息。这也导致了无法使用逆运动学方法计算数字人的关节角，而这些关节角度是用于估计人机安全问题中的人机最小距离的最重要的参数，因此，为了实现人体关键点的位姿估计，本文提出了相似构型的kd树搜索策略，然后通过监测人体关节的关节角变化来构建数字动态人体模型，大致步骤如下:
步骤1：以θs为采样步长，各关节角下限为起点，上限为终点，构建采样点集；
步骤2：以人体躯干坐标系为基准构建从躯干到各个关节的运动学链，以各运动学链的正运动学模型结合步骤1中的采样点集求解点集中各个点对应的关节坐标值；
步骤3：将步骤2中求解出的关节坐标值和对应的关节角θ一并存入人体构型数据集S，并将S按照kd树的数据形式整理，便于后续搜索；
步骤2﹑以人体躯干坐标系为基准构建从躯干到各个关节的运动学链，以各运动学链的正运动学模型结合步骤1中的采样点集求解点集中各个点对应的关节坐标值；
步骤3将步骤2中求解出的关节坐标值和对应的关节角θ一并存入人体构型数据集S，并将S按照kd树的数据形式整理，便于后续搜索；
步骤4根据各关节所对应的坐标信息在S中搜索出与之误差最小的关节角，在利用正运动学求解出各关节位置与姿态。
本发明提出了相似构型的kd树搜索策略，首先利用遍历的方式借助正运动学建立数字动力学人体模型的可达工作空间S，S的数据量大小主要由每个关节的运动范围和采样点密度所决定，随后，S被按照kd树的数据格式进行重新排列以便于搜索，排列后的数据表示为Skd，当建立好数据集Skd后，一旦通过视觉信息估计得到关键点位置后，即可在该关键点附近快速搜索出k个具备姿态信息的邻近点，最后，通过公式(5)计算出人的关节角度向量θ，结合日和机器人关节角度传感器的反馈回的关节角信息，人-机数字动力学系统就可以为人体安全工作。
只要建立机器人与人的几何碰撞模型，并根据公式5实时获取人的关节角信息，就可以实时计算出机器人与人之间的距离。例如，traA(t)和traB(t)分别是机器人和人在时间段t[t0，t1]的运动轨迹。机器人和人之间的最小距离可由公式(6)计算求解。
d＝inf{||x-y||2：x∈traA(t)，y∈traB(t)} (6)
为了实现将人手接近过程转化为机器人减速过程，本发明引入了虚拟力。并借助公式(7)根据人机最小距离计算虚拟力，然后通过力叠加的方式实现机器人力传感器信息和视觉信息的。
式(7)中的Fe为机器人的末端力；dt为t时刻人与机器人之间的最小距离；Fvt表示时刻t的虚力；其中，Ka、Kb、Kc为虚力调整参数。
由于虚拟力是在机器人工具坐标系中计算的，因此需要将虚力转换后叠加到末端力所在的机器人第七个关节上，进而才能进行后续的力叠加后的逆动力学求解运算。将工具坐标系S到机器人第7个关节E坐标系的变换矩阵设为公式(8)，根据微分运动和静态对偶关系，静力传递关系可被描述为公式(9)。
公式(9)中的f和m分别为两个坐标系中的力和扭矩。两个坐标对应的坐标轴平行，因此R可以被描述为公式(10)的形式。假设公式(9)中两个坐标的相对位置为则/>可由公式(11)求解
最终根据公式(9)-(11)可得出虚力传递关系如公式(12)。
当虚力传递到机器人末端执行器时，安全状态估计可由公式(13)实现。公式(13)中的wv为传递到末端的虚拟力与机器人当前末端力的比值，w，可通过公式(14)进行计算，公式(13)中，ti表示从操作到第一次出现wv小于阈值ka所经历的时间长度，而tc是上次的避让移动的出现时间点，0、1、2分别代表避让移动、协作运动和暂停。
实施案例3：
本发明提出基于任务空间关节距离离线数据集的强化学习自主自避碰策略D-DDPG，通过传统的包围盒的方式获取机器人在可达空间内运动时双臂各关节距离，并借鉴DDPG算法常用的状态函数数据的方式建立可达空间关节距离离线数据集，借助DDPG算法以数据集内关节角为输入，以最小距离变化、机械臂灵活度等为参数构建奖励函数，驱动主臂训练得到自避碰模型。在操作臂进行运动规划前，通过调用自避碰模型驱动非操作臂主动运动到操作臂非操作空间，以此方式代替实时计算的双臂冗余机械臂的自避碰规划模式。
如图4所示，当机器人接收路径规划指令时首先判断是否处于与训练模式，当处于训练模式时，借助包围盒建立任务空间内双臂关节角与最小关节距离的数据描述，并将数据描述存储为可构成DDPG算法观测值的数据式，通过离线训练的方式生成主动自避碰模型。机械臂接到路径规划指令且处于非训练模式下时，先将操作臂的目标位姿发送给此模型，生成非操作臂的运动关节角，再对操作臂进行路径规划，此种方式生成的操作臂路径虽未进行避障计算，但非操作臂已主动运动到其任务空间之外，通过此种实现自避碰规划除体现出自主性之外，还大幅简化了双臂操作中的自避碰规划计算问题。
所述D-DDPG自避碰方法，包括以下步骤：
步骤1、基于式(1)的数据格式并借助策略1的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；
步骤2、构建DDPG网络，设计合适的学习率、衰减因子等参数，根据自避碰任务设置合理的奖励函数式(4)；
步骤3、训练得到主动自避碰模型；
步骤4、调用主动自避碰模型，使之处于实时等待路径规划请求模式；
步骤5、路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于机器视觉的人机位姿智能防碰方法，其特征在于，包括以下步骤：
S1、基于多模态深度融合算法识别人体运动数据：
利用深度图像通过RGB图像的关键点蒙版投影方式估计人体关键点的三维坐标信息，通过坐标信息估计人机安全问题中的人机最小距离，并采用KD树搜索策略，通过监测人体关节的关节角变化来构建人机数字动力学系统；
S2、人体动态安全区域绘制及预测：
深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点后分析出的人体速度数据绘制安全区域，并与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态；
S3、基于多模态数据的机器人路径安全规划算法：
借助多模态感知信息系统的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；构建DDPG网络，设计合适的学习率、衰减因子参数，根据自避碰任务设置合理的奖励函数；训练得到主动自避碰模型；调用主动自避碰模型，使之处于实时等待路径规划请求模式；路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。
2.根据权利要求1所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、对多模态传感器采集到的人体特征进行建模；
S12、通过人工标注的方式为人体特征部位打上标签，采集其特征向量，并打包后形成基础人体动作数据集，以及将训练集分为A、B两个子集，使用A集数据对CNN进行有监督训练，再将B集输入训练好的CNN模型；
S13、利用卷积层提取人体四肢和躯干特征，经过池化层压缩后，生成简化人体骨骼特征，最后由全连接层连接各个部分特征，将其输出给分类器；
S14、将多个学习结果用3DConv+3DPooling融合技术融合时间流与空间流信息，识别出人体运动状态；
S15、将测试集输入训练好的模型。
3.根据权利要求1所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、在人体标记21个关键标识点，人体动作行为通过ORBBECastra深度摄像头捕捉；
S22、深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点，并分析出的人体速度数据绘制安全区域，以及与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态。
4.根据权利要求3所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S22中，安全区域的安全阈值，包括以下步骤：
S221、根据训练得出的多模态训练模型，可以得到人体关键部位的运动速度和运动方向；
S222、当速度越大且方向指向机器人的概率越大时，人体安全阈值随之延其速度方向伸展；
S223、当安全阈值边界与机器人固定运动安全边界相交时，声光报警器启动，用以提醒工人小心机器伤人；
S224、若工人姿态仍在靠近机器人运行轨迹上，根据计算出人关节角信息，得到机器人与人之间的最小距离。
5.根据权利要求1所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S3具体包括以下步骤：
S31、为了实现机器人在人体安全阈值已经越过警示区域并继续接近的过程中进行机体的减速，采用一对虚拟力矩，并根据人机最小距离计算虚拟力矩大小；
S32、通过力矩叠加的方式实现机器人力传感器信息同多模态视觉信息处理，同时借助机器人DDPG自避碰算法实现机器人手臂的自避碰规划模式；
S33、该模式分为训练模式和非训练模式，训练模式下，可通过离线训练的方式生成主动自避碰模型；
S34、非训练模式下先将操作臂的目标位姿发送给此模型，进行路径规划。
6.根据权利要求5所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S32中的机械臂自避碰，包括以下步骤：
设每个时间步长智能体所执行的动作为at，所对应的状态为：
st＝[θ,d,dmin,Ki,P,Q] (1)
式中：θ为机械臂当前关节角；d为各关节间包围盒最小距离；dmin为当前状态下各关节最小距离d中的最小值；Ki为dmin所对应的关节编号；P为机械臂末端位置，包含x，y，z的坐标值；Q为机械臂末端姿态，以四元数方式x，y，z，w表示，动作为at＝[Δθ,ΔP,ΔQ]，奖励值为：
Rk＝rk+γrk-1+...γN-krN (2)
式中：γ∈[0,1]为衰减因子；第k步长的回报为：
其中，s为当前时刻状态，P0和Ps分别为初始时刻的末端位姿和机械臂当前关节角，θj和θj0分别为当前状态下末端位姿和机械臂当前关节角，me和mk分别为末端位置变化和关节角变化在奖励函数中所占比重，经反复测试，分别取值为0.5和0.1，w为权重矩阵，f(s)为最小距离所在关节状态变化函数，其取值为0或1，其取值原则为：
7.根据权利要求5所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述步骤S32中，DDPG通过关节遍历的方式按照一定采样密度生成关节状态数据集，并存储到本地，由DDPG和式(1)可以看出：中包含生成奖励函数的所有必备参数，因此通过读取数据集，结合随机采样的方式为DDPG传入训练数据，由于该方式核心是从数据集上学习权重的模式构建主动自避碰策略，因此将该方法称之为D-DDPG。
8.根据权利要求7所述的基于机器视觉的人机位姿智能防碰方法，其特征在于，所述D-DDPG自避碰方法，包括以下步骤：
步骤1、基于式(1)的数据格式并借助策略1的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；
步骤2、构建DDPG网络，设计合适的学习率、衰减因子等参数，根据自避碰任务设置合理的奖励函数式(4)；
步骤3、训练得到主动自避碰模型；
步骤4、调用主动自避碰模型，使之处于实时等待路径规划请求模式；
步骤5、路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022635.5A CN117893998A (zh) | 2024-01-05 | 2024-01-05 | 基于机器视觉的人机位姿智能防碰方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022635.5A CN117893998A (zh) | 2024-01-05 | 2024-01-05 | 基于机器视觉的人机位姿智能防碰方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117893998A true CN117893998A (zh) | 2024-04-16 |
Family
ID=90640403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410022635.5A Pending CN117893998A (zh) | 2024-01-05 | 2024-01-05 | 基于机器视觉的人机位姿智能防碰方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893998A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118128601A (zh) * | 2024-05-10 | 2024-06-04 | 山西天地煤机装备有限公司 | 工作面人机协同作业安全监测预警系统及方法 |
| CN119360308A (zh) * | 2024-12-20 | 2025-01-24 | 青岛理工大学 | 基于卷积神经网络的人-机器人交互安全检测方法及系统 |
-
2024
- 2024-01-05 CN CN202410022635.5A patent/CN117893998A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118128601A (zh) * | 2024-05-10 | 2024-06-04 | 山西天地煤机装备有限公司 | 工作面人机协同作业安全监测预警系统及方法 |
| CN119360308A (zh) * | 2024-12-20 | 2025-01-24 | 青岛理工大学 | 基于卷积神经网络的人-机器人交互安全检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108838991B (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 | |
| CN117893998A (zh) | 基于机器视觉的人机位姿智能防碰方法 | |
| US11504846B2 (en) | Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof | |
| CN110421556B (zh) | 一种冗余双臂服务机器人实时避碰的轨迹规划方法及平稳运行方法 | |
| CN110561432A (zh) | 一种基于人机共融的安全协作方法及装置 | |
| CN110497405B (zh) | 用于驱控一体化控制系统的力反馈人机协作防碰撞检测方法及模块 | |
| CN109129474A (zh) | 基于多模态融合的机械手主动抓取装置及方法 | |
| CN114757293B (zh) | 基于动作识别和人机距离的人机共融风险预警方法及系统 | |
| CN111300491A (zh) | 基于协作化驱控一体机器人的人机协作安全系统 | |
| CN111445519A (zh) | 一种工业机器人三维姿态估计方法、装置及存储介质 | |
| WO2024103733A1 (zh) | 一种智能护理机器人 | |
| CN115401698A (zh) | 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 | |
| CN114800524B (zh) | 一种人机交互协作机器人主动避碰的系统及方法 | |
| CN116460846A (zh) | 机械臂控制方法、装置、设备和存储介质 | |
| Wang et al. | Safety strategy in the smart manufacturing system: A human robot collaboration case study | |
| CN112757274B (zh) | 一种面向人机协同操作的动力学融合行为安全算法及系统 | |
| Chen et al. | Dynamic gesture design and recognition for human-robot collaboration with convolutional neural networks | |
| Teke et al. | Real-time and robust collaborative robot motion control with Microsoft Kinect® v2 | |
| CN119369427A (zh) | 基于多功能集成的居家智能养老机器人系统及其控制方法 | |
| Shariatee et al. | Safe collaboration of humans and SCARA robots | |
| Bhuiyan et al. | Towards real-time motion planning for industrial robots in collaborative environments | |
| Wang et al. | A visual servoing system for interactive human-robot object transfer | |
| Basiuk et al. | Command recognition system research | |
| CN116778582A (zh) | 基于计算机视觉的建筑施工现场工人跌倒前兆检测方法 | |
| Zhang et al. | Human motion recognition for industrial human-robot collaboration based on a novel skeleton descriptor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |