CN113219926A - 基于数字孪生系统的人机共融制造单元安全风险评估方法 - Google Patents
基于数字孪生系统的人机共融制造单元安全风险评估方法 Download PDFInfo
- Publication number
- CN113219926A CN113219926A CN202110519999.0A CN202110519999A CN113219926A CN 113219926 A CN113219926 A CN 113219926A CN 202110519999 A CN202110519999 A CN 202110519999A CN 113219926 A CN113219926 A CN 113219926A
- Authority
- CN
- China
- Prior art keywords
- machine
- human
- manufacturing unit
- man
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012502 risk assessment Methods 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000004088 simulation Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 230000006872 improvement Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 21
- 241000196324 Embryophyta Species 0.000 claims description 11
- 210000003811 finger Anatomy 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 240000007651 Rubus glaucus Species 0.000 claims description 4
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 4
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 4
- 210000003423 ankle Anatomy 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 239000012636 effector Substances 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 210000004934 left little finger Anatomy 0.000 claims description 2
- 210000004936 left thumb Anatomy 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 210000004933 right little finger Anatomy 0.000 claims description 2
- 210000004935 right thumb Anatomy 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000011161 development Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000004804 winding Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007514 turning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007730 finishing process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010147 laser engraving Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
Abstract
本发明公开了一种基于数字孪生系统的人机共融制造单元安全风险评估方法，发明结合计算机视觉、人体姿态图像识别与预测、数字孪生等技术，通过采集人机共融制造单元中机器人与操作人员的实时图像，使用Plant Simulation构造数字孪生系统，使用3D‑PFNet人体姿势预测算法判断人体运动意图及关键点坐标，基于Blaze Pose人体姿态识别算法检测人体三维坐标数据和实时及下一时刻的关节位置坐标，统一机器人和操作人员的坐标，采用SSM改进法进行坐标计算，得到人机共融制造单元的安全风险评估量化值。本发明在保证动态实时性的基础上，与实际协作制造环境结合更为紧密，促进人机共融制造单元安全生产的良性发展。
Description
技术领域
本发明属于人机共融技术领域，具体涉及一种基于数字孪生系统的人机共融制造单元安全风险评估方法。
背景技术
随着中国制造2025规划的展开，制造业向数字化、网络化、智能化的方向升级是发展的必由之路。人机共融制造单元从最初人与环境配合机器人、机器人代替人工做单一重复性工作向着机器人配合人与环境、机器人具备多维感知能力和灵活协作能力的方向发展。在模式迅速转换与发展的前提下，安全风险是实际生产中必须要面对的首要问题。
但是，目前大多数工厂的人机共融制造单元的安全风险控制是靠加装隔离板等防护部件，直接导致机器人作业时，工作人员只能远距离观看而不能近距离产生人机交互行为。
在制造业产业全面升级的背景下，当人机共融制造单元中的人与机器人共享工作空间时，机器人必须具备实时人员感知能力与风险评估能力。人机共融制造单元中的机器人，需要与作业环境、人、其他机器人自然交互，自主适应复杂动态环境并协同作业的机器人。“共融”具体包含三层含义：一是机器人与环境的自然交互。传统机器人在特定区域工作，目标简单、对象单一，但在实际生产生活中很难有如此纯粹的环境。让机器人和人一起在动态环境中协同作业，是人机共融制造单元中机器人的第一重目标。二是机器人之间的互助互补。机器人通过多“人”协作以实现单体能力的突破，实现机器人之间的协作、互补，通过合作增强机器人整体功能和性能。三是机器人与人之间的协同作业。与人合作，不单指听人指挥，人机共融制造单元中的机器人还需要有自己的“判断”和“想法”。人是复杂的、动态的，和人协作是对机器人更高的要求。这时，机器人不再被动等待人的协助、不再一味依赖人的编程，而要能够主动感知并解决各种问题。
数字孪生是以数字化方式创建物理实体的虚拟实体，借助历史数据、实时数据以及算法模型等，模拟、验证、预测、控制物理实体全生命周期过程的技术手段。数字孪生作为推动制造业实现行业数字化转型、促进数字经济发展的重要抓手，已建立了普遍适应的理论技术体系，并在产品设计制造、工程建设和其他学科分析等领域应用。尽管已经初步探索了数字孪生的相关应用，但数字孪生的关键技术在与智能制造的人机共融制造单元相结合的技术研究尚较浅显。
因此，如何结合数字孪生技术对人机共融制造单元的安全风险进行实时的评估，并将风险进行量化，既考虑各种安全指标的影响又满足实时性的应用需求亟待提出，以此来推动制造业实现行业数字化、网络化、智能化转型。鉴于此，本发明提出一种基于数字孪生系统的人机共融制造单元安全风险评估方法。
发明内容
本发明的目的在于克服现有共融制造环境中机器人的被动响应不能满足人机共融制造单元对于动态响应和直观分析的需求，提出了一种面向人机共融制造单元的安全风险评估方法。
为实现上述目的，本发明所提供的技术方案为：
步骤一：采用Robot PC SDK{Software Development Kits)读取机器人相对于世界坐标系中的实时运动轨迹坐标数据；
步骤二：在人机共融制造单元空间中固定摄像头；
步骤三：采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型；
步骤四：在Plant Simulation仿真环境中接入SDK和摄像头的实时数据，构造人机共融制造单元的数字孪生系统；
步骤五：在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法感知、检测和追踪摄像头传输的人体骨架数据和实时关节位置坐标；
步骤六：在人机共融制造单元的数字孪生系统中使用3D-PFNet人体姿势预测算法判断人体运动意图及下一时刻的人体三维骨架；
步骤七：在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法计算预测得出下一时刻的人体骨架数据和关节位置坐标；
步骤八：统一人机共融制造单元的数字孪生系统中机器人与人的坐标；
步骤九：考虑环境及制造任务的差异所带来的安全阈值影响，为减少标准SSM(Speed and Separation Monitoring)方法急停次数，采用SSM改进法对坐标进行计算，得到人机共融制造单元的安全风险评估量化值。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明着眼于人机共融制造单元的动态安全风险评估，结合计算机视觉、人体姿态图像识别、数字孪生等技术，对操作人员无侵入性，提供了一种更加安全、灵活的人机共融方式；
(2)不需要购买价格高昂的具有人体姿态识别传感器的专用摄像头，只需具有网络传输功能的普通摄像头，配置简单成本低；
(3)基于数字孪生技术，实现现实与模型的虚实交互、数据融合，获得人机共融制造单元安全风险的最优评估方法，为真实复杂工况下的安全生产提供有效增益；
(4)基于数字孪生技术的人机共融制造单元安全风险评估方法支持过去场景的回溯及未来场景的预测，在未来的安全智能制造中有广阔的应用前景。
附图说明
图1为本发明的基于数字孪生技术的人机共融制造单元安全风险评估方法流程图；
图2为本发明的一实施例的人机共融制造单元的结构组成示意图，a为前线绕线工程示意图，b为后线精加工工程示意图；
图3为Blaze Pose算法流程图；
图4为人体骨骼关键检测点示意图；
图5为3D-PFNet人体姿势预测算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更明显易懂，兹以优选实施例，并配合附图作详细说明如下：
本发明着眼于人机共融制造单元的动态安全风险评估，结合计算机视觉、人体姿态图像识别、数字孪生等技术，获得人机共融制造单元安全风险的评估量化值，不仅提供了一种更加安全灵活的人机共融方式而且为真实复杂工况下的安全生产提供有效增益。图1所示为本发明具体实施例的基于数字孪生技术的人机共融制造单元安全风险评估方法流程图，如图1 所示，所述安全风险评估方法包括：
步骤一：采用Robot PC SDK{Software Development Kits)读取机器人相对于世界坐标系中的实时运动轨迹坐标数据:
S11：将网线接入X2 Service口，创建WinForm项目添加引用dll应用程序拓展；
S12:初始化后扫描网络和控制器类，连接控制器函数，添加发现机器人坐标；
S13：导出机器人实时运动轨迹的坐标数据。
步骤二：在人机共融制造单元空间中固定摄像头:
S21：使用网络输入摄像头，固定于机器人底盘中心点空间正上方；
S22：用上位机对采集的图像继续处理；采用上位机连接树莓派，由树莓派对系统进行整体控制，目的是存储视频及图像数据。
步骤三：采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型:
图2为本发明具体实施例的人机共融制造单元的结构组成示意图，a为前线绕线工程示意图，b为后线精加工工程示意图，如图2所示，该人机共融制造单元包括：
前线绕线工程：
换向器自动压机：位于前线流水线首端，由进料传送机构、压装部、送料部、运输部、出料搬运部等组成，内含一个双轴机械手，采用直线电机完成换向器的自动压入；
插纸机：换向器自动压机的后道工序，将绝缘纸压入转子；
绕线机①、绕线机②：插纸的后道工序，对转子进行第一次绕线，放置两台的目的是降低瓶颈工序时间；
绕棉线机：绕线的后道工序，对转子完成第二次绕线；
插片机：转子绕线的后道工序，实现槽楔插入；
点焊机：插片的后道工序，实现换向器与转子电枢的连接；
测试机：由分度部、移动部、测试头、不良品支架等组成，对点焊机搬运过来的转子进行测试，实现良品与不良品分类；
前线机器人①：选用ABB IRB 1600-6/1.40，负责工件在各道工序的上下料和搬运过程。
后线精加工工程：
粗车机：位于后线流水线首端，由进料传送机构、走心轴、转动轴、道具等组成，实现对铁芯和换向器进行粗车
开槽机：粗车的后道工序，对换向器进行开槽；
精车机：换向器开槽的后道工序，在此对换向器精车；
毛刷机：精车的后道工序，机器人②将转子放置在V型架上，为转子刷多余毛刺；
风叶机：刷毛刺的后道工序，机器人②将毛刷机上取下的转子放置在U型架上，待转子齿面与限位块接触后，机器人②取风叶并放置在与转子轴通信的位置，由风叶机完成风叶压入，风叶采串料循环料杆机构上料，方便上料，压入部采用气液增压缸，机械限位，保证压装尺寸；
平衡机：风叶压入的后道工序，机器人②将转子放入后设备自动校验平衡，实现良品与不良品的初次分类，绿灯亮表示成品为良品，红灯亮则表示成品为不良品；
测试机：动平衡的后道工序，由分度部、移动部、测试头、不良品支架等组成，对平衡机搬运过来的转子进行测试，实现良品与不良品的再次分类；
涂油刻印机：由涂油机构和激光刻印机构组成，机器人②将良品放入设备，先对转子激光刻印物料编码，编码方式为产品名称+产品型号+年份+月份+日期，刻字完成后的转子通过导轨和升降气缸进入涂油设备，对布轮、转子铁心、前后轴承涂满防锈油；
后线机器人②：选用ABB IRB 1200—6/1.40，负责工件在各道工序的上下料和搬运过程。
需要说明上述2D及3D模型是用于定义仿真行为，基于仿真需求模拟生产过程，产生所属动作指令，一个所述复杂2D/3D对象对应一个所述复杂仿真对象，每一所述复杂仿真对象设置有至少一个触发器，该触发器基于设定的事件动作关系产生动作指令。
步骤四：在Plant Simulation仿真环境中接入SDK和摄像头的实时数据，构造人机共融制造单元的数字孪生系统:
S41:通过坐标数据与Python通信；
S42:Python与Socket同步化通信；
S43：Socket与Plant Simulation通信，最终形成可以实时交互的数字孪生系统。
步骤五：在人机共制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法感知、检测和追踪摄像头传输的人体骨架数据和实时关节位置坐标:
S51:图3为Blaze Pose算法流程图，如图3所示将数字孪生系统中网络摄像头的输入的视频逐步转换为图像并得到人体姿势绘注；
S52:图4为人体骨骼关键检测点示意图，如图4所示Blaze Pose人体姿态识别算法采用机器学习的方法追踪提取人体骨骼的33个关键信息点的位置坐标，分别为：鼻子(0)、左眼角(1)、左眼(2)、左眼尾(3)、右眼角(4)、右眼(5)、右眼尾(6)、左耳(7)、右耳(8)、左嘴角(9)、右嘴角(10)、左肩(11)、右肩(12)、左肘(13)、右肘(14)、左手腕(15)、右手腕(16)、左小指(17)、右小指(18)、左中指(19)、右中指(20)、左拇指(21)、右拇指(22)、左臀(23)、右臀(24)、左膝盖(25)、右膝盖(26)、左脚踝(27)、右脚踝(28)、左脚跟(29)、右脚跟(30)、左脚中指(31)、右脚中指(32)。
步骤六：在人机共融制造单元的数字孪生系统中使用3D-PFNet人体姿势预测算法判断人体运动意图及下一时刻的人体三维骨架，图5为3D-PFNet人体姿势预测算法流程图，如图 5所示：
S61:输入单帧RGB图像；
S62:通过Hourglass对输入图像进行卷积和层池化处理，形成一组低分辨率的特征映射，称为编码过程；
S63:再通过堆成的上采样层和卷积层处理低分辨率特征图，生成高分辨率下的每个关键点的密集检测热图，称为解码过程；
S64:通过在编码和解码之间引入采用长期短时记忆架构(LSTM)的递归神经网络，生成对未来帧的预测；
S65:将预测的未来帧2D关键点用骨骼转换器转换为3D骨架序列，并用透视投影模型建模3D骨骼和2D投影，最终生成一个即将到来时间序列的3D人体姿态。
步骤七：在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法计算预测得出下一时刻的人体骨架数据和关节位置坐标：
S71:图3为Blaze Pose算法流程图，如图3所示将步骤六得到的3D人体姿态图像计算得出各关节点位置坐标；
步骤八：统一人机共融制造单元的数字孪生系统中机器人与人的坐标:
S81:在得到某一时刻t的机器人执行末端的实时坐标(x1,y1,z1)、人体骨骼33个关键点中任一点坐标(x2,y2,z2)后，在t时刻，人体骨骼点相对于机器人末端执行器的世界坐标为 (x2,y2,z2-z1)。
步骤九：考虑环境及制造任务的差异所带来的安全阈值影响，为减少标准SSM(Speed and Separation Monitoring)方法急停次数，采用SSM改进法对坐标进行计算，得到人机共融制造单元的安全风险评估量化值:
在人机共融制造单元中的某一时刻t0，机器人中心点在机器人世界坐标系中坐标为 Pt(xt,yt,zt)，运动速度为Vt，机器人的制动时间为tb，人体骨骼坐标点为Pk(xk,yk,zk)，移动速度为Vk。则时刻t0，人机共融制造单元的安全风险阈值可以表示为：
其中δ代表静态风险指数，D0代表传感器不确定性及系统响应时间误差，则在任意时刻，人机共融制造单元的安全风险量化值必须小于安全风险阈值，用数学公式表示为：
|pk-pt|＞Ds
推广到机器人各关节，Va和Vb分别表示在机器人世界坐标系中关节起始点和末端点的速度矢量，则该关节上任意一点Pm处的速度可以表示为：
Vm＝Va+m(Vb-Va),m∈[0,1]
则人机共融制造单元中机器人关节的累计安全风险阈值为：
则具有n个关节的机器人最小安全距离可表示为：
其中Tb(i)max为各个关节制动时间的最大值，各个关节与人的最小距离Si可表示为：
Si＝min|pk-pm|
k代表归一化因子，则人机共融制造单元内某处k的安全风险指数的定义可表示为：
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，相关技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (11)
1.一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于，所述方法包括如下步骤：
步骤一：采用Robot PC SDK{Software Development Kits)读取机器人相对于世界坐标系中的实时运动轨迹坐标数据；
步骤二：在人机共融制造单元空间中固定摄像头；
步骤三：采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型；
步骤四：在Plant Simulation仿真环境中接入SDK和摄像头的实时数据，构造人机共融制造单元的数字孪生系统；
步骤五：在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法感知、检测和追踪摄像头传输的人体骨架数据和实时关节位置坐标；
步骤六：在人机共融制造单元的数字孪生系统中使用3D-PFNet人体姿势预测算法判断人体运动意图及下一时刻的人体三维骨架；
步骤七：在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法计算预测得出下一时刻的人体骨架数据和关节位置坐标；
步骤八：统一人机共融制造单元的数字孪生系统中机器人与人的坐标；
步骤九：考虑环境及制造任务的差异所带来的安全阈值影响，为减少标准SSM(Speedand Separation Monitoring)方法急停次数，采用SSM改进法对坐标进行计算，得到人机共融制造单元的安全风险评估量化值。
2.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤一所述使用Robot PC SDK读取机器人相对于世界坐标系中的实时运动轨迹坐标数据，需要将网线接入X2 Service口，创建WinForm项目添加引用dll应用程序拓展,初始化后扫描网络和控制器类，连接控制器函数，添加发现机器人坐标，导出机器人实时运动轨迹的坐标数据。
3.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤二所述在人机共融制造单元空间中固定摄像头，摄像头为网络输入摄像头，固定于机器人底盘中心点空间正上方，用上位机对采集的图像继续处理；采用上位机连接树莓派，由树莓派对系统进行整体控制。
4.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤三所述采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型是用于定义仿真行为，基于仿真需求模拟生产过程，产生所属动作指令。
5.根据权利要求4所述的采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型，其特征在于一个所述复杂2D/3D对象对应一个所述复杂仿真对象。
6.根据权利要求4所述的采用Plant Simulation仿真软件绘制1:1还原的人机共融制造单元的2D及3D模型，其特征在于每一所述复杂仿真对象设置有至少一个触发器，该触发器基于设定的事件动作关系产生动作指令。
7.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤四所述在Plant Simulation仿真环境中接入SDK和摄像头的实时数据，构造人机共融制造单元的数字孪生系统需要通过坐标数据与Python通信,Python与Socket同步化通信,再通过Socket与Plant Simulation通信，最终形成可以实时交互的数字孪生系统。
8.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤五所述在人机共制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法感知、检测和追踪摄像头传输的人体骨架数据和实时关节位置坐标、步骤七所述在人机共融制造单元的数字孪生系统中使用Blaze Pose人体姿态识别算法计算预测得出下一时刻的人体骨架数据和关节位置坐标，Blaze Pose人体姿态识别算法采用机器学习(ML)，从单帧画面或从RGB视频帧中追踪提取人体骨骼的33个关键信息点的位置坐标，分别为：鼻子(0)、左眼角(1)、左眼(2)、左眼尾(3)、右眼角(4)、右眼(5)、右眼尾(6)、左耳(7)、右耳(8)、左嘴角(9)、右嘴角(10)、左肩(11)、右肩(12)、左肘(13)、右肘(14)、左手腕(15)、右手腕(16)、左小指(17)、右小指(18)、左中指(19)、右中指(20)、左拇指(21)、右拇指(22)、左臀(23)、右臀(24)、左膝盖(25)、右膝盖(26)、左脚踝(27)、右脚踝(28)、左脚跟(29)、右脚跟(30)、左脚中指(31)、右脚中指(32)。
9.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤六所述的在人机共融制造单元的数字孪生系统中使用3D-PFNet人体姿势预测算法判断人体运动意图及下一时刻的人体三维骨架，3D-PFNet是从静态图像中预测人体动态的方法，输入单帧RGB图像，通过Hourglass对输入图像进行卷积和层池化处理，形成一组低分辨率的特征映射，称为编码过程，再通过堆成的上采样层和卷积层处理低分辨率特征图，生成高分辨率下的每个关键点的密集检测热图，称为解码过程。通过在编码和解码之间引入采用长期短时记忆架构(LSTM)的递归神经网络，生成对未来帧的预测。将预测的未来帧2D关键点用骨骼转换器转换为3D骨架序列，并用透视投影模型建模3D骨骼和2D投影，最终生成一个即将到来时间序列的3D人体姿态。
10.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤八所述的统一人机共融制造单元的数字孪生系统中机器人与人的坐标，在得到某一时刻t的机器人执行末端的实时坐标(x1,y1,z1)、人体骨骼33个关键点中任一点坐标(x2,y2,z2)后，在t时刻，人体骨骼点相对于机器人末端执行器的世界坐标为(x2,y2,z2-z1)。
11.根据权利要求1所述的一种基于数字孪生系统的人机共融制造单元安全风险评估方法，其特征在于步骤九所述的考虑环境及制造任务的差异所带来的安全阈值影响，为减少标准SSM(Speed and Separation Monitoring)方法急停次数，采用SSM改进法对坐标进行计算，在人机共融制造单元中的某一时刻t0，机器人中心点在机器人世界坐标系中坐标为Pt(xt,yt,zt)，运动速度为Vt，机器人的制动时间为tb，人体骨骼坐标点为Pk(xk,yk,zk)，移动速度为Vk。则时刻t0，人机共融制造单元的安全风险阈值可以表示为：
其中δ代表静态风险指数，D0代表传感器不确定性及系统响应时间误差，则在任意时刻，人机共融制造单元的安全风险量化值必须小于安全风险阈值，用数学公式表示为：
|pk-pt|＞Ds
推广到机器人各关节，Va和Vb分别表示在机器人世界坐标系中关节起始点和末端点的速度矢量，则该关节上任意一点Pm处的速度可以表示为：
Vm＝Va+m(Vb-Va),m∈[0,1]
则人机共融制造单元中机器人关节的累计安全风险阈值为：
则具有n个关节的机器人最小安全距离可表示为：
其中Tb(i)max为各个关节制动时间的最大值，各个关节与人的最小距离Si可表示为：
Si＝min|pk-pm|
k代表归一化因子，则人机共融制造单元内某处k的安全风险指数的定义可表示为：
至此，得到人机共融制造单元的安全风险评估量化值，完成基于数字孪生系统的人机共融制造单元安全风险评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519999.0A CN113219926A (zh) | 2021-05-13 | 2021-05-13 | 基于数字孪生系统的人机共融制造单元安全风险评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519999.0A CN113219926A (zh) | 2021-05-13 | 2021-05-13 | 基于数字孪生系统的人机共融制造单元安全风险评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113219926A true CN113219926A (zh) | 2021-08-06 |
Family
ID=77095441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110519999.0A Pending CN113219926A (zh) | 2021-05-13 | 2021-05-13 | 基于数字孪生系统的人机共融制造单元安全风险评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113219926A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757293A (zh) * | 2022-04-27 | 2022-07-15 | 山东大学 | 基于动作识别和人机距离的人机共融风险预警方法及系统 |
| CN116388893A (zh) * | 2023-06-02 | 2023-07-04 | 中国信息通信研究院 | 一种高精度电磁环境数字孪生方法及电子设备 |
| CN117047556A (zh) * | 2023-10-13 | 2023-11-14 | 南通百盛精密机械有限责任公司 | 一种数控机床的优化加工控制方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030093187A1 (en) * | 2001-10-01 | 2003-05-15 | Kline & Walker, Llc | PFN/TRAC systemTM FAA upgrades for accountable remote and robotics control to stop the unauthorized use of aircraft and to improve equipment management and public safety in transportation |
| CN106055764A (zh) * | 2016-05-26 | 2016-10-26 | 华北电力大学（保定） | 基于三维壳有限元‑梁模型的风力机叶片位移计算方法 |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN110385716A (zh) * | 2018-04-18 | 2019-10-29 | B和R工业自动化有限公司 | 用于控制运动学机构的方法和运动学机构 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN110688933A (zh) * | 2019-09-23 | 2020-01-14 | 中国计量大学 | 一种新型卷积神经网络和加权赋值的人体姿态估计算法 |
| US20200164516A1 (en) * | 2017-08-02 | 2020-05-28 | Abb Schweiz Ag | Robot control method |
| CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
| CN111722540A (zh) * | 2020-06-19 | 2020-09-29 | 中国电力科学研究院有限公司 | 一种能源互联网数字孪生仿真系统及方法 |
-
2021
- 2021-05-13 CN CN202110519999.0A patent/CN113219926A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030093187A1 (en) * | 2001-10-01 | 2003-05-15 | Kline & Walker, Llc | PFN/TRAC systemTM FAA upgrades for accountable remote and robotics control to stop the unauthorized use of aircraft and to improve equipment management and public safety in transportation |
| CN106055764A (zh) * | 2016-05-26 | 2016-10-26 | 华北电力大学（保定） | 基于三维壳有限元‑梁模型的风力机叶片位移计算方法 |
| US20200164516A1 (en) * | 2017-08-02 | 2020-05-28 | Abb Schweiz Ag | Robot control method |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN110385716A (zh) * | 2018-04-18 | 2019-10-29 | B和R工业自动化有限公司 | 用于控制运动学机构的方法和运动学机构 |
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN110688933A (zh) * | 2019-09-23 | 2020-01-14 | 中国计量大学 | 一种新型卷积神经网络和加权赋值的人体姿态估计算法 |
| CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
| CN111722540A (zh) * | 2020-06-19 | 2020-09-29 | 中国电力科学研究院有限公司 | 一种能源互联网数字孪生仿真系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 宋文伟;: "阿拉斯加铁路列车防碰撞系统项目", 西铁科技, no. 01 * |
| 王昕冉: "工业共融机器人安全风险评估及协作策略研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 7, pages 140 - 292 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757293A (zh) * | 2022-04-27 | 2022-07-15 | 山东大学 | 基于动作识别和人机距离的人机共融风险预警方法及系统 |
| CN116388893A (zh) * | 2023-06-02 | 2023-07-04 | 中国信息通信研究院 | 一种高精度电磁环境数字孪生方法及电子设备 |
| CN116388893B (zh) * | 2023-06-02 | 2023-08-08 | 中国信息通信研究院 | 一种高精度电磁环境数字孪生方法及电子设备 |
| CN117047556A (zh) * | 2023-10-13 | 2023-11-14 | 南通百盛精密机械有限责任公司 | 一种数控机床的优化加工控制方法及系统 |
| CN117047556B (zh) * | 2023-10-13 | 2023-12-08 | 南通百盛精密机械有限责任公司 | 一种数控机床的优化加工控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113219926A (zh) | 基于数字孪生系统的人机共融制造单元安全风险评估方法 | |
| CN110561432B (zh) | 一种基于人机共融的安全协作方法及装置 | |
| CN111897332B (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
| CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 | |
| CN107610579A (zh) | 基于vr系统控制的工业机器人示教系统及其示教方法 | |
| CN104942808A (zh) | 机器人运动路径离线编程方法及系统 | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN113814986B (zh) | 一种基于机器视觉控制scara机器人的方法及系统 | |
| TW201927497A (zh) | 機械手臂自動加工系統及其方法及非暫態電腦可讀取記錄媒體 | |
| CN106003034A (zh) | 一种主从式机器人控制系统及控制方法 | |
| CN105500370A (zh) | 一种基于体感技术的机器人离线示教编程系统及方法 | |
| JP7067816B1 (ja) | 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 | |
| Kohn et al. | Towards a real-time environment reconstruction for VR-based teleoperation through model segmentation | |
| CN110142769B (zh) | 基于人体姿态识别的ros平台在线机械臂示教系统 | |
| Liu et al. | A mixed perception-based human-robot collaborative maintenance approach driven by augmented reality and online deep reinforcement learning | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| Xiong et al. | Predictive display and interaction of telerobots based on augmented reality | |
| Xia et al. | Tool wear image on-machine detection based on trajectory planning of 6-DOF serial robot driven by digital twin | |
| Liang et al. | Fast dataset collection approach for articulated equipment pose estimation | |
| CN116189054A (zh) | 基于神经网络的人机协作方法及人机协作系统 | |
| CN116460857A (zh) | 基于数字孪生的个性化人机协作装配安全检测与预警方法 | |
| Hoecherl et al. | Smartworkbench: Toward adaptive and transparent user assistance in industrial human-robot applications | |
| Zhou et al. | A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing | |
| CN109773773A (zh) | 一种新型六自由度并联平台的主从控制装置、系统及方法 | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |