CN110210366A - 装配拧紧过程样本采集系统、深度学习网络及监测系统 - Google Patents
装配拧紧过程样本采集系统、深度学习网络及监测系统 Download PDFInfo
- Publication number
- CN110210366A CN110210366A CN201910447507.4A CN201910447507A CN110210366A CN 110210366 A CN110210366 A CN 110210366A CN 201910447507 A CN201910447507 A CN 201910447507A CN 110210366 A CN110210366 A CN 110210366A
- Authority
- CN
- China
- Prior art keywords
- torque
- signal
- information
- computer
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及装配拧紧过程样本采集,其通过视频采集装置采集视频信息、肌电装置采集人体的肌电信号、惯性加速度信号和方位信号,扭矩采集装置采集到的扭矩信息,计算机接收并按时间标签存储,从而得到能用于机器学习的样本库。本发明还涉及装配拧紧过程的监测系统,第二计算机识别图像中的人体骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到深度学习网络中,输出监测扭矩值,将监测扭矩值与预设的扭矩参考值进行比较,判断拧紧过程是否异常,实现监测拧紧过程不受场地、环境限制,监测过程不使用力矩传感器,能够对力矩信息和扭转圈数进行监测,并将异常情况第一时间反馈给操作人员。
Description
技术领域
本发明涉及装配拧紧过程样本采集系统、深度学习网络及监测系统,属于装配监测领域。
背景技术
机械装配是机械制造业中重要的组成部分,是按照技术要求,实现机械零件、部件的组合,完成机器组装的过程。在装配过程中,未拧紧螺栓等连接件,会影响两零部件之间连接关系,影响装配质量和装配效率。
对装配拧紧过程进行监测,可以通过实时监测连接件所受的拧紧力、力矩等因素,及时发现人工装配出现的问题,进而提高产品的装置质量。特别是在定制化生产中,装配拧紧过程的监测已经成为生产装配极其重要的一环。当前,扭矩扳手、力矩传感器等设备广泛应用于装配拧紧过程监测当中,但是扭矩扳手、力矩传感器需要安装在专用工具或者工作台上,导致监测过程受工作环境限制。所以基于计算机视觉,应用摄像装置监测装配拧紧过程成为主流发展趋势之一。这一监测方法是将摄像装置采集的图像进行处理,分析图像中呈现的装配环节、装配效果和人员操作,对出现的异常情况进行及时的警告。但是传统的基于计算机视觉的监测方法无法通过采集得到的图像信息,对装配过程中的力、力矩做出具体准确的判断,并且不能及时的将异常情况第一时间告知现场装配的工人。
发明内容
为了解决上述技术问题,本发明提供一种装配拧紧过程样本数据采集装置,该采集的数据能够用于机器学习,训练用于监测实际装配拧紧过程的深度学习网络。
技术方案一
装配拧紧过程样本采集系统,包括视频采集装置、可穿戴式肌电装置、扭矩采集装置以及第一计算机,所述视频采集装置采集视频信息并发送给第一计算机,所述肌电装置采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第一计算机,所述扭矩采集装置将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机,所述第一计算机执行如下步骤:识别视频信息中人体的骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储;从视频信息中按时间标签提取图片,将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据,将所述扭矩信息作为实测值,从而得到能用于机器学习的样本库。
更优地,在样本库中创建图片信息集合和整合信息集合,将样本数据中的图片存入图片信息集合,将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合;对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签,所述扭矩标签记载相同时间标签对应的扭矩信息。
更优地,所述肌电装置包括肌电测量单元、惯性测量单元以及通信单元,所述肌电测量单元测量人体的肌电信号,所述惯性测量单元测量人体的惯性加速度信号和方位信号,所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第一计算机。
更优地,所述扭矩采集装置包括可更换式螺栓配件、扭矩传感器、工作台以及信号处理单元,所述扭矩传感器固定于所述工作台上,所述可更换式螺栓配件安装在扭矩传感器的顶部,所述信号处理单元的一端与扭矩传感器的输出端口连接,另一端与第一计算机连接,所述扭矩传感器测量拧紧可更换式螺栓配件时产生的扭矩信号并以电压形式输出,所述信号处理单元接收所述电压信号并将其转化为数字信号,然后传输至所述第一计算机。
更优地,所述可更换式螺栓配件由连接件和螺杆固定连接组成,所述连接件可拆卸固定在所述扭矩传感器上,测量时,在螺杆上旋入螺母,拧紧螺母,由扭矩传感器测得扭矩信号。
为了解决上述技术问题,本发明提供一种深度学习网络,其能够双路卷积融合,通过样本训练能够计算出监测扭矩值。
技术方案二
采用技术方案一中的样本采集系统获得的样本库,采用技术方案一所述的样本采集系统获得的样本库,通过如下训练步骤进行训练:将样本库中的部分样本数据作为训练集,将训练集中的样本数据分为多组;所述深度学习网络包括输入层、输出层、卷积层和全连接层,首先,所述输入层接收一组整合信息集合和图像信息集合,该组整合信息集合中的样本数据进行第一卷积层的卷积运算,再通过第一全连接层展开后,得到第一一维特征值,该组图像信息集合的样本数据进行第二卷积层的卷积运算,再通过第二全连接层展开后,得到第二一维特征值,将第一一维特征值和第二一维特征值按各自的权重值进行特征融合,将融合后的特征值通过第三卷积层输出给输出层,得到深度学习网络计算的与时间标签对应的预测扭矩值,使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值,通过误差反向传播算法,将损失值传给深度学习网络进行优化,使下一组养足数据计算得到的损失值减小;重复进行上述过程,输入下一组样本数据,不断优化深度学习网络,减小损失值,使损失值减小到预设范围内,完成深度学习网络的收敛。
更优地,将样本库中的另一部分样本数据作为测试集,利用测试集判断训练后的深度学习网络的计算正确率,测试步骤如下:将测试集中的样本数据输入所述深度学习网络,输出各时间标签对应的预测扭矩值,根据时间标签,比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值,若是,则判定识别正确,否则,判定识别错误;统计测试集的计算正确率,若大于预设的第二阈值,则判定所述深度学习模型训练完成,否则,通过样本采集系统再次采集样本数据,重复执行所述训练步骤。
为了解决上述技术问题,本发明提供装配拧紧过程的监测系统,其监测过程不受监测现场和环境的限制,及时发现异常并第一时间告知操作人员。
技术方案三
装配拧紧过程的监测系统,包括图像采集装置、肌电穿戴设备以及第二计算机,所述图像采集装置采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像,然后发送给第二计算机,所述肌电穿戴设备采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第二计算机,所述第二计算机内加载技术方案二中的所述的深度学习网络,所述第二计算机执行如下步骤:识别图像中的人体的骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中,所述深度学习网络输出监测扭矩值,将监测扭矩值与预设的扭矩参考值进行比较,判断拧紧过程是否异常,若出现异常,则发出告警提示,实现对装配拧紧过程的实时监测和即时反馈。
更优地,所述第二计算机还按照骨骼节点坐标信息生成骨骼节点的运动轨迹,根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数,将扭转圈数与预设的标准圈数阈值进行比较,如果监测扭矩值和扭转圈数均出现异常,则发出告警提示。
更优地,所述肌电穿戴设备还包括震动输出单元,所述告警提示为第二计算机发出信号控制所述震动输出单元产生震动,提示工人检查操作情况。
本发明具有如下有益效果:
本发明装配拧紧过程样本采集系统,从视频中识别出的骨骼节点坐标,并采集人体在拧紧过程中的肌电信号、惯性加速度信号、方位信号,作为机器学习的输入样本,同时采集实测扭矩值作为输出样本,为机器学习提供了必不可少的样本库。
本发明提供一种深度学习网络,通过样本训练使深度学习网络能够根据现场采集的操作图像和肌电设备采集的信息计算出扭矩值。
本发明装配拧紧过程的监测系统,实现监测拧紧过程不受场地、环境限制,且监测过程不使用力矩传感器,能够对力矩信息和扭转圈数进行监测,并将异常情况第一时间反馈给操作人员。
附图说明
图1为本发明样本采集系统结构示意图;
图2为本发明中扭矩采集装置示意图;
图3为本发明中可更换式螺栓配件示意图;
图4为本发明深度学习网络的训练流程图;
图5为本发明深度学习网络的测试流程图;
图6为本发明监测系统的结构示意图;
图7为本发明监测系统的流程示意图。
图中附图标记表示为:
1、视频采集装置;2、肌电装置;3、扭矩采集装置;4、第一计算机;5、螺母;6、图像采集装置;7、肌电穿戴设备;8、第二计算机;31、可更换式螺栓配件;32、扭矩传感器;33、工作台;34、信号处理单元;311、连接件;312、螺杆。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1,装配拧紧过程样本采集系统,包括视频采集装置1、可穿戴式肌电装置2、扭矩采集装置3以及第一计算机4,所述视频采集装置1采集视频信息并发送给第一计算机4,所述肌电装置2采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给计第一算机4,所述扭矩采集装置3将采集到的操作人员拧紧螺母时的扭矩信息发送给的第一计算机4,所述第一计算机4执行如下步骤:识别视频信息中人体的骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储;从视频信息中按时间标签提取图片,将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据,将所述扭矩信息作为实测值,从而得到能用于机器学习的样本库。
在样本库中创建图片信息集合和整合信息集合,将样本数据中的图片存入图片信息集合,将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合;对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签,所述扭矩标签记载相同时间标签对应的扭矩信息。图片信息是二维度三通道(RGB)信息。整合信息集合是一维度信息。两者无法直接放到一起进行处理。因此,将其分别存放在不同的集合中,可以分别通过各自的卷积层、全连接层计算得到一维的特征信息,提高机器学习的正确率。
所述肌电装置2包括肌电测量单元、惯性测量单元以及通信单元,所述肌电测量单元测量人体的肌电信号,所述惯性测量单元测量人体的惯性加速度信号和方位信号,所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给计算机。现有常用的可穿戴式肌电装置2可选用MYO腕带(手势控制臂环),一般通过手部操作拧紧螺栓,因此,在佩戴时,将肌电装置2紧贴小臂。所述通信单元可以选择无线通信模块,例如蓝牙模块。
请参阅图2和图3,所述扭矩采集装置3包括可更换式螺栓配件31、扭矩传感器32、工作台33以及信号处理单元34,所述扭矩传感器32固定于所述工作台33上,所述可更换式螺栓配件31安装在扭矩传感器32的顶部,所述信号处理单元34的一端与扭矩传感器32的输出端口连接,另一端与第一计算机4连接,所述扭矩传感器32测量拧紧可更换式螺栓配件31上的螺母5时产生的扭矩信号并以电压形式输出,所述信号处理单元34接收所述电压信号并将其转化为数字信号,然后传输至所述第一计算机4。所述可更换式螺栓配件31由连接件311和螺杆312固定连接组成,所述连接件311可拆卸固定在所述扭矩传感器32上,测量时,在螺杆312上旋入螺母5,拧紧螺母5,由扭矩传感器32测得扭矩信号。需要采样不同规格螺母5拧紧过程的样本数据,只需更可更换式螺栓配件31即可。
装配拧紧过程样本采集装置的工作步骤如下:
S1、更换可更换式螺栓配件31;
S2、操作者开始拧紧可更换式螺栓配件31,所述视频采集装置1采集视频信息并发送给的第一计算机4,所述肌电装置2采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第一计算机4,所述扭矩采集装置3将采集到的扭矩信息发送给第一计算机4;
S3、第一计算机4识别视频信息中人体的骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储;从视频信息中按时间标签提取图片并按时间标签存储图片;获得一个样本数据;
S4、重复步骤S1至S3生成多个样本数据组成的样本库;
S5、对样本库中的样本数据进行分类:在样本库中创建图片信息集合和整合信息集合,将样本数据中的图片存入图片信息集合,将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合;
S6、对样本库中的每一个样本数据进行噪声处理;
S7、设置样本数据的标签:对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签,所述扭矩标签记载相同时间标签对应的扭矩信息。
本实施例中,装配拧紧过程样本采集系统从视频中识别出的骨骼节点坐标,并采集人体在拧紧过程中的肌电信号、惯性加速度信号、方位信号,作为机器学习的输入样本,同时采集实测扭矩值作为输出样本,为机器学习提供了必不可少的样本库。
实施例二
请参阅图4,一种深度学习网络,采用实施例一的样本采集系统获得的样本库,通过如下训练步骤进行训练:将样本库中的部分样本数据作为训练集,将训练集中的样本数据分为多组;所述深度学习网络包括输入层、输出层、卷积层和全连接层,首先,所述输入层接收一组整合信息集合和图像信息集合,该组整合信息集合中的样本数据进行第一卷积层的卷积运算,再通过第一全连接层展开后,得到第一一维特征值,该组图像信息集合的样本数据进行第二卷积层的卷积运算,再通过第二全连接层展开后,得到第二一维特征值,将第一一维特征值和第二一维特征值按各自的权重值进行特征融合,将融合后的特征值通过第三卷积层输出给输出层,得到深度学习网络计算的与时间标签对应的预测扭矩值,使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值,通过误差反向传播算法,将损失值传给深度学习网络进行优化,使下一组养足数据计算得到的损失值减小;重复进行上述过程,输入下一组样本数据,不断优化深度学习网络,减小损失值,使损失值减小到预设范围内,完成深度学习网络的收敛。
请参阅图5,更优地,将样本库中的另一部分样本数据作为测试集,利用测试集判断训练后的深度学习网络的计算正确率,测试步骤如下:将测试集中的样本数据输入所述深度学习网络,输出各时间标签对应的预测扭矩值,根据时间标签,比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值,若是,则判定识别正确,否则,判定识别错误;统计测试集的计算正确率,若大于预设的第二阈值,则判定所述深度学习模型训练完成,否则,通过样本采集系统再次采集样本数据,重复执行所述训练步骤。
比较深度学习网络的预测扭矩值和实测的扭矩信息,具体如公式(1)所示,如果两扭矩差值小于预设的第一阈值,则说明预测正确,反之,则说明预测错误。公式(1):|T-T0|≤m,公式(1)中T表示深度学习网络的预测扭矩值,T0表示实际测量得到的扭矩信息,m表示第一阈值。
本实施例一种深度学习网络,重复执行样本数据采集、训练步骤、测试步骤,提升深度学习网络的计算正确率,使深度学习网络达到期望效果。
实施例三
请参阅图6和图7,装配拧紧过程的监测系统,包括图像采集装置6、肌电穿戴设备7以及第二计算机8,所述图像采集装置6采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像,然后发送给第二计算机8,所述肌电穿戴设备7采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第二计算机8,所述第二计算机8内加载实施例二中的深度学习网络,所述第二计算机8执行如下步骤:识别图像中的人体的骨骼节点,并计算出各个骨骼节点的坐标信息;将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中,所述深度学习网络输出监测扭矩值,将监测扭矩值与预设的扭矩参考值进行比较,判断拧紧过程是否异常,若出现异常,则发出告警提示,实现对装配拧紧过程的实时监测和即时反馈。
更优地,所述第二计算机8还按照骨骼节点坐标信息生成骨骼节点的运动轨迹,根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数,将扭转圈数与预设的标准圈数阈值进行比较,如果监测扭矩值和扭转圈数均出现异常,则发出告警提示。通过监测扭矩值和扭转圈数双重指标认定异常情况,提高告警准确率。
本实施例装配拧紧过程的监测系统,在监测现场设置图像采集装置6采集拧紧过程图像,在操作人员手臂上穿戴肌电穿戴设备7采集拧紧过程人体的肌电信号、惯性加速度信号和方位信号,深度学习网络根据采集到的数据计算出监测扭矩值,将其与预设的扭矩参考值进行比较,即可判断拧紧过程是否异常。监测过程不使用力矩传感器,能够对力矩信息和扭转圈数进行监测,并将异常情况第一时间反馈给操作人员。
所述肌电穿戴设备7包括肌电测量单元、惯性测量单元、震动输出单元以及通信单元,所述肌电测量单元测量人体的肌电信号,所述惯性测量单元测量人体的惯性加速度信号和方位信号,所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第二计算机8。所述通信单元可以选择无线通信模块,例如蓝牙模块。所述告警提示为第二计算机8发出震动控制信号,所述通信单元接收并发送至所述震动输出单元,控制震动输出单元产生震动,提示工人检查操作情况,实现对装配拧紧过程的即时反馈和实时监测。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.装配拧紧过程样本采集系统,其特征在于,包括视频采集装置(1)、可穿戴式肌电装置(2)、扭矩采集装置(3)以及第一计算机(4),所述视频采集装置(1)采集视频信息并发送给第一计算机(4),所述肌电装置(2)采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第一计算机(4),所述扭矩采集装置(3)将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机(4),所述第一计算机(4)执行如下步骤:
识别视频信息中人体的骨骼节点,并计算出各个骨骼节点的坐标信息;
将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储;
从视频信息中按时间标签提取图片,将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据,将所述扭矩信息作为实测值,从而得到能用于机器学习的样本库。
2.根据权利要求1所述的装配拧紧过程样本采集系统,其特征在于:在样本库中创建图片信息集合和整合信息集合,将样本数据中的图片存入图片信息集合,将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合;对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签,所述扭矩标签记载相同时间标签对应的扭矩信息。
3.根据权利要求1所述的装配拧紧过程样本采集系统,其特征在于:所述肌电装置(2)包括肌电测量单元、惯性测量单元以及通信单元,所述肌电测量单元测量人体的肌电信号,所述惯性测量单元测量人体的惯性加速度信号和方位信号,所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第一计算机(4)。
4.根据权利要求1所述的装配拧紧过程样本采集系统,其特征在于:所述扭矩采集装置(3)包括可更换式螺栓配件(31)、扭矩传感器(32)、工作台(33)以及信号处理单元(34),所述扭矩传感器(32)固定于所述工作台(33)上,所述可更换式螺栓配件(31)安装在扭矩传感器(32)的顶部,所述信号处理单元(34)的一端与扭矩传感器(32)的输出端口连接,另一端与第一计算机(4)连接,所述扭矩传感器(32)测量拧紧可更换式螺栓配件(31)时产生的扭矩信号并以电压形式输出,所述信号处理单元(34)接收所述电压信号并将其转化为数字信号,然后传输至所述第一计算机(4)。
5.根据权利要求4所述的装配拧紧过程样本采集系统,其特征在于:所述可更换式螺栓配件(31)由连接件(311)和螺杆(312)固定连接组成,所述连接件(311)可拆卸固定在所述扭矩传感器(32)上,测量时,在螺杆(312)上旋入螺母(5),拧紧螺母(5),由扭矩传感器(32)测得扭矩信号。
6.一种深度学习网络,其特征在于:采用权利要求1至5项所述的样本采集系统获得的样本库,通过如下训练步骤进行训练:
将样本库中的部分样本数据作为训练集,将训练集中的样本数据分为多组;
所述深度学习网络包括输入层、输出层、卷积层和全连接层,首先,所述输入层接收一组整合信息集合和图像信息集合,该组整合信息集合中的样本数据进行第一卷积层的卷积运算,再通过第一全连接层展开后,得到第一一维特征值,该组图像信息集合的样本数据进行第二卷积层的卷积运算,再通过第二全连接层展开后,得到第二一维特征值,将第一一维特征值和第二一维特征值按各自的权重值进行特征融合,将融合后的特征值通过第三卷积层输出给输出层,得到深度学习网络计算的与时间标签对应的预测扭矩值,使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值,通过误差反向传播算法,将损失值传给深度学习网络进行优化,使下一组养足数据计算得到的损失值减小;重复进行上述过程,输入下一组样本数据,不断优化深度学习网络,减小损失值,使损失值减小到预设范围内,完成深度学习网络的收敛。
7.根据权利要求6所述的一种深度学习网络,其特征在于:将样本库中的另一部分样本数据作为测试集,利用测试集判断训练后的深度学习网络的计算正确率,测试步骤如下:
将测试集中的样本数据输入所述深度学习网络,输出各时间标签对应的预测扭矩值,根据时间标签,比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值,若是,则判定识别正确,否则,判定识别错误;统计测试集的计算正确率,若大于预设的第二阈值,则判定所述深度学习模型训练完成,否则,通过样本采集系统再次采集样本数据,重复执行所述训练步骤。
8.装配拧紧过程的监测系统,其特征在于:包括图像采集装置(6)、肌电穿戴设备(7)以及第二计算机(8),所述图像采集装置(6)采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像,然后发送给第二计算机(8),所述肌电穿戴设备(7)采集人体的肌电信号、惯性加速度信号和方位信号,然后发送给第二计算机(8),所述第二计算机(8)内加载权利要求6所述的深度学习网络,所述第二计算机(8)执行如下步骤:
识别图像中的人体的骨骼节点,并计算出各个骨骼节点的坐标信息;
将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中,所述深度学习网络输出监测扭矩值,将监测扭矩值与预设的扭矩参考值进行比较,判断拧紧过程是否异常,若出现异常,则发出告警提示,实现对装配拧紧过程的实时监测和即时反馈。
9.根据权利要求8所述的装配拧紧过程的监测系统,其特征在于:所述第二计算机(8)还按照骨骼节点坐标信息生成骨骼节点的运动轨迹,根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数,将扭转圈数与预设的标准圈数阈值进行比较,如果监测扭矩值和扭转圈数均出现异常,则发出告警提示。
10.根据权利要求8或9所述的装配拧紧过程的监测系统,其特征在于:所述肌电穿戴设备(7)还包括震动输出单元,所述告警提示为第二计算机(8)发出信号控制所述震动输出单元产生震动,提示工人检查操作情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910447507.4A CN110210366B (zh) | 2019-07-05 | 2019-07-05 | 装配拧紧过程样本采集系统、深度学习网络及监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910447507.4A CN110210366B (zh) | 2019-07-05 | 2019-07-05 | 装配拧紧过程样本采集系统、深度学习网络及监测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210366A true CN110210366A (zh) | 2019-09-06 |
CN110210366B CN110210366B (zh) | 2021-04-27 |
Family
ID=67788921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910447507.4A Active CN110210366B (zh) | 2019-07-05 | 2019-07-05 | 装配拧紧过程样本采集系统、深度学习网络及监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210366B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111207875A (zh) * | 2020-02-25 | 2020-05-29 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
CN112836760A (zh) * | 2021-02-19 | 2021-05-25 | 清华大学 | 基于可穿戴设备的手工装配任务绩效识别系统及方法 |
CN114863750A (zh) * | 2022-06-17 | 2022-08-05 | 中国人民解放军32128部队 | 一种螺栓拆装训练装置及训练方法 |
CN115291644A (zh) * | 2022-07-09 | 2022-11-04 | 上海优拜机械股份有限公司 | 一种扭矩扳手控制方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103764021A (zh) * | 2011-05-20 | 2014-04-30 | 南洋理工大学 | 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法 |
CN104537363A (zh) * | 2015-01-22 | 2015-04-22 | 哈尔滨工业大学 | 基于视觉检测系统的橱柜调节脚全自动装配控制方法 |
CN104889904A (zh) * | 2014-03-06 | 2015-09-09 | 赫克斯冈技术中心 | 质量有保证的制造 |
CN106377253A (zh) * | 2016-09-14 | 2017-02-08 | 燕山大学 | 一种肌电信号和惯性信息同步采集装置 |
WO2017132539A1 (en) * | 2016-01-29 | 2017-08-03 | Motion Engine Inc. | System and method for determining the position of sensor elements in a sensor array |
CN107423650A (zh) * | 2017-08-09 | 2017-12-01 | 青岛理工大学 | 一种投影式增强现实装配诱导与监测系统及其实现方法 |
CN107678537A (zh) * | 2017-09-04 | 2018-02-09 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
US9925071B2 (en) * | 2010-09-29 | 2018-03-27 | össur hf | Prosthetic and orthotic devices and methods and systems for controlling the same |
CN109059910A (zh) * | 2018-07-25 | 2018-12-21 | 南京师范大学 | 基于惯性和肌电信息并结合机器学习的行人导航系统和方法 |
CN109259739A (zh) * | 2018-11-16 | 2019-01-25 | 西安交通大学 | 一种手腕关节运动力矩的肌电估计方法 |
CN109543732A (zh) * | 2018-11-09 | 2019-03-29 | 山东大学 | 基于类别特征知识库的装配系统及方法 |
CN109549821A (zh) * | 2018-12-30 | 2019-04-02 | 南京航空航天大学 | 基于肌电信号和惯导信号融合的外骨骼机器人助力控制系统及方法 |
CN109875565A (zh) * | 2019-01-25 | 2019-06-14 | 电子科技大学 | 一种基于深度学习的脑卒中上肢运动功能自动评定方法 |
-
2019
- 2019-07-05 CN CN201910447507.4A patent/CN110210366B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9925071B2 (en) * | 2010-09-29 | 2018-03-27 | össur hf | Prosthetic and orthotic devices and methods and systems for controlling the same |
CN103764021A (zh) * | 2011-05-20 | 2014-04-30 | 南洋理工大学 | 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法 |
CN104889904A (zh) * | 2014-03-06 | 2015-09-09 | 赫克斯冈技术中心 | 质量有保证的制造 |
CN104537363A (zh) * | 2015-01-22 | 2015-04-22 | 哈尔滨工业大学 | 基于视觉检测系统的橱柜调节脚全自动装配控制方法 |
WO2017132539A1 (en) * | 2016-01-29 | 2017-08-03 | Motion Engine Inc. | System and method for determining the position of sensor elements in a sensor array |
CN106377253A (zh) * | 2016-09-14 | 2017-02-08 | 燕山大学 | 一种肌电信号和惯性信息同步采集装置 |
CN107423650A (zh) * | 2017-08-09 | 2017-12-01 | 青岛理工大学 | 一种投影式增强现实装配诱导与监测系统及其实现方法 |
CN107678537A (zh) * | 2017-09-04 | 2018-02-09 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
CN109059910A (zh) * | 2018-07-25 | 2018-12-21 | 南京师范大学 | 基于惯性和肌电信息并结合机器学习的行人导航系统和方法 |
CN109543732A (zh) * | 2018-11-09 | 2019-03-29 | 山东大学 | 基于类别特征知识库的装配系统及方法 |
CN109259739A (zh) * | 2018-11-16 | 2019-01-25 | 西安交通大学 | 一种手腕关节运动力矩的肌电估计方法 |
CN109549821A (zh) * | 2018-12-30 | 2019-04-02 | 南京航空航天大学 | 基于肌电信号和惯导信号融合的外骨骼机器人助力控制系统及方法 |
CN109875565A (zh) * | 2019-01-25 | 2019-06-14 | 电子科技大学 | 一种基于深度学习的脑卒中上肢运动功能自动评定方法 |
Non-Patent Citations (10)
Title |
---|
BO-RA HYUN ET AL: ""EMG-Based Muscle Torque Estimation for FES Control System Design"", 《JOURNAL OF BIOMEDICAL ENGINEERING RESEARCH 28(1)》 * |
C. FEICHTENHOFER ET AL.: ""ZissermanConvolutional two-stream network fusion for video action recognition"", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (2016)》 * |
W. TAO ET AL.: ""YinWorker activity recognition in smart manufacturing using IMU and sEMG signals with convolutional neural networks"", 《PROCEDIA MANUF, 26 (2018)》 * |
王未来: ""汽车装配工人局部肌肉负荷与疲劳量效关系试验研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
许全盛 等: ""基于表面肌电信号的膝关节动态力矩的BP神经网络估计"", 《中国体育科技》 * |
资新运 等: ""基于工业摄像技术的轴转速转矩测量系统设计与实验"", 《军事交通学院学报》 * |
赵耀霞 等: ""基于卷积神经网络的复杂构件内部零件装配正确性识别"", 《电子学报》 * |
郝文元: ""基于密封圈压缩量的筒体拧紧控制系统的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
陈勤和: ""发动机装配拧紧工艺与冷试振动相关性及质量预测研究"", 《中国优秀硕士学位论文全文数据库 汽车装配工人局部肌肉负荷与疲劳量效关系试验研究》 * |
陈江城 等: ""利用表面肌电信号的下肢动态关节力矩预测模型"", 《西安交通大学学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111207875A (zh) * | 2020-02-25 | 2020-05-29 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
CN111207875B (zh) * | 2020-02-25 | 2021-06-25 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
WO2021169036A1 (zh) * | 2020-02-25 | 2021-09-02 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
JP2022543935A (ja) * | 2020-02-25 | 2022-10-17 | 青▲島▼理工大学 | 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法 |
JP7261427B2 (ja) | 2020-02-25 | 2023-04-20 | 青▲島▼理工大学 | 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法 |
US11971319B2 (en) | 2020-02-25 | 2024-04-30 | Qingdao university of technology | Surface electromyography signal-torque matching method based on multi-segmentation parallel CNN model |
CN112836760A (zh) * | 2021-02-19 | 2021-05-25 | 清华大学 | 基于可穿戴设备的手工装配任务绩效识别系统及方法 |
CN114863750A (zh) * | 2022-06-17 | 2022-08-05 | 中国人民解放军32128部队 | 一种螺栓拆装训练装置及训练方法 |
CN114863750B (zh) * | 2022-06-17 | 2024-05-31 | 中国人民解放军32128部队 | 一种螺栓拆装训练装置及训练方法 |
CN115291644A (zh) * | 2022-07-09 | 2022-11-04 | 上海优拜机械股份有限公司 | 一种扭矩扳手控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110210366B (zh) | 2021-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210366A (zh) | 装配拧紧过程样本采集系统、深度学习网络及监测系统 | |
CN105051781B (zh) | 机器视觉系统以及用于产品的远程质量检验的方法 | |
CN110567974B (zh) | 一种基于云端人工智能表面缺陷检测系统 | |
JP7166767B2 (ja) | 機器、製造方法、およびシステム | |
CN110431569A (zh) | 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统 | |
CN108021104A (zh) | 生产线监控系统和方法 | |
US20200000414A1 (en) | Monitors for movements of workers | |
CN107607543A (zh) | 港口机械的巡检装置及巡检方法 | |
CN105527945B (zh) | 实现智能健康穿戴设备的快速批量生产、检测与设备信息记录的系统及方法 | |
US20160203445A1 (en) | Work order integration and equipment status tracking | |
CN114589631B (zh) | 一种数控铲磨床控制系统和方法 | |
CN111553229A (zh) | 基于三维骨骼与lstm的工人动作识别方法及装置 | |
CN107203166A (zh) | 一种智能传感器实训装置 | |
CN110260790A (zh) | 一种基于3d视觉的冲孔角钢的检测装置及其检测方法 | |
CN107493377B (zh) | 一种基于移动终端应用的热工参数采集装置与方法 | |
DE112017007394T5 (de) | Informationsverarbeitungsvorrichtung, Greifsystem, Verteilersystem, Programm und Informationsverarbeitungsverfahren | |
CN115346413A (zh) | 一种基于虚实融合的装配指导方法及系统 | |
EP3690583B1 (en) | Trace data acquisition system, trace data acquisition method, and program | |
CN108335233A (zh) | 一种基于大数据技术的智能电网量测数据处理系统 | |
CN113344244B (zh) | 一种数字孪生驱动的工件加工能耗预测装置 | |
Pabolu et al. | A Dynamic System to Predict an Assembly Line Worker’s Comfortable Work-Duration Time by Using the Machine Learning Technique | |
CN106092053A (zh) | 一种机器人重复定位系统及其定位方法 | |
CN106677762A (zh) | 无线一体化示功仪 | |
WO2023185525A1 (zh) | 用于健身器材的力馈调控方法、系统、装置及存储介质 | |
CN207704252U (zh) | 一种基于工业网络的水库水质在线监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |