CN117036325A - 一种基于机器视觉的冲压产线异常检测及预防系统 - Google Patents
一种基于机器视觉的冲压产线异常检测及预防系统 Download PDFInfo
- Publication number
- CN117036325A CN117036325A CN202311058174.9A CN202311058174A CN117036325A CN 117036325 A CN117036325 A CN 117036325A CN 202311058174 A CN202311058174 A CN 202311058174A CN 117036325 A CN117036325 A CN 117036325A
- Authority
- CN
- China
- Prior art keywords
- abnormality
- press
- module
- matching degree
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- 230000005856 abnormality Effects 0.000 title claims abstract description 79
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 25
- 230000002265 prevention Effects 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 25
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000012502 risk assessment Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 6
- 239000000463 material Substances 0.000 claims description 84
- 239000002699 waste material Substances 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000004080 punching Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Psychiatry (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Social Psychology (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的冲压产线异常检测及预防系统，包括图像获取模块、压机状态检测模块、叠料检测模块、实时异常检测模块、关键帧检测模块、数据分析模块、风险评估模块和人员安全检测模块。本发明采用机器学习与深度学习配合的方式实现了对冲压生产的全天候、不间断实时异常检测，能在更高的冲次频率环境下正常工作，提高生产效率，能快速定位异常工位，效率高，利用机器视觉加统计的方式预测可能发生的异常，能详细区分各类异常，效果好，调试阶段无需关闭相机，可以持续检测，可靠性高，能检测进入压机人员是否佩戴劳保用品，安全性高，数据维度更丰富，可用于数据分析和风险评估，价值更高，不影响现有压机系统，改造难度低。
Description
技术领域
本发明涉及冲压产线异常检测技术领域，具体为一种基于机器视觉的冲压产线异常检测及预防系统。
背景技术
随着冲压自动化技术的不断进步，自动化生产线以其较高的生产效率、稳定的产品质量以及规模生产条件下更低的单件生产成本，被广泛应用于冲压生产中。一条冲压产线一般设置有多个工位，当一个冲次完成后，由夹钳夹取料片然后放到下个工位，但这个过程中可能出现空料、料片偏移、叠料等异常情况。
现有技术中，采用在压机的上模、机械臂、下模等区域设置传感器的方式，通过收集的压力、磁通量、震动等信息来判断是否异常，但这种方式只能检测有无异常，无法区分空料、偏移、叠料等情况，无法检测压机内异物、废料口堵住等异常，且当冲压频率较高时，传感器容易出现失灵或者由于压机震动等原因导致误报警，同时，出现异常时无法快速定位到具体工位，会造成使用不方便，在设备调试阶段，有时需要关闭传感器以便进行调试，这时只能靠人眼观察预防异常，不仅会导致调试效率低，而且不够安全可靠，此外，无法检测进入压机人员是否未佩戴劳保用品，安全性较低，另外，传感器的数据的维度太少，数据价值小，且大部分老压机不支持额外安装传感器，导致改造风险大和可靠性低。
发明内容
本发明的目的在于提供一种基于机器视觉的冲压产线异常检测及预防系统，以解决上述背景技术提出的采用在压机的上模、机械臂、下模等区域设置传感器的方式，通过收集的压力、磁通量、震动等信息来判断是否异常，但这种方式只能检测有无异常，无法区分空料、偏移、叠料等情况，无法检测压机内异物、废料口堵住等异常，且当冲压频率较高时，传感器容易出现失灵或者由于压机震动等原因导致误报警，同时，出现异常时无法快速定位到具体工位，会造成使用不方便，在设备调试阶段，有时需要关闭传感器以便进行调试，这时只能靠人眼观察预防异常，不仅会导致调试效率低，而且不够安全可靠，此外，无法检测进入压机人员是否未佩戴劳保用品，安全性较低，另外，传感器的数据的维度太少，数据价值小，且大部分老压机不支持额外安装传感器，导致改造风险大和可靠性低的问题。
为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的冲压产线异常检测及预防系统，包括图像获取模块、压机状态检测模块、叠料检测模块、实时异常检测模块、关键帧检测模块、数据分析模块、风险评估模块和人员安全检测模块；
所述图像获取模块是用于对各个工位的情况进行拍摄，并将拍摄图片进行保存；
所述叠料检测模块是用于检测叠料状态是否正常，采用图像算法检测帧图像里料片的上边缘和下边缘，以上下边缘的距离作为料片厚度，所述实时异常检测模块，是用以检测实时冲压状态是否异常；
所述关键帧检测模块用于选取关键帧图片，选取起料、落料和传料类型的关键帧图片作为模板，计算当前帧图像和模板的匹配程度，所述数据分析模块用于根据历史数据预测当前出现风险的概率、根据历史数据推荐最佳生产参数以及生成生产报表；
所述风险评估模块用于评估异常情况出现的风险高低，采用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，然后利用预测模型预测未来帧图片和模板的匹配度，所述人员安全检测模块用于检测人员是否穿戴劳保用品，通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。
优选的，所述实时异常检测模块的模板依据压机启动后前期采集数据生成，阈值根据历史的匹配度数据设定。
优选的，所述关键帧检测模块选取的起料、落料和传料的关键帧图片分别为料片刚被机械臂夹起、料片刚被放下和料片被夹至工位上方最高点时的状态，阈值根据历史匹配度数据设定。
优选的，所述图像获取模块包括工业相机、相机镜头、光源、服务器以及POE交换机；
所述工业相机中采用高帧率相机、高分辨率相机，安装在距离目标工位旁，距离不超过3米；
所述相机镜头根据工业相机到拍摄画面中心点的距离，选用合适的短焦镜头；
所述光源采用条形LED光源；
所述服务器用于运行检测程序；
所述POE交换机用于使用网线连接相机和服务器，给相机供电。
优选的，所述工业相机包括相机管理模块以及共享内存模块；
所述相机管理模块用于设置相机参数、将相机图像写入共享内存，以便后续实时异常检测模块获取以及录制视频。
优选的，还包括异常检测方法，具体的为：
S1、从共享内存读取相机图像；
S2、检测压机状态：以当前帧和前30帧的像素值的平均绝对差值作为匹配度指标，匹配度在连续15次内有10次都低于阈值，说明画面静止，压机停机，否则用自相关算法检测图像亮度变化的周期性，如果有周期性则说明压机正在运行，没有则说明只是受到了人员活动的干扰，压机还是停机状态；
S3、对压机工位状态进行检测。
优选的，所述S3中，在压机运行时，具体包括以下检测步骤：
L1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；
L2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；
L3、检测是否发生其他异常：程序初始化时取一段正常冲压视频的连续帧图片作为模板，模板依据压机启动后前期采集数据生成，运行时用phash算法计算当前帧和模板的值，以当前帧和模板的phash值的平均绝对差值的最小值作为匹配度指标，若匹配度低于阈值则判断为异常；
L4、若前面检测出异常，可发送停机信号，然后在用户界面上显示具体异常工位；
L5、检测是否是关键帧；程序初始化时取起料、落料、传料类型的关键帧图片作为模板，运行时计算当前帧图像和模板的phash匹配程度，若匹配度高于阈值，则判定为关键帧；
L6、提取图像特征，对异常进行具体分类，通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓，通过开源的特征点匹配算法检测当前帧和关键帧模板图对应的特征点的坐标；
L7、预测异常发生的概率：用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，利用预测模型预测未来帧图片和模板的匹配度，如果预测的匹配度低于设定的阈值，则给出风险提示。
优选的，所述S3中，在压机停机时，具体包括以下检测步骤：
R1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；
R2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；
R3、提取图像特征：通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓；
R4、人员安全检测：通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。
优选的，所述L6中异常种类包括空料异常、异物异常、废料口异常、料片偏移异常以及人员未佩戴劳保用品异常；
所述空料异常是根据料片中心点是否存在来判断，料片中心点不存在即为空料异常；
所述异物异常是根据异物中心点是否存在来判断，异物中心点不存在即为异物异常；
所述废料口异常是根据当前帧和模板图在废料口轮廓区域的匹配度是否低于阈值来判断，匹配度低于阈值即为废料口异常；
所述料片偏移异常是计算当前帧和模板图对应特征点坐标的平均差值作为平均偏移量，当平均偏移量大于阈值时则判断为料片偏移异常。
与现有技术相比，本发明的有益效果是：
本发明采用机器学习与深度学习配合的方式实现了对冲压生产的全天候、不间断实时异常检测，能在更高的冲次频率环境下正常工作，提高生产效率，能快速定位异常工位，效率高，利用机器视觉加统计的方式预测可能发生的异常，能详细区分各类异常，效果好，调试阶段无需关闭相机，可以持续检测，可靠性高，能检测进入压机人员是否佩戴劳保用品，安全性高，数据维度更丰富，可用于数据分析和风险评估，价值更高，不影响现有压机系统，改造难度低，几乎无风险。
附图说明
图1为本发明一种基于机器视觉的冲压产线异常检测及预防系统的流程图；
图2为本发明一种基于机器视觉的冲压产线异常检测及预防系统的系统框图。
图中：1、图像获取模块；2、压机状态检测模块；3、叠料检测模块；4、实时异常检测模块；5、关键帧检测模块；6、数据分析模块；7、风险评估模块；8、人员安全检测模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施条例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参照图1和图2所示：一种基于机器视觉的冲压产线异常检测及预防系统，包括图像获取模块1、压机状态检测模块2、叠料检测模块3、实时异常检测模块4、关键帧检测模块5、数据分析模块6、风险评估模块7和人员安全检测模块8；
图像获取模块1是用于对各个工位的情况进行拍摄，并将拍摄图片进行保存；
叠料检测模块3是用于检测叠料状态是否正常，采用图像算法检测帧图像里料片的上边缘和下边缘，以上下边缘的距离作为料片厚度，实时异常检测模块4，是用以检测实时冲压状态是否异常；
关键帧检测模块5用于选取关键帧图片，选取起料、落料和传料类型的关键帧图片作为模板，计算当前帧图像和模板的匹配程度，数据分析模块6用于根据历史数据预测当前出现风险的概率、根据历史数据推荐最佳生产参数以及生成生产报表；
风险评估模块7用于评估异常情况出现的风险高低，采用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，然后利用预测模型预测未来帧图片和模板的匹配度，人员安全检测模块8用于检测人员是否穿戴劳保用品，通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规，实时异常检测模块4的模板依据压机启动后前期采集数据生成，阈值根据历史的匹配度数据设定，关键帧检测模块5选取的起料、落料和传料的关键帧图片分别为料片刚被机械臂夹起、料片刚被放下和料片被夹至工位上方最高点时的状态，阈值根据历史匹配度数据设定的。
图像获取模块1包括工业相机、相机镜头、光源、服务器以及POE交换机，工业相机中采用高帧率相机、高分辨率相机，安装在距离目标工位旁，距离不超过3米，相机镜头根据工业相机到拍摄画面中心点的距离，选用合适的短焦镜头，光源采用条形LED光源，服务器用于运行检测程序，POE交换机用于使用网线连接相机和服务器，给相机供电，工业相机包括相机管理模块以及共享内存模块，相机管理模块用于设置相机参数、将相机图像写入共享内存，以便后续实时异常检测模块4获取以及录制视频。
实施例二
图1和图2所示，还包括异常检测方法，具体的为：
步骤一、从共享内存读取相机图像。
步骤二、检测压机状态：用自相关算法检测图像亮度变化的周期性，如果有周期性则说明压机正在运行。
步骤三、通过程序的配置文件判断当前工位是上料工位还是冲压工位。
步骤四、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常。
步骤五、检测是否发生其他异常：程序初始化时取一段正常冲压视频的连续帧图片作为模板，模板依据压机启动后前期采集数据生成，运行时用phash算法计算当前帧和模板的值，以当前帧和模板的phash值的平均绝对差值的最小值作为匹配度指标，若匹配度低于阈值则判断为异常。
步骤六、若前面检测出异常，可发送停机信号，然后在用户界面上显示具体异常工位。
步骤七、检测是否是关键帧：程序初始化时取起料、落料、传料类型的关键帧图片作为模板，运行时计算当前帧图像和模板的phash匹配程度，若匹配度高于阈值，则判定为关键帧。
步骤八、提取图像特征，对异常进行具体分类，通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓，通过开源的特征点匹配算法检测当前帧和关键帧模板图对应的特征点的坐标，异常种类包括空料异常、异物异常、废料口异常、料片偏移异常以及人员未佩戴劳保用品异常；空料异常是根据料片中心点是否存在来判断，料片中心点不存在即为空料异常；异物异常是根据异物中心点是否存在来判断，异物中心点不存在即为异物异常；废料口异常是根据当前帧和模板图在废料口轮廓区域的匹配度是否低于阈值来判断，匹配度低于阈值即为废料口异常；料片偏移异常是计算当前帧和模板图对应特征点坐标的平均差值作为平均偏移量，当平均偏移量大于阈值时则判断为料片偏移异常。
步骤九、预测异常发生的概率：用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，利用预测模型预测未来帧图片和模板的匹配度，如果预测的匹配度低于设定的阈值，则给出风险提示。
实施例三
根据图1和图2所示，还包括异常检测方法，具体的为：
步骤一、从共享内存读取相机图像。
步骤二、检测压机状态：以当前帧和前30帧的像素值的平均绝对差值作为匹配度指标，匹配度在连续15次内有10次都低于阈值，说明画面静止，压机停机，否则用自相关算法检测图像亮度变化的周期性，如果没有周期性则说明只是受到了人员活动的干扰，压机还是停机状态。
步骤三、通过程序的配置文件判断当前工位是上料工位还是冲压工位。
步骤四、检测是发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常。
步骤五、提取图像特征：通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓。
步骤六、人员安全检测：通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。
本发明中，以机器学习与深度学习配合的方式实现了对冲压生产的全天候、不间断实时异常检测，能在更高的冲次频率环境下正常工作，提高生产效率，能快速定位异常工位，效率高，利用机器视觉加统计的方式预测可能发生的异常，能详细区分各类异常，效果好，调试阶段无需关闭相机，可以持续检测，可靠性高，能检测进入压机人员是否佩戴劳保用品，安全性高，数据维度更丰富，可用于数据分析和风险评估，价值更高，不影响现有压机系统，改造难度低，几乎无风险。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于，包括图像获取模块(1)、压机状态检测模块(2)、叠料检测模块(3)、实时异常检测模块(4)、关键帧检测模块(5)、数据分析模块(6)、风险评估模块(7)和人员安全检测模块(8)；
所述图像获取模块(1)是用于对各个工位的情况进行拍摄，并将拍摄图片进行保存；
所述叠料检测模块(3)是用于检测叠料状态是否正常，采用图像算法检测帧图像里料片的上边缘和下边缘，以上下边缘的距离作为料片厚度，所述实时异常检测模块(4)，是用以检测实时冲压状态是否异常；
所述关键帧检测模块(5)用于选取关键帧图片，选取起料、落料和传料类型的关键帧图片作为模板，计算当前帧图像和模板的匹配程度，所述数据分析模块(6)用于根据历史数据预测当前出现风险的概率、根据历史数据推荐最佳生产参数以及生成生产报表；
所述风险评估模块(7)用于评估异常情况出现的风险高低，采用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，然后利用预测模型预测未来帧图片和模板的匹配度，所述人员安全检测模块(8)用于检测人员是否穿戴劳保用品，通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。
2.根据权利要求1所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述实时异常检测模块(4)的模板依据压机启动后前期采集数据生成，阈值根据历史的匹配度数据设定。
3.根据权利要求1所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述图像获取模块(1)包括工业相机、相机镜头、光源、服务器以及POE交换机；
所述工业相机中采用高帧率相机、高分辨率相机，安装在距离目标工位旁，距离不超过3米；
所述相机镜头根据工业相机到拍摄画面中心点的距离，选用合适的短焦镜头；
所述光源采用条形LED光源；
所述服务器用于运行检测程序；
所述POE交换机用于使用网线连接相机和服务器，给相机供电。
4.根据权利要求3所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述工业相机包括相机管理模块以及共享内存模块；
所述相机管理模块用于设置相机参数、将相机图像写入共享内存，以便后续实时异常检测模块(4)获取以及录制视频。
5.根据权利要求4所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：还包括异常检测方法，具体的为：
S1、从共享内存读取相机图像；
S2、检测压机状态：以当前帧和前30帧的像素值的平均绝对差值作为匹配度指标，匹配度在连续15次内有10次都低于阈值，说明画面静止，压机停机，否则用自相关算法检测图像亮度变化的周期性，如果有周期性则说明压机正在运行，没有则说明只是受到了人员活动的干扰，压机还是停机状态；
S3、对压机工位状态进行检测。
6.根据权利要求5所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述S3中，在压机运行时，具体包括以下检测步骤：
L1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；
L2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；
L3、检测是否发生其他异常：程序初始化时取一段正常冲压视频的连续帧图片作为模板，模板依据压机启动后前期采集数据生成，运行时用phash算法计算当前帧和模板的值，以当前帧和模板的phash值的平均绝对差值的最小值作为匹配度指标，若匹配度低于阈值则判断为异常；
L4、若前面检测出异常，可发送停机信号，然后在用户界面上显示具体异常工位；
L5、检测是否是关键帧；程序初始化时取起料、落料、传料类型的关键帧图片作为模板，运行时计算当前帧图像和模板的phash匹配程度，若匹配度高于阈值，则判定为关键帧；
L6、提取图像特征，对异常进行具体分类，通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓，通过开源的特征点匹配算法检测当前帧和关键帧模板图对应的特征点的坐标；
L7、预测异常发生的概率：用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，利用预测模型预测未来帧图片和模板的匹配度，如果预测的匹配度低于设定的阈值，则给出风险提示。
7.根据权利要求5所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述S3中，在压机停机时，具体包括以下检测步骤：
R1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；
R2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；
R3、提取图像特征：通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓；
R4、人员安全检测：通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。
8.根据权利要求6所述的一种基于机器视觉的冲压产线异常检测及预防系统，其特征在于：所述L6中异常种类包括空料异常、异物异常、废料口异常、料片偏移异常以及人员未佩戴劳保用品异常；
所述空料异常是根据料片中心点是否存在来判断，料片中心点不存在即为空料异常；
所述异物异常是根据异物中心点是否存在来判断，异物中心点不存在即为异物异常；
所述废料口异常是根据当前帧和模板图在废料口轮廓区域的匹配度是否低于阈值来判断，匹配度低于阈值即为废料口异常；
所述料片偏移异常是计算当前帧和模板图对应特征点坐标的平均差值作为平均偏移量，当平均偏移量大于阈值时则判断为料片偏移异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311058174.9A CN117036325A (zh) | 2023-08-22 | 2023-08-22 | 一种基于机器视觉的冲压产线异常检测及预防系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311058174.9A CN117036325A (zh) | 2023-08-22 | 2023-08-22 | 一种基于机器视觉的冲压产线异常检测及预防系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036325A true CN117036325A (zh) | 2023-11-10 |
Family
ID=88602169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311058174.9A Withdrawn CN117036325A (zh) | 2023-08-22 | 2023-08-22 | 一种基于机器视觉的冲压产线异常检测及预防系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036325A (zh) |
-
2023
- 2023-08-22 CN CN202311058174.9A patent/CN117036325A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022052480A1 (zh) | 锂电池极片瑕疵实时检测处理方法和系统 | |
| CN108312456B (zh) | 一种注塑机产品工艺品质监控系统以及监控方法 | |
| CN110366031A (zh) | 一种数字化车间mes系统基于视觉的异常状态监测与故障诊断方法 | |
| CN103514694A (zh) | 一种入侵检测监控系统 | |
| CN110889339B (zh) | 基于头肩检测的危险区域分级预警方法与系统 | |
| CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
| CN111416960B (zh) | 一种基于云服务的视频监控系统 | |
| CN111652185A (zh) | 一种基于违章行为识别的安全施工方法、系统、装置及存储介质 | |
| WO2022055023A1 (ko) | 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 | |
| CN113343854A (zh) | 一种基于视频监控的动火作业流程合规性检测方法 | |
| CN113111771A (zh) | 一种发电厂工作人员不安全行为的识别方法 | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理系统 | |
| CN114387542A (zh) | 一种基于便携布控球的视频采集单元异常识别系统 | |
| KR101989461B1 (ko) | 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 | |
| CN111531580B (zh) | 一种基于视觉的多工业机器人故障检测方法及系统 | |
| CN113095225A (zh) | 一种红外周视的人工智能检测抽油机运行状态系统、方法、设备及存储介质 | |
| CN117036325A (zh) | 一种基于机器视觉的冲压产线异常检测及预防系统 | |
| CN112047057A (zh) | 物料传送设备的安全监控方法及系统 | |
| CN110708519A (zh) | 面向工业现场环境的交互式监控方法 | |
| CN111062932A (zh) | 一种网络服务程序的监控方法 | |
| CN114565870A (zh) | 一种基于视觉的生产线管控方法及装置、系统、电子设备 | |
| CN111222428B (zh) | 一种基于监控视频的器件紧固操作的检测方法 | |
| CN115346170A (zh) | 一种燃气设施区域的智能监控方法及装置 | |
| CN116863399B (zh) | 一种基于人工智能的网络安全监控系统及方法 | |
| CN111813030B (zh) | 一种智能安全运动控制器及控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231110 |