CN115471481A - 一种基于深度学习的复合机在线质量监测系统 - Google Patents
一种基于深度学习的复合机在线质量监测系统 Download PDFInfo
- Publication number
- CN115471481A CN115471481A CN202211142425.7A CN202211142425A CN115471481A CN 115471481 A CN115471481 A CN 115471481A CN 202211142425 A CN202211142425 A CN 202211142425A CN 115471481 A CN115471481 A CN 115471481A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- module
- abnormal
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013329 compounding Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 239000002131 composite material Substances 0.000 claims abstract description 54
- 239000000463 material Substances 0.000 claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000003475 lamination Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 107
- 230000007246 mechanism Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 40
- 150000001875 compounds Chemical class 0.000 claims description 29
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000004804 winding Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000007731 hot pressing Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 239000004753 textile Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000012790 adhesive layer Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
- G07C3/14—Quality control systems
- G07C3/143—Finished product quality control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种基于深度学习的复合机在线质量监测系统，包括：至少一个第一图像采集模块，用于采集压合前的基材的上表面的第一图像；至少一个第二图像采集模块，用于采集压合后的基材的上表面的第二图像；图像处理模块，分别与所述第一图像采集模块和所述第二图像采集模块电连接，用于将所述第一图像和所述第二图像分别输入对应的基于深度学习的神经网络，确定复合材料是否异常；控制模块，与所述图像处理模块电连接；报警模块，与所述控制模块电连接，用于当所述控制模块接收到所述图像处理模块发送的所述复合材料异常时，发出报警。本发明的基于深度学习的复合机在线质量监测系统，实现了复合机制作的复合材料的在线监测。
Description
技术领域
本发明涉及质量检测技术领域，特别涉及一种基于深度学习的复合机在线质量监测系统。
背景技术
复合机是指家纺、服装、家具、汽车内饰及其它相关产业中一种复合设备，主要用于各类布料、皮革、膜、纸、海绵等二层或多层的贴合生产工艺。复合机是将两种材料及以上进行复合，从得到复合材料，将其应用到衣服、鞋子、家具、家纺、汽车内饰等制作。
为了实现复合材料的连续生产，现有的复合机一般采用卷材送料和卷材收料的方式进行生成；即将作为原料的多种卷材按照复合次序放卷，首先将最底端的原料对应的卷材展铺后作为基材，依次将其他的原料展铺在基材上进行复合；复合时可以根据需求添加粘接剂或者不进行添加，然后进行热压复合，实现
复合材料的质量直接影响到终端产品的质量，因此复合材料的质量把控尤为关键；现有的检验一般都是复合完成后通过人工对复合成品进行验视，效率较低。
发明内容
本发明目的之一在于提供了一种基于深度学习的复合机在线质量监测系统，实现了复合机制作的复合材料的在线监测。
本发明实施例提供的一种基于深度学习的复合机在线质量监测系统，包括：
至少一个第一图像采集模块，用于采集压合前的基材的上表面的第一图像；
至少一个第二图像采集模块，用于采集压合后的基材的上表面的第二图像；
图像处理模块，分别与第一图像采集模块和第二图像采集模块电连接，用于将第一图像和第二图像分别输入对应的基于深度学习的神经网络，确定复合材料是否异常；
控制模块，与图像处理模块电连接；
报警模块，与控制模块电连接，用于当控制模块接收到图像处理模块发送的复合材料异常时，发出报警。
优选的，神经网络通过如下步骤训练：
获取复合机运行过程中第一图像采集模块或第二图像采集模块采集的历史图像；
对历史图像进行筛选，筛选出异常图像和正常图像；
接收对异常图像的异常标注；
提取异常图像中的异常标注对应的区域，作为异常模板；
获取预设的数量的正常图像；
基于异常模板和正常图像构建训练图像；
将训练图像和异常图像存储进训练数据池；
将训练数据池中的图像均分为4份，其中三份作为训练集，另外一份作为测试集；
基于训练集和测试集，对初始神经网络模型进行训练；在训练时通过损失函数指导初始神经网络模型的训练，其中，损失函数如下：
式中，E表示损失函数；yk表示初始神经网络的输出；tk表示监督数据；k为数据的维数；
待初始神经网络模型训练收敛后，获得神经网络。
优选的，图像处理模块基于第一图像和第二图像，确定复合材料是否异常，执行如下操作：
对第一图像进行特征提取，获取多个第一特征值；
将多个第一特征值输入预设的第一神经网络模型；
获取第一神经模型的第一输出结果；
解析第一输出结果，确定复合材料是否异常；
和/或，
对第二图像进行特征提取，获取多个第二特征值；
将多个第二特征值输入预设的第二神经网络模型；
获取第二神经模型的第二输出结果；
解析第二输出结果，确定复合材料是否异常。
优选的，基于深度学习的复合机在线质量监测系统，还包括：
取样模块，用于在复合机复合完成后的复合材料在被卷取为卷材之前对复合材料进行取样，获取采样品；
第三图像采集模块，用于获取采样品侧面的放大图像；
图像处理模块，还用于对放大图像进行分析，确定各层材料的厚度；并基于各层材料的厚度，确定是否复合材料是否异常。
优选的，取样模块包括：
取样头，用于穿刺复合材料；
空心柱体，一端与取样头的远离其穿刺的一端固定连接；
伸缩机构，一端与空心柱体的远离取样头的一端固定连接；
在空心柱体的一侧设置有第三图像采集模块的安装孔。
优选的，第三图像采集模块包括：
空心筒体，一端与安装孔固定连接；
摄像机构，设置在空心筒体的远离空心柱体的一端；
两个光源，对称设置在空心筒体两侧，光源的光线方向与空心筒体呈预设的角度。
优选的，取样模块还包括：
取样平台，上表面设置有辅助取样机构；
辅助取样机构包括：
取样槽，内径与取样头的外径的大小相适应；
套筒，一端固定设置在取样槽的槽底；
T型体，套设在套筒内；
复位弹簧，设置在T型体和取样槽的槽底之间，套设在T型体和套筒的外周；
其中，T型体的上表面设置为弧形。
优选的，基于深度学习的复合机在线质量监测系统，还包括：辅助检测模块和水平移动导轨；
辅助检测模块包括：
检测平台，上表面也设置有辅助取样机构；
放卷机构，设置在检测平台的一侧；
收卷机构，设置在检测平台的另一侧；
辅助检测卷材，设置在放卷机构上；放卷机构和收卷机构配合实现辅助检测卷材展平在检测平台上；
取样模块设置在水平移动导轨上；水平移动导轨在取样模块完成取样后将取样模块移动至辅助检测模块的辅助取样机构上方，控制取样模块对辅助检测卷材进行取样，使复合材料的采样品被推送至第三图像采集模块的采集窗口的对应的位置。
优选的，采集窗口的位于空心柱体长度方向上的长度大于2倍的被检测的复合材料的厚度。
优选的，取样模块还包括：
采样品推出机构，设置在空心柱体的一侧；
采样品推出机构包括：
推出滑道，与空心柱体交错贯通连接；
电动推杆，设置在推出滑道内，位于空心柱体的一端；
软管，一端固定设置在推出滑道的远离电动推杆的一端，另一端连接负压产生设备。
优选的，取样模块还包括：
压力检测传感器，设置在空心柱体内部且位于空心柱体内部腔体的上端面，与控制模块电连接；
控制模块通过压力检测传感器检测采样品对空心柱体内部腔体的上端面的压力；当压力大于预设的阈值时，控制报警模块发出报警。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度学习的复合机在线质量监测系统的示意图；
图2为本发明实施例中一种取样模块的示意图；
图3为本发明实施例中一种第三图像采集模块的示意图；
图4为本发明实施例中一种采样品推出机构的示意图；
图5为本发明实施例中一种辅助取样机构的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于深度学习的复合机在线质量监测系统，如图1所示，包括：
至少一个第一图像采集模块1，用于采集压合前的基材的上表面的第一图像；
至少一个第二图像采集模块2，用于采集压合后的基材的上表面的第二图像；
图像处理模块3，分别与第一图像采集模块1和第二图像采集模块2电连接，用于将第一图像和第二图像分别输入对应的基于深度学习的神经网络，确定复合材料是否异常；
控制模块4，与图像处理模块3电连接；
报警模块5，与控制模块4电连接，用于当控制模块4接收到图像处理模块3发送的复合材料异常时，发出报警。
上述技术方案的工作原理及有益效果为：
当复合机对于两层的材料进行复合时，只需设置一个第一图像采集模块1和一个第二图像采集模块2，分别进行热压复合前的图像采集和热压复合后的图像采集；
当复合机对于多层复合材料时，分为两种情况：第一种情况为将所有的材料进行堆叠后进行热压复合；此时，就需要设置有多个第一图像采集模块1分别获取每堆叠一次采集一次热压复合前的图像，以及设置一个第二图像采集模块2采集热压复合后第二图像；第二种情况为每堆叠一次热压复合一次，此时需要设置多个第一图像采集模块1分别获取每堆叠一次采集一次热压复合前的图像，以及设置多个第二图像采集模块2采集每次热压复合后第二图像；这种情况下第一图像采集模块1和第二图像采集模块2一一对应。
图像处理模块3通过深度学习的神经网络实现对第一图像和第二图像进行分析，确定复合材料是否发生异常；异常包括褶皱、涂胶不均等；
其中，报警模块5包括：蜂鸣器、指示灯、扬声器其中一种或多种结合。
本发明的基于深度学习的复合机在线质量监测系统，实现了复合机的复合产品的在线监测，保障了复合机的有效生产。
在一个实施例中，神经网络通过如下步骤训练：
获取复合机运行过程中第一图像采集模块或第二图像采集模块采集的历史图像；通过第一图像采集模块或第二图像采集模块的历史图像进行训练，保证训练的神经网络的适用性；
对历史图像进行筛选，筛选出异常图像和正常图像；可以由工作人员进行筛选，也可以由图像筛选器进行筛选，其中图像筛选器的筛选为计算历史图像与标准图像库中标准图像的相似度，当相似度大于预设的阈值(0.95)时，确定为正常图像，否则问异常图像；其中标准图像库中标准图像为事先存储的正常图像；
接收对异常图像的异常标注；通过工作人员进行异常区域及对应的异常标注；
提取异常图像中的异常标注对应的区域，作为异常模板；
获取预设的数量的正常图像；
基于异常模板和正常图像构建训练图像；将异常模板添加进正常图像中构建训练图像；
将训练图像和异常图像存储进训练数据池；
将训练数据池中的图像均分为4份，其中三份作为训练集，另外一份作为测试集；
基于训练集和测试集，对初始神经网络模型进行训练；在训练时通过损失函数指导初始神经网络模型的训练，其中，损失函数如下：
式中，E表示损失函数；yk表示初始神经网络的输出；tk表示监督数据；k为数据的维数；
待初始神经网络模型训练收敛后，获得神经网络。
在训练时，在将训练数据池中图像进行分组时，首先分为四份数据集；将其中三份作为训练集，另外一份作为测试集；此外，为了提高训练的神经网络模型的使用效果，在将图像分为四份后，分为训练集和测试集时，通过调换作为测试集的图像所对应的数据集，实现共计获取4组训练数据；每一组训练数据训练收敛一个初始神经网络模型；将训练收敛的初始神经网络模型对评价集进行测试，获取评价数据；提取评价数据最高的神经网络作为用于第一图像采集模块或第二图像采集模块检测的神经网络。
其中，评价数据包括：识别率；即识别正确的图像数量占评价集中图像总数的比值；评价集中的图像为再次从历史图像中提取预设的第二数量的图像通过异常模板构建。
为了实现图像分析，在一个实施例中，图像处理模块3基于第一图像和第二图像，确定复合材料是否异常，执行如下操作：
对第一图像进行特征提取，获取多个第一特征值；
将多个第一特征值输入预设的第一神经网络模型；
获取第一神经模型的第一输出结果；
解析第一输出结果，确定复合材料是否异常；
和/或，
对第二图像进行特征提取，获取多个第二特征值；
将多个第二特征值输入预设的第二神经网络模型；
获取第二神经模型的第二输出结果；
解析第二输出结果，确定复合材料是否异常。
每一个第一图像采集模块1对应一个第一神经网络模型，用于分析其采集的第一图像；每一个第二图像采集模块2对应一个第二神经网络模型，用于分析其采集的第二图像；第一神经网络模型和第二神经网络模型是基于大量的数据训练构建；数据的通过前期在复合机运行的过程中采集。
在一个实施例中，基于深度学习的复合机在线质量监测系统，如图2至图5所示，还包括：
取样模块11，用于在复合机复合完成后的复合材料在被卷取为卷材之前对复合材料进行取样，获取采样品；
第三图像采集模块12，用于获取采样品侧面的放大图像；
图像处理模块3，还用于对放大图像进行分析，确定各层材料的厚度；并基于各层材料的厚度，确定是否复合材料是否异常。
上述技术方案的工作原理及有益效果为：
图像处理模块3根据第三图像采集模块12采集的采样品的侧面的放大图像进行分析，确定各层材料的厚度，便于发现复合材料中各层材料是否达到要求，主要为胶层的厚度是否符合生产规定，并且确定是否发生材料缺失、空洞等异常。其中，对放大图像进行分析，确定各层材料的厚度，主要采用图像的边缘识别，识别各层材料的边界，然后确定各层的材料的厚度。
在一个实施例中，取样模块11包括：
取样头113，用于穿刺复合材料；
空心柱体112，一端与取样头113的远离其穿刺的一端固定连接；
伸缩机构111，一端与空心柱体112的远离取样头113的一端固定连接；
在空心柱体112的一侧设置有第三图像采集模块12的安装孔。
上述技术方案的工作原理及有益效果为：
伸缩机构111伸缩带动空心柱体112和取样头113上下移动；在往下移动时，取样头113穿刺复合材料进行取样，取样的采样品留在空心柱体112内部腔体内。第三图像采集模块12通过第三图像采集模块12的安装孔位进行采样品的侧面的图像的拍摄。取样头113的边缘可以设置为弧形，便于符合材料的穿刺取样，并且弧形的设计更利于采样品停留在空心柱体112内。
在一个实施例中，第三图像采集模块12包括：
空心筒体121，一端与安装孔固定连接；
摄像机构122，设置在空心筒体121的远离空心柱体112的一端；
两个光源123，对称设置在空心筒体121两侧，光源123的光线方向与空心筒体121呈预设的角度。
上述技术方案的工作原理及有益效果为：
对称设置的光源123为摄像机构122的拍摄提供光线，并且摄像机构122的拍摄物镜或光路具有一定的放大效果，保证对采样品的侧面拍摄，并且拍摄出放大图像；其中，光源123的光线方向与与空心筒体121呈小于45度角，保证光线能够照射到安装孔处对应的取样品的侧面的图像。
在一个实施例中，取样模块11还包括：
取样平台140，上表面设置有辅助取样机构；
辅助取样机构包括：
取样槽142，内径与取样头113的外径的大小相适应；
套筒143，一端固定设置在取样槽142的槽底；
T型体141，套设在套筒143内；
复位弹簧144，设置在T型体141和取样槽142的槽底之间，套设在T型体141和套筒143的外周；
其中，T型体141的上表面设置为弧形。
上述技术方案的工作原理及有益效果为：
当取样头113穿刺复合材料时，T型体141抵住复合材料的下方，在取样头113往下运动时，取样槽142和T型体141之间的空隙与取样头113的下部边缘配合更利于采样品的切割，并且T型体141的弧形设计便于将采样品抵入空心柱体112中。
在一个实施例中，基于深度学习的复合机在线质量监测系统，还包括：辅助检测模块和水平移动导轨；
辅助检测模块包括：
检测平台，上表面也设置有辅助取样机构；
放卷机构，设置在检测平台的一侧；
收卷机构，设置在检测平台的另一侧；
辅助检测卷材，设置在放卷机构上；放卷机构和收卷机构配合实现辅助检测卷材展平在检测平台上；
取样模块11设置在水平移动导轨上；水平移动导轨在取样模块11完成取样后将取样模块11移动至辅助检测模块的辅助取样机构上方，控制取样模块11对辅助检测卷材进行取样，使复合材料的采样品被推送至第三图像采集模块12的采集窗口的对应的位置。
上述技术方案的工作原理及有益效果为：
在对复合材料进行采样后，再通过辅助检测卷材的采样，通过辅助检测卷材的采样品将复合材料的采样品送入第三图像采集模块12的采集窗口(即第三图像采集模块12安装至安装孔后所留的窗口)，实现快速监测，提高了在线监测机构的时效性；辅助检测卷材的材料可以采用颜色相较于复合材料对比较大的材料，便于图像处理模块3的图像分析。
为了便于图像处理模块3的图像分析的图像的采集，在一个实施例中，采集窗口的位于空心柱体112长度方向上的长度大于2倍的被检测的复合材料的厚度。
保证采集窗口为2倍以上的复合材料的厚度，保证复合材料监测时采样品的侧面能被采集到，提高系统的容错率，此外，还可以通过第三图像中采样品的位置判断采样系统自身是否异常，例如：计算采样品的中心距离第三图像的距离，当距离大于预设的距离阈值时，输出报警。
在一个实施例中，取样模块11还包括：
采样品推出机构13，设置在空心柱体112的一侧；
采样品推出机构13包括：
推出滑道132，与空心柱体112交错贯通连接；
电动推杆131，设置在推出滑道132内，位于空心柱体112的一端；
软管133，一端固定设置在推出滑道132的远离电动推杆131的一端，另一端连接负压产生设备。
上述技术方案的工作原理及有益效果为：
随着多次取样，采样品在空心柱体112内不断积累，为了实现连续不间断地在线取样，通过采样品推出机构13将部分采样品推出，每次推出一个复合材料的采样品和辅助检测卷材的采样品；电动推杆131可以采用电缸带动的推杆；电动推杆131从推出滑道132一侧伸长将采样品从空心柱体112的空腔内推出至软管133位置，经由负压吸出软管133；负压产生设备包括：负压腔和其连接的真空泵；真空泵对负压腔抽真空，以实现构建负压环境。
在一个实施例中，取样模块11还包括：
压力检测传感器，设置在空心柱体112内部且位于空心柱体112内部腔体的上端面，与控制模块4电连接；
控制模块4通过压力检测传感器检测采样品对空心柱体112内部腔体的上端面的压力；当压力大于预设的阈值时，控制报警模块5发出报警。
上述技术方案的工作原理及有益效果为：
通过压力检测传感器检测与采样品对空心柱体112内部腔体的压力，以实现采样动作的检测，当采样品推出机构13异常未推出后者采样的厚度不对时，及时报警并停止采样动作，保证系统的安全有效运行。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度学习的复合机在线质量监测系统，其特征在于，包括：
至少一个第一图像采集模块，用于采集压合前的基材的上表面的第一图像；
至少一个第二图像采集模块，用于采集压合后的基材的上表面的第二图像；
图像处理模块，分别与所述第一图像采集模块和所述第二图像采集模块电连接，用于将所述第一图像和所述第二图像分别输入对应的基于深度学习的神经网络，确定复合材料是否异常；
控制模块，与所述图像处理模块电连接；
报警模块，与所述控制模块电连接，用于当所述控制模块接收到所述图像处理模块发送的所述复合材料异常时，发出报警。
2.如权利要求1所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述图像处理模块将所述第一图像和所述第二图像分别输入对应的基于深度学习的神经网络，确定复合材料是否异常，执行如下操作：
对所述第一图像进行特征提取，获取多个第一特征值；
将多个所述第一特征值输入预设的第一神经网络模型；
获取所述第一神经模型的第一输出结果；
解析所述第一输出结果，确定复合材料是否异常；
和/或，
对所述第二图像进行特征提取，获取多个第二特征值；
将多个所述第二特征值输入预设的第二神经网络模型；
获取所述第二神经模型的第二输出结果；
解析所述第二输出结果，确定复合材料是否异常。
3.如权利要求1所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述神经网络通过如下步骤训练：
获取复合机运行过程中第一图像采集模块或第二图像采集模块采集的历史图像；
对所述历史图像进行筛选，筛选出异常图像和正常图像；
接收对所述异常图像的异常标注；
提取所述异常图像中的异常标注对应的区域，作为异常模板；
获取预设的数量的正常图像；
基于所述异常模板和所述正常图像构建训练图像；
将所述训练图像和所述异常图像存储进训练数据池；
将所述训练数据池中的图像均分为4份，其中三份作为训练集，另外一份作为测试集；
基于所述训练集和所述测试集，对初始神经网络模型进行训练；在训练时通过损失函数指导所述初始神经网络模型的训练，其中，损失函数如下：
式中，E表示所述损失函数；yk表示初始神经网络的输出；tk表示监督数据；k为数据的维数；
待所述初始神经网络模型训练收敛后，获得所述神经网络。
4.如权利要求1所述的基于深度学习的复合机在线质量监测系统，其特征在于，还包括：
取样模块，用于在复合机复合完成后的复合材料在被卷取为卷材之前对所述复合材料进行取样，获取采样品；
第三图像采集模块，用于获取所述采样品侧面的放大图像；
图像处理模块，还用于对所述放大图像进行分析，确定各层材料的厚度；并基于各层材料的厚度，确定是否所述复合材料是否异常。
5.如权利要求4所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述取样模块包括：
取样头，用于穿刺所述复合材料；
空心柱体，一端与所述取样头的远离其穿刺的一端固定连接；
伸缩机构，一端与所述空心柱体的远离所述取样头的一端固定连接；
在所述空心柱体的一侧设置有所述第三图像采集模块的安装孔。
6.如权利要求5所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述第三图像采集模块包括：
空心筒体，一端与所述安装孔固定连接；
摄像机构，设置在所述空心筒体的远离所述空心柱体的一端；
两个光源，对称设置在所述空心筒体两侧，所述光源的光线方向与所述空心筒体呈预设的角度。
7.如权利要求5所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述取样模块还包括：
取样平台，上表面设置有辅助取样机构；
所述辅助取样机构包括：
取样槽，内径与所述取样头的外径的大小相适应；
套筒，一端固定设置在所述取样槽的槽底；
T型体，套设在所述套筒内；
复位弹簧，设置在所述T型体和所述取样槽的槽底之间，套设在所述T型体和所述套筒的外周；
其中，所述T型体的上表面设置为弧形。
8.如权利要求5所述的基于深度学习的复合机在线质量监测系统，其特征在于，还包括：辅助检测模块和水平移动导轨；
所述辅助检测模块包括：
检测平台，上表面也设置有辅助取样机构；
放卷机构，设置在所述检测平台的一侧；
收卷机构，设置在所述检测平台的另一侧；
辅助检测卷材，设置在所述放卷机构上；所述放卷机构和所述收卷机构配合实现所述辅助检测卷材展平在所述检测平台上；
所述取样模块设置在所述水平移动导轨上；所述水平移动导轨在所述取样模块完成取样后将所述取样模块移动至辅助检测模块的辅助取样机构上方，控制所述取样模块对辅助检测卷材进行取样，使复合材料的采样品被推送至第三图像采集模块的采集窗口的对应的位置。
9.如权利要求8所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述采集窗口的位于所述空心柱体长度方向上的长度大于2倍的被检测的复合材料的厚度。
10.如权利要求5所述的基于深度学习的复合机在线质量监测系统，其特征在于，所述取样模块还包括：
采样品推出机构，设置在所述空心柱体的一侧；
所述采样品推出机构包括：
推出滑道，与所述空心柱体交错贯通连接；
电动推杆，设置在所述推出滑道内，位于所述空心柱体的一端；
软管，一端固定设置在所述推出滑道的远离所述电动推杆的一端，另一端连接负压产生设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211142425.7A CN115471481B (zh) | 2022-09-20 | 2022-09-20 | 一种基于深度学习的复合机在线质量监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211142425.7A CN115471481B (zh) | 2022-09-20 | 2022-09-20 | 一种基于深度学习的复合机在线质量监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115471481A true CN115471481A (zh) | 2022-12-13 |
| CN115471481B CN115471481B (zh) | 2023-05-02 |
Family
ID=84334115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211142425.7A Active CN115471481B (zh) | 2022-09-20 | 2022-09-20 | 一种基于深度学习的复合机在线质量监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471481B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007050539A2 (en) * | 2005-10-26 | 2007-05-03 | General Electric Company | Methods and systems for delivery of fluidic samples to sensor arrays |
| CN101074877A (zh) * | 2007-06-14 | 2007-11-21 | 南京航空航天大学 | 复合材料铺放质量视频检测系统及间隙检测方法 |
| JP2013046280A (ja) * | 2011-08-25 | 2013-03-04 | Oki Data Corp | 画像処理装置及び画像処理システム |
| CN112215047A (zh) * | 2019-07-12 | 2021-01-12 | 南京伶机宜动驱动技术有限公司 | 基于图像识别的穿刺打孔取样系统及方法 |
| CN212458963U (zh) * | 2020-07-06 | 2021-02-02 | 天水金思路工程咨询有限公司 | 一种工程监理取样设备 |
| CN113935971A (zh) * | 2021-10-18 | 2022-01-14 | 南京航空航天大学 | 一种复合材料表面缺陷的检测方法及装置 |
| CN114913129A (zh) * | 2022-04-18 | 2022-08-16 | 中航西安飞机工业集团股份有限公司 | 一种针对复合材料铺放缺陷识别定位系统 |
-
2022
- 2022-09-20 CN CN202211142425.7A patent/CN115471481B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007050539A2 (en) * | 2005-10-26 | 2007-05-03 | General Electric Company | Methods and systems for delivery of fluidic samples to sensor arrays |
| CN101074877A (zh) * | 2007-06-14 | 2007-11-21 | 南京航空航天大学 | 复合材料铺放质量视频检测系统及间隙检测方法 |
| JP2013046280A (ja) * | 2011-08-25 | 2013-03-04 | Oki Data Corp | 画像処理装置及び画像処理システム |
| CN112215047A (zh) * | 2019-07-12 | 2021-01-12 | 南京伶机宜动驱动技术有限公司 | 基于图像识别的穿刺打孔取样系统及方法 |
| CN212458963U (zh) * | 2020-07-06 | 2021-02-02 | 天水金思路工程咨询有限公司 | 一种工程监理取样设备 |
| CN113935971A (zh) * | 2021-10-18 | 2022-01-14 | 南京航空航天大学 | 一种复合材料表面缺陷的检测方法及装置 |
| CN114913129A (zh) * | 2022-04-18 | 2022-08-16 | 中航西安飞机工业集团股份有限公司 | 一种针对复合材料铺放缺陷识别定位系统 |
Non-Patent Citations (2)
| Title |
|---|
| ABTIN DJAVADIFAR, JOHN BRANDON GRAHAM-KNIGHT, MARIAN KӦRBER, PATRICIA LASSERRE & HOMAYOUN NAJJARAN: "Automated visual detection of geometrical defects in composite manufacturing processes using deep convolutional neural networks" * |
| 杨婷婷: "基于机器视觉的卷烟成型纸的粘合剂质量检测系统研究" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115471481B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108296406A (zh) | 智能铆接系统 | |
| CN109360186A (zh) | 锂电池隔膜检测方法、电子设备、存储介质及系统 | |
| CN109712162B (zh) | 一种基于投影直方图差异的线缆字符缺陷检测方法和装置 | |
| CN206057203U (zh) | 一种印刷产品抽检机 | |
| CN112016409A (zh) | 一种基于深度学习的工步规范视觉识别判定方法及系统 | |
| CN201464382U (zh) | 基于计算机视觉的铝箔缺陷检测系统 | |
| CN110942450A (zh) | 一种基于深度学习的多生产流水线实时缺陷检测方法 | |
| US20220176667A1 (en) | Forming or separating device, and method for operating same | |
| CN114019572A (zh) | 一种基于多摄像机融合的x光安检方法及安检装置 | |
| CN113723325A (zh) | 一种装配式预制构件的工装缺陷检测系统 | |
| CN110458814A (zh) | 一种木材单板缺陷的检测方法、装置及系统 | |
| CN109499907A (zh) | 一种自动圆柱薄片工件厚度分选机 | |
| CN204954989U (zh) | 钻孔机 | |
| CN115239711A (zh) | 一种缝制设备的在线运行异常识别系统 | |
| CN208019356U (zh) | 智能铆接系统 | |
| CN115471481A (zh) | 一种基于深度学习的复合机在线质量监测系统 | |
| CN217180660U (zh) | 矿浆品位仪 | |
| CN201821892U (zh) | 烟支在线检测仪 | |
| KR20200033300A (ko) | 충돌 및 천공 저항을 분석하기 위한 디바이스 | |
| CN102331426B (zh) | 一种检测吸嘴故障的方法及其装置 | |
| CN109879089A (zh) | 一种腐蚀箔表面实时监控预警和除尘的系统及方法 | |
| CN114863084B (zh) | 一种基于深度学习目标检测的铭牌识别及挂靠设备 | |
| CN114463618A (zh) | 一种基于动态人脸识别的人物同检系统、方法及人脸动态识别方法 | |
| CN113723841A (zh) | 一种装配式预制构件中工装缺失的在线检测方法 | |
| CN111795680A (zh) | 一种高速线性钻孔机的重孔检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20221213 Assignee: DONGTAI GAOKE TECHNOLOGY INNOVATION PARK Co.,Ltd. Assignor: YANCHENG INSTITUTE OF TECHNOLOGY Contract record no.: X2024980001369 Denomination of invention: A Deep Learning Based Online Quality Monitoring System for Composite Machines Granted publication date: 20230502 License type: Common License Record date: 20240124 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: DONGTAI GAOKE TECHNOLOGY INNOVATION PARK Co.,Ltd. Assignor: YANCHENG INSTITUTE OF TECHNOLOGY Contract record no.: X2024980001369 Date of cancellation: 20240407 |