CN117495938B - 一种基于图像处理的可折叠中空板生产数据提取方法 - Google Patents

一种基于图像处理的可折叠中空板生产数据提取方法 Download PDF

Info

Publication number
CN117495938B
CN117495938B CN202410001170.5A CN202410001170A CN117495938B CN 117495938 B CN117495938 B CN 117495938B CN 202410001170 A CN202410001170 A CN 202410001170A CN 117495938 B CN117495938 B CN 117495938B
Authority
CN
China
Prior art keywords
crease
depth
image
data
hot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410001170.5A
Other languages
English (en)
Other versions
CN117495938A (zh
Inventor
史法龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Lile New Material Research Institute Co ltd
Original Assignee
Shandong Lile New Material Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Lile New Material Research Institute Co ltd filed Critical Shandong Lile New Material Research Institute Co ltd
Priority to CN202410001170.5A priority Critical patent/CN117495938B/zh
Publication of CN117495938A publication Critical patent/CN117495938A/zh
Application granted granted Critical
Publication of CN117495938B publication Critical patent/CN117495938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数据提取技术领域，本发明公开了一种基于图像处理的可折叠中空板生产数据提取方法；包括：采集可折叠中空板的烫纹折痕图像，预处理获取折痕图像数据集；训练第一折痕深度预测模型；采集烫痕操作数据和环境数据；获取环境影响系数；利用环境影响系数进行修正处理；得到修正烫痕操作数据；训练第二折痕深度预测模型；将预测的折痕第一深度与预测的折痕第二深度进行加权融合，得到烫纹折痕最终预测深度值；预设折痕深度阈值区间，判断烫纹折痕最终预测深度值是否在预设的折痕深度阈值区间，得到判断结果；根据判断结果进行数据提取保存操作，具有质量判断能力强、质量风险防控水平高、对生产效率提升作用显著的优点。

Description

一种基于图像处理的可折叠中空板生产数据提取方法
技术领域
本发明涉及数据提取技术领域，更具体地说，本发明涉及一种基于图像处理的可折叠中空板生产数据提取方法。
背景技术
申请公开号为CN112256679A的专利公开了一种批生产的时序数据特征提取方法。一种批生产的时序数据特征提取方法，包括以下步骤：S1、数据获取，从数据源获取目标批次的过程数据X；S2、数据清洗，遍历各个变量并定位质量差的数据点，将定位到的质量差数据的变量剔除；S3、数据分割，根据目标对象的实际意义和分析需求并利用现有变量；S4、变量筛选，根据目标对象的实际意义和分析需求进行分析变量的筛选；S5、特征指标确定，根据目标对象的实际意义和分析需求确定描述单个变量特征的指标；S6、特征矩阵构建。本发明提供了一种压缩数据量、保留过程特征、可减少后续分析工作的运算压力的批生产的时序数据特征提取方法。
自动化生产可折叠中空板的过程中,质量判断和控制是确保产品交付量和合格率的关键环节；目前,生产线上的质量判断主要依赖人工抽检的方式对折痕深度进行检测,这不仅检测精度难以保证,也无法对全流程进行质量把控；特别的,在烫痕工序中,环境温度的波动常常导致相同烫痕参数下折痕深度不同;而现有的简单判断机制无法将这种环境影响因素考虑进去,经常出现质量标准前后不一致的情况；此外,对判定为不合格的部分产品,也没有建立系统的追踪记录和分析机制,相关质量数据无法有效利用,下一步的质量改进就缺乏数据支撑；这影响到产品合格率达标、交付期限保障和生产转换效率的提升。
鉴于此，本发明提出一种基于图像处理的可折叠中空板生产数据提取方法以解决上述问题。
发明内容
为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种基于图像处理的可折叠中空板生产数据提取方法，包括：S1、采集可折叠中空板的烫纹折痕图像，将烫纹折痕图像进行预处理，获取折痕图像数据集；
S2、利用折痕图像数据集训练用于预测折痕第一深度的第一折痕深度预测模型；
S3、采集烫痕操作数据和环境数据；将环境数据处理得到环境影响系数；利用环境影响系数将烫痕操作数据进行修正处理；得到修正烫痕操作数据；
S4、利用修正烫痕操作数据训练用于预测折痕第二深度的第二折痕深度预测模型；
S5、将第一折痕深度预测模型预测的折痕第一深度与第二折痕深度预测模型预测的折痕第二深度进行加权融合，得到烫纹折痕最终预测深度值；
S6、预设折痕深度阈值区间，判断烫纹折痕最终预测深度值是否在预设的折痕深度阈值区间，得到判断结果；根据判断结果进行数据提取保存操作。
进一步地，所述步骤S1，包括：
使用工业相机采集n种不同折痕形态的烫纹折痕图像；
所述将烫纹折痕图像进行预处理的方式包括：
将n种不同折痕形态的烫纹折痕图像构成原始折痕图像数据集；对原始折痕图像数据集内的烫纹折痕图像进行裁剪和旋转校正，得到初处理折痕图像数据集；
所述裁剪和旋转校正方式包括：
设置烫纹折痕图像的裁剪区域框的左上角坐标（x1,y1）和右下角坐标（x2,y2），将裁剪区域框作为感兴趣区域；使用OpenCV或其他图像处理库中的crop函数提取出烫纹折痕图像的感兴趣区域；得到预裁剪折痕图像数据集；
对预裁剪折痕图像数据集设置旋转中心点坐标（x,y）和旋转角度angle；使用OpenCV函数内的旋转函数rotate对预裁剪折痕图像数据集内的图像按照旋转中心点坐标（x,y）和旋转角度angle进行图像旋转；得到初处理折痕图像数据集；
获取初处理折痕图像数据集内图像的宽度和高度；设置图像目标宽度和图像目标高度；使用OpenCV函数内的resize函数按照图像目标宽度和图像目标高度调整初处理折痕图像数据集内图像到统一大小；得到预统一折痕图像数据集；
设置无效区域的像素值区间；利用图像处理函数，基于预设的像素值区间，通过阈值分割的方式提取预统一折痕图像数据集内图像的有效区域；
创建与原始图像大小相同的掩码，在掩码上用提取的有效区域位置设置通道值；并利用掩码保留原始图像中有效区域，删除无效区域，得到仅包括折痕掩码区域的图像，即折痕图像；所有折痕图像构成中处理折痕图像数据集；
进一步地，所述折痕图像数据集的获取方式包括：
使用相位差分析算法标注中处理折痕图像数据集内图像的折痕深度像素值，将折痕深度像素值作为折痕深度标签；将标注了折痕深度标签的折痕图像构建为折痕图像数据集；
所述相位差分析算法包括：
在折痕掩码区域内，提取N条相邻的光条纹信号；计算相邻条纹之间在水平方向上的位移量；
根据位移量计算得到相位差/>；相位差公式为/>，其中，/>为条纹频率；
利用相位差得到相位与深度之间的对应关系，利用相位与深度之间的对应关系建立相位－深度映射；
根据折痕图像数据集内图像的每个像素点的相位信息，查找相位－深度映射得到每个像素点对应的深度值；
构建折痕区域的三维点云，对三维点云中属于折痕区域的点，提取其深度值；遍历图像的所有像素点的深度值，找到数值最大的深度值；将该最大的深度值作为对应折痕图像的折痕深度像素值；
进一步地，所述第一折痕深度预测模型的训练方式包括：
将折痕图像数据集划分为j%的训练集和（1-j）%的验证集；
基于训练集，建立GAN深度网络模型；GAN深度网络模型包括生成器网络和判别器网络；
所述生成器网络包括编码器和解码器；
编码器用于加载预训练好的Inception V3模型，Inception V3模型包括卷积层、池化层和全局平均池化层；
将折痕图像输入Inception V3模型中，并依次通过卷积层和池化层，得到图像深层特征；全局平均池化层将图像深层特征处理并输出折痕图像的折痕特征向量；
解码器包括全连接层和f个模块化可分离卷积层；将编码器输出的折痕图像特征向量，作为解码器的输入；通过全连接层将折痕图像特征向量扩张为固定长度的编码器－解码器特征向量；依次通过f个模块化可分离卷积层，逐步放大编码器－解码器特征向量所表示的特征图的分辨率；在最后一个可分离卷积层，计算特征图像素位置对应的编码器－解码器特征向量，并映射到该特征图像素位置对应的折痕深度值；输出映射有折痕深度值的特征图，作为解码器预测输出的折痕深度图像；
所述判别器网络包括卷积块、空洞卷积块和正则化层，对折痕深度图像真伪进行判断，并输出折痕深度图像的二分类结果；二分类结果包括真实折痕和生成折痕；
初始化生成器网络和判别器网络的参数；从训练集中随机采样一批折痕图像；生成器网络生成一批假的折痕深度图像；判别器网络分别输入真实折痕图像和假折痕图像，输出其判断为真实折痕的概率；根据判别损失函数计算判别器网络的判别损失；根据生成损失函数计算生成器网络的生成损失；
判别损失函数；
生成损失函数；
式中，为第/>个真实折痕图像；/>是判别器判断/>为真实图像的概率；为是生成器生成的第/>个假折痕图像；/>是判别器判断/>为真实图像的概率；
通过梯度下降法更新判别器网络和生成器网络的参数；通过m轮迭代训练，直到判别器网络和生成器网络的参数趋于稳定，达到纳什均衡；得到第一折痕深度预测模型。
进一步地，所述烫痕操作数据包括烫痕温度、烫痕时间、烫痕压力和材料类型数据；
烫痕温度和烫痕压力通过烫痕工具的操作页面获取，烫痕时间通过计时器获取；材料类型数据通过查阅材料标识获取；
所述环境数据包括环境温度、环境湿度和环境振幅；
环境温度通过安装在烫痕操作间的温度传感器获取；环境湿度通过安装在烫痕操作间的湿度传感器获取；环境振幅通过安装在烫痕操作间烫痕台的振动传感器获取；
环境影响系数；
式中，为环境温度，/>为参考温度，/>为环境湿度，/>为参考相对湿度，/>为环境振幅，/>为参考振幅，/>、/>和/>为调控系数；
进一步地，所述修正处理包括：
采用温度修正公式对烫痕温度进行温度修正；
温度修正公式为：；式中，/>为修正后的烫痕温度；/>为修正前的烫痕温度；
采用时间修正公式对烫痕时间进行时间修正；
时间修正公式为：；式中，/>为修正后的烫痕时间；/>为修正前的烫痕时间；
采用压力修正公式对烫痕压力进行压力修正；
压力修正公式为：；/>为修正后的烫痕压力；/>为修正前的烫痕压力；
修正烫痕操作数据包括修正后的烫痕温度、修正后的烫痕压力/>、修正后的烫痕时间/>和材料类型数据。
进一步地，所述第二折痕深度预测模型的训练方式包括：
构建修正烫痕操作数据集，修正烫痕操作数据集包括修正烫痕操作数据和第二折痕深度标签；
第二折痕深度标签的获取方式为通过在生产过程中运用烫痕操作数据，对可折叠中空板进行烫痕，通过拍摄图像并运用相位差分析算法，获取烫痕操作数据对应的折痕深度，作为对应的第二折痕深度标签；
将修正烫痕操作数据集按固定比例划分操作训练集和操作验证集；利用PyTorch框架，构建推理神经网络；推理神经网络包括输入层、编码器、解码器、注意力层和输出层；
输入层用于输入操作训练集；编码器包括两层双向GRU，用于输出编码器特征；解码器包括两层前向GRU，用于基于编码器特征，预测对应的折痕深度值；注意力层用于实现软性注意力机制，学习编码器特征与解码器不同时间步特征的相关性，综合编码器特征与解码器进行折痕深度预测；输出层为一个线性全连接层，用于输出折痕深度回归预测值；
定义平均绝对误差作为损失函数；
损失函数；
其中，为样本数量，/>为预测深度，/>为真实深度；
利用Adam优化算法计算损失函数关于推理神经网络参数的梯度；保存/>在验证集上函数值最小的推理神经网络的参数，即完成推理神经网络的构建；得到第二折痕深度预测模型；
进一步地，所述加权融合的方式包括：
将折痕第一深度记为，折痕第二深度记为/>；计算折痕第一深度/>的平均值和折痕第二深度/>的平均值/>；计算折痕第一深度/>的标准差/>和折痕第二深度的标准差/>；
利用映射公式将折痕第一深度和折痕第二深度/>映射到0-1范围内，
映射公式包括映射公式和/>映射公式；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第一深度；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第二深度；
利用加权公式将折痕第一深度和折痕第二深度/>进行加权；得到加权后的预测深度/>；
加权公式为；式中，/>和/>为权重系数；且；/>；
计算加权后的预测深度的平均值/>和标准差/>；利用反标准化映射公式将加权后的预测深度/>映射到原始深度值的范围；
反标准化映射公式为；/>即为烫纹折痕最终预测深度值；
进一步地，所述步骤S6，包括：
根据产品的折叠性能指标，确定折痕深度的目标值T；根据生产过程中的误差分析，计算出折痕深度的允许正负误差范围E；折痕深度阈值区间的下限为T-E，上限为T+E；则折痕深度阈值区间为[T-E,T+E];
所述误差分析包括：
收集x组历史折痕深度实测数据，每组历史折痕深度实测数据包括k批可折叠中空板产品中的一批可折叠中空板产品的设计折痕深度值和实际测得的折痕深度值/>；计算每组历史折痕深度实测数据的深度偏差/>；利用正态分布拟合深度偏差，得出深度偏差的平均值/>和标准差/>；则定义允许正负误差范围/>；
所述判断结果为真数据或假数据；当df∈[T-E,T+E]时，则判断结果为真数据；当df∉[T-E,T+E]时，则判断结果为假数据；
保存判断结果以及判断结果对应的多异构数据至烫痕工作数据库；多异构数据包括烫纹折痕最终预测深度值、烫痕操作数据、环境数据、判断时间和产品批次编码信息；
所述判断时间的获取通过调用系统时间，通过程序语言的时间函数获取当前时刻，作为判断时间；
所述产品批次编码信息的获取方式包括：
在可折叠中空板进入生产线时，为每批可折叠中空板产品打印唯一批次编码；在判断时间时，获取产品的唯一批次编码作为产品批次信息。
本发明一种基于图像处理的可折叠中空板生产数据提取方法的技术效果和优点：
本发明通过图像处理与质量预测相结合、环境参数修正与判断机制的有机融合，实现了对折叠中空板产品折痕质量精确而全面地判定与控制；该方法增强了折痕深度信息的获取精度，提高了考虑环境影响因素的质量预测准确性，并通过数据提取与保存形成质量改进与过程优化的数据基础；这不仅大幅提升了产品的质量稳定性与生产的精益化水平，还在一定程度上促进了制造企业智能化和数字化转型；总体而言，本发明具有质量判断提升能力强、质量风险防控水平高、对生产效率提升作用显著的优点。
附图说明
图1为本发明的一种基于图像处理的可折叠中空板生产数据提取方法示意图；
图2为本发明的裁剪区域框示意图；
图3为本发明的光栅投影仪照射示折痕掩码区域表面意图；
图4为本发明的一种基于图像处理的可折叠中空板生产数据提取系统示意图；
图5为本发明的电子设备示意图；
图6为本发明的存储介质示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1所示，本实施例所述一种基于图像处理的可折叠中空板生产数据提取方法，包括：
S1、采集可折叠中空板的烫纹折痕图像，将烫纹折痕图像进行预处理，获取折痕图像数据集；
S2、利用折痕图像数据集训练用于预测折痕第一深度的第一折痕深度预测模型；
S3、采集烫痕操作数据和环境数据；将环境数据处理得到环境影响系数；利用环境影响系数将烫痕操作数据进行修正处理；得到修正烫痕操作数据；
S4、利用修正烫痕操作数据训练用于预测折痕第二深度的第二折痕深度预测模型；
S5、将第一折痕深度预测模型预测的折痕第一深度与第二折痕深度预测模型预测的折痕第二深度进行加权融合，得到烫纹折痕最终预测深度值；
S6、预设折痕深度阈值区间，判断烫纹折痕最终预测深度值是否在预设的折痕深度阈值区间，得到判断结果；根据判断结果进行数据提取保存操作；
进一步的，所述步骤S1，包括：
使用工业相机采集n种不同折痕形态的烫纹折痕图像；
所述将烫纹折痕图像进行预处理的方式包括：
将n种不同折痕形态的烫纹折痕图像构成原始折痕图像数据集；对原始折痕图像数据集内的烫纹折痕图像进行裁剪和旋转校正，得到初处理折痕图像数据集；
所述裁剪和旋转校正方式包括：
设置烫纹折痕图像的裁剪区域框的左上角坐标（x1,y1）和右下角坐标（x2,y2），如图2所示，将裁剪区域框作为感兴趣区域；使用OpenCV或其他图像处理库中的crop函数提取出烫纹折痕图像的感兴趣区域；得到预裁剪折痕图像数据集；
对预裁剪折痕图像数据集设置旋转中心点坐标（x,y）和旋转角度angle；使用OpenCV函数内的旋转函数rotate对预裁剪折痕图像数据集内的图像按照旋转中心点坐标（x,y）和旋转角度angle进行图像旋转；得到初处理折痕图像数据集；
获取初处理折痕图像数据集内图像的宽度和高度；设置图像目标宽度和图像目标高度；使用OpenCV函数内的resize函数按照图像目标宽度和图像目标高度调整初处理折痕图像数据集内图像到统一大小；得到预统一折痕图像数据集；
设置无效区域像素值的上下限范围，即为无效区域的像素值区间；利用图像处理函数，基于预设的像素值区间，通过阈值分割的方式提取预统一折痕图像数据集内图像的有效区域；
创建与原始图像大小相同的掩码，在掩码上用提取的有效区域位置设置通道值；并利用掩码保留原始图像中有效区域，删除无效区域，得到仅包括折痕掩码区域的图像，即折痕图像；所有折痕图像构成中处理折痕图像数据集；
需要说明的是，像素值区间的获取为手工标注一定数量的图像，确定折痕区域和非折痕区域，统计两个区域的像素值范围；折痕区域的像素值区间为[a,b]，非折痕区域的像素值区间为[c,d]；无效区域的像素值区间为[c,d]；利用OpenCV中的threshold函数实现阈值分割；基于无效像素值区间[c,d]，将小于c的值设置为0，将大于d的值设置为255；
创建掩码保留有效区域的实现过程如下：
创建一个与原始图像大小相同，全为0的背景图像mask；在mask上，使用二值化得到的二值图（折痕区域外为255）作为筛选条件，将满足筛选条件的位置的mask通道值设置为1；则掩码中通道值为1的区域为无效区域；利用掩码mask对原始图像按位域操作，该操作将保留原始值的部分，删除设置为0的部分；
掩码是一个与原始图像大小相同的图像，其中的像素值表示了对应的原始图像中的区域是否需要保留；
所述折痕图像数据集的获取方式包括：
使用相位差分析算法标注中处理折痕图像数据集内图像的折痕深度像素值，将折痕深度像素值作为折痕深度标签；将标注了折痕深度标签的折痕图像构建为折痕图像数据集；
所述相位差分析算法包括：
在折痕掩码区域内，提取N条相邻的光条纹信号；计算相邻条纹之间在水平方向上的位移量；
根据位移量计算得到相位差/>；相位差公式为/>，其中，/>为条纹频率；
利用相位差得到相位与深度之间的对应关系，利用相位与深度之间的对应关系建立相位－深度映射；
对应关系的建立根据光学原理或经验模型，建立相位差Δφ和深度值之间的一个对应关系，也就是相位值和深度值之间的一个映射关系；就是相位与深度之间的对应关系；利用相位与深度之间的对应关系建立相位－深度映射是根据相位和深度之间的对应关系，建立一个查找表或函数，输入相位值，输出对应的深度值；即为相位－深度映射；
每个像素点的相位信息的获取方式如下：
在提取的光条纹信号中，通过图像处理的方法，测量每个像素点所在位置的条纹之间的位移量ΔL；然后通过公式Δφ=2π×ΔL/Y计算出每个像素点的相位差Δφ，即相位信息；查找相位-深度映射得到每个像素点对应的深度值；
根据前面建立的相位－深度映射，将每个像素点的相位差 Δφ 作为输入，查找映射关系，得到输出的深度值，作为该像素点的深度值。
根据折痕图像数据集内图像的每个像素点的相位信息，查找相位－深度映射得到每个像素点对应的深度值；
构建折痕区域的三维点云，对三维点云中属于折痕区域的点，提取其深度值；遍历图像的所有像素点的深度值，找到数值最大的深度值；将该最大的深度值作为对应折痕图像的折痕深度像素值；
需要说明的是，光条纹信号是指投射到被测物体表面的光栅条纹；在获取烫纹折痕图像时，通过使用光栅投影仪来投射均匀分布的条纹光栅到折痕区域表面实现获取的图像为存在光条纹信号的烫纹折痕图像；如图3所示；
条纹频率Y是指相邻条纹之间的间距，也就是条纹的密度；提取光条纹信号的方法是在折痕区域选取N条相邻的条纹，记录其图像灰度变化；或者在不同方向上切割条纹，得到条纹剖面，记录剖面曲线；
构建三维点云的方法是将折痕区域内的每个像素点作为一个三维点，其中X、Y坐标来自该像素点的图像坐标，Z坐标即为相位信息计算得到的深度值；然后组织这些点构成描述折痕区域三维几何结构的点云；
进一步的，所述第一折痕深度预测模型的训练方式包括：
将折痕图像数据集划分为j%的训练集和（1-j）%的验证集；
基于训练集，建立面向折痕深度预测的GAN深度网络模型；GAN深度网络模型包括生成器网络和判别器网络；
所述生成器网络包括编码器和解码器；
编码器加载预训练好的Inception V3模型，Inception V3模型包括卷积层、池化层和全局平均池化层；
将折痕图像输入Inception V3模型中，依次通过卷积层和池化层，得到图像深层特征；全局平均池化层将图像深层特征处理输出折痕图像的折痕特征向量；
解码器包括全连接层和f个模块化可分离卷积层；将编码器输出的折痕图像特征向量，作为解码器的输入；通过全连接层将折痕图像特征向量扩张为固定长度的编码器－解码器特征向量；依次通过f个模块化可分离卷积层，逐步放大编码器－解码器特征向量所表示的特征图的分辨率，进行上采样；在最后一个可分离卷积层，计算特征图像素位置对应的编码器－解码器特征向量，并映射到该特征图像素位置对应的折痕深度值；输出映射有折痕深度值的特征图，作为解码器预测输出的折痕深度图像；
所述判别器网络包括卷积块、空洞卷积块和正则化层，对折痕深度图像真伪进行判断，并输出折痕深度图像的二分类结果；二分类结果包括真实折痕和生成折痕；
需要说明的是，输出真实折痕还是生成折痕的判别结果，其目的是提供判别器判别真伪的损失函数，供网络训练时的参数优化；具体来说，判别器的判别结果有以下几种情况：
1.将真实折痕图像判断为真实的；
2.将真实折痕图像判断为生成的，将产生真实图像被误判的损失；
3.将生成的折痕图像判断为生成的；
4.将生成的折痕图像判断为真实的，将产生生成图像被误判的损失；
预训练好的Inception V3模型可以从开源模型仓库中获取，例如，TensorFlowHub；这些预训练模型都是在大规模数据集；例如，ImageNet上训练得到的，能够提取图像的通用特征；直接加载了预训练好的Inception V3模型来使用，作为编码器的一部分，利用模型提取折痕图像的特征向量；
初始化生成器网络和判别器网络的参数；例如可以随机初始化或采用预训练网络的部分参数；
从训练集中随机采样一批折痕图像；生成器网络生成一批假的折痕深度图像；判别器网络分别输入真实折痕图像和假折痕图像，输出其判断为真实折痕的概率；根据判别损失函数计算判别器网络的判别损失；根据生成损失函数计算生成器网络的生成损失；
判别损失函数；
生成损失函数；
两式中，为第/>个真实折痕图像；/>是判别器判断/>为真实图像的概率；/>为是生成器生成的第/>个假折痕图像；/>是判别器判断/>为真实图像的概率；
通过梯度下降法更新判别器网络和生成器网络的参数；通过m轮迭代训练，直到判别器网络和生成器网络的参数趋于稳定，达到纳什均衡；得到第一折痕深度预测模型；此时生成器网络可以生成足以欺骗判别器网络的高质量的折痕图像；
需要说明的是，梯度下降法是神经网络训练过程中用于优化参数的方法；其基本思想是计算损失函数关于网络参数的梯度，然后在梯度方向上更新参数，使损失函数值下降，逐步逼近损失函数的最小值；
具体来说，假设生成器网络和判别器网络的参数分别为θg,θd。则每一步训练会：计算判别器损失函数Ld关于θd的梯度grad_θd Ld；按照grad_θd Ld的方向更新θd，使Ld下降；计算生成器损失函数Lg关于θg的梯度grad_θg Lg；按照grad_θg Lg的方向更新θg，使Lg下降；重复这一过程，通过损失函数梯度迭代更新参数，逐步提升模型性能；
纳什均衡是指生成器网络和判别器网络达到动态平衡的状态，生成器生成的假样本用于欺骗判别器；而判别器用于区分真实样本和生成样本；当训练迭代一定轮数后，达到均衡；
所述烫痕操作数据包括烫痕温度、烫痕时间、烫痕压力和材料类型数据；
烫痕温度和烫痕压力通过烫痕工具的操作页面获取，烫痕时间通过计时器获取；材料类型数据通过查阅材料标识获取；
所述环境数据包括环境温度、环境湿度和环境振幅；
环境温度通过安装在烫痕操作间的温度传感器获取；环境湿度通过安装在烫痕操作间的湿度传感器获取；环境振幅通过安装在烫痕操作间烫痕台的振动传感器获取；
环境影响系数；
式中，为环境温度，/>为参考温度，/>为环境湿度，/>为参考相对湿度，/>为环境振幅，/>为参考振幅，/>、/>和/>为调控系数；
其中，设置产品折痕深度的标准允许波动范围；例如，正负0.2毫米；从生产过程的历史数据中筛选出折痕深度位于允许波动范围内的一组数据；统计符合标准的数据所对应的环境温度、环境湿度和环境振幅；
计算所有符合标准的数据所对应的环境温度、环境湿度和环境振幅；的中位数或平均值，作为参考温度、参考相对湿度和参考振幅；
调控系数、/>和/>的获取方式包括：
通过回归分析和最小二乘法来拟合实验数据实现的；其中，实验数据为在实验环境中获取的多组环境数据；
需要说明的是，使用最小二乘法进行拟合数据；最小二乘法的目标是最小化模型预测值与实际观测值之间的差异的平方和；可以使用数学软件或编程语言来执行这个拟合；在上述过程中，调整、/>和/>的值，使得模型的预测值与实际观测值的误差最小，可以通过迭代算法来实现，不断调整/>、/>和/>的值，直到找到最小误差；最小二乘法可以使用统计软件或编程语言，如PyThon的SciTy库或MATLAB等，来执行拟合操作；/>
进一步的，所述修正处理包括：
采用温度修正公式对烫痕温度进行温度修正；
温度修正公式为：；式中，/>为修正后的烫痕温度；/>为修正前的烫痕温度；
采用时间修正公式对烫痕时间进行时间修正；
时间修正公式为：；式中，/>为修正后的烫痕时间；/>为修正前的烫痕时间；
采用压力修正公式对烫痕压力进行压力修正；
压力修正公式为：；/>为修正后的烫痕压力；/>为修正前的烫痕压力；
修正烫痕操作数据包括修正后的烫痕温度、修正后的烫痕压力/>、修正后的烫痕时间/>和材料类型数据；
进一步的，所述第二折痕深度预测模型的训练方式包括：
构建修正烫痕操作数据集，修正烫痕操作数据集包括修正烫痕操作数据和第二折痕深度标签；
第二折痕深度标签的获取方式为通过在生产过程中运用烫痕操作数据，对可折叠中空板进行烫痕，通过拍摄图像并运用相位差分析算法，获取烫痕操作数据对应的折痕深度，作为对应的第二折痕深度标签；
将修正烫痕操作数据集按固定比例划分操作训练集和操作验证集；例如，80%训练集和20%验证集；
利用PyTorch框架，构建推理神经网络；
推理神经网络包括输入层、编码器、解码器、注意力层和输出层；
输入层用于输入操作训练集；编码器包括两层双向GRU，用于学习输入操作数据的特征表示，输出编码器特征；双向GRU可以抓取输入序列正反两个方向的上下文信息；解码器包括两层前向GRU，在不同的时间步上，基于编码器特征，预测对应的折痕深度值；注意力层用于实现软性注意力机制，学习编码器特征与解码器不同时间步特征的相关性，综合编码器特征与解码器进行折痕深度预测；输出层为一个线性全连接层，用于输出折痕深度回归预测值；
需要说明的是，双向GRU是一种RNN结构，双向GRU包括正向GRU和反向GRU，用于同时捕获序列前向和后向的上下文信息；前向GRU包括正向的GRU，只能捕捉前向上下文信息；
通过一定计算，获得编码器各部分特征与当前解码器隐藏状态相关性的权重分布，作为软性注意力权重，指导解码器聚焦编码器信息的哪些部分；
定义平均绝对误差作为损失函数，计算预测输出的预测深度与真实折痕的真实深度之间的平均绝对误差；/>
损失函数；
其中，为样本数量，/>为预测深度，/>为真实深度；
利用Adam优化算法计算损失函数关于推理神经网络参数的梯度；具体而言，Adam优化算法利用损失函数的一阶矩估计和二阶矩估计动态调整推理神经网络每个参数的学习率；
例如，对于推理神经网络的参数，计算其梯度/>，以及梯度/>的一阶矩估计/>和二阶矩估计/>；然后计算偏置校正后的一阶矩估计/>和二阶矩估计/>；利用自适应学习率，根据/>和/>更新参数/>；
计算得到的损失函数梯度方向相反，以固定学习率进行参数更新，使的函数值降低，逐步逼近损失函数的最小值；
例如，对于参数，更新公式为下一代/>；其中，/>为全局学习率，/>,/>来自Adam算法，/>为常数；
保存在验证集上函数值最小的推理神经网络的参数，即完成推理神经网络的构建；得到第二折痕深度预测模型；
进一步的，所述加权融合的方式包括：
将折痕第一深度记为，折痕第二深度记为/>；计算折痕第一深度/>的平均值和折痕第二深度/>的平均值/>；计算折痕第一深度/>的标准差/>和折痕第二深度的标准差/>；
利用映射公式将折痕第一深度和折痕第二深度/>映射到0-1范围内，
映射公式包括映射公式和/>映射公式；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第一深度；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第二深度；
利用加权公式将折痕第一深度和折痕第二深度/>进行加权；得到加权后的预测深度/>；
加权公式为；式中，/>和/>为权重系数；且；/>；
计算加权后的预测深度的平均值/>和标准差/>；利用反标准化映射公式将加权后的预测深度/>映射到原始深度值的范围；
反标准化映射公式为；/>即为烫纹折痕最终预测深度值；
需要说明的是，通过互补权重系数的方式将两个深度预测值之间的关系能够相互制约和调节；若深度预测得更准，则权重/>会较大，/>的影响较小；反之亦然；
进一步的，所述步骤S6，包括：
根据产品的折叠性能指标，确定折痕深度的目标值T；根据生产过程中的误差分析，计算出折痕深度的允许正负误差范围E；折痕深度阈值区间的下限为T-E，上限为T+E；则折痕深度阈值区间为[T-E,T+E];
所述误差分析包括：
收集x组历史折痕深度实测数据，每组历史折痕深度实测数据包括k批可折叠中空板产品中的一批可折叠中空板产品的设计折痕深度值和实际测得的折痕深度值/>；计算每组历史折痕深度实测数据的深度偏差/>；利用正态分布拟合深度偏差，得出深度偏差的平均值/>和标准差/>；则定义允许正负误差范围/>；
需要说明的是，根据三西格玛原则，深度偏差会在区间[,/>]覆盖超过99%的可能取值；则深度误差的上下限为/>；
进一步的，所述判断结果为真数据或假数据；当df∈[T-E,T+E]时，则判断结果为真数据；当df∉[T-E,T+E]时，则判断结果为假数据；
保存判断结果以及判断结果对应的多异构数据至烫痕工作数据库；必要时供工作人员在自动化生产过程中进行参考；
多异构数据包括烫纹折痕最终预测深度值、烫痕操作数据、环境数据、判断时间和产品批次编码信息；
所述判断时间的获取通过调用系统时间，通过程序语言的时间相关函数获取当前时刻，作为判断时间；例如Python中的time/datetime模块；
所述产品批次编码信息的获取方式包括：
在可折叠中空板进入生产线时，为每批可折叠中空板产品打印唯一批次编码；唯一批次编码为条形码或RFID标签；在判断时间时，获取产品的唯一批次编码作为产品批次信息；
本实施例通过图像处理与质量预测相结合、环境参数修正与判断机制的有机融合，实现了对折叠中空板产品折痕质量精确而全面地判定与控制；该方法增强了折痕深度信息的获取精度，提高了考虑环境影响因素的质量预测准确性，并通过数据提取与保存形成质量改进与过程优化的数据基础；这不仅大幅提升了产品的质量稳定性与生产的精益化水平，还在一定程度上促进了制造企业智能化和数字化转型；总体而言，本实施例具有质量判断提升能力强、质量风险防控水平高、对生产效率提升作用显著的优点。
实施例2
请参阅图4所示，本实施例未详细叙述部分见实施例1描述内容，提供一种基于图像处理的可折叠中空板生产数据提取系统，包括：
图像采集处理模块，用于采集可折叠中空板的烫纹折痕图像，将历史烫纹折痕图像进行预处理，获取折痕图像数据集；
第一机器训练模块，用于利用折痕图像数据集训练用于预测折痕第一深度的第一折痕深度预测模型；
采集修正模块，用于采集烫痕操作数据和环境数据；将环境数据处理得到环境影响系数；利用环境影响系数将烫痕操作数据进行修正处理；得到修正烫痕操作数据；
第二机器训练模块，用于利用修正烫痕操作数据训练用于预测折痕第二深度的第二折痕深度预测模型；
深度获取模块，用于将第一折痕深度预测模型预测的折痕第一深度与第二折痕深度预测模型预测的折痕第二深度进行加权融合，得到烫纹折痕最终预测深度值；
数据分析提取模块，用于预设折痕深度阈值区间，判断烫纹折痕最终预测深度值是否在预设的折痕深度阈值区间，得到判断结果；根据判断结果进行数据提取保存操作；各个模块之间通过有线和/或无线的方式进行连接，实现模块间的数据传输。
实施例3
请参阅图5所示，根据本申请的又一方面还提供了电子设备。该电子设备可包括输入设备、运算器、控制器、主存储器和输出设备。其中，主存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的一种基于图像处理的可折叠中空板生产数据提取方法。
根据本申请实施方式的方法或系统也可以借助于图5所示的电子设备的架构来实现。如图5所示，电子设备可输入设备、运算器、控制器、主存储器和输出设备等。电子设备中的存储设备，例如ROM503或硬盘可存储本申请提供的一种基于图像处理的可折叠中空板生产数据提取方法。进一步地，电子设备还可包括用户界面。当然，图5所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图5示出的电子设备中的一个或多个组件。
实施例4
请参阅图6所示，是根据本申请一个实施方式的计算机可读存储介质600。计算机可读存储介质600上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本申请实施方式的一种基于图像处理的可折叠中空板生产数据提取方法。存储介质600包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器（RAM）和高速缓冲存储器（cache）等。非易失性存储器例如可包括只读存储器（ROM）、硬盘、闪存等。

Claims (8)

1.一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，包括：S1、采集可折叠中空板的烫纹折痕图像，将烫纹折痕图像进行预处理，获取折痕图像数据集；
S2、利用折痕图像数据集训练用于预测折痕第一深度的第一折痕深度预测模型；
S3、采集烫痕操作数据和环境数据；将环境数据处理得到环境影响系数；利用环境影响系数将烫痕操作数据进行修正处理；得到修正烫痕操作数据；
S4、利用修正烫痕操作数据训练用于预测折痕第二深度的第二折痕深度预测模型；
S5、将第一折痕深度预测模型预测的折痕第一深度与第二折痕深度预测模型预测的折痕第二深度进行加权融合，得到烫纹折痕最终预测深度值；
S6、预设折痕深度阈值区间，判断烫纹折痕最终预测深度值是否在预设的折痕深度阈值区间，得到判断结果；根据判断结果进行数据提取保存操作；
所述第一折痕深度预测模型的训练方式包括：
将折痕图像数据集划分为j%的训练集和（1-j）%的验证集；
基于训练集，建立GAN深度网络模型；GAN深度网络模型包括生成器网络和判别器网络；
所述生成器网络包括编码器和解码器；
编码器用于加载预训练好的Inception V3模型，Inception V3模型包括卷积层、池化层和全局平均池化层；
将折痕图像输入Inception V3模型中，并依次通过卷积层和池化层，得到图像深层特征；全局平均池化层将图像深层特征处理并输出折痕图像的折痕特征向量；
解码器包括全连接层和f个模块化可分离卷积层；将编码器输出的折痕图像特征向量，作为解码器的输入；通过全连接层将折痕图像特征向量扩张为固定长度的编码器－解码器特征向量；依次通过f个模块化可分离卷积层，逐步放大编码器－解码器特征向量所表示的特征图的分辨率；在最后一个可分离卷积层，计算特征图像素位置对应的编码器－解码器特征向量，并映射到该特征图像素位置对应的折痕深度值；输出映射有折痕深度值的特征图，作为解码器预测输出的折痕深度图像；
所述判别器网络包括卷积块、空洞卷积块和正则化层，对折痕深度图像真伪进行判断，并输出折痕深度图像的二分类结果；二分类结果包括真实折痕和生成折痕；
初始化生成器网络和判别器网络的参数；从训练集中随机采样一批折痕图像；生成器网络生成一批假的折痕深度图像；判别器网络分别输入真实折痕图像和假折痕图像，输出其判断为真实折痕的概率；根据判别损失函数计算判别器网络的判别损失；根据生成损失函数计算生成器网络的生成损失；
判别损失函数；
生成损失函数；
式中，为第/>个真实折痕图像；/>是判别器判断/>为真实图像的概率；为是生成器生成的第/>个假折痕图像；/>是判别器判断/>为真实图像的概率；
通过梯度下降法更新判别器网络和生成器网络的参数；通过m轮迭代训练，直到判别器网络和生成器网络的参数趋于稳定，达到纳什均衡；得到第一折痕深度预测模型；
所述第二折痕深度预测模型的训练方式包括：
构建修正烫痕操作数据集，修正烫痕操作数据集包括修正烫痕操作数据和第二折痕深度标签；
第二折痕深度标签的获取方式为通过在生产过程中运用烫痕操作数据，对可折叠中空板进行烫痕，通过拍摄图像并运用相位差分析算法，获取烫痕操作数据对应的折痕深度，作为对应的第二折痕深度标签；
将修正烫痕操作数据集按固定比例划分操作训练集和操作验证集；利用PyTorch框架，构建推理神经网络；推理神经网络包括输入层、编码器、解码器、注意力层和输出层；
输入层用于输入操作训练集；编码器包括两层双向GRU，用于输出编码器特征；解码器包括两层前向GRU，用于基于编码器特征，预测对应的折痕深度值；注意力层用于实现软性注意力机制，学习编码器特征与解码器不同时间步特征的相关性，综合编码器特征与解码器进行折痕深度预测；输出层为一个线性全连接层，用于输出折痕深度回归预测值；
定义平均绝对误差作为损失函数；
损失函数；
其中，为样本数量，/>为预测深度，/>为真实深度；
利用Adam优化算法计算损失函数关于推理神经网络参数的梯度；保存/>在验证集上函数值最小的推理神经网络的参数，即完成推理神经网络的构建；得到第二折痕深度预测模型。
2.根据权利要求1所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述步骤S1，包括：
使用工业相机采集n种不同折痕形态的烫纹折痕图像；
所述将烫纹折痕图像进行预处理的方式包括：
将n种不同折痕形态的烫纹折痕图像构成原始折痕图像数据集；对原始折痕图像数据集内的烫纹折痕图像进行裁剪和旋转校正，得到初处理折痕图像数据集；
所述裁剪和旋转校正方式包括：
设置烫纹折痕图像的裁剪区域框的左上角坐标（x1,y1）和右下角坐标（x2,y2），将裁剪区域框作为感兴趣区域；使用OpenCV或其他图像处理库中的crop函数提取出烫纹折痕图像的感兴趣区域；得到预裁剪折痕图像数据集；
对预裁剪折痕图像数据集设置旋转中心点坐标（x,y）和旋转角度angle；使用OpenCV函数内的旋转函数rotate对预裁剪折痕图像数据集内的图像按照旋转中心点坐标（x,y）和旋转角度angle进行图像旋转；得到初处理折痕图像数据集；
获取初处理折痕图像数据集内图像的宽度和高度；设置图像目标宽度和图像目标高度；使用OpenCV函数内的resize函数按照图像目标宽度和图像目标高度调整初处理折痕图像数据集内图像到统一大小；得到预统一折痕图像数据集；
设置无效区域的像素值区间；利用图像处理函数，基于预设的像素值区间，通过阈值分割的方式提取预统一折痕图像数据集内图像的有效区域；
创建与原始图像大小相同的掩码，在掩码上用提取的有效区域位置设置通道值；并利用掩码保留原始图像中有效区域，删除无效区域，得到仅包括折痕掩码区域的图像，即折痕图像；所有折痕图像构成中处理折痕图像数据集。
3.根据权利要求2所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述折痕图像数据集的获取方式包括：
使用相位差分析算法标注中处理折痕图像数据集内图像的折痕深度像素值，将折痕深度像素值作为折痕深度标签；将标注了折痕深度标签的折痕图像构建为折痕图像数据集；
所述相位差分析算法包括：
在折痕掩码区域内，提取N条相邻的光条纹信号；计算相邻条纹之间在水平方向上的位移量；
根据位移量计算得到相位差/>；相位差公式为/>，其中，/>为条纹频率；
利用相位差得到相位与深度之间的对应关系，利用相位与深度之间的对应关系建立相位－深度映射；
根据折痕图像数据集内图像的每个像素点的相位信息，查找相位－深度映射得到每个像素点对应的深度值；
构建折痕区域的三维点云，对三维点云中属于折痕区域的点，提取其深度值；遍历图像的所有像素点的深度值，找到数值最大的深度值；将该最大的深度值作为对应折痕图像的折痕深度像素值。
4.根据权利要求3所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述烫痕操作数据包括烫痕温度、烫痕时间、烫痕压力和材料类型数据；
烫痕温度和烫痕压力通过烫痕工具的操作页面获取，烫痕时间通过计时器获取；材料类型数据通过查阅材料标识获取。
5.根据权利要求4所述的一种基于图像处理的可折叠中空板生产数据提取方法，所述环境数据包括环境温度、环境湿度和环境振幅；
环境温度通过安装在烫痕操作间的温度传感器获取；环境湿度通过安装在烫痕操作间的湿度传感器获取；环境振幅通过安装在烫痕操作间烫痕台的振动传感器获取；
环境影响系数；
式中，为环境温度，/>为参考温度，/>为环境湿度，/>为参考相对湿度，为环境振幅，/>为参考振幅，/>、/>和/>为调控系数。
6.根据权利要求5所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述修正处理包括：
采用温度修正公式对烫痕温度进行温度修正；
温度修正公式为：；式中，/>为修正后的烫痕温度；/>为修正前的烫痕温度；
采用时间修正公式对烫痕时间进行时间修正；
时间修正公式为：；式中，/>为修正后的烫痕时间；/>为修正前的烫痕时间；
采用压力修正公式对烫痕压力进行压力修正；
压力修正公式为：；/>为修正后的烫痕压力；/>为修正前的烫痕压力；
修正烫痕操作数据包括修正后的烫痕温度、修正后的烫痕压力/>、修正后的烫痕时间/>和材料类型数据。
7.根据权利要求6所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述加权融合的方式包括：
将折痕第一深度记为，折痕第二深度记为/>；计算折痕第一深度/>的平均值/>和折痕第二深度/>的平均值/>；计算折痕第一深度/>的标准差/>和折痕第二深度/>的标准差/>；
利用映射公式将折痕第一深度和折痕第二深度/>映射到0-1范围内，
映射公式包括映射公式和/>映射公式；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第一深度；
映射公式为/>；其中，/>为映射到0-1范围内的折痕第二深度；
利用加权公式将折痕第一深度和折痕第二深度/>进行加权；得到加权后的预测深度/>；
加权公式为；式中，/>和/>为权重系数；且/>；；
计算加权后的预测深度的平均值/>和标准差/>；利用反标准化映射公式将加权后的预测深度/>映射到原始深度值的范围；
反标准化映射公式为；/>即为烫纹折痕最终预测深度值。
8.根据权利要求7所述的一种基于图像处理的可折叠中空板生产数据提取方法，其特征在于，所述步骤S6，包括：
根据产品的折叠性能指标，确定折痕深度的目标值T；根据生产过程中的误差分析，计算出折痕深度的允许正负误差范围E；折痕深度阈值区间的下限为T-E，上限为T+E；则折痕深度阈值区间为[T-E,T+E];
所述误差分析包括：
收集x组历史折痕深度实测数据，每组历史折痕深度实测数据包括k批可折叠中空板产品中的一批可折叠中空板产品的设计折痕深度值和实际测得的折痕深度值/>；计算每组历史折痕深度实测数据的深度偏差/>；利用正态分布拟合深度偏差，得出深度偏差的平均值/>和标准差/>；则定义允许正负误差范围/>；
所述判断结果为真数据或假数据；当df∈[T-E,T+E]时，则判断结果为真数据；当df∉[T-E,T+E]时，则判断结果为假数据；
保存判断结果以及判断结果对应的多异构数据至烫痕工作数据库；多异构数据包括烫纹折痕最终预测深度值、烫痕操作数据、环境数据、判断时间和产品批次编码信息；
所述判断时间的获取通过调用系统时间，通过程序语言的时间函数获取当前时刻，作为判断时间；
所述产品批次编码信息的获取方式包括：
在可折叠中空板进入生产线时，为每批可折叠中空板产品打印唯一批次编码；在判断时间时，获取产品的唯一批次编码作为产品批次信息。
CN202410001170.5A 2024-01-02 2024-01-02 一种基于图像处理的可折叠中空板生产数据提取方法 Active CN117495938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410001170.5A CN117495938B (zh) 2024-01-02 2024-01-02 一种基于图像处理的可折叠中空板生产数据提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410001170.5A CN117495938B (zh) 2024-01-02 2024-01-02 一种基于图像处理的可折叠中空板生产数据提取方法

Publications (2)

Publication Number Publication Date
CN117495938A CN117495938A (zh) 2024-02-02
CN117495938B true CN117495938B (zh) 2024-04-16

Family

ID=89671218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410001170.5A Active CN117495938B (zh) 2024-01-02 2024-01-02 一种基于图像处理的可折叠中空板生产数据提取方法

Country Status (1)

Country Link
CN (1) CN117495938B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321785A (zh) * 2019-05-09 2019-10-11 北京尚文金泰教育科技有限公司 一种引入ResNet深度学习网络构建皮纹分类预测模型的方法
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN111583253A (zh) * 2020-05-16 2020-08-25 郑州蓝智枫智能科技有限公司 基于深度学习的纺织品折痕检测方法
CN112270078A (zh) * 2020-10-16 2021-01-26 西南科技大学 一种脆性材料多道次纳米划痕深度预测的方法
CN112801895A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于二阶段注意力机制gan网络图像修复算法
CN113076876A (zh) * 2021-04-02 2021-07-06 华南理工大学 一种基于三维结构监督和置信度加权的人脸欺骗检测方法
CN113989295A (zh) * 2021-09-14 2022-01-28 上海市第六人民医院 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
CN114417993A (zh) * 2022-01-18 2022-04-29 北京航空航天大学 一种基于深度卷积神经网络和图像分割的划痕检测方法
WO2022100419A1 (zh) * 2020-11-10 2022-05-19 华为技术有限公司 一种图像处理方法及相关设备
CN115205278A (zh) * 2022-08-02 2022-10-18 昆山斯沃普智能装备有限公司 一种电动汽车底盘划痕检测方法和系统
CN115356223A (zh) * 2022-10-20 2022-11-18 中国矿业大学(北京) 基于高温高压划痕测量页岩脆性指数连续剖面的装置及方法
KR20230009641A (ko) * 2021-07-09 2023-01-17 한국전력공사 구조물의 균열 탐지 방법
WO2023014369A1 (en) * 2021-08-06 2023-02-09 Siemens Corporation Synthetic dataset creation for object detection and classification with deep learning
CN116468769A (zh) * 2023-03-08 2023-07-21 北京理工大学 一种基于图像的深度信息估计方法
CN116894187A (zh) * 2023-07-12 2023-10-17 山东省计算中心（国家超级计算济南中心） 一种基于深度迁移学习的齿轮箱故障诊断方法
KR102617312B1 (ko) * 2023-09-07 2023-12-27 (주)바이브컴퍼니 CA-TimeGAN 모델 및 Residual CNN-LSTM 모델로 지하 공동구 온도변화를 예측하는 방법

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN110321785A (zh) * 2019-05-09 2019-10-11 北京尚文金泰教育科技有限公司 一种引入ResNet深度学习网络构建皮纹分类预测模型的方法
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN111583253A (zh) * 2020-05-16 2020-08-25 郑州蓝智枫智能科技有限公司 基于深度学习的纺织品折痕检测方法
CN112270078A (zh) * 2020-10-16 2021-01-26 西南科技大学 一种脆性材料多道次纳米划痕深度预测的方法
WO2022100419A1 (zh) * 2020-11-10 2022-05-19 华为技术有限公司 一种图像处理方法及相关设备
CN112801895A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于二阶段注意力机制gan网络图像修复算法
CN113076876A (zh) * 2021-04-02 2021-07-06 华南理工大学 一种基于三维结构监督和置信度加权的人脸欺骗检测方法
KR20230009641A (ko) * 2021-07-09 2023-01-17 한국전력공사 구조물의 균열 탐지 방법
WO2023014369A1 (en) * 2021-08-06 2023-02-09 Siemens Corporation Synthetic dataset creation for object detection and classification with deep learning
CN113989295A (zh) * 2021-09-14 2022-01-28 上海市第六人民医院 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统
CN114417993A (zh) * 2022-01-18 2022-04-29 北京航空航天大学 一种基于深度卷积神经网络和图像分割的划痕检测方法
CN115205278A (zh) * 2022-08-02 2022-10-18 昆山斯沃普智能装备有限公司 一种电动汽车底盘划痕检测方法和系统
CN115356223A (zh) * 2022-10-20 2022-11-18 中国矿业大学(北京) 基于高温高压划痕测量页岩脆性指数连续剖面的装置及方法
CN116468769A (zh) * 2023-03-08 2023-07-21 北京理工大学 一种基于图像的深度信息估计方法
CN116894187A (zh) * 2023-07-12 2023-10-17 山东省计算中心（国家超级计算济南中心） 一种基于深度迁移学习的齿轮箱故障诊断方法
KR102617312B1 (ko) * 2023-09-07 2023-12-27 (주)바이브컴퍼니 CA-TimeGAN 모델 및 Residual CNN-LSTM 모델로 지하 공동구 온도변화를 예측하는 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于特征融合的指节折痕识别算法研究;徐娟;罗荣芳;;机电工程技术;20150831;44(第08期);正文 *
羽毛杆折痕自动识别方法;岳洪伟;汪仁煌;张晶华;何最红;;计算机工程与设计;20131216(第12期);正文 *

Also Published As

Publication number Publication date
CN117495938A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN109934121B (zh) 一种基于YOLOv3算法的果园行人检测方法
CN108241870B (zh) 用于分配测量数据内特定的感兴趣类别的方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
Wells III Statistical object recognition
CN112085024A (zh) 一种罐表面字符识别方法
KR20190070514A (ko) 격자지도 생성 장치 및 방법
CN112862757A (zh) 一种基于计算机视觉技术的重量评估系统及实现方法
US5274715A (en) Characterizing image texture
CN111950396A (zh) 一种仪表读数神经网络识别方法
CN111239684A (zh) 一种基于YoloV3深度学习的双目快速距离测量方法
CN112884820A (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
CN111860197A (zh) 基于多光谱多模的低慢小目标感知方法及系统
CN108319954A (zh) 一种无接触测重方法
CN117495938B (zh) 一种基于图像处理的可折叠中空板生产数据提取方法
CN115953604B (zh) 一种不动产地理信息测绘数据采集方法
CN116612382A (zh) 一种城市遥感图像目标检测方法和装置
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
CN115630660A (zh) 基于卷积神经网络的条码定位方法和装置
CN115775220A (zh) 使用多个机器学习程序检测图像中的异常的方法和系统
CN113487374A (zh) 一种基于5g网络的区块电商平台交易系统
Xu et al. Research on monocular vision distance measurement algorithm based on reference target
CN115457494A (zh) 基于红外图像和深度信息融合的物体识别方法及其系统
CN111951287A (zh) 一种二维码检测和识读方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant