CN116665138B - 一种汽车配件冲压加工视觉检测方法及系统 - Google Patents
一种汽车配件冲压加工视觉检测方法及系统 Download PDFInfo
- Publication number
- CN116665138B CN116665138B CN202310952657.7A CN202310952657A CN116665138B CN 116665138 B CN116665138 B CN 116665138B CN 202310952657 A CN202310952657 A CN 202310952657A CN 116665138 B CN116665138 B CN 116665138B
- Authority
- CN
- China
- Prior art keywords
- stamping
- image
- images
- similarity
- corresponding relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 title abstract description 11
- 230000000007 visual effect Effects 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 56
- 238000004080 punching Methods 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000011179 visual inspection Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21C—MANUFACTURE OF METAL SHEETS, WIRE, RODS, TUBES OR PROFILES, OTHERWISE THAN BY ROLLING; AUXILIARY OPERATIONS USED IN CONNECTION WITH METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL
- B21C51/00—Measuring, gauging, indicating, counting, or marking devices specially adapted for use in the production or manipulation of material in accordance with subclasses B21B - B21F
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及冲压监测技术领域，具体公开了一种汽车配件冲压加工视觉检测方法及系统，所述方法包括根据预设的高速相机获取预设数量的冲压周期内的冲压图像组；对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；根据所述样本集训练得到神经网络识别模型；实时采集音频信息，根据音频信息选取训练好的神经网络识别模型。本发明根据高速相机预先采集冲压样本图像，对冲压样本图像进行DCT变换，按顺序提取冲压样本图像中的重要信息，然后，根据不同的截取尺寸，截取重要信息，训练神经网络模型，得到不同精度的识别模型，在实际应用中，根据音频异常与否，选取不同精度的识别模型，极大地降低了识别资源消耗量。
Description
技术领域
本发明涉及冲压监测技术领域，具体是一种汽车配件冲压加工视觉检测方法及系统。
背景技术
汽车冲压件，顾名思义，就是构成汽车零部件的金属冲压件。在汽车冲压件中，一部分经冲压后直接成为汽车零部件，另一部分经冲压后还需经过焊接、或机械加工、或油漆等工艺加工后才能成为汽车零部件。
随着智能化车间的普及，冲压过程逐渐标准化及智能化，采用同一冲压设备，可以不断的重复相同的冲压工作，快速地对原料进行冲压，在这一过程中，工作人员只需要远程监控即可；现有的智能设备的稳定性很高，工作人员的大部分监控时间都是“无效的”，也即，观察到问题的机率极低，但是监控过程又是不可或缺的，因此，相关的工作人员的工作重要且枯燥。
为解决这一问题，现有技术中增设了智能检测设备，但是，现有的智能检测设备的精度是固定的，对所有阶段均采用同一精度的监控，监控资源消耗量大，资源利用率不高；如何在进一步优化现有的视觉检测系统是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种汽车配件冲压加工视觉检测方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种汽车配件冲压加工视觉检测方法，所述方法包括：
根据预设的高速相机获取预设数量的冲压周期内的冲压图像组；
对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签；
根据所述样本集训练得到含有精度标签的神经网络识别模型；
实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别。
作为本发明进一步的方案：所述对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集的步骤包括：
根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系；
依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵；
根据所述相似度矩阵确定各个时域对应关系下的标准图像；
根据时域对应关系的时间顺序统计标准图像，建立样本集。
作为本发明进一步的方案：所述依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵的步骤包括：
根据时间顺序依次选取时域对应关系；
基于所述时域对应关系在各个冲压图像组中选取冲压图像；
对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分；
将单元切分后的子图像输入预设的变换公式，得到转换矩阵；
以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系；
比对所述目标子块，得到任意两个冲压图像的相似度；
统计所有冲压图像之间的相似度，得到相似度矩阵。
作为本发明进一步的方案：所述对所述冲压图像进行颜色空间转换的过程为：
；
式中，R、G、B分别为冲压图像中的RGB值，Y用于表征冲压图像的明视度、亮度和灰度，U用于表征色调，V用于表征饱合度；
所述变换公式为：
；
式中，为点（x,y）的参数，包括Y、U和V；/>为转换后的点（x,y）对应的值；
其中，；
；
。
作为本发明进一步的方案：所述根据所述相似度矩阵确定各个时域对应关系下的标准图像的步骤包括：
依次在相似度矩阵中提取冲压图像与其他冲压图像之间的相似度数组；所述相似度数组为相似度矩阵的行向量；
计算相似度数组的均值、标准差和预设数量的极值，将所述均值、标准差和预设数量的极值输入预设的评分公式，得到价值分；
根据所述价值分选取标准图像。
作为本发明进一步的方案：所述实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别的步骤包括：
实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值；
根据所述异常值选取不同精度的神经网络识别模型；
基于选取到的神经网络识别模型对当前冲压图像进行识别。
本发明技术方案还提供了一种汽车配件冲压加工视觉检测系统，所述系统包括：
图像组采集模块，用于根据预设的高速相机获取预设数量的冲压周期内的冲压图像组；
样本集建立模块，用于对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签；
模型训练模块，用于根据所述样本集训练得到含有精度标签的神经网络识别模型；
识别执行模块，用于实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别。
作为本发明进一步的方案：所述样本集建立模块包括：
对应关系确定单元，用于根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系；
相似度计算单元，用于依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵；
标准图像确定单元，用于根据所述相似度矩阵确定各个时域对应关系下的标准图像；
标准图像统计单元，用于根据时域对应关系的时间顺序统计标准图像，建立样本集。
作为本发明进一步的方案：所述相似度计算单元包括：
第一选取子单元，用于根据时间顺序依次选取时域对应关系；
第二选取子单元，用于基于所述时域对应关系在各个冲压图像组中选取冲压图像；
转换切分子单元，用于对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分；
图像变换子单元，用于将单元切分后的子图像输入预设的变换公式，得到转换矩阵；
截取子单元，用于以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系；
比对子单元，用于比对所述目标子块，得到任意两个冲压图像的相似度；
矩阵生成子单元，用于统计所有冲压图像之间的相似度，得到相似度矩阵。
作为本发明进一步的方案：所述识别执行模块包括：
异常判定单元，用于实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值；
异常应用单元，用于根据所述异常值选取不同精度的神经网络识别模型；
模型应用单元，用于基于选取到的神经网络识别模型对当前冲压图像进行识别。
与现有技术相比，本发明的有益效果是：本发明根据高速相机预先采集冲压样本图像，对冲压样本图像进行DCT变换，按顺序提取冲压样本图像中的重要信息，然后，根据不同的截取尺寸，截取重要信息，训练神经网络模型，得到不同精度的识别模型，在实际应用中，根据音频异常与否，选取不同精度的识别模型，极大地降低了识别资源消耗量，提高了资源利用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为汽车配件冲压加工视觉检测方法的流程框图。
图2为汽车配件冲压加工视觉检测方法的第一子流程框图。
图3为汽车配件冲压加工视觉检测方法的第二子流程框图。
图4为汽车配件冲压加工视觉检测方法的第三子流程框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为汽车配件冲压加工视觉检测方法的流程框图，本发明实施例中，一种汽车配件冲压加工视觉检测方法，所述方法包括：
步骤S100：根据预设的高速相机获取预设数量的冲压周期内的冲压图像组。
在现有的智能化生产车间中，各零件的冲压过程会逐步标准化，标准化的含义就是，对于每个零件，都采用相同的冲压流程，来保证成品的一致性；每个零件对应一个冲压周期。
进一步的，所述高速相机是工业相机的一种，一般高速相机指的是数字工业相机，其一般安装在机器流水线上代替人眼来做测量和判断，通过数字图像摄取目标转换成图像信号，传送给专用的图像处理系统。高速相机相比于普通相机，具有高图像稳定性、高传输能力和高抗干扰能力等。
当冲压流程相同时，高速相机在各个冲压周期内采集到的图像数量几乎是相同的，如果数量上存在大的差异，那么就说明某个冲压周期内存在异常，此时，可以直接生成警示信息。
步骤S200：对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签。
步骤S300：根据所述样本集训练得到含有精度标签的神经网络识别模型。
一个冲压周期对应一个冲压图像组，借助图像处理技术对冲压图像进行转换，将冲压图像中重要的信息提取出来；为了提高识别速度，本发明技术方案根据转换后的冲压图像建立样本集，由建立的样本集训练神经网络识别模型，神经网络识别模型训练完成后，直接应用神经网络识别模型，即可对当前的冲压图像进行识别。
值得一提的是，从冲压图像中提取的信息越多，对应的神经网络识别模型的识别能力越强，训练速度及识别速度越低；在此基础上，根据不同的提取信息量，训练多个不同精度的神经网络识别模型，有选择式的应用不同精度的神经网络识别模型，进而平衡识别速度和识别精度之间的关系。
步骤S400：实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别。
在实际应用过程中，实时采集冲压过程的音频信息，借助现有的音频信息识别技术（音频识别的识别量小，识别速度快，反映灵敏），对冲压过程的音频信息进行识别，可以初步判断是否存在异常，如果不存在杂音，就使用精度较低的神经网络识别模型对冲压过程进行识别，如果识别到杂音，就采用精度较高的神经网络识别模型进行识别。
需要说明的是，音频识别过程只需要识别是否存在杂音，识别要求很低，精度要求不高，现有的音频信息识别技术完全可以胜任。
具体的，上述音频识别过程实际上与车载音频识别过程非常相似，车载音频识别过程识别的是某些关键字，比如“打开天窗”，而本发明技术方案识别的是“杂音”，因此，两者可以采用同一设计逻辑进行设计，具体包括：
1、由工作人员录制“杂音”，获取“杂音”的音频段。
2、在音频段中引入噪声，将音频段数量扩充为原来的10倍。
3、当获取到实际音频时，判断实际音频中是否出现上述音频段即可，比对过程可以采用随机采样的方式，也即，选取预设数量的点位，比对点位处的导数（变化情况）是否接近，如果接近的点位数量足够多，就认为出现了音频率对应的杂音。
总而言之，音频识别过程在现有技术中存在类似的应用，不是本发明技术方案的重点，本领域技术人员可以完成或至少能轻松找到相关服务（第三方服务），因此，本发明技术方案不再赘述。
图2为汽车配件冲压加工视觉检测方法的第一子流程框图，所述对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集的步骤包括：
步骤S201：根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系。
不同冲压周期是相似的，各个冲压图像之间存在时间上的对应关系，所述时间上的对应关系指的是相对时刻相同，也即，相对于冲压周期起点的相对时刻相同。
步骤S202：依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵。
提取同一相对时刻下，所有冲压周期内的冲压图像，一个相对时刻，对应一组冲压图像；比对其两两之间的相似度，采用矩阵的形式进行表示，所述矩阵称为相似度矩阵。
步骤S203：根据所述相似度矩阵确定各个时域对应关系下的标准图像。
对所述相似度矩阵进行分析，可以在多个冲压图像中选取最具有代表性的一个冲压图像，称为标准图像；一个相对时刻对应一个标准图像。
步骤S204：根据时域对应关系的时间顺序统计标准图像，建立样本集。
根据相对时刻（时域对应关系）的时间顺度，统计所有标准图像，可以建立样本集。
图3为汽车配件冲压加工视觉检测方法的第二子流程框图，所述依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵的步骤包括：
步骤S2021：根据时间顺序依次选取时域对应关系。
先确定一个待分析的相对时刻。
步骤S2022：基于所述时域对应关系在各个冲压图像组中选取冲压图像。
在各个冲压图像组中提取所述待分析的相对时刻对应的冲压图像。
步骤S2023：对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分。
对选取到的冲压图像进行颜色空间转换，颜色空间转换的目的是在尽量保证细节的同时，降低冲压图像的数据量，比如，将RGB图像转换为灰度图像；颜色空间转换完成后，对冲压图像进行单元切分，切分过程由工作人员预先设定，一般情况下，会将图像切分为多个8×8的小单元（子图像）。
步骤S2024：将单元切分后的子图像输入预设的变换公式，得到转换矩阵。
将单元切分后得到的子图像输入预设的变换公式，可以得到转换后的子图像，再对转换后的子图像进行处理，可以得到整体图像；图像本身可以理解为一个矩阵，因此，将处理生成的整体图像称为转换矩阵。所述变换公式的目的是，提取子图像中的重要信息。
步骤S2025：以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系。
在本发明技术方案的一个实例中，采用DCT变换原理对子图像进行变换，变换后的图像，其重要内容（低频信号）一般会尽量集成在左上角区域，因此，以左上角为基点，在矩阵中进行数据截取，截取的内容越多，截取内容的表达能力越强。也即，不同递增尺寸，对应的表达能力不同，训练生成的神经网络模型的精度不同。
步骤S2026：比对所述目标子块，得到任意两个冲压图像的相似度。
在一个递增尺寸下，可以提取到多个目标子块，比对多个目标子块，得到的比对结果视为对应的两个冲压图像的相似度；递增尺寸越大，相似度计算过程越准确。
步骤S2027：统计所有冲压图像之间的相似度，得到相似度矩阵。
统计所有冲压图像之间的相似度，可以得到相似度矩阵；值得一提的是，所述相似度矩阵一般是对称矩阵；举例如下：
；
矩阵中，各行数和列数均代表第几个冲压图像。
具体的，所述对所述冲压图像进行颜色空间转换的过程为：
。
式中，R、G、B分别为冲压图像中的RGB值，Y用于表征冲压图像的明视度、亮度和灰度，U用于表征色调，V用于表征饱合度。
上述内容就是简单的色值转换过程，采用不同的标准对各像素点进行转换。YUV的某些格式，和RGB比起来，其数据量要少很多。比如YUV420，每个像素需要一个Y，每4个像素需要一个U/V，因此一个8*8图像块，数据量只要8x8x3/2 = 96byte。而RGB需要8x8x3 =192byte，由此可见，少了一半的数据量。
进一步的，所述变换公式为：
。
式中，为点（x,y）的参数，包括Y、U和V；/>为转换后的点（x,y）对应的值。
其中，；
；
。
在本发明技术方案的一个实例中，在单元为8×8尺寸的基础上，对变化过程进行了限定，为点（x,y）的参数，包括Y值、U值和V值。其原理可以参考二维DCT离散余弦变换原理，经处理后，图像中较为重要的信息会在左上角集中。
作为本发明技术方案的一个优选实施例，所述根据所述相似度矩阵确定各个时域对应关系下的标准图像的步骤包括：
依次在相似度矩阵中提取冲压图像与其他冲压图像之间的相似度数组；所述相似度数组为相似度矩阵的行向量。
计算相似度数组的均值、标准差和预设数量的极值，将所述均值、标准差和预设数量的极值输入预设的评分公式，得到价值分。
根据所述价值分选取标准图像。
参考上述相似度矩阵，对相似度矩阵的处理过程是一个统计学问题，每一行元素代表着第i个冲压图像和其他所有冲压图像之间的相似度，均值越高，代表该冲压图像与所有冲压图像都是相似的，标准差越小，代表该冲压图像与其他冲压图像的相似度越稳定，在此基础上，结合相似度极值及其数量，可以判断出哪些冲压图像可能存在异常。
总而言之，工作人员预先根据均值、标准差和预设数量的极值设定一个参数条件，由参数条件即可在多个冲压图像中，选取出最具代表性的冲压图像；一般情况下，所述参数条件就是一些阈值。
图4为汽车配件冲压加工视觉检测方法的第三子流程框图，所述实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别的步骤包括：
步骤S401：实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值。
步骤S402：根据所述异常值选取不同精度的神经网络识别模型。
步骤S403：基于选取到的神经网络识别模型对当前冲压图像进行识别。
上述内容是具体的应用过程，在神经网络识别模型训练完成的基础上，基于音频信息选取不同的神经网络识别模型并进行应用，即可对当前冲压图像进行识别。
需要说明的是，由于音频和视频在时域可能存在一定差异（音速与光速差异较大），在实际应用中，可以引入一个偏差时间，当音频信息异常时，对所述偏差时间前的冲压图像进行高精度识别。
在本发明技术方案一个优选实施例中，一种汽车配件冲压加工视觉检测系统，所述系统包括：
图像组采集模块，用于根据预设的高速相机获取预设数量的冲压周期内的冲压图像组。
样本集建立模块，用于对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签。
模型训练模块，用于根据所述样本集训练得到含有精度标签的神经网络识别模型；
识别执行模块，用于实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别。
进一步的，所述样本集建立模块包括：
对应关系确定单元，用于根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系。
相似度计算单元，用于依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵。
标准图像确定单元，用于根据所述相似度矩阵确定各个时域对应关系下的标准图像。
标准图像统计单元，用于根据时域对应关系的时间顺序统计标准图像，建立样本集。
具体的，所述相似度计算单元包括：
第一选取子单元，用于根据时间顺序依次选取时域对应关系。
第二选取子单元，用于基于所述时域对应关系在各个冲压图像组中选取冲压图像。
转换切分子单元，用于对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分。
图像变换子单元，用于将单元切分后的子图像输入预设的变换公式，得到转换矩阵。
截取子单元，用于以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系。
比对子单元，用于比对所述目标子块，得到任意两个冲压图像的相似度。
矩阵生成子单元，用于统计所有冲压图像之间的相似度，得到相似度矩阵。
此外，所述识别执行模块包括：
异常判定单元，用于实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值。
异常应用单元，用于根据所述异常值选取不同精度的神经网络识别模型。
模型应用单元，用于基于选取到的神经网络识别模型对当前冲压图像进行识别。
基于相同的构思，本发明技术方案还提供一种电子设备的实体结构示意图，该电子设备可以包括：处理器（processor）、通信接口（Communications Interface）、存储器（memory）和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行汽车配件冲压加工视觉检测方法。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述汽车配件冲压加工视觉检测方法的步骤。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘SolidStateDisk）等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种汽车配件冲压加工视觉检测方法，其特征在于，所述方法包括：
根据预设的高速相机获取预设数量的冲压周期内的冲压图像组；
对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签；
根据所述样本集训练得到含有精度标签的神经网络识别模型；
实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别；
所述对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集的步骤包括：
根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系；
依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵；
根据所述相似度矩阵确定各个时域对应关系下的标准图像；
根据时域对应关系的时间顺序统计标准图像，建立样本集；
所述实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别的步骤包括：
实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值；
根据所述异常值选取不同精度的神经网络识别模型；
基于选取到的神经网络识别模型对当前冲压图像进行识别。
2.根据权利要求1所述的汽车配件冲压加工视觉检测方法，其特征在于，所述依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵的步骤包括：
根据时间顺序依次选取时域对应关系；
基于所述时域对应关系在各个冲压图像组中选取冲压图像；
对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分；
将单元切分后的子图像输入预设的变换公式，得到转换矩阵；
以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系；
比对所述目标子块，得到任意两个冲压图像的相似度；
统计所有冲压图像之间的相似度，得到相似度矩阵。
3.根据权利要求2所述的汽车配件冲压加工视觉检测方法，其特征在于，所述对所述冲压图像进行颜色空间转换的过程为：
；
式中，R、G、B分别为冲压图像中的RGB值，Y用于表征冲压图像的明视度、亮度和灰度，U用于表征色调，V用于表征饱合度；
所述变换公式为：
；
式中，为点（x,y）的参数，包括Y、U和V；/>为转换后的点（x,y）对应的值；
其中，；
；
。
4.根据权利要求1所述的汽车配件冲压加工视觉检测方法，其特征在于，所述根据所述相似度矩阵确定各个时域对应关系下的标准图像的步骤包括：
依次在相似度矩阵中提取冲压图像与其他冲压图像之间的相似度数组；所述相似度数组为相似度矩阵的行向量；
计算相似度数组的均值、标准差和预设数量的极值，将所述均值、标准差和预设数量的极值输入预设的评分公式，得到价值分；
根据所述价值分选取标准图像。
5.一种汽车配件冲压加工视觉检测系统，其特征在于，所述系统包括：
图像组采集模块，用于根据预设的高速相机获取预设数量的冲压周期内的冲压图像组；
样本集建立模块，用于对所述冲压图像组中的冲压图像进行频域转换，比对频域转换结果，建立样本集；其中，所述样本集含有精度标签；
模型训练模块，用于根据所述样本集训练得到含有精度标签的神经网络识别模型；
识别执行模块，用于实时采集音频信息，根据所述音频信息确定识别精度，基于识别精度选取训练好的神经网络识别模型，对当前冲压流程进行识别；
所述样本集建立模块包括：
对应关系确定单元，用于根据冲压周期的时间顺序对冲压图像组进行排序，并确定各冲压图像的时域对应关系；所述时域对应关系用于表征在各冲压周期内同一相对时刻的各个图像间的对应关系；
相似度计算单元，用于依次计算同一时域对应关系下不同冲压图像的相似度，得到相似度矩阵；
标准图像确定单元，用于根据所述相似度矩阵确定各个时域对应关系下的标准图像；
标准图像统计单元，用于根据时域对应关系的时间顺序统计标准图像，建立样本集；
所述识别执行模块包括：
异常判定单元，用于实时采集音频信息，将采集到的音频信息与预设的标准音频进行比对，实时确定异常值；
异常应用单元，用于根据所述异常值选取不同精度的神经网络识别模型；
模型应用单元，用于基于选取到的神经网络识别模型对当前冲压图像进行识别。
6.根据权利要求5所述的汽车配件冲压加工视觉检测系统，其特征在于，所述相似度计算单元包括：
第一选取子单元，用于根据时间顺序依次选取时域对应关系；
第二选取子单元，用于基于所述时域对应关系在各个冲压图像组中选取冲压图像；
转换切分子单元，用于对所述冲压图像进行颜色空间转换，对颜色空间转换后的冲压图像进行单元切分；
图像变换子单元，用于将单元切分后的子图像输入预设的变换公式，得到转换矩阵；
截取子单元，用于以所述转换矩阵的左上角为基点，根据预设的递增尺寸在所述转换矩阵中截取目标子块；所述递增尺寸与所述精度标签存在映射关系；
比对子单元，用于比对所述目标子块，得到任意两个冲压图像的相似度；
矩阵生成子单元，用于统计所有冲压图像之间的相似度，得到相似度矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310952657.7A CN116665138B (zh) | 2023-08-01 | 2023-08-01 | 一种汽车配件冲压加工视觉检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310952657.7A CN116665138B (zh) | 2023-08-01 | 2023-08-01 | 一种汽车配件冲压加工视觉检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116665138A CN116665138A (zh) | 2023-08-29 |
| CN116665138B true CN116665138B (zh) | 2023-11-07 |
Family
ID=87724630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310952657.7A Active CN116665138B (zh) | 2023-08-01 | 2023-08-01 | 一种汽车配件冲压加工视觉检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665138B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN113963193A (zh) * | 2021-09-22 | 2022-01-21 | 高新兴科技集团股份有限公司 | 车身颜色分类模型生成的方法、装置以及存储介质 |
| CN114942416A (zh) * | 2022-05-24 | 2022-08-26 | 青岛海信日立空调系统有限公司 | 一种状态识别方法及装置 |
| CN115326814A (zh) * | 2022-09-06 | 2022-11-11 | 上汽通用五菱汽车股份有限公司 | 一种汽车冲压件制造缺陷在线智能识别检测方法与介质 |
| CN115601345A (zh) * | 2022-10-27 | 2023-01-13 | 山东大学（Cn） | 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 |
| CN115953397A (zh) * | 2023-03-13 | 2023-04-11 | 山东金帝精密机械科技股份有限公司 | 一种圆锥轴承保持器的工艺制备流程的监测方法及设备 |
| CN115952408A (zh) * | 2023-01-05 | 2023-04-11 | 东北大学 | 多通道跨域少样本的冲压生产线轴承故障诊断方法 |
| CN116052848A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种医学成像质控的数据编码方法及系统 |
| CN116091496A (zh) * | 2023-04-07 | 2023-05-09 | 菲特（天津）检测技术有限公司 | 基于改进Faster-RCNN的缺陷检测方法及装置 |
| CN116465896A (zh) * | 2023-04-19 | 2023-07-21 | 深圳信息职业技术学院 | 基于人工智能的汽车零部件视觉检测装置及检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170101500A (ko) * | 2016-02-29 | 2017-09-06 | 한국전자통신연구원 | 노이즈 제거를 통한 오디오 신호 식별 방법 및 장치 |
-
2023
- 2023-08-01 CN CN202310952657.7A patent/CN116665138B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN113963193A (zh) * | 2021-09-22 | 2022-01-21 | 高新兴科技集团股份有限公司 | 车身颜色分类模型生成的方法、装置以及存储介质 |
| CN114942416A (zh) * | 2022-05-24 | 2022-08-26 | 青岛海信日立空调系统有限公司 | 一种状态识别方法及装置 |
| CN115326814A (zh) * | 2022-09-06 | 2022-11-11 | 上汽通用五菱汽车股份有限公司 | 一种汽车冲压件制造缺陷在线智能识别检测方法与介质 |
| CN115601345A (zh) * | 2022-10-27 | 2023-01-13 | 山东大学（Cn） | 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 |
| CN115952408A (zh) * | 2023-01-05 | 2023-04-11 | 东北大学 | 多通道跨域少样本的冲压生产线轴承故障诊断方法 |
| CN115953397A (zh) * | 2023-03-13 | 2023-04-11 | 山东金帝精密机械科技股份有限公司 | 一种圆锥轴承保持器的工艺制备流程的监测方法及设备 |
| CN116052848A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种医学成像质控的数据编码方法及系统 |
| CN116091496A (zh) * | 2023-04-07 | 2023-05-09 | 菲特（天津）检测技术有限公司 | 基于改进Faster-RCNN的缺陷检测方法及装置 |
| CN116465896A (zh) * | 2023-04-19 | 2023-07-21 | 深圳信息职业技术学院 | 基于人工智能的汽车零部件视觉检测装置及检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| "Study on multi-objects optimization design techniques of stamping based on neural network and genetic algorithm";BY Peng，T Hu，B Xiao，GF Yin;《Journal of Plasticity Engineering》;全文 * |
| "冲压质量模板匹配视觉检测技术应用";李驰等;《锻造与冲压》;全文 * |
| 基于R-FCN深层卷积神经网络的金属冲压件表面缺陷检测;苑丹丹;阎相伊;路丹丹;李宁;;《工程机械》(第01期);全文 * |
| 基于多目标粒子群算法的冲压成形工艺优化;余世浩;赵锐敏;李佳琪;何星明;姜雪;;《热加工工艺》(第01期);全文 * |
| 基于神经网络专家系统的工艺推理研究――以轴类零件为例;付晓东等;《现代制造工程》(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116665138A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915572B (zh) | 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法 | |
| CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
| CN111639629B (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
| CN112215821A (zh) | 一种基于人工智能的光伏电池板栅线缺陷检测方法及系统 | |
| CN117576632B (zh) | 基于多模态ai大模型的电网监控火灾预警系统及方法 | |
| CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
| CN113780207A (zh) | 一种羊脸识别的系统及方法 | |
| CN116665138B (zh) | 一种汽车配件冲压加工视觉检测方法及系统 | |
| CN113297408A (zh) | 基于Sift算法的图像匹配以及场景识别系统及方法 | |
| CN117079286A (zh) | 一种指针仪表的识别方法和识别系统 | |
| CN112465002B (zh) | 一种火灾现场铜导线熔痕智能识别方法及装置 | |
| CN114708247A (zh) | 基于深度学习的烟盒包装缺陷识别方法和装置 | |
| CN115205747A (zh) | 一种基于图像识别的道路自动化检测系统 | |
| CN111754459B (zh) | 基于统计深度特征的染色伪造图像检测方法及电子装置 | |
| CN114693554A (zh) | 一种大数据图像处理方法及系统 | |
| CN106326882A (zh) | 一种基于图像质量评估技术的指纹识别系统及方法 | |
| CN114596243A (zh) | 缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN113255535A (zh) | 一种基于微表情分析的抑郁症识别方法 | |
| CN111242047A (zh) | 图像处理方法和装置、电子设备及计算机可读存储介质 | |
| CN114638851B (zh) | 一种基于生成对抗网络的图像分割方法、系统及存储介质 | |
| CN115035482B (zh) | 一种基于物联网的紧急检测预警系统及其方法 | |
| CN116259091B (zh) | 一种静默活体检测的方法和装置 | |
| CN111524097B (zh) | 一种两器喇叭口的检测方法、装置、存储介质及设备 | |
| CN116630251A (zh) | 基于深度学习的阳极铜板缺陷检测方法及系统 | |
| CN114612429A (zh) | 一种基于双目视觉的模锻件裂缝识别定位及改进方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |