CN117969553A - 一种tpv针织复合管外观在线视觉检测系统 - Google Patents

Abstract

本发明涉及结构部件测试领域，提出了一种TPV针织复合管外观在线视觉检测系统，包括图像采集组件、模型训练子系统和视觉检测子系统，通过使用非监督学习训练AI模型的方式，进行图像质量和全景采集，使用自动化和智能化的标注过程，减少了对数据标注的依赖，解决了现有缺陷检测效率低、数据需求量大的问题，增强了系统实时在线检测能力，提升了检测的准确性和可靠性。

Description

一种TPV针织复合管外观在线视觉检测系统

技术领域

本发明涉及结构部件测试领域，具体是一种TPV针织复合管外观在线视觉检测系统。

背景技术

近年来，随着人工智能技术的快速发展，深度学习技术在图像识别和处理领域取得了显著的进展。特别是在新能源汽车制造过程中，对于各种复杂材料和部件的外观质量检测，深度学习技术发挥着越来越重要的作用。其中，TPV针织复合管作为新能源汽车中的关键部件，其外观质量的检测对于确保整车的安全性和性能至关重要。

深度学习模型通过大量的训练数据，能够自动学习和提取图像中的特征，进而实现对TPV针织复合管各种外观缺陷的准确识别。与传统的视觉检测方法相比，深度学习技术不仅提高了检测的准确性，还大大提升了检测效率，使得实时在线检测成为可能。

此外，随着高分辨率成像技术的进步，视觉检测系统能够获取更加清晰、详细的图像信息，进一步增强了系统的检测能力。同时，实时处理能力的提升也确保了系统能够快速响应并处理大量的图像数据，满足生产线上的实时检测需求。除了硬件和算法上的进步，自适应学习与优化功能也是当前视觉检测系统的重要发展方向。通过不断地学习和优化，系统能够自动适应各种复杂环境和变化条件，提高检测的稳定性和可靠性。

视觉检测系统正逐渐与新能源汽车制造过程中的其他环节进行深度融合。这不仅提高了生产效率，还降低了生产成本，为新能源汽车产业的快速发展提供了有力保障。

公开（公告）号：CN111122172A，公开（公告）日：2020.05.08，涉及一种汽车零部件视觉检测系统，包括光学成像系统、图像获取设备、图像处理系统、智能决策判断机构和控制执行机构，的图像获取设备、图像处理系统同时连接通讯和监控系统；通过的控制执行机构控制被测目标物体，通过的智能决策判断机构控制光源，本发明把图像作为检测和传递信息的手段或载体加以利用，通过处理被测图像而获得所需的各种参数，但该方案仍然存在需要大量数据训练模型、系统适应性不强，需要较多人工干预对系统及时做出调整的问题，因此，本发明提出了一种TPV针织复合管外观在线视觉检测系统，通过图像质量和全景采集、自动化和智能化的标注过程，减少了对数据标注的依赖，增强了系统实时在线检测能力，提升了检测的准确性和可靠性。

发明内容

本发明为了解决上述现有技术中的问题，提供一种TPV针织复合管外观在线视觉检测系统。

为了实现上述目的，本发明提供的方案为：一种TPV针织复合管外观在线视觉检测系统，包括图像采集组件、模型训练子系统和视觉检测子系统。

图像采集组件设有照明单元及图像获取单元，照明单元为一组相对照明的可调节LED灯箱，LED灯箱作为照明单元时为软光源，使用软光源能够产生柔和且均匀的光线，进行均匀打光，照明单元用于减少TPV针织复合管表面图像的阴影和反光情况。图像获取单元用于捕捉待检测的TPV针织复合管曲面图像，并将捕捉的TPV针织复合管曲面图像放入图像数据集中。图像采集组件为子系统提供样本数据集图像，为识别子系统提供被检测产品的实时图像。

模型训练子系统用于得到进行视觉检测的模型，包括，数据处理模块，数据处理模块包括自适应网格标注单元、数据归一化单元、特征提取单元和降维单元。

自适应网格标注单元用于对图像数据集中的TPV针织复合管曲面图像生成标注网格，自适应网格标注单元通过记录图像坐标变换，自动生成网格，并对每个网格内的区域进行标注，由于TPV针织复合管的缺陷可能千变万化，自适应网格能够灵活适应各种形状和大小的缺陷，确保标注的准确性和完整性。

数据归一化单元用于调整图像数据集中TPV针织复合管曲面图像的尺寸，并将其像素值范围调整到0至1的区间内，数据归一化单元用于调整图像数据的尺度，使其落在统一的范围内，有助于模型提高计算效率，更有效地学习和比较不同特征的值。

特征提取单元用于提取图像数据集中TPV针织复合管曲面图像的轮廓特征，降维模块用于将提取到的TPV针织复合管曲面图像轮廓特征转换为低维数据，特征提取和数据降维可以提取出对训练TPV针织复合管缺陷检测模型有利的特征，将其由高维转为低维数据，以此减少数据集的复杂性，降低计算成本。

模型训练子系统还包括模型构建模块，模型构建模块利用算法构建数据检测模型，通过使用数据图像集中的低维数据进行迭代训练，完成数据检测模型构建。在进行模型构建时，采用非监督学习方法进行AI模型训练，使用该方法进行AI模型训练时无需大量的标记数据，因此能够减少对标记数据的依赖，降低数据收集和标注成本。模型构建使用自编码器，自编码器通过识别图像数据集输入的数据，对其进行压缩和重构，从而发现数据内在结构，当数据出现异常时，重构误差较大，系统从而判断出TPV针织复合管表面图像出现异常缺陷。

视觉检测子系统用于识别生产线中TPV针织复合管产品的缺陷情况，并将缺陷信息反馈至终端，包括，缺陷识别模块，缺陷识别模块使用数据检测模型进行缺陷检测，根据检测到的缺陷产品轮廓信息，加载其位置信息，并输出缺陷信号。

还包括缺陷警报组件，缺陷警报组件设有蜂鸣器，当缺陷识别模块输出结果为缺陷信号时，缺陷报警组件接收信号，并通过缺陷信号驱动蜂鸣器工作，对工作人员进行缺陷警示以剔除缺陷产品。

作为优选的，模型构建模块基于PyTorch深度学习框架构建卷积自编码器模型，在PyTorch中，继承nn.Module类来定义自编码器模型，并在__init__方法，即初始化构造方法中初始化编码器和解码器的层，在forward方法中定义前向传播过程，使用PyTorch学习框架为用于非监督学习下的自编码器的构建提供了构建、训练和评估深度学习模型需要的库和构建工具。

作为优选的，模型构建模块基于DataLoader加载图像数据集，并进行数据集中数据的批量处理，有利于更高效地利用计算资源，提高训练速度，同时可以较大程度上解决数据过拟合问题。

作为优选的，图像数据集分为训练集、验证集及测试集，图像数据集由采集到的TPV针织复合管表面图像构成，在图像进行预处理之后，将图像数据集分为训练集、验证集和测试集，三种数据集的数据相互独立，有利于提高模型训练及交叉验证的效率。

作为优选的，模型构建模块基于初始化构造方法对自编码器进行重构及计算重构误差。对于新的图像数据，通过卷积自编码器进行重构，并计算重构误差。如果重构误差超过预设阈值，则认为该图像存在异常，此时输出图像缺陷的位置坐标，以及缺陷的像素单位面积。

作为优选的，自适应网格标注单元记录图像坐标变换自动生成网格，并对网格区域内的图像标注网格轮廓尺寸，自适应网格标注会自动对网格划分误差并进行网格细化，以此可以获得更好的数值模拟计算结果，自适应网格可以捕捉动态变化的图像数据，因此可以识别TPV针织复合管生产线上的动态图像缺陷。

作为优选的，特征提取模块提取图像轮廓特征，检测网格轮廓大小是否超过预设阈值，在进行缺陷检测时，TPV针织复合管常见误差为复合管表面网格出现错位、缺网格或多网格等问题，因此选择提取的特征信息为图像的轮廓特征，有利于更准确地检测TPV针织复合管缺陷情况，提高检测效率。

作为优选的，降维单元基于神经网络结构，采用均方误差损失函数进行数据降维，降维方法选择使用卷积神经网络构建编码器和解码器，将输入的高维数据压缩成低维数据，编码器输出数据维度为低维，有利于减少模型计算频次，提高模型的训练效率。

作为优选的，均方误差损失函数定义为：

其中，是原始输入的归一化后的像素值数据，/>是解码器输出的近似数据，/>是数据维度，/>和/>是原始数据和近似数据在第/>维度上的值。由于均方误差损失函数在矩阵计算中具有较好的数学性质，因此使用均方误差损失函数进行数据降维能够大大简化计算，减少模型运算成本。同时，在均方误差损失函数中，由于差值被平方，因此对于异常值的惩罚更大，因此均方误差损失函数能够更好地处理异常值，避免异常值对降维结果产生过大影响，从而提高降维结果的稳定性。

作为优选的，均方差误差损失函数使用梯度下降优化算法进行最小化，通过反向传播算法计算损失函数对模型参数的梯度，并更新参数以减小均方差误差损失函数的值，通过最小化均方误差损失函数，自编码器能够在降维过程中尽可能保留原始数据的信息，使得解码后的数据在结构上与原始数据相似。这样，降维后的数据既减少了维度，又保留了有用的信息，有助于后续的数据分析和处理任务。

本发明的有益效果是：

提高生产效率，通过引入AI深度学习技术及图像采集和处理技术，对生产线上的产品进行快速的缺陷检测，并可以自动发出蜂鸣器报警提示操作员，减少了停工时间和生产线故障率，提高了产品质量和制造效率。

提升检测准确性，通过360度全景图像采集，全方位地对图像进行检测，使用非监督学习方法训练AI模型，在不依赖大量标记数据的情况可以准确地识别各种缺陷类型、大小和位置，从而避免未曾出现错误的网格有漏判的风险，提高了检测的准确性。

附图说明

图1是本发明一种TPV针织复合管外观在线视觉检测系统的系统框图。

图2是本发明实施例中模型训练子系统的工作流程图。

图3是本发明实施例中数据归一化的具体流程图。

图4是本发明实施例中梯度下降优化算法最小化均方误差损失函数的流程图。

图5是本发明实施例中模型构建的具体流程图。

图6是本发明实施例中图像采集组件获取的TPV针织复合管被检测产品图像示意图。

图7是本发明实施例TPV针织复合管外观在线视觉检测系统中被检产品无异常时的工作程序示意图。

图8是本发明实施例TPV针织复合管外观在线视觉检测系统中被检产品有异常时的工作程序示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。基于如下实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出一种TPV针织复合管外观在线视觉检测系统，其系统框图如图1所示，包括图像采集组件、模型训练子系统和视觉检测子系统。

图像采集组件设有照明单元及图像获取单元，照明单元为一组相对照明的可调节LED灯箱；采用均匀打光技术，选择使用具有调光功能的LED灯箱，将其放在复合管两侧对侧，确保光线均匀覆盖整个表面，减少阴影和反光对图像质量的影响。图像获取单元设有四台相机，使用四个相机从TPV针织复合管曲面的四个方位同时进行图像采集，覆盖360度的全景范围，确保产品外观的每个角落都能被捕捉到。

模型训练子系统用于得到进行视觉检测的模型，包括，数据处理模块，数据处理模块包括自适应网格标注单元、数据归一化单元、特征提取单元和降维单元。

自适应网格标注单元用于对图像数据集中的TPV针织复合管曲面图像生成标注网格，自适应网格标注单元通过记录图像坐标变换，自动生成网格，并对每个网格内的区域进行标注，由于TPV针织复合管的缺陷可能千变万化，自适应网格能够灵活适应各种形状和大小的缺陷，确保标注的准确性和完整性。

数据归一化单元用于调整图像数据集中TPV针织复合管曲面图像的尺寸，并将其像素值范围调整到0至1的区间内，数据归一化单元用于调整图像数据的尺度，使其落在统一的范围内，有助于模型提高计算效率，更有效地学习和比较不同特征的值。

特征提取单元用于提取图像数据集中TPV针织复合管曲面图像的轮廓特征，降维模块用于将提取到的TPV针织复合管曲面图像轮廓特征转换为低维数据，特征提取和数据降维可以提取出对训练TPV针织复合管缺陷检测模型有利的特征，将其由高维转为低维数据，以此减少数据集的复杂性，降低计算成本。

模型训练子系统还包括模型构建模块，模型构建模块利用算法构建数据检测模型，通过使用数据图像集中的低维数据进行迭代训练，完成数据检测模型构建。在进行模型构建时，采用非监督学习方法进行AI模型训练，使用该方法进行AI模型训练时无需大量的标记数据，因此能够减少对标记数据的依赖，降低数据收集和标注成本。模型构建使用自编码器，自编码器通过识别图像数据集输入的数据，对其进行压缩和重构，从而发现数据内在结构，当数据出现异常时，重构误差较大，系统从而判断出TPV针织复合管表面图像出现异常缺陷。

图2为本实施例模型训练子系统工作流程图，本实施例中模型训练的进行分为以下步骤：

S1：获取模型训练的样本数据集；

S2：进行自适应网格标注，记录图像坐标变换自动生成网格，并对网格区域内的图像标注网格轮廓尺寸；

S3：数据归一化，对TPV针织复合管曲面图像尺寸进行调整，并将其像素值范围调整到0至1的区间内；

S4：特征提取，提取TPV针织复合管曲面图象的轮廓特征；

S5：数据降维，将提取到的TPV针织复合管曲面图象的轮廓特征数据转换为低维数据；

S6：利用卷积自编码器构建数据检测模型，通过使用数据图像集中的低维数据进行迭代训练，完成数据检测模型构建。

其中，数据归一化处理用于调整图像数据的尺度，使其落在统一的范围内。这样做有助于模型更有效地学习和比较不同特征的值，其又可以分为以下步骤，流程图如图3：

S31：进行数据加载，加载图像数据集，图像数据集由采集到的TPV针织复合管表面图像构成，由于异常图像的情况多变难以定义，我们主要关注正常图像，通过AI分析正常图像范围，以此判定正常图像与非正常的边界值。

S32：数据预处理，使用OpenCV对图像数据进行预处理，对采集到的TPV针织复合管表面图像按照256*256像素大小的尺寸进行裁剪，规范图像尺寸，之后进行去噪处理。

S33：像素值归一化，对采集到的彩色图像进行三颜色通道的像素归一化，将针织复合管表面图像的像素值转换到0-1的范围内。

S34：数据转换处理，将针织复合管表面图像像素值转换为浮点型数据，便于模型接收数据信息，完成数据转换后的浮点型数据即为数据归一化模块输出的数据。

进行特征提取及数据降维，通过高维转低维的方式，减少数据集的复杂性，降低计算成本，并提取出对后续任务有用的特征，特征提取，提取针织复合管表面图像的轮廓特征，检测其是否存在网格错位、多网格或缺网格情况，判断复合管是否存在异常。

选择降维方法，本实施例中选择的方式是根据特征设计神经网络结构，使用卷积神经网络（CNN）构建编码器和解码器，将输入的高维数据压缩成低维数据，编码器输出数据维度为低维。

使用均方误差损失函数训练自编码器，均方误差可定义为：

其中，是原始输入的归一化后的像素值数据，/>是解码器输出的近似数据，/>是数据维度，即特征数量，在此我们选用特征的数量为3，/>和/>是原始数据和近似数据在第/>维度上的值。

通过最小化均方误差损失函数，自编码器能够在降维过程中尽可能保留原始数据的信息，使得解码后的数据在结构上与原始数据相似。这样，降维后的数据既减少了维度，又保留了有用的信息，有助于后续的数据分析和处理任务。

使用梯度下降优化算法来最小化均方误差损失函数，在训练过程中，通过反向传播算法计算损失函数对模型参数的梯度，并更新参数以减小损失，图4为其操作具体流程图，详情如下：

将原始输入数据通过编码器得到低维表示，再将这个低维表示通过解码器得到解码后的数据，进行前向传播；

使用均方误差损失函数计算原始输入与解码后数据间的差异；

根据损失函数计算模型的梯度，进行反向传播；

使用Adam优化算法更新模型参数，减小损失函数的值。

特征提取及降维最后，需要进行模型迭代训练，本实施例选择使用自编码器模型，自编码器通过学习输入数据的压缩和重构发现数据的内在结构，当输入数据出现异常时，重构误差会很大，从而判断出针织复合管表面图像出现异常缺陷，重复上述步骤，编码器学习高维度数据到低维的映射，解码器部分学习从低维表示还原原始数据的能力，直到模型收敛或达到预设的轮训练轮数，其具体操作如下，工作流程图如图5所示：

使用深度学习框架PyTorch构建卷积自编码器模型，在PyTorch中，继承nn.Module类来定义自编码器模型，并在__init__方法中初始化编码器和解码器的层，在forward方法中定义前向传播过程。

使用PyTorch的DataLoader加载和批量处理训练集中的数据，编写训练循环，迭代训练集，计算损失，使用优化器进行反向传播和参数更新。在每个epoch结束后，使用验证集评估模型的性能，并监控重构误差的变化。

在测试集上评估训练好的卷积自编码器模型性能，对于新的图像数据，通过卷积自编码器进行重构，并计算重构误差。如果重构误差超过预设阈值，则认为该图像存在异常，此时输出图像缺陷的位置坐标，以及缺陷的像素单位面积。

对训练后的模型进行优化，使用测试集评估模型性能，计算准确率、召回率、F1分数等指标，根据验证集性能，调整模型的参数，选择高学习率和网络层数优化性能。

本实施例提出的一种TPV针织复合管外观在线视觉检测系统还包括视觉检测子系统，视觉检测子系统用于识别生产线中TPV针织复合管产品的缺陷情况，并将缺陷信息反馈至终端，包括，缺陷识别模块，缺陷识别模块使用数据检测模型进行缺陷检测，根据检测到的缺陷产品轮廓信息，加载其位置信息，并输出缺陷信号。

还包括缺陷警报组件，缺陷警报组件设有蜂鸣器，当缺陷识别模块输出结果为缺陷信号时，缺陷报警组件接收信号，并通过缺陷信号驱动蜂鸣器工作，对工作人员进行缺陷警示以剔除缺陷产品。

当视觉检测子系统进行工作时，图像采集组件通过图像获取单元的相机进行检测产品的图像获取，其获取的TPV针织复合管图像如图6所示，由于产品是在生产线上向前进行移动的，相机采集到的是经过此范围内的一段TPV针织复合管图像，若TPV针织复合管图像无异常，则TPV针织复合管外观在线视觉检测系统界面如图7所示，四个显示框分别显示TPV针织复合管曲面的四个方位图像，系统右上角显示合格OK标识；若TPV针织复合管图像存在异常情况，则TPV针织复合管外观在线视觉检测系统界面如图8所示，系统右上角显示NG标识，此时，系统通过虚线框标注出异常网格位置，并输出异常位置坐标，同时输出缺陷信号至蜂鸣器，蜂鸣器响铃通知工作人员处理缺陷产品，完成缺陷检测。

本实施例提出了一种TPV针织复合管外观在线视觉检测系统，通过图像质量和全景采集、自动化和智能化的标注过程，减少了对数据标注的依赖，增强了系统实时在线检测能力，提升了检测的准确性和可靠性。

以上展示和描述了本发明的基本特征、原理和本发明的优点。应当指出，本发明不受上述实施例的限制，仅为部分实施例，在不脱离本发明精神和范围的前提下，做出的若干改进和补充均视为本发明的保护范围。

Claims (10)

1.一种TPV针织复合管外观在线视觉检测系统，其特征在于，包括图像采集组件、模型训练子系统和视觉检测子系统，所述图像采集组件设有照明单元及图像获取单元，所述照明单元用于对TPV针织复合管曲面进行均匀打光，所述图像获取单元用于捕捉待检测的TPV针织复合管曲面图像，并将捕捉的TPV针织复合管曲面图像放入图像数据集中；

所述模型训练子系统用于得到进行视觉检测的模型，包括：

数据处理模块，所述数据处理模块包括自适应网格标注单元、数据归一化单元、特征提取单元和降维单元，所述自适应网格标注单元用于对图像数据集中的TPV针织复合管曲面图像生成标注网格，所述数据归一化单元用于调整图像数据集中TPV针织复合管曲面图像的尺寸，并将其像素值范围调整到0至1的区间内，所述特征提取单元用于提取图像数据集中TPV针织复合管曲面图像的轮廓特征，所述降维模块用于将提取到的TPV针织复合管曲面图像轮廓特征转换为低维数据；

模型构建模块，所述模型构建模块利用算法构建数据检测模型，通过使用数据图像集中的低维数据进行迭代训练，完成数据检测模型构建；

所述视觉检测子系统用于识别生产线中TPV针织复合管产品的缺陷情况，并将缺陷信息反馈至终端，包括：

缺陷识别模块，所述缺陷识别模块使用所述数据检测模型进行缺陷检测，根据检测到的缺陷产品轮廓信息，加载其位置信息，并输出缺陷信号；

缺陷警报组件，所述缺陷警报组件设有蜂鸣器，所述蜂鸣器接收缺陷信号后进行警报。

2.根据权利要求1所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述模型构建模块基于PyTorch深度学习框架构建卷积自编码器模型。

3.根据权利要求1或2所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述模型构建模块基于DataLoader加载图像数据集，并进行数据集中数据的批量处理。

4.根据权利要求1所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述图像数据集将捕捉到的图像随机均匀为训练集、验证集和测试集，三种数据集的数据相互独立。

5.根据权利要求3所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述模型构建模块基于初始化构造方法对自编码器进行重构及计算重构误差，编写训练循环迭代训练集。

6.根据权利要求1所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述自适应网格标注单元记录图像坐标变换自动生成网格，并对网格区域内的图像标注网格轮廓尺寸。

7.根据权利要求1所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述特征提取单元提取图像轮廓特征，检测网格轮廓大小是否超过预设阈值。

8.根据权利要求1所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述降维单元基于神经网络结构，采用均方误差损失函数进行数据降维。

9.根据权利要求8所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述均方误差损失函数定义为

其中，是原始输入的归一化后的像素值数据，/>是解码器输出的近似数据，/>是数据维度，/>和/>是原始数据和近似数据在第/>维度上的值。

10.根据权利要求9所述的一种TPV针织复合管外观在线视觉检测系统，其特征在于，所述均方差误差损失函数使用梯度下降优化算法进行最小化，通过反向传播算法计算损失函数对模型参数的梯度，并更新参数以减小均方差误差损失函数的值。