CN116740549B - 车辆零件识别方法及系统 - Google Patents

Abstract

本发明公开了一种车辆零件识别方法及系统，包括确定零件特征的识别准备步骤、训练所述目标检测模型的步骤、以及识别零件的步骤；使用深度学习模型训练标记数据，获得用于识别零件特征的目标检测模型；获取真实零件的原始特征，通过原始特征，自动寻找相似的零件并归纳成组，利用数据库中信息建立相似件分类模型并形成相似件库；获取已训练未知型号零件各面上的特征，通过相似件分类模型两次判断并查询，获得零件型号。本发明可以解决人工识别标准不一以及识别准确性的问题。特别是对人工不易分辨的相似件，提供一种识别准确率和效率极高的方法及系统。

Description

车辆零件识别方法及系统

技术领域

本发明涉及车辆技术领域，尤其涉及车辆零部件的识别方法和系统。

背景技术

为满足消费者需求的多样性，现在各汽车厂家生产的汽车型号众多，这就使得所需要加工的汽车零件数量也成倍数上升。

一方面是相同车型零件数量众多，另一方面不同车型在相同位置的零件是比较相似的，通过人工记忆并整理归类对于生产现场、质量检测以及仓储物流环节来说都是相对困难的。

同时，目前人工识别归类多种不同种类零部件的操作复杂度比较高，对识别人员识别标准的一致性和零件识别的准确性无法很轻易地满足，增加了车企对人工识别的培训难度，无法满足车辆特别是汽车生产行业精细化、零库存以及柔性生产的需要。

发明内容

本发明要解决的技术问题旨在自动化归类并识别不同车型的各种零件，极大程度上简化目前人工操作复杂度。

同时，本发明可以解决人工识别标准不一以及识别准确性的问题。特别是对人工不易分辨的相似件，提供一种识别准确率和效率极高的方法及系统。

为解决上述技术问题，本发明采用如下技术方案：

一种车辆零件识别方法，其特征在于包括如下步骤：

确定零件特征的识别准备步骤：根据零件外观设置零件特征点，采集零件图片，并根据设置的零件特征点在采集零件图片中进行特征标记获得训练集，使用深度学习模型训练标记数据，获得用于识别零件特征的目标检测模型；

训练所述目标检测模型的步骤：获取真实零件A的n面图像信息，用目标检测模型识别每个面的图片上的原始特征，并结合面的信息分别写入数据库；通过原始特征，自动寻找相似的零件并归纳成组，利用数据库中信息建立相似件分类模型并形成相似件库；计算已训练零件各特征分布范围并存入数据库；若零件A存在相似件,则训练深度学习模型识别A与其相似件，训练结束；若零件A不存在相似件，则直接训练结束；

识别零件的步骤：获取已训练未知型号零件X，确定其共有j面；获取j面的图像；提取零件各面上的特征；根据零件型号进行第一次判断，得到零件X的分类，查询相似件库，若不存在相似件，则直接输出系统第一次识别的零件型号，若X存在相似件，则获得零件X的相似件组，根据相似件组加载深度学习模型，根据所得到的j面的图像，综合模型输出，获得零件型号作为第二次判断结果。

上述技术方案中，确定零件特征的识别准备步骤中，汽车零件特征点为孔、焊点、螺母。

上述技术方案中，确定零件特征的识别准备步骤中，采集不同零件、不同角度、不同光线情况下的图片。

上述技术方案中，确定零件特征的识别准备步骤中，标记采集图片中特征点的位置和类型，并形成训练集。

上述技术方案中，使用yoloV5模型训练标记数据，获得用于识别零件特征的目标检测模型。

上述技术方案中，训练所述目标检测模型以使模型可识别图像为相似件零件组中的具体哪一个零件号，包括步骤如下：

获取需要训练的零件A，根据零件A外观确定共需要拍摄n面的图像，在服务器中指定位置新建存放零件A图片的专用文件夹；

将零件A的第一面放置在台面上，从零件A上方拍摄零件不同角度、不同光线下的视频，提取视频生成若干张A零件第一面的图片，在A零件文件夹中新建第一子文件夹，并将图片保存于第一子文件夹中；重复n次上述操作，拍摄该零件n面的图片，将各面图片保存至按面信息新建的各子文件夹中，将各子文件夹保存至存放零件A图片的专用文件夹内；

将所得的各面图片按面输入所述目标检测模型，获得原始特征后按零件名称及面的信息保存至数据库；

对A零件各面的每张图片分别提取面积和周长；对A零件各面的每张图片特征点间的距离进行计算；

将A零件各面的特征对应相加得到组合后的新特征，将不同面特征组合后的全部数据拆分为训练集和验证集；分析训练集数据特征分布情况，筛选和构造关键分类特征；对训练集的训练数据在关键分类特征上建立随机森林模型，得到训练后的分类模型；在验证集的关键分类特征上使用训练好的分类模型进行分类，并对分类结果进行统计分析：若零件之间相互分错的概率超过设定阈值，则判定其为相似件，添加所有相似件形成相似件库。

上述技术方案中，训练所述目标检测模型的步骤中，还包括：

计算已训练零件各特征分布范围并存入数据库，用于判定识别过程中零件是否参与训练：

在训练集中，对每种零件的各关键分类特征数据进行统计，计算特征最大值和最小值，并存入数据库；

将验证集的各特征与相应零件的特征极值进行比较，统计超出范围的特征情况，并根据超出范围的特征个数设置阈值，用于判定零件是否参与训练。

上述技术方案中，训练所述目标检测模型的步骤中，若无相似件则训练流程结束；若存在相似件，则根据相似件组采用resnet50 V2训练深度学习模型识别零件A与零件A的相似件。

上述技术方案中，对A零件各面的每张图片分别提取面积和周长的步骤如下：

采用u2net初步剔除图片背景；

将剔除背景后图片采用OTSU方法进行二值化，转化为黑白图像，进一步消除可能未剔除的背景信息，使得图像中仅保存零件部分的图像；

计算图像中非零像素的个数，所得即为零件的面积，计算零件各边像素的个数即为零件周长。

上述技术方案中，对A零件各面每张特征点间的距离和计算方式如下：

从数据库中获得各特征点在图像上的位置信息；

计算各特征点位置矩形的重心；

计算A零件各面上两两特征点重心的距离并求和，若特征点数量小于等于1则距离和为0。

上述技术方案中，检测识别零件的步骤包括：

步骤1：获取已训练未知型号零件X，根据外观确定共需要拍摄j面的图像，在服务器中指定位置新建存放零件X图片的文件夹；

步骤2：将零件X的第一面放置在台面上，从上方拍摄零件不同角度的视频，将视频抽帧，每秒提取f帧，生成张X零件第一面的图片，在X零件文件夹中新建第一面子文件夹，并将图片保存于其中；重复j次上述操作，拍摄该零件j面的图片，将各面图片保存至X零件按名称新建的子文件夹，共计/>张图片；

步骤3：提取各面图片中零件的面积和周长，将各面图片输入目标检测模型获得原始特征，根据原始特征计算特征点间的距离和；

步骤4：将参与识别的各面原始特征进行累加，以构建合并后的特征数据；

步骤5：将合并后的特征数据传入相似件分类模型进行第一次判断，获得零件X的零件型号，并根据零件型号在已训练零件各特征分布范围数据库中进行查找，若参与识别的零件特征与查找的数据库中特征差异过大，则输出该零件未参与训练；否则，将零件型号与相似件库进行对照，若无相似件，则直接输出零件号为系统输出的识别零件号，若存在相似件则输出相似件组；

步骤6：根据步骤5所得的相似件组，找到对应的深度学习模型，将步骤2所得的图片传入深度学习模型，得到个结果，对该结果进行筛选，选择出现次数最多的零件号未第二次判断的结果，输出该结果为系统输出的识别零件号。

本发明还提供一种车辆零件识别系统，其特征在于用于实现上述所述的车辆零件识别方法。

本发明的车辆零件识别系统中，包括在获取图片时均会用到灯光控制系统和可旋转摇臂。

灯光控制系统：设置为在工作时控制灯光亮度在一定范围内自动变化，并能够在设置时间内控制灯光亮度保持不变，以呈现不同亮度和不同光线的拍摄环境；

可旋转摇臂：悬吊设置在工作台的上方，摇臂上设置摄像头，使得零件放置在工作台上时，控制摄像头在摇臂上按设置速度动作以拍摄多角和不同光线下的图片或视频。

相对于现有技术，本发明具有如下有益效果：

本发明使用深度学习模型训练标记数据，获得用于识别零件特征的目标检测模型；获取真实零件的原始特征，通过原始特征，自动寻找相似的零件并归纳成组，利用数据库中信息建立相似件分类模型并形成相似件库；获取已训练未知型号零件各面上的特征，通过相似件分类模型两次判断并查询，获得零件型号。本发明可以解决人工识别标准不一以及识别准确性的问题。特别是对人工不易分辨的相似件，提供一种识别准确率和效率极高的方法及系统。

通过可旋转转动的摇臂，在摇臂上面设置摄像头或具有摄像功能的手机，自动对零件图片进行多角度收集，调节转动速度就可以调节拍照速度，降低人员识别操作的复杂度，同时提高识别效率。

通过多个零件不同工作面的特征点构建识别模型和相似件库，对人工不易分辨的相似件识别准确率和效率极高。

提取简单特征即可建立众多零件的识别模型和相似件库，简单可行且成本低，易于推广适用于柔性多产线现场。

不同灯光亮度都进行了零件识别，容差率得到保证。

通过视频提取图像，单个零件识别不用间歇式多点拍照，缩短了图像采集时间，识别效率大幅提升。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施的汽车零件识别方法中训练单元的工作流程图。

图2为本发明实施的汽车零件识别方法中检测识别单元的工作流程图。

图3为本发明汽车零件识别系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明实施的汽车零件识别方法，包括以下步骤：

准备步骤：

步骤1：根据零件外观规定需要识别的p个零件特征；

步骤2：预采集m张不同零件的图片；

步骤3：根据步骤1中的规定，在m张图片中标记特征；

步骤4： 根据设置的零件特征点在所述的采集图片中进行特征标记获得训练集，使用深度学习模型训练标记数据，获得用于识别零件特征的目标检测模型；

训练步骤：

步骤1：获取真实零件A，其共有n面需要进行数据采集；

步骤2：获取n个面的图像信息，每面k张,共张图片；

步骤3：用目标检测模型识别每个面的图片上的原始特征，并结合面的信息分别写入数据库；

步骤4：计算零件每个面图片中零件面积、周长、特征点间的距离和并写入数据库；

步骤5：根据数据库中信息建立多种零件的相似件分类模型并形成相似件库；

步骤6：计算已训练零件各特征分布范围并存入数据库；

步骤7：若零件A存在相似件,则训练深度学习模型识别A与其相似件，训练结束；若零件A不存在相似件，则直接训练结束。

检测识别步骤：

步骤1：获取已训练未知型号零件X，确定其共有j面；

步骤2：获取j面的图像；

步骤3：提取零件各面上的特征；

步骤4：根据相似件分类模型对提取的零件各面上的特征，进行第一次判断，得到零件X的分类，查询相似件库 ，若不存在相似件，则直接输出系统第一次识别的零件型号，若X存在相似件，则还可获得零件X的相似件组，进入下一步；

步骤5：根据相似件组加载深度学习模型，根据步骤2所得到的图片，综合模型输出，获得系统第二次判断结果，系统输出零件号为第二次判断结果。

对应的，本发明依据上述各步骤提供对应的汽车零件识别系统，包括准备模块、训练模块和识别模块。

准备步骤中：

步骤1：整理获得真实零件中出现的p种特征，常见汽车零件的特征点为孔、焊点、螺母等；

步骤2：需采集不同零件、不同角度、不同光线情况下的图片；

步骤3：标记步骤2采集图片中特征点的位置和类型，并形成训练集；

步骤4：使用yoloV5目标检测模型训练标记数据，获得用于识别零件特征的目标检测模型。

训练步骤中：

步骤1：获取需要训练的零件A，根据其外观确定共需要拍摄n面的图像，在服务器中指定位置新建存放零件A图片的文件夹；

步骤2：将零件A的第一面放置在台面上，开启灯光控制系统同时通过可旋转摇臂上的摄像头从上方拍摄零件不同角度、不同光线下的视频，视频时长共t秒，将视频抽帧，每秒提取f帧，生成张A零件第一面的图片，在A零件文件夹中新建子文件夹1，并将图片保存于其中。重复n次上述操作，拍摄该零件n面的图片，将各面图片保存至按面信息新建的子文件夹中，将该子文件夹保存至步骤1所生成的A零件专属文件夹内，共计/>张图片；

灯光控制系统：开启后控制灯光亮度在一定范围内自动变化，关闭时灯光亮度保持不变。

可旋转摇臂：控制相机在摇臂上进行匀速运动，可以拍摄多角的图片。

步骤3：将步骤2所得的各面图片按面输入准备模块中的目标检测模型，获得原始特征后按零件名称及面的信息保存至数据库。

步骤4：对A零件各面的每张图片分别提取面积和周长，计算方式如下：

1、采用u2net初步剔除图片背景；

2、将剔除背景后图片采用OTSU方法进行二值化，转化为黑白图像，进一步消除可能未剔除的背景信息，使得图像中仅保存零件部分的图像；

3、计算图像中非零像素的个数，所得即为零件的面积，计算零件各边像素的个数即为零件周长。

对A零件各面每张特征点间的距离和计算方式如下：

1、从数据库中获得各特征点在图像上的位置信息；

2、计算各特征点位置矩形的重心；

3、计算A零件各面上两两特征点重心的距离并求和（若特征点数量小于等于1则距离和为0）。

步骤5：建立相似件分类模型并形成相似件库，具体方式如下：

1、为保证零件特征的稳定性，将带有不同面的零件特征数据进行组合。如A零件包含k个面，每个面包含m_i(i=1,2,…，k)条数据。不同面特征组合就是将k个面的特征对应相加得到组合后的新特征，即合并后的数据数量为m₁*m₂*…*m_k；

2、将不同面特征组合后的全部数据拆分为训练集和验证集；

3、分析训练集数据特征分布情况，进行特征工程，筛选和构造关键分类特征；

2、对训练数据在关键分类特征上建立随机森林模型，得到训练后的分类模型；

3、在验证集的关键分类特征上使用训练好的分类模型进行分类，并对分类结果进行统计分析：若零件之间相互分错的概率超过设定阈值，则判定其为相似件，并添加到相似件库。

步骤6:计算已训练零件各特征分布范围并存入数据库，用于判定识别过程中零件是否参与训练：

1、在训练集中，对每种零件的各关键分类特征数据进行统计，计算特征最大值和最小值，并存入数据库；

2、将验证集的各特征与相应零件的特征极值进行比较，统计超出范围的特征情况，并根据超出范围的特征个数设置阈值，用于判定零件是否参与训练。

步骤7：若无相似件则训练流程结束；若存在相似件，则根据相似件组采用resnet50 V2训练深度学习模型。

检测识别步骤中：

步骤1：获取已训练未知型号零件X，根据其外观确定共需要拍摄j面的图像，在服务器中指定位置新建存放零件X图片的文件夹；

步骤2：将零件X的第一面放置在台面上，同过通过可旋转摇臂上的摄像头从上方拍摄零件不同角度的视频，视频时长共t秒，将视频抽帧，每秒提取f帧，生成张X零件第一面的图片，在X零件文件夹中新建子文件夹1，并将图片保存于其中。重复j次上述操作，拍摄该零件j面的图片，将各面图片保存至X零件按名称新建的子文件夹，共计/>张图片；

步骤3：提取各面图片中零件的面积和周长，将各面图片输入目标检测模型获得原始特征，根据原始特征计算特征点间的距离和；

步骤4：将参与识别的各面原始特征进行累加，以构建合并后的特征数据；

步骤5：将特征数据传入训练模块5所得的相似件分类模型进行第一次判断，获得零件X的零件型号，并根据零件型号在已训练零件各特征分布范围数据库中进行查找，若参与识别的零件特征与查找的数据库中特征差异过大，则输出该零件未参与训练；否则，将零件型号与训练模块5所得的相似件库进行对照，若无相似件，则直接输出零件号为系统输出的识别零件号，若存在相似件则输出相似件组并进入步骤5；

步骤6：根据步骤4所得的相似件组，找到对应的深度学习模型，将步骤2所得的图片传入模型，得到个结果，对该结果进行筛选，选择出现次数最多的零件号未第二次判断的结果，输出该结果为系统输出的识别零件号。

本发明还提供一种车辆零件识别系统，与上述步骤对应的，本发明的车辆零件识别系统，包括准备单元、训练单元、检测识别单元，用于实现上述步骤。

本发明的车辆零件识别系统中，在获取图片时均会用到如图3所示的灯光控制系统和可旋转摇臂。

灯光控制系统：灯光覆盖整个工作台面，设置为在工作时控制灯光亮度在一定范围内自动变化，关闭时灯光亮度保持不变。

可旋转摇臂：摇臂上设置摄像头3，控制摄像头在摇臂上进行匀速运动，可以拍摄多角的图片或视频。摇臂2可以悬吊设置在工作台的上方，如图3的吊轨1上，使得零件放置在工作台上时，通过可旋转摇臂上的摄像头匀速运动，从上方拍摄零件不同角度、不同光线下的视频。

灯光控制系统可以与摇臂分离设置，也可以集成设置在摇臂上。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种车辆零件识别方法，其特征在于包括如下步骤：

确定零件特征的识别准备步骤：根据零件外观设置零件特征点，采集零件图片，并根据设置的零件特征点在采集零件图片中进行特征标记获得训练集，使用深度学习模型训练标记数据，获得用于识别零件特征的目标检测模型；所述零件特征点为孔、焊点、螺母；

训练所述目标检测模型的步骤：获取真实零件A的n面图像信息，用目标检测模型识别每个面的图片上的原始特征，并结合面的信息分别写入数据库，也即将所得的各面图片按面输入所述目标检测模型，获得原始特征后按零件名称及面的信息保存至数据库；对A零件各面的每张图片分别提取面积和周长；并对A零件各面的每张图片特征点间的距离进行计算；通过原始特征，自动寻找相似的零件并归纳成组，利用数据库中信息建立相似件分类模型并形成相似件库；将A零件各面的特征对应相加得到组合后的新特征，将不同面特征组合后的全部数据拆分为训练集和验证集；分析训练集数据特征分布情况，筛选和构造关键分类特征；对训练集的训练数据在关键分类特征上建立随机森林模型，得到训练后的分类模型；在验证集的关键分类特征上使用训练好的分类模型进行分类，并对分类结果进行统计分析：计算已训练零件各特征分布范围并存入数据库，若零件之间相互分错的概率超过设定阈值，则判定其为相似件，添加所有相似件形成相似件库；则训练深度学习模型识别A与其相似件，训练结束；若零件A不存在相似件，则直接训练结束；

识别零件的步骤：获取已训练未知型号零件X，确定其共有j面；获取j面的图像；提取零件各面上的特征；根据相似件分类模型对提取的零件各面上的特征进行第一次判断，得到零件X的分类，查询相似件库，若不存在相似件，则直接输出系统第一次识别的零件型号，若X存在相似件，则获得零件X的相似件组，根据相似件组加载深度学习模型，根据所得到的j面的图像，综合模型输出，获得零件型号作为第二次判断结果。

2.根据权利要求1所述的车辆零件识别方法，其特征在于确定零件特征的识别准备步骤中，采集不同零件、不同角度、不同光线情况下的图片。

3.根据权利要求1所述的车辆零件识别方法，其特征在于确定零件特征的识别准备步骤中，标记采集图片中特征点的位置和类型，并形成训练集。

4.根据权利要求1所述的车辆零件识别方法，其特征在于使用yoloV5模型训练标记数据，获得用于识别零件特征的目标检测模型。

5.根据权利要求1所述的车辆零件识别方法，其特征在于训练所述目标检测模型以使模型可识别图像为相似件零件组中的具体哪一个零件号，包括的图片处理步骤如下：获取需要训练的零件A，根据零件A外观确定共需要拍摄n面的图像，在服务器中指定位置新建存放零件A图片的专用文件夹；

将零件A的第一面放置在台面上，从零件A上方拍摄零件不同角度、不同光线下的视频，提取视频生成若干张A零件第一面的图片，在A零件文件夹中新建第一子文件夹，并将图片保存于第一子文件夹中；重复n次上述操作，拍摄该零件n面的图片，将各面图片保存至按面信息新建的各子文件夹中，将各子文件夹保存至存放零件A图片的专用文件夹内。

6.根据权利要求1所述的车辆零件识别方法，其特征在于训练所述目标检测模型的步骤中，还包括：

计算已训练零件各特征分布范围并存入数据库，用于判定识别过程中零件是否参与训练：

在训练集中，对每种零件的各关键分类特征数据进行统计，计算特征最大值和最小值，并存入数据库；

将验证集的各特征与相应零件的特征极值进行比较，统计超出范围的特征情况，并根据超出范围的特征个数设置阈值，用于判定零件是否参与训练。

7.根据权利要求1所述的车辆零件识别方法，其特征在于检测识别零件的步骤包括：

步骤1：获取已训练未知型号零件X，根据外观确定共需要拍摄j面的图像，在服务器中指定位置新建存放零件X图片的文件夹；

步骤2：将零件X的第一面放置在台面上，从上方拍摄零件不同角度的视频，视频时长共t秒，将视频抽帧，每秒提取f帧，生成张X零件第一面的图片，在X零件文件夹中新建第一面子文件夹，并将图片保存于其中；重复j次上述操作，拍摄该零件j面的图片，将各面图片保存至X零件按名称新建的子文件夹，共计/>张图片；

步骤3：提取各面图片中零件的面积和周长，将各面图片输入目标检测模型获得原始特征，根据原始特征计算特征点间的距离和；

步骤4：将参与识别的各面原始特征进行累加，以构建合并后的特征数据；

步骤5：将合并后的特征数据传入相似件分类模型进行第一次判断，获得零件X的零件型号，并根据零件型号在已训练零件各特征分布范围数据库中进行查找，若参与识别的零件特征与查找的数据库中特征差异过大，则输出该零件未参与训练；否则，将零件型号与相似件库进行对照，若无相似件，则直接输出零件号为系统输出的识别零件号，若存在相似件则输出相似件组；

步骤6：根据步骤5所得的相似件组，找到对应的深度学习模型，将步骤2所得的图片传入深度学习模型，得到个结果，对该结果进行筛选，选择出现次数最多的零件号为第二次判断的结果，输出该结果为系统输出的识别零件号。

8.一种车辆零件识别系统，其特征在于用于实现上述权利要求1-7任一项所述的车辆零件识别方法。

9.根据权利要求8所述的车辆零件识别系统，其特征在于至少包括在获取图片时均会用的：

灯光控制系统：设置为在工作时控制灯光亮度在一定范围内自动变化，并能够在设置时间内控制灯光亮度保持不变，以呈现不同亮度和不同光线的拍摄环境；

可旋转摇臂：悬吊设置在工作台的上方，摇臂上设置摄像头，使得零件放置在工作台上时，控制摄像头在摇臂上按设置速度动作以拍摄多角和不同光线下的图片或视频。