CN115345842A - 一种基于深度学习的汽车关键部件相似比对方法 - Google Patents

一种基于深度学习的汽车关键部件相似比对方法 Download PDF

Info

Publication number
CN115345842A
CN115345842A CN202210941315.0A CN202210941315A CN115345842A CN 115345842 A CN115345842 A CN 115345842A CN 202210941315 A CN202210941315 A CN 202210941315A CN 115345842 A CN115345842 A CN 115345842A
Authority
CN
China
Prior art keywords
image
images
deep learning
automobile
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210941315.0A
Other languages
English (en)
Inventor
贾佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuntong Technology Co ltd
Original Assignee
Nanjing Yuntong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuntong Technology Co ltd filed Critical Nanjing Yuntong Technology Co ltd
Priority to CN202210941315.0A priority Critical patent/CN115345842A/zh
Publication of CN115345842A publication Critical patent/CN115345842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的汽车关键部件相似比对方法，包括：步骤1，图像采集系统采集汽车关键部件图像；步骤2，对汽车关键部件图像进行预处理后与数据库中标准图像一起构成训练数据集；步骤3，构建部件相似度深度学习网络并采用训练数据集进行网络训练；步骤4，实时采集汽车关键部件图像，对其进行预处理后输入到部件相似度深度学习网络中与标准图像进行相似度比对，得出关键部件的安装是否正确或者缺陷的情况。将深度学习技术应用于关键部件相似比，提高了装汽车装配和检修的精度和效率。

Description

一种基于深度学习的汽车关键部件相似比对方法
技术领域
本发明属于汽车零件检测技术领域，具体涉及一种基于深度学习的汽车关键部件相似比对方法。
背景技术
随着汽车消费市场多元化需求的日益增加，汽车制造企业正不断丰富现有的车型配置以满足不同顾客的需求。同一生产线生产的车型配置及种类逐步增加，总装零部件的种类也越来越多。
零件的合格与否直接影响到主机厂产品的质量，其配送厂家必须花费大量的人力进行检测和排查有缺陷的零配件。随着维修服务日益增长的需求，不断提高检测效率和质量成为了重中之重。
从汽车市场来看，目前国内的中小企业主要是依靠人工检查，工作效率低，漏检概率高、且人工成本高。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的汽车关键部件相似比对方法，将深度学习技术应用于关键部件相似比，可提高装汽车装配和检修的精度和效率，解决检测效率低、人员多、检测质量低等问题。
为实现上述技术目的，本发明采取的技术方案为：
一种基于深度学习的汽车关键部件相似比对方法，包括：
步骤1，图像采集系统采集汽车关键部件图像；
步骤2，对汽车关键部件图像进行预处理后与数据库中标准图像一起构成训练数据集；
步骤3，构建部件相似度深度学习网络并采用训练数据集进行网络训练；
步骤4，实时采集汽车关键部件图像，对其进行预处理后输入到部件相似度深度学习网络中与标准图像进行相似度比对，得出关键部件的安装是否正确或者缺陷的情况。
为优化上述技术方案，采取的具体措施还包括：
上述的图像采集系统采用工业相机进行图像采集；
所述工业相机为30万像素Global Shutter CMOS图像传感器。
上述的关键部件为轮胎时，工业相机固定在汽车轮胎的正前方，且轮胎添加左右两道光条。
上述的步骤2所述预处理包括：
(1)通过几何变换对图像进行处理，用于改正图像采集系统的系统误差和仪器位置的随机误差；
(2)对图像进行亮度校正，考虑图像像素原来的亮度和其在图像中的位置以修改像素的亮度，改善因光照不均带来的影响；
(3)对图像采用中值滤波方式进行图像清晰度增强。
上述的几何变换包括平移、转置、镜像、旋转和缩放。
上述的步骤3所述部件相似度深度学习网络采用双通道网络结构，其对图像进行处理的过程如下；
(1)经过第一层的卷积后，将两张图像的像素进行相关的加权组合并映射，将两张(1，256,256)单通道的数据转化为(2,256,256)的双通道矩阵数据，将该矩阵数据作为网络的输入；
(2)采用数据增强方法，将一张图像处理为两张图像，具体为：
通过以原始256×256的图像中心，进行裁剪出128×128的图像，生成第一张图像；
通过下采样得到128×128的图像，生成第二张图像；
(3)经过设计的CNN层获得特征向量；
(4)添加空洞空间金字塔池化层，增加提取特征的多尺度性。
上述的步骤3训练时采用的损失函数为：
Figure BDA0003785768310000021
其中，ω是神经网络的权重，
Figure BDA0003785768310000022
‖ω‖2为正则项，采用L2正则项,λ是可调节参数，N是图像数量；
Figure BDA0003785768310000023
为误差损失；
Figure BDA0003785768310000024
是网络第i对训练图像的输出神经元；
yi的取值是-1或1，当输入的采集图像与标准图像匹配的时候，为1，当不匹配的时候是-1。
本发明具有以下有益效果：
本发明将深度学习技术应用于车辆部件的安装与维修，可实现整车装配防错，提高汽车装配的准确率和效率。
附图说明
图1为本发明方法流程图；
图2为本发明部件相似度深度学习网络结构图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
一种基于深度学习的汽车关键部件相似比对方法，包括：
步骤1，图像采集系统采集汽车关键部件图像；
所述图像采集系统采用工业相机进行图像采集；所述工业相机为30万像素GlobalShutter CMOS图像传感器。
例如，所述关键部件为轮胎时，工业相机固定在汽车轮胎的正前方，且轮胎添加左右两道光条。此时经过步骤1-4可实现汽车轮胎装配防错。
步骤2，对汽车关键部件图像进行预处理后与数据库中标准图像一起构成训练数据集；
预处理过程为：
(1)通过平移、转置、镜像、旋转、缩放等几何变换对采集的汽车关键部件图像进行处理，用于改正图像采集系统的系统误差和仪器位置(成像角度透视关系乃至镜头自身原因)的随机误差；
(2)对图像进行亮度校正，考虑图像像素原来的亮度和其在图像中的位置以修改像素的亮度，改善因光照不均带来的影响；
(3)对图像采用中值滤波方式进行图像清晰度增强。
步骤3，构建部件相似度深度学习网络并采用训练数据集进行网络训练；
所述部件相似度深度学习网络具体结构如图2所示，采用双通道网络结构，其对图像进行处理的过程如下；
(1)经过第一层的卷积后，将两张图像的像素进行相关的加权组合并映射，也就是说将两张(1，256,256)单通道的数据转化为(2,256,256)的双通道矩阵数据，将该矩阵数据作为网络的输入；
(2)采用数据增强方法，将一张图像处理为两张图像，具体为：
通过以原始256×256的图像中心，进行裁剪出128×128的图像，生成第一张图像；
通过下采样得到128×128的图像，生成第二张图像；
(3)经过设计的CNN层获得特征向量；
(4)添加空洞空间金字塔池化层，增加提取特征的多尺度性。
训练时采用的损失函数为：
Figure BDA0003785768310000041
其中，ω是神经网络的权重，
Figure BDA0003785768310000042
为正则项，采用L2正则项,λ是可调节参数，N是图像数量；
Figure BDA0003785768310000043
为误差损失；
Figure BDA0003785768310000044
是网络第i对训练图像的输出神经元；
yi的取值是-1或1，当输入的采集图像与标准图像匹配的时候，为1，当不匹配的时候是-1。
步骤4，实时采集汽车关键部件图像，对其进行预处理后输入到部件相似度深度学习网络中，得出关键部件的安装是否正确或者缺陷的情况。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习的汽车关键部件相似比对方法，其特征在于，包括：
步骤1，图像采集系统采集汽车关键部件图像；
步骤2，对汽车关键部件图像进行预处理后与数据库中标准图像一起构成训练数据集；
步骤3，构建部件相似度深度学习网络并采用训练数据集进行网络训练；
步骤4，实时采集汽车关键部件图像，对其进行预处理后输入到部件相似度深度学习网络中与标准图像进行相似度比对，得出关键部件的安装是否正确或者缺陷的情况。
2.根据权利要求1所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，所述图像采集系统采用工业相机进行图像采集；
所述工业相机为30万像素Global Shutter CMOS图像传感器。
3.根据权利要求2所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，所述关键部件为轮胎时，工业相机固定在汽车轮胎的正前方，且轮胎添加左右两道光条。
4.根据权利要求1所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，步骤2所述预处理包括：
(1)通过几何变换对图像进行处理，用于改正图像采集系统的系统误差和仪器位置的随机误差；
(2)对图像进行亮度校正，考虑图像像素原来的亮度和其在图像中的位置以修改像素的亮度，改善因光照不均带来的影响；
(3)对图像采用中值滤波方式进行图像清晰度增强。
5.根据权利要求4所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，所述几何变换包括平移、转置、镜像、旋转和缩放。
6.根据权利要求1所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，步骤3所述部件相似度深度学习网络采用双通道网络结构，其对图像进行处理的过程如下；
(1)将采集图像和标准图像的像素进行相关的加权组合并映射，将两张(1,256,256)单通道的数据转化为(2,256,256)的双通道图像数据，将该图像数据作为网络的输入；
(2)再采用数据增强方法，将一张图像处理为两张图像，具体为：
通过以原始256×256的图像中心，进行裁剪出128×128的图像，生成第一张图像；
通过下采样得到128×128的图像，生成第二张图像；
(3)经过设计的CNN层获得特征向量；
(4)添加空洞空间金字塔池化层，增加提取特征的多尺度性。
7.根据权利要求1所述的一种基于深度学习的汽车关键部件相似比对方法，其特征在于，所述步骤3训练时采用的损失函数为：
Figure FDA0003785768300000021
其中，ω是神经网络的权重，
Figure FDA0003785768300000022
为正则项，采用L2正则项,λ是可调节参数，N是图像数量；
Figure FDA0003785768300000023
为误差损失；
Figure FDA0003785768300000024
是网络第i对训练图像的输出神经元；
yi的取值是-1或1，当输入的采集图像与标准图像匹配的时候，为1，当不匹配的时候是-1。
CN202210941315.0A 2022-08-08 2022-08-08 一种基于深度学习的汽车关键部件相似比对方法 Pending CN115345842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210941315.0A CN115345842A (zh) 2022-08-08 2022-08-08 一种基于深度学习的汽车关键部件相似比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210941315.0A CN115345842A (zh) 2022-08-08 2022-08-08 一种基于深度学习的汽车关键部件相似比对方法

Publications (1)

Publication Number Publication Date
CN115345842A true CN115345842A (zh) 2022-11-15

Family

ID=83950358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210941315.0A Pending CN115345842A (zh) 2022-08-08 2022-08-08 一种基于深度学习的汽车关键部件相似比对方法

Country Status (1)

Country Link
CN (1) CN115345842A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115478A (zh) * 2023-08-01 2023-11-24 南京林业大学 一种基于双流孪生网络的装配防错检测方法
CN117115478B (zh) * 2023-08-01 2024-08-02 南京林业大学 一种基于双流孪生网络的装配防错检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115478A (zh) * 2023-08-01 2023-11-24 南京林业大学 一种基于双流孪生网络的装配防错检测方法
CN117115478B (zh) * 2023-08-01 2024-08-02 南京林业大学 一种基于双流孪生网络的装配防错检测方法

Similar Documents

Publication Publication Date Title
CN111815601B (zh) 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法
CN111383209B (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN110570364B (zh) 基于深度神经网络的分焦平面偏振图像去噪方法
CN103048331B (zh) 基于柔性模板配准的印刷缺陷检测方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN110660025B (zh) 一种基于gan网络的工业监控视频图像清晰化方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN114240939A (zh) 一种主板元器件外观缺陷检测方法、系统、设备及介质
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN115311250A (zh) 基于深度学习和时空特征融合的烟支外观检测方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN115526891A (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
CN109493280B (zh) 图像处理方法、装置、终端及存储介质
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN115345842A (zh) 一种基于深度学习的汽车关键部件相似比对方法
CN117036266A (zh) 一种基于知识蒸馏的工业图像异常检测方法及系统
CN113902695A (zh) 一种针对色织物裁片缺陷区域的检测方法
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN113591933B (zh) 一种基于相关性度量的遥感图像变化检测方法及系统
CN117372720B (zh) 一种基于多特征交叉掩码修复的无监督异常检测方法
CN116596765A (zh) 一种基于注意力机制的工业图像修复及特征学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination