CN117392053A - 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法 - Google Patents

一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法 Download PDF

Info

Publication number
CN117392053A
CN117392053A CN202311092010.8A CN202311092010A CN117392053A CN 117392053 A CN117392053 A CN 117392053A CN 202311092010 A CN202311092010 A CN 202311092010A CN 117392053 A CN117392053 A CN 117392053A
Authority
CN
China
Prior art keywords
image
gluing
segmentation network
segmentation
bilateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311092010.8A
Other languages
English (en)
Inventor
邵卿
赵金戈
夏利明
卢兴中
陈红光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Betterway Automation Technology Co ltd
Original Assignee
Shanghai Betterway Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Betterway Automation Technology Co ltd filed Critical Shanghai Betterway Automation Technology Co ltd
Priority to CN202311092010.8A priority Critical patent/CN117392053A/zh
Publication of CN117392053A publication Critical patent/CN117392053A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视觉检测技术领域,且公开了一种基于Bi SeNetV2双边分割网络的汽车涂胶视觉检测方法,包括以下步骤:S1、使用Bi SeNetV2双边分割网络架构;S2、基于Bi SeNetV2双边分割网络架构并结合汽车涂胶检测图像实际应用设计调整网络参数,将通道数减少;S3、分割网络输入输出层处理大图像时会按照训练尺度做相应的Patch分割。本发明是一种针对汽车涂胶检测改进优化的深度分割网络,其实现首先是使用Bi SeNetV2双边分割网络架构,使之在不降低准确率的情况下相对于传统的编码‑解码网络架构(例:ResNet50等)有着更快的推理速度;其次是根据汽车涂胶检测场景设计调整的网络参数,高效输出语义分割的结果图像。

Description

一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法
技术领域
本发明属于视觉检测技术领域,具体为一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法。
背景技术
随着汽车生产流程中涂胶工艺应用的增加,涂胶过程中的质量管控变得尤为重要。涂胶工艺在汽车生产过程中起到很多重要作用,例如防水防尘、焊接辅助、结构连接等。先前的涂胶质量主要依赖人工检查,但是由于涂胶工艺使用的范围越来越广,加之人工检查的准确性和效率有限,经常会有误判或漏判发生。因此,汽车生产流程中涂胶质量的自动化、智能化检测的水平越来越高。
针对汽车生产流程中涂胶质量的智能化、自动化检测,目前主流采用的是机器视觉方法,一种是胶枪带动视觉采集设备在涂胶过程中采集胶条图像同时利用视觉检测方法对所采图像进行分析从而实现在线涂胶质量检测,另外一种则是在涂胶结束后利用视觉采集设备整体拍摄所涂胶条同时利用视觉检测方法分析所采图像从而实现离线涂胶质量检测。在此过程中,对于胶条图像采用的视觉检测方法对于该自动化检测的准确性和稳定性起到至关重要的作用。目前主流的视觉检测方法大多是传统的图像分割方法或者是简单的机器学习方法,由于涂胶自动化检测较多情况下取得的图像因为光照、拍摄角度等因素会造成所采图像质量较差,主流的视觉检测方法有较高的概率产生误判,降低了自动化检测的准确性,从而影响汽车生产质量。
本申请提出一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法致力于解决上述问题。
发明内容
本发明的目的在于提供一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,以解决上述背景技术中提出的问题。
为了实现上述目的,本发明提供如下技术方案:一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,包括以下步骤:
S1、使用BiSeNetV2双边分割网络架构;
S2、基于BiSeNetV2双边分割网络架构并结合汽车涂胶检测图像实际应用设计调整网络参数,将通道数减少;
S3、分割网络输入输出层处理大图像时会按照训练尺度做相应的Patch分割。
优选的,S3中分割网络输入输出层按照训练尺度对大图像作出相应的Patch分割,其用于兼容任意大小的图像处理。
优选的,所述Patch分割包括以下步骤,
S1.将大图像(H×W)在H方向分为Ceil(H/512)份(Hp),每份之间的重叠区域为Ceil((Hp×512-H)/Hp)像素;
S2.将大图像(H×W)在W方向分为Ceil(W/1024)份(Wp),每份之间的重叠区域为Ceil((Wp×1024-W)/Wp)像素;
S3.由于胶条在图像中位置相对固定,以上Hp×Wp份图像中选取其中含有胶条部分的N张图像(PATCH)进行标注训练,推理时也使用此N张图像所在位置之PATCH;
S4.推理后按照S1,S2所述逆向步骤进行拼接,还原最终在原大图像上的语义分割结果。
优选的,针对大图像的分割处理能够加载多个Patch分割实现对大图像的并行处理。
优选的,所述BiSeNetV2双边分割网络汽车涂胶自动化视觉检测系统中对输入胶条图像的分割识别步骤如下,
S1.在现场部署好涂胶自动化检测设备并采集胶条图像,将图像输入到训练服务器当中待用;
S2.利用图像标注软件标注输入图像,形成标注样本集;
S3.由于输入图像和对应的标注样本一般数量较少,需要对进行样本增强,其中包括水平竖直翻转、随机裁剪、随机旋转和变形缩放;
S4.将经过图像增强后的输入图像和标注样本集合划分成训练集、测试集和验证集,输入本发明网络进行训练,收敛后得到网络模型;
S5.将网络模型输入到涂胶自动化检测设备的图像分析软件中;
S6.开启涂胶自动化检测设备,
若为在线涂胶自动化检测设备,则在涂胶过程中拍摄胶条图像并即时分析得到判别结果;
若为离线涂胶自动化检测设备,则在涂胶完成后一体拍摄胶条图像并即时分析得到判别结果;
S7.涂胶自动化检测设备在得到判别结果后,根据产线需求,通过工业通讯协议给到产品质量控制端。
本发明的有益效果如下:
1、本发明通过公开了一种针对汽车涂胶质量视觉检测的基于BiSeNetV2双边分割网络的视觉检测算法,该算法是一种针对汽车涂胶检测改进优化的深度分割网络,其实现首先是使用BiSeNetV2双边分割网络架构,使之在不降低准确率的情况下相对于传统的编码-解码网络架构(例:ResNet50等)有着更快的推理速度;其次是根据汽车涂胶检测场景设计调整的网络参数,高效输出语义分割的结果图像。
2、本发明所实施的技术手段在汽车涂胶自动化视觉检测过程中表现出了较高的准确率,对于较差的胶条图像具有良好的识别效果;选用的BiSeNetV2双边分割网络架构有更快的运算推理速度,可以满足更加严苛的在线涂胶自动化视觉检测的检测节拍。
附图说明
图1为本发明BiSeNetV2双边分割网络基本架构图;
图2为本发明输入胶条图像的分割识别流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1至图2所示,本发明实施例提供了一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法。
1.BiSeNetV2双边分割网络及参数调整
本发明的使用了BiSeNetV2双边分割网络架构并对其结合汽车涂胶检测图像实际应用设计调整网络参数,达到最终的检测效果。如表1所示:
表1 BiSeNetV2网络细节分支结构参数调整
本发明对于BiSeNet的参数调整书要是调节通道数到更小,通道数减少理由有二:一是由于胶条一般在视野中较细,因此使用更小的通道数使网络的细节分支感受野尺寸减小,从而更好的识别和分割胶条;二是更小的卷积通道数可以减小模型复杂度,减小模型在推理过程中的显存使用量,也会加快推理速度。
2.Patch分割
如图1所示,将大图像按照网络感受域的最佳尺度(512×1024)进行Patch分割进行训练及推理,如此的好处有以下几点:
(1)对于较大图像的PATCH分割可以使该涂胶检测分割算法兼容任意尺度的胶条图像,并可对于背景较大的图像进行定制化PATCH处理,具体步骤如下:
S1.将大图像(H×W)在H方向分为Ceil(H/512)份(Hp),每份之间的重叠区域为Ceil((Hp×512-H)/Hp)像素。
S2.将大图像(H×W)在W方向分为Ceil(W/1024)份(Wp),每份之间的重叠区域为Ceil((Wp×1024-W)/Wp)像素。
S3.由于胶条在图像中位置相对固定,以上Hp×Wp份图像中选取其中含有胶条部分的N张图像(PATCH)进行标注训练,推理时也使用此N张图像所在位置之PATCH。
S4.推理后按照S1,S2所述逆向步骤进行拼接,还原最终在原大图像上的语义分割结果。
以上处理使得训练样本的目标-背景比例更均衡,降低局部收敛风险;同时减小分割网络的实际处理吞吐量,提高检测速度。
(2)各个PATCH的大小于网络设计的输入层相当,结合其最佳感受域的尺度,可以提高分割的准确性。
(3)由于改进后的模型战显存的容量较小,可通过加载多个模型的方式实现各个PATCH的并行推理,加快了大图片的检测效率。
在构建好上述网络后,需要将其应用到汽车涂胶自动化视觉检测系统当中,从而实现对输入胶条图像的分割识别,如图2所示,其步骤如下:
S1.在现场部署好涂胶自动化检测设备并采集胶条图像,将图像输入到训练服务器当中待用。
S2.利用图像标注软件标注输入图像,形成标注样本集。
S3.由于输入图像和对应的标注样本一般数量较少,需要对进行样本增强,包括水平竖直翻转、随机裁剪、随机旋转、变形缩放等。
S4.将经过图像增强后的输入图像和标注样本集合划分成训练集、测试集和验证集,输入本发明网络进行训练,收敛后得到网络模型。
S5.将网络模型输入到涂胶自动化检测设备的图像分析软件中。
S6.开启涂胶自动化检测设备。若为在线涂胶自动化检测设备,则在涂胶过程中拍摄胶条图像并即时分析得到判别结果;若为离线涂胶自动化检测设备,则在涂胶完成后一体拍摄胶条图像并即时分析得到判别结果。
S7.涂胶自动化检测设备在得到判别结果后,根据产线需求,通过工业通讯协议给到产品质量控制端,从而达到涂胶质量控制的目的。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,其特征在于,包括以下步骤:
S1、使用BiSeNetV2双边分割网络架构;
S2、基于BiSeNetV2双边分割网络架构并结合汽车涂胶检测图像实际应用设计调整网络参数,将通道数减少;
S3、分割网络输入输出层处理大图像时会按照训练尺度做相应的Patch分割。
2.根据权利要求1所述的一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,其特征在于:S3中分割网络输入输出层按照训练尺度对大图像作出相应的Patch分割,其用于兼容任意大小的图像处理。
3.根据权利要求2所述的一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,其特征在于:所述Patch分割包括以下步骤,
S1.将大图像(H×W)在H方向分为Ceil(H/512)份(Hp),每份之间的重叠区域为Ceil((Hp×512-H)/Hp)像素;
S2.将大图像(H×W)在W方向分为Ceil(W/1024)份(Wp),每份之间的重叠区域为Ceil((Wp×1024-W)/Wp)像素;
S3.由于胶条在图像中位置相对固定,以上Hp×Wp份图像中选取其中含有胶条部分的N张图像(PATCH)进行标注训练,推理时也使用此N张图像所在位置之PATCH;
S4.推理后按照S1,S2所述逆向步骤进行拼接,还原最终在原大图像上的语义分割结果。
4.根据权利要求3所述的一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,其特征在于:针对大图像的分割处理能够加载多个Patch分割实现对大图像的并行处理。
5.根据权利要求1-4任一条所述的一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法,其特征在于:所述BiSeNetV2双边分割网络汽车涂胶自动化视觉检测系统中对输入胶条图像的分割识别步骤如下,
S1.在现场部署好涂胶自动化检测设备并采集胶条图像,将图像输入到训练服务器当中待用;
S2.利用图像标注软件标注输入图像,形成标注样本集;
S3.由于输入图像和对应的标注样本一般数量较少,需要对进行样本增强,其中包括水平竖直翻转、随机裁剪、随机旋转和变形缩放;
S4.将经过图像增强后的输入图像和标注样本集合划分成训练集、测试集和验证集,输入本发明网络进行训练,收敛后得到网络模型;
S5.将网络模型输入到涂胶自动化检测设备的图像分析软件中;
S6.开启涂胶自动化检测设备,
若为在线涂胶自动化检测设备,则在涂胶过程中拍摄胶条图像并即时分析得到判别结果;
若为离线涂胶自动化检测设备,则在涂胶完成后一体拍摄胶条图像并即时分析得到判别结果;
S7.涂胶自动化检测设备在得到判别结果后,根据产线需求,通过工业通讯协议给到产品质量控制端。
CN202311092010.8A 2023-08-28 2023-08-28 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法 Pending CN117392053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311092010.8A CN117392053A (zh) 2023-08-28 2023-08-28 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311092010.8A CN117392053A (zh) 2023-08-28 2023-08-28 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法

Publications (1)

Publication Number Publication Date
CN117392053A true CN117392053A (zh) 2024-01-12

Family

ID=89437964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311092010.8A Pending CN117392053A (zh) 2023-08-28 2023-08-28 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法

Country Status (1)

Country Link
CN (1) CN117392053A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割系统
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及系统
CN112037161A (zh) * 2019-05-17 2020-12-04 上海贝特威自动化科技有限公司 一种基于区域自动阈值分析的涂胶分析方法
CN114782406A (zh) * 2022-05-21 2022-07-22 上海贝特威自动化科技有限公司 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割系统
CN112037161A (zh) * 2019-05-17 2020-12-04 上海贝特威自动化科技有限公司 一种基于区域自动阈值分析的涂胶分析方法
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及系统
CN114782406A (zh) * 2022-05-21 2022-07-22 上海贝特威自动化科技有限公司 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANGQIAN YU ET AL.: "BiSeNet V2: Bilateral Network with Guided Aggregation for Real-time Semantic Segmentation", ARXIV:2004.02147V1, 5 April 2020 (2020-04-05), pages 1 - 16 *

Similar Documents

Publication Publication Date Title
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN110488481A (zh) 一种显微镜对焦方法、显微镜及相关设备
CN110766664B (zh) 一种基于深度学习的电子元器件外观不良品的检测方法
CN105513046A (zh) 电子元件极性的识别方法和系统、标注方法和系统
US20200090319A1 (en) Machine learning method implemented in aoi device
CN110610500A (zh) 基于动态语义特征的新闻视频自适应拆条方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN114140398A (zh) 一种利用无缺陷图像的少样本缺陷检测方法
CN116188419A (zh) 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法
CN116539619A (zh) 产品缺陷检测方法、系统、装置及存储介质
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN117392053A (zh) 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法
CN113673396A (zh) 一种孢子发芽率计算方法、装置及存储介质
CN117911252A (zh) 基于深度学习去除图像中光照的方法及系统
CN110033443B (zh) 一种显示面板缺陷检测方法
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
CN107153072A (zh) 一种镜片疵病检测方法及装置
CN114782406A (zh) 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN105654059A (zh) 互联网络视频图像低俗成人内容的检出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination