CN117437221B - 一种基于图像检测的亮饰条检测方法及系统 - Google Patents

一种基于图像检测的亮饰条检测方法及系统 Download PDF

Info

Publication number
CN117437221B
CN117437221B CN202311734616.7A CN202311734616A CN117437221B CN 117437221 B CN117437221 B CN 117437221B CN 202311734616 A CN202311734616 A CN 202311734616A CN 117437221 B CN117437221 B CN 117437221B
Authority
CN
China
Prior art keywords
image
bright decorative
assembly
decorative strip
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311734616.7A
Other languages
English (en)
Other versions
CN117437221A (zh
Inventor
童辉
虞送保
李辉
吉中全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xiangjin Auto Parts Co ltd
Original Assignee
Zhejiang Xiangjin Auto Parts Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xiangjin Auto Parts Co ltd filed Critical Zhejiang Xiangjin Auto Parts Co ltd
Priority to CN202311734616.7A priority Critical patent/CN117437221B/zh
Publication of CN117437221A publication Critical patent/CN117437221A/zh
Application granted granted Critical
Publication of CN117437221B publication Critical patent/CN117437221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,具体涉及一种基于图像检测的亮饰条检测方法及系统,方法包括在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,生产原材料通过不同的装配节点的加工处理产生最终的成品亮饰条;不同的检查模块分别获取经过相应的装配节点的中间亮饰条的图像,并且在亮饰条的装配流程中,分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理;不同的检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的中间亮饰条的图像中检测出问题图形的检测模型。通过本发明的方法能够得到高质量的成品亮饰条。

Description

一种基于图像检测的亮饰条检测方法及系统
技术领域
本发明属于图像处理技术领域,具体涉及一种基于图像检测的亮饰条检测方法及系统。
背景技术
随着计算机应用技术的不断发展,获取装配线上的产品的图像,通过图像检测算法从产品的图像中检测出问题图形,从而发现质量不合格的产品的方法变得越来越普遍。
类似现有技术有公开号为CN113177924A的发明,给出一种工业流水线产品瑕疵检测方法,包括步骤:采集产品瑕疵图像,形成产品瑕疵图像数据集;把产品瑕疵图像数据集分为训练集、验证集和测试集;对VGG16网络模型进行训练、验证和测试,形成训练好的VGG16网络模型;对有瑕疵的产品图片采用SSD检测算法进行特征的提取,完成对产品瑕疵的分类。此外,类似现有技术还有公开号为CN115511769A的发明,公开一种流水线上包装字符图像的归一化检测方法,包括步骤:1)分析工业包装字符图像,找到合适的图标作为唯一特征区域;2)制作模板,旨在找到唯一特征区域的特定参数;3)基于模板对工业包装图像特征区域的矫正;4)模板字符区域的预处理;5)一次粗略定位;6)根据模板图像特征区域和目标区域四个顶点的相对位置关系进行二次仿射定位;7)进行三角关系精细定位操作;8)主要对三组四个顶点值坐标求平均值作为最后的输出。上述发明均没有考虑获取的图像的精度问题,以及提前形成图像数据集需要花费大量时间的问题。由此,本发明提供一种基于图像检测的亮饰条检测方法及系统。
发明内容
本发明在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,不同的检查模块分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理,不同的检查模块还分别使用相应的训练数据重复训练自身的检测模型,本发明旨在获取高精度的中间亮饰条的图像,同时自动的为检测模型积累训练数据。
为了达到上述的发明目的,本发明给出如下所述的一种基于图像检测的亮饰条检测方法,主要包括以下的步骤:
在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,不同的装配节点包括第1装配节点,以及第2装配节点至第N装配节点,生产原材料通过第1装配节点,以及第2装配节点至第N装配节点的加工处理以产生最终的成品亮饰条;
不同的所述检查模块用于分别获取经过相应的装配节点的中间亮饰条的图像,同时在不同的所述检查模块之间能够进行图像数据的通信,并且在亮饰条的装配流程中,不同的所述检查模块分别执行自身的训练完成的检测模型,针对自身获取的所述中间亮饰条的图像进行检测处理,以确定自身获取的所述中间亮饰条的图像中的问题图形;
不同的所述检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的所述中间亮饰条的图像中检测出所述问题图形的所述检测模型。
作为本发明的一种优选技术方案,所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,包括所述检查模块拍摄不包含中间亮饰条的第一拍摄图像,以及所述检查模块拍摄包含中间亮饰条的第二拍摄图像。
作为本发明的一种优选技术方案,所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,还包括如下的步骤:
所述检查模块针对所述第一拍摄图像进行干扰图像元素的去除处理,以得到第一中间拍摄图像,并且所述检查模块分别计算所述第一中间拍摄图像中的图像块与预先确定的问题图像块之间的第一相似度,其中,图像块由若干个图像元素组成,所述检查模块将对应的所述第一相似度大于预先设定的第一相似度阈值的图像块判定为是第一问题图像块;
所述检查模块分别计算所述第一拍摄图像中的图像块与预先确定的问题图像块之间的第二相似度,其中,图像块由若干个图像元素组成,所述检查模块将对应的所述第二相似度大于预先设定的第二相似度阈值的图像块判定为是第二问题图像块;
所述检查模块将所述第一问题图像块与所述第二问题图像块的集合判定为是所述第一拍摄图像中的全部的问题图像块。
作为本发明的一种优选技术方案,所述第二相似度阈值大于所述第一相似度阈值。
作为本发明的一种优选技术方案,所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,还包括如下的步骤:
所述检查模块在所述第二拍摄图像中,确定与判定的所述第一拍摄图像中的全部的问题图像块相对应的不同的特定图像块;
所述检查模块针对确定的所述第二拍摄图像中的不同的所述特定图像块,分别使用不同的所述特定图像块周围的预先设定图像范围之内的若干个图像元素更新相应的所述特定图像块,以从所述第二拍摄图像得到所述中间亮饰条的图像。
作为本发明的一种优选技术方案,不同的所述检查模块分别执行自身的训练完成的所述检测模型,针对自身获取的所述中间亮饰条的图像进行检测处理,包括不同的所述检查模块先将自身获取的所述中间亮饰条的图像划分成若干个中间亮饰条的部分图像,再依次将若干个中间亮饰条的部分图像输入自身的训练完成的所述检测模型,自身的训练完成的所述检测模型依次检测出若干个中间亮饰条的部分图像中的所述问题图形。
作为本发明的一种优选技术方案,不同的所述检查模块分别在亮饰条的装配流程中积累相应的训练数据,包括如下的步骤:
所述第N装配节点对应的所述检查模块将自身的所述检测模型检测出的不同的所述问题图形,以及与不同的所述问题图形相对应的若干个中间亮饰条的部分图像发送给其他装配节点对应的所述检查模块;
其他装配节点对应的所述检查模块判断在自身的所述检测模型检测出的不同的所述问题图形对应的若干个中间亮饰条的部分图像中,是否存在与所述第N装配节点对应的所述检查模块发来的若干个中间亮饰条的部分图像相对应的中间亮饰条的部分图像,在不存在相应的中间亮饰条的部分图像的情况下,其他装配节点对应的所述检查模块删除自身的所述检测模型检测出的不同的所述问题图形对应的若干个中间亮饰条的部分图像,在存在相应的中间亮饰条的部分图像的情况下,继续下个步骤;
其他装配节点对应的所述检查模块分别取得相应的中间亮饰条的部分图像对应的不同的所述问题图形的代表值,以及分别取得与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形的代表值,并且其他装配节点对应的所述检查模块根据取得的代表值,针对相应的中间亮饰条的部分图像对应的不同的所述问题图形,和与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形进行聚类处理;
其他装配节点对应的所述检查模块确定和与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形同属一个类别的特定问题图形,仅将所述特定问题图形对应的中间亮饰条的部分图像存储为训练数据。
本发明还提供一种基于图像检测的亮饰条检测系统,包括如下的模块:
检查模块,分别设置在生产亮饰条的装配线的不同的装配节点模块,用于分别获取经过相应的装配节点模块的中间亮饰条的图像,并且在亮饰条的装配流程中,用于分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理,还用于分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用来从自身获取的中间亮饰条的图像中检测出问题图形的检测模型;
装配节点模块,包括第1装配节点模块,以及第2装配节点模块至第N装配节点模块,第1装配节点模块,以及第2装配节点模块至第N装配节点模块用于对生产原材料进行加工处理以产生最终的成品亮饰条;
通信模块,用于在不同的检查模块之间进行图像数据的通信。
与现有技术相比,本发明的有益效果至少如下所述:
在本发明中,首先,在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,生产原材料通过不同的装配节点的加工处理产生最终的成品亮饰条;其次,不同的检查模块分别获取经过相应的装配节点的中间亮饰条的图像,并且在亮饰条的装配流程中,分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理;最后,不同的检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的中间亮饰条的图像中检测出问题图形的检测模型。通过本发明,不仅能够获取高精度的中间亮饰条的图像,而且还能够在亮饰条的装配流程中自动的为检测模型积累准确度高的训练数据,从而能够不断提升从中间亮饰条的图像中检测问题图形的准确率,进而保证最终能够取得高质量的成品亮饰条。
附图说明
图1为本发明的一种基于图像检测的亮饰条检测方法的步骤流程图;
图2为本发明的一种基于图像检测的亮饰条检测系统的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
本发明提供了如图1所示的一种基于图像检测的亮饰条检测方法,主要通过执行如下的步骤过程进行实现:
步骤一、在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,不同的装配节点包括第1装配节点,以及第2装配节点至第N装配节点,生产原材料通过第1装配节点,以及第2装配节点至第N装配节点的加工处理以产生最终的成品亮饰条;
步骤二、不同的上述检查模块用于分别获取经过相应的装配节点的中间亮饰条的图像,同时在不同的上述检查模块之间能够进行图像数据的通信,并且在亮饰条的装配流程中,不同的上述检查模块分别执行自身的训练完成的检测模型,针对自身获取的上述中间亮饰条的图像进行检测处理,以确定自身获取的上述中间亮饰条的图像中的问题图形;
步骤三、不同的上述检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的上述中间亮饰条的图像中检测出上述问题图形的上述检测模型。
具体的,首先,生产亮饰条的装配线由不同的装配节点组成,包括第1装配节点,以及第2装配节点至第N装配节点,生产原材料依次经过第1装配节点,以及第2装配节点至第N装配节点的加工处理,能够产生最终的成品亮饰条,特别的,还在不同的装配节点分别设置不同的检查模块,也即每个装配节点对应有一个检查模块,其次,在亮饰条的装配流程中,不同的检查模块分别获取经过自身对应的装配节点的中间亮饰条的图像,并且分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理,来检测自身获取的中间亮饰条的图像中是否存在问题图形,问题图形举例如为中间亮饰条上的破损处对应的图形,本实施例不对检测模型进行具体的限制,只要能从中间亮饰条的图像中检测出问题图形的检测模型都可以,需要注意的是,在生产亮饰条的装配线首次运行之前,可以通过人工的方式为不同的检查模块的检测模型生成训练数据,从而分别得到不同的检查模块的训练完成的检测模型,为了节省人工和时间成本,生成的训练数据可以是适量的,最后,在生产亮饰条的装配线每次运行之后,不同的检查模块分别能够积累下来相应的训练数据,积累相应的训练数据的过程将在下文中进行详细描述,当生产亮饰条的装配线运行多次以后,也就是说当不同的检查模块分别积累下来足够的相应的训练数据以后,不同的检查模块分别使用积累下来的足够的相应的训练数据重复训练自身的检测模型。通过以上方法,不需要事先花费大量的时间成本生成不同的检查模块的检测模型的训练数据,而是在亮饰条的装配流程中自动生成,在节省时间成本的同时,还能够不断的提高不同的检查模块的检测模型的检测精度,进而也能够提高成品亮饰条的质量。
进一步的,上述检查模块获取经过自身对应的装配节点的上述中间亮饰条的图像的过程,包括上述检查模块拍摄不包含中间亮饰条的第一拍摄图像,以及上述检查模块拍摄包含中间亮饰条的第二拍摄图像。
具体的,生产亮饰条的装配线由于长期不断的运行,使得检查模块的光学元件中会存在污染物或瑕疵,那么检查模块获取的中间亮饰条的图像中也会出现相应的问题图像块,也就是说获取的中间亮饰条的图像是不够准确的,为了解决这个问题,检查模块拍摄不包含中间亮饰条的第一拍摄图像,以及拍摄包含中间亮饰条的第二拍摄图像,并且检查模块在不包含中间亮饰条的第一拍摄图像中确定问题图像块,从而基于问题图像块对包含中间亮饰条的第二拍摄图像进行图像更新,进而得到高精度的中间亮饰条的图像,详细的过程将在下文中进行介绍。
进一步的,上述检查模块获取经过自身对应的装配节点的上述中间亮饰条的图像的过程,还包括如下的步骤:
第一步、上述检查模块针对上述第一拍摄图像进行干扰图像元素的去除处理,以得到第一中间拍摄图像,并且上述检查模块分别计算上述第一中间拍摄图像中的图像块与预先确定的问题图像块之间的第一相似度,其中,图像块由若干个图像元素组成,上述检查模块将对应的上述第一相似度大于预先设定的第一相似度阈值的图像块判定为是第一问题图像块;
第二步、上述检查模块分别计算上述第一拍摄图像中的图像块与预先确定的问题图像块之间的第二相似度,其中,图像块由若干个图像元素组成,上述检查模块将对应的上述第二相似度大于预先设定的第二相似度阈值的图像块判定为是第二问题图像块;
第三步、上述检查模块将上述第一问题图像块与上述第二问题图像块的集合判定为是上述第一拍摄图像中的全部的问题图像块。
进一步的,上述第二相似度阈值大于上述第一相似度阈值;
具体的,检查模块在不包含中间亮饰条的第一拍摄图像中确定问题图像块的过程包括,第一步,检查模块针对第一拍摄图像进行干扰图像元素的去除处理,得到第一中间拍摄图像,干扰图像元素的去除处理也就是去除第一拍摄图像中的影响图像质量的不必要的或多余的图像元素,并且检查模块分别计算第一中间拍摄图像中的图像块与预先确定的问题图像块之间的第一相似度,计算第一相似度的过程举例如计算图像块的平均亮度值与问题图像块的平均亮度值之间的相似度,假设图像块的平均亮度值为188,问题图像块的平均亮度值为220,那么相似度为0.85,其中,这里的图像块为第一中间拍摄图像中的疑似是问题图像块的图像块,由若干个图像元素组成,检查模块将对应的第一相似度大于预先设定的第一相似度阈值的图像块判定为是第一问题图像块,第二步,检查模块分别计算第一拍摄图像中的图像块与预先确定的问题图像块之间的第二相似度,计算第二相似度的过程与计算第一相似度的过程保持一致,其中,这里的图像块为第一拍摄图像中的疑似是问题图像块的图像块,也由若干个图像元素组成,并且检查模块将对应的第二相似度大于预先设定的第二相似度阈值的图像块判定为是第二问题图像块,第三步,检查模块将第一问题图像块与第二问题图像块的集合判定为是第一拍摄图像中的全部的问题图像块;
需要注意的是,在本实施例中,设定第二相似度阈值大于第一相似度阈值,同时设定第二相似度阈值大于干扰图像元素与问题图像块之间的相似度,这样做是为了能够尽量准确的从第一拍摄图像中确定全部的问题图像块,原因在于当问题图像块的面积较大时,对图像质量的影响也较大,应当尽可能的被检测出来,此时可以将相似度阈值设定的较低,当问题图像块的面积较小时,对图像质量的影响也较小,此时可以将相似度阈值设定的较高,但是如果将相似度阈值设定的较低,干扰图像元素与问题图像块之间的相似度可能也会大于相似度阈值,从而可能也会将干扰图像元素检测为问题图像块,如果将相似度阈值设定的较高,可能不会将干扰图像元素也检测为问题图像块,然而可能就无法检测出全部的问题图像块,先对第一拍摄图像进行干扰图像元素的去除处理,同时使用较小的第一相似度阈值进行问题图像块的检测,再直接在第一拍摄图像中使用较大的第二相似度阈值进行问题图像块的检测,从而能够尽量准确的得到全部的问题图像块。
进一步的,上述检查模块获取经过自身对应的装配节点的上述中间亮饰条的图像的过程,还包括如下的步骤:
第一步、上述检查模块在上述第二拍摄图像中,确定与判定的上述第一拍摄图像中的全部的问题图像块相对应的不同的特定图像块;
第二步、上述检查模块针对确定的上述第二拍摄图像中的不同的上述特定图像块,分别使用不同的上述特定图像块周围的预先设定图像范围之内的若干个图像元素更新相应的上述特定图像块,以从上述第二拍摄图像得到上述中间亮饰条的图像。
具体的,基于第一拍摄图像中的全部的问题图像块对包含中间亮饰条的第二拍摄图像进行图像更新的过程包括,在第一步中,检查模块在第二拍摄图像中,确定与判定的第一拍摄图像中的全部的问题图像块相对应的不同的特定图像块,在本实施例中,第一拍摄图像和第二拍摄图像的分辨率相同,在第二步中,检查模块针对确定的第二拍摄图像中的不同的特定图像块,分别使用不同的特定图像块周围的预先设定图像范围之内的若干个图像元素更新相应的特定图像块,图像范围可以在实际的应用场景下进行具体设定,图像范围之内的若干个图像元素举例如,位于特定图像块上下左右并且与特定图像块相隔一个图像元素的距离之内的若干个图像元素,可以通过计算图像范围之内的若干个图像元素的颜色值的平均值,使用平均值更新特定图像块的颜色值,更新方法不限于此,从而能够从第二拍摄图像得到中间亮饰条的图像。以上方法根据第一拍摄图像中的问题图像块对于第二拍摄图像中的相应的图像块进行更新,能够得到准确度高的中间亮饰条的图像,进而能够更精准的检测出问题图形。
进一步的,不同的上述检查模块分别执行自身的训练完成的上述检测模型,针对自身获取的上述中间亮饰条的图像进行检测处理,包括不同的上述检查模块先将自身获取的上述中间亮饰条的图像划分成若干个中间亮饰条的部分图像,再依次将若干个中间亮饰条的部分图像输入自身的训练完成的上述检测模型,自身的训练完成的上述检测模型依次检测出若干个中间亮饰条的部分图像中的上述问题图形;具体的,为了提高检查模块的检测模型从中间亮饰条的图像中检测问题图形的整体效率,将中间亮饰条的图像划分成不同的中间亮饰条的部分图像依次进行问题图形的检测。
进一步的,不同的上述检查模块分别在亮饰条的装配流程中积累相应的训练数据,包括如下的步骤:
第一步、上述第N装配节点对应的上述检查模块将自身的上述检测模型检测出的不同的上述问题图形,以及与不同的上述问题图形相对应的若干个中间亮饰条的部分图像发送给其他装配节点对应的上述检查模块;
第二步、其他装配节点对应的上述检查模块判断在自身的上述检测模型检测出的不同的上述问题图形对应的若干个中间亮饰条的部分图像中,是否存在与上述第N装配节点对应的上述检查模块发来的若干个中间亮饰条的部分图像相对应的中间亮饰条的部分图像,在不存在相应的中间亮饰条的部分图像的情况下,其他装配节点对应的上述检查模块删除自身的上述检测模型检测出的不同的上述问题图形对应的若干个中间亮饰条的部分图像,在存在相应的中间亮饰条的部分图像的情况下,继续下个步骤;
第三步、其他装配节点对应的上述检查模块分别取得相应的中间亮饰条的部分图像对应的不同的上述问题图形的代表值,以及分别取得与相应的中间亮饰条的部分图像相对应的上述第N装配节点对应的上述检查模块发来的不同的上述问题图形的代表值,并且其他装配节点对应的上述检查模块根据取得的代表值,针对相应的中间亮饰条的部分图像对应的不同的上述问题图形,和与相应的中间亮饰条的部分图像相对应的上述第N装配节点对应的上述检查模块发来的不同的上述问题图形进行聚类处理;
第四步、其他装配节点对应的上述检查模块确定和与相应的中间亮饰条的部分图像相对应的上述第N装配节点对应的上述检查模块发来的不同的上述问题图形同属一个类别的特定问题图形,仅将上述特定问题图形对应的中间亮饰条的部分图像存储为训练数据。
具体的,在第一步中,第N装配节点对应的检查模块将自身的检测模型检测出的不同的问题图形,以及与不同的问题图形相对应的若干个中间亮饰条的部分图像发送给其他装配节点对应的检查模块,这里指的是发送给与第1装配节点,以及第2装配节点至第N-1装配节点相对应的检查模块,这样做是因为在经过第1装配节点,以及第2装配节点至第N-1装配节点的中间亮饰条上很有可能会存在污渍等,污渍容易被检测为问题图形,但是事实上污渍不属于产品质量问题,并且通常会在装配线的最后的装配节点举例如在第N装配节点被清洗掉,也就是说第N装配节点的检查模块的检测模型从中间亮饰条的图像中检测问题图形的准确率是最高的,在第二步中,其他装配节点对应的检查模块判断在自身的检测模型检测出的不同的问题图形对应的若干个中间亮饰条的部分图像中,是否存在与第N装配节点对应的检查模块发来的若干个中间亮饰条的部分图像相对应的中间亮饰条的部分图像,如果不存在相应的中间亮饰条的部分图像,那么就说明了其他装配节点对应的检查模块的检测模型检测出的问题图形,不被第N装配节点对应的检查模块的检测模型判定为是问题图形,此时其他装配节点对应的检查模块删除自身的检测模型检测出的不同的问题图形对应的若干个中间亮饰条的部分图像,如果存在相应的中间亮饰条的部分图像,继续第三步,在第三步中,为了简化说明,假设相应的中间亮饰条的部分图像的个数为一,对每个中间亮饰条的部分图像重复第三步中的方法,其他装配节点对应的检查模块取得相应的中间亮饰条的部分图像对应的不同的问题图形的代表值,以及取得与相应的中间亮饰条的部分图像相对应的第N装配节点对应的检查模块发来的不同的问题图形的代表值,之后其他装配节点对应的检查模块根据取得的上述代表值,对于相应的中间亮饰条的部分图像对应的不同的问题图形,和与相应的中间亮饰条的部分图像相对应的第N装配节点对应的检查模块发来的不同的问题图形进行聚类处理,其中,问题图形的代表值可以为问题图形的长度、宽度等,在第四步中,其他装配节点对应的检查模块确定和与相应的中间亮饰条的部分图像相对应的第N装配节点对应的检查模块发来的不同的问题图形同属一个类别的特定问题图形,仅将特定问题图形对应的中间亮饰条的部分图像存储为训练数据。通过以上方法,其他装配节点对应的检查模块能够自动的为自身的检测模型不断的积累准确的训练数据,而不需要人工参与,从而还能够提升自身的检测模型的检测精度。
根据本发明实施例的另一个方面,参考如图2所示,还提供一种基于图像检测的亮饰条检测系统,用来实现上述的一种基于图像检测的亮饰条检测方法,包括检查模块,装配节点模块,以及通信模块,各个模块的功能如下:
检查模块,分别设置在生产亮饰条的装配线的不同的装配节点模块,用于分别获取经过相应的装配节点模块的中间亮饰条的图像,并且在亮饰条的装配流程中,用于分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理,还用于分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用来从自身获取的中间亮饰条的图像中检测出问题图形的检测模型;
装配节点模块,包括第1装配节点模块,以及第2装配节点模块至第N装配节点模块,第1装配节点模块,以及第2装配节点模块至第N装配节点模块用于对生产原材料进行加工处理以产生最终的成品亮饰条;
通信模块,用于在不同的检查模块之间进行图像数据的通信。
综上所述,在本发明中,首先,在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,生产原材料通过不同的装配节点的加工处理产生最终的成品亮饰条;其次,不同的检查模块分别获取经过相应的装配节点的中间亮饰条的图像,并且在亮饰条的装配流程中,分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理;最后,不同的检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的中间亮饰条的图像中检测出问题图形的检测模型。通过本发明,不仅能够获取高精度的中间亮饰条的图像,而且还能够在亮饰条的装配流程中自动的为检测模型积累准确度高的训练数据,从而能够不断提升从中间亮饰条的图像中检测问题图形的准确率,进而保证最终能够取得高质量的成品亮饰条。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一个非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上上述的实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上上述的实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上上述的仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像检测的亮饰条检测方法,其特征在于,包括如下的步骤:
在生产亮饰条的装配线的不同的装配节点分别设置不同的检查模块,不同的装配节点包括第1装配节点,以及第2装配节点至第N装配节点,生产原材料通过第1装配节点,以及第2装配节点至第N装配节点的加工处理以产生最终的成品亮饰条;
不同的所述检查模块用于分别获取经过相应的装配节点的中间亮饰条的图像,同时在不同的所述检查模块之间能够进行图像数据的通信,并且在亮饰条的装配流程中,不同的所述检查模块分别执行自身的训练完成的检测模型,针对自身获取的所述中间亮饰条的图像进行检测处理,以确定自身获取的所述中间亮饰条的图像中的问题图形;
不同的所述检查模块分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用于从自身获取的所述中间亮饰条的图像中检测出所述问题图形的所述检测模型;
所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,包括所述检查模块拍摄不包含中间亮饰条的第一拍摄图像,以及所述检查模块拍摄包含中间亮饰条的第二拍摄图像;
所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,还包括如下的步骤:
所述检查模块针对所述第一拍摄图像进行干扰图像元素的去除处理,以得到第一中间拍摄图像,并且所述检查模块分别计算所述第一中间拍摄图像中的图像块与预先确定的问题图像块之间的第一相似度,其中,图像块由若干个图像元素组成,所述检查模块将对应的所述第一相似度大于预先设定的第一相似度阈值的图像块判定为是第一问题图像块;
所述检查模块分别计算所述第一拍摄图像中的图像块与预先确定的问题图像块之间的第二相似度,其中,图像块由若干个图像元素组成,所述检查模块将对应的所述第二相似度大于预先设定的第二相似度阈值的图像块判定为是第二问题图像块;
所述检查模块将所述第一问题图像块与所述第二问题图像块的集合判定为是所述第一拍摄图像中的全部的问题图像块。
2.根据权利要求1所述的一种基于图像检测的亮饰条检测方法,其特征在于,所述第二相似度阈值大于所述第一相似度阈值。
3.根据权利要求2所述的一种基于图像检测的亮饰条检测方法,其特征在于,所述检查模块获取经过自身对应的装配节点的所述中间亮饰条的图像的过程,还包括如下的步骤:
所述检查模块在所述第二拍摄图像中,确定与判定的所述第一拍摄图像中的全部的问题图像块相对应的不同的特定图像块;
所述检查模块针对确定的所述第二拍摄图像中的不同的所述特定图像块,分别使用不同的所述特定图像块周围的预先设定图像范围之内的若干个图像元素更新相应的所述特定图像块,以从所述第二拍摄图像得到所述中间亮饰条的图像。
4.根据权利要求3所述的一种基于图像检测的亮饰条检测方法,其特征在于,不同的所述检查模块分别执行自身的训练完成的所述检测模型,针对自身获取的所述中间亮饰条的图像进行检测处理,包括不同的所述检查模块先将自身获取的所述中间亮饰条的图像划分成若干个中间亮饰条的部分图像,再依次将若干个中间亮饰条的部分图像输入自身的训练完成的所述检测模型,自身的训练完成的所述检测模型依次检测出若干个中间亮饰条的部分图像中的所述问题图形。
5.根据权利要求4所述的一种基于图像检测的亮饰条检测方法,其特征在于,不同的所述检查模块分别在亮饰条的装配流程中积累相应的训练数据,包括如下的步骤:
所述第N装配节点对应的所述检查模块将自身的所述检测模型检测出的不同的所述问题图形,以及与不同的所述问题图形相对应的若干个中间亮饰条的部分图像发送给其他装配节点对应的所述检查模块;
其他装配节点对应的所述检查模块判断在自身的所述检测模型检测出的不同的所述问题图形对应的若干个中间亮饰条的部分图像中,是否存在与所述第N装配节点对应的所述检查模块发来的若干个中间亮饰条的部分图像相对应的中间亮饰条的部分图像,在不存在相应的中间亮饰条的部分图像的情况下,其他装配节点对应的所述检查模块删除自身的所述检测模型检测出的不同的所述问题图形对应的若干个中间亮饰条的部分图像,在存在相应的中间亮饰条的部分图像的情况下,继续下个步骤;
其他装配节点对应的所述检查模块分别取得相应的中间亮饰条的部分图像对应的不同的所述问题图形的代表值,以及分别取得与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形的代表值,并且其他装配节点对应的所述检查模块根据取得的代表值,针对相应的中间亮饰条的部分图像对应的不同的所述问题图形,和与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形进行聚类处理;
其他装配节点对应的所述检查模块确定和与相应的中间亮饰条的部分图像相对应的所述第N装配节点对应的所述检查模块发来的不同的所述问题图形同属一个类别的特定问题图形,仅将所述特定问题图形对应的中间亮饰条的部分图像存储为训练数据。
6.一种基于图像检测的亮饰条检测系统,用于实现如权利要求1-5任意一项所述的方法,其特征在于,包括如下的模块:
检查模块,分别设置在生产亮饰条的装配线的不同的装配节点模块,用于分别获取经过相应的装配节点模块的中间亮饰条的图像,并且在亮饰条的装配流程中,用于分别执行自身的训练完成的检测模型,针对自身获取的中间亮饰条的图像进行检测处理,还用于分别使用在亮饰条的装配流程中积累下来的相应的训练数据重复训练自身的用来从自身获取的中间亮饰条的图像中检测出问题图形的检测模型;
装配节点模块,包括第1装配节点模块,以及第2装配节点模块至第N装配节点模块,第1装配节点模块,以及第2装配节点模块至第N装配节点模块用于对生产原材料进行加工处理以产生最终的成品亮饰条;
通信模块,用于在不同的检查模块之间进行图像数据的通信。
CN202311734616.7A 2023-12-18 2023-12-18 一种基于图像检测的亮饰条检测方法及系统 Active CN117437221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311734616.7A CN117437221B (zh) 2023-12-18 2023-12-18 一种基于图像检测的亮饰条检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311734616.7A CN117437221B (zh) 2023-12-18 2023-12-18 一种基于图像检测的亮饰条检测方法及系统

Publications (2)

Publication Number Publication Date
CN117437221A CN117437221A (zh) 2024-01-23
CN117437221B true CN117437221B (zh) 2024-04-26

Family

ID=89551828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311734616.7A Active CN117437221B (zh) 2023-12-18 2023-12-18 一种基于图像检测的亮饰条检测方法及系统

Country Status (1)

Country Link
CN (1) CN117437221B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564577A (zh) * 2018-04-12 2018-09-21 重庆邮电大学 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及系统
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
WO2020248371A1 (zh) * 2019-06-14 2020-12-17 平安科技(深圳)有限公司 道路损伤检测方法、装置、计算机设备及存储介质
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN113902710A (zh) * 2021-10-12 2022-01-07 菲特(天津)检测技术有限公司 基于异常检测算法进行工业零件表面缺陷检测方法及系统
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN114972302A (zh) * 2022-06-17 2022-08-30 阿里云计算有限公司 判别标准生成方法、表面质检方法、存储介质及程序产品
CN115511769A (zh) * 2021-06-04 2022-12-23 深圳鑫成泰达科技有限公司 流水线上包装字符图像的归一化检测方法
CN116645337A (zh) * 2023-05-11 2023-08-25 广州市香港科大霍英东研究院 基于联邦学习的多产线陶瓷缺陷检测方法及系统
CN116893175A (zh) * 2023-07-04 2023-10-17 千顺智能(珠海)有限公司 基于深度学习的连接器多工位多缺陷统一测量系统
CN117036305A (zh) * 2023-08-16 2023-11-10 郑州大学 一种用于咽喉检查的图像处理方法、系统及存储介质
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564577A (zh) * 2018-04-12 2018-09-21 重庆邮电大学 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及系统
WO2020248371A1 (zh) * 2019-06-14 2020-12-17 平安科技(深圳)有限公司 道路损伤检测方法、装置、计算机设备及存储介质
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN115511769A (zh) * 2021-06-04 2022-12-23 深圳鑫成泰达科技有限公司 流水线上包装字符图像的归一化检测方法
CN113902710A (zh) * 2021-10-12 2022-01-07 菲特(天津)检测技术有限公司 基于异常检测算法进行工业零件表面缺陷检测方法及系统
CN114972302A (zh) * 2022-06-17 2022-08-30 阿里云计算有限公司 判别标准生成方法、表面质检方法、存储介质及程序产品
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN116645337A (zh) * 2023-05-11 2023-08-25 广州市香港科大霍英东研究院 基于联邦学习的多产线陶瓷缺陷检测方法及系统
CN116893175A (zh) * 2023-07-04 2023-10-17 千顺智能(珠海)有限公司 基于深度学习的连接器多工位多缺陷统一测量系统
CN117036305A (zh) * 2023-08-16 2023-11-10 郑州大学 一种用于咽喉检查的图像处理方法、系统及存储介质
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的薄膜瑕疵检测;王宏松;李杰;;微型机与应用;20160826(第16期);全文 *

Also Published As

Publication number Publication date
CN117437221A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN112700442A (zh) 基于Faster R-CNN的模切机工件缺陷检测方法和系统
CN110349199B (zh) 一种物体圆度测量方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN110738237A (zh) 缺陷分类的方法、装置、计算机设备和存储介质
CN109300127A (zh) 缺陷检测方法、装置、计算机设备及存储介质
CN113537414B (zh) 锂电池缺陷检测方法、装置、设备及存储介质
CN113838041A (zh) 一种基于自编码器的彩色纹理织物缺陷区域的检测方法
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN114998324A (zh) 半导体晶圆缺陷检测模型的训练方法及装置
CN114862776A (zh) 一种产品表面缺陷检测方法、装置、计算机设备及介质
CN115272961A (zh) 基于人工智能的vr设备预警监测方法及系统
WO2024102565A1 (en) System and method for joint detection, localization, segmentation and classification of anomalies in images
CN117437221B (zh) 一种基于图像检测的亮饰条检测方法及系统
CN114612427A (zh) 铭牌缺陷检测方法、装置、电子设备及存储介质
CN117853744A (zh) 公路隧道裂缝特征参数的提取方法、系统、设备及介质
CN113077431A (zh) 基于深度学习的激光芯片缺陷检测方法与系统、设备及存储介质
CN114882033B (zh) 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN116416433A (zh) 晶圆图像在故障模式识别过程中的预处理方法和装置
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN114842014B (zh) 基于密度估计的缺陷检测方法、装置、设备及存储介质
TWI816549B (zh) 自動化瑕疵檢測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240123

Assignee: Ningbo Xiangjin Automotive Sealing System Co.,Ltd.

Assignor: Zhejiang Xiangjin Auto Parts Co.,Ltd.

Contract record no.: X2024330000370

Denomination of invention: A method and system for detecting bright decorative strips based on image detection

Granted publication date: 20240426

License type: Common License

Record date: 20240808