CN115481736B - 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备 - Google Patents

焊渣图模型的训练方法、焊渣切割模型的生成方法、设备 Download PDF

Info

Publication number
CN115481736B
CN115481736B CN202211404247.0A CN202211404247A CN115481736B CN 115481736 B CN115481736 B CN 115481736B CN 202211404247 A CN202211404247 A CN 202211404247A CN 115481736 B CN115481736 B CN 115481736B
Authority
CN
China
Prior art keywords
welding slag
map
false
slag
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211404247.0A
Other languages
English (en)
Other versions
CN115481736A (zh
Inventor
李子康
林宗儒
吴振廷
昝妍
李威骏
谢丰
杨开来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fulian Yuzhan Technology Shenzhen Co Ltd
Original Assignee
Fulian Yuzhan Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fulian Yuzhan Technology Shenzhen Co Ltd filed Critical Fulian Yuzhan Technology Shenzhen Co Ltd
Priority to CN202211404247.0A priority Critical patent/CN115481736B/zh
Publication of CN115481736A publication Critical patent/CN115481736A/zh
Application granted granted Critical
Publication of CN115481736B publication Critical patent/CN115481736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的一种焊渣图模型的训练方法、焊渣切割模型的生成方法、设备。所述焊渣图模型的训练方法包括:生成模型接收像素随机数矩阵;所述生成模型基于像素随机数矩阵生成假焊渣图;分析模块确定假焊渣图真假情况;基于分析模块确定假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。用于减少人工标记焊接工件图中的焊渣,降低焊渣标记时长及降低焊渣检测成本。

Description

焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
技术领域
本申请涉及焊接技术领域,具体地涉及一种焊渣图模型的训练方法、焊渣切割模型的生成方法、设备及介质。
背景技术
在制造业总,焊接是许多加工制造方法的基础,其质量好坏决定了产品的可靠性。在焊接过程中,由于焊接参数、设备、工艺、材质等因素引起熔核过分扩展使得塑性焊接环失压而难以形成,极易导致点焊工艺后出现不规则的焊渣飞溅。而残留焊渣多、飞溅区域广,被认为是一种极难避免的焊接缺陷。
目前,现有技术通常采用目视检测方法对点焊后的产品进行焊点标记,在焊点标记后在进行人工打磨。上述检测过程存在检测效率低、误检和漏检等问题。为了解决该问题,可以通过训练神经网络模型进行焊渣的标记。但是神经网络模型进行训练时,需要有大量的标记出焊渣的焊渣图进行训练。此时若通过人工进行标记,则耗时较长,且大大增加了人工成本。
发明内容
有鉴于此,本申请提供一种焊渣图模型的训练方法、焊渣切割模型的生成、设备及介质,以利于解决现有技术中人工成本高,焊渣标记耗时长的问题。
第一方面,本申请实施例提供了一种对抗生成焊渣图模型的训练方法,包括:
生成模型接收像素随机数矩阵;
所述生成模型基于所述像素随机数矩阵生成假焊渣图;
分析模块确定所述假焊渣图真假情况;
基于所述分析模块确定所述假焊渣图真假情况,确定是否将所述生成模型更新为对抗生成焊渣图模型。
优选地,所述像素随机数矩阵包括第一像素随机数矩阵,对应地,所述假焊渣图包括第一假焊渣图,所述分析模块包括第一判别模型,所述真假情况包括真焊渣的概率或/和假焊渣的概率,所述分析模块确定所述假焊渣图真假情况的步骤包括:
所述第一判别模型分析所述第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
优选地,所述分析模块还包括第一损失函数,所述真假情况还包括所述第一假焊渣图的真假概率损失值,所述分析模块确定所述假焊渣图真假情况的步骤还包括:
基于所述第一判别模型分析所述第一假焊渣图为真焊渣的概率或/和假焊渣的概率,通过所述第一损失函数计算所述第一假焊渣图的真假概率损失值。
优选地,所述真假情况还包括真焊渣图的真假概率损失值,所述训练方法还包括:
获取真焊渣图;
所述分析模块确定所述假焊渣图真假情况的步骤还包括:
基于第一判别模型分析所述真焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第一损失函数,计算所述真焊渣图的真假概率损失值。
优选地,还包括:
基于所述第一假焊渣图的真假概率损失值、所述真焊渣图的真假概率损失值,确定是否符合预设值;
若所述第一假焊渣图的真假概率损失值、所述真焊渣图的真假概率损失值不符合预设值,调整所述第一判别模型中的信息以形成第二判别模型。
优选地,所述像素随机数矩阵还包括第二像素随机数矩阵,对应地,所述假焊渣图还包括第二假焊渣图,所述真假情况还包括第二假焊渣图的真假概率损失值,所述分析模块确定所述假焊渣图真假情况还包括:
所述第二判别模型分析所述第二假焊渣图为真焊渣的概率或/和假焊渣的概率;
基于所述第二判别模型分析所述第二假焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第二损失函数,计算所述第二假焊渣图的真假概率损失值。
优选地,所述基于所述分析模块确定所述假焊渣图真假情况,确定是否将所述生成模型更新为对抗生成焊渣图模型包括:
基于所述第二假焊渣图的真假概率损失值判断是否符合收敛值;
若所述第二假焊渣图的真假概率损失值不符合所述收敛值,则基于所述第二假焊渣图的真假概率损失值,调整所述生成模型中的信息,以生成所述对抗生成焊渣图模型。
第二方面,本申请实施例提供了一种焊渣切割模型的生成方法,包括:
获取工件样本图和对抗生成焊渣图模型生成的假焊渣图,所述对抗生成焊渣图模型由上述第一方面任意一项所述对抗生成焊渣图模型的训练方法训练形成;
基于所述工件样本图和所述对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图;
基于所述假焊渣工件样本图,以预设规则形成训练集;
通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型。
优选地,所述假焊渣图的数量为多个,所述基于所述工件样本图和所述对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图的步骤包括:
将多个所述对抗生成焊渣图模型生成的假焊渣图,随机分布于所述工件样本图形成所述假焊渣工件样本图。
优选地,所述基于所述假焊渣工件样本图,以预设规则形成训练集的步骤包括:
获取无焊渣工件样本图和真焊渣工件样本图;
按预设比例将所述无焊渣工件样本图、所述真焊渣工件样本图及所述假焊渣工件样本图形成样本集;
将所述样本集进行分割至少形成一所述训练集。
优选地,所述通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型的步骤包括:
基于所述无焊渣工件样本图、所述真焊渣工件样本图以及所述假焊渣工件样本图,确定训练工件样本图;
基于所述训练工件样本图所述切割模型对所述训练工件样本图进行切割及提取处理,提取所述训练工件样本图中的焊渣并形成第一焊渣图;
基于所述第一焊渣图与所述训练工件样本图,通过预设的第三损失函数计算所述第一焊渣图中焊渣数量的损失值;
判断所述第一焊渣图中焊渣数量的损失值是否符合预设阀值;
若不符合,则基于所述第一焊渣图中焊渣数量的损失值调整所述切割模型中的信息,以将所述切割模型更新为焊渣切割模型。
优选地,还包括:将所述样本集还分割形成有验证集;
所述焊渣切割模型的训练方法还包括:
若所述第一焊渣图中焊渣数量的损失值符合预设阀值,将所述切割模型更新定为固定模型;
在所述验证集中确定验证工件样本图;
基于验证集工件样本图,所述固定模型从所述验证工件样本图进行切割及提取处理,提取所述验证工件样本图中的焊渣并形成第二焊渣图;
基于所述验证工件样本图与所述第二焊渣图,通过交并差公式计算重叠度;
判断所述重叠度是否符合预设重叠度;
若不符合,则重新执行步骤“通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型”;
若符合,将所述固定模型更新为焊渣切割模型。
第三方面,本申请实施例提供了一种焊接设备,包括依次电连接的摄像头、处理器、存储器,存储器存储上述第二方面任意一项所述的焊渣切割模型的生成方法生成的焊渣切割模型;
摄像头对焊接后的工件拍摄,以形成工件焊接图;
所述处理器调取所述存储器中的焊渣切割模型执行:提取所述工件焊接图中的焊渣以形成实际焊渣图;识别实际焊渣图以确定焊渣图情况;基于所述焊渣图情况确定焊接后的所述工件是否合格。
第四方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面任一项所述方法的步骤,或者上述第二方面任一项所述方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述第一方面任一项所述方法的步骤,或者上述第二方面任一项所述方法的步骤。
采用本申请实施例所提供的方案,生成模型接收到像素随机数矩阵后,基于接收的像素随机数矩阵生成假焊渣图。通过分析模块确定假焊渣图的真假情况,并基于分析模块确定假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。即为,在本申请实施例中,通过分析模块对生成模型进行相应的焊渣生成训练,得到对抗生成焊渣图模型。这样一来,在获取焊渣图时,可以通过对抗生成焊渣图模型生成焊渣图,减少人工标记,大大降低了焊渣标记时长,从而降低了焊渣检测成本。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种对抗生成焊渣图模型的训练方法的流程示意图;
图2a为本申请实施例提供的一种对抗生成焊渣图模型的训练方法的场景示意图;
图2b为本申请实施例提供的另一种对抗生成焊渣图模型的训练方法的场景示意图;
图3为本申请实施例提供的一种判别模型的训练方法的流程示意图;
图4为本申请实施例提供的另一种对抗生成焊渣图模型的训练方法的流程示意图;
图5为本申请实施例提供的另一种对抗生成焊渣图模型的训练方法的场景示意图;
图6为本申请实施例提供的一种焊渣切割模型的生成方法的流程示意图;
图7为本申请实施例提供的一种焊渣切割模型的生成方法的场景示意图;
图8为本申请实施例提供的另一种焊渣切割模型的生成方法的场景示意图;
图9为本申请实施例提供的另一种焊渣切割模型的生成方法的流程示意图;
图10为本申请实施例提供的一种焊接设备的结构示意图;
图11为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
相关技术中,通常采用目视检测方法对点焊后的产品进行焊点标记,在焊点标记后在进行人工打磨。上述检测过程存在检测效率低、误检和漏检等问题。为了解决该问题,可以通过训练神经网络模型进行焊渣的标记。但是神经网络模型进行训练时,需要有大量的标记出焊渣的焊渣图进行训练。此时若通过人工进行标记,则耗时较长,且大大增加了人工成本。
针对上述问题,本申请实施例提供了一种焊渣图模型的训练方法、焊渣切割模型的生成、设备及介质,生成模型接收到像素随机数矩阵后,基于接收的像素随机数矩阵生成假焊渣图。通过分析模块确定假焊渣图的真假情况,并基于分析模块确定假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。即为,在本申请实施例中,通过分析模块对生成模型进行相应的焊渣生成训练,得到对抗生成焊渣图模型。这样一来,在获取焊渣图时,可以通过对抗生成焊渣图模型生成焊渣图,减少人工标记,大大降低了焊渣标记时长,从而降低了焊渣检测成本。以下进行详细说明。
参见图1,为本申请实施例提供的一种对抗生成焊渣图模型的训练方法的流程示意图。如图1所示,所述方法包括:
步骤S101、生成模型接收像素随机数矩阵。
其中,像素随机数矩阵的阶数可以是预先设置的。像素随机数矩阵可以是其他设备随机生成后发送至生成模型。像素随机数矩阵中的每个元素均代表一个像素的像素值。该像素值可以是像素的灰度值。
应理解的是,像素的灰度值取值范围为0~255。因此,像素随机数矩阵中每个元素的取值范围为0~255。
作为一种可能的实现方式,为了方便后续计算,可以将像素随机数矩阵进行数据正规化处理,即为,将像素随机数矩阵中每个元素的值进行数据正规化处理,将其转换为0~1之间的数。这样,通过上述方式数据正规化后的第一像素随机数矩阵中每个元素的值为0~1之间的数。
作为一种可能的实现方式,通过公式进行数据正规化处理。其中,表示第j个元素的数值,表示第j个元素数据正规化处理的数值。这样,通过上述公式,可以将第一像素随机数矩阵中每个元素的值进行数据正规化处理,得到数据正规化后的第一像素随机数矩阵。
在本申请实施例中,由于像素随机数矩阵是随机生成的,因此像素随机数矩阵中每个元素的值均为0~1间的数值,且每个元素的值可以相同也可以不同。在对生成模型进行训练时,需要向生成模型输入第一像素随机数矩阵。
生成模型是预先设置的用于生成焊渣图的模型。生成模型在设置完成后,由于存在生成的焊渣图中包含的焊渣与真实焊渣在形状、尺寸大小、像素深浅等方面相差较大,因此需要对生成模型进行训练,通过不断的修改生成模型内的参数信息,使得生成模型生成的焊渣图中包含的焊渣与真实焊渣越来越像,可以将最终确定的生成模型确定为对抗生成焊渣图模型。基于此,需要根据生成模型生成的焊渣图确定该生成模型是否可以更新为对抗生成焊渣图模型。生成模型在生成焊渣图时,需要根据输入的像素矩阵生成。由于工件在焊接过程中产生的焊渣形状、尺寸大小、像素灰度大小等不完全相同,因此,向生成模型输入像素随机数矩阵进行训练,以训练出真假识别率较准确的对抗生成焊渣图模型。由于像素随机数矩阵中每个元素的值是随机生成的,因此可以保证每次输入至生成模型中的像素矩阵不完全相同,从而使得生成模型每次生成的焊渣图中包含的焊渣需要不完全相同。
步骤S102、生成模型基于像素随机数矩阵生成假焊渣图。
在本申请实施例中,生成模型在获取了像素随机数矩阵后,可以将像素随机数矩阵上采样成初始图像。即为,将像素随机数矩阵中的每个元素的值作为初始图像中每个像素的灰度值,生成初始图像。此时,在像素随机数矩阵为数据正规化后的矩阵时,可以在生成初始图像时,将像素随机数矩阵中每个元素的数值转换为0~255范围内的灰度值,并依据像素随机数矩阵中每个像素对应的灰度值生成初始图像。
生成模型在获取了初始图像后,可以对初始图像进行上采样及卷积处理,以生成假焊渣图。在生成模型中预先设置了n次上采样处理、m次卷积处理、n次上采样和m次卷积处理的执行顺序、每次上采样时上采样的规则及卷积处理时的卷积核。生成模型在获取了初始图像后,可以按照n次上采样、m次卷积处理的顺序及中上采样、每次上采样时上采样的规则及卷积处理时的卷积核,对初始图像进行n次上采样及m次卷积处理,提取焊渣特征信息得到预设尺寸的焊渣特征图像,根据预设尺寸的焊渣特征图像形成假焊渣图。其中,生成模型在对初始图像进行n次上采样及m次卷积处理时,每次上采样及卷积处理时的图像是前一次上采样或卷积处理后的图像。生成模型每次进行卷积处理均是对图像的焊渣特征进行提取,从而得到焊渣特征图像。
作为一种可能的实现方式,为了方便计算,可以将初始图像转换为预设格式的图像,例如,预设格式的图像为a*a格式的图像。
需要说明的是,生成模型中的上采样处理的次数n及卷积处理的次数m均是根据实际需要预先设置的,本申请对此不作限制。
例如,生成模型接收到的像素随机数矩阵为1*100(表示1行100列个像素)的矩阵。此时,生成模型可以根据像素随机数矩阵生成1*100个像素的初始图像,且初始图像中1*100个像素的灰度值为像素随机数矩阵中对应元素的数值。生成模型可以将1*100个像素的初始图像转换为10*10格式的图像。生成模型中预先设置了3次上采样处理及4次卷积处理,且执行顺序为上采样1,卷积处理1,上采样2,卷积处理2,上采样3,卷积处理3,卷积处理4,假设上采样1的上采样的规则为上采样后的图像尺寸为40*40,且新增像素的像素灰度值为0;上采样2的上采样的规则为上采样后的图像尺寸为150*150,且新增像素的像素灰度值为1;上采样3的上采样的规则为上采样后的图像尺寸为500*500,且新增像素的像素灰度值为1。卷积处理1有s1个卷积核1,s1个卷积核1不同,卷积处理2有s2个卷积核2,且s2个卷积核2不同,卷积处理3有s3个卷积核3,且s3个卷积核3不同,卷积处理4有s4个卷积核4,且s4个卷积核4不同。此时,生成模型在获取10*10格式的初始图像后,可以将10*10格式的初始图像进行上采样1处理,得到40*40格式的图像,并对40*40格式的图像根据s1个卷积核1进行卷积处理,提取s1个图层的焊渣特征信息,得到s1个图层的40*40格式的焊渣特征图像。生成模式对s1个图层的40*40格式的焊渣特征图像进行上采样2处理,得到s1个图层的150*150格式的焊渣特征图像,并对s1个图层的150*150格式的焊渣特征图像根据s2个卷积核2进行卷积处理,提取s2个图层的焊渣特征信息,得到s2个图层的150*150格式的焊渣特征图像。生成模型对s2个图层的150*150格式的焊渣特征图像进行上采样3处理,得到s2个图层的500*500格式的焊渣特征图像,并对s2个图层的500*500格式的焊渣特征图像根据s3个卷积核3进行卷积处理,提取s3个图层的焊渣特征信息,得到s3个图层的500*500格式的焊渣特征图像。生成模型对s3个图层的500*500格式的焊渣特征图像根据s4个卷积核4进行卷积处理,提取s4个图层的焊渣特征信息,得到s4个图层的500*500格式的焊渣特征图像。生成模型将s4个图层的500*500格式的焊渣特征图像进行特征融合,得到假焊渣图,即为生成假焊渣图,如图2a所示。
生成模型基于像素随机数矩阵生成假焊渣图时,可以每接收一个像素随机数矩阵生成一个假焊渣图,也可以同时接收多个像素随机数矩阵,基于同时接收的多个像素随机数矩阵,逐个或一并根据像素随机数矩阵生成假焊渣图。
作为一种可能的实现方式,像素随机数矩阵包括第一像素随机数矩阵,则假焊渣图包括第一假焊渣图。即为,生成模型接收到第一像素随机数矩阵,并根据第一像素随机数矩阵生成假焊渣图,此时根据第一像素随机数矩阵生成的假焊渣图即为第一假焊渣图。
作为一种可能的实现方式,像素随机数矩阵还包括第二像素随机数矩阵,则假焊渣图包括第二假焊渣图。即为,生成模型接收到第二像素随机数矩阵,并根据第二像素随机数矩阵生成假焊渣图,此时根据第二像素随机数矩阵生成的假焊渣图即为第二假焊渣图。
步骤S103、分析模块确定假焊渣图真假情况。
在本申请实施例中,生成模型生成假焊渣图后,可以传输至分析模块。分析模块在获取到假焊渣图后,可以对假焊渣图进行分析,从而确定出假焊渣图的真假情况。分析模块在对假焊渣图进行分析时,可以对假焊渣图进行多次下采样处理及卷积处理,提取假焊渣图的焊渣特征信息,得到预设尺寸的焊渣特征图像,根据预设尺寸的焊渣特征图像确定出假焊渣图真假情况。
作为一种可能的实现方式,分析模块根据预设尺寸的焊渣特征图像确定出假焊渣图真假情况包括:分析模块对预设尺寸的焊渣特征图像进行全连接处理,确定出假焊渣图真假情况。
即为,分析模块中预先设置了全连接参数,全连接参数的个数与预设尺寸的焊渣特征图像的像素个数相同。分析模块对预设尺寸的焊渣特征图像进行全连接处理,计算出每个焊渣特征图像的真假参数,将每个焊渣特征图像的真假参数相加,根据相加结果确定假焊渣图真假情况。作为一种可能的实现方式,分析模块可以将相加结果进行数据正规化处理,并将数据正规化处理后的结果确定假焊渣图的真假情况。
可选地,对抗生成焊渣图模型是利用对抗生成网络模型训练得到的。其中,对抗生成网络模型包括生成模型及判别模型。由生成模型生成假焊渣图,由判别模型对假焊渣图的真假情况进行分析确定。基于此,作为一种可能的实现方式,分析模块包括第一判别模型,第一判别模型是用于判别生成模型生成的假焊渣图为真焊渣的概率或/和假焊渣的概率。为了第一判别模型的判别结果更准确,以便更准确的训练生成模型,需要在每次训练生成模型之前,需先对第一判别模型进行一次训练以增加该第一判别模型的判别准确性。为了更清楚的描述,可以在每次判别模型的训练过程中,将训练前的判别模型称为第一判别模型,将训练后的判别模型称为第二判别模型。这样,当前次判别模型训练过程中的第一判别模型即为前一次判别模型训练过程中的第二判别模型。在对生成模型进行训练时,采用第二判别模型进行相应的分析。
由于第一判别模型训练过程中需要使用生成模型生成的假焊渣图,而生成模型的训练过程中也需使用生成模型生成的假焊渣图。因此,可以将用于第一判别模型训练过程中需要使用的假焊渣图称为第一假焊渣图,也就是说,像素随机数矩阵包括第一像素随机数矩阵,假焊渣图包括第一假焊渣图,向生成模型输入第一像素随机数矩阵后,生成模型可生成第一假焊渣图,第一判别模型接收第一假焊渣图进行训练,第一判别模型训练完成后,将完成训练的第一判别模型所接收的生成模型训练的假焊渣图称为第二假焊渣图,也就是说,像素随机数矩阵还包括第二像素随机数矩阵,对应地,假焊渣图还包括第二假焊渣图,向生成模型输入第二像素随机数矩阵后,生成模型可生成第二假焊渣图,而完成训练的第一判别模型接收的生成模型生成的第二假焊渣图进行判断真假。第一像素随机数矩阵与第一像素随机数矩阵可以相同,也可以不同,对应的,第一假焊渣图与第二假焊渣图可以相同,也可以不同。
参考图3所示,下面针对第一判别模型的训练过程进行说明。
此时,像素随机数矩阵包括第一像素随机数矩阵,对应地,假焊渣图包括第一假焊渣图,分析模块包括第一判别模型,真假情况包括真焊渣的概率或/和假焊渣的概率,步骤S103、分析模块确定假焊渣图真假情况的步骤包括:
步骤S1031、第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
在本申请实施例中,在每次对生成模型进行训练前,需先对第一判别模型进行一次训练,以提高第一判别模型的判别准确性。此时,上述生成模型接收到第一像素随机数矩阵,并根据第一像素随机数矩阵生成第一假焊渣图。第一判别模型需要对第一假焊渣图为真焊渣的概率或/和假焊渣的概率进行分析。此时第一判别模型可以对第一假焊渣图进行多次下采样处理及卷积处理,提取第一假焊渣图的焊渣特征信息,得到预设尺寸的焊渣特征图像,根据预设尺寸的焊渣特征图像确定第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
例如,第一判别模型获取了第一假焊渣图后,可以对第一假焊渣图进行多次焊渣特征信息取,此时第一判别模型可以利用预设的多次下采样处理及卷积处理,得到预设尺寸的焊接特征图像。假设需要进行4次下采样及4次卷积处理,且执行顺序为下采样1,卷积处理1,下采样2,卷积处理2,下采样3,卷积处理3,下采样4及卷积处理4,假设下采样1的下采样的规则为下采样后的图像尺寸为250*250。下采样2的下采样的规则为下采样后的图像尺寸为125*125。下采样3的下采样的规则为下采样后的图像尺寸为64*64。下采样4的下采样的规则为下采样后的图像尺寸为16*16。卷积处理1有b1个卷积核1,b1个卷积核1不同,卷积处理2有b2个卷积核2,且b2个卷积核2不同,卷积处理3有b3个卷积核3,且b3个卷积核3不同,卷积处理4有b4个卷积核4,且b4个卷积核4不同。此时,第一判别模型在获取500*500格式的第一假焊渣图后,可以将500*500格式的第一假焊渣图进行下采样1处理,得到250*250格式的图像,并对250*250格式的图像根据b1个卷积核1进行卷积处理,提取b1个图层的焊渣特征信息,得到b1个图层的250*250格式的焊渣特征图像。生成模式对b1个图层的250*250格式的焊渣特征图像进行下采样2处理,得到b1个图层的125*125格式的焊渣特征图像,并对b1个图层的125*125格式的焊渣特征图像根据b2个卷积核2进行卷积处理,提取b2个图层的焊渣特征信息,得到b2个图层的125*125格式的焊渣特征图像。第一判别模型对b2个图层的1125*125格式的焊渣特征图像进行下采样3处理,得到b2个图层的64*64格式的焊渣特征图像,并对b2个图层的64*64格式的焊渣特征图像根据b3个卷积核3进行卷积处理,提取b3个图层的焊渣特征信息,得到b3个图层的64*64格式的焊渣特征图像。第一判别模型对b3个图层的64*64格式的焊渣特征图像进行下采样3处理,得到b3个图层的16*16格式的焊渣特征图像,并对b3个图层的16*16格式的焊渣特征图像根据b4个卷积核4进行卷积处理,提取b4个图层的焊渣特征信息,得到b4个图层的16*16格式的焊渣特征图像,如图2b所示。第一判别模型将b4个图层的16*16格式的焊渣特征图像进行全连接处理,此时,第一判别模型中预先设置了64个图层的16*16个全连接参数。第一判别模型可以根据64个图层的16*16个全连接参数,计算出b4个图层的16*16格式的焊渣特征图像中每个像素点的真假参数(可以为真假概率、真假正整数),从而可以得到64个图像中每个焊渣特征图像的真假参数,将64个图像中每个焊渣特征图像的真假参数相加,可选地,真假参数大于1时,需将相加后的结果进行数据正规化处理,将数据正规化处理的结果作为真焊渣的概率,或者作为假焊渣的概率,从而可以得到第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
在对第一判别模型进行不断训练时,在获取了第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率后,可以直接根据第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,来确定是否调整第一判别模型中的信息。例如,可以检测第一假焊渣图为真焊渣的概率或/和假焊渣的概率是否符合预设值,若不符合,则需要调整第一判别模型中的信息,然后,第一判别模型继续接收生成模型生成的第一假焊渣图进行训练,如此循环直到收第一假焊渣图为真焊渣的概率或/和假焊渣的概率符合预设值此时可以确定当前次训练第一判别模型的过程结束,直接将被训练完成的第一判别模型确定为第二判别模型。
作为一种可能的实现方式,为了更准确的训练判别模型,在第一判别模型分析出第一假焊渣图像为真焊渣的概率或/和假焊渣的概率后,可以进一步计算第一假焊渣图的真假概率损失值,即为计算第一判别模型判别第一假焊图像为真焊渣的概率和/或假概率的损失值,以便根据该损失值来确定第一判别模型是否需要调整信息。此时,分析模块还包括第一损失函数,真假情况还包括第一假焊渣图的真假概率损失值,分析模块确定假焊渣图真假情况的步骤还包括:
步骤S1032、基于第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,通过第一损失函数计算第一假焊渣图的真假概率损失值。
在本申请实施例中,第一假焊渣图主要用于对第一判别模型进行训练,因此在第一判别模型分析出第一假焊渣图为真焊渣的概率或/和假焊渣的概率后,可以通过预设的第一损失函数计算第一判别模型分析的结果的损失值。即为计算第一假焊渣图的真假概率损失值。
作为一种可能的实现方式,第一损失函数可以为BCE(二分类交叉熵损失,BinaryCross Entropy Loss)损失函数。此时,在第一判别模型分析出第一假焊渣图为真焊渣的概率时,可以根据第一损失函数,计算出生成模型生成的第一假焊渣图被第一判别模型判别为真焊渣的概率的损失值。或者,在第一判别模型分析出第一假焊渣图为假焊渣的概率时,可以根据第一损失函数,计算出生成模型生成的第一假焊渣图被第一判别模型判别为假焊渣的概率的损失值。
作为一种可能的实现方式,第一损失函数可以为。其中,表示第i张第一焊渣图被判别模型判别为真焊渣的概率的损失值,或者表示第i张第一焊渣图被判别模型判别为假焊渣的概率的损失值;用于表示真焊渣的标记值或假焊渣的标记值,其取值为1或0;表示判别模型输出的第i张第一焊渣图为真焊渣的概率或为假焊渣的概率。
需要说明的是,输入至判别模型的第一焊渣图也可以描述为判别模型获取的第一焊渣图。
用于表示真焊渣的标记值时,的取值取决于用户期望判别模型对判别模型获取的第一焊渣图判别为真焊渣还是假焊渣。例如,若用户期望判别模型对判别模型获取的第一焊渣图判别为真焊渣,则的取值为1;若用户期望判别模型对判别模型获取的第一焊渣图判别为假焊渣,则的取值为0。同理,在用于表示假焊渣的标记值时,的取值取决于用户期望判别模型对判别模型获取的焊渣图判别为真焊渣还是假焊渣。例如,若用户期望判别模型对获取的第一焊渣图判别为假焊渣,则的取值为1;若用户期望判别模型对获取的第一焊渣图判别为真焊渣,则取值为0。在本申请实施例中,均以在用于表示真焊渣的标记值时,的取值为1表示用户期望判别模型对判别模型获取的第一焊渣图判别为真焊渣;的取值为0表示用户期望判别模型对判别模型获取的图像判别为假焊渣为例进行说明。
表示判别模型输出的第i张第一焊渣图为真焊渣的概率,还是表示判别模型输出的第i张第一焊渣图为假焊渣的概率,取决于。同理,表示i张第一焊渣图被判别模型判别为真焊渣的概率的损失值,还是表示第i张第一焊渣图被判别模型判别为假焊渣的概率的损失值,也取决于。例如,在表示真焊渣的标记值时,则表示判别模型输出的第i张第一焊渣图为真焊渣的概率,表示第i张焊渣图被判别模型判别为真焊渣的概率的损失值。在表示假焊渣的标记值时,则表示判别模型输出的第i张第一焊渣图为假焊渣的概率,表示第i张第一焊渣图被判别模型判别为假焊渣的概率的损失值。
这样,通过上述第一损失函数可以计算出第一假焊渣图的真假概率损失值。由于在本例中,以用于表示真焊渣的标记值为例进行说明,此时基于第一假焊渣图为真焊渣的概率通过上述第一损失函数计算出第一假焊渣图的真假概率损失值。第一判别模型的训练目的是第一判别模型能够识别出生成模型生成的第一假焊渣图为假焊渣,且能够识别出真焊渣图为真焊渣。也就是说,在计算第一假焊渣图的真假概率损失值时,用户期望判别模型对判别模型获取的生成模型生成的第一假焊渣图判别为假焊渣,因此的取值为0。
也就是说,在将第一假焊渣图为真焊渣的概率通过上述第一损失函数计算出第一假焊渣图的真假概率损失值时,第一损失函数中的的取值为0,且为第一假焊渣图为真焊渣的概率。
在通过上述第一损失函数计算第一假焊渣图的真假概率损失值时,需要第一假焊渣图为真焊渣的概率即为值为大于或等于0,且不大于1的数值,此时为防止第一假焊渣图为真焊渣的概率大于1,可以在进行第一损失函数的计算之前,将判别模型输出的第一假焊渣图为真焊渣的概率或/和假焊渣的概率,先进行数据正规化处理,例如可以根据公式进行数据正规化处理,得到数据正规化处理后的值,在根据第一损失函数计算第一假焊渣图的真假概率损失值时,可以直接使用数据正规化处理后的值。
通过上述过程,分析模块可以获取到第一假焊渣图的真假概率损失值。此时,可以根据获取的第一假焊渣图的真假概率损失值来确定是否调整第一判别模型中的信息。例如,可以检测第一假焊渣图的真假概率损失值是否符合预设值,若不符合,则需要调整第一判别模型中的信息,然后,第一判别模型继续接收生成模型生成的第一假焊渣图进行训练,如此循环直到收第一假焊渣图为真焊渣的概率或/和假焊渣的概率符合预设值此时可以确定当前次训练第一判别模型的过程结束,直接将第一判别模型确定为第二判别模型。
这样通过上述过程可以完成一次或多次第一判别模型的训练,得到第二判别模型。在得到当前次的判别模型训练后的第二判别模型后,可以根据该第二判别模型进行生成模型的当前次训练。
此时,像素随机数矩阵还包括第二像素随机数矩阵,对应地,假焊渣图还包括第二假焊渣图,真假情况还包括第二假焊渣图为真焊渣的概率或/和假焊渣的概率。步骤S103、分析模块确定假焊渣图真假情况的步骤还包括:
步骤S103a、第二判别模型分析第二假焊渣图为真焊渣的概率或/和假焊渣的概率。
在本申请实施例中,通过第二假焊渣图训练生成模型,此时生成模组可以接收到第二像素随机数矩阵,并根据第二像素随机数矩阵生成第二假焊渣图。这样可以根据第二假焊渣图为真焊渣的概率或/和假焊渣的概率来确定生成模型是否可以更新为对抗生成焊渣图模型。此时,分析模块中的判别模型为上述判别模型训练结束后的第二判别模型,第二判别模型用以判断第二假焊渣图为真焊渣的概率或/和假焊渣的概率。即为,生成模型通过上述步骤S102生成了第二假焊渣图,在本步骤中需要第二判别模型对第二假焊渣图进行分析,计算出第二假焊渣图为真焊渣的概率或/和假焊渣的概率。此时第二判别模型可以对第二假焊渣图进行多次下采样处理及卷积处理,提取第二假焊渣图的焊渣特征信息,得到预设尺寸的焊渣特征图像,根据预设尺寸的焊渣特征图像确定第二假焊渣图为真焊渣的概率或/和假焊渣的概率。具体可参考步骤S1031中第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,在此不再赘述。
作为一种可能的实现方式,为了更准确的判别出生成模型是否可以更新为对抗生成焊渣图模型,在判别模型分析出第二假焊渣图为真焊渣的概率或/和假焊渣的概率后,可以进一步计算第二假焊渣图的真假概率损失值,即为计算生成模型生成的第二假焊图像被判别模型判别为真焊渣的概率的损失值,以便根据该损失值来确定判别出生成模型是否可以更新为对抗生成焊渣图模型。此时,真假情况还包括第二假焊渣图的真假概率损失值,分析模块确定假焊渣图真假情况的步骤还包括:
步骤S103b、基于第二判别模型分析所述第二假焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第二损失函数,计算第二假焊渣图的真假概率损失值。
也就是说,第二判别模型在获取了第二假焊渣图后,需对第二假焊渣图为真焊渣的概率或/和假焊渣的概率进行分析确定,具体分析确定过程可参考步骤S1032。第二判别模型分析出第二假焊渣图为真焊渣的概率或/和假焊渣的概率后,分析模块可以根据判别模型分析出的第二假焊渣图为真焊渣的概率或/和假焊渣的概率,利用预设的第二损失函数计算出第二假焊渣图的真假概率损失值。
作为一种可能的实现方式,预设第二损失函数为BCE损失函数。此时,在第二判别模型分析出第二假焊渣图为真焊渣的概率时,分析模块可以根据第二损失函数计算出生成模型生成的第二假焊渣图被判别模型判别为真焊渣的概率的损失值。或者,在第二判别模型分析出第二假焊渣图为假焊渣的概率时,分析模块可以根据第二损失函数计算出生成模型生成的第二假焊渣图被第二判别模型判别为假焊渣的概率的损失值。
作为一种可能的实现方式,第二损失函数为。其中,表示第i张第二焊渣图被第二判别模型判别为真焊渣的概率的损失值,或者表示第i张第二焊渣图被判别模型判别为假焊渣的概率的损失值;用于表示真焊渣的标记值或假焊渣的标记值,其取值为1或0;表示判别模型输出的第i张第二焊渣图为真焊渣的概率或为假焊渣的概率。
这样,通过上述第二损失函数可以计算出第二假焊渣图的真假概率损失值。由于在本申请实施例中,以用于表示真焊渣的标记值为例进行说明,此时基于第二假焊渣图为真焊渣的概率通过上述第二损失函数计算出第二假焊渣图的真假概率损失值。由于生成模型训练的目的是生成模型生成的第二假焊渣图判别模型无法判别出其是假焊渣,因此在计算第二假焊渣图的真假概率损失值时,可以确定用户期望判别模型对判别模型获取的焊渣图判别为真焊渣,此时,的取值为1。
也就是说,在将第二假焊渣图为真焊渣的概率通过上述第二损失函数计算出第二假焊渣图的真假概率损失值时,第二损失函数中的的取值为1,且为第二假焊渣图为真焊渣的概率。
步骤S104、基于分析模块确定假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。
在本申请实施例中,分析模块在确定出假焊渣图真假情况后,可以根据假焊渣图真假情况,确定当前生成模型是否训练完成,若训练完成,则可以将生成模型更新为对抗生成焊渣图模型。若没有训练完成,则需要继续对生成模型进行训练。
作为一种可能的实现方式,在通过第二假焊渣图像训练生成模型时,此时需基于第二假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。此时,若第二假焊渣图真假情况包括第二焊渣图为真焊渣的概率或/和假焊渣的概率时,可以根据第二假焊渣图为真焊渣的概率或/和假焊渣的概率,确定是否将生成模型更新为对抗生成焊渣图模型。例如,可以检测第二假焊渣图为真焊渣的概率或/和假焊渣的概率是否符合预设收敛值,若符合,则可以将生成模型更新为对抗生成焊渣图模型。
作为一种可能的实现方式,为例更准确的确定是否将生成模型更新为对抗生成焊渣图模型,在上述步骤中利用第二焊渣图为真焊渣的概率或/和假焊渣的概率,通过第二损失函数计算出第二假焊渣图的真假概率损失值时,可以根据第二假焊渣图的真假概率损失值来确定是否将生成模型更新为对抗生成焊渣图模型。此时,步骤S104、基于分析模块确定假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型包括:
步骤S1041、基于第二假焊渣图的真假概率损失值判断是否符合收敛值.
步骤S1042、若第二假焊渣图的真假概率损失值不符合所述收敛值,则基于第二假焊渣图的真假概率损失值,调整生成模型中的信息,以生成对抗生成焊渣图模型。
在本申请实施例中,在计算出第二假焊渣图的真假概率损失值后,可以将第二假焊渣图的真假概率损失值与预设的收敛值进行比较,以便确定生成模型是否训练完成。例如,在第二假焊渣图的真假概率损失值等于或小于预设的收敛值时,则认为第二假焊渣图的真假概率损失值判断符合收敛值,说明生成模型生成的第二假焊渣图被判别模型判别为真焊渣的概率的损失已收敛,生成模型已经收敛可以确定生成模型训练完成,此时,可以将生成模型更新为对抗生成焊渣图模型。或者,在第二假焊渣图的真假概率损失值大于预设的收敛值,则认为第二假焊渣图的真假概率损失值判断不符合收敛值,说明生成模型生成的第二假焊渣图被判别模型判别为真焊渣的概率的损失较大,即为生成模型生成的第二假焊渣图中包含的焊渣与真焊渣间的差别较大,此时可以根据第二假焊渣图的真假概率损失值调整生成模型中的信息,得到调整后的生成模型。例如,根据第二假焊渣图的真假概率损失值调大或调小生成模型中各个卷积核或者调整其他参数的值。
在得到调整后的生成模型后,需要重新执行上述步骤S101至步骤S104对生成模型进行训练,直至第二假焊渣图的真假概率损失值等于或小于预设的收敛值,将生成模型更新为对抗生成焊渣图模型。
这样一来,在本申请实施例中,通过分析模块对生成模型进行相应的焊渣生成训练,得到对抗生成焊渣图模型。这样一来,在获取焊渣图时,可以通过对抗生成焊渣图模型生成焊渣图,减少人工标记,大大降低了焊渣标记时长,从而降低了焊渣检测成本。
参见图4,为本申请实施例提供的另一种对抗生成焊渣图模型的训练方法的流程示意图。本申请实施例相对于图1所述的实施例增加了判别模型的训练方法的相关步骤。如图4所示,所述方法包括:
步骤S401、生成模型接收第一像素随机数矩阵。
在本申请实施例中,对抗生成焊渣图模型是利用对抗生成网络模型训练得到的。其中,对抗生成网络模型包括生成模型及判别模型。由生成模型生成假焊渣图,由判别模型对假焊渣图的真假情况进行分析确定。分析模块包括第一判别模型,第一判别模型是用于判别生成模型生成的假焊渣图为真焊渣的概率或/和假焊渣的概率。为了第一判别模型的判别结果更准确,以便更准确的训练生成模型。需要在每次训练生成模型之前,需先对第一判别模型进行一次训练以增加该第一判别模型的判别准确性。由于第一判别模型的训练也需通过生成模型生成的假焊渣图进行训练。因此,在本申请实施例中,可以将用于第一判别模型训练的由生成模型生成的假焊渣图称为第一假焊渣图。此时,为了生成模型生成第一假焊渣图,需生成模型先接收第一像素随机数矩阵。
具体的可参考步骤S101在此不再赘述。
步骤S402、生成模型基于第一像素随机数矩阵生成第一假焊渣图。
具体的可参考步骤S102在此不再赘述。
步骤S403、第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
其中,第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率具体的可参考步骤S301在此不再赘述。
步骤S404、基于第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设的第一损失函数,计算第一假渣图的真假概率损失值。
具体可参考步骤S1032在此不再赘述。
步骤S405、获取真焊渣图。
其中,真假情况还包括真焊渣图的真假概率损失值。
在本申请实施例中,为了更准确的训练第一判别模型,可以根据真焊渣图及生成模型生成的假焊渣图同时对第一判别模型进行训练以使得第一判别模型能够识别出真焊渣图中包含真焊渣,生成模型生成的假焊渣图中包含假焊渣,其中真焊渣图是从焊接后的工件图上进行焊渣标记后,将标记的焊渣提取出并设置在无背景的图片中形成的焊渣图。在真焊渣图存储在存储设备时,可以从存储设备中获取真焊渣图。或者,响应于用户的真焊渣输入操作,获取用户输入的真焊渣图。当然,还可以通过其他方式获取真焊渣图,本申请对此不作限制。
步骤S406、基于第一判别模型分析真焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第一损失函数,计算真焊渣图的真假概率损失值。
在本申请实施例中,第一判别模型获取到真焊渣图后,需要对真焊渣图进行分析,以确定真焊渣图为真焊渣的概率或/和假焊渣的概率。具体可参考步骤S1031中第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,在此不再赘述。
在第一判别模型分析出真焊渣图为真焊渣的概率或/和假焊渣的概率后,可以通过预设的第一损失函数计算第一判别模型分析的结果的损失值。即为计算真焊渣图的真假概率损失值。
作为一种可能的实现方式,第一损失函数为BCE损失函数,且BCE损失函数的公式为
应理解的是,由于分析模块是对第一判别模型分析出的真焊渣图为真焊渣的概率或/和假焊渣的概率,利用预设的第一损失函数计算真焊渣图的真假概率损失值,因此,在本步骤中,上述第一损失函数公式中所述的焊渣图是指真焊渣图,上述第一损失函数公式中的判别模型是指第一判别模型。
由于在本申请实施例中,以用于表示真焊渣的标记值为例进行说明,此时是基于真焊渣图为真焊渣的概率通过上述第一损失函数计算出真焊渣图的真假概率损失值。由于第一判别模型的训练目的是第一判别模型能够识别出生成模型生成的第一假焊渣图为假焊渣,且能够识别出真焊渣图为真焊渣。因此在计算真焊渣图的真假概率损失值时,可以确定用户期望判别模型对判别模型获取的真焊渣图判别为真焊渣,此时的取值为1。
也就是说,在将真焊渣图为真焊渣的概率通过上述第一损失函数计算出真焊渣图的真假概率损失值时,第一损失函数中的的取值为1,且为真焊渣图为真焊渣的概率。
具体可参考步骤S1032中基于第一判别模型分析第一假焊渣图为真焊渣的概率或/和假焊渣的概率,通过第一损失函数计算第一假焊渣图的真假概率损失值的过程,在此不再赘述。
步骤S407、基于第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值,确定是否符合预设值。
在本申请实施例中,在计算出第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值,可以根据第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值确定是否调整第一判别模型的参数。可选地,可以将第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值之和与预设值进行比较。例如检测第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值是否大于预设值。若大于预设值,则确定第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值不符合预设值,继续执行下述步骤S408。或者,若不大于预设值,则确定第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值符合预设值,此时可以确定当前次第一判别模型的训练过程结束,并将第一判别模型确定为第二判别模型。
步骤S408、若第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值不符合预设值,调整第一判别模型中的信息以形成第二判别模型。
在确定出第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值不符合预设值时,说明第一判别模型的判别结果不准确,此时可以根据第一假焊渣图的真假概率损失值、真焊渣图的真假概率损失值对第一判别模型中的信息进行调整并继续训练,直到符合预设值时将调整了信息的第一判别模型确定为第二判别模型。
步骤S409、生成模型接收第二像素随机数矩阵。
具体可参考步骤S101在此不再赘述。
骤S410、生成模型基于第二像素随机数矩阵生成第二假焊渣图。
具体可参考步骤S102在此不再赘述。
步骤S411、分析模块确定第二假焊渣图真假情况。
具体可参考步骤S103在此不再赘述。
步骤S412、基于分析模块确定第二假焊渣图真假情况,确定是否将生成模型更新为对抗生成焊渣图模型。
具体可参考步骤S104在此不再赘述。
需要说明的是,在未将生成模型更新为对抗生成焊渣图模型时,则说明生成模型并未训练完成,需要继续训练生成模型。此时需重新执行步骤S401-步骤S412,直至将生成模型更新为对抗生成焊渣图模型,如图5所示。
参见图6,为本申请实施例所述的一种焊渣切割模型的生成方法的流程示意图。如图6所示,所述方法包括:
步骤S601、获取工件样本图和对抗生成焊渣图模型生成的假焊渣图。
其中,对抗生成焊渣图模型由上述任意一实施例对抗生成焊渣图模型的训练方法训练形成。
在本申请实施例中,为了实现自动标记焊接工件中存在的焊渣,需要训练能够识别出焊接工件的焊渣并标记出焊渣的焊渣切割模型。在焊渣切割模型的训练过程中,需要使用大量的焊渣图进行训练,因此需要先获取焊渣图。在上述实施例中训练形成了对抗生成焊渣图模型,可以通过对抗生成焊渣图模型生成假焊渣图。由于对抗生成焊渣图模型生成的假焊渣图一般仅包含有假焊渣,为了更接近焊接工件的焊渣图,需要将假焊渣图中的焊渣设置在工件图中,以形成焊渣工件样本图。基于此,在本申请实施例中,不仅需要获取对抗生成焊渣图模型生成的假焊渣图,还需获取工件样本图。
其中,工件样本图是指没有焊渣的工件图像。
需要说明的是,假焊渣图是指由对抗生成焊渣图模型生成焊渣图,并不是从焊接工件中提取出的焊渣图。
作为一种可能的实现方式,在工件样本图及对抗生成焊渣图模型生成的假焊渣图均存储在存储器件时,焊渣切割模型的生成装置可以直接从存储器件中获取工件样本图及对抗生成焊渣图模型生成的假焊渣图。或者,可以由用户向焊渣切割模型的生成装置输入工件样本图及对抗生成焊渣图模型生成的假焊渣图,此时焊渣切割模型的生成装置可以接收用户输入的工件样本图及对抗生成焊渣图模型生成的假焊渣图。当然,还可以通过其他方式获取工件样本图及对抗生成焊渣图模型生成的假焊渣图,本申请对此不作限制。
步骤S602、基于工件样本图和对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图。
在本申请实施例中,焊渣切割模型的生成装置获取了工件样本图和对抗生成焊渣图模型生成的假焊渣图之后,可以将工件样本图和对抗生成焊渣图模型生成的假焊渣图合成至一种图,形成假焊渣工件样本图。例如,可以将对抗生成焊渣图模型生成的假焊渣图中的假焊渣设置在工件样本图像中,生成假焊渣工件样本图。
作为一种可能的实现方式,假焊渣图的数量为多个,步骤S602、基于工件样本图和对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图的步骤包括:
步骤S6021、将多个对抗生成焊渣图模型生成的假焊渣图,随机分布于工件样本图形成假焊渣工件样本图。
在本申请实施例中,在焊接工件过程中形成的焊渣数量一般为多个,因此,为了更接近焊接工件过程中形成的焊渣,在生成的假焊渣工件样本图中一般包含多个假焊渣。对抗生成焊渣图模型每次生成的假焊渣图中一般仅包含一个焊渣,因此,为了形成包含多个假焊渣的假焊渣工件样本图,通常需要获取多个假焊渣图。基于此,焊渣切割模型的生成装置可以获取对抗生成焊渣图模型生成的多个假焊渣图。将获取的多个假焊渣图中的假焊渣设置在工件样本图中形成假焊渣工件样本图。由于在焊接工件过程中形成的焊渣是随机分布在工件上的,因此,在焊渣切割模型的生成装置将多个假焊渣图中的假焊渣设置在工件样本图中形成假焊渣工件样本图时,可以将多个假焊渣图中的假焊渣随机分布在工件样本图中,形成假焊渣工件样本图。此时,假焊渣工件样本图中包含有对应数量的假焊渣,如图7所示。
作为一种可能的实现方式,焊渣切割模型的生成装置获取的假焊渣图的数量可以由用户设置。即为,焊渣切割模型的生成装置获取用户设置的假焊渣数量,此时,对抗生成焊渣图模型需要按照用户设置的假焊渣数量生成对应数量的假焊渣图,焊渣切割模型的生成装置获取对抗生成焊渣图模型生成的对应数量的假焊渣图。
需要说明的是,每生张假焊渣图均是对抗生成焊渣图模型根据像素随机数矩阵生成的。因此,在对抗生成焊渣图模型生成对应数量的假焊渣图时,对抗生成焊渣图模型需要获取对应数量的像素随机数矩阵。
作为一种可能的实现方式,在将多个假焊渣图中的假焊渣随机分布在工件样本图中时,用户可以在工件样本图中手动标定出需要生成焊渣的区域。由其他器件或者由焊渣切割模型的生成装置在工件样本图的标定出的需要生成焊渣区域中预先确定出对应假焊渣数量个随机位置。焊渣切割模型的生成装置可以直接将多个假焊渣图中的假焊渣分别设置在工件样本图中对应数量的随机位置中,且每个随机位置仅设置一个假焊渣。
步骤S603、基于假焊渣工件样本图,以预设规则形成训练集。
在本申请实施例中,在生成了假焊渣工件样本图后,可以根据假焊渣工件样本图以预设规则形成训练集。例如,可以直接将假焊渣工件样本图作为训练集。而为了使切割模型训练的更为准确,在形成训练集时,不仅需要包含假焊渣工件样本图,还需要包含有真焊渣工件样本图及无焊渣工件样本图,此时可以按照预设规则,由真焊渣工件样本图、无焊渣工件样本图及假焊渣工件样本图形成样本集。
其中,真焊渣工件样本图是指通过用户手工标记出焊接工件中焊渣的图像。无焊渣工件样本图是指焊接工件中没有焊渣的图像,其可以是用户标记的工件图,也可以是通过上述对抗焊渣模型训练的方法类似的方式生成的工件图。
作为一种可能的实现方式,步骤S603、基于假焊渣工件样本图,以预设规则形成训练集的步骤包括:
步骤S6031、获取无焊渣工件样本图和真焊渣工件样本图。
步骤S6032、按预设比例将无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图形成样本集。
步骤S6033、将样本集进行分割至少形成一所述训练集。
即为,由于假焊渣工件样本图是由焊渣切割模型的生成装置生成的,并不是真实的焊渣工件样本图,因此其内的假焊渣与真焊渣间还是存在一定的区别,因此为了更准确的训练切割模型,对切割模型进行训练的训练集中不仅要包含有假焊渣工件样本图,还需要包含无焊渣工件样本图、真焊渣工件样本图。此时焊渣切割模型的生成装置可以从存储器件或者响应于用户的输入操作,获取无焊渣工件样本图及真焊渣工件样本图。
在本申请实施例中可以预先设定无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图间的比例,这样,焊渣切割模型的生成装置生成可以按照预设比例,将无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图形成样本集。例如预设比例为1:1:3,此时焊渣切割模型的生成装置按照比例1:1:3,将获取的无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图形成样本集。例如,形成的样本集中包含有2张无焊渣工件样本图、2张真焊渣工件样本图及6张假焊渣工件样本图。
为了降低用户对焊渣工件图进行焊渣标记的工作量,预先设定无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图间的比例,形成样本集。此时,预先设定无焊渣工件样本图、真焊渣工件样本图及假焊渣工件样本图间的比例中,假焊渣工件样本图的比例值大于真焊渣工件样本图的比例值。
在形成了样本集后,可以将样本集进行分割至少形成以训练集,用于对切割模型进行训练。
步骤S604、通过训练集对切割模型进行训练,以将切割模型更新为焊渣切割模型。
在本申请实施例中,在得到训练集后,可以利用训练集对切割模型进行训练,使得切割模型识别出的焊渣越来越准确,在切割模型识别出焊渣的准确度达到一定阈值时,则可以将切割模型更新为焊渣切割模型。
作为一种可能的实现方式,步骤S604、通过训练集对切割模型进行训练,以将切割模型更新为焊渣切割模型包括:
步骤S6041、基于无焊渣工件样本图、真焊渣工件样本图以及所述假焊渣工件样本图,确定训练工件样本图。
步骤S6042、基于训练工件样本图,切割模型对训练工件样本图进行切割及提取处理,提取训练工件样本图中的焊渣并形成第一焊渣图。
步骤S6043、基于第一焊渣图与训练工件样本图,通过预设的第三损失函数计算第一焊渣图中焊渣数量的损失值。
步骤S6044、判断第一焊渣图中焊渣数量的损失值是否符合预设阀值。
步骤S6045、若不符合,则基于第一焊渣图中焊渣数量的损失值调整切割模型中的信息。
在本申请实施例中,焊渣切割模型的生成装置获取了训练集后,需要根据训练集对切割模型进行训练。此时,焊渣切割模型的生成装置在训练集中确定出训练工件样本图,即为在无焊渣工件样本图、真焊渣工件样本图以及所述假焊渣工件样本图中确定出当前次训练使用的训练工件样本图。在逐张训练工件样本图对切割模型进行训练时,可以在训练集中随机选取出一张工件样本图确定为训练工件样本图。该训练工件样本图可能是无焊渣工件样本图或真焊渣工件样本图或假焊渣工件样本图。当然,也可以多张训练工件样本图对切割模型进行训练,此时焊渣切割模型的生成装置可以在训练集中随机选取出预设数量张训练工件样本图。其中,可以预先设置每次进行切割模型训练时,需要使用的训练工件样本图的数量。在本申请实施例中为了方便说明,以逐张训练工件样本图对切割模型进行训练为例进行说明。焊渣切割模型的生成装置在训练集中随机选取出一张工件样本图作为训练工件样本图。在确定出训练工件样本图后,可以将训练工件样本图输入作为切割模型的输入,切割模型对输入的训练工件样本图进行多尺寸的切割提取处理,提取训练工件样本图中的焊渣并形成第一焊渣图。例如,切割模型对训练工件样本图进行多层卷积处理及池化处理,提起训练工件样本图的多通道特征信息,形成训练工件样本图中各个轮廓的特征信息。切割模型对训练工件样本图中各个轮廓的特征信息进行反卷积处理,形成反卷积结果。由于在对训练工件样本图进行多次池化处理后,训练工件样本图的尺寸会变小。而反卷积处理会增大图像的尺寸。但是反卷积处理后的图像仅是尺寸增大,并不能还原第一图像,因此,为了减少数据丢失,通常会将之前卷积处理后的卷积结果裁剪成反卷积相同尺寸大小的图像后直接拼接在一起,增加图像的特征信息。即为,将反卷积结果与对应的卷积处理后的卷积结果进行特征拼接处理,得到特征图。利用二分类卷积层对特征图进行分类,提取出训练工件样本图中的焊渣,输出第一焊渣图。其中,第一焊渣图为无工件无背景的图像,如图8所示。
焊渣切割模型的生成装置获取切割模型输出的第一焊渣图,基于第一焊渣图及训练工件样本图,通过预设的第三损失函数计算第一焊渣图中焊渣数量的损失值。其中,在计算第一焊渣图中焊渣数量的损失值时,可以根据训练工件样本图对第一焊渣图进行逐像素的计算损失值,然后根据第一焊渣图中每个像素的损失值确定出第一焊渣图中焊渣数量的损失值。
作为一种可能的实现方式,第三损失函数为BCE损失函数。此时,焊渣切割模型的生成装置基于第一焊渣图及训练工件样本图,通过BCE损失函数计算第一焊渣图中焊渣数量的损失值。例如,焊渣切割模型的生成装置基于第一焊渣图及训练工件样本图,通过计算第一焊渣图中焊渣数量的损失值。其中,表示第q个像素点被确定为焊渣的损失值;用于表示第q个像素点为焊渣的标记值,其取值为1或0;表示切割模型判断第一焊渣图中第q个像素点为焊渣的概率。
此时在计算第一焊渣图中焊渣数量的损失值时,需要对第一焊渣图进行逐像素的计算损失值,然后根据第一焊渣图中每个像素的损失值确定出第一焊渣图中焊渣数量的损失值。可以先将第一焊渣图中每个像素点的灰度值先进行数据正规化处理,将数据正规化处理的第一焊渣图中第q个像素点的灰度值确定为第q个像素点被切割模型判决为焊渣的概率,即为第三损失函数中的的值。其中,在计算第一焊渣图中每个像素点为焊渣的损失值时,可以根据训练工件样本图来确定第一焊渣图中每个像素点是否应该为焊渣,进而可以确定出第一焊渣图中第q个像素点对应的的值。也就是说,的值可以根据训练工件样本图中第q个像素点是否为焊渣像素来确定,当训练工件样本图中第q个像素点为焊渣像素点时,则的值为1,当训练工件样本图中第q个像素点不是焊渣像素点时,则的值为0。通过上述第三损失函数BCE损失函数可以计算出第一焊渣图每个像素点的损失值。将第一焊渣图中每个像素点的损失值相加,得到第一焊渣图中焊渣数量的损失值。
焊渣切割模型的生成装置在计算出第一焊渣图中焊渣数量的损失值后,可以将第一焊渣图中焊渣数量的损失值与预设阈值进行比较,确定其是否不大于预设阈值。在第一焊渣图中焊渣数量的损失值大于预设阈值时,则说明切割模型当前的输出结果不准确,需要对切割模型中的信息进行调整,此时可以根据第一焊渣图中焊渣数量的损失值对切割模型中的信息进行调整,以将切割模型更新为焊渣切割模型。
或者,在第一焊渣图中焊渣数量的损失值不大于预设阈值时,则说明切割模型输出的结果较为准确,可以认为切割模型训练完成,此时可以将切割模型更新为焊渣切割模型。
这样一来,在本申请实施例中,可以通过对抗生成焊渣图模型生成假焊渣图,从而在对切割模型进行训练时,可以根据对抗生成焊渣图模型生成的假焊渣图形成假焊渣工件样本图,从而可以根据假焊渣工件样本图形成训练集,对切割模型进行训练,得到焊渣切割模型。在上述切割模型训练过程中使用的训练集中的假焊渣工件样本图是自动生成的,大大降低了人工标记焊渣的工作量,从而降低了焊渣标记时长,降低了焊渣检测成本。
参见图9,为本申请实施例所述的一种焊渣切割模型的生成方法的流程示意图。本申请实施例与图6所示的实施例间的区别为增加了切割模型的验证相关步骤。如图9所示,所述方法包括:
步骤S901、获取工件样本图和对抗生成焊渣图模型生成的假焊渣图。
对抗生成焊渣图模型由上述实施例所述的对抗生成焊渣图模型的训练方法训练形成。
具体可参考步骤S601在此不再赘述。
步骤S902、基于工件样本图和对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图。
具体可参考步骤S602在此不再赘述。
步骤S903、基于假焊渣工件样本图,以预设规则形成训练集。
具体可参考步骤S603在此不再赘述。
步骤S904、通过训练集对切割模型进行训练。
具体可参考步骤S604在此不再赘述.
步骤S905、将样本集还分割形成有验证集。
在本申请实施例中,为了得到更准确、效果更好的焊渣切割模型,可以对训练完成的切割模型进行验证。此时,焊渣切割模型的生成装置可以将上述得到的样本集中不属于训练集的部分还分割形成验证集。
其中,验证集是样本集中未参与切割模型训练的部分。
步骤S906、若第一焊渣图中焊渣数量的损失值符合预设阀值,将切割模型更新定为固定模型。
在本申请实施例中,焊渣切割模型的生成装置在检测出第一焊渣图中焊渣数量的损失值符合预设阈值时,可以认为切割模型训练完成,此时需要进一步对切割模型进行验证。焊渣切割模型的生成装置可以将切割模型更新为固定模型。
步骤S907、在验证集中确定验证工件样本图。
在本申请实施例中,对固定模型进行验证的过程与切割模型进行训练的过程类同,需要固定模型输出焊渣图。此时,需要在验证集中确定出验证工件样本图。此时,可以在验证集中随机选取出预设数量个验证工件样本图。
需要说明的是,进行一次验证时,使用几张验证工件样本图可以是用户根据实际需求预先设置的,本申请对此不作限制。在本申请实施例中为了方便说,以每次验证采用2张验证工件样本图为例进行说明。此时,焊渣切割模型的生成装置在验证集中随机选取2张工件样本图作为验证工件样本图。
步骤S908、基于验证工件样本图,固定模型从验证工件样本图进行切割及提取处理,提取验证工件样本图中的焊渣并形成第二焊渣图。
在本申请实施例中,固定模型从验证工件样本图进行切割及提取处理,提取验证工件样本图中的焊渣并形成第二焊渣图,与切割模型对训练工件样本图进行切割及提取处理,提取训练工件样本图中的焊渣并形成第一焊渣图的过程类似,可参考步骤S604在此不再赘述。
步骤S909、基于验证工件样本图与第二焊渣图,通过交并差公式计算重叠度。
在本申请实施例中,焊渣切割模型的生成装置获取了第二焊渣图后,可以根据第二焊渣图及验证工件样本图对固定模型进行验证,此时,需要计算第二焊渣图及验证工件样本图间的焊渣重叠度。焊渣切割模型的生成装置可以根据交并差公式,计算重叠度。其中,IOU标识重叠度,表示验证工件样本图与第二焊渣图中相同位置的焊渣像素的个数;表示验证工件样本图与第二焊渣图中相同位置的焊渣像素的个数及不同位置的焊渣像素的个数。
在验证工件样本图有两张时,在上述步骤S908中可以输出每张验证工件样本图对应的第二焊渣图。此时,在本步骤中需要针对每张验证工件样本图,基于验证工件样本图与第二焊渣图,通过交并差公式计算重叠度,得到两个重叠度。此时,可以将两个重叠度之和作为最终的重叠度。
步骤S910、判断重叠度是否符合预设重叠度。
在本申请实施例中,焊渣切割模型的生成装置在得到重叠度后,将重叠度与预设重叠度进行计算,由于验证工件样本图与第二焊渣图中焊渣像素越相似则重叠度越大,因此重叠度越大则说明固定模型的效果越好。此时,可以检测重叠度是否大于预设重叠度,若大于预设重叠度,则说明当前训练的切割模型焊渣识别的效果较好,可以将其更新为焊渣切割模型,由于当前训练的切割模型就是固定模型,因此将当前训练好的切割模型确定为焊渣切割模型即为可以将固定模型更新为焊渣切割模型。若重叠度不大于预设重叠度,则说明当前训练的切割模型识别效果不理想,需要继续训练。
需要说明的是,根据判断的结果不同,下述执行的步骤不同。在判断重叠度符合预设重叠度时,则执行步骤S911b。在判断重叠度不符合预设重叠度时,则执行步骤S911a。
步骤S911a、若不符合,则重新执行步骤“通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型”。
即为,在确定重叠度不符合预设重叠度时,说明切割模型的焊渣识别效果不理想,此时需要继续训练切割模型,可以重新执行步骤S904。
步骤S911b、若符合,将固定模型更新为焊渣切割模型。
即为,在确定重叠度符合预设重叠度时,说明切割模型的焊渣识别效果较好,此时可以将固定模型直接更新为焊渣切割模型,完成焊渣切割模型的训练。
与上述实施例相对应,本申请还提供了一种焊接设备。图10为本申请实施例提供的一种焊接设备的结构示意图。如图10所述,焊接设备包括:依次电连接的摄像头1001、处理器1002、存储器1003。其中,存储器存储上述任意一实施例所述的焊渣切割模型。
摄像头1001对焊接后的工件拍摄,以形成工件焊接图。
处理器1002调取存储器1003中的焊渣切割模型执行:提取工件焊接图中的焊渣以形成实际焊渣图;识别实际焊渣图以确定焊渣图情况;基于焊渣图情况确定焊接后的工件是否合格。
即为,处理器1002通过调取存储器1003中的焊渣切割模型可以提取工件焊接图中的焊渣以形成实际焊渣图。处理器1002可以识别实际焊渣图,确定焊渣图情况。例如确定实际焊渣图中焊渣像素的数量,或者焊渣的轮廓,焊渣的大小,焊渣的数量等。根据实际焊渣图的焊渣图情况确定焊接后的工件是否合格。例如,可以根据实际焊渣图中焊渣像素的个数是否大于预设阈值,若大于则说明焊接后的工件焊渣较多,确定焊接后的工件不合格。否则,确定合格。
与上述实施例相对应,本申请还提供了一种计算机设备。图11为本发明实施例提供的一种计算机设备的结构示意图,所述计算机设备1100可以包括:处理器1101、存储器1102及通信单元1103。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明实施例的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,所述通信单元1103,用于建立通信信道,从而使所述存储设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。
所述处理器1101,为存储设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器1002内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行计算机设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit,IC) 组成,例如可以由单颗封装的IC 所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器1101可以仅包括中央处理器(central processing unit,CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
所述存储器1102,用于存储处理器1101的执行指令,存储器1102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当存储器1102中的执行指令由处理器1101执行时,使得计算机设备1100能够执行图9所示实施例中的部分或全部步骤。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的焊渣切割模型的生成方法或对抗生成焊渣图模型的训练方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于装置实施例和终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。

Claims (15)

1.对抗生成焊渣图模型的训练方法,包括:
生成模型接收像素随机数矩阵;
所述生成模型基于所述像素随机数矩阵生成假焊渣图;
分析模块确定所述假焊渣图真假情况;
基于所述分析模块确定所述假焊渣图真假情况,确定是否将所述生成模型更新为对抗生成焊渣图模型;其中,
所述生成模型基于所述像素随机数矩阵生成假焊渣图包括:
所述生成模型将所述像素随机数矩阵上采样成初始图像;
对所述初始图像进行上采样及卷积处理,提取焊渣特征信息以得到预设尺寸的焊渣特征图像;
根据所述预设尺寸的焊渣特征图像形成假焊渣图;
所述分析模块确定所述假焊渣图真假情况包括:
所述分析模块对所述假焊渣图进行多次下采样处理及卷积处理,提取假焊渣图的焊渣特征信息,以得到多个所述预设尺寸的焊渣特征图像;
对多个预设尺寸的焊渣特征图像计算出每个焊渣特征图像的真假参数;
将所述每个焊渣特征图像的真假参数相加,根据相加结果确定假焊渣图真假情况。
2.根据权利要求1所述对抗生成焊渣图模型的训练方法,所述像素随机数矩阵包括第一像素随机数矩阵,对应地,所述假焊渣图包括第一假焊渣图,所述分析模块包括第一判别模型,所述真假情况包括真焊渣的概率或/和假焊渣的概率,所述分析模块确定所述假焊渣图真假情况的步骤包括:
所述第一判别模型分析所述第一假焊渣图为真焊渣的概率或/和假焊渣的概率。
3.根据权利要求2所述对抗生成焊渣图模型的训练方法,所述分析模块还包括第一损失函数,所述真假情况还包括所述第一假焊渣图的真假概率损失值,所述分析模块确定所述假焊渣图真假情况的步骤还包括:
基于所述第一判别模型分析所述第一假焊渣图为真焊渣的概率或/和假焊渣的概率,通过所述第一损失函数计算所述第一假焊渣图的真假概率损失值。
4.根据权利要求3所述的对抗生成焊渣图模型的训练方法,所述真假情况还包括真焊渣图的真假概率损失值,所述训练方法还包括:
获取真焊渣图;
所述分析模块确定所述假焊渣图真假情况的步骤还包括:
基于第一判别模型分析所述真焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第一损失函数,计算所述真焊渣图的真假概率损失值。
5.根据权利要求4所述的对抗生成焊渣图模型的训练方法,还包括:
基于所述第一假焊渣图的真假概率损失值、所述真焊渣图的真假概率损失值,确定是否符合预设值;
若所述第一假焊渣图的真假概率损失值、所述真焊渣图的真假概率损失值不符合预设值,调整所述第一判别模型中的信息以形成第二判别模型。
6.根据权利要求5所述的对抗生成焊渣图模型的训练方法,所述像素随机数矩阵还包括第二像素随机数矩阵,对应地,所述假焊渣图还包括第二假焊渣图,所述真假情况还包括第二假焊渣图的真假概率损失值,所述分析模块确定所述假焊渣图真假情况还包括:
所述第二判别模型分析所述第二假焊渣图为真焊渣的概率或/和假焊渣的概率;
基于所述第二判别模型分析所述第二假焊渣图为真焊渣的概率或/和假焊渣的概率,通过预设第二损失函数,计算所述第二假焊渣图的真假概率损失值。
7.根据权利要求6所述的对抗生成焊渣图模型的训练方法,所述基于所述分析模块确定所述假焊渣图真假情况,确定是否将所述生成模型更新为对抗生成焊渣图模型包括:
基于所述第二假焊渣图的真假概率损失值判断是否符合收敛值;
若所述第二假焊渣图的真假概率损失值不符合所述收敛值,则基于所述第二假焊渣图的真假概率损失值,调整所述生成模型中的信息,以生成所述对抗生成焊渣图模型。
8.一种焊渣切割模型的生成方法,包括:
获取工件样本图和对抗生成焊渣图模型生成的假焊渣图,所述对抗生成焊渣图模型由权利要求1-7任意一项所述对抗生成焊渣图模型的训练方法训练形成;
基于所述工件样本图和所述对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图;
基于所述假焊渣工件样本图,以预设规则形成训练集;
通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型。
9.根据权利要求8所述焊渣切割模型的生成方法,所述假焊渣图的数量为多个,所述基于所述工件样本图和所述对抗生成焊渣图模型生成的假焊渣图,生成假焊渣工件样本图的步骤包括:
将多个所述对抗生成焊渣图模型生成的假焊渣图,随机分布于所述工件样本图形成所述假焊渣工件样本图。
10.根据权利要求8所述焊渣切割模型的生成方法,所述基于所述假焊渣工件样本图,以预设规则形成训练集的步骤包括:
获取无焊渣工件样本图和真焊渣工件样本图;
按预设比例将所述无焊渣工件样本图、所述真焊渣工件样本图及所述假焊渣工件样本图形成样本集;
将所述样本集进行分割至少形成一所述训练集。
11.根据权利要求10所述焊渣切割模型的生成方法,所述通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型的步骤包括:
基于所述无焊渣工件样本图、所述真焊渣工件样本图以及所述假焊渣工件样本图,确定训练工件样本图;
基于所述训练工件样本图所述切割模型对所述训练工件样本图进行切割及提取处理,提取所述训练工件样本图中的焊渣并形成第一焊渣图;
基于所述第一焊渣图与所述训练工件样本图,通过预设的第三损失函数计算所述第一焊渣图中焊渣数量的损失值;
判断所述第一焊渣图中焊渣数量的损失值是否符合预设阀值;
若不符合,则基于所述第一焊渣图中焊渣数量的损失值调整所述切割模型中的信息,以将所述切割模型更新为焊渣切割模型。
12.根据权利要求11所述焊渣切割模型的生成方法,还包括:将所述样本集还分割形成有验证集;
所述焊渣切割模型的训练方法还包括:
若所述第一焊渣图中焊渣数量的损失值符合预设阀值,将所述切割模型更新定为固定模型;
在所述验证集中确定验证工件样本图;
基于验证集工件样本图,所述固定模型从所述验证工件样本图进行切割及提取处理,提取所述验证工件样本图中的焊渣并形成第二焊渣图;
基于所述验证工件样本图与所述第二焊渣图,通过交并差公式计算重叠度;
判断所述重叠度是否符合预设重叠度;
若不符合,则重新执行步骤“通过所述训练集对切割模型进行训练,以将所述切割模型更新为焊渣切割模型”;
若符合,将所述固定模型更新为焊渣切割模型。
13.一种焊接设备,包括依次电连接的摄像头、处理器、存储器,存储器存储权利要求8-12任意一项所述的焊渣切割模型的生成方法生成的焊渣切割模型;
摄像头对焊接后的工件拍摄,以形成工件焊接图;
所述处理器调取所述存储器中的焊渣切割模型执行:提取所述工件焊接图中的焊渣以形成实际焊渣图;识别实际焊渣图以确定焊渣图情况;基于所述焊渣图情况确定焊接后的所述工件是否合格。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~7任一权利要求所述方法的步骤,或者权利要求8~12任一权利要求所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~7任一所述方法的步骤,或者权利要求8~12任一所述方法的步骤。
CN202211404247.0A 2022-11-10 2022-11-10 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备 Active CN115481736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211404247.0A CN115481736B (zh) 2022-11-10 2022-11-10 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211404247.0A CN115481736B (zh) 2022-11-10 2022-11-10 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备

Publications (2)

Publication Number Publication Date
CN115481736A CN115481736A (zh) 2022-12-16
CN115481736B true CN115481736B (zh) 2023-04-07

Family

ID=84396152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211404247.0A Active CN115481736B (zh) 2022-11-10 2022-11-10 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备

Country Status (1)

Country Link
CN (1) CN115481736B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880175A (zh) * 2019-11-15 2020-03-13 广东工业大学 一种焊点缺陷检测方法、系统以及设备
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829894B (zh) * 2019-01-09 2022-04-26 平安科技(深圳)有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
WO2022175972A1 (en) * 2021-02-19 2022-08-25 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Method and system for generating time-efficient synthetic non-destructive testing data
CN114358019A (zh) * 2021-12-31 2022-04-15 思必驰科技股份有限公司 意图预测模型的训练方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880175A (zh) * 2019-11-15 2020-03-13 广东工业大学 一种焊点缺陷检测方法、系统以及设备
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Also Published As

Publication number Publication date
CN115481736A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
US20220130141A1 (en) Image processing method and apparatus, electronic device, and computer readable storage medium
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US11435289B2 (en) Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus
CN109727229A (zh) 虚焊检测方法及装置
CN113807350A (zh) 一种目标检测方法、装置、设备及存储介质
CN108764247A (zh) 基于稠密连接的深度学习物体检测方法及装置
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
CN114419029B (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN116012339A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN116363124B (zh) 一种基于深度学习的钢材表面缺陷检测方法
CN114998324A (zh) 半导体晶圆缺陷检测模型的训练方法及装置
CN109741295A (zh) 产品质量检测方法及装置
CN113793333A (zh) 应用于工业质检的缺陷图片生成方法及装置
CN115311235A (zh) 基于图像识别的微观缺陷处理方法、装置及计算机设备
CN113901647A (zh) 一种零件工艺规程编制方法、装置、存储介质及电子设备
CN115239642A (zh) 一种输电线路中小金具缺陷的检测方法、检测装置和设备
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN114005449B (zh) 语音交互方法及其装置、模型训练方法、车辆和存储介质
CN115880695A (zh) 卡证的识别方法、卡证识别模型的训练方法及电子设备
CN115481736B (zh) 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
CN117689943A (zh) 螺丝检测模型的训练方法、螺丝检测方法及装置
CN116258946B (zh) 基于前提的多粒度跨模态推理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant