CN113780900B - 基于边缘计算的焊接检测系统及方法 - Google Patents

基于边缘计算的焊接检测系统及方法 Download PDF

Info

Publication number
CN113780900B
CN113780900B CN202111321895.5A CN202111321895A CN113780900B CN 113780900 B CN113780900 B CN 113780900B CN 202111321895 A CN202111321895 A CN 202111321895A CN 113780900 B CN113780900 B CN 113780900B
Authority
CN
China
Prior art keywords
welding
information
detection
processing
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111321895.5A
Other languages
English (en)
Other versions
CN113780900A (zh
Inventor
李雄博
林宗儒
周道亮
李丞伦
吴振廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fulian Yuzhan Technology Shenzhen Co Ltd
Original Assignee
Shenzhenshi Yuzhan Precision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhenshi Yuzhan Precision Technology Co Ltd filed Critical Shenzhenshi Yuzhan Precision Technology Co Ltd
Priority to CN202111321895.5A priority Critical patent/CN113780900B/zh
Publication of CN113780900A publication Critical patent/CN113780900A/zh
Application granted granted Critical
Publication of CN113780900B publication Critical patent/CN113780900B/zh
Priority to US17/948,443 priority patent/US20230142578A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Nonlinear Science (AREA)
  • General Factory Administration (AREA)
  • Investigating And Analyzing Materials By Characteristic Methods (AREA)

Abstract

本发明公开了一种基于边缘计算的焊接检测系统及方法,该系统包括:至少一个边缘服务器,每个边缘服务器用于接收焊接机台的焊接信息,将焊接信息进行预处理以形成焊接处理信息,输入焊接处理信息至焊接检测模型得到检测结果,根据所述检测结果对所述焊接机台进行焊接品质判定;数据服务器,与边缘服务器耦接,用于处理及存储每个边缘服务器上传的检测结果及焊接信息,形成显示信息,根据显示信息可视化检测结果。本发明的焊接检测系统对三种不同焊接信息进行自动化检测且提高了焊接检测效率。

Description

基于边缘计算的焊接检测系统及方法
技术领域
本发明属于焊接检测领域,尤其涉及一种基于边缘计算的焊接检测系统及方法。
背景技术
目前工件焊接检测方法有如下几种:第一种采用传统图像算法和深度学习算法进行焊接缺陷检测,传统图像算法具有鲁棒性不足的缺陷,且传统图像算法对于产品与图像的关联性较高,深度学习检测法强调缺陷标准,即多种缺陷有无检测及缺陷位置,一旦缺陷标准变更,就需要进行重新调整标记与训练;第二种采用对焊接后的结构进行破坏性实验,根据破坏性实验的结果判断焊接品质,这种检测方法不仅无法实时地直观地在在焊接过程中反映焊接品质,而且耗时、耗材,需要的人力成本高;第三种通常采用人工检测的方式对焊接后的工件进行检测,该方式通过检测工程师的经验来判断加工后的物料是否合格,以及通过对加工后的物料进行抽检的方式进行破坏性检测,以此实现对加工后的物料的检测。然而,在实际作业的过程中,该方式对检测工程师的要求较高,导致人力成本增加;且该方式的检测自动化程度低,存在漏检的情况,导致物料的检测效率低。
发明内容
本发明提供一种基于边缘计算的焊接检测系统及方法,旨在解决上述问题。
本发明第一方面提供一种基于边缘计算的焊接检测系统,所述焊接检测系统包括:至少一个边缘服务器,每个所述边缘服务器用于接收焊接机台的焊接信息,将所述焊接信息进行预处理以形成焊接处理信息,输入所述焊接处理信息至焊接检测模型得到检测结果,根据所述检测结果对所述焊接机台进行焊接品质判定;数据服务器,与所述边缘服务器耦接,用于处理及存储每个所述边缘服务器上传的所述检测结果及焊接信息,形成显示信息,根据所述显示信息可视化所述检测结果。
本发明第二方面提供一种基于边缘计算的焊接检测方法,所述焊接检测方法包括:边缘服务器获取焊接机台的焊接信息,将所述焊接信息进行预处理以形成焊接处理信息,输入所述焊接处理信息至焊接检测模型得到检测结果,根据所述检测结果对所述焊接机台进行焊接品质判定;数据服务器处理及存储所述检测结果及所述焊接信息,形成显示信息,根据所述显示信息可视化所述检测结果。
上述焊接检测系统及方法可应用于镭射焊接机台,工件焊接后即时通过边缘服务器获取当前工件的焊接情况,通过数据服务器可将焊接件焊接中产生的缺陷显示出来,使作业人员更容易理解当前工件的焊接情况。数据应用设备能够自学习工件焊接产生的缺陷,定期更新焊接检测模型,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,就可节省人力及提升检验效率。
上述焊接检测系统及方法,在工件焊接后通过边缘服务器获取工件的加工数据信息,将加工数据信息输入至一加工质量预测模型,输出物料的加工质量的预测结果,进而通过加工质量预测模型对加工后的物料进行预测,提供了物料加工质量的预测的解决方案,使物料加工质量的检测更加依赖大数据信息,而非检测工程师的经验,降低了人力成本,有利于实现物料的加工质量的自动化检测,进而提升物料加工质量的检测效率。
上述焊接检测系统及方法,还通过边缘服务器获取焊接过程中焊接信息,经过判断模型形成用于判断焊接过程中质量的判断信息,进而使得检测结果更加贴近焊接的实际状况,实现对焊接过程中的质量检测,提高焊接品质检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
除非另有定义,本文所使用的所有的技术和科学术语与术语本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1是本发明一实施例提供的一种基于边缘计算的焊接检测系统框架图。
图2是本发明另一实施例提供的另一种基于边缘计算的焊接检测系统框架图。
图3是本发明另一实施例提供的另一种基于边缘计算的焊接检测系统框架图。
图4是本发明另一实施例提供的一种基于边缘计算的焊接检测方法流程图。
图5是本发明另一实施例提供的另一种基于边缘计算的焊接检测方法流程图。
图6是本发明另一实施例提供的另一种基于边缘计算的焊接检测方法流程图。
图7是本发明另一实施例提供的另一种基于边缘计算的焊接检测方法流程图。
图8是本发明另一实施例提供的另一种基于边缘计算的焊接检测方法流程图。
图9是本发明另一实施例提供的另一种基于边缘计算的焊接检测方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1示出了本发明一实施例提供的一种基于边缘计算的焊接检测系统100的系统框架图。该焊接检测系统100用于采集及分析多个焊接机台的多个维度的焊接信息,利用焊接检测结果对焊接机台进行焊接品质判定。
请参阅附图1,该焊接检测系统100包括:
至少一个边缘服务器101,每个边缘服务器101用于接收焊接机台的焊接信息,将焊接信息进行预处理以形成焊接处理信息,输入焊接处理信息至焊接检测模型得到检测结果,根据检测结果对焊接机台进行焊接品质判定;及
数据服务器102,与边缘服务器101耦接,用于处理及存储每个边缘服务器101上传的检测结果及焊接信息,形成显示信息,根据显示信息可视化检测结果。
以图1为例,该焊接检测系统100包括三个边缘服务器101及一数据服务器102,数据服务器102与三个边缘服务器101耦接,以处理及存储三个边缘服务器101上传的检测结果及焊接信息。
在一些实施方式中,焊接信息包括焊接检测信息、焊接图像信息及加工数据信息中至少一个,其中,焊接检测信息包括在焊接过程获取焊接件熔池或其周围的检测信息,以及焊接件的焊接点的位置信息;焊接图像信息包括第一图像,第一图像为焊接件焊接后的图像;加工数据信息包括焊接件焊接时的光感信号及对应的温度数据信息。焊接信息可以来自多个焊接机台,从而提升焊接信息的丰富度。
进一步需要说明的是,当焊接信息为焊接检测信息时,焊接检测模型可采用XGBoost模型,在此不作限定。当焊接信息为焊接图像信息时,焊接检测模型可采用语义切割模型,在此不作限定。当焊接信息加工数据信息时,焊接检测模型可采用K-means模型,在此不作限定。
在一些实施方式中,当焊接信息为焊接检测信息时,焊接检测模型可采用XGBoost模型,得到检测结果,该检测结果包括判断焊接件上的焊接点合格(OK)与不合格(NG);当焊接信息为焊接图像信息时,焊接检测模型可采用语义切割模型得到检测结果,该检测结果包括每个焊接件上某个位置的缺陷、焊点的缺陷中的至少一个;当焊接信息为加工数据信息时,焊接检测模型可采用K-means模型,得到检测结果,该检测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。
图2示出了本发明另一个实施例提供的另一种基于边缘计算的焊接检测系统100的另一系统框架图。请参阅图2,焊接检测系统100还包括至少一个数据采集设备103,每个数据采集设备103与对应的边缘服务器101耦接,用于采集至少一个焊接机台的焊接信息,并将采集到的焊接信息上传至对应的边缘服务器101。
以图2为例,焊接检测系统100包括三个数据采集设备103,三个数据采集设备103分别与对应边缘服务器101耦接,每个数据采集设备103可采集多个焊接机台的焊接信息,并将采集到的焊接信息上传至对应的边缘服务器101。边缘服务器101直接实时接收与其对应的数据采集设备103采集的数据,降低数据排队传输延迟的问题。
需要说明的是,焊接机台的焊接信息包括焊接检测信息、焊接图像信息及加工数据信息中的至少一种,数据采集设备103采集焊接件焊接过程中的焊接检测信息时,数据采集设备103包括边缘网关和感测器。感测器包括但不限于光谱仪、光电计、红外相机,此处不作限定。数据采集设备103采集焊接件焊接过程中的焊接图像信息时,数据采集设备包括但不限于摄像装置,此处不作限定。数据采集设备103采集焊接件焊接过程中的加工数据信息时,数据采集设备103包括边缘网关和感测器。此处不作限定。边缘网关支持不同的物理协议,边缘网关将从所述数据采集设备103接收焊接信息转换成统一格式的信息。
在一些实施例中,焊接信息包括焊接检测信息,焊接检测信息包括焊接件熔池或其周围的检测信息,以及焊接件的焊接点的位置信息,焊接处理信息包括第一焊接处理信息,第一焊接处理信息为对焊接检测信息进行预处理形成,焊接检测模型包括判断模型,判断模型通过对历史焊接检测信息的训练形成。边缘服务器101进一步进行如下操作:
边缘服务器101获取焊接机台的焊接检测信息,该焊接检测信息包括在焊接过程获取焊接件熔池或其周围的检测信息,以及焊接件的焊接点的位置信息。
需要说明的是,该检测信息示例性的包括获取焊接件熔池周围的等离子体、背光反射及温度,等离子体、背光反射及温度均为焊接过程中熔池所发射出来的光学讯号,以波的形式呈现。进行检测时,检测的是激光焊接过程中返回的光学讯号,本实施例中,将光的波长划分为紫外光、红外光、非红紫外光三类,相较于其余光学波长讯号的分类,此种分类方法象征性强且容易分光。进一步地,本实施例中,紫外光以等离子体放电为机理,紫外光的物理特性采用等离子体,等离子体常被视为物体除了固体、液体和气体之外的第四种状态,在焊接过程中,能够间隔反映出熔池的基本情况,红外光的物理特性采用温度,能够反映出焊接过程中的温度变化,非红紫外光的物理特性采用背光反射,能够反映出焊接表面的凹凸变化,以此形成所需要的历史焊接信息。例如焊接件熔池的等离子体、背光反射及温度数据,全部可以通过对光学信息的解析通过焊接件熔池的等离子体、背光反射及温度数据的集合得到。
焊接件的焊接点的位置信息是以焊接件熔池距离最近的焊接件边缘为基准计算得到的。
边缘服务器101进一步对焊接检测信息进行预处理以形成第一焊接处理信息。
在一些实施方式中,预处理包括均值滤波、中值滤波及高斯平滑中的至少一个。
需要说明的是,均值滤波、中值滤波及高斯平滑均可以对所形成的波起到平滑图像、滤去噪声的功能,使得历史焊接信息所形成的波具有平滑度高、噪声低的优势,具有平滑度高、噪声低的波形成上述的处理信息。
需要说明的是,预处理过程中所包括的均值滤波、中值滤波及高斯平滑在对基础波进行预处理,可以依据基础波的自身特点选择相对应的预处理方法,例如:针对以高斯噪声为主的基础波优选均值滤波的方式,针对以椒盐噪声为主的基础波则优选中值滤波的方式。
边缘服务器101进一步输入第一焊接处理信息至判断模型,形成第一判断信息,该判断模型为通过XGBoost模型对历史焊接检测信息的训练形成。示例性的,该历史焊接检测信息包括获取历史焊接件熔池或其周围的等离子体、背光反射及温度数据、以及焊接点的位置信息的集合。
示例性的,该第一判断信息指经过判断模型形成的判断序列,例如(0,1,1,1,2,1,0,0,1,1,1,1,…,0,0)。其中0表示非焊接点,1表示焊接品质正常的焊接点,即标注为OK的处理信息,2表示焊接品质不正常的焊接点,即标注为NG的处理信息,加入位置信息后,可通过可视化表示,将焊接点标黑能够直接提示作业人员该焊接点为NG,需要抛料或者对该焊接点进行再次复核,而不需要将这件工件再进入到下一个制程中。若所有焊接点都是OK,则将这件工件输送到下一个制程中。
焊接特征和位置信息是在焊接过程中获取的,经过训练的判断模型可将输入的焊接特征和位置信息,输出为对应判断焊接品质的判断结果,即判断信息,该信息可以是OK/NG的布尔结果,也可以是标注在焊接点位置的颜色信息,也可以是具体的数值。
边缘服务器101进一步再次输入该第一焊接处理信息至判断模型,形成第二判断信息。
具体地,该第二判断信息指经过判断模型形成的序列,例如(0,1,2,1,1,1,0,0,2,1,1,1,…,0,0)。
边缘服务器101进一步根据第一判断信息及第二判断信息,确定第一判断信息及第二判断信息的连通区域。
例如,通过对比第一判断信息及第二判断信息,发现第一判断信息的第2至第6个元素中,除了第5个元素为2其他均为1,且第二判断信息的第2至第6个元素中,除了第3个元素为2其他均为1,则确定第一判断信息中第2、3、4、6个元素和第二判断信息中第2、4、5、6个元素相同所形成的连通区域。
具体地,连通区域的确定采用连通分量标记算法。
边缘服务器101进一步对第一判断信息及第二判断信息进行主成分分析,以标注连通区域。
示例性的,基于第一判断信息中第2、3、4、6个元素和第二判断信息中第2、4、5、6个元素相同所形成的连通区域中,值为1的元素较多,则确定连通区域全为1,例如(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0)。这是因为在焊接过程中,判断模型存在一定的准确率,若将判断模型的灵敏度调至一发现出现NG(即值为2)的情况即停止,将会导致效率的降低,CT(Cycle Time)增加,且焊接品质并不一定不满足要求。另外,一旦在焊接过程中发现会出现焊接品质问题,通常不会仅出现1-2个值为NG,而是一连串的数据皆为NG,将导致焊接品质降低,因此采用主成分分析,综合第一判断信息及第二判断信息标注连通区域,形成判断结果,能够有效提高效率和减少误判。
可以理解地,在其他实施方式中,也可以采用不同颜色对处理信息进行标注,例如:采用绿色标注焊接品质正常的处理信息所在的区域,采用红色标注焊接品质不正常的处理信息所在的区域。
边缘服务器101进一步根据标注后的连通区域,调整第一判断信息或第二判断信息,以形成第三判断信息。
如此,第三判断信息即为综合第一判断信息及第二判断信息标注连通区域后形成的序列,例如为(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0),这样采用连通分量标记算法对所形成的判断信息进行调整,能否有效提高形成的判断信息的准确度。
可以理解地,在其他实施方式中,也可形成多个判断信息,在多个判断信息的基础上形成最终的判断信息。
在一些实施例中,显示信息包括第一显示信息,第一显示信息对应基于第一焊接处理信息形成的第三判断信息。数据服务器102进一步进行如下操作:
数据服务器102根据第三判断信息以及焊接件的焊接点的位置信息,以形成第一显示信息,根据该第一显示信息呈现该焊接件的焊接点的判断结果。
焊接件包含至少一个焊接点,例如包括焊接点1、焊接点2和焊接点3,3个焊接点位于不同的位置,第一显示信息对应基于第一焊接处理信息形成的第三判断信息,该第一显示信息可在显示器或者图像中显示,也可以在其他方式中显示。示例性的,根据第三判断信息,判断焊接点1不合格(NG)、焊接点2合格(OK)和焊接点3不合格(NG),以显示器为例,通过发出和传输控制信息,根据位置信息,示例性为坐标信息,在焊接点1和焊接点3的位置标记出红点,在焊接点2的位置标记处绿点,现场人员即可根据这些可视化信息,了解到焊接情况,能够有效避免焊接不合格时人眼无法直观判断,造成漏检的情况,也能够继续收集焊接时对应的数据,形成新的历史焊接信息,对判断模型进行优化。
边缘服务器101采用的焊接检测信息形成于焊接机台的焊接过程,并依据经过训练的判断模型形成用于判断焊接过程中质量的第一判断信息,进而使得检测结果更加贴近焊接的实际状况,实现对焊接过程中的质量检测,提高焊接品质检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
在一些实施例中,焊接信息还包括焊接图像信息,焊接图像信息包括焊接件焊接后的第一图像,焊接处理信息还包括第二焊接处理信息,第二焊接处理信息为基于第一图像提取获得,焊接检测模型还包括逻辑处理组件,逻辑处理组件为根据历史焊接图像信息通过自我学习演进而成。边缘服务器101进一步进行如下操作:
边缘服务器101接收焊接机台的第一图像。其中,第一图像即为焊接件焊接后所形成的图像,焊接件可为螺柱、法兰中的至少一个。
边缘服务器101进一步根据第一图像,提取第二焊接处理信息。其中,第二焊接处理信息包括焊接件轮廓(示例性为螺柱的轮廓和/或法兰的轮廓)、焊接点位置(示例性为螺柱和/或法兰的焊接点位置)、缺陷点及焊点中心中的至少一个。其中,缺陷点可为法兰的缺角。
边缘服务器101进一步输入焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个至逻辑处理组件,形成焊接缺陷。
其中,焊接缺陷包含漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及螺柱的偏位度数中的至少一个。
逻辑处理组件为根据历史焊接图像信息通过语义切割模型自我学习演进而成。其中,历史焊接图像信息包括至少一根据历史焊接缺陷信息标记的历史焊接图像信息。预先收集焊接件焊接所形成的多种焊接缺陷,并根据焊接件所形成的多种焊接缺陷形成历史焊接缺陷,并将历史焊接缺陷标记在相应地历史第一图像中,以形成历史焊接图像信息,用于语义切割模型自我学习。
在一些实施例中,显示信息还包括第二显示信息,第二显示信息对应基于第二焊接处理信息形成的所述焊接缺陷。数据服务器102进一步进行如下操作:
数据服务器102基于焊接缺陷形成第二显示信息,以根据第二显示信息呈现焊接缺陷的具象或特征值。
其中,第二显示信息显示第一图像中的焊接缺陷,第二显示信息是显示焊接缺陷被量化后的信息,用于表达焊接缺陷,使作业人员可以更直观地了解到图像中所具有的焊接缺陷。第二显示信息可以为数据、表格或图像中的至少一种,数据和表格可以表示为焊接缺陷的特征值,图像可以表示为焊接缺陷的具象。
形成焊接缺陷的第二显示信息,具体为:形成漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及偏位度数的至少一个缺陷显示信息,以根据缺陷显示信息表达焊接缺陷。
数据服务器102进一步根据第一图像和第二显示信息,生成第二图像。
其中,第二图像为标注缺陷后的图像,即第二显示信息以图像的形式进行显示。
数据服务器102将第二显示信息叠加于第一图像。在第一图像中叠加包含缺陷信息的第二显示信息,以使得原有第一图像上显示出缺陷信息,如此,作业人员能够更直观地观察到第二显示信息中的缺陷信息存在于第一图像的哪些位置。
在一些实施例中,焊接信息还包括加工数据信息,加工数据信息包括焊接件焊接时的光感信号及对应的温度数据信息,焊接处理信息还包括第三焊接处理信息,第三焊接处理信息为对加工数据信息进行预处理形成,焊接检测模型还包括加工质量预测模型,加工质量预测模型为通过K-means模型对历史破坏性测试结果信息和历史加工数据信息进行训练得到。边缘服务器101进一步进行如下操作:
边缘服务器101接收焊接机台的加工数据信息,对加工数据信息进行预处理以形成第三焊接处理信息。
其中,加工数据信息可以包括焊接件焊接时的光感信号及对应的温度数据信息。加工数据信息可以来自多个焊接机台,从而提升加工数据信息的丰富度。例如,一焊接机台对焊接件进行焊接时,该焊接机台所使用的激光为红外光、紫外光或其他特殊波型光的光感信号,激光因使用红外光所产生的温度数据信息,激光因使用紫外光所产生的电浆数据信息,上述数据信息均可以理解为物料的加工数据信息。
需要说明的是,该预处理包括均值滤波、中值滤波及高斯平滑中的至少一个,具体在此不作说明。
边缘服务器101进一步输入第三焊接处理信息至加工质量预测模型,输出焊接件的焊接质量的预测结果,该预测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。
其中,加工质量预测模型为基于历史破坏性测试结果信息和历史加工数据信息对预设模型进行训练得到。破坏性测试结果信息由对焊接后的物料进行破坏性检测获取,破坏性测试结果信息包括焊点失效时的拉拔力、冲击力、扭力和剪切力中的一者。可以理解地,对焊接后的物料进行破坏性检测时,由于是对物料进行破坏性检测,物料被破坏后无法复原,每次破坏性检测仅可以获取拉拔力、冲击力、扭力和剪切力中的其中一者。
示例性地,在得到加工质量预测模型并使用该加工质量预测模型后,输入加工数据信息至该加工质量预测模型,该加工质量预测模型输出物料的加工质量的预测结果。预测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。如此,边缘服务器101通过接收焊接件的加工数据信息和破坏性测试结果信息,基于破坏性测试结果信息和加工数据信息得到加工质量预测模型,将加工数据信息输入至加工质量预测模型,输出物料的加工质量的预测结果,进而实现对焊接后的焊接件的加工质量进行预测的功能,提供了焊接件加工质量的预测的解决方案,使焊接件加工质量的检测更加依赖大数据信息,而非检测工程师的经验,降低了人力成本,有利于实现焊接件的加工质量的自动化检测,进而提升焊接件加工质量的检测效率。
示例性地,破坏性检测对预测结果为合格的物料进行抽检,对预测结果为不合格的物料进行全检;根据抽检以及全检的破坏性测试结果信息和对应的加工数据信息对加工质量预测模型进行更新。如此,通过对预测结果为合格的物料进行抽检、以及对预测结果为不合格的物料进行全检,获取更多的破坏性测试结果信息,有利于提升破坏性测试结果信息的样本数量,通过获取的更多的破坏性测试结果信息对加工质量预测模型进行更新,提升加工质量预测模型的预测准确性。
在一些实施例中,显示信息还包括第三显示信息,第三显示信息对应基于加工数据信息形成的焊接件的焊接质量的预测结果。数据服务器102进一步进行如下操作:
数据服务器102基于焊接件的焊接质量的预测结果形成第三显示信息,以根据第三显示信息呈现焊接件的焊接质量。
图3示出了本申请另一个实施例提供的另一种基于边缘计算的焊接检测系统100的框架图。在一些实施例中,如图3所示,焊接检测系统100还包括数据应用设备104,数据应用设备104与数据服务器102耦接,用于接收数据服务器102上传的检测结果及焊接信息;获取焊接件的破坏性测试结果信息,破坏性测试结果信息包括根据加工质量预测模型的预测结果是合格的焊接件进行抽检以及预测结果是不合格的焊接件进行全检的破坏性测试结果信息;基于检测结果、焊接信息及破坏性测试结果信息训练焊接检测模型,得到更新的焊接检测模型。
数据服务器102接收三个边缘服务器101上传的检测结果及焊接信息,其中,检测结果包括第三判断信息、焊接缺陷及焊接质量的预测结果中至少一个,焊接信息包括焊接检测信息、焊接图像信息及加工数据信息中至少一个,基于检测结果及焊接信息构建数据集,将数据集拆分成焊接数据集及训练集,焊接数据集为检测结果和焊接信息的部分集合,训练集为检测结果和焊接信息的另一部分部分结合,经本地数据库存储焊接数据集,并将训练集上传至数据应用设备104,数据应用设备104基于训练集定期更新焊接检测模型。
在一些实施例中,焊接信息包括焊接检测信息,检测结果包括第三判断信息,焊接检测模型包括判断模型,数据应用设备104基于焊接检测信息及第三判断信息训练判断模型,得到更新的判断模型的具体实现方式为:
数据应用设备104获取焊接检测信息,对焊接检测信息经预处理以形成第一焊接处理信息,获取第一焊接处理信息的焊接特征。
示例性的,焊接特征包括最大值、最大值时刻、均值、焊接时长及分段斜率的至少一个,这些特征作为量化单个焊接点的焊接特征,能够输出具有具体数值的焊接品质评价参数,示例性的为该焊接点经过破坏性检测的拉拔力,能够将基础波的模拟信息,不需要进行数值分析就形成具体的数字,转化为数字信息,不仅加快了处理速度,还能够使得在焊接过程中判断焊接品质更加便捷,判断的逻辑也得到的优化。具体的,可将最大值、最大值时刻、均值及焊接时长定义为数值特征,将分段斜率定义为趋势特征,数值特征可用于简单的逻辑判断,如超过某最大值基准则判断焊接品质不良,趋势特征可用于预测趋势,例如结合时间节点的分段斜率,判断在往后某一刻焊接品质发生不良的概率有多大,但不限于此。
数据应用设备104进一步根据焊接特征、位置信息及第三判断信息,形成训练集,依据该训练集对判断模型进行训练,形成新的判断模型。
在一些实施例中,焊接信息包括焊接图像信息,焊接检测模型包括逻辑处理组件,检测结果包括焊接缺陷,数据应用设备104基于标记有焊接缺陷信息的焊接图像信息训练逻辑处理组件,形成更新的逻辑处理组件的具体实现方式为:
数据应用设备104获取焊接图像信息及焊接缺陷信息,将焊接缺陷信息编辑于焊接图像上,形成标记有焊接缺陷信息的焊接图像信息,根据标记有焊接缺陷信息的焊接图像信息训练逻辑处理组件,并对逻辑处理组件不断进行更新,将更新后的逻辑处理组件下发至数据服务器102。
其中,数据应用设备104训练逻辑处理组件的具体实现方式如下:
数据应用设备104进一步将焊接图像信息作为训练集输送至卷积层,形成卷积结果。
具体地,将训练集输送至卷积层,卷积层中将训练集中的图像切割为多个特征,形成卷积结果。
数据应用设备104进一步输送卷积结果至池化层,形成焊接特征。
具体地,将卷积结果输送至池化层中,池化层为金字塔池化层,将切割为多个特征的历史图像输送至卷积层中,通过金字塔池化层将多个特征还原为历史图像。在历史图像-多个特征-历史图像的过程中,逻辑处理组件根据训练集得到焊接特征,可用于识别多种焊接所形成的特征。
数据应用设备104进一步输送焊接特征至一分类器,形成分类结果。
具体地,分类器可为一个,也可以为多个。分类器为多个时,可为法兰轮廓分类器、螺柱轮廓分类器、焊点分类器、法兰缺口分类器、焊点中心分类器。将焊接特征输送至分类器中,通过分类器,对形成的焊接特征进行分类,以形成多种类的焊接特征,即形成分类结果。
数据应用设备104进一步输送焊接缺陷信息及分类结果至一逻辑处理组件,形成评估结果。
具体地,将历史焊接缺陷信息及分类结果输送至评估模型。评估模型中,将扩充后的历史图像,以20%作为验证集(即不参与训练),剩余的80%作为训练集,该部分训练集训练可训练100次跑一次验证集,在多次的训练当中,观测评估模型的函数是否处于收敛情况,且在无训练的验证集精准度是否相对提升。
数据应用设备104进一步确定评估结果符合预设条件。
具体地,判断评估结果是否符合预设条件,预设条件包括损失函数的收敛性及识别精准度的预设值。
数据应用设备104进一步基于评估结果符合预设条件,根据逻辑处理组件及评估结果,形成新的逻辑处理组件。
具体地,评估结果符合损失函数的收敛性范围,且识别精准度达到预设值,逻辑处理组件保存训练模板,用于检测工件焊接缺陷。
在一些实施例中,焊接信息还包括加工数据信息,焊接检测模型还包括加工质量预测模型,数据应用设备104基于破坏性测试结果信息和加工数据信息对加工质量预测模型进行训练,形成新的加工质量预测模型的具体实现方式如下:
数据应用设备104获取破坏性测试结果信息和加工数据信息,将破坏性测试结果信息与对应的加工数据信息进行关联。
示例性地,对于一焊接后的焊接件,该焊接后的焊接件的加工数据信息为红外光,2000℃,焊点分布合理,该焊接件的破坏性测试结果信息为拉拔力3kg,将破坏性测试结果信息与对应的加工数据信息进行关联后为红外光,2000℃,焊点分布合理,拉拔力3kg,即表示在加工数据信息为红外光,2000℃,焊点分布合理的情况下,该焊接件的拉拔力为3kg。显然地,上述仅为举例说明之用,并不是对本申请的限定。
数据应用设备104进一步将破坏性测试结果信息和加工数据信息分为训练集、验证集和测试集,利用训练集对加工质量预测模型进行初步训练,利用验证集对初步训练后的加工质量预测模型进行验证和调整,利用测试集对调整后的加工质量预测模型进行测试,以得到更新的加工质量预测模型。
示例性地,将关联后的破坏性测试结果信息和加工数据信息按照8:1:1的比例关系分为训练集、验证集和测试集,训练集、验证集和测试集中的元素的数据信息都是相同的。可以理解地,关联后的破坏性测试结果信息和加工数据信息还可以按照其他的比例关系分为训练集、验证集和测试集。
数据应用设备104通过对预测结果为合格的物料进行抽检、以及对预测结果为不合格的物料进行全检,获取更多的破坏性测试结果信息,有利于提升破坏性测试结果信息的样本数量,通过获取的更多的破坏性测试结果信息对加工质量预测模型进行更新,提升加工质量预测模型的预测准确性。
数据应用设备104按照一定周期更新焊接检测模型,并将更新后的焊接检测模型下发至数据服务器102。
数据服务器102进一步接收更新的焊接检测模型,其中,更新的焊接检测模型包括更新的判断模型、更新的逻辑处理组件及更新的加工质量预测模型,并将更新的焊接检测模型发送至每个边缘服务器101,每个边缘服务器101还用于接收更新的焊接检测模型对焊接品质进行判定。
上述的基于边缘计算的焊接检测系统可应用于镭射焊接机台,工件焊接后即时通过边缘服务器获取当前工件的焊接情况,通过数据服务器可将焊接件焊接中产生的缺陷显示出来,使作业人员更容易理解当前工件的焊接情况。数据应用设备能够自学习工件焊接产生的缺陷,定期更新焊接检测模型,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,就可节省人力及提升检验效率。
上述焊接检测系统,还在工件焊接后通过边缘服务器获取工件的加工数据信息,将加工数据信息输入至一加工质量预测模型,输出物料的加工质量的预测结果,进而通过加工质量预测模型对加工后的物料进行预测,提供了物料加工质量的预测的解决方案,使物料加工质量的检测更加依赖大数据信息,而非检测工程师的经验,降低了人力成本,有利于实现物料的加工质量的自动化检测,进而提升物料加工质量的检测效率。
上述焊接检测系统,还通过边缘服务器获取焊接过程中焊接信息,经过判断模型形成用于判断焊接过程中质量的判断信息,进而使得检测结果更加贴近焊接的实际状况,实现对焊接过程中的质量检测,提高焊接品质检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
图4示出了本发明另一实施例提供的一种基于边缘计算的焊接检测方法的实现流程图。请参阅图4,焊接检测方法包括:
S201:边缘服务器获取至少一焊接机台的焊接信息,将焊接信息进行预处理以形成焊接处理信息,输入焊接处理信息至焊接检测模型得到检测结果,根据检测结果对焊接机台进行焊接品质判定;
S202:数据服务器处理及存储检测结果及焊接信息,形成显示信息,根据显示信息可视化检测结果。
数据服务器可耦接多个边缘服务器,以处理及存储多个边缘服务器101上传的检测结果及焊接信息。
图5示出了本发明另一实施例提供的另一种基于边缘计算的焊接检测方法的实现流程图。请参阅图5,焊接检测方法包括:
S301:数据采集设备采集至少一个焊接机台的焊接信息,并将采集到的焊接信息上传至对应的边缘服务器;
S302:边缘服务器接收至少一个焊接机台的焊接信息,将焊接信息进行预处理以形成焊接处理信息,输入焊接处理信息至焊接检测模型得到检测结果,根据检测结果对焊接机台进行焊接品质判定;
S303:数据服务器处理及存储检测结果及焊接信息,形成显示信息,根据显示信息可视化检测结果。
每个数据采集设备可采集多个焊接机台的焊接信息,并将采集到的焊接信息上传至对应的边缘服务器。边缘服务器直接实时接收与其对应的数据采集设备采集的数据,降低数据排队传输延迟的问题。
图6示出了本发明另一实施例提供的另一种基于边缘计算的焊接检测方法的实现流程图。在一些实施例中,焊接信息包括焊接检测信息,焊接检测信息包括焊接件熔池或其周围的检测信息,以及焊接件的焊接点的位置信息,焊接处理信息包括第一焊接处理信息,第一焊接处理信息为对焊接检测信息进行预处理形成,焊接检测模型包括判断模型,判断模型通过对历史焊接检测信息的训练形成。显示信息包括第一显示信息,第一显示信息对应基于第一焊接处理信息形成的第三判断信息。
如图6所示,焊接检测方法进一步包括:
S401:边缘服务器获取焊接机台的焊接检测信息,该焊接检测信息包括在焊接过程获取焊接件熔池或其周围的检测信息,以及焊接件的焊接点的位置信息;
S402:边缘服务器对焊接检测信息进行预处理以形成第一焊接处理信息,其中,预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;
S403:边缘服务器输入第一焊接处理信息至所述判断模型,形成第一判断信息,该判断模型为通过XGBoost模型对历史焊接检测信息的训练形成;
S404:边缘服务器再次输入第一焊接处理信息至判断模型,形成第二判断信息;
S405:边缘服务器根据第一判断信息及第二判断信息,确定第一判断信息及第二判断信息的连通区域;
S406:边缘服务器对第一判断信息及第二判断信息进行主成分分析,以标注连通区域;
S407:边缘服务器根据标注后的连通区域,调整第一判断信息或第二判断信息,以形成第三判断信息。
S408:数据服务器根据第三判断信息以及焊接件的焊接点的位置信息,以形成第一显示信息,根据第一显示信息呈现焊接件的焊接点的判断结果。
边缘服务器采用的焊接检测信息形成于焊接机台的焊接过程,并依据经过训练的判断模型形成用于判断焊接过程中质量的判断信息,进而使得检测结果更加贴近焊接的实际状况,实现对焊接过程中的质量检测,提高焊接品质检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
图7示出了本发明另一实施例提供的另一种基于边缘计算的焊接检测方法的实现流程图。在一些实施例中,焊接信息还包括焊接图像信息,焊接图像信息包括焊接件焊接后的第一图像,焊接处理信息还包括第二焊接处理信息,第二焊接处理信息为基于第一图像提取获得,焊接检测模型还包括逻辑处理组件,逻辑处理组件为根据历史焊接图像信息通过自我学习演进而成。显示信息还包括第二显示信息,第二显示信息对应基于第二焊接处理信息形成的所述焊接缺陷。请参阅图7,焊接检测方法进一步包括:
S501:边缘服务器接收焊接机台的第一图像,第一图像即为焊接件焊接后所形成的图像;根据第一图像,提取第二焊接处理信息,第二焊接处理信息包括焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个。
S502:边缘服务器输入焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个至逻辑处理组件,形成焊接缺陷。
其中,焊接缺陷包含漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及螺柱的偏位度数中的至少一个。
逻辑处理组件为根据历史焊接图像信息通过语义切割模型自我学习演进而成。其中,历史焊接图像信息包括至少一根据历史焊接缺陷信息标记的历史焊接图像信息。
S503:数据服务器基于焊接缺陷形成第二显示信息,以根据第二显示信息呈现焊接缺陷的具象或特征值。
S504:数据服务器根据第一图像及第二显示信息,生成第二图像。
数据服务器根据缺陷显示信息表达焊接缺陷,并在第一图像上显示出缺陷信息,作业人员能够更直观地观察到第二显示信息中的缺陷信息存在于第一图像的哪些位置。
上述的基于边缘计算的焊接检测方法可应用于镭射焊接机台,工件焊接后即时通过边缘服务器获取当前工件的焊接情况,通过数据服务器可将焊接件焊接中产生的缺陷显示出来,使作业人员更容易理解当前工件的焊接情况。
图8示出了本发明另一实施例提供的另一种基于边缘计算的焊接检测方法的现流程图。在一些实施例中,焊接信息还包括加工数据信息,加工数据信息包括焊接件焊接时的光感信号及对应的温度数据信息,焊接处理信息还包括第三焊接处理信息,第三焊接处理信息为对加工数据信息进行预处理形成,焊接检测模型还包括加工质量预测模型,加工质量预测模型为通过K-means模型对历史破坏性测试结果信息和历史加工数据信息进行训练得到。显示信息还包括第三显示信息,第三显示信息对应基于加工数据信息形成的焊接件的焊接质量的预测结果。请参阅图8,焊接检测方法还包括:
S601:边缘服务器接收焊接机台的加工数据信息,对加工数据信息进行预处理以形成第三焊接处理信息,预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;
S602:边缘服务器输入第三焊接处理信息至加工质量预测模型,输出焊接件的焊接质量的预测结果,预测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。加工质量预测模型为通过K-means模型对历史破坏性测试结果信息和历史加工数据信息进行训练得到
S603:数据服务器基于焊接件的焊接质量的预测结果形成第三显示信息,以根据第三显示信息呈现焊接件的焊接质量。
边缘服务器通过接收焊接件的加工数据信息和破坏性测试结果信息,基于破坏性测试结果信息和加工数据信息得到加工质量预测模型,将加工数据信息输入至加工质量预测模型,输出物料的加工质量的预测结果,进而实现对焊接后的焊接件的加工质量进行预测的功能,提供了焊接件加工质量的预测的解决方案,使焊接件加工质量的检测更加依赖大数据信息,而非检测工程师的经验,降低了人力成本,有利于实现焊接件的加工质量的自动化检测,进而提升焊接件加工质量的检测效率。
图9示出了本发明另一实施例提供的另一种基于边缘计算的焊接检测方法的实现流程图。请参阅图9,焊接检测方法包括:
S701:数据采集设备采集至少一个焊接机台的焊接信息,并将采集到的焊接信息上传至对应的边缘服务器;
S702:边缘服务器接收至少一焊接机台的焊接信息,将焊接信息进行预处理以形成焊接处理信息,输入焊接处理信息至焊接检测模型得到检测结果,根据检测结果对焊接机台进行焊接品质判定;
S703:数据服务器处理及存储检测结果及焊接信息,形成显示信息,根据显示信息可视化检测结果;
S704:数据应用设备获取检测结果、焊接信息以及焊接件的破坏性测试结果信息;基于检测结果、焊接信息及破坏性测试结果信息训练焊接检测模型,得到更新的焊接检测模型;
S705:数据服务器进一步接收更新的焊接检测模型,其中,更新的焊接检测模型包括更新的判断模型、更新的逻辑处理组件及更新的加工质量预测模型,并将更新的焊接检测模型发送至每个边缘服务器,每个边缘服务器基于更新的焊接检测模型对焊接品质进行判定。
上述的焊接检测方法,通过数据应用设备获取工件焊接产生的多维度焊接信息,定期更新焊接检测模型,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,就可节省人力及提升检验效率。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (17)

1.一种基于边缘计算的焊接检测系统,包括:
至少一个边缘服务器,每个所述边缘服务器用于接收焊接机台的焊接信息,将所述焊接信息进行预处理以形成焊接处理信息,输入所述焊接处理信息至焊接检测模型得到检测结果,根据所述检测结果对所述焊接机台进行焊接品质判定;其中,所述焊接信息包括焊接检测信息,所述焊接检测信息包括焊接件熔池或焊接件熔池周围的检测信息,以及焊接件的焊接点的位置信息;所述焊接处理信息包括第一焊接处理信息,所述第一焊接处理信息为对所述焊接检测信息进行预处理形成,所述焊接检测模型包括判断模型,所述判断模型通过对历史焊接检测信息的训练形成;其中,所述预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;输入所述第一焊接处理信息至所述判断模型,形成第一判断信息;再次输入所述第一焊接处理信息至所述判断模型,形成第二判断信息;根据所述第一判断信息及所述第二判断信息,确定所述第一判断信息及所述第二判断信息的连通区域;对所述第一判断信息及所述第二判断信息进行主成分分析,以标注所述连通区域;根据标注后的所述连通区域,调整所述第一判断信息或所述第二判断信息,以形成第三判断信息;
数据服务器,与所述边缘服务器耦接,用于处理及存储每个所述边缘服务器上传的所述检测结果及所述焊接信息,形成显示信息,根据所述显示信息可视化所述检测结果。
2.根据权利要求1所述的基于边缘计算的焊接检测系统,进一步包括至少一个数据采集设备,每个所述数据采集设备与对应的所述边缘服务器耦接,用于采集至少一个焊接机台的焊接信息,并将采集到的所述焊接信息上传至对应的所述边缘服务器。
3.根据权利要求1所述的基于边缘计算的焊接检测系统,其中,所述显示信息包括第一显示信息,所述第一显示信息对应基于所述第一焊接处理信息形成的所述第三判断信息;
所述数据服务器,进一步用于:
根据所述第三判断信息以及所述焊接件的焊接点的位置信息,以形成第一显示信息,根据所述第一显示信息呈现所述焊接件的焊接点的判断结果。
4.根据权利要求1所述的基于边缘计算的焊接检测系统,其中,所述焊接信息还包括焊接图像信息,所述焊接图像信息包括焊接件焊接后的第一图像,所述焊接处理信息还包括第二焊接处理信息,所述第二焊接处理信息为基于所述第一图像提取获得,所述焊接检测模型还包括逻辑处理组件,所述逻辑处理组件为根据历史焊接图像信息通过自我学习演进而成;
所述边缘服务器,进一步用于:
根据所述第一图像,提取所述第二焊接处理信息,所述第二焊接处理信息包括所述焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个;
输入所述焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个至所述逻辑处理组件,形成焊接缺陷。
5.根据权利要求4所述的基于边缘计算的焊接检测系统,其中,所述显示信息还包括第二显示信息,所述第二显示信息对应基于所述第二焊接处理信息形成的所述焊接缺陷;
所述数据服务器,进一步用于:
基于所述焊接缺陷形成第二显示信息,以根据所述第二显示信息呈现所述焊接缺陷的具象或特征值;
根据所述第一图像及所述第二显示信息,生成第二图像。
6.根据权利要求1所述的基于边缘计算的焊接检测系统,其中,所述焊接信息还包括加工数据信息,所述加工数据信息包括焊接件焊接时的光感信号及对应的温度,所述焊接处理信息还包括第三焊接处理信息,所述第三焊接处理信息为对加工数据信息进行预处理形成,所述焊接检测模型还包括加工质量预测模型,所述加工质量预测模型为基于历史破坏性测试结果信息和历史加工数据信息对预设模型进行训练得到;
所述边缘服务器,进一步用于:
对所述加工数据信息进行预处理以形成所述第三焊接处理信息,所述预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;
输入所述第三焊接处理信息至所述加工质量预测模型,输出所述焊接件的焊接质量的预测结果,所述预测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。
7.根据权利要求6所述的基于边缘计算的焊接检测系统,其中,所述显示信息还包括第三显示信息,所述第三显示信息对应基于所述加工数据信息形成的所述焊接件的焊接质量的预测结果;
所述数据服务器,进一步用于:
基于所述焊接件的焊接质量的预测结果形成第三显示信息,以根据所述第三显示信息呈现所述焊接件的焊接质量。
8.根据权利要求7所述的基于边缘计算的焊接检测系统,进一步包括数据应用设备,所述数据应用设备与所述数据服务器耦接,用于:
接收所述数据服务器上传的检测结果及焊接信息;
获取焊接件的破坏性测试结果信息,所述破坏性测试结果信息包括根据所述加工质量预测模型的预测结果是合格的焊接件进行抽检以及预测结果是不合格的焊接件进行全检的破坏性测试结果信息;
基于所述检测结果、所述焊接信息及所述破坏性测试结果信息训练所述焊接检测模型,得到更新的所述焊接检测模型;
将所述更新的所述焊接检测模型下发至所述数据服务器。
9.根据权利要求8所述的基于边缘计算的焊接检测系统,所述数据服务器还用于接收所述更新的焊接检测模型,并将所述更新的焊接检测模型发送至所述边缘服务器,所述边缘服务器还用于接收所述更新的焊接检测模型对焊接品质进行判定。
10.一种基于边缘计算的焊接检测方法,包括:
边缘服务器获取焊接机台的焊接信息,将所述焊接信息进行预处理以形成焊接处理信息,输入所述焊接处理信息至焊接检测模型得到检测结果,根据所述检测结果对所述焊接机台进行焊接品质判定;其中,所述焊接信息包括焊接检测信息,所述焊接检测信息包括焊接件熔池或焊接件熔池周围的检测信息,以及焊接件的焊接点的位置信息;所述焊接处理信息包括第一焊接处理信息,所述第一焊接处理信息为对所述焊接检测信息进行预处理形成,所述焊接检测模型包括判断模型,所述判断模型通过对历史焊接检测信息的训练形成;其中,所述预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;输入所述第一焊接处理信息至所述判断模型,形成第一判断信息;再次输入所述第一焊接处理信息至所述判断模型,形成第二判断信息;根据所述第一判断信息及所述第二判断信息,确定所述第一判断信息及所述第二判断信息的连通区域;对所述第一判断信息及所述第二判断信息进行主成分分析,以标注所述连通区域;根据标注后的所述连通区域,调整所述第一判断信息或所述第二判断信息,以形成第三判断信息;
数据服务器处理及存储所述检测结果及所述焊接信息,形成显示信息,根据所述显示信息可视化所述检测结果。
11.根据权利要求10所述的基于边缘计算的焊接检测方法,进一步包括:
数据采集设备采集至少一个焊接机台的焊接信息,并将采集到的所述焊接信息上传至对应的所述边缘服务器。
12.根据权利要求10所述的基于边缘计算的焊接检测方法,其中,所述显示信息包括第一显示信息,所述第一显示信息对应基于所述第一焊接处理信息形成的所述第三判断信息;
该方法进一步包括:
所述数据服务器根据所述第三判断信息以及所述焊接件的焊接点的位置信息,以形成第一显示信息,根据所述第一显示信息呈现所述焊接件的焊接点的判断结果。
13.根据权利要求10所述的基于边缘计算的焊接检测方法,其中,所述焊接信息包括焊接图像信息,所述焊接图像信息包括焊接件焊接后的第一图像,所述焊接处理信息还包括第二焊接处理信息,所述第二焊接处理信息为基于所述第一图像提取获得,所述焊接检测模型还包括逻辑处理组件,所述逻辑处理组件为根据历史焊接图像信息通过自我学习演进而成;
该方法进一步包括:
所述边缘服务器根据所述第一图像,提取所述第二焊接处理信息,所述第二焊接处理信息包括所述焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个;
所述边缘服务器输入所述焊接件的轮廓、焊接点位置、缺陷点及焊点中心的至少一个至所述逻辑处理组件,形成焊接缺陷。
14.根据权利要求13所述的基于边缘计算的焊接检测方法,其中,所述显示信息还包括第二显示信息,所述第二显示信息对应基于所述第二焊接处理信息形成的所述焊接缺陷;
该方法进一步包括:
所述数据服务器基于所述焊接缺陷形成第二显示信息,以根据所述第二显示信息呈现所述焊接缺陷的具象或特征值;
所述数据服务器根据所述第一图像及所述第二显示信息,生成第二图像。
15.根据权利要求10所述的基于边缘计算的焊接检测方法,其中,所述焊接信息包括加工数据信息,所述加工数据信息包括焊接件焊接时的光感信号及对应的温度,所述焊接处理信息还包括第三焊接处理信息,所述第三焊接处理信息为对加工数据信息进行预处理形成,所述焊接检测模型还包括加工质量预测模型,所述加工质量预测模型为基于历史破坏性测试结果信息和历史加工数据信息对预设模型进行训练得到;
该方法进一步包括:
所述边缘服务器对所述加工数据信息进行预处理以形成所述第三焊接处理信息,所述预处理包括均值滤波、中值滤波及高斯平滑中的至少一个;
所述边缘服务器输入所述第三焊接处理信息至所述加工质量预测模型,输出所述焊接件的焊接质量的预测结果,所述预测结果包括焊点失效时的拉拔力、冲击力、扭力和剪切力。
16.根据权利要求15所述的基于边缘计算的焊接检测方法,其中,所述显示信息还包括第三显示信息,所述第三显示信息对应基于所述加工数据信息形成的所述焊接件的焊接质量的预测结果;
该方法进一步包括:
所述数据服务器基于所述焊接件的焊接质量的预测结果形成第三显示信息,以根据所述第三显示信息呈现所述焊接件的焊接质量。
17.根据权利要求16所述的基于边缘计算的焊接检测方法,进一步包括:
数据应用设备获取检测结果及焊接信息;
数据应用设备获取焊接件的破坏性测试结果信息,所述破坏性测试结果信息包括根据所述加工质量预测模型的预测结果是合格的焊接件进行抽检以及预测结果是不合格的焊接件进行全检的破坏性测试结果信息;
数据应用设备基于所述检测结果、所述焊接信息及所述破坏性测试结果信息训练所述焊接检测模型,得到更新的所述焊接检测模型;
所述数据服务器获取所述更新的焊接检测模型,并将所述更新的焊接检测模型发送至所述边缘服务器;
所述边缘服务器根据所述更新的焊接检测模型对焊接品质进行判定。
CN202111321895.5A 2021-11-09 2021-11-09 基于边缘计算的焊接检测系统及方法 Active CN113780900B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111321895.5A CN113780900B (zh) 2021-11-09 2021-11-09 基于边缘计算的焊接检测系统及方法
US17/948,443 US20230142578A1 (en) 2021-11-09 2022-09-20 System and method for detecting welding based on edge computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111321895.5A CN113780900B (zh) 2021-11-09 2021-11-09 基于边缘计算的焊接检测系统及方法

Publications (2)

Publication Number Publication Date
CN113780900A CN113780900A (zh) 2021-12-10
CN113780900B true CN113780900B (zh) 2022-04-12

Family

ID=78956929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111321895.5A Active CN113780900B (zh) 2021-11-09 2021-11-09 基于边缘计算的焊接检测系统及方法

Country Status (2)

Country Link
US (1) US20230142578A1 (zh)
CN (1) CN113780900B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779895A (zh) * 2021-11-10 2021-12-10 深圳市裕展精密科技有限公司 数据模型的建立装置和方法、加工质量的预测装置和方法
CN116644863B (zh) * 2023-07-25 2023-10-20 山东德丰重工有限公司 钢结构焊缝质量预测管理方法及系统
CN118037715B (zh) * 2024-04-11 2024-06-14 深圳市英唐智能实业有限公司 用于pcba板的智能焊点分析优化方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112010003406B4 (de) * 2009-08-27 2021-05-06 Ihi Inspection & Instrumentation Co., Ltd. Laserschweißgütebestimmungs-Verfahren und -Vorrichtung
CN102141524A (zh) * 2010-01-28 2011-08-03 复旦大学 检测焊球失效的电子散斑干涉系统及无损检测方法
CN102183545B (zh) * 2011-01-31 2012-11-21 哈尔滨工业大学 检测电路板焊点可靠性的红外测温检测法
CN102990225A (zh) * 2012-12-03 2013-03-27 天津大学 一种实时检测激光焊接质量的方法
FR3027393B1 (fr) * 2014-10-17 2016-10-07 Renault Sa Procede et dispositif de diagnostic de la qualite d'un cordon de soudure laser
CN106295663B (zh) * 2015-05-25 2019-05-07 中国海洋大学 一种基于图像处理的垂测电离图e区描迹自动判读方法
CN108956653A (zh) * 2018-05-31 2018-12-07 广东正业科技股份有限公司 一种焊点质量检测方法、系统、装置及可读存储介质
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109581201B (zh) * 2018-11-30 2020-11-20 北京卫星制造厂有限公司 基于正则化视在吸热系数判定虚焊焊点的方法
CN110636715B (zh) * 2019-08-27 2021-07-13 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN110866910B (zh) * 2019-11-13 2022-04-12 上海电气集团股份有限公司 一种焊缝质量预测方法及系统、装置、计算机可存储介质
CN111069819A (zh) * 2019-11-27 2020-04-28 广州明珞汽车装备有限公司 一种基于人工智能的焊接质量预测系统及方法
US20210318673A1 (en) * 2020-04-08 2021-10-14 BWXT Advanced Technologies LLC In-Situ Inspection Method Based on Digital Data Model of Weld
CN111932489B (zh) * 2020-06-03 2024-02-20 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN111862067B (zh) * 2020-07-28 2021-10-26 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN112037365B (zh) * 2020-09-01 2022-05-10 枣庄学院 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统
CN112067616B (zh) * 2020-09-28 2024-06-11 江苏大学 一种谷物品质实时检测装置及方法
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
CN112872631B (zh) * 2020-12-02 2023-05-09 富联裕展科技(深圳)有限公司 焊接检测方法、装置及计算机可读存储介质
CN112958959A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的自动化焊接和检测方法
CN113111570A (zh) * 2021-03-09 2021-07-13 武汉大学 一种基于机器学习的引线键合质量预测控制方法
CN113592814B (zh) * 2021-07-30 2023-04-07 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN113592813B (zh) * 2021-07-30 2023-05-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法

Also Published As

Publication number Publication date
CN113780900A (zh) 2021-12-10
US20230142578A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN113780900B (zh) 基于边缘计算的焊接检测系统及方法
CN111539923B (zh) 一种焊缝缺陷的数字射线检测方法、系统及服务器
CN111069819A (zh) 一种基于人工智能的焊接质量预测系统及方法
US10423669B2 (en) Manufacturing process visualization apparatus and method
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
EP4234158A1 (en) System and method for analyzing weld quality
CN114648481A (zh) 工件焊接缺陷检测装置、方法及计算机可读存储介质
CN112183919A (zh) 质量预测系统和质量预测方法
CN114662208B (zh) 一种基于Bim技术的施工可视化系统及方法
Egorova et al. Synthesis of an adaptive system for diagnosing the quality of automated welding products
CN112015149A (zh) 一种轻量化车身连接质量辅助判定方法
CN113469991B (zh) 一种锂电池极耳激光焊点视觉在线检测方法
CN113094800B (zh) 市政工程监理中工程质量的监理方法及系统
CN117455318A (zh) 汽车零部件检测过程的监控方法、装置及电子设备
CN113222947B (zh) 一种非金属材料焊接缺陷智能检测方法及系统
CN110989042A (zh) 一种高速公路团雾风险的智能化预测方法
CN110243826A (zh) 一种产品在线检测方法及装置
CN115106615A (zh) 一种基于工况智能识别的焊偏实时检测方法及系统
CN115496728A (zh) 一种密封钉缺陷检测方法及系统
CN115186007A (zh) 一种用于监测提醒的机载数据标识实时显示方法及系统
CN107704988A (zh) 电网智慧工地管控平台的工地技术管理系统
JP7181257B2 (ja) 原因分析システムおよび方法
CN113776783A (zh) 一种基于巡检机器人的机房服务器故障灯检测方法
CN118051062B (zh) 基于bim和无人机的施工现场塔吊智能巡检方法及系统
CN117309065B (zh) 一种基于无人机的换流站远程监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518109 Floor 4, Building C09, Building C07, Floor 4, Floor 3, Building C08 and Floor 1, Building C04

Patentee after: Fulian Yuzhan Technology (Shenzhen) Co.,Ltd.

Address before: 518109 Guangzhou Guanlan Foxconn Hongguan Science Park B workshop 5 C09 buildings 4 floors, C07 buildings 2 floors, C08 buildings 3 floors 4 floors, C04 buildings 1 floors

Patentee before: SHENZHENSHI YUZHAN PRECISION TECHNOLOGY Co.,Ltd.