CN117911811A - 一种基于业务知识融合的工业视觉模型训练方法及装置 - Google Patents

一种基于业务知识融合的工业视觉模型训练方法及装置 Download PDF

Info

Publication number
CN117911811A
CN117911811A CN202410311597.5A CN202410311597A CN117911811A CN 117911811 A CN117911811 A CN 117911811A CN 202410311597 A CN202410311597 A CN 202410311597A CN 117911811 A CN117911811 A CN 117911811A
Authority
CN
China
Prior art keywords
component
product
model
training
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410311597.5A
Other languages
English (en)
Inventor
李国志
刘鹤辉
张大招
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Cognitive Internet Of Things Research Institute Co ltd
Original Assignee
Nanjing Cognitive Internet Of Things Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Cognitive Internet Of Things Research Institute Co ltd filed Critical Nanjing Cognitive Internet Of Things Research Institute Co ltd
Priority to CN202410311597.5A priority Critical patent/CN117911811A/zh
Publication of CN117911811A publication Critical patent/CN117911811A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于业务知识融合的工业视觉模型训练方法及装置。该方法包括获取产品的相关信息和缺陷信息,并将产品的相关信息和缺陷信息进行结构化存储;将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息;根据部件模型与产品的部件的关联关系选择部件模型训练所需的图片集,并基于图片集对部件模型进行训练;获取训练后的部件模型及其训练结果,并将训练后的部件模型及其训练结果进行展示。本发明基于部件模型管理模块能够建立业务知识与部件模型的关联,提高模型在迭代优化过程的效率,以部件为核心建立的部件模型,提高了模型的管理效率,优化了模型的迭代优化速度。

Description

一种基于业务知识融合的工业视觉模型训练方法及装置
技术领域
本发明涉及模型训练技术领域,具体涉及一种基于业务知识融合的工业视觉模型训练方法及装置。
背景技术
当前,在推进工业制造数字化升级、实施智能制造的过程中,其关键问题之一就是对于生产线上所制造工业产品的质量,如何用自动化的技术对其进行质量检测,从而实现从原料加工、生产到后端质量检测的端到端的自动化生产线。随着计算机视觉技术的发展,有很多企业已经开始通过图像检测的方法来自动发现产品的缺陷并进行分拣。近几年来,随着深度学习技术的发展和广泛应用,大量的图像检测技术都是基于深度学习模型的,在深度学习模型进行检测时,很重要的就是需要对模型进行持续不断的优化训练。模型的训练过程一方面是一个非常耗费硬件设备算力和时间的过程,另一方面则需要依赖算法工程师对于待检测产品的知识以及缺陷的深入理解。当前,在实际训练时,更多的注意力往往被放在了模型的技术层面上,即更多地考虑如何通过分布式训练的技术加快模型的训练速度,缩短训练时间。而对于更加耗费时间和精力的,模型训练过程所需要的待检测产品的知识以及缺陷知识,往往都只能依赖算法工程师向业务人员的现场学习,并在训练过程中逐步加深理解,一旦算法工程师离职或者转换工作,新的算法工程师就只能从头重新学习。所以如何将模型所涉及到的产品以及缺陷知识融入到模型训练的技术中,从而减少算法工程师的学习和交接成本,就成了实际工程中质检系统得以持续优化的关键问题之一。
现有各种模型训练工具更多关注的都是技术层面的模型训练工作,包括图像标注、分布式训练等,对于待检测产品的业务以及缺陷理解,更多的都是依赖算法工程师与业务人员的沟通学习,形成算法工程师的理解,再进行模型训练。这种方式下,视觉质检模型的训练往往是一个纯技术的工作,与模型本身所要检测产品的业务缺乏关联,而算法工程师花费较多时间精力从业务人员身上学习到的知识往往没有结构化,也没有保存下来,当新的算法工程师接手或者参与模型训练时,需要花费较多的精力进行重新学习,浪费模型训练时间,降低模型训练效率。
发明内容
本发明的目的是针对现有技术存在的不足,提供一种基于业务知识融合的工业视觉模型训练方法及装置。
为实现上述目的,在第一方面,本发明提供了一种基于业务知识融合的工业视觉模型训练方法,包括:
获取产品的相关信息和缺陷信息,并将所述产品的相关信息和缺陷信息进行结构化存储,以将部件模型训练所需的业务信息以结构化的形式表达出来;
将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息;
根据部件模型与产品的部件的关联关系选择部件模型训练所需的图片集,并基于所述图片集对部件模型进行训练;
获取训练后的部件模型及其训练结果,并将训练后的部件模型及其训练结果进行展示。
进一步的,所述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值;所述部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述;所述产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
进一步的,在训练期间,实时获取训练过程数据,将所述训练过程数据进行存储,并将所述训练过程数据进行实时展示。
进一步的,基于分布式的GPU训练集群完成部件模型的训练。
进一步的,基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联。
在第二方面,本发明提供了一种基于业务知识融合的工业视觉部件模型训练装置,包括:
产品&部件&缺陷字典管理模块,用以编辑产品的相关信息和缺陷信息,并控制将产品的相关信息和缺陷信息进行结构化存储,以将部件模型训练所需的业务信息以结构化的形式表达出来;
部件模型管理模块,用以将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息;
部件模型训练模块,用以导入基于部件模型与产品的部件的关联关系选择的图片集,并基于导入的图片集控制对部件模型进行训练;
数据获取模块,用以获取训练后的部件模型及其训练结果,并控制将获取的训练后的部件模型及其训练结果进行存储;
展示模块,用以将训练后的部件模型及其训练结果进行展示。
进一步的,所述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值;所述部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述;所述产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
进一步的,在训练期间,所述数据获取模块实时获取训练过程数据,并控制将所述训练过程数据进行存储,所述展示模块还用以将训练过程数据进行实时展示。
进一步的,基于分布式的GPU训练集群完成部件模型的训练。
进一步的,基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联。
有益效果:1、本发明基于部件模型管理模块能够建立业务知识与部件模型的关联,提高模型在迭代优化过程的效率;
2、本发明以部件为核心建立的部件模型,提高了模型的管理效率,优化了模型的迭代优化速度。
附图说明
图1是本发明实施例的基于业务知识融合的工业视觉模型训练装置的结构示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,本实施例在以本发明技术方案为前提下进行实施,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明实施例提供了一种基于业务知识融合的工业视觉模型训练方法,包括:
获取产品的相关信息和缺陷信息,并将产品的相关信息和缺陷信息进行结构化存储,以将部件模型训练所需的业务信息以结构化的形式表达出来。具体的,上述产品的相关信息和缺陷信息是在部件模型训练前由算法工程师与业务部门沟通获取到。上述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值。部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述。产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息。优选基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联,关联结果可以是一个部件模型与一个产品的部件进行关联,也可以是多个部件模型对一个产品的部件进行关联。通过该关联关系,对于任意一个部件,基于其编码,都可以快速查找到该部件所关联的所有部件模型;而对于一个部件模型,通过部件编码,以及部件编码所关联的产品部件信息,并由此获取部件所对应的缺陷信息以及产品信息,从而由部件模型也可以直接获取到该部件模型所对应的业务信息。
根据部件模型与产品的部件的关联关系选择部件模型训练所需的图片集,并基于所述图片集对部件模型进行训练。基于部件模型与产品的部件的关联关系,业务人员和算法工程师能够更有效精准地进行图片采集和标注,并获取到对部件模型训练有实际价值的图片集。优选在基于分布式的GPU训练集群完成部件模型的训练。另外,在训练期间,实时获取训练过程数据,并将训练过程数据进行存储,还可以将训练过程数据进行实时展示。训练过程数据包括当前批次,迭代,当前训练后的精度、召回率以及训练过程日志等。
获取训练后的部件模型及其训练结果,并将训练后的部件模型及其训练结果进行展示。算法工程师可以查看训练结果以及训练后的模型。
参见图1,基于以上实施例,本领域技术人员可以轻易理解,本发明还提供了一种基于业务知识融合的工业视觉模型训练装置,包括产品&部件&缺陷字典管理模块1、部件模型管理模块2、部件模型训练模块3、分布式的GPU训练集群4、数据获取模块5和展示模块6。
其中,产品&部件&缺陷字典管理模块1用以编辑产品的相关信息和缺陷信息,并控制将产品的相关信息和缺陷信息进行结构化存储。具体的,上述产品的相关信息和缺陷信息是在部件模型训练前由算法工程师与业务部门沟通获取到。上述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值。部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述。产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
部件模型管理模块2用以将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息。优选基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联,关联结果可以是一个部件模型与一个产品的部件进行关联,也可以是多个部件模型对一个产品的部件进行关联。通过该关联关系,对于任意一个部件,基于其编码,都可以快速查找到该部件所关联的所有部件模型;而对于一个部件模型,通过部件编码,以及部件编码所关联的产品部件信息,并由此获取部件所对应的缺陷信息以及产品信息,从而由部件模型也可以直接获取到该部件模型所对应的业务信息。
部件模型训练模块3用以导入基于部件模型与产品的部件的关联关系选择的图片集,并基于导入的图片集控制对部件模型进行训练。基于部件模型与产品的部件的关联关系,业务人员和算法工程师能够更有效精准地进行图片采集和标注,并获取到对部件模型训练有实际价值的图片集。优选在基于分布式的GPU训练集群4完成部件模型的训练。另外,在训练期间,实时获取训练过程数据,并将训练过程数据进行存储,还可以将上述训练过程数据进行实时展示。训练过程数据包括当前批次,迭代,当前训练后的精度、召回率以及训练过程日志等。
数据获取模块5用以获取训练后的部件模型及其训练结果,并控制将获取的训练后的部件模型及其训练结果进行存储。在训练期间,数据获取模块5实时获取训练过程数据,并将训练过程数据进行存储,展示模块6用以将训练过程数据进行实时展示。
展示模块6用以将训练后的部件模型及其训练结果进行展示。算法工程师可以通过展示模块6查看训练结果以及训练后的部件模型。
另外,还包括存储模块7,存储模块7用以对产品&部件&缺陷字典管理模块1编辑的产品的相关信息和缺陷信息进行结构化存储,还用以将部件模型管理模块2中部件模型与产品的部件的关联结果、部件模型训练模块3 导入的图片集以及数据获取模块5获取的训练后的部件模型及其训练结果和训练过程数据进行存储,展示模块6可从存储模块7中获取要展示的数据。
举例说明,xxx企业利用本装置对其塑钢拉链的视觉质检模型进行了训练。
产品&部件&缺陷字典管理模块1中对产品、部件以及缺陷进行了结构化并定义了如下的相关信息:
A、产品
产品编号:ZIPPER_SG_001
产品名称:塑钢拉链
产品描述信息:塑钢拉链是一种高硬度合金拉链,这种拉链主要适用于要求较高的服装、家纺产品等
表1为产品属性信息表,产品属性信息如表1所示:
表1:产品属性信息表
B、表2为部件信息表,部件信息如表2所示:
表2:部件信息表
C、表3为产品的缺陷信息表,产品的缺陷信息如表3所示:
表3:产品的缺陷信息表
部件模型管理模块2定义了针对每个部件需要训练的模型,每个模型均与对应产品部件相关联,表4为模型与产品部件关联表,关联方式具体如表4所示:
表4:模型与产品部件关联表
部件模型训练模块3用于对每个部件模型,通过挑选对应的图片进行训练。
分布式的GPU训练集群4由2台GPU服务器组成,每台服务器包含4颗L40GPU。
数据获取模块5在整个训练过程持续获取训练过程的当前批次,迭代,当前训练后的精度、召回率以及训练过程日志等信息,并通过web socket的方式推送给展示模块6。
展示模块6负责将通过web socket接收到数据在界面进行展示。
存储模块7负责将产品&部件&缺陷字典管理模块1所编辑的产品、部件及缺陷信息、部件模型管理模块2所编辑的部件模型以及数据获取模块5所获取到的训练过程数据全部持久化到数据库中。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,其它未具体描述的部分,属于现有技术或公知常识。在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于业务知识融合的工业视觉模型训练方法,其特征在于,包括:
获取产品的相关信息和缺陷信息,并将所述产品的相关信息和缺陷信息进行结构化存储,以将模型训练所需的业务信息以结构化的形式表达出来;
将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息;
根据部件模型与产品的部件的关联关系选择部件模型训练所需的图片集,并基于所述图片集对部件模型进行训练;
获取训练后的部件模型及其训练结果,并将训练后的部件模型及其训练结果进行展示。
2.根据权利要求1所述的一种基于业务知识融合的工业视觉模型训练方法,其特征在于,所述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值;所述部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述;所述产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
3.根据权利要求1所述的一种基于业务知识融合的工业视觉模型训练方法,其特征在于,在训练期间,实时获取训练过程数据,将所述训练过程数据进行存储,并将所述训练过程数据进行实时展示。
4.根据权利要求1所述的一种基于业务知识融合的工业视觉模型训练方法,其特征在于,基于分布式的GPU训练集群完成部件模型的训练。
5.根据权利要求2所述的一种基于业务知识融合的工业视觉模型训练方法,其特征在于,基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联。
6.一种基于业务知识融合的工业视觉模型训练装置,其特征在于,包括:
产品&部件&缺陷字典管理模块,用以编辑产品的相关信息和缺陷信息,并控制将产品的相关信息和缺陷信息进行结构化存储,以将部件模型训练所需的业务信息以结构化的形式表达出来;
部件模型管理模块,用以将若干部件模型与产品的部件进行关联,以表达出部件模型所需要识别的缺陷以及用于训练的图片集所表示的产品部件信息;
部件模型训练模块,用以导入基于部件模型与产品的部件的关联关系选择的图片集,并基于导入的图片集控制对部件模型进行训练;
数据获取模块,用以获取训练后的部件模型及其训练结果,并控制将获取的训练后的部件模型及其训练结果进行存储;
展示模块,用以将训练后的部件模型及其训练结果进行展示。
7.根据权利要求6所述的一种基于业务知识融合的工业视觉模型训练装置,其特征在于,所述产品的相关信息包括产品编号、产品名称、产品示例图片、产品描述信息、产品属性和部件信息;所述产品属性包括产品属性名称、产品属性编码、数据类型、产品属性描述和候选值;所述部件信息包括部件名称、部件编码、包含的部件属性集合和部件描述;所述产品的缺陷信息包括缺陷名称、缺陷编码、包含该缺陷的部件、缺陷的判断标准和缺陷示例图片。
8.根据权利要求6所述的一种基于业务知识融合的工业视觉模型训练装置,其特征在于,在训练期间,所述数据获取模块实时获取训练过程数据,并控制将所述训练过程数据进行存储,所述展示模块还用以将训练过程数据进行实时展示。
9.根据权利要求6所述的一种基于业务知识融合的工业视觉模型训练装置,其特征在于,基于分布式的GPU训练集群完成部件模型的训练。
10.根据权利要求7所述的一种基于业务知识融合的工业视觉模型训练装置,其特征在于,基于部件模型的ID、部件模型的名称和部件编码将部件模型与产品的部件进行关联。
CN202410311597.5A 2024-03-19 2024-03-19 一种基于业务知识融合的工业视觉模型训练方法及装置 Pending CN117911811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410311597.5A CN117911811A (zh) 2024-03-19 2024-03-19 一种基于业务知识融合的工业视觉模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410311597.5A CN117911811A (zh) 2024-03-19 2024-03-19 一种基于业务知识融合的工业视觉模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN117911811A true CN117911811A (zh) 2024-04-19

Family

ID=90696307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410311597.5A Pending CN117911811A (zh) 2024-03-19 2024-03-19 一种基于业务知识融合的工业视觉模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN117911811A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765972A (zh) * 2019-10-31 2020-02-07 秒针信息技术有限公司 一种动物的监控方法、装置、电子设备及存储介质
CN110794227A (zh) * 2018-08-02 2020-02-14 阿里巴巴集团控股有限公司 故障检测方法、系统、设备及存储介质
CN115373402A (zh) * 2022-09-19 2022-11-22 陕西西煤云商信息科技有限公司 一种装载机行驶控制方法、装置、设备及存储介质
CN115984207A (zh) * 2022-12-26 2023-04-18 浙江华睿科技股份有限公司 车辆缺陷检测方法、装置、系统及介质
CN117370568A (zh) * 2023-09-28 2024-01-09 国网福建省电力有限公司电力科学研究院 一种基于预训练语言模型的电网主设备知识图谱补全方法
CN117370574A (zh) * 2023-10-13 2024-01-09 国网福建省电力有限公司电力科学研究院 提高电力主设备知识图谱嵌入模型性能的缺陷分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794227A (zh) * 2018-08-02 2020-02-14 阿里巴巴集团控股有限公司 故障检测方法、系统、设备及存储介质
CN110765972A (zh) * 2019-10-31 2020-02-07 秒针信息技术有限公司 一种动物的监控方法、装置、电子设备及存储介质
CN115373402A (zh) * 2022-09-19 2022-11-22 陕西西煤云商信息科技有限公司 一种装载机行驶控制方法、装置、设备及存储介质
CN115984207A (zh) * 2022-12-26 2023-04-18 浙江华睿科技股份有限公司 车辆缺陷检测方法、装置、系统及介质
CN117370568A (zh) * 2023-09-28 2024-01-09 国网福建省电力有限公司电力科学研究院 一种基于预训练语言模型的电网主设备知识图谱补全方法
CN117370574A (zh) * 2023-10-13 2024-01-09 国网福建省电力有限公司电力科学研究院 提高电力主设备知识图谱嵌入模型性能的缺陷分析方法

Similar Documents

Publication Publication Date Title
CN109859829B (zh) 一种基于微信公众平台的医疗设备报修系统及其运行方法
CN112966772A (zh) 一种多人在线的图像半自动标注方法及系统
CN108985293A (zh) 一种基于深度学习的图像自动化标注方法及系统
CN113468296B (zh) 可配置业务逻辑的模型自迭代式智能客服质检系统与方法
CN110909986A (zh) 基于知识图谱的疑似实际控制人的风险识别方法及系统
CN109214642B (zh) 一种建筑施工工序约束的自动抽取和分类方法及系统
CN114169248B (zh) 产品缺陷数据分析方法、系统、电子设备及可读存储介质
CN115238710B (zh) 一种文档智能生成与管理方法及装置
CN102087657A (zh) 一种用于核电站仿真平台的io对点方法和io对点装置
CN113449698A (zh) 纸质文档的自动化录入方法、系统、装置及存储介质
CN110837566A (zh) 一种针对cnc机床故障诊断的知识图谱的动态构建方法
CN112199376B (zh) 一种基于聚类分析的标准知识库管理方法及系统
CN117911811A (zh) 一种基于业务知识融合的工业视觉模型训练方法及装置
US20080222179A1 (en) Apparatus and method for sharing and reuse of structured knowledge artifacts
CN115062676B (zh) 数据处理方法、装置及计算机可读存储介质
CN109800709A (zh) 一种基于深度学习的自动回转柜自动识别系统及方法
CN110659747B (zh) 一种基于工艺落实与成本管控的车辆检修方法及系统
CN114994046A (zh) 基于深度学习模型的缺陷检测系统
CN110489311B (zh) 自动检测电脑用户行为及自动更新检测模型的方法和系统
CN114035783A (zh) 一种软件代码知识图谱构建方法及工具
CN113256267A (zh) 一种项目数据处理方法和系统
CN111612662A (zh) 基于ar技术的电测实验检测平台及方法
CN116475081B (zh) 一种基于云边协同的工业产品分拣控制方法、装置及系统
CN113887758A (zh) 一种核电站设备可视化巡检系统及方法
CN114998070B (zh) 一种企业数字学习平台沉浸式数字化学习方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination