CN112258485A - 一种基于迁移学习和知识图谱的工业视觉检测方法 - Google Patents

一种基于迁移学习和知识图谱的工业视觉检测方法 Download PDF

Info

Publication number
CN112258485A
CN112258485A CN202011166655.8A CN202011166655A CN112258485A CN 112258485 A CN112258485 A CN 112258485A CN 202011166655 A CN202011166655 A CN 202011166655A CN 112258485 A CN112258485 A CN 112258485A
Authority
CN
China
Prior art keywords
qualified
image
detected
sample image
visual inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011166655.8A
Other languages
English (en)
Inventor
张淮
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qingzhan Artificial Intelligence Research Institute Co ltd
Original Assignee
Nanjing Qingzhan Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Qingzhan Artificial Intelligence Research Institute Co ltd filed Critical Nanjing Qingzhan Artificial Intelligence Research Institute Co ltd
Priority to CN202011166655.8A priority Critical patent/CN112258485A/zh
Publication of CN112258485A publication Critical patent/CN112258485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视觉检测技术领域，尤其为一种基于迁移学习和知识图谱的工业视觉检测方法，包括以下步骤：S1：使用拍摄设备拍摄各种合格零件的各个方位的图像，作为合格样本；S2：将采集到的合格样本图像导入计算机，并对合格样本图像进行标注；S3：根据合格样本图像，通过RPN网络和SVM分类器进行处理，使其生成零部件的合格检测模型。本发明首先通过采集各种合格零部件的各个方位的图像，作为合格样本，从而可以制作成合格零部件的检测模型样品，然后采集待检测零部件的各个方位的图像进行比对，即可判断出待检测零部件是否为合格品，所以这种检测方式较为方便快捷，效率更高，且检测的准确率也较高。

Description

一种基于迁移学习和知识图谱的工业视觉检测方法
技术领域
本发明涉及视觉检测技术领域，具体为一种基于迁移学习和知识图谱的工业视觉检测方法。
背景技术
随着工业的进一步发展，大量的生产环节已经被智能化的自动化系统所替代。但是，生产工艺的检测环节仍然是一个难点，大量的生产过程中的检测环节是通过主观的人工观察的方式进行判断产品是否存在缺陷。而且，在定制家具或者是瓷砖行业整个生产环节中由于产品品种繁多，迭代速度较快，在很多生产线上每个品种的种类数量数千、数万件，而上线生产周期较短，目前一般都是通过工作人员进行肉眼检测，一方面，工作人员也有疏忽的时候，所以检测的准确率不能一直保证在较高的水平，另一方面通过人力检测，效率确实较低，所以会产生较大的损失，因此我们提出了一种基于迁移学习和知识图谱的工业视觉检测方法来解决上述问题
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于迁移学习和知识图谱的工业视觉检测方法，解决了上述背景技术中所提出的问题。
(二)技术方案
2.为实现上述目的，本发明提供如下技术方案：一种基于迁移学习和知识图谱的工业视觉检测方法，包括以下步骤：
S1：使用拍摄设备拍摄各种合格零件的各个方位的图像，作为合格样本；
S2：将采集到的合格样本图像导入计算机，并对合格样本图像进行标注；
S3：根据合格样本图像，通过RPN网络和SVM分类器进行处理，使其生成零部件的合格检测模型；
S4：使用拍摄设备拍摄待检测零件的各个方位的图像，作为待检测图像样本；
S5：将采集到的待检测零件的图像样本导入计算机，并与合格检测模型进行比对，如果匹配值达到规定数值即可判断出待检测零件是合格品，如果匹配值达不到规定数值即可判断出待检测零件是不合格品。
作为本发明的一种优选技术方案，所述S1中的拍摄设备为工业高清CCD相机。
作为本发明的一种优选技术方案，所述S2中的对合格样本图像进行标注的具体步骤为，首先对每张合格样本图像中所需检测的部位进行图像截取，得到合格零部件的图像块，然后根据截取得到的图像块，获取每个图像块的坐标信息并对合格样本图像中的图像块进行标注，得到标注的图像块。
作为本发明的一种优选技术方案，所述S3的具体步骤为，首先对合格样本图像进行RPN卷积网络操作处理，得到最后一层的特征图；再根据合格样本图像的尺寸种类和图像块的尺寸种类，通过卷积核得到预测的图像块；然后将各预测的图像块中与样本图像中标注的图像块进行重叠比率计算；然后选取重叠比率大于0.9的预测图像块作为SVM训练的样本，训练完成后，即可制得零部件的合格检测模型。
作为本发明的一种优选技术方案，所述S5中将待检测零部件的图像加载到合格检测模型中，通过GPU并行处理的方式，可以得到待检测零部件的检测数据，从而可以让人较为方便快捷的判断出待检测零部件是否为合格品。
(三)有益效果
与现有技术相比，本发明提供了一种基于迁移学习和知识图谱的工业视觉检测方法，具备以下有益效果：
该基于迁移学习和知识图谱的工业视觉检测方法，首先通过采集各种合格零部件的各个方位的图像，作为合格样本，从而可以制作成合格零部件的检测模型样品，然后采集待检测零部件的各个方位的图像进行比对，即可判断出待检测零部件是否为合格品，所以这种检测方式较为方便快捷，效率更高，且检测的准确率也较高。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1，本发明提供以下技术方案：一种基于迁移学习和知识图谱的工业视觉检测方法，包括以下步骤：
S1：使用拍摄设备拍摄各种合格零件的各个方位的图像，作为合格样本；
S2：将采集到的合格样本图像导入计算机，并对合格样本图像进行标注；
S3：根据合格样本图像，通过RPN网络和SVM分类器进行处理，使其生成零部件的合格检测模型；
S4：使用拍摄设备拍摄待检测零件的各个方位的图像，作为待检测图像样本；
S5：将采集到的待检测零件的图像样本导入计算机，并与合格检测模型进行比对，如果匹配值达到规定数值即可判断出待检测零件是合格品，如果匹配值达不到规定数值即可判断出待检测零件是不合格品。
具体的，所述S1中的拍摄设备为工业高清CCD相机。
具体的，所述S2中的对合格样本图像进行标注的具体步骤为，首先对每张合格样本图像中所需检测的部位进行图像截取，得到合格零部件的图像块，然后根据截取得到的图像块，获取每个图像块的坐标信息并对合格样本图像中的图像块进行标注，得到标注的图像块。
具体的，所述S3的具体步骤为，首先对合格样本图像进行RPN卷积网络操作处理，得到最后一层的特征图；再根据合格样本图像的尺寸种类和图像块的尺寸种类，通过卷积核得到预测的图像块；然后将各预测的图像块中与样本图像中标注的图像块进行重叠比率计算；然后选取重叠比率大于0.9的预测图像块作为SVM训练的样本，训练完成后，即可制得零部件的合格检测模型。
具体的，所述S5中将待检测零部件的图像加载到合格检测模型中，通过GPU并行处理的方式，可以得到待检测零部件的检测数据，从而可以让人较为方便快捷的判断出待检测零部件是否为合格品。
综上所述，该基于迁移学习和知识图谱的工业视觉检测方法，首先通过采集各种合格零部件的各个方位的图像，作为合格样本，从而可以制作成合格零部件的检测模型样品，然后采集待检测零部件的各个方位的图像进行比对，即可判断出待检测零部件是否为合格品，所以这种检测方式较为方便快捷，效率更高，且检测的准确率也较高。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于迁移学习和知识图谱的工业视觉检测方法，其特征在于：包括以下步骤：
S1：使用拍摄设备拍摄各种合格零件的各个方位的图像，作为合格样本；
S2：将采集到的合格样本图像导入计算机，并对合格样本图像进行标注；
S3：根据合格样本图像，通过RPN网络和SVM分类器进行处理，使其生成零部件的合格检测模型；
S4：使用拍摄设备拍摄待检测零件的各个方位的图像，作为待检测图像样本；
S5：将采集到的待检测零件的图像样本导入计算机，并与合格检测模型进行比对，如果匹配值达到规定数值即可判断出待检测零件是合格品，如果匹配值达不到规定数值即可判断出待检测零件是不合格品。
2.根据权利要求1所述的一种基于迁移学习和知识图谱的工业视觉检测方法，其特征在于：所述S1中的拍摄设备为工业高清CCD相机。
3.根据权利要求1所述的一种基于迁移学习和知识图谱的工业视觉检测方法，其特征在于：所述S2中的对合格样本图像进行标注的具体步骤为，首先对每张合格样本图像中所需检测的部位进行图像截取，得到合格零部件的图像块，然后根据截取得到的图像块，获取每个图像块的坐标信息并对合格样本图像中的图像块进行标注，得到标注的图像块。
4.根据权利要求1所述的一种基于迁移学习和知识图谱的工业视觉检测方法，其特征在于：所述S3的具体步骤为，首先对合格样本图像进行RPN卷积网络操作处理，得到最后一层的特征图；再根据合格样本图像的尺寸种类和图像块的尺寸种类，通过卷积核得到预测的图像块；然后将各预测的图像块中与样本图像中标注的图像块进行重叠比率计算；然后选取重叠比率大于0.9的预测图像块作为SVM训练的样本，训练完成后，即可制得零部件的合格检测模型。
5.根据权利要求1所述的一种基于迁移学习和知识图谱的工业视觉检测方法，其特征在于：所述S5中将待检测零部件的图像加载到合格检测模型中，通过GPU并行处理的方式，可以得到待检测零部件的检测数据，从而可以让人较为方便快捷的判断出待检测零部件是否为合格品。
CN202011166655.8A 2020-10-27 2020-10-27 一种基于迁移学习和知识图谱的工业视觉检测方法 Pending CN112258485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011166655.8A CN112258485A (zh) 2020-10-27 2020-10-27 一种基于迁移学习和知识图谱的工业视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011166655.8A CN112258485A (zh) 2020-10-27 2020-10-27 一种基于迁移学习和知识图谱的工业视觉检测方法

Publications (1)

Publication Number Publication Date
CN112258485A true CN112258485A (zh) 2021-01-22

Family

ID=74262521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011166655.8A Pending CN112258485A (zh) 2020-10-27 2020-10-27 一种基于迁移学习和知识图谱的工业视觉检测方法

Country Status (1)

Country Link
CN (1) CN112258485A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN108305242A (zh) * 2017-09-29 2018-07-20 佛山缔乐视觉科技有限公司 一种用于工业生产线的智能视觉检测方法、系统及装置
CN111429418A (zh) * 2020-03-19 2020-07-17 天津理工大学 一种基于YOLO v3神经网络的工业零件检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN108305242A (zh) * 2017-09-29 2018-07-20 佛山缔乐视觉科技有限公司 一种用于工业生产线的智能视觉检测方法、系统及装置
CN111429418A (zh) * 2020-03-19 2020-07-17 天津理工大学 一种基于YOLO v3神经网络的工业零件检测方法

Similar Documents

Publication Publication Date Title
CN112581463B (zh) 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN109544533B (zh) 一种基于深度学习的金属板缺陷检测和度量方法
Yuan-Fu A deep learning model for identification of defect patterns in semiconductor wafer map
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
US20180144216A1 (en) Classification method, classification module and computer program product using the same
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN116188475A (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
JP2013077127A (ja) 画像分類装置および画像分類方法
CN115631178A (zh) 自动晶圆缺陷检测方法、系统、设备及存储介质
WO2023029491A1 (zh) 面板阵列短路检测方法、装置、电子设备及存储介质
CN111879972A (zh) 基于ssd网络模型的工件表面缺陷检测方法及系统
CN115937101A (zh) 质量检测方法、装置、设备及存储介质
CN111311545A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN111311546A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN108765391A (zh) 一种基于深度学习的平板玻璃异物影像分析方法
CN112258485A (zh) 一种基于迁移学习和知识图谱的工业视觉检测方法
CN114359300B (zh) 一种图像分割模型的优化方法、装置、系统及存储介质
CN115546108A (zh) 基于边云协同和ar的汽车轮胎外观质量智能检测方法
CN115937195A (zh) 表面缺陷检测方法、装置和计算机设备
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN113327243B (zh) 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication