CN109035232A - 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 - Google Patents
一种基于深度学习和机器视觉融合的夹片缺陷检测方法 Download PDFInfo
- Publication number
- CN109035232A CN109035232A CN201810815171.8A CN201810815171A CN109035232A CN 109035232 A CN109035232 A CN 109035232A CN 201810815171 A CN201810815171 A CN 201810815171A CN 109035232 A CN109035232 A CN 109035232A
- Authority
- CN
- China
- Prior art keywords
- intermediate plate
- machine vision
- deep learning
- image
- defect inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和机器视觉融合的夹片缺陷检测方法，涉及自动检测技术领域，所解决的问题是为了克服基于机器视觉的夹片质量检测方法中因人工提取特征而造成的检测准确率不高的问题，包括如下步骤：（1）夹片工件图像采集；（2）基于深度学习的方法对夹片进行牙型缺陷检测；（3）基于机器视觉的方法进行夹片尺寸缺陷检测；（4）最后统计得到夹片缺陷检测结果。本发明技术方案实现简单，能有效地提高夹片缺陷检测准确率。
Description
技术领域
本发明涉及自动检测技术领域，具体涉及一种基于深度学习和机器视觉融合的夹片缺陷检测方法。
背景技术
随着预应力锚具技术的发展，锚具夹片(简称夹片)在预应力锚具工程中所占比例越来越大，被广泛应用于各种桥梁道路建筑施工中,其质量的好坏直接影响预应力构筑物的安全，如果存在质量缺陷的工件若流入市场，严重时可能导致建筑发生安全事故,极大地破坏了社会安全和人民财产,同样给生产企业带来极大的经济损失和责任风险。
因此,对夹片质量缺陷的检测是非常重要的环节，目前生产线上多采用人工检测，效率低、成本高。鉴于人工检测的不足，目前基于机器的视觉检测方法已经出现，公开号为CN107490583A名称为“一种基于机器视觉的夹片缺陷检测方法”的中国发明专利公开了一种夹片缺陷检测方法，该方法能基于机器视觉对夹片质量缺陷进行检测，有效地解决了人工检测速度慢、效率低、成本高的问题，但该方法还是依靠人工提取特征，因此检测准确率有待进一步提高。
发明内容
针对现有技术的不足，本发明所解决的问题是为了克服基于机器视觉的夹片质量检测方法中因人工提取特征而造成的检测准确率不高的问题。
为解决上述技术问题，本发明采用的技术方案是一种基于深度学习和机器视觉融合的夹片缺陷检测方法，包括如下步骤：
(1)夹片工件图像采集；
(2)基于深度学习的方法对夹片进行牙型缺陷检测；
(3)基于机器视觉的方法进行夹片尺寸缺陷检测；
(4)最后统计得到夹片缺陷检测结果。
步骤(1)中，通过红色的碗灯进行照明,采用维视图像MV-VD130工业数字相机进行拍照采集，图像分辨率为1280*1024。
步骤(2)中，具体步骤如下：
1)建立夹片牙型缺陷数据集，其中包括了平牙、烂牙、重牙、光板缺陷样品图以及合格样品图，每一张夹片样品图都有类别标签；
2)设计卷积神经网络模型；
3)训练卷积神经网络模型；
4)实时调用训练好的模型进行牙型缺陷检测。
步骤2)中，所述设计卷积神经网络模型是基于ResNet18基础网络，其中损失层采用中心损失加权融合分类损失的结构；激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度；中心损失center loss表示如下：
其中，LC表示中心损失函数，xi表示第i张图片的特征值，表示类yi的类中心，m表示卷积神经网络超参数mini-batch的大小；
在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新：
其中，表示LC对xi的梯度，Δcj表示的更新量，如果满足更新条件，δ＝1。
步骤(3)中，具体步骤如下：
1)图像预处理，对采集到的RGB图像进行灰度化、滤波和图像均衡化；
2)图像二值化，基于大津算法即OSTU算法进行二值化，夹片工件图像有效的被分割为前景和背景：
式中，F(x,y)为二值化后的工件图像，T为大津法即OSTU法计算得到的分割阈值；
3)尺寸测量，基于图像边界像素差异定位到测量边界，进行夹片的尺寸测量；
4)相机标定，利用像素尺寸标定法把测量到的夹片的像素尺寸转换为毫米尺寸。
步骤(3)中所述的夹片尺寸缺陷包括料长、料短、锯偏及锯斜四类缺陷。
本发明的技术方案实现简单，通过卷积神经网络对夹片牙型缺陷样本进行学习，训练出的卷积神经网络模型可以实现对夹片牙型缺陷的高识别准确率；通过传统的机器视觉算法对夹片尺寸进行测量，可以实现高精度的夹片尺寸测量。单一的卷积神经网络模型和机器视觉算法只能解决单一的问题，不能同时提高牙型缺陷检测准确率和尺寸缺陷检测准确率。本发明充分结合了两者的优点，针对不同类型的缺陷采用不同的检测方法，有效地提高了检测准确率。
附图说明
图1为本发明流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
图1示出了一种基于深度学习和机器视觉融合的夹片缺陷检测方法，包括如下步骤：
(1)夹片工件图像采集；
(2)基于深度学习的方法对夹片进行牙型缺陷检测；
(3)基于机器视觉的方法进行夹片尺寸缺陷检测；
(4)最后统计得到夹片缺陷检测结果。
步骤(1)中，通过红色的碗灯进行照明,采用维视图像MV-VD130工业数字相机进行拍照采集，图像分辨率为1280*1024。
步骤(2)中，具体步骤如下：
1)建立夹片牙型缺陷数据集，其中包括了平牙、烂牙、重牙、光板缺陷样品图以及合格样品图，每一张夹片样品图都有类别标签；
2)设计卷积神经网络模型；
3)训练卷积神经网络模型；
4)实时调用训练好的模型进行牙型缺陷检测。
步骤2)中，所述设计卷积神经网络模型是基于ResNet18基础网络，其中损失层采用中心损失加权融合分类损失的结构；激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度；中心损失center loss表示如下：
其中，LC表示中心损失函数，xi表示第i张图片的特征值，表示类yi的类中心，m表示卷积神经网络超参数mini-batch的大小；
在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新：
其中，表示LC对xi的梯度，Δcj表示的更新量，如果满足更新条件，δ＝1。
步骤(3)中，具体步骤如下：
1)图像预处理，对采集到的RGB图像进行灰度化、滤波和图像均衡化；
2)图像二值化，基于大津算法即OSTU算法进行二值化，夹片工件图像有效的被分割为前景和背景：
式中，F(x,y)为二值化后的工件图像，T为大津法即OSTU法计算得到的分割阈值；
3)尺寸测量，基于图像边界像素差异定位到测量边界，进行夹片的尺寸测量；
4)相机标定，利用像素尺寸标定法把测量到的夹片的像素尺寸转换为毫米尺寸。
步骤(3)中所述的夹片尺寸缺陷包括料长、料短、锯偏及锯斜四类缺陷。
本发明的技术方案实现简单，通过卷积神经网络对夹片牙型缺陷样本进行学习，训练出的卷积神经网络模型可以实现对夹片牙型缺陷的高识别准确率；通过传统的机器视觉算法对夹片尺寸进行测量，可以实现高精度的夹片尺寸测量。单一的卷积神经网络模型和机器视觉算法只能解决单一的问题，不能同时提高牙型缺陷检测准确率和尺寸缺陷检测准确率。本发明充分结合了两者的优点，针对不同类型的缺陷采用不同的检测方法，有效地提高了检测准确率。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。
Claims (6)
1.一种基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：包括如下步骤：
(1)夹片工件图像采集；
(2)基于深度学习的方法对夹片进行牙型缺陷检测；
(3)基于机器视觉的方法进行夹片尺寸缺陷检测；
(4)最后统计得到夹片缺陷检测结果。
2.如权利要求1所述的基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：步骤(1)中，通过红色的碗灯进行照明,采用维视图像MV-VD130工业数字相机进行拍照采集，图像分辨率为1280*1024。
3.如权利要求1所述的基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：步骤(2)中，具体步骤如下：
1)建立夹片牙型缺陷数据集，其中包括了平牙、烂牙、重牙、光板缺陷样品图以及合格样品图，每一张夹片样品图都有类别标签；
2)设计卷积神经网络模型；
3)训练卷积神经网络模型；
4)实时调用训练好的模型进行牙型缺陷检测。
4.如权利要求3所述的基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：步骤2)中，所述设计卷积神经网络模型是基于ResNet18基础网络，其中损失层采用中心损失加权融合分类损失的结构；激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度；中心损失center loss表示如下：
其中，LC表示中心损失函数，xi表示第i张图片的特征值，表示类yi的类中心，m表示卷积神经网络超参数mini-batch的大小；
在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新：
其中，表示LC对xi的梯度，表示的更新量，如果满足更新条件，δ＝1。
5.如权利要求1所述的基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：步骤(3)中，具体步骤如下：
1)图像预处理，对采集到的RGB图像进行灰度化、滤波和图像均衡化；
2)图像二值化，基于大津算法即OSTU算法进行二值化，夹片工件图像有效的被分割为前景和背景：
式中，F(x,y)为二值化后的工件图像，T为大津法即OSTU法计算得到的分割阈值；
3)尺寸测量，基于图像边界像素差异定位到测量边界，进行夹片的尺寸测量；
4)相机标定，利用像素尺寸标定法把测量到的夹片的像素尺寸转换为毫米尺寸。
6.如权利要求1至5任一项所述的基于深度学习和机器视觉融合的夹片缺陷检测方法，其特征在于：步骤(3)中，所述的夹片尺寸缺陷包括料长、料短、锯偏及锯斜四类缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810815171.8A CN109035232A (zh) | 2018-07-24 | 2018-07-24 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810815171.8A CN109035232A (zh) | 2018-07-24 | 2018-07-24 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109035232A true CN109035232A (zh) | 2018-12-18 |
Family
ID=64644364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810815171.8A Pending CN109035232A (zh) | 2018-07-24 | 2018-07-24 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035232A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840891A (zh) * | 2019-01-07 | 2019-06-04 | 重庆工程学院 | 一种智能夹片式锚具及预应力监测方法及检测系统、终端 |
| CN109934811A (zh) * | 2019-03-08 | 2019-06-25 | 中国科学院光电技术研究所 | 一种基于深度学习的光学元件表面缺陷检测方法 |
| CN110322443A (zh) * | 2019-07-12 | 2019-10-11 | 四川虹美智能科技有限公司 | 一种智能家电的质量检测方法及装置 |
| CN110443791A (zh) * | 2019-08-02 | 2019-11-12 | 西安工程大学 | 一种基于深度学习网络的工件检测方法及其检测装置 |
| CN111340149A (zh) * | 2020-05-22 | 2020-06-26 | 浙江浙能天然气运行有限公司 | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 |
| CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
| CN111524107A (zh) * | 2020-04-15 | 2020-08-11 | Oppo（重庆）智能科技有限公司 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
| CN113538417A (zh) * | 2021-08-24 | 2021-10-22 | 安徽顺鼎阿泰克科技有限公司 | 基于多角度和目标检测的透明容器缺陷检测方法及装置 |
| CN113610831A (zh) * | 2021-08-19 | 2021-11-05 | 江西应用技术职业学院 | 基于计算机图像技术和迁移学习的木材缺陷检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1696721A (zh) * | 2004-05-10 | 2005-11-16 | 安捷伦科技有限公司 | 组合多个独立信息源用于被测器件的分类 |
| CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
| CN106570853A (zh) * | 2015-10-08 | 2017-04-19 | 上海深邃智能科技有限公司 | 一种形状与颜色融合的绝缘子识别与缺陷检测方法 |
| CN107490583A (zh) * | 2017-09-12 | 2017-12-19 | 桂林电子科技大学 | 一种基于机器视觉的夹片缺陷检测方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
-
2018
- 2018-07-24 CN CN201810815171.8A patent/CN109035232A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1696721A (zh) * | 2004-05-10 | 2005-11-16 | 安捷伦科技有限公司 | 组合多个独立信息源用于被测器件的分类 |
| CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
| CN106570853A (zh) * | 2015-10-08 | 2017-04-19 | 上海深邃智能科技有限公司 | 一种形状与颜色融合的绝缘子识别与缺陷检测方法 |
| CN107490583A (zh) * | 2017-09-12 | 2017-12-19 | 桂林电子科技大学 | 一种基于机器视觉的夹片缺陷检测方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张延安 等: ""基于深度卷积神经网络与中心损失的人脸识别"", 《科学技术与工程》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840891A (zh) * | 2019-01-07 | 2019-06-04 | 重庆工程学院 | 一种智能夹片式锚具及预应力监测方法及检测系统、终端 |
| CN109934811A (zh) * | 2019-03-08 | 2019-06-25 | 中国科学院光电技术研究所 | 一种基于深度学习的光学元件表面缺陷检测方法 |
| CN110322443A (zh) * | 2019-07-12 | 2019-10-11 | 四川虹美智能科技有限公司 | 一种智能家电的质量检测方法及装置 |
| CN110443791A (zh) * | 2019-08-02 | 2019-11-12 | 西安工程大学 | 一种基于深度学习网络的工件检测方法及其检测装置 |
| CN110443791B (zh) * | 2019-08-02 | 2023-04-07 | 西安工程大学 | 一种基于深度学习网络的工件检测方法及其检测装置 |
| CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
| CN111524107A (zh) * | 2020-04-15 | 2020-08-11 | Oppo（重庆）智能科技有限公司 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
| CN111524107B (zh) * | 2020-04-15 | 2023-02-28 | Oppo（重庆）智能科技有限公司 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
| CN111340149A (zh) * | 2020-05-22 | 2020-06-26 | 浙江浙能天然气运行有限公司 | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 |
| CN113610831A (zh) * | 2021-08-19 | 2021-11-05 | 江西应用技术职业学院 | 基于计算机图像技术和迁移学习的木材缺陷检测方法 |
| CN113610831B (zh) * | 2021-08-19 | 2022-03-11 | 江西应用技术职业学院 | 基于计算机图像技术和迁移学习的木材缺陷检测方法 |
| CN113538417A (zh) * | 2021-08-24 | 2021-10-22 | 安徽顺鼎阿泰克科技有限公司 | 基于多角度和目标检测的透明容器缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035232A (zh) | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 | |
| AU2020101011A4 (en) | Method for identifying concrete cracks based on yolov3 deep learning model | |
| CN110264466B (zh) | 一种基于深度卷积神经网络的钢筋检测方法 | |
| CN106290388B (zh) | 一种绝缘子故障自动检测方法 | |
| CN110648364B (zh) | 一种多维度空间固废视觉检测定位及识别方法与系统 | |
| CN111368702B (zh) | 基于YOLOv3网络的复合绝缘子憎水性等级识别方法 | |
| CN113610778B (zh) | 一种基于语义分割的桥梁表面裂纹检测方法与系统 | |
| KR20190066789A (ko) | 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템 | |
| CN108571928A (zh) | 一种基于机器视觉的夹片锚具尺寸缺陷检测方法 | |
| CN111598175B (zh) | 一种基于在线难例挖掘方式的检测器训练优化方法 | |
| CN111523540A (zh) | 基于深度学习的金属表面缺陷检测方法 | |
| CN111724358A (zh) | 基于图像和卷积神经网络的混凝土质量检测方法及系统 | |
| CN112964712A (zh) | 一种快速检测沥青路面状态的方法 | |
| CN114694144B (zh) | 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 | |
| CN114639064B (zh) | 一种水位识别方法及装置 | |
| Sarkar et al. | Revolutionizing concrete analysis: An in-depth survey of AI-powered insights with image-centric approaches on comprehensive quality control, advanced crack detection and concrete property exploration | |
| CN112183640B (zh) | 一种基于不规则物体的检测和分类方法 | |
| CN116206148A (zh) | 一种装修废弃物智能检测识别分类方法 | |
| CN111504232B (zh) | 一种混凝土裂缝数字化检测方法 | |
| CN112686105B (zh) | 一种基于视频图像多特征融合的雾浓度等级识别方法 | |
| CN114648659A (zh) | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 | |
| CN114092485A (zh) | 一种基于mask rcnn的堆叠粗骨料图像分割方法及系统 | |
| Liang et al. | Research on Surface Defect Detection Algorithm of Tube-Type Bottle Based on Machine Vision | |
| CN112270663A (zh) | 基于蜂巢网络环境的沥青路面过筛修复系统 | |
| CN111931651B (zh) | 一种视觉检测图像处理系统及其处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |