CN109255794A - 一种标准件深度全卷积特征边缘检测方法 - Google Patents

一种标准件深度全卷积特征边缘检测方法 Download PDF

Info

Publication number
CN109255794A
CN109255794A CN201811030286.2A CN201811030286A CN109255794A CN 109255794 A CN109255794 A CN 109255794A CN 201811030286 A CN201811030286 A CN 201811030286A CN 109255794 A CN109255794 A CN 109255794A
Authority
CN
China
Prior art keywords
edge
key
standard component
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811030286.2A
Other languages
English (en)
Other versions
CN109255794B (zh
Inventor
刘桂雄
黄坚
王心铠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811030286.2A priority Critical patent/CN109255794B/zh
Publication of CN109255794A publication Critical patent/CN109255794A/zh
Application granted granted Critical
Publication of CN109255794B publication Critical patent/CN109255794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种标准件深度全卷积特征边缘检测方法，包括：训练全卷积特征神经网络，作为初始边缘检测模型采集标准件图像I1,I2,I3…In…IN，其中n∈[1,N],n∈Z，并通过初始边缘检测模型分别提取标准件图像，得到标准件边缘图对比标准件图像In与标准件边缘图标注标准件边缘图上的关键边缘非关键边缘与错误边缘并将关键边缘作为正样本，非关键边缘与错误边缘作为负样本，得到专家辅助标注标准件边缘图对初始边缘检测模型进行强化学习，得到新的边缘检测模型使用边缘检测模型提取标准件图像边缘，得到标准件边缘图并判断是否准确提取到关键边缘且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以为最终边缘检测模型MEdge进行应用。

Description

一种标准件深度全卷积特征边缘检测方法
技术领域
本发明涉及深度学习边缘检测方法，尤其涉及一种标准件全卷积特征边缘检测方法。
背景技术
装配指按规定的技术要求，将零件或部件进行配合连接，使之成为半成品或成品的工艺过程。装配是产品制造工艺的重要工序，装配的好坏，对产品的质量起决定性作用。提取装配标准件的边缘是定量评价装配质量的关键步骤，深度学习在图像模式识别、分类与检测中取得了巨大的成功，若应用深度学习技术到标准件的边缘检测上，将可提升边缘检测方法的认知能力，实现人工智能深度学习到标准件图像上的关键边缘，智能地将无用边缘剔除，只保留图像上标准件的有效边缘。
发明CN107871133A公开一种边缘检测网络的优化方法、路面病害的识别方法及系统。边缘检测网络用于识别指定路面病害。该优化方法包括：将每张样本路面图片分割成多个第一网格，并根据第一网格是否具有指定路面病害，得到每张样本路面图片对应的第一矩阵；将每张样本路面图片输入边缘检测网络进行指定路面病害识别，并输出每张样本路面图片对应的第二矩阵；根据每张样本路面图片对应的第一矩阵的向量和第二矩阵的向量，计算得到每张样本路面图片的损失函数；优化边缘检测网络的网络参数，直到网络参数优化后的边缘检测网络输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小。该发明提出了由2个矩阵组合而成的损失函数，优化了路面病害识别网络的训练过程，而本发明则由数据源开始，修改用于训练的结果图，从而优化训练结果。
发明CN107610140A提出了一种基于深度融合修正网络的精细边缘检测方法、装置，该方法包括：步骤S1，通过卷积神经网络的前向传播部分网络，获取输入图像的多尺度特征；步骤S2，通过卷积神经网络的反向修正部分网络，采取逐渐增大特征分辨率的方法获取和输入图像具有相同分辨率的最终图像特征；步骤S3，将最终图像特征的特征通道降维为单通道，通过拟合函数生成边缘检测结果。旨在解决图像中边缘定位不够准确、检测的边缘不够精细的问题，其核心思想为将结果图像超分辨率重建重而实现传统意义上亚像素级的边缘检测；而本发明则是旨在应用人工智能来分别关键边缘，核心思想是通过专家标准边缘图中的边缘的重要程度，目的、手段、最终效果均不相同。
发明CN108053413A、CN107993241A基于改进型遗传算法、粒子群算法找到从全局并发求解灰度阈值，明显提高检测精度和抗噪声能力。采用传统特征进行检测，计算量小，但需要由人工设计图像特征提取算法，而采用深度学习、人工智能的方法，则可以自动地学习到图像中边缘的特征，而不再需要人为去设计具体特征提取算法，与本发明相比各有优劣。
发明内容
为解决上述技术问题，本发明的目的是提供一种标准件深度全卷积特征边缘检测方法，包括训练全卷积特征边缘检测模型、采集标准件图像并提取边缘、专家辅助标注标准件图像边缘、标准件图像关键边缘强化学习，本发明的目的通过以下的技术方案来实现：
一种标准件深度全卷积特征边缘检测方法，包括：
A训练全卷积特征神经网络，作为初始边缘检测模型
B采集标准件图像I1,I2,I3…In…IN(n∈[1,N],n∈Z)，并通过初始边缘检测模型分别提取标准件图像，得到标准件边缘图
C对比标准件图像In与标准件边缘图标注标准件边缘图上的关键边缘非关键边缘与错误边缘并将关键边缘作为正样本，非关键边缘与错误边缘作为负样本，得到专家辅助标注标准件边缘图
D对初始边缘检测模型进行强化学习，得到新的边缘检测模型
E使用边缘检测模型提取标准件图像边缘，得到标准件边缘图并判断是否准确提取到关键边缘且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以为最终边缘检测模型MEdge进行应用。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
本方法由专家指定关键边缘、非关键边缘与错误边缘后，学习到标准件图像上的关键边缘，应用人工智能将无用边缘剔除，寻找出图像上标准件的有效边缘，提升边缘检测方法的认知能力。
附图说明
图1是一种标准件深度全卷积特征边缘检测方法流程图；
图2a、图3a、图4a、图5a分别是各种机箱使用预训练RCF-CNN模型输出的标准件边缘图；
图2b、图3b、图4b、图5b分别是各种机箱的专家辅助标注标准件边缘图；
图2c、图3c、图4c、图5c分别是经强化学习后得到的新边缘检测模型输出的标准件边缘图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为一种标准件深度全卷积特征边缘检测方法流程，包括训练全卷积特征边缘检测模型、采集标准件图像并提取边缘、专家辅助标注标准件图像边缘、标准件图像关键边缘强化学习。具体包括以下步骤：
步骤1训练全卷积特征神经网络，作为初始边缘检测模型
步骤2采集标准件图像I1,I2,I3…In…IN(n∈[1,N],n∈Z)，并通过初始边缘检测模型分别提取标准件图像，得到标准件边缘图
步骤3对比标准件图像In与标准件边缘图标注标准件边缘图上的关键边缘非关键边缘与错误边缘并将关键边缘作为正样本，非关键边缘与错误边缘作为负样本，得到专家辅助标注标准件边缘图
步骤4对初始边缘检测模型进行强化学习，得到新的边缘检测模型
步骤5使用边缘检测模型提取标准件图像边缘，得到标准件边缘图并判断是否准确提取到关键边缘且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以为最终边缘检测模型MEdge进行应用。
上述步骤1基于全卷积特征RCF技术，在卷积神经网络CNN架构下，从数据集中训练出全卷积特征卷积神经网络RCF-CNN，作为初始边缘检测模型也可以直接使用预训练RCF-CNN作为初始边缘检测模型
上述步骤2中，构建机器视觉装置，采集了四种机箱图像I1,I2,I3,I4(即N＝4)，并应用初始边缘检测模型分别提取标准件图像，得到标准件边缘图(分别为图2a、图3a、图4a、图5a)；
上述步骤3具体包括：
对比标准件图像In与标准件边缘图首先将错误提取到的边缘标注为错误边缘余下边缘则为正确边缘
再将正确边缘中在后续机器视觉处理中起到作用的边缘标注为关键边缘无作用的边缘标注为非关键边缘
所述关键边缘非关键边缘错误边缘满足以下条件：
之后将所有关键边缘作为正样本，所有非关键边缘错误边缘作为负样本，得到专家辅助标注标准件边缘图
依次类推，可以得到对应于标准件边缘图的专家辅助标注标准件边缘图(分别为图2b、图3b、图4b、图5b)；
上述步骤4中对初始边缘检测模型进行强化学习具体包括：
对边缘检测模型进行强化学习，对边缘检测模型进行强化学习，其中强化学习的输入为标准件图像I1,I2,I3…In…IN，输出为专家辅助标注标准件边缘图经强化学习后得到新的边缘检测模型本实施例强化学习的输入为标准件图像I1,I2,I3,I4，输出为专家辅助标注标准件边缘图经强化学习后得到新的边缘检测模型
上述步骤E中，提取标准件图像边缘，得到标准件边缘图(分别为图2c、图3c、图4c、图5c)，由于各个边缘图像均只保留了标准件边缘，不再提取到文字、指示灯这些非关键边缘，能满足检测需求，故以为最终边缘检测模型MEdge，进行应用。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种标准件深度全卷积特征边缘检测方法，其特征在于，所述方法包括：
A训练全卷积特征神经网络，作为初始边缘检测模型
B采集标准件图像I1,I2,I3…In…IN，其中n∈[1,N],n∈Z，并通过初始边缘检测模型分别提取标准件图像，得到标准件边缘图
C对比标准件图像In与标准件边缘图标注标准件边缘图上的关键边缘非关键边缘与错误边缘并将关键边缘作为正样本，非关键边缘与错误边缘作为负样本，得到专家辅助标注标准件边缘图
D对初始边缘检测模型进行强化学习，得到新的边缘检测模型
E使用边缘检测模型提取标准件图像边缘，得到标准件边缘图并判断是否准确提取到关键边缘且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以为最终边缘检测模型MEdge进行应用。
2.如权利要求1所述的标准件深度全卷积特征边缘检测方法，其特征在于，所述步骤A中还可直接使用预训练RCF-CNN作为初始边缘检测模型
3.如权利要求1所述的标准件深度全卷积特征边缘检测方法，其特征在于，所述步骤C具体包括：
对比标准件图像In与标准件边缘图首先将错误提取到的边缘标注为错误边缘余下边缘则为正确边缘
将正确边缘中在后续机器视觉处理中起到作用的边缘标注为关键边缘无作用的边缘标注为非关键边缘
所述关键边缘非关键边缘错误边缘满足以下条件：
将所有关键边缘作为正样本，所有非关键边缘错误边缘作为负样本，得到专家辅助标注标准件边缘图
4.如权利要求1所述的标准件深度全卷积特征边缘检测方法，其特征在于，所述步骤D中对初始边缘检测模型进行强化学习具体包括：
对边缘检测模型进行强化学习，对边缘检测模型进行强化学习，其中强化学习的输入为标准件图像I1,I2,I3…In…IN，输出为专家辅助标注标准件边缘图经强化学习后得到新的边缘检测模型
CN201811030286.2A 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法 Active CN109255794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811030286.2A CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811030286.2A CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Publications (2)

Publication Number Publication Date
CN109255794A true CN109255794A (zh) 2019-01-22
CN109255794B CN109255794B (zh) 2020-11-13

Family

ID=65046960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811030286.2A Active CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Country Status (1)

Country Link
CN (1) CN109255794B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428413A (zh) * 2019-08-02 2019-11-08 中国科学院合肥物质科学研究院 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法
CN113132755A (zh) * 2019-12-31 2021-07-16 北京大学 一种可扩展人机协同图像编码方法及编码系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1387315A1 (en) * 2002-06-07 2004-02-04 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
CN108098853A (zh) * 2017-12-19 2018-06-01 上海荣南科技有限公司 Tpv产品自动冲切机及其冲切方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1387315A1 (en) * 2002-06-07 2004-02-04 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
CN108098853A (zh) * 2017-12-19 2018-06-01 上海荣南科技有限公司 Tpv产品自动冲切机及其冲切方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄坚等: "基于多角点结合的机箱标准件图像特征提取方法", 《中国测试》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428413A (zh) * 2019-08-02 2019-11-08 中国科学院合肥物质科学研究院 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法
CN110428413B (zh) * 2019-08-02 2021-09-28 中国科学院合肥物质科学研究院 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法
CN113132755A (zh) * 2019-12-31 2021-07-16 北京大学 一种可扩展人机协同图像编码方法及编码系统
CN113132755B (zh) * 2019-12-31 2022-04-01 北京大学 可扩展人机协同图像编码方法及系统、解码器训练方法

Also Published As

Publication number Publication date
CN109255794B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN107274386B (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN112750106B (zh) 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质
CN104299008B (zh) 基于多特征融合的车型分类方法
CN108446729A (zh) 基于卷积神经网络的鸡蛋胚胎分类方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN104156693B (zh) 一种基于多模态序列融合的动作识别方法
CN106096538A (zh) 基于定序神经网络模型的人脸识别方法及装置
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN107256558A (zh) 一种无监督式的宫颈细胞图像自动分割方法及系统
CN109871845B (zh) 证件图像提取方法及终端设备
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN110827260B (zh) 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN107895379A (zh) 一种视频监控中前景提取的改进算法
Chen et al. Facial expression recognition based on edge detection
CN116485785B (zh) 一种太阳能电池片的表面缺陷检测方法
CN105760858A (zh) 一种基于类Haar中间层滤波特征的行人检测方法及装置
CN114331869B (zh) 一种坝面裂缝语义分割方法
CN107516083A (zh) 一种面向识别的远距离人脸图像增强方法
CN111339932B (zh) 一种掌纹图像预处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant