CN109255794B - 一种标准件深度全卷积特征边缘检测方法 - Google Patents

一种标准件深度全卷积特征边缘检测方法 Download PDF

Info

Publication number
CN109255794B
CN109255794B CN201811030286.2A CN201811030286A CN109255794B CN 109255794 B CN109255794 B CN 109255794B CN 201811030286 A CN201811030286 A CN 201811030286A CN 109255794 B CN109255794 B CN 109255794B
Authority
CN
China
Prior art keywords
edge
standard part
edges
edge detection
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811030286.2A
Other languages
English (en)
Other versions
CN109255794A (zh
Inventor
刘桂雄
黄坚
王心铠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811030286.2A priority Critical patent/CN109255794B/zh
Publication of CN109255794A publication Critical patent/CN109255794A/zh
Application granted granted Critical
Publication of CN109255794B publication Critical patent/CN109255794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种标准件深度全卷积特征边缘检测方法，包括：训练全卷积特征神经网络，作为初始边缘检测模型
Figure DDA0001789553820000011
采集标准件图像I1,I2,I3…In…IN，其中n∈[1,N],n∈Z，并通过初始边缘检测模型
Figure DDA0001789553820000012
分别提取标准件图像，得到标准件边缘图
Figure DDA0001789553820000013
对比标准件图像In与标准件边缘图
Figure DDA0001789553820000014
标注标准件边缘图
Figure DDA0001789553820000015
上的关键边缘
Figure DDA0001789553820000016
非关键边缘
Figure DDA0001789553820000017
与错误边缘
Figure DDA0001789553820000018
并将关键边缘
Figure DDA0001789553820000019
作为正样本，非关键边缘
Figure DDA00017895538200000110
与错误边缘
Figure DDA00017895538200000111
作为负样本，得到专家辅助标注标准件边缘图
Figure DDA00017895538200000112
对初始边缘检测模型进行强化学习，得到新的边缘检测模型
Figure DDA00017895538200000113
使用边缘检测模型
Figure DDA00017895538200000114
提取标准件图像边缘，得到标准件边缘图
Figure DDA00017895538200000115
并判断是否准确提取到关键边缘
Figure DDA00017895538200000116
且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以
Figure DDA00017895538200000117
为最终边缘检测模型MEdge进行应用。

Description

一种标准件深度全卷积特征边缘检测方法
技术领域
本发明涉及深度学习边缘检测方法，尤其涉及一种标准件全卷积特征边缘检测方法。
背景技术
装配指按规定的技术要求，将零件或部件进行配合连接，使之成为半成品或成品的工艺过程。装配是产品制造工艺的重要工序，装配的好坏，对产品的质量起决定性作用。提取装配标准件的边缘是定量评价装配质量的关键步骤，深度学习在图像模式识别、分类与检测中取得了巨大的成功，若应用深度学习技术到标准件的边缘检测上，将可提升边缘检测方法的认知能力，实现人工智能深度学习到标准件图像上的关键边缘，智能地将无用边缘剔除，只保留图像上标准件的有效边缘。
发明CN107871133A公开一种边缘检测网络的优化方法、路面病害的识别方法及系统。边缘检测网络用于识别指定路面病害。该优化方法包括：将每张样本路面图片分割成多个第一网格，并根据第一网格是否具有指定路面病害，得到每张样本路面图片对应的第一矩阵；将每张样本路面图片输入边缘检测网络进行指定路面病害识别，并输出每张样本路面图片对应的第二矩阵；根据每张样本路面图片对应的第一矩阵的向量和第二矩阵的向量，计算得到每张样本路面图片的损失函数；优化边缘检测网络的网络参数，直到网络参数优化后的边缘检测网络输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小。该发明提出了由2个矩阵组合而成的损失函数，优化了路面病害识别网络的训练过程，而本发明则由数据源开始，修改用于训练的结果图，从而优化训练结果。
发明CN107610140A提出了一种基于深度融合修正网络的精细边缘检测方法、装置，该方法包括：步骤S1，通过卷积神经网络的前向传播部分网络，获取输入图像的多尺度特征；步骤S2，通过卷积神经网络的反向修正部分网络，采取逐渐增大特征分辨率的方法获取和输入图像具有相同分辨率的最终图像特征；步骤S3，将最终图像特征的特征通道降维为单通道，通过拟合函数生成边缘检测结果。旨在解决图像中边缘定位不够准确、检测的边缘不够精细的问题，其核心思想为将结果图像超分辨率重建重而实现传统意义上亚像素级的边缘检测；而本发明则是旨在应用人工智能来分别关键边缘，核心思想是通过专家标准边缘图中的边缘的重要程度，目的、手段、最终效果均不相同。
发明CN108053413A、CN107993241A基于改进型遗传算法、粒子群算法找到从全局并发求解灰度阈值，明显提高检测精度和抗噪声能力。采用传统特征进行检测，计算量小，但需要由人工设计图像特征提取算法，而采用深度学习、人工智能的方法，则可以自动地学习到图像中边缘的特征，而不再需要人为去设计具体特征提取算法，与本发明相比各有优劣。
发明内容
为解决上述技术问题，本发明的目的是提供一种标准件深度全卷积特征边缘检测方法，包括训练全卷积特征边缘检测模型、采集标准件图像并提取边缘、专家辅助标注标准件图像边缘、标准件图像关键边缘强化学习，本发明的目的通过以下的技术方案来实现：
一种标准件深度全卷积特征边缘检测方法，包括：
A训练全卷积特征神经网络，作为初始边缘检测模型
Figure BDA0001789553800000021
B采集标准件图像I1,I2,I3…In…IN(n∈[1,N],n∈Z)，并通过初始边缘检测模型
Figure BDA0001789553800000022
分别提取标准件图像，得到标准件边缘图
Figure BDA0001789553800000023
C对比标准件图像In与标准件边缘图
Figure BDA0001789553800000024
标注标准件边缘图
Figure BDA0001789553800000025
上的关键边缘
Figure BDA0001789553800000026
非关键边缘
Figure BDA0001789553800000027
与错误边缘
Figure BDA0001789553800000028
并将关键边缘
Figure BDA0001789553800000029
作为正样本，非关键边缘
Figure BDA00017895538000000210
与错误边缘
Figure BDA00017895538000000211
作为负样本，得到专家辅助标注标准件边缘图
Figure BDA00017895538000000212
D对初始边缘检测模型进行强化学习，得到新的边缘检测模型
Figure BDA00017895538000000213
E使用边缘检测模型
Figure BDA00017895538000000214
提取标准件图像边缘，得到标准件边缘图
Figure BDA0001789553800000031
并判断是否准确提取到关键边缘
Figure BDA0001789553800000032
且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以
Figure BDA0001789553800000033
为最终边缘检测模型MEdge进行应用。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
本方法由专家指定关键边缘、非关键边缘与错误边缘后，学习到标准件图像上的关键边缘，应用人工智能将无用边缘剔除，寻找出图像上标准件的有效边缘，提升边缘检测方法的认知能力。
附图说明
图1是一种标准件深度全卷积特征边缘检测方法流程图；
图2a、图3a、图4a、图5a分别是各种机箱使用预训练RCF-CNN模型输出的标准件边缘图；
图2b、图3b、图4b、图5b分别是各种机箱的专家辅助标注标准件边缘图；
图2c、图3c、图4c、图5c分别是经强化学习后得到的新边缘检测模型输出的标准件边缘图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为一种标准件深度全卷积特征边缘检测方法流程，包括训练全卷积特征边缘检测模型、采集标准件图像并提取边缘、专家辅助标注标准件图像边缘、标准件图像关键边缘强化学习。具体包括以下步骤：
步骤1训练全卷积特征神经网络，作为初始边缘检测模型
Figure BDA0001789553800000034
步骤2采集标准件图像I1,I2,I3…In…IN(n∈[1,N],n∈Z)，并通过初始边缘检测模型
Figure BDA0001789553800000035
分别提取标准件图像，得到标准件边缘图
Figure BDA0001789553800000036
步骤3对比标准件图像In与标准件边缘图
Figure BDA0001789553800000037
标注标准件边缘图
Figure BDA0001789553800000038
上的关键边缘
Figure BDA0001789553800000041
非关键边缘
Figure BDA0001789553800000042
与错误边缘
Figure BDA0001789553800000043
并将关键边缘
Figure BDA0001789553800000044
作为正样本，非关键边缘
Figure BDA0001789553800000045
与错误边缘
Figure BDA0001789553800000046
作为负样本，得到专家辅助标注标准件边缘图
Figure BDA0001789553800000047
步骤4对初始边缘检测模型进行强化学习，得到新的边缘检测模型
Figure BDA0001789553800000048
步骤5使用边缘检测模型
Figure BDA0001789553800000049
提取标准件图像边缘，得到标准件边缘图
Figure BDA00017895538000000410
并判断是否准确提取到关键边缘
Figure BDA00017895538000000411
且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以
Figure BDA00017895538000000412
为最终边缘检测模型MEdge进行应用。
上述步骤1基于全卷积特征RCF技术，在卷积神经网络CNN架构下，从数据集中训练出全卷积特征卷积神经网络RCF-CNN，作为初始边缘检测模型
Figure BDA00017895538000000413
也可以直接使用预训练RCF-CNN作为初始边缘检测模型
Figure BDA00017895538000000414
上述步骤2中，构建机器视觉装置，采集了四种机箱图像I1,I2,I3,I4(即N＝4)，并应用初始边缘检测模型
Figure BDA00017895538000000415
分别提取标准件图像，得到标准件边缘图
Figure BDA00017895538000000416
(分别为图2a、图3a、图4a、图5a)；
上述步骤3具体包括：
对比标准件图像In与标准件边缘图
Figure BDA00017895538000000417
首先将错误提取到的边缘标注为错误边缘
Figure BDA00017895538000000418
余下边缘则为正确边缘
Figure BDA00017895538000000419
再将正确边缘
Figure BDA00017895538000000420
中在后续机器视觉处理中起到作用的边缘标注为关键边缘
Figure BDA00017895538000000421
无作用的边缘标注为非关键边缘
Figure BDA00017895538000000422
所述关键边缘
Figure BDA00017895538000000423
非关键边缘
Figure BDA00017895538000000424
错误边缘
Figure BDA00017895538000000425
满足以下条件：
Figure BDA00017895538000000426
之后将所有关键边缘
Figure BDA00017895538000000427
作为正样本，所有非关键边缘
Figure BDA00017895538000000428
错误边缘
Figure BDA00017895538000000429
作为负样本，得到专家辅助标注标准件边缘图
Figure BDA00017895538000000430
Figure BDA0001789553800000051
依次类推，可以得到对应于标准件边缘图
Figure BDA0001789553800000052
的专家辅助标注标准件边缘图
Figure BDA0001789553800000053
(分别为图2b、图3b、图4b、图5b)；
上述步骤4中对初始边缘检测模型进行强化学习具体包括：
对边缘检测模型
Figure BDA0001789553800000054
进行强化学习，对边缘检测模型
Figure BDA0001789553800000055
进行强化学习，其中强化学习的输入为标准件图像I1,I2,I3…In…IN，输出为专家辅助标注标准件边缘图
Figure BDA0001789553800000056
经强化学习后得到新的边缘检测模型
Figure BDA0001789553800000057
本实施例强化学习的输入为标准件图像I1,I2,I3,I4，输出为专家辅助标注标准件边缘图
Figure BDA0001789553800000058
经强化学习后得到新的边缘检测模型
Figure BDA0001789553800000059
上述步骤E中，
Figure BDA00017895538000000510
提取标准件图像边缘，得到标准件边缘图
Figure BDA00017895538000000511
(分别为图2c、图3c、图4c、图5c)，由于各个边缘图像
Figure BDA00017895538000000512
均只保留了标准件边缘，不再提取到文字、指示灯这些非关键边缘，能满足检测需求，故以
Figure BDA00017895538000000513
为最终边缘检测模型MEdge，进行应用。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种标准件深度全卷积特征边缘检测方法，其特征在于，所述方法包括：
A训练全卷积特征神经网络，作为初始边缘检测模型
Figure FDA0002656008270000011
B采集标准件图像I1，I2，I3…In…IN，其中n∈[1，N]，n∈Z，并通过初始边缘检测模型
Figure FDA0002656008270000012
分别提取标准件图像，得到标准件边缘图
Figure FDA0002656008270000013
C对比标准件图像In与标准件边缘图
Figure FDA0002656008270000014
标注标准件边缘图
Figure FDA0002656008270000015
上的关键边缘
Figure FDA0002656008270000016
非关键边缘
Figure FDA0002656008270000017
与错误边缘
Figure FDA0002656008270000018
并将关键边缘
Figure FDA0002656008270000019
作为正样本，非关键边缘
Figure FDA00026560082700000110
与错误边缘
Figure FDA00026560082700000111
作为负样本，得到专家辅助标注标准件边缘图
Figure FDA00026560082700000112
D对初始边缘检测模型进行强化学习，得到新的边缘检测模型
Figure FDA00026560082700000113
E使用边缘检测模型
Figure FDA00026560082700000114
提取标准件图像边缘，得到标准件边缘图
Figure FDA00026560082700000115
并判断是否准确提取到关键边缘
Figure FDA00026560082700000116
且提取到的关键边缘是否能满足需求，未能满足需求，重新执行步骤C；满足检测需求，则以
Figure FDA00026560082700000117
为最终边缘检测模型MEdge进行应用
所述步骤D中对初始边缘检测模型进行强化学习具体包括：
对边缘检测模型
Figure FDA00026560082700000118
进行强化学习，其中强化学习的输入为标准件图像I1，I2，I3…In…IN，输出为专家辅助标注标准件边缘图
Figure FDA00026560082700000119
经强化学习后得到新的边缘检测模型
Figure FDA00026560082700000120
2.如权利要求1所述的标准件深度全卷积特征边缘检测方法，其特征在于，所述步骤A中直接使用预训练RCF-CNN作为初始边缘检测模型
Figure FDA00026560082700000121
3.如权利要求1所述的标准件深度全卷积特征边缘检测方法，其特征在于，所述步骤C具体包括：
对比标准件图像In与标准件边缘图
Figure FDA00026560082700000122
首先将错误提取到的边缘标注为错误边缘
Figure FDA0002656008270000021
余下边缘则为正确边缘
Figure FDA0002656008270000022
将正确边缘
Figure FDA0002656008270000023
中在后续机器视觉处理中起到作用的边缘标注为关键边缘
Figure FDA0002656008270000024
无作用的边缘标注为非关键边缘
Figure FDA0002656008270000025
所述关键边缘
Figure FDA0002656008270000026
非关键边缘
Figure FDA0002656008270000027
错误边缘
Figure FDA0002656008270000028
满足以下条件：
Figure FDA0002656008270000029
将所有关键边缘
Figure FDA00026560082700000210
作为正样本，所有非关键边缘
Figure FDA00026560082700000211
错误边缘
Figure FDA00026560082700000212
作为负样本，得到专家辅助标注标准件边缘图
Figure FDA00026560082700000213
Figure FDA00026560082700000214
CN201811030286.2A 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法 Active CN109255794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811030286.2A CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811030286.2A CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Publications (2)

Publication Number Publication Date
CN109255794A CN109255794A (zh) 2019-01-22
CN109255794B true CN109255794B (zh) 2020-11-13

Family

ID=65046960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811030286.2A Active CN109255794B (zh) 2018-09-05 2018-09-05 一种标准件深度全卷积特征边缘检测方法

Country Status (1)

Country Link
CN (1) CN109255794B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428413B (zh) * 2019-08-02 2021-09-28 中国科学院合肥物质科学研究院 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法
CN113132755B (zh) * 2019-12-31 2022-04-01 北京大学 可扩展人机协同图像编码方法及系统、解码器训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1387315A1 (en) * 2002-06-07 2004-02-04 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
CN108098853A (zh) * 2017-12-19 2018-06-01 上海荣南科技有限公司 Tpv产品自动冲切机及其冲切方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1387315A1 (en) * 2002-06-07 2004-02-04 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
CN108098853A (zh) * 2017-12-19 2018-06-01 上海荣南科技有限公司 Tpv产品自动冲切机及其冲切方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多角点结合的机箱标准件图像特征提取方法;黄坚等;《中国测试》;20170930;第43卷(第9期);第123-127页 *

Also Published As

Publication number Publication date
CN109255794A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN108898137B (zh) 一种基于深度神经网络的自然图像字符识别方法及系统
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN107016681B (zh) 基于全卷积网络的脑部mri肿瘤分割方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN117079139B (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及系统
CN114897738A (zh) 一种基于语义不一致性检测的图像盲修复方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN109255794B (zh) 一种标准件深度全卷积特征边缘检测方法
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN115131664A (zh) 一种混凝土细小裂缝识别方法
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN107729863B (zh) 人体指静脉识别方法
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN110472638A (zh) 一种目标检测方法、装置及设备、存储介质
CN116630610A (zh) 基于语义分割模型和条件随机场的roi区域提取方法
CN112801013B (zh) 一种基于关键点识别校验的人脸识别方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant