CN110705563A - 一种基于深度学习的工业零件关键点检测方法 - Google Patents

一种基于深度学习的工业零件关键点检测方法 Download PDF

Info

Publication number
CN110705563A
CN110705563A CN201910844922.3A CN201910844922A CN110705563A CN 110705563 A CN110705563 A CN 110705563A CN 201910844922 A CN201910844922 A CN 201910844922A CN 110705563 A CN110705563 A CN 110705563A
Authority
CN
China
Prior art keywords
key point
sub
point detection
network
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910844922.3A
Other languages
English (en)
Other versions
CN110705563B (zh
Inventor
张发恩
刘洋
黄家水
唐永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Aolipuzhi Intelligent Industrial Technology Co ltd
Original Assignee
Innovation Qizhi (chongqing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (chongqing) Technology Co Ltd filed Critical Innovation Qizhi (chongqing) Technology Co Ltd
Priority to CN201910844922.3A priority Critical patent/CN110705563B/zh
Publication of CN110705563A publication Critical patent/CN110705563A/zh
Application granted granted Critical
Publication of CN110705563B publication Critical patent/CN110705563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了工业视觉领域的一种基于深度学习的工业零件关键点检测方法，具体包括以下步骤：S1：训练关键点检测深度神经网络：构建由三条子网络组成的关键点检测深度神经网络，每条所述子网络包含若干个3*3，步长为1到2的卷积核，每条子网络之间采用多尺寸特征图融合技术进行特征融合；S2：将待检测的图像输出到训练关键点检测深度神经网络，利用训练得到的关键点检测深度神经网络检测到关键点，再利用关键点对工业零件进行匹配校准，应用于轴承工件关键点检测的卷积神经网络结构，该网络结构包含一种新颖的特征图融合技术和目标损失函数，可有效提高关键点检测准确率。

Description

一种基于深度学习的工业零件关键点检测方法
技术领域
本发明涉及工业视觉技术领域，具体为一种基于深度学习的工业零件关键点检测方法。
背景技术
针对目前基于传统图像的关键点匹配技术中，对于图像处理技术，往往需要关键点匹配技术来找到两张图片的仿射变换关系。首先通常通过像素灰度值，利用角点检测算法检测关键点；然后利用局部描述子，如SIFT，ORB等，对每一个关键点进行描述。这样就形成了，关键点和描述子，一一配对的关系。寻找仿射关系时，首先在当前图片上检测关键点及其描述子，然后通过描述子，找到两张图中关键点最接近的点，形成点对，通过大量点对就能找到两张图之间的仿射变换关系。
但是存在缺陷：传统方法受图像质量制约很大，不同的阴影，变形，旋转都会对关键点的检测和描述子产生较大影响，也就意味着传统方法很容易形成错误匹配，对图片变换和环境变换很敏感，稳定性和鲁棒性不够。
基于此，本发明设计了一种基于深度学习的工业零件关键点检测方法，应用于轴承工件关键点检测的卷积神经网络结构，该网络结构包含一种新颖的特征图融合技术和目标损失函数，可有效提高关键点检测准确率，以解决上述提到的问题。
发明内容
本发明的目的在于提供一种基于深度学习的工业零件关键点检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的工业零件关键点检测方法，具体包括以下步骤：
S1：训练关键点检测深度神经网络：构建由三条子网络组成的关键点检测深度神经网络，每条子网络之间采用多尺寸特征图融合技术进行特征融合，
S1.1：第一条子网络的输入是原分辨率的图像，经过通过九个卷积层，形成第一路特征输出图1；
S1.2：第二条子网络的输入是第一条子网络第二层卷积层的输出，然后经过七个卷积层，形成第二路特征输出图2；
S1.3：第三条子网络的输入是第一条子网络第六个卷积层的输出和第二条子网络第四个卷积层融合的结果，再经过三个卷积层得到第三路特征输出图3；
S1.4：三条子网络将分别与每条子网络之间的多尺寸特征图融合技术进行特征图的融合；
S1.5：最后输出三层特征输出图的融合结果；
S1.6：构建热力图的回归损失函数进行匹配校准，
S2：将待检测的图像输出到训练关键点检测深度神经网络，利用训练得到的关键点检测深度神经网络检测到关键点，再利用关键点对工业零件进行匹配校准，
优选的，每条所述子网络包含若干个3*3，步长为1到2的卷积核。
优选的，所述多尺寸特征图融合技术包括：对于不同尺寸的特征图融合，从小分辨率往大分辨率融合时，先通过1*1的卷积核，再利用邻域采样的方式进行上采样，在形成统一尺寸的特征图后，进行特征融合；从大往小分辨率融合时，先通过3*3的卷积核，在利用最大值采样，对目标特征图进行下采样，形成统一尺寸特征图后，进行特征融合。
优选的，所述热力图的回归损失函数中，损失函数是以高斯分布为基础，形成热力图，对热力图进行回归，一个通道担负回归一个关键点的任务，最终的损失函数是所有输出通道上，预测热力图和真实热力图，所有位置的均方误差之和。
优选的，所述所有位置的均方误差之和公式为：
Figure BDA0002194914420000031
与现有技术相比，本发明的有益效果是：
1、利用深度神经网络进行特征提取，能更好的应对光照，变形，旋转等带来的影响，同时除了图像的显式的特征外，深度神经网络能隐式的学到更深层的特征，能提高整体算法的鲁棒性；
2、利用多尺度的特征图融合，能使网络充分考虑到局部和全局信息，在较大尺寸时，提取关键点的局部特征，在较小尺寸时，提取关键点的全局特征，通过融合，使得网络得输出特征表达能力更强。同时，多尺度得融合方法，1*1得卷积，也能在一定程度上引入注意力机制，加强网络对任务得针对性；
3、热力图的回归损失函数降低了回归难度的同时，增大了网络的泛化能力，在实际应用中有更好的表现。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明训练关键点检测深度神经网络流程图；
图2为本发明工作流程图；
图3为本发明一个关键点的热力图；
图4为本发明实施例中待检测工业零件图；
图5为本发明实施例中待检测工业零件的热力图；
图6为本发明实施例中待检测工业零件关键点图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于深度学习的工业零件关键点检测方法，具体包括以下步骤：
S1：训练关键点检测深度神经网络：构建由三条子网络组成的关键点检测深度神经网络，每条所述子网络包含若干个3*3，步长为1到2的卷积核，每条子网络之间采用多尺寸特征图融合技术进行特征融合，
S1.1：第一条子网络的输入是原分辨率的图像，经过通过九个卷积层，形成第一路特征输出图1；
S1.2：第二条子网络的输入是第一条子网络第二层卷积层的输出，然后经过七个卷积层，形成第二路特征输出图2；
S1.3：第三条子网络的输入是第一条子网络第六个卷积层的输出和第二条子网络第四个卷积层融合的结果，再经过三个卷积层得到第三路特征输出图3；
S1.4：三条子网络将分别与每条子网络之间的多尺寸特征图融合技术进行特征图的融合；
S1.5：最后输出三层特征输出图的融合结果；
S1.6：构建热力图的回归损失函数进行匹配校准，
S2：将待检测的图像输出到训练关键点检测深度神经网络，利用训练得到的关键点检测深度神经网络检测到关键点，再利用关键点对工业零件进行匹配校准，
其中，所述多尺寸特征图融合技术包括：对于不同尺寸的特征图融合，从小分辨率往大分辨率融合时，先通过1*1的卷积核，再利用邻域采样的方式进行上采样，在形成统一尺寸的特征图后，进行特征融合；从大往小分辨率融合时，先通过3*3的卷积核，在利用最大值采样，对目标特征图进行下采样，形成统一尺寸特征图后，进行特征融合。
其中，所述热力图的回归损失函数中，损失函数是以高斯分布为基础，形成热力图，对热力图进行回归，一个通道担负回归一个关键点的任务，最终的损失函数是所有输出通道上，预测热力图和真实热力图如图3所示，该图表现为整体工件热力图中，某点的值位于[0，1]所有位置的均方误差之和，公式为：
Figure BDA0002194914420000051
其中，网络的最后输出通道可由零件关键个数而定，假设有K个关键点，则最终输出特征图通道数为K，在给与关键点的标注热力图，同一点要在同一通道上生成热力图，最终输出则每一个通道将固定输出某一个特征点。
实施例：
先按照图1的顺序，训练出一个能检测关键点的网络，在得到关键点网络后，按照图2的顺序，利用之前训练得到的关键点检测网络中的多尺度特征图融合检测到关键点，再利用关键点对工业零件通过损失函数进行匹配校准，如图4、图5和图6所示，为应用于轴承工件关键点检测的零件图、热力图和关键点图。
利用深度神经网络进行特征提取，相比于传统特征提取的方法，能更好的应对光照，变形，旋转等带来的影响，同时除了图像的显式的特征外，深度神经网络能隐式的学到更深层的特征，能提高整体算法的鲁棒性。
利用多尺度的特征图融合，能使网络充分考虑到局部和全局信息，在较大尺寸时，提取关键点的局部特征，在较小尺寸时，提取关键点的全局特征，通过融合，使得网络得输出特征表达能力更强。同时，多尺度得融合方法，1*1得卷积，也能在一定程度上引入注意力机制，加强网络对任务得针对性。
传统的直接回归坐标得损失，增加了学习困难性，同时降低了网络得泛化能力。相对于传统回归坐标得方式，热力图回归降低了回归难度的同时，增大了网络的泛化能力，在实际应用中有更好的表现。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于深度学习的工业零件关键点检测方法，其特征在于：具体包括以下步骤：
S1：训练关键点检测深度神经网络：构建由三条子网络组成的关键点检测深度神经网络，每条子网络之间采用多尺寸特征图融合技术进行特征融合，
S1.1：第一条子网络的输入是原分辨率的图像，经过通过九个卷积层，形成第一路特征输出图1；
S1.2：第二条子网络的输入是第一条子网络第二层卷积层的输出，然后经过七个卷积层，形成第二路特征输出图2；
S1.3：第三条子网络的输入是第一条子网络第六个卷积层的输出和第二条子网络第四个卷积层融合的结果，再经过三个卷积层得到第三路特征输出图3；
S1.4：三条子网络将分别与每条子网络之间的多尺寸特征图融合技术进行特征图的融合；
S1.5：最后输出三层特征输出图的融合结果；
S1.6：构建热力图的回归损失函数进行匹配校准，
S2：将待检测的图像输出到训练关键点检测深度神经网络，利用训练得到的关键点检测深度神经网络检测到关键点，再利用关键点对工业零件进行匹配校准。
2.根据权利要求1所述的一种基于深度学习的工业零件关键点检测方法，其特征在于：每条所述子网络包含若干个3*3，步长为1到2的卷积核。
3.根据权利要求1所述的一种基于深度学习的工业零件关键点检测方法，其特征在于：所述多尺寸特征图融合技术包括：对于不同尺寸的特征图融合，从小分辨率往大分辨率融合时，先通过1*1的卷积核，再利用邻域采样的方式进行上采样，在形成统一尺寸的特征图后，进行特征融合；从大往小分辨率融合时，先通过3*3的卷积核，在利用最大值采样，对目标特征图进行下采样，形成统一尺寸特征图后，进行特征融合。
4.根据权利要求1所述的一种基于深度学习的工业零件关键点检测方法，其特征在于：所述热力图的回归损失函数中，损失函数是以高斯分布为基础，形成热力图，对热力图进行回归，一个通道担负回归一个关键点的任务，最终的损失函数是所有输出通道上，预测热力图和真实热力图，所有位置的均方误差之和。
5.根据权利要求4所述的一种基于深度学习的工业零件关键点检测方法，其特征在于：所述所有位置的均方误差之和公式为：
CN201910844922.3A 2019-09-07 2019-09-07 一种基于深度学习的工业零件关键点检测方法 Active CN110705563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844922.3A CN110705563B (zh) 2019-09-07 2019-09-07 一种基于深度学习的工业零件关键点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844922.3A CN110705563B (zh) 2019-09-07 2019-09-07 一种基于深度学习的工业零件关键点检测方法

Publications (2)

Publication Number Publication Date
CN110705563A true CN110705563A (zh) 2020-01-17
CN110705563B CN110705563B (zh) 2020-12-29

Family

ID=69194987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844922.3A Active CN110705563B (zh) 2019-09-07 2019-09-07 一种基于深度学习的工业零件关键点检测方法

Country Status (1)

Country Link
CN (1) CN110705563B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN112464952A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 一种图像对齐方法以及图像匹配识别方法
CN112818756A (zh) * 2021-01-13 2021-05-18 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN113468924A (zh) * 2020-03-31 2021-10-01 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN113706437A (zh) * 2020-05-21 2021-11-26 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
CN109299685A (zh) * 2018-09-14 2019-02-01 北京航空航天大学青岛研究院 用于人体关节3d坐标估计的推断网络及其方法
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109614876A (zh) * 2018-11-16 2019-04-12 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测系统、方法
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
US20190228267A1 (en) * 2018-01-23 2019-07-25 Insurance Services Office, Inc. Computer Vision Systems and Methods for Machine Learning Using Image Hallucinations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
US20190228267A1 (en) * 2018-01-23 2019-07-25 Insurance Services Office, Inc. Computer Vision Systems and Methods for Machine Learning Using Image Hallucinations
CN109299685A (zh) * 2018-09-14 2019-02-01 北京航空航天大学青岛研究院 用于人体关节3d坐标估计的推断网络及其方法
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109614876A (zh) * 2018-11-16 2019-04-12 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测系统、方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEJANDRO NEWELL.ET AL: ""Stacked Hourglass Networks for"", 《ARXIV:1603.06937V2》 *
叠加态的猫: ""CPN:Cascaded Pyramid Network for Multi-Person Pose Estimation"", 《HTTPS://WWW.CNBLOGS.COM/HELLCAT/P/10138036.HTML》 *
吴涛: ""基于级联堆积沙漏模型的人脸关键点检测"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111415384B (zh) * 2020-02-19 2022-11-25 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN113468924A (zh) * 2020-03-31 2021-10-01 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN113706437A (zh) * 2020-05-21 2021-11-26 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN113706437B (zh) * 2020-05-21 2024-03-15 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN112464952A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 一种图像对齐方法以及图像匹配识别方法
CN112818756A (zh) * 2021-01-13 2021-05-18 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110705563B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110705563B (zh) 一种基于深度学习的工业零件关键点检测方法
US11100402B2 (en) Image quality assessment using similar scenes as reference
CN108510530B (zh) 一种三维点云匹配方法及其系统
CN110992238B (zh) 一种基于双通道网络的数字图像篡改盲检测方法
CN108596867A (zh) 一种基于orb算法的图片校正方法及系统
Wang et al. A novel panoramic image stitching algorithm based on ORB
WO2017077938A1 (ja) 粗密探索方法および画像処理装置
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN112183578B (zh) 一种目标检测方法、介质及系统
CN114223019A (zh) 用于参数有效的语义图像分割的反馈解码器
CN103617625A (zh) 一种图像匹配方法及图像匹配装置
CN106845338B (zh) 视频流中行人检测方法与系统
CN113724135A (zh) 图像拼接方法、装置、设备及存储介质
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
Chen et al. An improved image mosaic based on Canny edge and an 18-dimensional descriptor
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN113327295A (zh) 一种基于级联全卷积神经网络的机器人快速抓取方法
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN110619365B (zh) 一种落水检测方法
CN112329916A (zh) 模型训练方法、装置、计算机设备及存储介质
CN113298755B (zh) 基于时序影像的生态环境变化斑块快速检测方法和装置
Zhang et al. Rethinking Early-Fusion Strategies for Improved Multispectral Object Detection
CN114862866A (zh) 标定板的检测方法、装置、计算机设备和存储介质
Yang et al. EPformer: an efficient transformer-based approach for retail product detection in fisheye images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221227

Address after: 266100 6D, Building 1, No. 169, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: Qingdao aolipuzhi Intelligent Industrial Technology Co.,Ltd.

Address before: 400039 Room 201, building 9, Chongqing Qidi Science Park, 69 Huoju Avenue, Jiulongpo District, Chongqing

Patentee before: AINNOVATION (CHONGQING) TECHNOLOGY Co.,Ltd.