CN112541910B - 基于深度学习的端面间隙检测方法、装置、设备及介质 - Google Patents

基于深度学习的端面间隙检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN112541910B
CN112541910B CN202011537167.3A CN202011537167A CN112541910B CN 112541910 B CN112541910 B CN 112541910B CN 202011537167 A CN202011537167 A CN 202011537167A CN 112541910 B CN112541910 B CN 112541910B
Authority
CN
China
Prior art keywords
gap
edge
image
face
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011537167.3A
Other languages
English (en)
Other versions
CN112541910A (zh
Inventor
于长志
张连新
岳晓斌
刘延龙
李芳�
曹宇
孙鹏飞
付磊
肖虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Mechanical Manufacturing Technology of CAEP
Original Assignee
Institute of Mechanical Manufacturing Technology of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Mechanical Manufacturing Technology of CAEP filed Critical Institute of Mechanical Manufacturing Technology of CAEP
Priority to CN202011537167.3A priority Critical patent/CN112541910B/zh
Publication of CN112541910A publication Critical patent/CN112541910A/zh
Application granted granted Critical
Publication of CN112541910B publication Critical patent/CN112541910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的端面间隙检测方法及装置、设备及介质，该方法通过获取待识别间隙图像，并将待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；基于随机采样一致性算法对原始边缘分割线进行直线拟合，当拟合残差最小时，分别得到对应上下边缘的有效边缘分割线和下边缘有效边缘分割线；对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙，以适应复杂环境的端面间隙检测，提高端面间隙的检测精度。

Description

基于深度学习的端面间隙检测方法、装置、设备及介质
技术领域
本发明涉及端面间隙测量技术领域，具体涉及一种基于深度学习的端面间隙检测方法、装置、设备及介质。
背景技术
端面间隙是产品装配的重要参数，直接影响到产品的装配质量，甚至装配后产品的固有性能。在自动化装配过程中，端面间隙是否可以精确和快速的检测直接关系着产品装配效率的快慢。目前对端面间隙进行快速且精确的检测常借助边缘检测算法，通过机器视觉识别实现。但在小视场、小景深环境下，由于产品端面倒角、加工精度、光照、强反光和强噪声等复杂因素耦合引起了端面边缘模糊，应用传统的边缘检测算法对端面间隙进行检测时，端面边缘提取误差较大，严重降低了端面间隙的检测精度。
发明内容
本发明要解决的技术问题是在小视场、小景深环境下，应用传统边缘检测算法对端面间隙进行检测时，端面边缘提取误差较大，导致端面间隙的检测精度低，因此，本发明提供一种基于深度学习的端面间隙检测方法、装置、设备及介质，对复杂环境的端面间隙进行检测，以实现端面间隙的快速和高精度检测。
本发明通过下述技术方案实现：
一种基于深度学习的端面间隙检测方法，包括：
获取待识别间隙图像，并将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；
基于随机采样一致性算法对所述原始边缘分割线进行直线拟合，当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线；
对所述上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙。
进一步地，所述端面间隙识别模型包括全卷积网络识别模型和整体嵌套网络识别模型；
所述将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线，包括：
将所述待识别间隙图像划分为大小为m×n像素的待识别图像块，并将所述待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块；
将所述端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
进一步地，所述基于深度学习的端面间隙检测方法还包括：
获取待训练间隙图像，所述待训练间隙图像包括图像块和预定义间隙边缘线；
将所述待训练间隙图像划分为训练集和测试集；
将所述训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型；
将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型；
将所述测试集中的图像块输入到待测试全卷积网络模型中进行测试，当全部测试集完成测试后，得到学习后的全卷积网络识别模型；
将所述测试集中的预定义间隙边缘线输入到待测试整体嵌套网络模型中进行测试，当全部测试集完成测试后，得到学习后的整体嵌套网络识别模型。
进一步地，所述将所述训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型，包括：
将所述训练集中的图像块输入到原始全卷积网络模型中，并以图像块的互信息作为损失函数对所述原始全卷积网络模型中的权值和偏重进行学习，得到待测试全卷积网络模型；所述损失函数采用互信息来表示，即M(A,B)＝H(A)+H(B)-H(A,B)，其中，H(A)表示图像块A的信息熵，H(B)表示图像块B的信息熵，H(A,B)表示图像块A和图像块B的联合信息熵；H(A)或
Figure BDA0002853433970000031
hi表示图像块A或B中灰度值为i的像素点数量，N表示图像块A或B中的灰度级数，pi表示灰度i的概率，P(A,B)表示像素在图像块A和B中的联合概率。进一步地，所述将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型，包括：
将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中，并以到边缘线的夹角作为损失函数对所述原始整体嵌套网络模型中的权值和偏重进行学习，得到待测试整体嵌套网络模型；其中，所述夹角具体为：
Figure BDA0002853433970000032
其中k1表示图像块中预定义间隙边缘线的斜率，k2表示原始整体嵌套网络模型识别的间隙边缘直线的斜率。
进一步地，所述对所述上边缘有效边缘分割线和所述下边缘有效边缘分割线进行距离计算，得到端面间隙，包括：
通过距离计算公式对所述上边缘有效边缘分割线和所述下边缘有效边缘分割线进行距离计算，得到端面间隙；其中，所述距离计算公式具体为：d＝|mean(li(y))-mean(lj(y))|，li表示上边缘的有效边缘分割线，lj表示下边缘的有效边缘分割线。
一种基于深度学习的端面间隙检测装置，包括：
待识别间隙图像识别模块，用于获取待识别间隙图像，并将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；
分割线拟合模块，用于基于随机采样一致性算法对所述原始边缘分割线进行直线拟合，当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线；
端面间隙计算模块，用于对所述上边缘有效边缘分割线和所述下边缘有效边缘分割线进行距离计算，得到端面间隙。
进一步地，所述待识别间隙图像识别模块包括：
端面特征图像块识别单元，用于将所述待识别间隙图像划分为大小为m×n像素的待识别图像块，并将所述待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块；
原始边缘分割线识别单元，用于将所述端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于深度学习的端面间隙检测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度学习的端面间隙检测方法。
本发明提供的一种基于深度学习的端面间隙检测方法、装置、设备及介质，通过获取待识别间隙图像，并将待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；基于随机采样一致性算法对原始边缘分割线进行直线拟合，当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线；对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙，以适应复杂环境的端面间隙检测，提高端面间隙的检测精度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种基于深度学习的端面间隙检测方法的流程图。
图2为图1中步骤S10的一具体流程图。
图3为本发明一种基于深度学习的端面间隙检测方法的另一流程图。
图4为本发明一种基于深度学习的端面间隙检测装置的原理框图。
图5是本发明计算机设备的一示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本发明提供一种基于深度学习的端面间隙检测方法，具体包括如下步骤：
S10：获取待识别间隙图像，并将待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线。
其中，待识别间隙图像指需要识别间隙图像。端面间隙识别模型指用于对待识别间隙图像进行识别的模型，该模型是通过本实施例的步骤S101-步骤S106的训练步骤得到的。原始边缘分割线指通过端面间隙识别模型对待识别间隙图像进行初步识别的得到的端面的间隙边缘线。
S20：基于随机采样一致性算法对原始边缘分割线进行直线拟合当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线。
具体地，根据步骤S10识别得到的原始边缘分割线往往包含多个，为降低噪声，本实施例采用随机采样一致性算法分别对各端面的原始边缘线进行直线拟合，得到各端面的边缘线，即上边缘有效边缘分割线和下边缘有效边缘分割线，以提高边缘直线拟合的鲁棒性，从而得到正确度更高的端面的间隙边缘线。
S30：对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙。
进一步地，通过距离计算公式对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙。其中，距离计算公式具体为：d＝|mean(li(y))-mean(lj(y))|，li表示上边缘的有效边缘分割线，lj表示下边缘的有效边缘分割线。。
进一步地，本实施例中的端面间隙识别模型包括全卷积网络识别模型和整体嵌套网络识别模型。如图2所示，步骤S10，将待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线，具体包括如下步骤：
S11：将待识别间隙图像划分为大小为m×n像素的待识别图像块，并将待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块。
其中，待识别图像块指将待识别间隙图像按照大小为m×n像素进行图像块划分后得到图像。端面特征指在空间上表现为带有倒角或圆角的平面，在两个端面对接时，图像中出现端面间的狭窄间隙。端面特征图像块指携带有端面间隙的图像上的局部区域。
S12：将端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
进一步地，如图3所示，基于深度学习的端面间隙检测方法还包括端面间隙识别模型的具体训练步骤：
S101：获取待训练间隙图像，待训练间隙图像包括图像块和预定义间隙边缘线。
其中，待训练间隙图像指用于进行模型训练的间隙图像。预定义间隙边缘线指预先手工标记的图像块中的边缘直线。
具体地，在若干次测量中，对获取的端面间隙图像，人工提取可分辨端面边缘的图像块，并分别手工标记图像块的边缘直线，作为后续模型训练的数据基础。
S102：将待训练间隙图像划分为训练集和测试集。
具体地，在得到待训练间隙图像后，可按照一定的比例(如7：3)将待训练间隙图像划分为训练集和测试集，该比例可根据实际情况具体确定，在此不作限定。
S103：将训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型。
其中，原始全卷积网络模型指没有经过上述待训练间隙图像中的图像块训练过的全卷积网络模型。待测试全卷积网络模型指原始全卷积网络模型通过训练集训练得到的模型。
具体地，将训练集中的图像块输入到原始全卷积网络模型中，并以图像块的相似度作为损失函数对原始全卷积网络模型中的权值和偏重进行学习，得到待测试全卷积网络模型。其中，损失函数采用互信息来表示，即M(A,B)＝H(A)+H(B)-H(A,B)，其中，H(A)表示图像块A的信息熵，H(B)表示图像块B的信息熵，H(A,B)表示图像块A和图像块B的联合信息熵；H(A)或
Figure BDA0002853433970000081
hi表示图像块A或B中灰度值为i的像素点数量，N表示图像块A或B中的灰度级数，pi表示灰度i的概率，P(A,B)表示像素在图像块A和B中的联合概率。S104：将训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型。
其中，原始整体嵌套网络模型指没有经过上述待训练间隙图像中的预定义间隙边缘线训练过的整体嵌套网络模型。待测试整体嵌套网络模型指原始整体嵌套网络模型通过训练集训练得到的模型。
具体地，将训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中，并以到边缘线的夹角作为损失函数对原始整体嵌套网络模型中的权值和偏重进行学习，得到待测试整体嵌套网络模型。其中，上述夹角具体为：
Figure BDA0002853433970000082
k1表示图像块中预定义间隙边缘线的斜率，k2表示原始整体嵌套网络模型识别的间隙边缘直线的斜率。
S105：将测试集中的图像块输入到待测试全卷积网络模型中进行测试，当全部测试集完成测试后，得到学习后的全卷积网络识别模型。
具体地，在得到训练后的待测试全卷积网络模型后，为了验证训练的待测试全卷积网络模型是否满足要求，则需要将测试集中的图像块输入到待测试全卷积网络模型中进行测试，当待测试全卷积网络模型的准确率达到要求，则将待测试全卷积网络模型作为全卷积网络识别模型；当待测试全卷积网络模型的准确率没有达到要求，则需要继续通过训练集中的图像块对待测试全卷积网络模型进行训练，直到其准确率满足要求位停止训练。
S106：将测试集中的预定义间隙边缘线输入到待测试整体嵌套网络模型中进行测试，当全部测试集完成测试后，得到学习后的整体嵌套网络识别模型。
具体地，在得到训练后的待测试整体嵌套网络模型后，为了验证训练的待测试整体嵌套网络模型是否满足要求，则需要将测试集中的预定义间隙边缘线输入到待测试整体嵌套网络模型中进行测试，当待测试整体嵌套网络模型的准确率达到要求，则将待测试整体嵌套网络模型作为整体嵌套网络识别模型；当待测试整体嵌套网络模型的准确率没有达到要求，则需要继续通过训练集中的图像块对待测试整体嵌套网络模型进行训练，直到其准确率满足要求位停止训练。
实施例2
如图4所示，本实施例与实施例1的区别在于，一种基于深度学习的端面间隙检测装置，包括：
待识别间隙图像识别模块10，用于获取待识别间隙图像，并将待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线。
分割线拟合模块20，用于基于随机采样一致性算法对原始边缘分割线进行直线拟合当拟合残差最小时，分别得到对应上下边缘的有效边缘分割线和下边缘有效边缘分割线。
端面间隙计算模块30，用于对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙。
进一步地，待识别间隙图像识别模块10包括端面特征图像块识别单元和原始边缘分割线识别单元。
端面特征图像块识别单元，用于将待识别间隙图像划分为大小为m×n像素的待识别图像块，并将待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块。
原始边缘分割线识别单元，用于将端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
进一步地，端面间隙计算模块30还用于通过距离计算公式对上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙。其中，距离计算公式具体为：d＝|mean(li(y))-mean(lj(y))|，li表示上边缘的有效边缘分割线，lj表示下边缘的有效边缘分割线。
进一步地，基于深度学习的端面间隙检测装置还包括：
待训练间隙图像获取单元，用于获取待训练间隙图像，待训练间隙图像包括图像块和预定义间隙边缘线。
待训练间隙图像划分单元，用于将待训练间隙图像划分为训练集和测试集。
全卷积网络模型训练单元，用于将训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型。
整体嵌套网络模型训练单元，用于将训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型。
全卷积网络模型测试单元，用于将测试集中的图像块输入到待测试全卷积网络模型中进行测试，当全部测试集完成测试后，得到学习后的全卷积网络识别模型。
整体嵌套网络模型测试单元，用于将测试集中的预定义间隙边缘线输入到待测试整体嵌套网络模型中进行测试，当全部测试集完成测试后，得到学习后的整体嵌套网络识别模型。
进一步地，全卷积网络模型训练单元，还用于将训练集中的图像块输入到原始全卷积网络模型中，并以图像块的互信息作为损失函数对原始全卷积网络模型中的权值和偏重进行学习，得到待测试全卷积网络模型；损失函数采用互信息来表示，即M(A,B)＝H(A)+H(B)-H(A,B)，其中H(A)表示图像块A的信息熵，H(B)表示图像块B的信息熵，H(A,B)表示图像块A和图像块B的联合信息熵；H(A)或
Figure BDA0002853433970000111
Figure BDA0002853433970000112
hi表示图像块A或B中灰度值为i的像素点数量，N表示图像块A或B中的灰度级数，pi表示灰度i的概率，P(A,B)表示像素在图像块A和B中的联合概率。
进一步地，整体嵌套网络模型训练单元，还用于将训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中，并以到边缘线的夹角作为损失函数对原始整体嵌套网络模型中的权值和偏重进行学习，得到待测试整体嵌套网络模型；其中，夹角具体为：
Figure BDA0002853433970000113
其中k1表示图像块中预定义间隙边缘线的斜率，k2表示原始整体嵌套网络模型识别的间隙边缘直线的斜率。
关于基于深度学习的端面间隙检测装置的具体限定可以参见上文中对于一种基于深度学习的端面间隙检测方法的限定，在此不再赘述。上述基于深度学习的端面间隙检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例3
本实施例提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机可读存储介质、内存储器。该计算机可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种基于深度学习的端面间隙检测方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的端面间隙检测方法。
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中一种基于深度学习的端面间隙检测方法的步骤，例如图1所示的步骤10至步骤S30，或者，图2至图3所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现上述实施例中一种基于深度学习的端面间隙检测装置的各模块/单元的功能，例如图4所示模块10至模块30的功能。为避免重复，这里不再赘述。
实施例4
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中一种基于深度学习的端面间隙检测方法的步骤，例如图1所示的步骤S10-S30，或者图2至图3所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现一种基于深度学习的端面间隙检测装置这一实施例中的各模块/单元的功能，例如图4所示的模块10至模块30的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的端面间隙检测方法，其特征在于，包括：
获取待识别间隙图像，并将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；
基于随机采样一致性算法对所述原始边缘分割线进行直线拟合，当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线；
对所述上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙；
所述端面间隙识别模型包括全卷积网络识别模型和整体嵌套网络识别模型；
所述将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线，包括：
将所述待识别间隙图像划分为大小为m×n像素的待识别图像块，并将所述待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块；
将所述端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
2.根据权利要求1所述的一种基于深度学习的端面间隙检测方法，其特征在于，所述基于深度学习的端面间隙检测方法还包括：
获取待训练间隙图像，所述待训练间隙图像包括图像块和预定义间隙边缘线；
将所述待训练间隙图像划分为训练集和测试集；
将所述训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型；
将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型；
将所述测试集中的图像块输入到待测试全卷积网络模型中进行测试，当全部测试集完成测试后，得到学习后的全卷积网络识别模型；
将所述测试集中的预定义间隙边缘线输入到待测试整体嵌套网络模型中进行测试，当全部测试集完成测试后，得到学习后的整体嵌套网络识别模型。
3.根据权利要求2所述的一种基于深度学习的端面间隙检测方法，其特征在于，所述将所述训练集中的图像块输入到原始全卷积网络模型中进行训练，得到待测试全卷积网络模型，包括：
将所述训练集中的图像块输入到原始全卷积网络模型中，并以图像块的互信息作为损失函数对所述原始全卷积网络模型中的权值和偏重进行学习，得到待测试全卷积网络模型；所述损失函数采用互信息来表示，即M(A,B)＝H(A)+H(B)-H(A,B)，其中，H(A)表示图像块A的信息熵，H(B)表示图像块B的信息熵，H(A,B)表示图像块A和图像块B的联合信息熵；H(A)或
Figure FDA0004150903690000021
hi表示图像块A或B中灰度值为i的像素点数量，N表示图像块A或B中的灰度级数，pi表示灰度i的概率，P(A,B)表示像素在图像块A和B中的联合概率。
4.根据权利要求2所述的一种基于深度学习的端面间隙检测方法，其特征在于，所述将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中进行训练，得到待测试整体嵌套网络模型，包括：
将所述训练集中的预定义间隙边缘线输入到原始整体嵌套网络模型中，并以到边缘线的夹角作为损失函数对所述原始整体嵌套网络模型中的权值和偏重进行学习，得到待测试整体嵌套网络模型；其中，所述夹角具体为：
Figure FDA0004150903690000031
其中，k1表示图像块中预定义间隙边缘线的斜率，k2表示原始整体嵌套网络模型识别的间隙边缘直线的斜率。
5.根据权利要求1所述的一种基于深度学习的端面间隙检测方法，其特征在于，所述对所述上边缘有效边缘分割线和所述下边缘有效边缘分割线进行距离计算，得到端面间隙，包括：
通过距离计算公式对所述上边缘有效边缘分割线和所述下边缘有效边缘分割线进行距离计算，得到端面间隙；其中，所述距离计算公式具体为：d＝|mean(li(y))-mean(lj(y))|，li表示上边缘的有效边缘分割线，lj表示下边缘的有效边缘分割线。
6.一种基于深度学习的端面间隙检测装置，其特征在于，包括：
待识别间隙图像识别模块，用于获取待识别间隙图像，并将所述待识别间隙图像输入到端面间隙识别模型中进行识别，得到原始边缘分割线；
分割线拟合模块，用于基于随机采样一致性算法对所述原始边缘分割线进行直线拟合，当拟合残差最小时，得到上边缘有效边缘分割线和下边缘有效边缘分割线；
端面间隙计算模块，用于对所述上边缘有效边缘分割线和下边缘有效边缘分割线进行距离计算，得到端面间隙；
所述待识别间隙图像识别模块包括：
端面特征图像块识别单元，用于将所述待识别间隙图像划分为大小为m×n像素的待识别图像块，并将所述待识别图像块输入到全卷积网络识别模型中进行识别，得到端面特征图像块；
原始边缘分割线识别单元，用于将所述端面特征图像块输入到整体嵌套网络识别模型中进行识别，得到端面特征图像块对应的原始边缘分割线。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述一种基于深度学习的端面间隙检测方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于深度学习的端面间隙检测方法。
CN202011537167.3A 2020-12-23 2020-12-23 基于深度学习的端面间隙检测方法、装置、设备及介质 Active CN112541910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011537167.3A CN112541910B (zh) 2020-12-23 2020-12-23 基于深度学习的端面间隙检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011537167.3A CN112541910B (zh) 2020-12-23 2020-12-23 基于深度学习的端面间隙检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112541910A CN112541910A (zh) 2021-03-23
CN112541910B true CN112541910B (zh) 2023-07-11

Family

ID=75017631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011537167.3A Active CN112541910B (zh) 2020-12-23 2020-12-23 基于深度学习的端面间隙检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112541910B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303226A (zh) * 2008-06-25 2008-11-12 南昌航空大学 一种基于最大连通域的线路板线宽测量方法
CN106127778A (zh) * 2016-06-27 2016-11-16 安徽慧视金瞳科技有限公司 一种用于投影交互系统的直线检测方法
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN110927171A (zh) * 2019-12-09 2020-03-27 中国科学院沈阳自动化研究所 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN110991215A (zh) * 2019-07-17 2020-04-10 当家移动绿色互联网技术集团有限公司 车道线检测方法、装置、存储介质及电子设备
CN111488883A (zh) * 2020-04-14 2020-08-04 上海眼控科技股份有限公司 车架号识别方法、装置、计算机设备和存储介质
CN111914747A (zh) * 2020-07-31 2020-11-10 长江三峡通航管理局 船闸人字闸门门缝视频监测系统及方法
CN112070853A (zh) * 2019-06-10 2020-12-11 阿里巴巴集团控股有限公司 图像生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380454A1 (en) * 2019-06-03 2020-12-03 Zebra Technologies Corporation Method, System and Apparatus for Detecting Product Facings

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303226A (zh) * 2008-06-25 2008-11-12 南昌航空大学 一种基于最大连通域的线路板线宽测量方法
CN106127778A (zh) * 2016-06-27 2016-11-16 安徽慧视金瞳科技有限公司 一种用于投影交互系统的直线检测方法
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN112070853A (zh) * 2019-06-10 2020-12-11 阿里巴巴集团控股有限公司 图像生成方法及装置
CN110991215A (zh) * 2019-07-17 2020-04-10 当家移动绿色互联网技术集团有限公司 车道线检测方法、装置、存储介质及电子设备
CN110927171A (zh) * 2019-12-09 2020-03-27 中国科学院沈阳自动化研究所 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN111488883A (zh) * 2020-04-14 2020-08-04 上海眼控科技股份有限公司 车架号识别方法、装置、计算机设备和存储介质
CN111914747A (zh) * 2020-07-31 2020-11-10 长江三峡通航管理局 船闸人字闸门门缝视频监测系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adriano Garcia 等.A Convolutional Neural Network Feature Detection Approach to Autonomous Quadrotor Indoor Navigation.《2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》.2020,74-81. *
刘波 等.基于图像处理的便携式端面间隙测量系统设计.《传感器与微系统》.2011,第30卷(第10期),82-86，正文第3节，图3. *
王振兴.基于图像处理的精密测量技术研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2009,I140-273，正文2.3，5.2节. *
赵栓峰 等.基于卷积神经网络的盾尾间隙测量系统研究.《现代电子技术》.2020,第43卷(第23期),146-149. *

Also Published As

Publication number Publication date
CN112541910A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
US20200364849A1 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN111814740B (zh) 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN113326787B (zh) 指针仪表读数的自动识别方法、系统及设备
CN109272546B (zh) 一种鱼苗长度测量方法及系统
CN112489140A (zh) 姿态测量方法
CN114418976A (zh) 一种血管造影图像的分析方法和装置
CN111444911B (zh) 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN111783763A (zh) 基于卷积神经网络的文本定位框校正方法及其系统
CN116468680A (zh) 一种元器件反极缺陷检测方法、系统、设备及存储介质
CN117571721A (zh) 一种电路板焊盘表面缺陷检测方法、装置及存储介质
CN113393447B (zh) 基于深度学习的针尖正位度检测方法及系统
CN112541910B (zh) 基于深度学习的端面间隙检测方法、装置、设备及介质
CN115631199B (zh) pin针缺陷检测方法、装置、设备及存储介质
CN117058411A (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
CN116309418B (zh) 桥梁悬臂施工主梁变形的智能监测方法及装置
CN114092385A (zh) 基于机器视觉的工业机械故障检测方法及装置
CN114092542A (zh) 一种基于二维视觉的螺栓测量方法以及系统
CN114529803A (zh) 一种指针仪表识别增强检测方法
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN113920065A (zh) 用于工业现场的视觉检测系统成像质量评价方法
CN109215068B (zh) 图像放大率测量方法及装置
US11989908B2 (en) Visual positioning method, mobile machine using the same, and computer readable storage medium
CN118762019A (zh) 基于视觉检测的义齿胚料取料方法、装置和计算机设备
CN118447018B (zh) 模具表面曲线识别方法、装置、电子设备及存储介质
CN117876376B (zh) 高速率多功能连接器质量视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant