CN112396602A - 基于帧间跨尺度相似性聚合的钢材涂层检测方法 - Google Patents

基于帧间跨尺度相似性聚合的钢材涂层检测方法 Download PDF

Info

Publication number
CN112396602A
CN112396602A CN202011461444.7A CN202011461444A CN112396602A CN 112396602 A CN112396602 A CN 112396602A CN 202011461444 A CN202011461444 A CN 202011461444A CN 112396602 A CN112396602 A CN 112396602A
Authority
CN
China
Prior art keywords
scale
classification
detected
steel bar
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011461444.7A
Other languages
English (en)
Inventor
章小华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Jiajin Network Technology Co ltd
Original Assignee
Zhongshan Jiajin Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Jiajin Network Technology Co ltd filed Critical Zhongshan Jiajin Network Technology Co ltd
Priority to CN202011461444.7A priority Critical patent/CN112396602A/zh
Publication of CN112396602A publication Critical patent/CN112396602A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于帧间跨尺度相似性聚合的钢材涂层检测方法，其特征在于，包括：获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；对所述多个卷积特征图进行不同尺度的下采样以获得多个不同尺度的下采样特征图；将所述多个不同尺度的下采样特征图通过具有对应尺度的多个卷积层以获得不同尺度的多个尺度特征图；将所述多个尺度特征图转换成相同尺度后进行聚类计算以获得第一分类特征向量；将所述多个卷积特征图进行聚类计算以获得第二分类特征向量；将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，以此来提高对钢材涂层质量检测的准确率。

Description

基于帧间跨尺度相似性聚合的钢材涂层检测方法
技术领域
本申请涉及人工智能领域，且更为具体地，涉及一种基于帧间跨尺度相似性聚合的钢材涂层检测方法、系统和电子设备。
背景技术
钢筋广泛用于各种建筑结构、特别是大型、重型和高层建筑结构，钢筋在长时间的使用时表面会产生大量的锈蚀，这种锈蚀会影响钢筋的强度，从而对建筑安全造成影响。因此，为了降低锈蚀的影响，通常在钢筋表面进行喷涂防锈材料的处理。
但是，由于钢筋本身的物理特性，例如钢筋在生产过程中并不需要保持表面平整，且钢筋的粗细可能存在多种规格，由于喷涂工艺的限制，并不能够绝对保证钢筋表面的防锈材料的喷涂效果，从而影响钢筋的防锈性能。
因此，期待一种能够准确且智能地对钢材涂层进行质量检测的方案。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习和神经网络的发展为钢材涂层的质量检测提供了新的解决思路和方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了基于帧间跨尺度相似性聚合的钢材涂层检测方法、系统和电子设备，其基于深度神经网络提取钢材的多帧图像的特征的帧间跨尺度自相似性，来作为钢材的涂层质量是否合格的判定依据，通过这样的方式以提高对钢材涂层的质量检测的准确率。
本申请的实施例提供了一种基于帧间跨尺度相似性聚合的钢材涂层检测方法，包括：
获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；
将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；
对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；
将所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；
将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量，所述分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像的跨尺度特征之间的相似性；
将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及
将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
在上述基于帧间跨尺度相似性聚合的钢材涂层检测方法中，在将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图中，所述卷积神经网络包括N层卷积层，N为大于等于4且小于等于5的正整数。
在上述基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图，包括：将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及，将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
在上述基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格，包括：将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；以及，将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
在上述基于帧间跨尺度相似性聚合的钢材涂层检测方法中，在获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像中，所述不同拍摄角度的数量大于等于2。
在上述基于帧间跨尺度相似性聚合的钢材涂层检测方法中，在训练过程中，基于所述帧间跨尺度分类特征向量输入Softmax分类函数后获得的概率值计算局部损失函数并基于所述局部损失函数值更新所述卷积神经网络和所述多层卷积层。
根据本申请的另一方面，提供了一种基于深度神经网络的钢材涂层质量检测系统，包括：
图像获取单元，用于获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；
卷积特征图生成单元，用于将所述图像获取单元获得的多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；
下采样特征图生成单元，用于对所述卷积特征图生成单元获得的所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；
尺度特征图生成单元，用于将所述下采样特征图生成单元获得的所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；
第一分类特征向量生成单元，用于将所述尺度特征图生成单元获得的所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量；
第二分类特征向量生成单元，用于将所述卷积特征图生成单元获得的所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及
分类结果生成单元，将所述第一分类特征向量生成单元获得的所述第一分类特征向量和所述第二分类特征向量生成单元获得的所述第二分类特征向量级联后通过分类器以获得分类结果。
在上述基于深度神经网络的钢材涂层质量检测系统中，所述卷积特征图生成单元，包括：灰度图像转化子单元，用于将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及，卷积处理子单元，用于将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
在上述基于深度神经网络的钢材涂层质量检测系统中，所述分类结果生成单元，包括：全连接处理子单元，用于将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；以及，分类结果计算子单元，用于将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法。
本申请的实施例提供了基于帧间跨尺度相似性聚合的钢材涂层检测方法、系统和电子设备，其基于深度神经网络提取钢材的多帧图像的特征的帧间跨尺度自相似性，来作为钢材的涂层质量是否合格的判定依据，通过这样的方式以提高对钢材涂层的质量检测的准确率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的应用场景图。
图2图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的流程图。
图3图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的系统架构的示意图。
图4图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图的流程图
图5图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格的流程图。
图6图示了根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统的框图。
图7图示了根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统中卷积特征图生成单元的框图。
图8图示了根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统中分类结果生成单元的框图。
图9图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，目前，为了降低锈蚀对钢筋强度的影响，通常会在钢筋表面进行喷涂防锈材料的处理，然而，由于钢筋本身的物理特性，防锈材料的喷涂效果会受限于钢筋的规格和喷涂工艺，无法确保钢筋表面防锈材料的喷涂效果，从而影响钢筋的防锈性能。
因此，期待一种能够准确且智能地对钢材涂层进行质量检测的方案。
目前，深度学习和神经网络的发展为钢筋涂层的质量检测提供了新的解决思路和方案。
更具体地，本申请发明人希望通过计算机视觉的方式来检测钢筋表面的防锈材料的喷涂效果。然而，考虑到钢筋本身在表面并不光滑，因此如果简单地通过钢筋表面的喷涂层的表面纹理特征来进行涂层是否合格的判定，将存在较大误差。而且，由于钢筋的截面通常为圆形或者圆角方形，在检测涂层质量时必须考虑到钢筋的整个外周面的图像特征，而不能仅以单个角度获得的图像作为依据。
针对上述问题，本申请的技术思路是基于深度神经网络提取钢材的多帧图像的特征的帧间跨尺度自相似性，来作为钢筋的涂层的质量的判定依据。这可以形象地理解为有经验的检测人员在观察钢筋表面涂层的质量时，不会拿着钢筋紧盯某一细节部分，而是浏览钢筋的整个外周面。并且，由于人眼能够捕捉到大尺度和小尺度的特征，当让钢筋在手里旋转一圈时，人眼实际上是通过各帧之间的大尺度和小尺度特征的相似性比较来做出判断。也就是，如果钢筋在各个角度的图像中的大尺度和小尺度特征的相似性高，说明整个钢筋的多个图像没有哪个部分带给人非常突兀的感觉，说明涂层质量合格。
因此，本申请的技术方案实质上是通过模仿人的观察的上述过程，来实现钢筋涂层的质量检测。在该方案中，首先获取钢筋以多个角度获得的多个图像，然后将这多个图像通过卷积神经网络以获得多个特征图，接下来，针对每个特征图，分别通过多次下采样获得不同尺度的多个特征图，再分别通过与每个特征图相同尺度的几个卷积层来从这些特征图中提取出对应于不同尺度的特征图，再将这些特征图转换为相同尺度后进行聚类，计算每个特征图到聚类中心的距离以获得用于表示跨尺度特征相似性的特征向量。并且，对于对应于不同帧的多个特征图，同样将这多个特征图进行聚类，计算每个特征图到聚类中心的距离以获得用于表示跨帧的特征相似性的特征向量。最后，将这两个特征向量级联并通过全连接层，再以分类函数进行分类，就可以获得钢筋涂层质量是否合格的检测结果，从而提高了质量检测的准确性。
基于此，本申请提供了一种基于帧间跨尺度相似性聚合的钢材涂层检测方法，其包括：获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量，所述分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像的跨尺度特征之间的相似性；将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
图1图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的应用场景图。
如图1所示，在该应用场景中，通过三个摄像头(例如，如图1中所示意的C)采集待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像。进一步地，将所述多帧待检测钢筋图像输入至部署有基于帧间跨尺度相似性聚合的钢材涂层检测算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够基于帧间跨尺度相似性聚合的钢材涂层检测算法对待检测钢筋图像进行处理，以输出待检测的钢筋的涂层质量是否合格的检测结果。
应理解地，为了获得钢筋整个外周面的图像，在获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像中，所述不同拍摄角度的数量应大于等于2。在本申请实施例中，布置了3个不同视角的摄像头对钢筋外表面的涂层进行拍摄，每个视角至少覆盖120度的整个外周面(即1/3的整个外周面)；也可选择2个不同视角的摄像头，其中每个视角至少应包括180度的整个外周面(即一半的外周面)；以此类推。
在上述实施中，选择用不同视角的多个摄像头对钢筋外表面涂层进行全覆盖拍摄以获得钢筋整个外周面图像，特别地，在具体实施中，可以只用一个摄像头，通过转换摄像头的视角对钢筋外表面涂层进行多个角度的拍摄；或者，也可以将摄像头固定，通过调整钢筋的角度进行拍摄，同样能够获取钢筋的整个外周面图像，对此，并不为本申请所局限。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的流程图。
如图2所示，根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的流程图，包括：S110，获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；S120，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；S130，对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；S140，将所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；S150，将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量，所述分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像的跨尺度特征之间的相似性；S160，将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及，S170，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
图3图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法的系统框架的示意图。如图3所示，在该网络架构中，首先，将获取的获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像(例如，如图3中所示意的IN)输入卷积神经网络(例如，如图3中所示意的CNN)以获得多个卷积特征图(例如，如图3中所示意的Fc)；接着，对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图(例如，如图3中所示意的Fds)；然后，将所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层(如图3中所示意的Cl)以获得对应不同尺度的多个尺度特征图(例如，如图3中所示意的Fs)；进一步地，将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量(例如，如图3中所示意的Vf1)；接着，将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量(例如，如图3中所示意的Vf2)，然后，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器(例如，如图3中所示意的全连接层Fcl和Softmax分类函数圈S的组合)以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
在步骤S110中，获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像。如前所述，由于钢筋本身的表面并不光滑，如果简单地通过钢筋表面的喷涂层的表面纹理特征来进行涂层是否合格的判定，将存在较大误差。而且，由于钢筋的截面通常为圆形或者圆角方形，在检测涂层质量时必须考虑到钢筋的整个外周面的图像特征，而不能仅以单个角度获得的图像作为依据。
因此，针对上述特点，在本申请实施例中，设置了三台不同视角的摄像头对钢筋涂层的外周面进行拍摄，且所述摄像头的每个视角至少覆盖120度的整个外周面(即1/3的整个外周面)，从而实现对钢筋外表面涂层进行全覆盖拍摄以获得钢筋整个外周面图像。
在具体实施中，在获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像中，所述不同拍摄角度的数量大于等于2，也就是说，摄像头的数量不仅仅被局限于3个，只需要所有摄像头的视角区域能够覆盖整个钢筋涂层即可；当然，也可只设置一个摄像头，通过改变摄像头的视角或是调整钢筋的角度以获取多帧待检测钢筋的图像，对此不再进行赘述。
在步骤S120中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。也就是，基于卷积神经网络对所述多帧待检测钢筋图像进行处理，以从所述多帧待检测钢筋图像中提取出各个待检测钢筋图像的空间特征。
特别地，在本申请实施例中，所述卷积神经网络包括N层卷积层，N为大于等于4且小于等于5的正整数。应理解地，通常卷积神经网络在图像特征的提取方面，其前三层通常提取到的为边缘、角落等形状特征，而接下来的几层卷积层提取到的就是图像的纹理特征，因此，在本申请的方案中，采用与深度卷积神经网络相同结构的四到五层的卷积层来对多帧待检测钢筋图像进行特征提取。
优选地，在本申请实施例中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图的过程，包括：首先将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像，这里，灰度图像更聚焦于图像的纹理特征。然后，将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
图4图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图的流程图。如图4所示，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图，包括：S210，将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及，S220，将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
在步骤S130中，对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图。本领域普通技术应知晓，下采样表示降低对应图像的像素点数量。也就是，对所述多个卷积特征图中每个特征图进行不同尺度的下采样表示对所述多个卷积特征图中每个特征图进行不同程度的像素缩减。
具体地，在本申请一个示例中，对所述多个卷积特征图进行下采样的过程包括，将所述多个卷积特征图中每个特征图均分为不同的图像块，例如，对其中一个特征图进行4*4的均分，对其中一个特征图进行3*3的均分，对其中一个特征图进行2*2的均分。这里，4*4、3*3和2*2即为不同尺度。应可以理解，当所述多个卷积特征图以不同尺度进行均分时，不同大小的图像块即具有不同尺度的所述下采样特征图。
在步骤S140中，将所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图。也就是，将多个不同大小的下采样特征图通过对应尺度的卷积层进行卷积处理，以生成对应不同尺寸的多个尺度特征图。
具体地，当所述下采样特征图的图像块较大时，应采用较大的卷积核来进行卷积处理，当所述下采样特征图的图像块较小时，应采用较小尺度的卷积核来进行卷积处理，这就是对应尺度的卷积层的意思。
如前所述，本申请通过模仿人眼捕捉钢筋涂层外周面的大尺度和小尺度的特征，并对各帧之间的大尺度和小尺度特征的相似性比较来做出钢材涂层是否合格的判断。基于卷积层的特性，可以理解对于大尺度的特征图，模仿的是人眼对于原始图像中的全局特征的观察，而对于小尺度的特征图，模仿的是人眼对于原始图像中的局部特征的观察。从而，对于对应于不同帧的多个尺度特征图，同样将所述多个尺度特征图进行聚类，再计算每个尺度特征图到聚类中心的距离以获得用于表示跨帧的特征相似性的特征向量。
在步骤S150中，将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量，所述分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像的跨尺度特征之间的相似性。也就是，将所述多个尺度特征图进行聚类，再计算每个尺度特征图到聚类中心的距离以获得用于表示跨帧的特征相似性的特征向量。
在步骤S160中，将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性。也就是，通过获取第二分类特征向量以表征各所述待检测钢筋图像之间的帧间特征的相似性。
在步骤S170中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
具体地，在本申请一个具体的示例中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格的过程，包括：首先将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；通过全连接层可以充分地利用所述第一分类特征向量和所述第二分类特征向量中各个位置的信息。然后，将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
图5图示了根据本申请实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格流程图。如图5所示，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格，包括：S310，将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；以及，S320，将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
综上，基于帧间跨尺度相似性聚合的钢材涂层检测方法被阐明，其通过模仿人眼观察钢筋表面涂层质量的过程，并通过钢筋的整个外周面的多帧图像的特征之间的帧间跨尺度自相似性，来作为钢筋的涂层质量优劣的判定依据，通过这样的方式以提高对钢材涂层的质量检测的准确率，进而有效地提高了钢筋的防锈性能。
值得一提的是，本申请的卷积神经网络的训练过程，包括：基于所述帧间跨尺度分类特征向量输入Softmax分类函数后获得的概率值计算局部损失函数并基于所述局部损失函数值更新所述卷积神经网络和所述多层卷积层。应可以理解，由于在每张待检测钢筋图像上均存在密集的关注点，因此在通过卷积神经网络获得所述分类特征图后，使用用于促进密集对象检测的局部损失函数值来对所述卷积神经网络和进行训练，从而使得训练后的网络能够适于从图像中的相对密集的对象有效地提取出想要的特征。
示例性系统
图6图示了根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统的框图示意图。
如图6所示，根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统600，包括：
图像获取单元610，用于获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；
卷积特征图生成单元620，用于将所述图像获取单元610获得的多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；
下采样特征图生成单元630，用于对所述卷积特征图生成单元620获得的所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；
尺度特征图生成单元640，用于将所述下采样特征图生成单元630获得的所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；
第一分类特征向量生成单元650，用于将所述尺度特征图生成单元640获得的所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量；
第二分类特征向量生成单元660，用于将所述卷积特征图生成单元620获得的所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及
分类结果生成单元670，将所述第一分类特征向量生成单元650获得的所述第一分类特征向量和所述第二分类特征向量生成单元660获得的所述第二分类特征向量级联后通过分类器以获得分类结果。
在一个示例中，在上述基于深度神经网络的钢材涂层质量检测系统600中，如图7所示，所述卷积特征图生成单元620，包括：灰度图像转化子单元621，用于将所述图像获取单元610获得的所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及，卷积处理子单元622，用于将所述灰度图像转化子单元621获得的所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
在一个示例中，在上述基于深度神经网络的钢材涂层质量检测系统600中，如图8所示，所述分类结果生成单元670，包括：全连接处理子单元671，用于将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；以及，分类结果计算子单元672，用于将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
这里，本领域技术人员可以理解，上述基于深度神经网络的钢材涂层质量检测系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的基于帧间跨尺度相似性聚合的钢材涂层检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统600可以实现在各种终端设备中，例如用于钢材涂层质量检测的服务器等。在一个示例中，根据本申请实施例的基于深度神经网络的钢材涂层质量检测系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于深度神经网络的钢材涂层质量检测系统600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于深度神经网络的钢材涂层质量检测系统600同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于深度神经网络的钢材涂层质量检测系统600与该终端设备也可以是分立的设备，并且该基于深度神经网络的钢材涂层质量检测系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图9来描述根据本申请实施例的电子设备。
图9图示了根据本申请实施例的电子设备的框图。
如图9所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测图像、分类结果等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括质量检测结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于帧间跨尺度相似性聚合的钢材涂层检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于帧间跨尺度相似性聚合的钢材涂层检测方法，其特征在于，包括：
获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；
将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；
对所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；
将所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；
将所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量，所述分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像的跨尺度特征之间的相似性；以及
将所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；
将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格。
2.根据权利要求1所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法，其中，在将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图中，其中，所述卷积神经网络包括N层卷积层，N为大于等于4且小于等于5的正整数。
3.根据权利要求2所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法，其中，将所述多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图，包括：
将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及
将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
4.根据权利要求1所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法，其中，将所述第一分类特征向量和所述第二分类特征向量级联后通过分类器以获得分类结果，所述分类结果表示所述钢筋的涂层质量是否合格，包括：
将所述第一分类特征向量和所述第二分类特征向量级联后通过全连接层以获得帧间跨尺度分类特征向量；以及
将所述帧间跨尺度分类特征向量输入Softmax分类函数以获得所述分类结果。
5.根据权利要求1所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法，在获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像中，所述不同拍摄角度的数量大于等于2。
6.根据权利要求3所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法，其中，在训练过程中，基于所述帧间跨尺度分类特征向量输入Softmax分类函数后获得的概率值计算局部损失函数并基于所述局部损失函数值更新所述卷积神经网络和所述多层卷积层。
7.一种基于深度神经网络的钢材涂层质量检测系统，其特征在于，包括：
图像获取单元，用于获取待检测钢筋在不同拍摄角度下的多帧待检测钢筋图像；
卷积特征图生成单元，用于将所述图像获取单元获得的多帧待检测钢筋图像通过卷积神经网络以获得多个卷积特征图；
下采样特征图生成单元，用于对所述卷积特征图生成单元获得的所述多个卷积特征图中每个特征图进行不同尺度的下采样以获得具有不同尺度的多个下采样特征图；
尺度特征图生成单元，用于将所述下采样特征图生成单元获得的所述多个下采样特征图中每个下采样特征图通过具有对应尺度的多个卷积层以获得对应不同尺度的多个尺度特征图；
第一分类特征向量生成单元，用于将所述尺度特征图生成单元获得的所述多个尺度特征图转换成相同尺度后进行聚类并计算每个所述尺度特征图到聚类中心的距离以获得第一分类特征向量；
第二分类特征向量生成单元，用于将所述卷积特征图生成单元获得的所述多个卷积特征图进行聚类并计算每个所述卷积特征图到聚类中心的距离以获得第二分类特征向量，所述第二分类特征向量用于表示所述多帧待检测钢筋图像中各所述待检测钢筋图像之间的帧间特征的相似性；以及
分类结果生成单元，将所述第一分类特征向量生成单元获得的所述第一分类特征向量和所述第二分类特征向量生成单元获得的所述第二分类特征向量级联后通过分类器以获得分类结果。
8.根据权利要求7所述的基于深度神经网络的钢材涂层质量检测系统，其中，所述卷积神经网络包括N层卷积层，N为大于等于4且小于等于5的正整数。
9.根据权利要求8所述的基于深度神经网络的钢材涂层质量检测系统，其中，所述卷积特征图生成单元，包括：
灰度图像转化子单元，用于将所述多帧待检测钢筋图像转化为灰度图像以获得多帧灰度待检测钢筋图像；以及
卷积处理子单元，用于将所述多帧灰度待检测钢筋图像通过卷积神经网络以获得多个卷积特征图。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的基于帧间跨尺度相似性聚合的钢材涂层检测方法。
CN202011461444.7A 2020-12-11 2020-12-11 基于帧间跨尺度相似性聚合的钢材涂层检测方法 Withdrawn CN112396602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011461444.7A CN112396602A (zh) 2020-12-11 2020-12-11 基于帧间跨尺度相似性聚合的钢材涂层检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461444.7A CN112396602A (zh) 2020-12-11 2020-12-11 基于帧间跨尺度相似性聚合的钢材涂层检测方法

Publications (1)

Publication Number Publication Date
CN112396602A true CN112396602A (zh) 2021-02-23

Family

ID=74624832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461444.7A Withdrawn CN112396602A (zh) 2020-12-11 2020-12-11 基于帧间跨尺度相似性聚合的钢材涂层检测方法

Country Status (1)

Country Link
CN (1) CN112396602A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782423A (zh) * 2022-06-17 2022-07-22 江苏明德电力设备有限公司 干式变压器的低压线圈的成型质量检测系统及其检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782423A (zh) * 2022-06-17 2022-07-22 江苏明德电力设备有限公司 干式变压器的低压线圈的成型质量检测系统及其检测方法
CN114782423B (zh) * 2022-06-17 2022-09-13 江苏明德电力设备有限公司 干式变压器的低压线圈的成型质量检测系统及其检测方法

Similar Documents

Publication Publication Date Title
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
US11409986B2 (en) Trainable vision scaler
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN110110601B (zh) 基于多时空注意力模型的视频行人重识别方法及装置
Qian et al. Deep learning for steganalysis via convolutional neural networks
WO2018166438A1 (zh) 图像处理方法、装置及电子设备
CN112529150A (zh) 一种模型结构、模型训练方法、图像增强方法及设备
CN111582141A (zh) 人脸识别模型训练方法、人脸识别方法及装置
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN113011562A (zh) 一种模型训练方法及装置
Sakurai et al. Plant Growth Prediction using Convolutional LSTM.
CN113767415A (zh) 计算机实现方法、装置和计算机程序产品
CN113139906B (zh) 一种生成器的训练方法、装置与存储介质
CN114359289A (zh) 一种图像处理方法及相关装置
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
Cap et al. Super-resolution for practical automated plant disease diagnosis system
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN113688928B (zh) 图像匹配方法、装置、电子设备和计算机可读介质
CN112396602A (zh) 基于帧间跨尺度相似性聚合的钢材涂层检测方法
CN115829962B (zh) 医学图像分割装置、训练方法及医学图像分割方法
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN116110095A (zh) 一种人脸过滤模型的训练方法、人脸识别方法及装置
CN114820755A (zh) 一种深度图估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210223