CN114638830A - 隧道钢筋识别模型的训练方法及隧道钢筋识别方法 - Google Patents

隧道钢筋识别模型的训练方法及隧道钢筋识别方法 Download PDF

Info

Publication number
CN114638830A
CN114638830A CN202210536818.XA CN202210536818A CN114638830A CN 114638830 A CN114638830 A CN 114638830A CN 202210536818 A CN202210536818 A CN 202210536818A CN 114638830 A CN114638830 A CN 114638830A
Authority
CN
China
Prior art keywords
steel bar
tunnel
key point
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210536818.XA
Other languages
English (en)
Other versions
CN114638830B (zh
Inventor
宋恒
耿天宝
王扩
王东杰
刘道学
程维国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Original Assignee
Anhui Shuzhi Construction Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shuzhi Construction Research Institute Co ltd filed Critical Anhui Shuzhi Construction Research Institute Co ltd
Priority to CN202210536818.XA priority Critical patent/CN114638830B/zh
Publication of CN114638830A publication Critical patent/CN114638830A/zh
Application granted granted Critical
Publication of CN114638830B publication Critical patent/CN114638830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种隧道钢筋识别模型的训练方法及隧道钢筋识别方法，隧道钢筋识别模型包括特征提取模块、ROI特征选择模块、钢筋位置检测模块和关键点估计模块，钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，关键点估计模块用以输出预测的钢筋关键点信息，训练方法包括：获取训练影像集；将训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；基于预测的钢筋位置信息得到第一损失函数，基于预测的钢筋关键点信息得到第二损失函数，并根据第一损失函数和第二损失函数得到第三损失函数；根据第三损失函数，调整隧道钢筋识别模型的参数。本发明提高了训练好的隧道钢筋识别模型的识别率。

Description

隧道钢筋识别模型的训练方法及隧道钢筋识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种隧道钢筋识别模型的训练方法及隧道钢筋识别方法。
背景技术
探地雷达（Ground Penetrating Radar，GPR）技术作为一种新兴的无损检测技术，具有定位准确、速度快、使用灵活、探测精度高等特点，已被广泛应用于城市基础设施探测、道桥检测等各个领域去探测浅层地下的未知物体。
然而在实际应用中，由于硬件模块噪声，地下介质的不均匀性以及回声波的相互作用，GPR图像通常是有噪声的，形态不一。GPR图像的各种干扰，导致各种GPR目标检测方法，存在目标特征提取不完全，误报和漏报等现象，识别率难以达到预期的要求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种隧道钢筋识别模型的训练方法，提高了训练好的隧道钢筋识别模型的识别率。
本发明的第二个目的在于提出一种隧道钢筋识别方法。
本发明的第三个目的在于提出一种隧道钢筋识别模型的训练装置。
本发明的第四个目的在于提出一种隧道钢筋识别装置。
本发明的第五个目的在于提出一种计算机可读存储介质。
本发明的第六个目的在于提出一种电子设备。
为达到上述目的，本发明第一方面实施例提出了一种隧道钢筋识别模型的训练方法，其特征在于，所述隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，所述特征提取模块的输入端用以输入图像，所述特征提取模块的第一输出端与所述钢筋位置检测模块的输入端连接，所述特征提取模块的第二输出端与所述ROI特征选择模块的第一输入端连接，所述钢筋位置检测模块的输出端与所述ROI特征选择模块的第二输入端连接，所述ROI特征选择模块的输出端与所述关键点估计模块的输入端连接，所述钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，所述关键点估计模块用以输出预测的钢筋关键点信息，所述方法包括：使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，其中，针对每次训练周期，执行以下操作：获取训练影像集，其中，所述训练影像集包括钢筋雷达影像；将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；基于所述预测的钢筋位置信息得到第一损失函数，基于所述预测的钢筋关键点信息得到第二损失函数，并根据所述第一损失函数和所述第二损失函数得到第三损失函数；根据所述第三损失函数，调整所述隧道钢筋识别模型的参数。
根据本发明实施例的隧道钢筋识别模型的训练方法，在获取第一特征图后，根据第一特征图预测的钢筋位置信息，并确定感兴趣区域，以及利用感兴趣区域ROI特征选择模块根据第一特征图和感兴趣区域，选择和确定最合适的关键点，关键点估计模块根据最合适的关键点估计钢筋关键点信息，以保证钢筋关键点信息的精准性，提高训练好的隧道钢筋识别模型的识别率。
另外，根据本发明上述实施例提出的隧道钢筋识别模型的训练方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息，包括：将所述钢筋雷达影像输入至所述特征提取模块的hourglass网络，得到第一特征图；通过所述钢筋位置检测模块根据所述第一特征图进行钢筋位置预测，得到所述预测的钢筋位置信息，并基于所述预测的钢筋位置信息得到感兴趣区域；通过所述ROI特征选择模块中的特征抽取子模块根据所述感兴趣区域，抽取所述第一特征图中的钢筋ROI特征，得到第二特征图；通过所述ROI特征选择模块中的特征选择子模块对所述第二特征图进行空间自适应加权，得到第三特征图；通过所述关键点估计模块根据所述第三特征图进行钢筋关键点估计，得到所述预测的钢筋关键点信息。
根据本发明的一个实施例，所述预测的钢筋位置信息包括钢筋中心点坐标
Figure 353117DEST_PATH_IMAGE001
和钢筋尺寸
Figure 575151DEST_PATH_IMAGE002
，所述第一损失函数
Figure 909049DEST_PATH_IMAGE003
的表达式为：
Figure 609152DEST_PATH_IMAGE004
其中，
Figure 774423DEST_PATH_IMAGE005
表示中心点估计损失函数，
Figure 167358DEST_PATH_IMAGE006
表示尺寸估计损失函数，
Figure 988553DEST_PATH_IMAGE007
表示偏差估计损失函数，
Figure 492346DEST_PATH_IMAGE008
和
Figure 262856DEST_PATH_IMAGE009
表示平衡钢筋位置检测与特征点估计任务权重的因子。
根据本发明的一个实施例，所述中心点估计损失函数
Figure 810381DEST_PATH_IMAGE010
的表达式为：
Figure 666342DEST_PATH_IMAGE011
其中，
Figure 223094DEST_PATH_IMAGE012
表示映射到中心点热图上的目标中心点的高斯分布扩展值，
Figure 51372DEST_PATH_IMAGE013
表示映射到中心点热图上的目标中心点的高斯分布预测值，N表示所述钢筋雷达影像中的钢筋数目，
Figure 582848DEST_PATH_IMAGE014
和
Figure 113055DEST_PATH_IMAGE015
分别表示可调节的超参数；
所述尺寸估计损失函数
Figure 958652DEST_PATH_IMAGE016
的表达式为：
Figure 953021DEST_PATH_IMAGE017
其中，
Figure 593081DEST_PATH_IMAGE018
和
Figure 876164DEST_PATH_IMAGE019
分别表示第k个目标中心点
Figure 322189DEST_PATH_IMAGE020
在中心点热图上的真实坐标和预测坐标；
所述偏差估计损失函数
Figure 390639DEST_PATH_IMAGE021
的表达式为：
Figure 450868DEST_PATH_IMAGE022
其中，
Figure 706400DEST_PATH_IMAGE023
和
Figure 205383DEST_PATH_IMAGE024
分别表示第k个目标中心点
Figure 128339DEST_PATH_IMAGE025
映射到中心点热图上的真实偏差和预测偏差。
根据本发明的一个实施例，根据所述感兴趣区域，抽取所述第一特征图中的钢筋ROI特征，得到第二特征图，包括：
将所述感兴趣区域映射到所述第一特征图中，得到映射特征图；
对所述映射特征图进行仿射变换，得到所述第二特征图。
根据本发明的一个实施例，通过下式得到所述第三特征图：
Figure 359470DEST_PATH_IMAGE026
其中，
Figure 899035DEST_PATH_IMAGE027
表示所述第三特征图，
Figure 890125DEST_PATH_IMAGE028
表示所述第二特征图，
Figure 651277DEST_PATH_IMAGE029
，表示权重，ReLu表示Rectified Linear Units激活函数，Conv1表示核尺度为1的二维卷积。
根据本发明的一个实施例，所述第二损失函数
Figure 69620DEST_PATH_IMAGE030
的表达式为：
Figure 611328DEST_PATH_IMAGE031
其中，
Figure 874950DEST_PATH_IMAGE032
表示关键点估计损失函数，
Figure 21767DEST_PATH_IMAGE033
表示关键点偏差估计损失函数，
Figure 407749DEST_PATH_IMAGE034
表示平衡偏差估计权重的因子。
根据本发明的一个实施例，所述预测的钢筋关键点信息包括3个钢筋关键点，所述钢筋雷达影像映射为3张关键点热图，每张关键点热图负责第i个钢筋关键点；
所述关键点估计损失函数
Figure 859590DEST_PATH_IMAGE035
的表达式为：
Figure 441750DEST_PATH_IMAGE036
其中，
Figure 990543DEST_PATH_IMAGE037
表示映射到关键点热图上的第i个钢筋关键点的高斯分布扩展值，
Figure 999956DEST_PATH_IMAGE038
表示映射到关键点热图上的第i个钢筋关键点的高斯分布预测值，N表示所述钢筋雷达影像中钢筋数目，
Figure 939093DEST_PATH_IMAGE039
和
Figure 324944DEST_PATH_IMAGE040
表示可调节的超参数；
所述关键点偏差估计损失函数
Figure 728244DEST_PATH_IMAGE041
的表达式为：
Figure 659290DEST_PATH_IMAGE042
其中，
Figure 334991DEST_PATH_IMAGE043
表示第k个钢筋的第i个关键点
Figure 275265DEST_PATH_IMAGE044
映射到关键点热图上的真实偏差值，
Figure 782339DEST_PATH_IMAGE045
表示第k个钢筋的第i个关键点
Figure 618708DEST_PATH_IMAGE044
映射到关键点热图上的预测偏差值。
根据本发明的一个实施例，所述第三损失函数
Figure 47284DEST_PATH_IMAGE046
的表达式为：
Figure 322408DEST_PATH_IMAGE047
其中，
Figure 637983DEST_PATH_IMAGE048
为平衡钢筋位置检测与特征点估计任务权重的因子，
Figure 160100DEST_PATH_IMAGE049
表示所述第一损失函数，
Figure 561125DEST_PATH_IMAGE050
表示所述第二损失函数。
为达到上述目的，本发明第二方面实施例提出了一种隧道钢筋识别方法，包括：获取待识别钢筋雷达影像；将所述待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到所述待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，所述训练好的隧道钢筋识别模型利用如本发明第一方面实施例提出的隧道钢筋识别模型的训练方法得到。
为达到上述目的，本发明第三方面实施例提出了一种隧道钢筋识别模型的训练装置，所述隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，所述特征提取模块的输入端用以输入图像，所述特征提取模块的第一输出端与所述钢筋位置检测模块的输入端连接，所述特征提取模块的第二输出端与所述ROI特征选择模块的第一输入端连接，所述钢筋位置检测模块的输出端与所述ROI特征选择模块的第二输入端连接，所述ROI特征选择模块的输出端与所述关键点估计模块的输入端连接，所述钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，所述关键点估计模块用以输出预测的钢筋关键点信息，所述装置包括：数据获取单元、模型训练单元、函数计算单元和参数调整单元，其中，数据获取单元、模型训练单元、函数计算单元和参数调整单元使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，其中，针对每次训练周期，执行以下操作：数据获取单元，用于获取训练影像集，其中，所述训练影像集包括钢筋雷达影像；模型训练单元，用于将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；函数计算单元，用于基于所述预测的钢筋位置信息得到第一损失函数，基于所述预测的钢筋关键点信息得到第二损失函数，并根据所述第一损失函数和所述第二损失函数得到第三损失函数；参数调整单元，用于根据所述第三损失函数，调整所述隧道钢筋识别模型的参数。
为达到上述目的，本发明第四方面实施例提出了一种隧道钢筋识别装置，包括：获取模块，用于获取待识别钢筋雷达影像；识别模块，用于将所述待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到所述待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，所述训练好的隧道钢筋识别模型利用如本发明第一方面实施例提出的隧道钢筋识别模型的训练方法得到。
为达到上述目的，本发明第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本发明第一方面实施例提出的隧道钢筋识别模型的训练方法，或者，如本发明第二方面实施例提出的隧道钢筋识别方法。
为达到上述目的，本发明第六方面实施例提出了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本发明第一方面实施例提出的隧道钢筋识别模型的训练方法，或者，如本发明第二方面实施例提出的隧道钢筋识别方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的隧道钢筋识别模型的结构示意图；
图2是本发明一个实施例的隧道钢筋识别模型的训练方法的流程图；
图3是本发明一个实施例的隧道钢筋识别模型的训练方法的原理图；
图4是本发明一个具体实施例的钢筋雷达影像的示意图；
图5是本发明另一个具体实施例的钢筋雷达影像的示意图；
图6是本发明一个具体实施例的钢筋雷达影像的钢筋关键特征示意图；
图7是本发明另一个具体实施例的钢筋雷达影像的钢筋关键特征示意图；
图8是本发明一个实施例的获取钢筋位置信息和钢筋关键点信息的流程图；
图9是本发明一个实施例的二阶hourglass网络的结构示意图；
图10是本发明一个实施例的空间自适应加权的原理图；
图11是本发明一个实施例的钢筋位置信息和钢筋关键点信息的效果图；
图12是本发明一个实施例的钢筋位置信息和钢筋关键点信息的效果图；
图13是本发明一个实施例的隧道钢筋识别方法的流程图；
图14是本发明一个实施例的隧道钢筋识别模型的训练装置的结构示意图；
图15是本发明一个实施例的隧道钢筋识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面将结合说明书附图1-15以及具体的实施方式对本发明实施例的隧道钢筋识别模型的训练方法及隧道钢筋识别方法进行详细地说明。
在具体描述本申请实施例之前，为了便于理解，首先对ROI进行介绍，具体地，ROI（region of interest），感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。
图1是本发明一个实施例的隧道钢筋识别模型的结构示意图。如图1所示，隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，特征提取模块的输入端用以输入图像，特征提取模块的第一输出端与钢筋位置检测模块的输入端连接，特征提取模块的第二输出端与ROI特征选择模块的第一输入端连接，钢筋位置检测模块的输出端与ROI特征选择模块的第二输入端连接，ROI特征选择模块的输出端与关键点估计模块的输入端连接，钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，关键点估计模块用以输出预测的钢筋关键点信息。
具体地，特征提取模块用于提取输入图像，即钢筋雷达影像的关键点特征图。钢筋位置检测模块用于根据关键点特征图预测钢筋位置信息，以及获取钢筋雷达影像中钢筋位置的感兴趣区域。ROI特征选择模块用于基于关键点特征图和感兴趣区域，确定钢筋关键点信息。
图2是本发明一个实施例的隧道钢筋识别模型的训练方法的流程图。隧道钢筋识别模型的训练方法，可包括：使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，其中，针对每次训练周期，执行以下操作，参见图2和图3：
S11，获取训练影像集，其中，训练影像集包括钢筋雷达影像。
具体地，钢筋雷达影像为利用探地雷达对隧道采集的雷达B-Scan影像，探地雷达在对隧道进行采集雷达B-Scan影像时，探地雷达发射机不断向隧道发射电磁波信号（A-Scan），接收机接收多道 A-Scan 信号组成雷达 B-Scan（sagittal and transversesection imaging，矢状面和横切面成像）影像。隧道中的目标在探地雷达图像中常以双曲线形态呈现，参见图4和图5。
本发明实施例利用雷达B-Scan影像中关于钢筋影像的3个特征点表达钢筋关键特征，参见图6和图7。
进一步具体地，获取大量的钢筋雷达影像，并将大量的钢筋雷达影像作为训练影像集，以对隧道钢筋识别模型进行训练，得到训练好的隧道钢筋识别模型，以利用训练好的隧道钢筋识别模型对钢筋雷达影像进行检测，得到钢筋雷达影像中钢筋的位置信息。
在本发明的实施例中，当训练影像集中的钢筋雷达影像大于预设规格时，需对钢筋雷达影像进行预处理，以得到预设规格的钢筋雷达影像。
示例性的，预设规格为256*256mm时，当钢筋雷达影像的大于256*256mm时，可对该钢筋雷达影像进行剪裁，将剪裁后的钢筋雷达影像依次输入隧道钢筋识别模型。
S12，将训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息。
在本发明的实施例中，如图8所述，将训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息，可包括：
S121，将钢筋雷达影像输入至特征提取模块的hourglass网络，得到第一特征图。
在本发明的实施例中，特征提取模块采用二阶hourglass网络，二阶hourglass网络的结构如图9所示，二阶hourglass网络的下半路为两次降采样，再两次升采样的过程。其中，二阶hourglass网络的下半路分别在原始尺寸（OriSize）和1/2原始尺寸（OriSize）上进行辅助升采样。
具体地，钢筋雷达影像输入至特征提取模块的二阶hourglass网络后，特征提取模块的二阶hourglass网络对输入的钢筋雷达影像进行特征提取，提取钢筋雷达影像中的关键点，将钢筋雷达影像中的关键点特征图作为第一特征图。
在本发明的实施例中，特征提取模块的hourglass网络还输出四张热图，分别为与中心点对应的中心点热图和与三个关键点对应的关键点热图。
S122，通过钢筋位置检测模块根据第一特征图进行钢筋位置预测，得到预测的钢筋位置信息，并基于预测的钢筋位置信息得到感兴趣区域。
具体地，特征提取模块将输出的第一特征图输入钢筋位置检测模块，钢筋位置检测模块根据第一特征图中的钢筋雷达影像关键点，对钢筋雷达影像中的钢筋位置预测，得到预测的钢筋位置信息。在本发明的实施例中，预测的钢筋位置信息包括钢筋中心点坐标
Figure 889207DEST_PATH_IMAGE001
和钢筋尺寸
Figure 793709DEST_PATH_IMAGE002
。
进一步具体地，在得到预测的钢筋位置信息后，在第一特征图的基础上，根据预测的钢筋位置信息对钢筋的位置区域进行勾勒，得到感兴趣区域。
S123，通过ROI特征选择模块中的特征抽取子模块根据感兴趣区域，抽取第一特征图中的钢筋ROI特征，得到第二特征图。
具体地，ROI特征选择模块接收钢筋位置检测模块将输出的感兴趣区域，并同时接收特征提取模块输出的第一特征图，特征抽取子模块根据感兴趣区域和第一特征图，抽取第一特征图中感兴趣区域的钢筋ROI特征，并将得到的钢筋ROI特征图作为第二特征图。
在本发明的实施例中，根据感兴趣区域，抽取特征图中的钢筋ROI特征，得到第二特征图，可包括：
将感兴趣区域映射到第一特征图中，得到映射特征图；
对映射特征图进行仿射变换，得到第二特征图。
具体地，通过两次仿射变换串联组合来完成感兴趣区域到第二特征图的变换。需要说明的是，感兴趣区域映射到第一特征图得到映射特征图，此为第一次仿射变换，第一次仿射变换保持平面内旋转角不变。对映射特征图进行仿射变换得到第二特征图，此为第二次仿射变换。
在本发明的实施例中，仿射变换可用下列公式表示：
Figure 299777DEST_PATH_IMAGE051
其中，
Figure 171787DEST_PATH_IMAGE052
表示原始二维平面上像素的坐标，
Figure 991975DEST_PATH_IMAGE053
表示仿射变换后的坐标，矩阵R表示关于原点变换的旋转：
Figure 328148DEST_PATH_IMAGE054
L表示关于原点矩阵的缩放：
Figure 942800DEST_PATH_IMAGE055
T表示转换矩阵：
Figure 115155DEST_PATH_IMAGE056
其中，
Figure 11739DEST_PATH_IMAGE057
表示平移量。
S124，通过ROI特征选择模块中的特征选择子模块对第二特征图进行空间自适应加权，得到第三特征图。
具体地，ROI特征选择模块中的特征选择子模块接收特征抽取子模块输出的第二特征图，并对第二特征图进行空间自适应加权，以选择最合适的钢筋特征点估计的特征，并将选择的最合适的钢筋特征点估计的特征图作为第三特征图。
在本发明的实施例中，如图10所示，可通过下式得到第三特征图：
Figure 890834DEST_PATH_IMAGE058
其中，
Figure 987972DEST_PATH_IMAGE059
表示第三特征图，
Figure 850885DEST_PATH_IMAGE060
表示第二特征图，
Figure 262144DEST_PATH_IMAGE061
，表示权重，ReLu表示Rectified Linear Units激活函数，Conv1表示核尺度为1的二维卷积。
Figure 526903DEST_PATH_IMAGE062
表示矩阵点乘。其中，
Figure 467046DEST_PATH_IMAGE063
，W、H和C分别表示第二特征图
Figure 817256DEST_PATH_IMAGE064
的宽、高和通道数。
Figure 579676DEST_PATH_IMAGE065
，表示经过特征选择子模块进行空间自适应加权后第三特征图的宽、高和通道与第二特征图
Figure 948209DEST_PATH_IMAGE066
一致。
Figure 75565DEST_PATH_IMAGE067
表示权重生成模块生成的特征空间选择权重，其中各个通道
Figure 693497DEST_PATH_IMAGE068
的权重
Figure 197291DEST_PATH_IMAGE069
相同。
在本发明的实施例中，第二特征图
Figure 420331DEST_PATH_IMAGE070
经过一个卷积Conv1和ReLu的方式构造权重生成模块生成
Figure 780905DEST_PATH_IMAGE071
：
Figure 840128DEST_PATH_IMAGE072
。第二特征图
Figure 131301DEST_PATH_IMAGE070
经过特征选择子模块进行空间自适应加权后输出的第三特征图
Figure 225159DEST_PATH_IMAGE073
为：
Figure 209164DEST_PATH_IMAGE074
。第二特征图
Figure 552421DEST_PATH_IMAGE075
与
Figure 381705DEST_PATH_IMAGE076
权重矩阵图做点乘，相当于进行空间自适应性加权，降低或者过滤不重要的特征，保留和提升关键特征值。
需要说明的是，采用1x1 卷积核加激活函数的方式运算，此计算过程简洁易懂，计算量小，1x1卷积运算实际是对第二特征图的每个通道做点乘加权，合并输出，可解释性强。
需要说明的是，本发明实施例中的权重矩阵还可以采用选择3x3卷积核或者其他变换方式计算。
需要说明的是，本发明实施例中的权重矩阵还可以采用sigmoid或者其他激活函数。
S125，通过关键点估计模块根据第三特征图进行钢筋关键点估计，得到预测的钢筋关键点信息。
具体地，关键点估计模块接收ROI特征选择模块中的特征选择子模块输出的第三特征图
Figure 330070DEST_PATH_IMAGE077
，并根据第三特征图
Figure 32447DEST_PATH_IMAGE078
进行钢筋关键点估计，输出预测的钢筋关键点信息。图11和图12示出了本发明实施例预测的钢筋关键点信息。
在本发明的实施例中，预测的钢筋关键点信息包括3个钢筋关键点，其中，三个钢筋关键点可定义为
Figure 49950DEST_PATH_IMAGE079
。需要说明的是，本发明通过使用hourglass网络将钢筋雷达影像映射为3张关键点热图，其中，一张关键点热图负责一个钢筋关键点。
S13，基于预测的钢筋位置信息得到第一损失函数，基于预测的钢筋关键点信息得到第二损失函数，并根据第一损失函数和第二损失函数得到第三损失函数。
具体地，预测的钢筋位置信息包括钢筋中心点坐标
Figure 699237DEST_PATH_IMAGE001
和钢筋尺寸
Figure 548113DEST_PATH_IMAGE002
。考虑到预测的钢筋中心点坐标偏差和预测的钢筋尺寸偏差。本发明实施例中的，第一损失函数
Figure 359074DEST_PATH_IMAGE080
的表达式为：
Figure 676923DEST_PATH_IMAGE081
其中，
Figure 379169DEST_PATH_IMAGE082
表示中心点估计损失函数，
Figure 770967DEST_PATH_IMAGE083
表示尺寸估计损失函数，
Figure 267676DEST_PATH_IMAGE084
表示偏差估计损失函数，
Figure 72821DEST_PATH_IMAGE085
和
Figure 313179DEST_PATH_IMAGE086
表示平衡钢筋位置检测与特征点估计任务权重的因子。
在该实施例中，中心点估计损失函数
Figure 825063DEST_PATH_IMAGE087
的表达式为：
Figure 492673DEST_PATH_IMAGE088
其中，
Figure 988377DEST_PATH_IMAGE089
表示映射到中心点热图上的目标中心点的高斯分布扩展值，
Figure 314316DEST_PATH_IMAGE090
表示映射到中心点热图上的目标中心点的高斯分布预测值，N表示钢筋雷达影像中的钢筋数目，
Figure 929974DEST_PATH_IMAGE091
和
Figure 784797DEST_PATH_IMAGE092
分别表示可调节的超参数。
在该实施例中，尺寸估计损失函数
Figure 548223DEST_PATH_IMAGE093
的表达式为：
Figure 881115DEST_PATH_IMAGE094
其中，
Figure 616859DEST_PATH_IMAGE018
和
Figure 173742DEST_PATH_IMAGE095
分别表示第k个目标中心点
Figure 378459DEST_PATH_IMAGE096
在中心点热图上的真实坐标和预测坐标。
在该实施例中，偏差估计损失函数
Figure 498730DEST_PATH_IMAGE097
的表达式为：
Figure 902030DEST_PATH_IMAGE098
其中，
Figure 82344DEST_PATH_IMAGE099
和
Figure 508777DEST_PATH_IMAGE100
分别表示第k个目标中心点
Figure 980210DEST_PATH_IMAGE101
映射到中心点热图上的真实偏差和预测偏差。
需要说明的是，中心点估计损失函数
Figure 424967DEST_PATH_IMAGE102
采用像素逻辑回归Focal loss。尺寸估计损失函数
Figure 792494DEST_PATH_IMAGE103
和偏差估计损失函数
Figure 17808DEST_PATH_IMAGE104
均采用L1损失。
在本发明的实施例中，考虑到钢筋雷达影像映射到关键点热图产生的偏差，第二损失函数
Figure 965035DEST_PATH_IMAGE105
的表达式为：
Figure 795457DEST_PATH_IMAGE106
其中，
Figure 68307DEST_PATH_IMAGE107
表示关键点估计损失函数，
Figure 984179DEST_PATH_IMAGE108
表示关键点偏差估计损失函数，
Figure 797414DEST_PATH_IMAGE109
表示平衡偏差估计权重的因子。
由于预测的钢筋关键点信息包括3个钢筋关键点，在该实施例中，关键点估计损失函数
Figure 233075DEST_PATH_IMAGE110
的表达式为：
Figure 926093DEST_PATH_IMAGE111
其中，
Figure 814415DEST_PATH_IMAGE112
表示映射到关键点热图上的第i个钢筋关键点的高斯分布扩展值，
Figure 680608DEST_PATH_IMAGE113
表示映射到关键点热图上的第i个钢筋关键点的高斯分布预测值，N表示钢筋雷达影像中钢筋数目，
Figure 970775DEST_PATH_IMAGE114
和
Figure 100274DEST_PATH_IMAGE115
表示可调节的超参数；
在该实施例中，关键点偏差估计损失函数
Figure 475892DEST_PATH_IMAGE116
的表达式为：
Figure 817880DEST_PATH_IMAGE117
其中，
Figure 228133DEST_PATH_IMAGE118
表示第k个钢筋的第i个关键点
Figure 528533DEST_PATH_IMAGE119
映射到关键点热图上的真实偏差值，
Figure 188185DEST_PATH_IMAGE120
表示第k个钢筋的第i个关键点
Figure 84597DEST_PATH_IMAGE121
映射关键点到热图上的预测偏差值。
在本发明的实施例中，第三损失函数
Figure 333044DEST_PATH_IMAGE122
的表达式为：
Figure 351816DEST_PATH_IMAGE123
其中，
Figure 951293DEST_PATH_IMAGE124
为平衡钢筋位置检测与特征点估计任务权重的因子，
Figure 916975DEST_PATH_IMAGE125
表示第一损失函数，
Figure 43367DEST_PATH_IMAGE126
表示第二损失函数。
S14，根据第三损失函数，调整隧道钢筋识别模型的参数。
具体地，根据第三损失函数调整隧道钢筋识别模型的参数，以得到训练好的隧道钢筋识别模型。
需要说明的是，发明人进行相关测验，标注了5000张钢筋雷达图像，将4500张钢筋雷达图像作为训练影像集，对隧道钢筋识别模型进行训练，训练140次后模型趋于稳定。将抽取的500张钢筋雷达图像做验证集，对利用4500张钢筋雷达图像进行验证，检出率为98.7%，误检率为2.1%。可见，采用本发明实施例的隧道钢筋识别模型的训练方法，可将隧道钢筋识别模型的检出率提高到98%以上。
在本发明的实施例中，在利用本发明实施例的隧道钢筋识别模型的训练方法，对隧道钢筋识别模型进行训练时，还可预设抗干扰模块，利用预设抗干扰模块在训练过程中增加对抗扰动训练，以提高隧道钢筋识别模型的识别率。
具体地，利用预设抗干扰模块在训练过程中增加对抗扰动训练时，包括：
利用预设抗干扰模块基于第三特征图，得到噪声特征图。具体地，预设的抗干扰模块可根据第三特征图的尺寸和通道数等信息，构造噪声特征图。需要说明的是，第三特征图和噪声特征图的大小和通道数相同。
在该实施例中，抗干扰模块采用的噪声可为高斯噪声，椒盐噪声、乘性噪声中的任一者。抗干扰模块采用的噪声还可为其他噪声，在此不做限定。其中，在选择抗干扰模块采用的噪声时，可根据具体情况进行选择。
在本发明的实施例中，当抗干扰模块采用高斯噪声时，利用预设的抗干扰模块基于第三特征图，得到噪声特征图，可包括：
获取多个第三特征图的尺寸内，独立且服从均匀分布的随机数，生成服从高斯分布的高斯随机数，并计算多个高斯随机数的平均值
Figure 170723DEST_PATH_IMAGE127
和方差
Figure 804967DEST_PATH_IMAGE128
。
具体地，从第三特征图的尺寸内，示例性的，如区间[0，255]内，选取多个独立且服从均匀分布的随机数，利用选取的随机数生成高斯随机数，计算多个高斯随机数的平均值
Figure 292449DEST_PATH_IMAGE129
和方差
Figure 531800DEST_PATH_IMAGE130
。
在该实施例中，
Figure 876063DEST_PATH_IMAGE131
Figure 200865DEST_PATH_IMAGE132
其中，a、b由选取的随机数确定，a表示区间最小值，b表示区间最大值。
S232，随机获取第三特征图的尺寸内m个数
Figure 757617DEST_PATH_IMAGE133
，并计算m个数
Figure 320316DEST_PATH_IMAGE134
的平均值
Figure 304322DEST_PATH_IMAGE135
，其中，i为正整数，0＜i≤m。
具体地，从第三特征图的尺寸内随机选取m个数
Figure 647578DEST_PATH_IMAGE136
，计算m个数
Figure 758754DEST_PATH_IMAGE137
的平均值
Figure 690807DEST_PATH_IMAGE138
。
S233，根据预设的噪声特征图表达式，得到噪声特征图。
在该实施方式中，预设的噪声特征图的表达式为：
Figure 596446DEST_PATH_IMAGE139
其中，
Figure 676266DEST_PATH_IMAGE140
表示噪声特征图，
Figure 325553DEST_PATH_IMAGE141
表示多个高斯随机数的平均值，
Figure 377692DEST_PATH_IMAGE142
表示多个高斯随机数的标准差，
Figure 188653DEST_PATH_IMAGE143
表示m个数
Figure 959032DEST_PATH_IMAGE144
的平均值。
具体地，利用上述预设的噪声特征图的表达式，向对应通道到的第三特征图图中加入高斯噪声，得到高斯噪声特征图。
进一步具体地，在得到高斯噪声特征图后，利用关键点估计模块根据高斯噪声特征图和第三特征图，生成扰动特征图，即将第一特征图和噪声特征图进行相加，得到扰动特征图，并基于扰动特征图进行钢筋关键点估计，得到预测的钢筋关键点信息。再基于预测的钢筋位置信息得到第一损失函数，基于预测的钢筋关键点信息得到第二损失函数，并根据第一损失函数和第二损失函数得到第三损失函数。根据第三损失函数，调整隧道钢筋识别模型的参数。
需要说明的是，抗干扰模块生成的噪声特征图用于调节训练阶段中第三损失函数的权重平衡因子
Figure 146430DEST_PATH_IMAGE145
，对第三损失函数进行优化。
本发明实施例的隧道钢筋识别模型的训练方法，在获取第一特征图后，根据第一特征图预测的钢筋位置信息，并确定感兴趣区域，以及利用感兴趣区域ROI特征选择模块根据第一特征图和感兴趣区域，选择和确定最合适的关键点，关键点估计模块根据最合适的关键点估计钢筋关键点信息，以保证估计出的钢筋关键点信息的精准性，提高隧道钢筋识别模型的识别率。
本发明还提出了一种隧道钢筋识别方法。
图13是本发明一个实施例的隧道钢筋识别方法的流程图。如图13所示，隧道钢筋识别方法可包括：
S21，获取待识别钢筋雷达影像；
S22，将待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，训练好的隧道钢筋识别模型利用如上述的隧道钢筋识别模型的训练方法得到。
具体地，在对待识别钢筋雷达影像中的钢筋进行识别时，获取待识别钢筋雷达影像，将待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，从而可以得到待识别钢筋雷达影像中的钢筋位置和钢筋关键点。
需要说明的是，本发明实施例的隧道钢筋识别方法的其他具体实施方式可参见本发明上述实施例的隧道钢筋识别模型的训练方法的具体实施方式。
本发明还提出了一种隧道钢筋识别模型的训练装置。
图1是本发明一个实施例的隧道钢筋识别模型的结构示意图，如图1所示，隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，特征提取模块的输入端用以输入图像，特征提取模块的第一输出端与钢筋位置检测模块的输入端连接，特征提取模块的第二输出端与ROI特征选择模块的第一输入端连接，钢筋位置检测模块的输出端与ROI特征选择模块的第二输入端连接，ROI特征选择模块的输出端与关键点估计模块的输入端连接，钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，关键点估计模块用以输出预测的钢筋关键点信息。
图14是本发明一个实施例的隧道钢筋识别模型的训练装置的结构示意图。如图14所示，隧道钢筋识别模型的训练装置100包括数据获取单元10、模型训练单元11、函数计算单元12和参数调整单元13。其中，数据获取单元10、模型训练单元11、函数计算单元12和参数调整单元13使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，其中，针对每次训练周期，执行以下操作：
数据获取单元10用于获取训练影像集，其中，训练影像集包括钢筋雷达影像；模型训练单元11用于将训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；函数计算单元12用于基于预测的钢筋位置信息得到第一损失函数，基于预测的钢筋关键点信息得到第二损失函数，并根据第一损失函数和第二损失函数得到第三损失函数；参数调整单元13用于根据第三损失函数，调整隧道钢筋识别模型的参数。
需要说明的是，本发明实施例的隧道钢筋识别模型的训练装置的其他具体实施方式可参见本发明上述实施例的隧道钢筋识别模型的训练方法的具体实施方式。
本发明还提出了一种隧道钢筋识别装置。
图15是本发明一个实施例的隧道钢筋识别装置的结构示意图。如图15所示，隧道钢筋识别装置200包括获取模块20和识别模块21。
获取模块20，用于获取待识别钢筋雷达影像。识别模块21，用于将待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，训练好的隧道钢筋识别模型利用如上述的隧道钢筋识别模型的训练方法得到。
需要说明的是，本发明实施例的隧道钢筋识别装置的其他具体实施方式可参见本发明上述实施例的隧道钢筋识别模型的训练方法的具体实施方式。
本发明还提出了一种计算机可读存储介质。
在该实施例中，计算机可读存储介质上存储有计算机程序，计算机程序对应上述的隧道钢筋识别模型的训练方法，或者，上述的隧道钢筋识别方法，其被处理器执行时，实现如上述的隧道钢筋识别模型的训练方法，或者，上述的隧道钢筋识别方法。
本发明还提出了一种电子设备。
在该实施例中，电子设备包括处理器、存储器以及存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述的隧道钢筋识别模型的训练方法，或者，上述的隧道钢筋识别方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种隧道钢筋识别模型的训练方法，其特征在于，所述隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，所述特征提取模块的输入端用以输入图像，所述特征提取模块的第一输出端与所述钢筋位置检测模块的输入端连接，所述特征提取模块的第二输出端与所述ROI特征选择模块的第一输入端连接，所述钢筋位置检测模块的输出端与所述ROI特征选择模块的第二输入端连接，所述ROI特征选择模块的输出端与所述关键点估计模块的输入端连接，所述钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，所述关键点估计模块用以输出预测的钢筋关键点信息，所述方法包括：
使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，其中，针对每次训练周期，执行以下操作：
获取训练影像集，其中，所述训练影像集包括钢筋雷达影像；
将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；
基于所述预测的钢筋位置信息得到第一损失函数，基于所述预测的钢筋关键点信息得到第二损失函数，并根据所述第一损失函数和所述第二损失函数得到第三损失函数；
根据所述第三损失函数，调整所述隧道钢筋识别模型的参数。
2.根据权利要求1所述的隧道钢筋识别模型的训练方法，其特征在于，所述将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息，包括：
将所述钢筋雷达影像输入至所述特征提取模块的hourglass网络，得到第一特征图；
通过所述钢筋位置检测模块根据所述第一特征图进行钢筋位置预测，得到所述预测的钢筋位置信息，并基于所述预测的钢筋位置信息得到感兴趣区域；
通过所述ROI特征选择模块中的特征抽取子模块根据所述感兴趣区域，抽取所述第一特征图中的钢筋ROI特征，得到第二特征图；
通过所述ROI特征选择模块中的特征选择子模块对所述第二特征图进行空间自适应加权，得到第三特征图；
通过所述关键点估计模块根据所述第三特征图进行钢筋关键点估计，得到所述预测的钢筋关键点信息。
3.根据权利要求2所述的隧道钢筋识别模型的训练方法，其特征在于，所述预测的钢筋位置信息包括钢筋中心点坐标
Figure 894795DEST_PATH_IMAGE001
和钢筋尺寸
Figure 690581DEST_PATH_IMAGE002
，所述第一损失函数
Figure 801757DEST_PATH_IMAGE003
的表达式为：
Figure 264968DEST_PATH_IMAGE004
其中，
Figure 170607DEST_PATH_IMAGE005
表示中心点估计损失函数，
Figure 532318DEST_PATH_IMAGE006
表示尺寸估计损失函数，
Figure 430873DEST_PATH_IMAGE007
表示偏差估计损失函数，
Figure 702586DEST_PATH_IMAGE008
和
Figure 293973DEST_PATH_IMAGE009
表示平衡钢筋位置检测与特征点估计任务权重的因子。
4.根据权利要求3所述的隧道钢筋识别模型的训练方法，其特征在于，
所述中心点估计损失函数
Figure 142980DEST_PATH_IMAGE010
的表达式为：
Figure 330379DEST_PATH_IMAGE011
其中，
Figure 768182DEST_PATH_IMAGE012
表示映射到中心点热图上的目标中心点的高斯分布扩展值，
Figure 218886DEST_PATH_IMAGE013
表示映射到中心点热图上的目标中心点的高斯分布预测值，N表示所述钢筋雷达影像中的钢筋数目，
Figure 742141DEST_PATH_IMAGE014
和
Figure 733230DEST_PATH_IMAGE015
分别表示可调节的超参数；
所述尺寸估计损失函数
Figure 838590DEST_PATH_IMAGE016
的表达式为：
Figure 771779DEST_PATH_IMAGE017
其中，
Figure 205166DEST_PATH_IMAGE018
和
Figure 249214DEST_PATH_IMAGE019
分别表示第k个目标中心点
Figure 146763DEST_PATH_IMAGE020
在中心点热图上的真实坐标和预测坐标；
所述偏差估计损失函数
Figure 63903DEST_PATH_IMAGE021
的表达式为：
Figure 561750DEST_PATH_IMAGE022
其中，
Figure 97904DEST_PATH_IMAGE023
和
Figure 99227DEST_PATH_IMAGE024
分别表示第k个目标中心点
Figure 452848DEST_PATH_IMAGE025
映射到中心点热图上的真实偏差和预测偏差。
5.根据权利要求2所述的隧道钢筋识别模型的训练方法，其特征在于，根据所述感兴趣区域，抽取所述第一特征图中的钢筋ROI特征，得到第二特征图，包括：
将所述感兴趣区域映射到所述第一特征图中，得到映射特征图；
对所述映射特征图进行仿射变换，得到所述第二特征图。
6.根据权利要求2所述的隧道钢筋识别模型的训练方法，其特征在于，通过下式得到所述第三特征图：
Figure 657565DEST_PATH_IMAGE026
其中，
Figure 43416DEST_PATH_IMAGE027
表示所述第三特征图，
Figure 853240DEST_PATH_IMAGE028
表示所述第二特征图，
Figure 564713DEST_PATH_IMAGE029
，表示权重，ReLu表示Rectified Linear Units激活函数，Conv1表示核尺度为1的二维卷积。
7.根据权利要求2所述的隧道钢筋识别模型的训练方法，其特征在于，所述第二损失函数
Figure 991146DEST_PATH_IMAGE030
的表达式为：
Figure 259316DEST_PATH_IMAGE031
其中，
Figure 969652DEST_PATH_IMAGE032
表示关键点估计损失函数，
Figure 337180DEST_PATH_IMAGE033
表示关键点偏差估计损失函数，
Figure 969018DEST_PATH_IMAGE034
表示平衡偏差估计权重的因子。
8.根据权利要求7所述的隧道钢筋识别模型的训练方法，其特征在于，所述预测的钢筋关键点信息包括3个钢筋关键点，所述钢筋雷达影像映射为3张关键点热图，每张关键点热图负责第i个钢筋关键点；
所述关键点估计损失函数
Figure 447404DEST_PATH_IMAGE035
的表达式为：
Figure 277826DEST_PATH_IMAGE036
其中，
Figure 144150DEST_PATH_IMAGE037
表示映射到关键点热图上的第i个钢筋关键点的高斯分布扩展值，
Figure 810755DEST_PATH_IMAGE038
表示映射到关键点热图上的第i个钢筋关键点的高斯分布预测值，N表示所述钢筋雷达影像中钢筋数目，
Figure 342099DEST_PATH_IMAGE039
和
Figure 981022DEST_PATH_IMAGE040
表示可调节的超参数；
所述关键点偏差估计损失函数
Figure 674041DEST_PATH_IMAGE041
的表达式为：
Figure 93521DEST_PATH_IMAGE042
其中，
Figure 241605DEST_PATH_IMAGE043
表示第k个钢筋的第i个关键点
Figure 46619DEST_PATH_IMAGE044
映射到关键点热图上的真实偏差值，
Figure 661271DEST_PATH_IMAGE045
表示第k个钢筋的第i个关键点
Figure 489419DEST_PATH_IMAGE044
映射到热图上的预测偏差值。
9.根据权利要求1所述的隧道钢筋识别模型的训练方法，其特征在于，所述第三损失函数
Figure 378877DEST_PATH_IMAGE046
的表达式为：
Figure 772819DEST_PATH_IMAGE047
其中，
Figure 151847DEST_PATH_IMAGE048
为平衡钢筋位置检测与特征点估计任务权重的因子，
Figure 280340DEST_PATH_IMAGE049
表示所述第一损失函数，
Figure 691599DEST_PATH_IMAGE050
表示所述第二损失函数。
10.一种隧道钢筋识别方法，其特征在于，包括：
获取待识别钢筋雷达影像；
将所述待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到所述待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，所述训练好的隧道钢筋识别模型利用如权利要求1-9中任一项所述的隧道钢筋识别模型的训练方法得到。
11.一种隧道钢筋识别模型的训练装置，其特征在于，所述隧道钢筋识别模型包括特征提取模块、感兴趣区域ROI特征选择模块、钢筋位置检测模块和关键点估计模块，所述特征提取模块的输入端用以输入图像，所述特征提取模块的第一输出端与所述钢筋位置检测模块的输入端连接，所述特征提取模块的第二输出端与所述ROI特征选择模块的第一输入端连接，所述钢筋位置检测模块的输出端与所述ROI特征选择模块的第二输入端连接，所述ROI特征选择模块的输出端与所述关键点估计模块的输入端连接，所述钢筋位置检测模块的输出端用以输出预测的钢筋位置信息，所述关键点估计模块用以输出预测的钢筋关键点信息，所述装置包括：数据获取单元、模型训练单元、函数计算单元和参数调整单元，
其中，数据获取单元、模型训练单元、函数计算单元和参数调整单元使用训练影像集对隧道钢筋识别模型进行多次周期性的训练，
其中，针对每次训练周期，执行以下操作：
数据获取单元，用于获取训练影像集，其中，所述训练影像集包括钢筋雷达影像；
模型训练单元，用于将所述训练影像集中的钢筋雷达影像输入至隧道钢筋识别模型，得到预测的钢筋位置信息和钢筋关键点信息；
函数计算单元，用于基于所述预测的钢筋位置信息得到第一损失函数，基于所述预测的钢筋关键点信息得到第二损失函数，并根据所述第一损失函数和所述第二损失函数得到第三损失函数；
参数调整单元，用于根据所述第三损失函数，调整所述隧道钢筋识别模型的参数。
12.一种隧道钢筋识别装置，其特征在于，包括：
获取模块，用于获取待识别钢筋雷达影像；
识别模块，用于将所述待识别钢筋雷达影像输入至训练好的隧道钢筋识别模型，得到所述待识别钢筋雷达影像中的钢筋位置和钢筋关键点，其中，所述训练好的隧道钢筋识别模型利用如权利要求1-9中任一项所述的隧道钢筋识别模型的训练方法得到。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9中任一项所述的隧道钢筋识别模型的训练方法，或者，如权利要求10所述的隧道钢筋识别方法。
14.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的隧道钢筋识别模型的训练方法，或者，如权利要求10所述的隧道钢筋识别方法。
CN202210536818.XA 2022-05-18 2022-05-18 隧道钢筋识别模型的训练方法及隧道钢筋识别方法 Active CN114638830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536818.XA CN114638830B (zh) 2022-05-18 2022-05-18 隧道钢筋识别模型的训练方法及隧道钢筋识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536818.XA CN114638830B (zh) 2022-05-18 2022-05-18 隧道钢筋识别模型的训练方法及隧道钢筋识别方法

Publications (2)

Publication Number Publication Date
CN114638830A true CN114638830A (zh) 2022-06-17
CN114638830B CN114638830B (zh) 2022-08-12

Family

ID=81952982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536818.XA Active CN114638830B (zh) 2022-05-18 2022-05-18 隧道钢筋识别模型的训练方法及隧道钢筋识别方法

Country Status (1)

Country Link
CN (1) CN114638830B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092012A (zh) * 2023-03-06 2023-05-09 安徽数智建造研究院有限公司 基于视频流的钢筋绑扎工序监测方法及监测装置
CN117406193A (zh) * 2023-12-14 2024-01-16 中铁四局集团有限公司 一种雷达数据提取方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097087A (zh) * 2019-04-04 2019-08-06 浙江科技学院 一种自动钢筋捆扎位置识别方法
CN110334751A (zh) * 2019-06-24 2019-10-15 北京理工华汇智能科技有限公司 用于捆扎节点的图像处理方法及装置、终端
CN111126415A (zh) * 2019-12-12 2020-05-08 创新奇智(合肥)科技有限公司 基于雷达探测图像的隧道钢筋检测计数系统、方法
CN111123263A (zh) * 2019-12-12 2020-05-08 创新奇智(合肥)科技有限公司 基于地质雷达检测数据的隧道钢筋识别检测系统、方法
JP2021022028A (ja) * 2019-07-25 2021-02-18 株式会社大林組 画像処理装置、画像処理方法及び画像処理プログラム
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097087A (zh) * 2019-04-04 2019-08-06 浙江科技学院 一种自动钢筋捆扎位置识别方法
CN110334751A (zh) * 2019-06-24 2019-10-15 北京理工华汇智能科技有限公司 用于捆扎节点的图像处理方法及装置、终端
JP2021022028A (ja) * 2019-07-25 2021-02-18 株式会社大林組 画像処理装置、画像処理方法及び画像処理プログラム
CN111126415A (zh) * 2019-12-12 2020-05-08 创新奇智(合肥)科技有限公司 基于雷达探测图像的隧道钢筋检测计数系统、方法
CN111123263A (zh) * 2019-12-12 2020-05-08 创新奇智(合肥)科技有限公司 基于地质雷达检测数据的隧道钢筋识别检测系统、方法
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ZHUN FAN ET AL.: "《Auotmated steel bar counting and center localization with convolutional neural network》", 《ARXIV》 *
吴应永等: "基于尺度不变特征变换的无砟轨道板钢筋检测", 《无损检测》 *
王志丹: "基于小数据的钢筋检测方法的研究", 《邮电设计技术》 *
田柏林: "如何提高雷达法检测隧道衬砌质量的精度", 《安徽建筑》 *
谢雄耀 等: "《探地雷达探测隧道衬砌钢筋的神经网络识别方法》", 《2010年全国工程地质学术年会暨地质学术年会暨"工程地质与海西建设"学术大会论文集》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092012A (zh) * 2023-03-06 2023-05-09 安徽数智建造研究院有限公司 基于视频流的钢筋绑扎工序监测方法及监测装置
CN117406193A (zh) * 2023-12-14 2024-01-16 中铁四局集团有限公司 一种雷达数据提取方法、系统、设备及存储介质
CN117406193B (zh) * 2023-12-14 2024-04-09 中铁四局集团有限公司 一种雷达数据提取方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN114638830B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114638830B (zh) 隧道钢筋识别模型的训练方法及隧道钢筋识别方法
Hou et al. Improved Mask R-CNN with distance guided intersection over union for GPR signature detection and segmentation
Murino et al. Three-dimensional image generation and processing in underwater acoustic vision
CN112395987B (zh) 基于无监督域适应cnn的sar图像目标检测方法
US20200379104A1 (en) Three-dimensional forward-looking sonar target recognition with machine learning
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN108961255B (zh) 基于相位线性度和功率的海陆噪声场景分割方法
KR101891410B1 (ko) 트레이스 변환을 이용한 역합성 개구면 레이더 영상의 표적 분류 장치 및 그 방법
CN102201125A (zh) 一种三维成像声纳的数据可视化方法
CN101926657B (zh) 一种超声图像特征追踪方法及其系统
CN114638829A (zh) 隧道衬砌检测模型的抗干扰训练方法及隧道衬砌检测方法
Almaimani Classifying GPR images using convolutional neural networks
CN112215832A (zh) Sar尾迹图像质量评估及自适应探测参数调整方法
Lu et al. Research on rainfall identification based on the echo differential value from X-band navigation radar image
Chen et al. Sand ripple characterization using an extended synthetic aperture sonar model and parallel sampling method
Murino Reconstruction and segmentation of underwater acoustic images combining confidence information in MRF models
CN110361722A (zh) 一种多雷达信号融合方法及系统
CN116660897B (zh) 基于空间语义的sar成像获取方法、装置、计算机设备
Cobb et al. In situ adaptive feature extraction for underwater target classification
Petillot et al. A framework for evaluating underwater mine detection and classification algorithms using augmented reality
CN116879863B (zh) 一种连续波4d毫米波雷达多目标测量方法及系统
CN107942299A (zh) 一种基于改进混合蛙跳算法的智能雷达海上目标检测系统及方法
CN116930976B (zh) 基于小波模极大值的侧扫声呐图像的海底线检测方法
Shi et al. Object-oriented change detection based on weighted polarimetric scattering differences on POLSAR images
CN115496917B (zh) 一种GPR B-Scan图像中的多目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230613

Address after: Wangjiang Road in Baohe District of Hefei city of Anhui Province, No. 96 230023

Patentee after: CHINA TIESIJU CIVIL ENGINEERING GROUP Co.,Ltd.

Patentee after: Anhui Shuzhi Construction Research Institute Co.,Ltd.

Address before: 230001 No. 3333 Xiyou Road, high tech Zone, Hefei, Anhui

Patentee before: Anhui Shuzhi Construction Research Institute Co.,Ltd.