CN114529779A - 一种人防门锈蚀状态检测系统及方法 - Google Patents

一种人防门锈蚀状态检测系统及方法 Download PDF

Info

Publication number
CN114529779A
CN114529779A CN202111655622.4A CN202111655622A CN114529779A CN 114529779 A CN114529779 A CN 114529779A CN 202111655622 A CN202111655622 A CN 202111655622A CN 114529779 A CN114529779 A CN 114529779A
Authority
CN
China
Prior art keywords
area
image
rust
air defense
defense door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111655622.4A
Other languages
English (en)
Other versions
CN114529779B (zh
Inventor
虞卫琴
张爱琴
李传祥
陈超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Hengtai Civil Air Defense Equipment Co ltd
Original Assignee
Yangzhou Hengtai Civil Air Defense Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Hengtai Civil Air Defense Equipment Co ltd filed Critical Yangzhou Hengtai Civil Air Defense Equipment Co ltd
Priority to CN202111655622.4A priority Critical patent/CN114529779B/zh
Publication of CN114529779A publication Critical patent/CN114529779A/zh
Application granted granted Critical
Publication of CN114529779B publication Critical patent/CN114529779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种人防门锈蚀状态检测系统及方法，通过采集传感器获取不同环境状态的环境参数以及该环境下人防门的锈蚀区域面积和锈蚀区域所对应的灰度均值；将环境参数、锈蚀区域面积和灰度均值作为训练样本，以对TCN预测网络进行训练，将采集的实时环境参数通过训练好的TCN预测网络预测得到锈蚀区域面积的预测值和灰度均值预测值，以计量人防门的锈蚀程度。利用光学手段来测试或分析材料，具体是利用红外镜头采集红外图像，以根据红外图像反映的能量辐射大小为对应RGB图像中的像素点分配权重，使得预测的锈蚀区域的面积和对应像素点的灰度值更准确，从而提高了锈蚀程度的计量结果的严谨性，实现新材料检测。

Description

一种人防门锈蚀状态检测系统及方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种人防门锈蚀状态检测系统及方法。
背景技术
目前，人防门的材料主要有不锈钢材质制成，表面涂有防锈漆。人防门锈蚀的原因主要是由于外力因素或劣质材料造成防锈漆表面发生损伤，或环境因素造成人防门损伤处发生腐蚀，最终形成锈蚀。现有技术通过采集人防门的实时表面图像，将实时表面图像与原始图像进行差异分析得到差异图像，通过将差异图像与训练样本库中的训练样本进行对比，从而确认人防门的锈蚀状态异常情况。
本领域技术人员发现现有技术中存在以下问题：由于人防门的锈蚀过程主要由于环境因素和使用的过程中防锈漆的损坏引起的锈蚀，因此仅通过图像颜色特征进行锈蚀检测，会受到精度和环境因素多变的影响，造成锈蚀检测存在误检或漏检。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种人防门锈蚀状态检测系统及方法，所采用的技术方案具体如下：
本发明实施例提供了一种人防门锈蚀状态检测方法，该方法包括：
分别采集人防门在开启状态下连轴处的第一RGB图像和对应的第一红外图像，以及关闭状态下人防门表面的第二RGB图像和对应的第二红外图像；分别对所述第一RGB图像和所述第二RGB图像进行灰度化处理得到第一灰度图像和第二灰度图像，将所述第一灰度图像和所述第一红外图像输入锈蚀区域检测网络中得到所述连轴处的第一锈蚀识别图像、将所述第二灰度图像和所述第二红外图像输入所述锈蚀区域检测网络中得到所述人防门表面的第二锈蚀识别图像；根据所述第一锈蚀识别图像和所述第二锈蚀识别图像获取人防门的整体锈蚀区域面积以及整体锈蚀区域对应的灰度均值；
基于连续的时间序列，获取多个历史时间下人防门所处的环境参数，分别将每个所述环境参数和其对应环境下人防门的所述整体锈蚀区域面积、‘所述灰度均值构成一个训练样本，得到多个所述训练样本；利用所述训练样本对TCN预测网络进行训练；
获取下一时间人防门所处的实时环境参数，将其输入训练好的所述TCN预测网络得到所述下一时间人防门的整体锈蚀区域的面积预测值和灰度均值预测值，由所述面积预测值和所述灰度均值预测值对人防门进行锈蚀程度的计量。
进一步地，所述锈蚀区域检测网络为：
所述锈蚀区域检测网络分为两个网络分支，两个网络分支的输入分别为红外图像和灰度图像，红外图线所对应的网络分支的分支结构为编码器-解码器，灰度图像所对应的网络分支的分支结构为编码器；将两个网络分支的输出通过CAM算法进行特征图的合成，对合成特征图经过解码器进行上采样获取与原图等大的锈蚀识别图像；
所述锈蚀区域检测网络的损失函数为交叉熵损失函数和均方差损失函数。
进一步地，所述第一锈蚀识别图像的获取方法，包括：
将所述第一红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；
将所述第一灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；
将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第一锈蚀识别图像。
进一步地，所述第二锈蚀识别图像的获取方法，包括：
将所述第二红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；
将所述第二灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；
将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第二锈蚀识别图像。
进一步地，所述人防门的整体锈蚀区域面积的获取方法，包括：
由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域所对应的第一面积；由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域所对应的第二面积；将所述第一面积和所述第二面积进行相加得到人防门的所述整体锈蚀区域面积。
进一步地，所述整体锈蚀区域对应的灰度均值的方法，包括：
由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述连轴处的锈蚀区域所对应的第一灰度均值；
由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述人防门表面的锈蚀区域所对应的第二灰度均值；
计算所述第一灰度均值和所述第二灰度均值之间的平均值，将所述平均值作为整体锈蚀区域的所述灰度均值。
进一步地，所述锈蚀程度的计量方法，包括：
将所述面积预测值和所述灰度均值预测值进行相加得到所述锈蚀程度。
进一步地，一种人防门锈蚀状态检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果：利用光学手段来测试或分析材料，具体是利用红外镜头采集红外图像，根据红外图像反映的能量辐射大小为对应RGB图像中的像素点分配权重，进而能够得到人防门的锈蚀识别图像，以准确得到锈蚀区域的面积和对应像素点的灰度均值，同时结合对应人防门的环境参数将其构成训练样本，通过历史时间的所采集的多个训练样本进行预测网络的训练，以预测人防门锈蚀状态，使得后续预测的锈蚀区域的面积和对应像素点的灰度值更加准确，从而提高了锈蚀程度的计量结果的严谨性，以达到准确实时预警目的，实现新材料检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种人防门锈蚀状态检测方法的步骤流程图；
图2为本发明实施例提供了一种锈蚀区域检测网络的网络构架示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种人防门锈蚀状态检测系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种人防门锈蚀状态检测系统及方法的具体方案。
本发明实施例所针对的具体场景为：人防门锈蚀检测场景，通过人防门处监控摄像头采集人防门关闭和开启状态下的图像，摄像头携带红外镜头，可获取人防门RGB图像和红外图像。布置环境感知传感器，获取人防门所处环境参数的湿度、温度、pH值等数据，对人防门锈蚀状态进行检测并预测。
请参阅图1，其示出了本发明一个实施例提供的一种人防门锈蚀状态检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，分别采集人防门在开启状态下连轴处的第一RGB图像和对应的第一红外图像，以及关闭状态下人防门表面的第二RGB图像和对应的第二红外图像；分别对第一RGB图像和第二RGB图像进行灰度化处理得到第一灰度图像和第二灰度图像，将第一灰度图像和第一红外图像输入锈蚀区域检测网络中得到连轴处的第一锈蚀识别图像、将第二灰度图像和第二红外图像输入锈蚀区域检测网络中得到人防门表面的第二锈蚀识别图像；根据第一锈蚀识别图像和第二锈蚀识别图像获取人防门的整体锈蚀区域面积以及整体锈蚀区域对应的灰度均值。
具体的，当人防门使用年限较长、开闭频繁的情况下，连轴处容易受外力作用造成防锈漆损失，也即容易形成锈蚀，因此对连轴处的锈蚀图像检测极为重要，但连轴处的图像拍摄容易受到遮挡和视角的影响，故本发明实施例利用带红外镜头的监控摄像头获取人防门在开启状态下的RGB图像和对应的红外图像，且获取人防门在关闭状态下的RGB图像和对应的红外图像。
由于人防门的连轴处位置固定，所以通过对人防门开启状态下的图像区域标注的方式获取人防门在开启状态下连轴处的第一RGB图像和对应的第一红外图像。具体的，将RGB图像中连轴区域对应的像素点标记为1，其他区域的像素点标记为0，得到连轴区域Mask图像，将连轴区域Mask图像与原RGB图像相乘，得到人防门开启状态下连轴处的第一RGB图像。同理对红外图像进行相同的处理得到开启状态下连轴处的第一红外图像。
利用上述同样的处理方法，对人防门在关闭状态下的RGB图像进行背景过滤，即将RGB图像中人防门区域对应的像素点标记为1，其他区域的像素点标记为0，得到人防门Mask图像，将人防门Mask图像与原RGB图像相乘，得到关闭状态下人防门表面的第二RGB图像。同理对红外图像进行相同的处理得到关闭状态下人防门表面的第二红外图像。
分别对第一RGB图像和第二RGB图像进行灰度化处理得到第一灰度图像和第二灰度图像，灰度化处理的方法为：通过颜色空间转换将RGB图像转化为HSV图像，保留HSV图像所对应的H通道图像，其他两个通道的值都置为0，即可得到灰度图像。
进一步地，参照附图2，本发明实施例提供了一种锈蚀区域检测网络的网络构架示意图。锈蚀区域检测网络分为两个网络分支，两个网络分支的输入分别为红外图像和灰度图像，红外图线所对应的网络分支的分支结构为编码器-解码器，灰度图像所对应的网络分支的分支结构为编码器，其中这两个网络分支的编码器是相同的，将两个网络分支的输出通过CAM算法进行特征图的合成，对合成特征图经过解码器进行上采样获取与原图等大的锈蚀识别图像；该网络的损失函数为交叉熵损失函数和均方差损失函数。
将第一灰度图像和对应的第一红外图像输入锈蚀区域检测网络，得到人防门的连轴处的锈蚀区域，则具体过程为：
（1）将第一红外图像输入锈蚀区域检测网络的一个网络分支，红外图像通过编码器获取其特征图，让特征图通过解码器进行上采样处理输出特征灰度图像，将特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率。
需要说明的是，红外图像中包含较少的颜色纹理信息，只能反映表面红外能量辐射大小，所以，通过红外能量辐射大小能够准确的得到第一灰度图像中像素点之间存在的特征差异。
（2）将第一灰度图像输入锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图。将特征图和特征灰度图像通过CAM算法进行特征图的合成，得到合成特征图。
具体的，结合特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，即获取特征图对应在特征灰度图像中的所有像素点，根据每个像素点的置信度计算该特征图对应的权重，则权重的计算公式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为第
Figure DEST_PATH_IMAGE006
个特征图所对应的权重，
Figure DEST_PATH_IMAGE008
为特征图中像素点的数量，
Figure DEST_PATH_IMAGE010
为第
Figure 257032DEST_PATH_IMAGE006
个特征图在特征灰度图像中对应区域的第
Figure DEST_PATH_IMAGE012
个像素点的置信度。
将第一灰度图像对应的每个特征图中像素点的像素值和其对应的权重进行加权求和得到合成特征图，即
Figure DEST_PATH_IMAGE014
，其中，
Figure DEST_PATH_IMAGE016
为第
Figure 764499DEST_PATH_IMAGE006
个特征图。
（3）将合成特征图通过解码器进行上采样，最终锈蚀区域检测网络输出与原图等大的第一锈蚀识别图像。对第一锈蚀识别图像进行阈值分割得到连轴处的锈蚀区域，进而能够得到连轴处的锈蚀区域所对应的第一面积，同时根据锈蚀区域对应像素点的像素值获取连轴处的锈蚀区域所对应的第一灰度均值。
相同的，利用人防门的连轴处的锈蚀区域检测方法，通过将第二RGB图像和对应第二红外图像输入锈蚀区域检测网络得到人防门表面的锈蚀区域，进而能够得到人防门表面的锈蚀区域所对应的第二面积，同时根据锈蚀区域对应像素点的像素值获取人防门表面的锈蚀区域所对应的第二灰度均值。
进一步地，结合人防门表面的锈蚀区域和连轴处的锈蚀区域计算人防门的整体锈蚀区域面积和整体锈蚀区域的灰度均值，则整体锈蚀区域面积的获取方法为：将连轴处的锈蚀区域所对应的第一面积和人防门表面的锈蚀区域所对应的第二面积进行相加得到整体锈蚀区域面积。整体锈蚀区域的灰度均值的获取方法为：计算连轴处的锈蚀区域所对应的第一灰度均值和人防门表面的锈蚀区域所对应的第二灰度均值之间的平均值，将平均值作为整体锈蚀区域的灰度均值。
步骤S002，基于连续的时间序列，获取多个历史时间下人防门所处的环境参数，分别将每个环境参数和其对应环境下人防门的整体锈蚀区域面积、‘灰度均值构成一个训练样本，得到多个训练样本；利用训练样本对TCN预测网络进行训练。
具体的，通过环境传感器获取历史时间下人防门所处的环境参数，所述环境参数包括：温度、湿度、PH值，其中PH值可通过专业PH检测仪获取。同时通过步骤S001的方法能够获取每个环境参数对应环境状态下人防门的整体锈蚀区域面积和其整体锈蚀区域对应的灰度均值，将环境参数、整体锈蚀区域面积和灰度均值构成一个训练样本，基于连续的时间序列，获取多个历史时间下人防门所对应的训练样本，利用多个训练样本对TCN预测网络进行训练，其训练过程为：
（1）TCN预测网络的输入为：连续时间序列中的环境参数，网络的输出为：未来时间内的人防门的整体锈蚀区域面积和整体锈蚀区域对应的灰度均值。
（2）TCN预测网络的结构为：编码器-全连接，TCN预测网络的卷积核的形状大小为：[1,5]，也即是滑窗的大小；通过编码器卷积获取一维时间序列数据的相关特征向量，利用全连接网络输出未来时间内的人防门的整体锈蚀区域面积和整体锈蚀区域对应的灰度均值。
（3）TCN预测网络的损失函数为：
Figure DEST_PATH_IMAGE018
，其中，
Figure DEST_PATH_IMAGE020
表示均方差损失函数，
Figure DEST_PATH_IMAGE022
，其中，
Figure DEST_PATH_IMAGE024
表示超参数，
Figure DEST_PATH_IMAGE026
表示与时间序列相关的函数模型，也即为到第k个滑窗时的卷积长度，
Figure DEST_PATH_IMAGE028
表示第k个滑窗对应的整体锈蚀区域面积，
Figure DEST_PATH_IMAGE030
表示第k个滑窗所对应的整体锈蚀区域的灰度均值，
步骤S003，获取下一时间人防门所处的实时环境参数，将其输入训练好的TCN预测网络得到下一时间人防门的整体锈蚀区域的面积预测值和灰度均值预测值，由面积预测值和灰度均值预测值对人防门进行锈蚀程度的计量。
具体的，获取下一时间人防门所处的实时环境参数，将其输入训练好的TCN预测网络中得到下一时间人防门的整体锈蚀区域的面积预测值和整体锈蚀区域的灰度均值预测值，结合面积预测值和灰度均值预测值计算下一时间人防门的锈蚀程度，即
Figure DEST_PATH_IMAGE032
，其中
Figure DEST_PATH_IMAGE034
为锈蚀程度，
Figure DEST_PATH_IMAGE036
为面积预测值，
Figure DEST_PATH_IMAGE038
为灰度均值预测值。设置锈蚀程度阈值，当锈蚀程度大于锈蚀程度阈值时，进行预警，以提醒工作人员对人防门进行及时维护。
综上所述，本发明实施例提供了一种人防门锈蚀状态检测方法，该方法通过采集传感器获取不同环境状态的环境参数以及该环境下人防门的锈蚀区域面积和锈蚀区域所对应的灰度均值；将环境参数、锈蚀区域面积和灰度均值作为训练样本，以对TCN预测网络进行训练，将采集的实时环境参数通过训练好的TCN预测网络预测得到锈蚀区域面积的预测值和灰度均值预测值，以计量人防门的锈蚀程度。利用光学手段来测试或分析材料，具体是利用红外镜头采集红外图像，以根据红外图像反映的能量辐射大小为对应RGB图像中的像素点分配权重，使得预测的锈蚀区域的面积和对应像素点的灰度值更准确，从而提高了锈蚀程度的计量结果的严谨性，实现新材料检测。
基于与上述方法相同的发明构思，本发明实施例还提供了一种人防门锈蚀状态检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述一种人防门锈蚀状态检测方法中任意一项所述方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种人防门锈蚀状态检测方法，其特征在于，该方法包括：
分别采集人防门在开启状态下连轴处的第一RGB图像和对应的第一红外图像，以及关闭状态下人防门表面的第二RGB图像和对应的第二红外图像；分别对所述第一RGB图像和所述第二RGB图像进行灰度化处理得到第一灰度图像和第二灰度图像，将所述第一灰度图像和所述第一红外图像输入锈蚀区域检测网络中得到所述连轴处的第一锈蚀识别图像、将所述第二灰度图像和所述第二红外图像输入所述锈蚀区域检测网络中得到所述人防门表面的第二锈蚀识别图像；根据所述第一锈蚀识别图像和所述第二锈蚀识别图像获取人防门的整体锈蚀区域面积以及整体锈蚀区域对应的灰度均值；
基于连续的时间序列，获取多个历史时间下人防门所处的环境参数，分别将每个所述环境参数和其对应环境下人防门的所述整体锈蚀区域面积、‘所述灰度均值构成一个训练样本，得到多个所述训练样本；利用所述训练样本对TCN预测网络进行训练；
获取下一时间人防门所处的实时环境参数，将其输入训练好的所述TCN预测网络得到所述下一时间人防门的整体锈蚀区域的面积预测值和灰度均值预测值，由所述面积预测值和所述灰度均值预测值对人防门进行锈蚀程度的计量。
2.如权利要求1所述的方法，其特征在于，所述锈蚀区域检测网络为：
所述锈蚀区域检测网络分为两个网络分支，两个网络分支的输入分别为红外图像和灰度图像，红外图线所对应的网络分支的分支结构为编码器-解码器，灰度图像所对应的网络分支的分支结构为编码器；将两个网络分支的输出通过CAM算法进行特征图的合成，对合成特征图经过解码器进行上采样获取与原图等大的锈蚀识别图像；
所述锈蚀区域检测网络的损失函数为交叉熵损失函数和均方差损失函数。
3.如权利要求2所述的方法，其特征在于，所述第一锈蚀识别图像的获取方法，包括：
将所述第一红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；
将所述第一灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；
将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第一锈蚀识别图像。
4.如权利要求2所述的方法，其特征在于，所述第二锈蚀识别图像的获取方法，包括：
将所述第二红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；
将所述第二灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；
将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第二锈蚀识别图像。
5.如权利要求1所述的方法，其特征在于，所述人防门的整体锈蚀区域面积的获取方法，包括：
由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域所对应的第一面积；由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域所对应的第二面积；将所述第一面积和所述第二面积进行相加得到人防门的所述整体锈蚀区域面积。
6.如权利要求1所述的方法，其特征在于，所述整体锈蚀区域对应的灰度均值的方法，包括：
由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述连轴处的锈蚀区域所对应的第一灰度均值；
由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述人防门表面的锈蚀区域所对应的第二灰度均值；
计算所述第一灰度均值和所述第二灰度均值之间的平均值，将所述平均值作为整体锈蚀区域的所述灰度均值。
7.如权利要求1所述的方法，其特征在于，所述锈蚀程度的计量方法，包括：
将所述面积预测值和所述灰度均值预测值进行相加得到所述锈蚀程度。
8.一种人防门锈蚀状态检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述方法的步骤。
CN202111655622.4A 2021-12-31 2021-12-31 一种人防门锈蚀状态检测系统及方法 Active CN114529779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111655622.4A CN114529779B (zh) 2021-12-31 2021-12-31 一种人防门锈蚀状态检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111655622.4A CN114529779B (zh) 2021-12-31 2021-12-31 一种人防门锈蚀状态检测系统及方法

Publications (2)

Publication Number Publication Date
CN114529779A true CN114529779A (zh) 2022-05-24
CN114529779B CN114529779B (zh) 2023-04-07

Family

ID=81620020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111655622.4A Active CN114529779B (zh) 2021-12-31 2021-12-31 一种人防门锈蚀状态检测系统及方法

Country Status (1)

Country Link
CN (1) CN114529779B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN114964388A (zh) * 2022-08-02 2022-08-30 托伦斯半导体设备启东有限公司 基于光学技术的渣浆泵外壳材料缺陷检测方法
CN115100203A (zh) * 2022-08-25 2022-09-23 山东振鹏建筑钢品科技有限公司 一种钢筋打磨除锈质量检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226033A1 (en) * 2007-10-15 2009-09-10 Sefcik Jason A Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
CN108717586A (zh) * 2018-05-10 2018-10-30 江南大学 一种基于长短时记忆网络的水产养殖环境溶解氧预测方法
CN108760739A (zh) * 2018-05-30 2018-11-06 天仁民防建筑工程设计有限公司 一种人防门锈蚀状态检测系统及方法
CN110033431A (zh) * 2019-02-26 2019-07-19 北方工业大学 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN112418529A (zh) * 2020-11-24 2021-02-26 江苏巨数智能科技有限公司 基于lstm神经网络的户外广告在线倒塌预测方法
US20210192748A1 (en) * 2019-12-18 2021-06-24 Zoox, Inc. Prediction on top-down scenes based on object motion
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113450328A (zh) * 2021-06-29 2021-09-28 汕头大学 基于改进神经网络的医学图像关键点检测方法及系统
CN113569943A (zh) * 2021-07-26 2021-10-29 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置
US20210374931A1 (en) * 2020-05-29 2021-12-02 Adobe Inc. Hierarchical multiclass exposure defects classification in images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226033A1 (en) * 2007-10-15 2009-09-10 Sefcik Jason A Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
CN108717586A (zh) * 2018-05-10 2018-10-30 江南大学 一种基于长短时记忆网络的水产养殖环境溶解氧预测方法
CN108760739A (zh) * 2018-05-30 2018-11-06 天仁民防建筑工程设计有限公司 一种人防门锈蚀状态检测系统及方法
CN110033431A (zh) * 2019-02-26 2019-07-19 北方工业大学 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
US20210192748A1 (en) * 2019-12-18 2021-06-24 Zoox, Inc. Prediction on top-down scenes based on object motion
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
US20210374931A1 (en) * 2020-05-29 2021-12-02 Adobe Inc. Hierarchical multiclass exposure defects classification in images
CN112418529A (zh) * 2020-11-24 2021-02-26 江苏巨数智能科技有限公司 基于lstm神经网络的户外广告在线倒塌预测方法
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113450328A (zh) * 2021-06-29 2021-09-28 汕头大学 基于改进神经网络的医学图像关键点检测方法及系统
CN113569943A (zh) * 2021-07-26 2021-10-29 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴魁等: "基于LSTM的风洞设备健康状态评估方法研究", 《计算机测量与控制》 *
彭小飞等: "复杂条件下小目标检测算法研究", 《智能计算机与应用》 *
杨根等: "红外运动目标的灰度分层检测算法", 《红外与激光工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN114964388A (zh) * 2022-08-02 2022-08-30 托伦斯半导体设备启东有限公司 基于光学技术的渣浆泵外壳材料缺陷检测方法
CN114964388B (zh) * 2022-08-02 2022-10-21 托伦斯半导体设备启东有限公司 基于光学技术的渣浆泵外壳材料缺陷检测方法
CN115100203A (zh) * 2022-08-25 2022-09-23 山东振鹏建筑钢品科技有限公司 一种钢筋打磨除锈质量检测方法
CN115100203B (zh) * 2022-08-25 2022-11-18 山东振鹏建筑钢品科技有限公司 一种钢筋打磨除锈质量检测方法

Also Published As

Publication number Publication date
CN114529779B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114529779B (zh) 一种人防门锈蚀状态检测系统及方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN105678332B (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN112180375B (zh) 一种基于改进的TrajGRU网络的气象雷达回波外推方法
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN113808174B (zh) 基于全卷积网络和卡尔曼滤波的雷达小目标跟踪方法
Jing et al. HPRNN: A hierarchical sequence prediction model for long-term weather radar echo extrapolation
CN110889843B (zh) 基于最大稳定极值区域的sar图像舰船目标检测方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN111141653B (zh) 一种基于神经网络的隧道渗漏速率预测方法
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN112508245A (zh) 基于人工智能光伏电池板玻璃破损发电量预测方法及系统
CN117789037A (zh) 作物生长期预测方法及装置
CN111624606B (zh) 一种雷达图像降雨识别方法
Yaru et al. Algorithm of fingerprint extraction and implementation based on OpenCV
CN117237851A (zh) 基于红外可见光联合探测的视频目标跟踪方法及系统
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
CN112434590B (zh) 一种基于小波变换的sar影像风条纹识别方法
CN112085779A (zh) 一种波浪参数估算方法及装置
CN114283296B (zh) 一种基于结构相似度的目标识别自评估方法
CN117935125B (zh) 基于人工智能的智慧电梯行为识别方法
CN117079416B (zh) 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117593300B (zh) 一种pe管材裂纹缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant