CN115439737A - 一种基于图像修复的铁路棚车车窗故障图像识别方法 - Google Patents

一种基于图像修复的铁路棚车车窗故障图像识别方法 Download PDF

Info

Publication number
CN115439737A
CN115439737A CN202211254426.0A CN202211254426A CN115439737A CN 115439737 A CN115439737 A CN 115439737A CN 202211254426 A CN202211254426 A CN 202211254426A CN 115439737 A CN115439737 A CN 115439737A
Authority
CN
China
Prior art keywords
image
fault
window
red frame
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211254426.0A
Other languages
English (en)
Other versions
CN115439737B (zh
Inventor
刘丹丹
马凌宇
秦昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202211254426.0A priority Critical patent/CN115439737B/zh
Publication of CN115439737A publication Critical patent/CN115439737A/zh
Application granted granted Critical
Publication of CN115439737B publication Critical patent/CN115439737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像修复的铁路棚车车窗故障图像识别方法，涉及图像处理技术领域，针对现有技术中将带红框的真实故障直接加入训练集，会导致识别精度低的问题。本申请利用图像自动识别的方式代替人工检测，提高检测效率、准确率。本申请将图像处理与深度学习算法应用到棚车车窗故障自动识别中，提高整体算法的稳定性及精度。本申请采用图像修复去除真实故障中的红框、人工ps故障、故障图像增强等方式解决故障图像与正常样本不均衡问题，模型的鲁棒性与稳定性明显提高。

Description

一种基于图像修复的铁路棚车车窗故障图像识别方法
技术领域
本发明涉及图像处理技术领域，具体为一种基于图像修复的铁路棚车车窗故障图像识别方法。
背景技术
铁路货车棚车车窗故障是一种频发故障，发生后造成残车，严重影响车辆周转与贵重货物的运输，相关部门特别重视。在车窗故障检测中，采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。
深度学习多目标检测进行故障检测均面临着正负样本严重不均衡问题且真实故障图像中带红框等干扰信息，由于带红框干扰，这种图中的故障目标与线上真实产生的故障的区别是红框，红框由不同人标记产生的特征很随机造成了对故障部件遮挡程度不同。若直接加入训练会将不同遮挡的故障当做故障目标来训练优化，目标设定错误，造成模型精确度低。
发明内容
本发明的目的是：针对现有技术中将带红框的真实故障直接加入训练集，会导致识别精度低的问题，提出一种基于图像修复的铁路棚车车窗故障图像识别方法。
本发明为了解决上述技术问题采取的技术方案是：
一种基于图像修复的铁路棚车车窗故障图像识别方法，包括以下步骤：
步骤一：获取铁路棚车车窗部件粗定位图像；
步骤二：利用铁路棚车车窗故障图像识别模型对铁路棚车车窗部件粗定位图像进行多目标检测；
步骤三：根据多目标检测结果判定是否发生车窗脱落或丢失故障；
铁路棚车车窗故障图像识别模型利用样本数据集训练得到，样本数据集包括灰度图像子集和标记图像子集，灰度图像子集包括无故障车窗粗定位图像、包含真实故障的车窗粗定位图像、去红框后的真实故障图像、人工ps故障后的车窗粗定位图像；
去红框后的真实故障图像获取步骤为：
步骤1：获取带红框的真实故障图像，并将带红框的真实故障图中的所占区域进行提取，得到Mask图；
步骤2：对Mask图进行膨胀处理；
步骤3：对膨胀处理后的Mask图中的白色区域进行修复，得到去红框后的真实故障图像。
进一步的，带红框的真实故障图中的红框区域通过RGB通道提取或HSV颜色空间进行提取；
RGB通道提取的具体步骤为：
在带红框的真实故障图像的红色通道中设置灰度值阈值，保留灰度值大于该阈值的像素点，保留下来的像素点所构成的图像即为Mask图；
HSV颜色空间提取的具体步骤为：
首先将带红框的真实故障图像RGB转换到HSV颜色空间，然后在HSV空间按照红色阈值范围内进行红色像素的掩模构造，即得到红框的位置，在带红框的真实故障图像中提取出红框的位置后，得到的图像即为Mask图。
进一步的，步骤3中对Mask图中的白色区域进行修复的具体步骤为：
先将膨胀后的Mask图取反，然后和带红框的真实故障图像点乘，得到带有mask的彩色图像，之后将带有mask的彩色图像和膨胀后的Mask图基于通道进行叠加，得到一个4通道的图片，最后将4通道的图片输入lama模型中；
4通道的图片在lama模型中首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样，输出修复后的去红框图像；
其中，在快速傅立叶卷积处理的过程中，将输入tensor基于通道分为2部分分别通过local分支和global分支，local分支用于提取局部信息，global分支用于利用快速傅立叶卷积提取全局信息；
最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到红框区域的新灰度信息，即修复后的区域。
进一步的，步骤一中获取铁路棚车车窗部件粗定位图像的具体步骤为：
步骤一一：获取铁路棚车线阵车体侧部工位图像；
步骤一二：将铁路棚车线阵车体侧部工位图像拆分成互相重合的N个子图；
步骤一三：将N个子图的长宽各缩放为原来的1/nn，得到缩小后的子图；
步骤一四：判断缩小后的子图的平均灰度是否小于阈值，若小于阈值，则对缩小后的子图进行图像增强，并执行步骤一五，否则直接执行步骤一五；
步骤一五：对子图进行自适应阈值二值化处理，并找到符合车门滑道长度、宽度轮廓的区域；
步骤一六：根据符合车门滑道长度、宽度轮廓的区域并结合先验知识得到铁路棚车车窗部件粗定位图像；
nn取2、4或8。
进一步的，互相重合的N个子图的重合宽度为车门滑道宽度的0.5倍。
进一步的，车门滑道宽度通过统计各探测站数据最大值获得。
进一步的，步骤一四中图像增强的具体步骤为：
将缩小后的子图的灰度均值统一校正；
校正具体表示为：
GrayNew＝gray*(grayB/graymean)
其中，gray为待处理小子图的原始灰度值；graymean为当待处理小子图的灰度均值，GrayNew为校正后的新灰度值，grayB为校正后的灰度均值。
进一步的，步骤一五的具体步骤为：
对子图进行自适应阈值二值化处理，阈值取自相邻区域的平均值减去C；邻域大小设置为车门滑道的高度H*1/nn，C值通过分析车门滑道与邻近部件亮度差异大小2C获得。
进一步的，样本数据集通过数据扩增得到。
进一步的，数据扩增包括图像的旋转、平移、缩放、镜像。
本发明的有益效果是：
1、利用图像自动识别的方式代替人工检测，提高检测效率、准确率。
2、将图像处理与深度学习算法应用到棚车车窗故障自动识别中，提高整体算法的稳定性及精度。
3、时间与计算资源的限制了直接在整个工位图上进行故障检测。本申请先粗略定位车窗后再进行故障检测，解决了检测目标在待检测图中特别不显著问题，降低了对硬件的要求而且明显提高了自动识别效率及准确率。
4、本申请采用图像修复去除真实故障中的红框、人工ps故障、故障图像增强等方式解决故障图像与正常样本不均衡问题，模型的鲁棒性与稳定性明显提高。
5、不同探测站在图像亮度、对比度方面差异多，影响了故障检测的准确率与误报率。本申请在图像粗定位与多目标检测前，对图像进行亮度增强预处理，系统泛化能力好。
附图说明
图1为故障识别流程图；
图2为粗定位流程图；
图3为去红框流程图；
图4为lama模型图像去红框前后图像；
图5为车体侧部工位图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式红框的一种基于图像修复的铁路棚车车窗故障图像识别方法，包括以下步骤：
步骤一：获取铁路棚车车窗部件粗定位图像；
步骤二：利用铁路棚车车窗故障图像识别模型对铁路棚车车窗部件粗定位图像进行多目标检测；
步骤三：根据多目标检测结果判定是否发生车窗脱落或丢失故障；
铁路棚车车窗故障图像识别模型利用样本数据集训练得到，样本数据集包括灰度图像子集和标记图像子集，灰度图像子集包括无故障车窗粗定位图像、包含真实故障的车窗粗定位图像、去红框后的真实故障图像、人工ps故障后的车窗粗定位图像；
去红框后的真实故障图像获取步骤为：
步骤1：获取带红框的真实故障图像，并将带红框的真实故障图中的所占区域进行提取，得到Mask图；
步骤2：对Mask图进行膨胀处理；
步骤3：对膨胀处理后的Mask图中的白色区域进行修复，得到去红框后的真实故障图像。
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是带红框的真实故障图中的红框区域通过RGB通道提取或HSV颜色空间进行提取；
RGB通道提取的具体步骤为：
在带红框的真实故障图像的红色通道中设置灰度值阈值，保留灰度值大于该阈值的像素点，保留下来的像素点所构成的图像即为Mask图；
HSV颜色空间提取的具体步骤为：
首先将带红框的真实故障图像RGB转换到HSV颜色空间，然后在HSV空间按照红色阈值范围内进行红色像素的掩模构造，即得到红框的位置，在带红框的真实故障图像中提取出红框的位置后，得到的图像即为Mask图。
具体实施方式三：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤3中对Mask图中的白色区域进行修复的具体步骤为：
先将膨胀后的Mask图取反，然后和带红框的真实故障图像点乘，得到带有mask的彩色图像，之后将带有mask的彩色图像和膨胀后的Mask图基于通道进行叠加，得到一个4通道的图片，最后将4通道的图片输入lama模型中；
4通道的图片在lama模型中首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样，输出修复后的去红框图像；
其中，在快速傅立叶卷积处理的过程中，将输入tensor基于通道分为2部分分别通过local分支和global分支，local分支用于提取局部信息，global分支用于利用快速傅立叶卷积提取全局信息；
最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到红框区域的新灰度信息，即修复后的区域。
其中，取反后，Mask图中白色的像素变黑，黑色的变白，取反后的结果与带标注区域的真实故障图像点乘，按通道与取反后的Mask图像点乘：
c(:,:,1)＝＝c(:,:,1).*Mask_inver/255；
c(:,:,2)＝c(:,:,2).*Mask_inver/255；
c(:,:,3)＝c(:,:,3).*Mask_inver/255。
具体实施方式四：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤一中获取铁路棚车车窗部件粗定位图像的具体步骤为：
步骤一一：获取铁路棚车线阵车体侧部工位图像；
步骤一二：将铁路棚车线阵车体侧部工位图像拆分成互相重合的N个子图；
步骤一三：将N个子图的长宽各缩放为原来的1/nn，得到缩小后的子图；
步骤一四：判断缩小后的子图的平均灰度是否小于阈值，若小于阈值，则对缩小后的子图进行图像增强，并执行步骤一五，否则直接执行步骤一五；
步骤一五：对子图进行自适应阈值二值化处理，并找到符合车门滑道长度、宽度轮廓的区域；
步骤一六：根据符合车门滑道长度、宽度轮廓的区域并结合先验知识得到铁路棚车车窗部件粗定位图像；
所述nn取2、4或8。
具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是标注区域互相重合的N个子图的重合宽度为车门滑道宽度的0.5倍。
具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是标注区域车门滑道宽度通过统计各探测站数据最大值获得。
具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是标注区域步骤一四中图像增强的具体步骤为：
将缩小后的子图的灰度均值统一校正；
校正具体表示为：
GrayNew＝gray*(grayB/graymean)
其中，gray为待处理小子图的原始灰度值；graymean为当待处理小子图的灰度均值，GrayNew为校正后的新灰度值，grayB为校正后的灰度均值。
具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是标注区域步骤一五的具体步骤为：
对子图进行自适应阈值二值化处理，阈值取自相邻区域的平均值减去C；邻域大小设置为车门滑道的高度H*1/nn，C值通过分析车门滑道与邻近部件亮度差异大小2C获得。
具体实施方式九：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是标注区域样本数据集通过数据扩增得到。
具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是数据扩增包括图像的旋转、平移、缩放、镜像。
分别在货车轨道周围搭建高清成像设备，货车通过设备后，获取高清图像。采用高级图像处理方法，对车体侧部工位图中的车窗部件进行粗定位。使用训练好的深度学习模型对车窗粗定位图像进行多目标检测，对检测结果进行故障分析，判断其是否发生车窗脱落或丢失故障。对发生故障的车窗部件进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。用于训练的整体数据包含去红框修复后的真实故障图像、人工ps模拟故障图像、故障增强图像。车窗所在的车体侧部工位图图像宽度可达几万像素，直接处理会导致内存溢出，本申请采用先粗定位再对小图进行故障检测方式。
采用图像自动识别的方式可提高检测效率和稳定性。近几年，图像处理与人工智能不断发展，在技术上不断成熟。因而，采用图像处理进行棚车车窗故障识别，可以有效提高检测准确率。
1、车窗部件粗定位
车窗所在原始工位图像宽度达几万像素，因相机拍摄角度、车速突变等原因导致其在图像中位置不固定，只能整个工位区域全部检测。若将整个工位图直接进行深度学习多目标检测推理，对硬件要求极高，程序会直接报内存溢出。本系统采用如下方式对车窗部件进行粗定位后在进行后续故障检测。本申请首先通过找到车门滑道产生的黑色阴影区的稳定特征定位车门滑道，然后结合车窗与车门滑道间相互关系的先验完成车窗部件的粗定位。
首先，原始图像拆分成互相重合的N份，为了避免用于定位的车门滑到无法在任何一张子图中的情况发生，相邻2份之间有重合。重合宽度为车门滑道宽度的0.5倍，车门滑道宽度通过统计各探测站数据最大值获得。
其次，将拆分后的小子图长宽各缩放为原来的1/nn可有效提高定位车门滑道的速度。每份缩小的子图用图像预处理将图像增强。有的探测站原始图像特别黑，人眼都难以区分是否故障。当前待处理小子图，Imgori平均灰度小于grayA时，对其图像增强，将亮度均值统一调整为grayB的图像ImgWhite。灰度校正公式如下：
GrayNew＝gray*(grayB/graymean)
其中，gray为待处理小子图的原始灰度值；graymean为当待处理小子图的灰度均值，GrayNew为校正后的新灰度值。
然后对图像校正后图像ImgWhite进行自适应阈值二值化。对二值图像进行找轮廓。找到符合车门滑道长度、宽度要求的区域。此步骤中的自适应阈值二值化减少其它亮度与车门滑道类似而造成的干扰，阈值取自相邻区域的平均值减去C；邻域大小设置为车门滑道的高度H*1/nn，nn可取值为2、4或8，C值通过分析车门滑道与邻近部件亮度差异大小2C获得。
最后用定位到的车门滑道并结合先验知识获得车窗的粗定位图像。车行方向的左右两侧各有2张车体侧部工位图像；每张车体侧部工位图像经得到2张车窗粗定位图像；无故障的车窗粗定位图像有2个正常车窗。
2、建立样本数据集与多目标检测模型训练
分别在货车轨道周围搭建高清设备，货车通过设备后，获取高清图像。图像为清晰的灰度图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，车窗图像之间千差万别。所以，在收集车窗图像数据的过程中，要保证多样性，尽量将各种条件下的车窗图像全部收集。
样本数据集包括：灰度图像集与标记图像集。灰度图像集为无故障车窗粗定位图像、带真实故障的车窗粗定位图像、图像修复去红框后的真实图像、人工ps故障后的车窗粗定位图像。标记图像集为车窗部件的标记xml文件，通过人工标记的方式获取，里面记录着多类目标的类别与位置。灰度图像数据集与标记xml数据集之间是一一对应的，即每个车窗粗定位灰度图像对应一个标记xml。
深度学习多目标检测进行故障检测均面临着正负样本严重不均衡问题且真实故障图像中带红框等干扰信息，无法直接作为图像训练集使用。真实故障图像中带红框等干扰信息，无法直接作为图像训练集使用。为解决这一问题，需去掉真实故障图像中的红框。长期以来，大量的研究人员一直在研究如何更好地移除画面中的元素，并将其正确地替换背景，这个任务也称为图像修复。本申请图像修复包含3种方式：人工ps掉红框、传统图像处理方式去掉红框、深度学习方式去掉红框。
人工ps掉红框可根据具体需求进行，但得到无红框图像的效率太慢，可在待处理图像少的情况使用。本申请优首先用传统图像处理与深度学习方式去除红框；人工核对筛选出效果不理想的再考虑人工ps进行去红框。整个去红框的过程兼顾得到用于训练的故障图像获取的质量与效率。
对原始图像RGB进行红框提取得到Mask图。进行红框提取有RGB通道直接提取与HSV颜色空间提取两种方式。红色通道中灰度值明显特征，设置阈值Th即可大致提取红框所在区域为白色的Mask图；先将原始图像RGB转换到HSV颜色空间，然后在HSV空间按照红色阈值范围内进行红色像素的掩模构造即得到了红框的位置。HSV虽然无法清晰分割出红框，但是提取红框的位置却是非常准确的，虽然显示红色不完善而且模糊，但是它的好处是不会把非红色内容显示出来。
对Mask图膨胀得膨胀Mask图。膨胀就是求局部最大值的操作，核B与图形卷积，即计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。膨胀Mask图中包含完整的红框区域。
对膨胀Mask图中的白色区域用图像处理方式或深度学习方式进行修复。图像处理方式采用FMM算法。深度学习方式采用lama模型。经修复后的彩色图像经颜色空间转换为灰度图像即可用于训练。
图像处理方式修复去红框采用FMM算法。FMM算法基于的思想是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。对于需要修复的一个点p，我们需要的是用该点邻域中的所有点计算p点的新灰度值，用权值函数来决定哪些像素的值对新像素值影响更大，哪些比较小。用快速行进方法Fast Marching Method(FMM)决定修复像素点的顺序。
深度学习方式用lama模型。原始带红框图像为RBG的3通道图，膨胀Mask图为单通道图像，先将膨胀Mask图取反和带红框图像相乘，得到带有mask的彩色图像。然后将其和膨胀Mask图基于通道进行叠加，得到一个4通道的图片。网络会首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样输出修复后的去红框图像。其中，在FFC的处理过程中，会将输入tensor基于通道分为2部分分别走2个不同的分支。一个分支负责提取局部信息，称为local分支。另一个分支负责提取全局信息，称为global分支。在global分支中会使用FFC提取全局特征。最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，获取原红框区域的新灰度信息，得到最终的输出结果。
本申请基于待修复图像在红框在红色通道中灰度值明显特征，设置阈值Th即可大致提取红框所在区域为白色的Mask图；经大核形态学膨胀后得到用于最终lama待修复的训练掩码mask。lama的主要创新点为：提出一种新的修复网络结构，使用快速傅立叶卷积，具有图像宽接收域，高感受野感知损失，较大的训练掩码(mask)，可以有效提升前两个组件的性能潜力。其可以很好地泛化到比训练时更高的分辨率图像，以较低的参数量和计算成本实现与基准相媲美的性能。
LaMa算法主要思想：1.使用快速傅立叶卷积(FFC)增大感受野来提升图像修复的质量；2.FFC中的偏置使得网络泛化性更好(低分辨率图片训练也能对高分辨率图片进行修复)；3.使用较大的mask进行训练，进一步提升网络的性能。lama模型架构为：其包含一个mask的黑白图，一张原始图像；将掩码图覆盖图像后输入Inpainting网络中，先是降采样到低分辨率，再经过几个快速傅里叶卷积FFC残差块，最后输出上采样，生成了一张高分辨的修复图像。FFC的这一特性提高了感知质量和网络参数效率。FFC的归纳偏好使得网络能够得到高分辨率，这在训练期间是不存在的。FFC减少了所需的训练数据量和计算量。
样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
建立完样本数据集后，用两阶段目标检测算法FasterRcnn进行多目标检测，ResNet-50-FPN主干网络。深度学习目标检测权重随机初始化，训练固定步数或损失函数小于阈值th后停止并保存权重系数。
3、车窗故障实时在线检测
将当前过车的车体侧部工位图像使用车窗粗定位后，经训练好的多目标检测网络推理出车窗粗定位区域的多类目标检测结果。车窗故障先、后目标均在粗定位图像中特征变得显著，整个系统的故障准确率与识别效率可得到有效提高。多类目标检测结果中1类为正常车窗，2类为车窗丢失后剩余的内窗，3类为车窗脱落后耷落在卡槽出的外窗。正常粗定位的区域有2个正常的车窗。如果有检测到大于阈值th1的3类目标报车窗脱落故障；如果有检测到大于阈值th2的2类目标报车窗丢失故障；如果车窗(包括脱落、丢失、正常且互不重合)个数小于2报车窗脱落故障。使用图像处理方式计算出故障框在原始图像中的位置，将故障位置与故障类型上传平台进行报警。当前车体侧部工位图识别完成后，则处理下一张车体侧部工位图像。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (10)

1.一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于包括以下步骤：
步骤一：获取铁路棚车车窗部件粗定位图像；
步骤二：利用铁路棚车车窗故障图像识别模型对铁路棚车车窗部件粗定位图像进行多目标检测；
步骤三：根据多目标检测结果判定是否发生车窗脱落或丢失故障；
所述铁路棚车车窗故障图像识别模型利用样本数据集训练得到，所述样本数据集包括灰度图像子集和标记图像子集，所述灰度图像子集包括无故障车窗粗定位图像、包含真实故障的车窗粗定位图像、去红框后的真实故障图像、人工ps故障后的车窗粗定位图像；
所述去红框后的真实故障图像获取步骤为：
步骤1：获取带红框的真实故障图像，并将带红框的真实故障图中的所占区域进行提取，得到Mask图；
步骤2：对Mask图进行膨胀处理；
步骤3：对膨胀处理后的Mask图中的白色区域进行修复，得到去红框后的真实故障图像。
2.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述带红框的真实故障图中的红框区域通过RGB通道提取或HSV颜色空间进行提取；
所述RGB通道提取的具体步骤为：
在带红框的真实故障图像的红色通道中设置灰度值阈值，保留灰度值大于该阈值的像素点，保留下来的像素点所构成的图像即为Mask图；
所述HSV颜色空间提取的具体步骤为：
首先将带红框的真实故障图像RGB转换到HSV颜色空间，然后在HSV空间按照红色阈值范围内进行红色像素的掩模构造，即得到红框的位置，在带红框的真实故障图像中提取出红框的位置后，得到的图像即为Mask图。
3.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述步骤3中对Mask图中的白色区域进行修复的具体步骤为：
先将膨胀后的Mask图取反，然后和带红框的真实故障图像点乘，得到带有mask的彩色图像，之后将带有mask的彩色图像和膨胀后的Mask图基于通道进行叠加，得到一个4通道的图片，最后将4通道的图片输入lama模型中；
所述4通道的图片在lama模型中首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样，输出修复后的去红框图像；
其中，在快速傅立叶卷积处理的过程中，将输入tensor基于通道分为2部分分别通过local分支和global分支，所述local分支用于提取局部信息，所述global分支用于利用快速傅立叶卷积提取全局信息；
最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到红框区域的新灰度信息，即修复后的区域。
4.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述步骤一中获取铁路棚车车窗部件粗定位图像的具体步骤为：
步骤一一：获取铁路棚车线阵车体侧部工位图像；
步骤一二：将铁路棚车线阵车体侧部工位图像拆分成互相重合的N个子图；
步骤一三：将N个子图的长宽各缩放为原来的1/nn，得到缩小后的子图；
步骤一四：判断缩小后的子图的平均灰度是否小于阈值，若小于阈值，则对缩小后的子图进行图像增强，并执行步骤一五，否则直接执行步骤一五；
步骤一五：对子图进行自适应阈值二值化处理，并找到符合车门滑道长度、宽度轮廓的区域；
步骤一六：根据符合车门滑道长度、宽度轮廓的区域并结合先验知识得到铁路棚车车窗部件粗定位图像；
所述nn取2、4或8。
5.根据权利要求4所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述互相重合的N个子图的重合宽度为车门滑道宽度的0.5倍。
6.根据权利要求5所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述车门滑道宽度通过统计各探测站数据最大值获得。
7.根据权利要求6所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述步骤一四中图像增强的具体步骤为：
将缩小后的子图的灰度均值统一校正；
校正具体表示为：
GrayNew＝gray*(grayB/graymean)
其中，gray为待处理小子图的原始灰度值；graymean为当待处理小子图的灰度均值，GrayNew为校正后的新灰度值，grayB为校正后的灰度均值。
8.根据权利要求7所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述步骤一五的具体步骤为：
对子图进行自适应阈值二值化处理，阈值取自相邻区域的平均值减去C；邻域大小设置为车门滑道的高度H*1/nn，C值通过分析车门滑道与邻近部件亮度差异大小2C获得。
9.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述样本数据集通过数据扩增得到。
10.根据权利要求9所述的一种基于图像修复的铁路棚车车窗故障图像识别方法，其特征在于所述数据扩增包括图像的旋转、平移、缩放、镜像。
CN202211254426.0A 2022-10-13 2022-10-13 一种基于图像修复的铁路棚车车窗故障图像识别方法 Active CN115439737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211254426.0A CN115439737B (zh) 2022-10-13 2022-10-13 一种基于图像修复的铁路棚车车窗故障图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211254426.0A CN115439737B (zh) 2022-10-13 2022-10-13 一种基于图像修复的铁路棚车车窗故障图像识别方法

Publications (2)

Publication Number Publication Date
CN115439737A true CN115439737A (zh) 2022-12-06
CN115439737B CN115439737B (zh) 2023-04-21

Family

ID=84250490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211254426.0A Active CN115439737B (zh) 2022-10-13 2022-10-13 一种基于图像修复的铁路棚车车窗故障图像识别方法

Country Status (1)

Country Link
CN (1) CN115439737B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488542A (zh) * 2015-12-24 2016-04-13 福建星网锐捷安防科技有限公司 一种前景物体检测方法和设备
CN107230202A (zh) * 2017-05-16 2017-10-03 淮阴工学院 路面病害图像的自动识别方法和系统
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
US20210390704A1 (en) * 2020-06-10 2021-12-16 Ancestry.Com Operations Inc. Systems and methods for identifying and segmenting objects from images
CN114742698A (zh) * 2022-04-24 2022-07-12 天津大学 基于深度生成模型的威亚线擦除方法、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488542A (zh) * 2015-12-24 2016-04-13 福建星网锐捷安防科技有限公司 一种前景物体检测方法和设备
CN107230202A (zh) * 2017-05-16 2017-10-03 淮阴工学院 路面病害图像的自动识别方法和系统
US20210390704A1 (en) * 2020-06-10 2021-12-16 Ancestry.Com Operations Inc. Systems and methods for identifying and segmenting objects from images
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
CN114742698A (zh) * 2022-04-24 2022-07-12 天津大学 基于深度生成模型的威亚线擦除方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROMAN SUVOROV: "Resolution-robust Large Mask Inpainting with Fourier Convolutions", 《2022 IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *

Also Published As

Publication number Publication date
CN115439737B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN112967243B (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN112801972A (zh) 一种桥梁缺陷检测方法、设备、系统及存储介质
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN115546768A (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN111091551A (zh) 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN113326734A (zh) 一种基于YOLOv5的旋转目标检测方法
CN112288680A (zh) 汽车轮毂x射线图像的缺陷区域自动提取方法及系统
CN111369515A (zh) 一种基于计算机视觉的隧道水渍检测系统及方法
CN116612272A (zh) 一种图像处理智能数字化的检测系统及其检测方法
CN115439737A (zh) 一种基于图像修复的铁路棚车车窗故障图像识别方法
CN110889418A (zh) 一种气体轮廓识别方法
CN105721738A (zh) 一种彩色扫描文档图像预处理方法
CN111402185A (zh) 一种图像检测方法及装置
CN111583341B (zh) 云台像机移位检测方法
CN115019306A (zh) 一种基于深度学习和机器视觉的包埋盒标签批量识别方法及系统
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN113505622A (zh) 一种自动识别多条码与led灯的测试系统及方法
Yang et al. CADNet: Top-down contextual saliency detection network for high spatial resolution remote sensing image shadow detection
CN117789039B (zh) 基于上下文信息区分利用的遥感图像目标检测方法
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant