CN116704316A - 基于阴影图像重构的变电站渗漏油检测方法、系统及介质 - Google Patents

基于阴影图像重构的变电站渗漏油检测方法、系统及介质 Download PDF

Info

Publication number
CN116704316A
CN116704316A CN202310966751.8A CN202310966751A CN116704316A CN 116704316 A CN116704316 A CN 116704316A CN 202310966751 A CN202310966751 A CN 202310966751A CN 116704316 A CN116704316 A CN 116704316A
Authority
CN
China
Prior art keywords
shadow
image
pixel
pixel point
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310966751.8A
Other languages
English (en)
Inventor
杜成龙
胡慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Kingscheme Information Technology Co ltd
Original Assignee
Sichuan Kingscheme Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Kingscheme Information Technology Co ltd filed Critical Sichuan Kingscheme Information Technology Co ltd
Priority to CN202310966751.8A priority Critical patent/CN116704316A/zh
Publication of CN116704316A publication Critical patent/CN116704316A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于阴影图像重构的变电站渗漏油检测方法、系统及介质，涉及机器视觉应用技术领域，本发明在现有的渗漏油检测技术基础上进行方法上的改进，先对图像进行预处理：先对图像进行阴影检测筛选出有阴影图像，将有阴影图像的阴影区域图像进行场景相关图像重构处理；构建以Densent为骨架的CNN网络结构，对实时图像进行预处理后输入目标检测模型中进行渗漏油检测；不仅保留了原始图像的完整性，避免去阴影带来的油污漏检现象，还通过场景相关图像重构技术淡化阴影，而保留阴影区域的原始细节，有效减轻阴影的干扰，提高变电站设备漏油检测精确度。

Description

基于阴影图像重构的变电站渗漏油检测方法、系统及介质
技术领域
本发明涉及机器视觉应用技术领域，具体涉及基于阴影图像重构的变电站渗漏油检测方法、系统及介质。
背景技术
变电站是整个电网的核心基础，与我们日常用电有着极大关联，因此，保证变电站一次设备安全、正常的运行具有极其重要的意义，其中主要需要监测的一次设备包括主变压器、油枕、散热片以及呼吸器等是否存在渗漏油的问题。但由于变电站现场环境较为复杂，如：设备之间相互遮挡、光照导致的投影等，给目标检测带来了极大的挑战；除此之外，还存在由于渗漏油的形状具有流体目标的不规则形、颜色在不同漏油程度呈现不同变化等问题。
近几年，变电站设备安全巡检中广泛应用到了视频监控技术。由于视频监控图像具有高效、便捷、精准的特点，在电力设备的在线监控中应用计算机视觉技术，将设备运行过程中的各类故障问题及时检测出来，可以有效减少人工巡检的人工消耗，确保对电厂设备监控有较高的质量和效率。
随着电子信息化技术的快速发展，数字图像识别技术逐步在变电站设备巡检中得到应用，在设备漏油检测中的应用也在近些年得到研究。现有的通过分析抓拍变电站的高清画面，自动识别异常图像并进行漏油渗油判定，由于变电站现场环境较为复杂，如：设备之间相互遮挡、光照导致的投影等造成光照阴影区域，由于油污区域与光照阴影区域极为相似，光照阴影区域易被误检为油污，因检测时未考虑这个因素，导致检测的精准度受到影响。
发明内容
本发明所要解决的技术问题是：现有的通过分析抓拍变电站的高清画面，自动识别异常图像并进行漏油渗油判定技术，在油污区域与光照阴影区域极为相似的情形下，光照阴影区域易被误检为油污，导致检测的精准度受到影响，本发明目的在于提供基于阴影图像重构的变电站渗漏油检测方法、系统及介质，在现有的渗漏油检测技术基础上进行方法上的改进，先对图像进行阴影检测筛选出有阴影图像，将有阴影图像的阴影区域图像进行场景相关图像重构处理，一方面保留了原始图像的完整性，避免去阴影带来的油污漏检现象，另一方面，还对阴影区域图像进行场景相关图像重构，通过场景相关图像重构技术淡化阴影，而保留阴影区域的原始细节，针对因图像中阴影存在造成的“误识别”问题，可以有效减轻阴影的干扰，提高变电站设备漏油检测精确度。
本发明通过下述技术方案实现：
本方案提供基于阴影图像重构的变电站渗漏油检测方法，包括：
获取变电站的历史图像数据；
对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
训练检测模型：构建以Densent为骨架的CNN网络结构，基于预处理后的历史图像数据训练CNN网络结构得到目标检测模型；
实时检测：采集变电站的实时图像，对实时图像进行预处理后输入目标检测模型中进行渗漏油检测。
本方案工作原理：现有通过分析抓拍变电站的高清画面，自动识别异常图像并进行漏油渗检测的技术存在问题：由于变电站现场环境较为复杂，如：设备之间相互遮挡、光照导致的投影等造成光照阴影区域，油污区域与光照阴影区域极为相似，光照阴影区域易被误检为油污，因检测时未考虑这个因素，导致检测的精准度受到影响。
为了减弱漏油检测中阴影的影响，有通过循环训练的方法减弱阴影对增强照片的干扰，也有先对需要检测的图片进行颜色填充去阴影处理后再检测的方式减弱阴影干扰，但是通过增加训练次数来减弱光照阴影对检测精度的影响，并没有从本质上解决阴影的影响；而当需要检测的图片阴影部分存在油污时，颜色填充去阴影处理时可能错误填充油污区域，同样也会影响漏油检测的精度。鉴于此，本方案提供一种变电站渗漏油检测方法，在现有的渗漏油检测技术基础上进行方法上的改进，先对图像进行阴影检测筛选出有阴影图像，将有阴影图像的阴影区域图像进行场景相关图像重构处理，一方面保留了原始图像的完整性，避免去阴影带来的油污漏检现象，另一方面，还对阴影区域图像进行场景相关图像重构，通过场景相关图像重构技术淡化阴影，而保留阴影区域的原始细节，针对因图像中阴影存在造成的“误识别”问题，可以有效减轻阴影的干扰，提高变电站设备漏油检测精确度。
为了减弱漏油检测中阴影的影响，可以检测出图像数据的阴影区域后进行去阴影处理，针对有阴影图像和其对应无阴影图像的阴影部分在颜色、亮度上存在不一的问题，运用颜色补偿机制，直接以对应无阴影图像的颜色进行填充或颜色转移以去除阴影区域，然而当阴影区域有油污时，直接填充去除阴影时，会误将油污去除，给检测过程引入更大的误差；因此本方案对有阴影图像的阴影区域图像进行场景相关图像重构处理，弥补阴影区域图像颜色的同时，保留阴影区域图像的细节，避免直接填充去除阴影时误删除油污；
为了减弱漏油检测中阴影的影响，还可以将整个图像数据进行调整重构的技术，以减弱阴影效果，但是在进行调整重构时，整个图像数据的光线较强或出现反光的非阴影区域会与阴影区域同步调整，导致光线较强或反光区域的油污也会难以辨识；因此本方案提供了一种新的技术构思：检测出图像数据的阴影区域和非阴影区域后，对图像数据的阴影区域和非阴影区域区别处理，只对阴影区域进行调整重构，淡化阴影的同时保留了原始图像的完整性，减弱了阴影带来的油污漏检现象。
进一步优化方案为，阴影检测的方法包括：
获取图像数据的RGB图和深度图，对RGB图进行多尺度分割，并基于深度图计算RGB图中各像素点的法向量和空间位置信息；所述多尺度分割可以按照像素点分割，分割图的尺度n×n表示分割图中有n×n个像素点，在进行多尺度选取时以倍数形式选取，尺度间呈倍数关系，如n×n，3n×3n，5n×56n,…。
基于各像素点的法向量和空间位置信息计算在不同尺度分割图上各像素点的阴影置信度；
基于训练好的分类器将阴影置信度融合得到阴影检测结果。
对于阴影检测任务,现有的检测方法一般都只考虑了图像的色度、纹理、亮度等信息,而忽略了图像的深度信息，深度信息可获取图像的光照方向、场景结构和空间坐标等信息；本方案根据光照方向、场景结构和空间坐标信息来计算在不同尺度分割图上各像素点的阴影置信度可以准确识别阴影，避免将油污区域误识别为阴影区域，保证阴影检测的准确度。
对RGB图像进行多尺度分割后再进行阴影置信度的计算, 降低了原始图像的维度,减少了阴影置信度计算的数据量，上利用色度、法线、空间坐标及亮度信息估计图像的阴影置信度，同时融合阴影置信度不仅提高了运行速度，也解决了图像阴影检测结果不完整的问题。
进一步优化方案为，像素点的阴影置信度的计算方法包括：
计算超像素分割图上每个像素的色度相似度、法线相似度和空间位置相似度：以像素点p为中心选取局部领域，局部领域/>上共L个像素点，任意选取像素点q用于计算像素点p的色度相似度：/>；
法线相似度：；
空间位置相似度：；
其中表示像素点p的色度，/>表示像素点q的色度, 色度表示强度标准化的颜色值；/>表示色度损失误差，/>表示像素点p的法线，/>表示像素点q的法线，/>表示法线损失误差；P表示像素点p的空间位置信息，Q表示像素点q的空间位置信息；
综合色度相似度、发现相似度和空间位置相似度得到像素点p的总体相似度
基于总体相似度计算像素点p的阴影置信度：；
其中，/>为像素点p 的灰度值。
进一步优化方案为，阴影置信度融合的方法包括：
S1，基于不同尺度分割图上各像素点的阴影置信度对各分割图进行阴影判决：像素点p的阴影置信度为[0,1]区间中的值，某个像素点的阴影置信度越大，则该点越有可能是阴影；当像素点p的阴影置信度/>超过阈值E，则判决像素点p为阴影像素；否则判决像素点p为非阴影像素；当分割图上出现的阴影像素数量超过阈值时，判定该分割图有阴影。
S2，计算各分割图的阴影置信度；/>为分割图i的阴影判决结果，/>为分割图i对应的权重；/>为分割图i的一个像素点；
S3，配置n个分类器模型，并将n个分类器模型进行并联融合，各个分类器模型的训练是相互独立的，每个分类器模型将阴影判决结果及分类器权重值d作为模型的输出；其中/>。
进一步优化方案为，场景相关图像重构的方法包括：
T1，裁剪出图像数据的阴影区域，先对阴影区域进行图像增强处理，然后将阴影区域转换为HSV 颜色空间，并分离出色度分量、饱和度分量和亮度分量；
T2，对亮度分量进行伽马校正得到校正图像层，对校正图像层进行双边滤波得到基本图像层，从校正图像层和基本图像层中分离出细节图像层；
T3，构建反色调映射函数对分细节图像层和校正图像层进行反色调映射操作得到重构亮度分量；
T4，将色度分量、饱和度分量和重构亮度分量融合得到重构图像。
进一步优化方案为，图像增强处理的方法包括：
T11，对阴影区域中的坐标点A, 以坐标点A为中心设置边长为W的矩形窗口；
T12，计算矩形窗口的直方图：P（r）=n（r）/W2；其中n为在矩形窗口中灰度级为r的像素数量；对直方图进行均衡化处理实现坐标点A的中心像素处理；
T13，移动矩形窗口以下一坐标点为中心，重复执行步骤T12直至实现阴影区域中所有坐标点的中心像素处理后，对阴影区域进行彩色图像RGB 各通道变换得到增强后的图像。
传统直方图均衡化的方法不适用于整个图像的增强，因为该方法忽视了图像中小区域细节的增强且对数据的处理不加选择，导致有可能将背景中干扰信息的对比度一同增加却降低有用信号的对比度，并且图像均衡化后灰度级的数量减少，一些细节数据也会丢失，因此本方案选取大小为W的局部矩形窗口分别以不同的坐标点为中心进行像素处理，就可以很好的避免细节数据的丢失。
进一步优化方案为，步骤T2包括以下子步骤：
T21，根据下式对校正图像层进行双边滤波：
；
其中，i和j分别为像素点的行坐标和列坐标，k,l分别为空间域和值域的领域范围内像素点的坐标，为加权系数，加权系数取决于空间域核和值域核的乘积；，/>为空间域损失误差,/>为值域损失误差；/>为校正图像层的像素点，/>为校正图像层在领域范围内的像素点，/>为基本图像层的像素点；
T22，用校正图像层的对应像素值减去基本图像层的对应像素值得到细节图像层的对应像素值。
进一步优化方案为，所述CNN网络结构中包含Transformer编码器，所述Transformer编码器用于在输入数据的语义信息特征图中添加可学习位置编码。
本方案还提供一种基于阴影图像重构的变电站渗漏油检测系统，用于实现上述的基于阴影图像重构的变电站渗漏油检测方法，包括：
采集模块，用于获取变电站的历史图像数据；
预处理模块，用于对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
训练检测模块，用于构建以Densent为骨架的CNN网络结构，并基于预处理后的图像训练CNN网络结构得到目标检测网络；
实时检测模块，用于采集变电站的实时图像，对实时图像进行预处理后输入目标检测网络中进行渗漏油检测。
本方案还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的基于阴影图像重构的变电站渗漏油检测方法。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提供的基于阴影图像重构的变电站渗漏油检测方法、系统及介质，在现有的渗漏油检测技术基础上进行方法上的改进，先对图像进行阴影检测筛选出有阴影图像，将有阴影图像的阴影区域图像进行场景相关图像重构处理，一方面保留了原始图像的完整性，避免去阴影带来的油污漏检现象，另一方面，还对阴影区域图像进行场景相关图像重构，通过场景相关图像重构技术淡化阴影，而保留阴影区域的原始细节，针对因图像中阴影存在造成的“误识别”问题，可以有效减轻阴影的干扰，提高变电站设备漏油检测精确度。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为基于阴影图像重构的变电站渗漏油检测方法流程示意图；
图2为基于阴影图像重构的变电站渗漏油检测系统结构示意图。
实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供基于阴影图像重构的变电站渗漏油检测方法，如图1所示，包括：
步骤一：获取变电站的历史图像数据；
步骤二：对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
阴影检测的方法包括：
获取图像数据的RGB图和深度图，对RGB图进行多尺度分割，并基于深度图计算RGB图中各像素点的法向量和空间位置信息；
基于各像素点的法向量和空间位置信息计算在不同尺度分割图上各像素点的阴影置信度；像素点的阴影置信度的计算方法包括：
计算超像素分割图上每个像素的色度相似度、法线相似度和空间位置相似度：以像素点p为中心选取局部领域，局部领域/>上共L个像素点，任意选取像素点q用于计算像素点p的
色度相似度：；
法线相似度：；
空间位置相似度：；
其中表示像素点p的色度，/>表示像素点q的色度,/>表示色度损失误差，/>表示像素点p的法线，/>表示像素点q的法线，/>表示法线损失误差；P表示像素点p的空间位置信息，Q表示像素点q的空间位置信息；
综合色度相似度、发现相似度和空间位置相似度得到像素点p的总体相似度
基于总体相似度计算像素点p的阴影置信度：；
其中，/>为像素点p 的灰度值。
基于训练好的分类器将阴影置信度融合得到阴影检测结果。
阴影置信度融合的方法包括：
S1，基于不同尺度分割图上各像素点的阴影置信度对各分割图进行阴影判决：像素点p的阴影置信度为[0,1]区间中的值，当阴影置信度/>超过阈值E，则判决像素点p为阴影像素；否则判决像素点p为非阴影像素；当分割图上出现的阴影像素数量超过阈值时，判定该分割图有阴影；
S2，计算各分割图的阴影置信度；/>为分割图i的阴影判决结果，/>为分割图i对应的权重；/>为分割图i的一个像素点；
S3，配置n个分类器模型，并将n个分类器模型进行并联融合，各个分类器模型的训练是相互独立的，每个分类器模型将阴影判决结果及分类器权重值d作为模型的输出；其中/>。
场景相关图像重构的方法包括：
T1，裁剪出图像数据的阴影区域，先对阴影区域进行图像增强处理，然后将阴影区域转换为HSV 颜色空间，并分离出色度分量、饱和度分量和亮度分量；
图像增强处理的方法包括：
T11，对阴影区域中的坐标点A, 以坐标点A为中心设置边长为W的矩形窗口；
T12，计算矩形窗口的直方图：P（r）=n（r）/W2；其中n为在矩形窗口中灰度级为r的像素数量；对直方图进行均衡化处理实现坐标点A的中心像素处理；
T13，移动矩形窗口以下一坐标点为中心，重复执行步骤T12直至实现阴影区域中所有坐标点的中心像素处理后，对阴影区域进行彩色图像RGB 各通道变换得到增强后的图像。
T2，对亮度分量进行伽马校正得到校正图像层，对校正图像层进行双边滤波得到基本图像层，从校正图像层和基本图像层中分离出细节图像层；
步骤T2包括以下子步骤：
T21，根据下式对校正图像层进行双边滤波：
；
其中，i和j分别为像素点的行坐标和列坐标，k,l分别为空间域和值域的领域范围内像素点的坐标，为加权系数，加权系数取决于空间域核和值域核的乘积；，/>为空间域损失误差,/>为值域损失误差；/>为校正图像层的像素点，/>为校正图像层在领域范围内的像素点，/>为基本图像层的像素点；
T22，用校正图像层的对应像素值减去基本图像层的对应像素值得到细节图像层的对应像素值。
T3，构建反色调映射函数对分细节图像层和校正图像层进行反色调映射操作得到重构亮度分量；
T4，将色度分量、饱和度分量和重构亮度分量融合得到重构图像。
步骤三：训练检测模型：构建以Densent为骨架的CNN网络结构，基于预处理后的历史图像数据训练CNN网络结构得到目标检测模型；
所述CNN网络结构中包含Transformer编码器，所述Transformer编码器用于在输入数据的语义信息特征图中添加可学习位置编码。
步骤四：实时检测：采集变电站的实时图像，对实时图像进行预处理后输入目标检测模型中进行渗漏油检测。
实施例2
现有的主流检测模型的视觉检测框架如Yolo系列主要是提取图像的特征，并没有考虑到图像语义或者像素之间的关联性，然而由于变电站的需要检测部件表面的渗漏油存在特征不明显、渗漏变化大，极容易出现模型训练不收敛的情况，以及现场应用时，模型鲁棒性较差的问题。
基于上一实施例，本实施例提供以Densent为骨架的CNN网络结构，训练检测模型的具体过程如下：
首先是图像输入和特征提取：原始图像的输入尺寸为3×800×1066被送入CNN网络（本实施例使用Densent作为Backbone的CNN网络结构），采用下采样了1/32之后，以获得具有2048×25×34的维度大小的语义信息特征图。
接着是位置编码和对象查询：由Transformer编码器处理输入的特征图，对于每个位置，加入可学习位置编码（设置为100，可根据实际修改），并将目标检测问题定义为从一组查询中对所有对象进行集合预测，对象查询是由Transformer网络中一个特定的嵌入层产生的可学习向量，用于区分兴趣或目标之间的差异。
接着是编解码器：给定对象查询和特征图，解码器生成每个目标的类别和位置预测，同时利用多头自注意力机制来比较对象查询和特征空间中的每个位置(称为位置嵌入)的相关性。
然后是输出预测：解码器的输出是每个目标类别和对应边界框的得分，以及每个目标对应的查询位置。
最后是模型的损失函数，损失函数包括两个部分：分类损失和预测框损失；
1）分类损失：与常规的目标检测模型相比，DETR将物体检测问题视为一个集合预测问题（predicting a set），即所有可能的物体作为一个集合被直接预测。此损失函数使用交叉熵作为每个物体的分类损失函数。它将ground truth的目标类别映射到得分最高的预测物体。
2）框预测损失：用于计算预测框和ground truth框之间的差异。此损失函数使用Smooth L1 Loss或l1 Loss对边界框坐标进行回归。整体损失函数依然是基于这两部分损失函数的加权组合，同时还会惩罚序列排序错误以及防止序列长度过长或者过短的情形。
本实施例中的DenseNet Transformer是一种基于Transformer架构的目标检测算法，它通过利用Transformer的注意力机制来解决目标检测中的匹配问题。它不需要使用传统目标检测方法中预定义的锚框或候选框，而是将目标检测任务视为一个集合预测问题，即将所有可能的目标视为一个集合，模型直接对整个集合进行预测。DensenNettransformer使用Densetnet作为backbone提取输入图像的特征，DenseNet相对于ResNet的改进在于它采用密集连接（dense connection）的方式，使得每一层的输出都直接传递给后续所有层，而不是像ResNet那样只传递给后续一层。这种密集连接的方式有助于缓解梯度消失问题，促进信息的传递和重复使用，使得网络更加深层和有效，同时具备更少的参数和更快的收敛速度。
在transformer中的位置编码和encoder中采用查询模式，考虑到了模型特征之间的语义关联性，能对变电站场景的渗漏油检测有不错的效果。
实施例3
本实施例提供一种基于阴影图像重构的变电站渗漏油检测系统，用于实现实施例1所述的基于阴影图像重构的变电站渗漏油检测方法，如图2所示，包括：
采集模块，用于获取变电站的历史图像数据；
预处理模块，用于对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
训练检测模块，用于构建以Densent为骨架的CNN网络结构，并基于预处理后的图像训练CNN网络结构得到目标检测网络；
实时检测模块，用于采集变电站的实时图像，对实时图像进行预处理后输入目标检测网络中进行渗漏油检测。
实施例4
本实施例提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如实施例1所述的基于阴影图像重构的变电站渗漏油检测方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于阴影图像重构的变电站渗漏油检测方法，其特征在于，包括：
获取变电站的历史图像数据；
对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
训练检测模型：构建以Densent为骨架的CNN网络结构，基于预处理后的历史图像数据训练CNN网络结构得到目标检测模型；
实时检测：采集变电站的实时图像，对实时图像进行预处理后输入目标检测模型中进行渗漏油检测。
2.根据权利要求1所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，阴影检测的方法包括：
获取图像数据的RGB图和深度图，对RGB图进行多尺度分割，并基于深度图计算RGB图中各像素点的法向量和空间位置信息；
基于各像素点的法向量和空间位置信息计算在不同尺度分割图上各像素点的阴影置信度；
基于训练好的分类器将阴影置信度融合得到阴影检测结果。
3.根据权利要求2所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，像素点的阴影置信度的计算方法包括：
计算超像素分割图上每个像素的色度相似度、法线相似度和空间位置相似度：以像素点p为中心选取局部领域，局部领域/>上共L个像素点，任意选取像素点q用于计算像素点p的
色度相似度：；
法线相似度：；
空间位置相似度：其中/>表示像素点p的色度，/>表示像素点q的色度,/>表示色度损失误差，/>表示像素点p的法线，/>表示像素点q的法线，/>表示法线损失误差；P表示像素点p的空间位置信息，Q表示像素点q的空间位置信息；
综合色度相似度、发现相似度和空间位置相似度得到像素点p的总体相似度；基于总体相似度计算像素点p的阴影置信度：/>；
其中，/>为像素点p 的灰度值，/>为阴影置信度可调参数。
4.根据权利要求3所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，阴影置信度融合的方法包括：
S1，基于不同尺度分割图上各像素点的阴影置信度对各分割图进行阴影判决：像素点p的阴影置信度为[0,1]区间中的值，当像素点p的阴影置信度/>超过阈值E，则判决像素点p为阴影像素；否则判决像素点p为非阴影像素；当分割图上出现的阴影像素数量超过阈值时，判定该分割图有阴影；
S2，计算各分割图的阴影置信度 ；/>为分割图i的阴影判决结果，/>为分割图i对应的权重；/>为分割图i的一个像素点；
S3，配置n个分类器模型，并将n个分类器模型进行并联融合，各个分类器模型的训练是相互独立的，每个分类器模型将阴影判决结果及分类器权重值d作为模型的输出；其中/>。
5.根据权利要求1所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，场景相关图像重构的方法包括：
T1，裁剪出图像数据的阴影区域，先对阴影区域进行图像增强处理，然后将阴影区域转换为HSV 颜色空间，并分离出色度分量、饱和度分量和亮度分量；
T2，对亮度分量进行伽马校正得到校正图像层，对校正图像层进行双边滤波得到基本图像层，从校正图像层和基本图像层中分离出细节图像层；
T3，构建反色调映射函数对分细节图像层和校正图像层进行反色调映射操作得到重构亮度分量；
T4，将色度分量、饱和度分量和重构亮度分量融合得到重构图像。
6.根据权利要求5所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，图像增强处理的方法包括：
T11，对阴影区域中的坐标点A, 以坐标点A为中心设置边长为W的矩形窗口；
T12，计算矩形窗口的直方图：P（r）=n（r）/W2；其中n为在矩形窗口中灰度级为r的像素数量；对直方图进行均衡化处理实现坐标点A的中心像素处理；
T13，移动矩形窗口以下一坐标点为中心，重复执行步骤T12直至实现阴影区域中所有坐标点的中心像素处理后，对阴影区域进行彩色图像RGB 各通道变换得到增强后的图像。
7.根据权利要求5所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，步骤T2包括以下子步骤：
T21，根据下式对校正图像层进行双边滤波：
；
其中，i和j分别为像素点的行坐标和列坐标，k,l分别为空间域和值域的领域范围内像素点的坐标，为加权系数，加权系数取决于空间域核和值域核的乘积；，/>为空间域损失误差,/>为值域损失误差；/>为校正图像层的像素点，/>为校正图像层在领域范围内的像素点，/>为基本图像层的像素点；
T22，用校正图像层的对应像素值减去基本图像层的对应像素值得到细节图像层的对应像素值。
8.根据权利要求1所述的基于阴影图像重构的变电站渗漏油检测方法，其特征在于，所述CNN网络结构中包含Transformer编码器，所述Transformer编码器用于在输入数据的语义信息特征图中添加可学习位置编码。
9.基于阴影图像重构的变电站渗漏油检测系统，其特征在于，用于实现权利要求1-8任意一项所述的基于阴影图像重构的变电站渗漏油检测方法，包括：
采集模块，用于获取变电站的历史图像数据；
预处理模块，用于对历史图像数据进行预处理：对图像数据进行阴影检测筛选出有阴影图像，裁剪出各有阴影图像的阴影区域，对阴影区域进行场景相关图像重构后拼接回原位；
训练检测模块，用于构建以Densent为骨架的CNN网络结构，并基于预处理后的图像训练CNN网络结构得到目标检测网络；
实时检测模块，用于采集变电站的实时图像，对实时图像进行预处理后输入目标检测网络中进行渗漏油检测。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行可实现如权利要求1-8中任意一项所述的基于阴影图像重构的变电站渗漏油检测方法。
CN202310966751.8A 2023-08-03 2023-08-03 基于阴影图像重构的变电站渗漏油检测方法、系统及介质 Pending CN116704316A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310966751.8A CN116704316A (zh) 2023-08-03 2023-08-03 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310966751.8A CN116704316A (zh) 2023-08-03 2023-08-03 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Publications (1)

Publication Number Publication Date
CN116704316A true CN116704316A (zh) 2023-09-05

Family

ID=87829633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310966751.8A Pending CN116704316A (zh) 2023-08-03 2023-08-03 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116704316A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787143A (zh) * 2024-02-23 2024-03-29 国网天津市电力公司城东供电分公司 变电站毒害气体的气流分布场重构方法及系统、电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191390A (zh) * 2018-08-03 2019-01-11 湘潭大学 一种基于不同颜色空间多算法融合的图像增强算法
CN109919123A (zh) * 2019-03-19 2019-06-21 自然资源部第一海洋研究所 基于多尺度特征深度卷积神经网络的海面溢油检测方法
CN110349099A (zh) * 2019-06-17 2019-10-18 武汉大学 一种复杂场景视频阴影检测与消除方法
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法
JP2020030751A (ja) * 2018-08-24 2020-02-27 セコム株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
CN112991329A (zh) * 2021-04-16 2021-06-18 浙江指云信息技术有限公司 一种基于gan的图像阴影检测和消除方法
CN114049347A (zh) * 2021-11-26 2022-02-15 中国石油大学(华东) 一种基于特征增强的原油泄漏检测方法
CN114445649A (zh) * 2021-10-14 2022-05-06 北部湾大学 用多尺度超像素融合检测rgb-d单幅图像阴影的方法
CN114926424A (zh) * 2022-05-13 2022-08-19 联想(北京)有限公司 一种检测方法和电子设备
CN115239570A (zh) * 2021-04-23 2022-10-25 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN115700737A (zh) * 2021-07-16 2023-02-07 中国石油化工股份有限公司 一种基于视频监控的溢油检测方法
CN116503347A (zh) * 2023-04-20 2023-07-28 深圳供电局有限公司 电力系统渗漏油检测、模型训练方法、装置和计算机设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191390A (zh) * 2018-08-03 2019-01-11 湘潭大学 一种基于不同颜色空间多算法融合的图像增强算法
JP2020030751A (ja) * 2018-08-24 2020-02-27 セコム株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
CN109919123A (zh) * 2019-03-19 2019-06-21 自然资源部第一海洋研究所 基于多尺度特征深度卷积神经网络的海面溢油检测方法
CN110349099A (zh) * 2019-06-17 2019-10-18 武汉大学 一种复杂场景视频阴影检测与消除方法
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法
CN112991329A (zh) * 2021-04-16 2021-06-18 浙江指云信息技术有限公司 一种基于gan的图像阴影检测和消除方法
CN115239570A (zh) * 2021-04-23 2022-10-25 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN115700737A (zh) * 2021-07-16 2023-02-07 中国石油化工股份有限公司 一种基于视频监控的溢油检测方法
CN114445649A (zh) * 2021-10-14 2022-05-06 北部湾大学 用多尺度超像素融合检测rgb-d单幅图像阴影的方法
CN114049347A (zh) * 2021-11-26 2022-02-15 中国石油大学(华东) 一种基于特征增强的原油泄漏检测方法
CN114926424A (zh) * 2022-05-13 2022-08-19 联想(北京)有限公司 一种检测方法和电子设备
CN116503347A (zh) * 2023-04-20 2023-07-28 深圳供电局有限公司 电力系统渗漏油检测、模型训练方法、装置和计算机设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SAEID DEHGHANI-DEHCHESHMEH等: "Oil spills detection from SAR Earth observations based on a hybrid CNN transformer networks", 《MARINE POLLUTION BULLETIN》, vol. 190, pages 1 - 12 *
XIONG YAOHUA等: "A SAR Oil Spill Image Recognition Method Based on DenseNet Convolutional Neural Network", 《ICRIS》, pages 78 - 81 *
张红英等: "一种基于细节层分离的单曝光HDR图像生成算法", 《自动化学报》, vol. 45, no. 11, pages 2159 - 2170 *
蔡旭航等: "基于多尺度超像素融合的RGB-D单幅图像阴影检测算法", 《吉林大学学报（理学版）》, vol. 60, no. 2, pages 392 - 400 *
邓永川: "基于图像处理的油田漏油检测方法设计与研究", 《中国优秀硕士学位论文全文数据库 工程科技I辑》, no. 2020, pages 019 - 391 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787143A (zh) * 2024-02-23 2024-03-29 国网天津市电力公司城东供电分公司 变电站毒害气体的气流分布场重构方法及系统、电子设备

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
Chen et al. Depth image enhancement for Kinect using region growing and bilateral filter
CN105894484B (zh) 一种基于直方图归一化与超像素分割的hdr重建算法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113297988B (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN111899295A (zh) 一种基于深度学习的单目场景深度预测方法
CN116757988B (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
Li et al. Global color consistency correction for large-scale images in 3-D reconstruction
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN117451716A (zh) 一种工业产品表面缺陷检测方法
CN110717960B (zh) 一种建筑垃圾遥感图像样本的生成方法
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN116704316A (zh) 基于阴影图像重构的变电站渗漏油检测方法、系统及介质
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
CN111738934B (zh) 基于mtcnn的红眼自动修复方法
CN117078608B (zh) 一种基于双掩码引导的高反光皮革表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230905