CN116342496A - 一种用于智能巡检的异常物体检测方法和系统 - Google Patents
一种用于智能巡检的异常物体检测方法和系统 Download PDFInfo
- Publication number
- CN116342496A CN116342496A CN202310183224.XA CN202310183224A CN116342496A CN 116342496 A CN116342496 A CN 116342496A CN 202310183224 A CN202310183224 A CN 202310183224A CN 116342496 A CN116342496 A CN 116342496A
- Authority
- CN
- China
- Prior art keywords
- image
- digital twin
- detection model
- marking
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 44
- 238000007689 inspection Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000005856 abnormality Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000007664 blowing Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种用于智能巡检的异常物体检测方法和系统，该方法包括获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；通过误差反向传播调整数字孪生异常检测模型的权重；通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域，以及在标记出图像对的最终差异区域之后对输出的二值图进行形态学图像处理以减少检测模型的误报。基该方法，还提出了一种用于智能巡检的异常物体检测系统。本发明可解决智能巡检场景中依赖大量训练样本的问题，可应用于不限类别的异常物体检测。
Description
技术领域
本发明属于智能巡检技术领域，特别涉及一种用于智能巡检的异常物体检测方法和系统。
背景技术
随着技术进步，各行业原有的监控、运维方式已经不能满足智能化的要求。无论是自动化类型的常规监控方式，还是安防为主的视频监控方式，迫切需要进行能力升级，以适应行业客户的更高需要。
在电力、水利、轨道、化工等安全生产环境中，常规的例行巡检面临着人工巡视、人工复盘的大量重复性工作，因此亟需一套设备智能化巡视方案。目前的智能监控巡视方案或采用目标检测的方式，但是该方式只能针对特定目标进行识别告警，需要大量的数据训练，且对于训练集中未出现过的类别则无法识别。
发明内容
为了解决上述技术问题，本发明提出了一种用于智能巡检的异常物体检测方法和系统，用于解决智能巡检场景中依赖大量训练样本的问题，可应用于不限类别的异常物体检测。
为实现上述目的，本发明采用以下技术方案：
一种用于智能巡检的异常物体检测方法，包括以下步骤：
获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；
以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；
通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
进一步的，所述方法还包括在标记出图像对的最终差异区域之后对输出的二值图进行形态学图像处理以减少数字孪生异常检测模型的误报。
进一步的，所述获取同一场景下不同时间的图像对时，同时采用人工合成的方式扩充数据；其中人工合成的方式扩充数据的方法为：设置扣取好的贴图，在图像上随机区域融合不同大小的贴图，人为制造差异样本对。
进一步的，所述标注出图像对中的差异区域的过程包括：对所述人为制造差异样本对后的图像对，采用图像标注工具labelme标注出图像对中的差异部分，然后采用将图像对加权融合的方式，使两张图像中的差异区域显现出来；
其中加权融合的公式为：
Im g＝λ1*img1+λ2*img2；
其中，λ1为第一张图像的权重，img1为第一张图像；λ2为第二张图像的权重；img2为第二张图像；img为融合后的图像。
进一步的，在所述标注出图像对中的差异区域之后还包括对标注后的图像进行数据增强。
进一步的，所述数字孪生异常检测模型还包括：采用CBAM加入通道和空间维度上的注意力机制。
进一步的，所述通过误差反向传播调整数字孪生异常检测模型的权重的过程包括：
所述损失函数表示为：Loss＝FL+DL；其中，FL为Focal Loss；DL为Dice Loss；
其中，p是判断正样本(y＝1)的概率，pt函数统一p、1-p，通过at抑制正负样本的数量失衡，通过γ抑制难区分样本与易区分样本的数量失衡；
其中，X为预测图；Y为标签图；|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数。
进一步的，所述通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下的过程包括：
采用特征点提取算法提取图像对中每张图像的关键点，采用近邻匹配算法匹配两张图象中的关键点；
利用匹配的关键点计算透视矩阵，矫正图像视角，使输入网络的图像对处在相同的视角下。
进一步的，所述对输出的二值图进行形态学图像处理的过程包括：
对网络输出的二值图像进一步进行形态学膨胀腐蚀操作，滤除噪点，扩大主体区域，然后利用opencv获取图像的外接矩形映射回原RGB图像进行可视化，将最终的差异区域以矩形框的形式标注出来。
本发明还提出了一种用于智能巡检的异常物体检测系统，包括：获取模块、训练模块和标记模块；
所述获取模块用于获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；
所述训练模块用于以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；
所述标记模块用于通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种用于智能巡检的异常物体检测方法和系统，该方法包括获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域，以及在标记出图像对的最终差异区域之后对输出的二值图进行形态学图像处理以减少数字孪生异常检测模型的误报。基于一种用于智能巡检的异常物体检测方法，还提出了一种用于智能巡检的异常物体检测系统。本发明可解决智能巡检场景中依赖大量训练样本的问题，可应用于不限类别的异常物体检测。
本发明设计了一种新的孪生网络结构，解决语义分割问题中下采样会降低图像分辨率、丢失信息的问题，并引入通道和空间维度上的注意力机制，采用Dice Loss+FocalLoss混合损失的方式解决数据不平衡造成的模型性能问题。
本发明设计了预处理及后处理策略，在输入层将样本对空间对齐，输出层设计形态学图像处理策略，保留主体差异，避免噪点干扰，从而减少模型的误报。
附图说明
如图1为本发明实施例1提出的一种用于智能巡检的异常物体检测方法流程图；
如图2为本发明实施例1提出的图像合成示意图；
如图3为本发明实施例1提出的图像标注示意图；
如图4为本发明实施例1提出的数字孪生异常检测模型示意图；
如图5为本发明实施例2一种用于智能巡检的异常物体检测系统示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了一种用于智能巡检的异常物体检测方法，用于电力、水利、轨道、化工等智能检测过程中。本发明是针对智能巡检过程中异常检测遇到的难题，设计一种数据合成以及数据标注方式，搭建孪生网络结构训练异常检测模型，配合设计的前后处理操作提高模型检测精度。
如图1为本发明实施例1提出的一种用于智能巡检的异常物体检测方法流程图；
在步骤S0中，开始处理该流程。
在步骤S1中，获取同一场景下不同时间的图像对。收集到的同一场景下不同时间的图像对之间有较大的光线、明暗差异，从数据层面保证模型的抗干扰性。
为进一步扩充数据，采用人工合成的方式，准备大量扣取好的贴图，在图像上随即区域融合不同大小的贴图，人为制造差异样本对。如图2为本发明实施例1提出的图像合成示意图；人工合成数据的方式包括，采用泊松融合将贴图在图像上随机粘贴。
在步骤S2中，标注出图像对中的差异区域。如图3为本发明实施例1提出的图像标注示意图；采用图像标注工具labelme标注出图像对中差异地部分，为方便标注，采用将图像对加权融合地方式，使两张图像中地差异区域可以直观地显现出来，标注时只标注主体变化、对光照、雨雪、风吹等引起的环境变化不再标注。
加权融合的公式为：
Img＝λ1*img1+λ2*img2；
其中，λ1为第一张图像的权重，img1为第一张图像；λ2为第二张图像的权重；img2为第二张图像；img为融合后的图像。
对标注后的图像对进行数据增强，包括但不限于亮度调整、加噪声等操作。
在步骤S3中，以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重。
如图4为本发明实施例1提出的数字孪生异常检测模型示意图；本申请中设计孪生网络结构，以UNet为网络基础，采用空洞卷积加大感受野，解决语义分割问题中下采样会降低图像分辨率、丢失信息的问题；采用CBAM加入通道和空间维度上的注意力机制。采用DiceLoss+Focal Loss混合损失的方式，通过误差反向传播调整孪生网络权重。
损失函数表示为：Loss＝FL+DL；其中，FL为Focal Loss；DL为Dice Loss；
其中，p是判断正样本(y＝1)的概率，pt函数统一p、1-p，通过at抑制正负样本的数量失衡，通过γ抑制难区分样本与易区分样本的数量失衡；
其中，X为预测图；Y为标签图；|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数。其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因。
在步骤S4中，通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下。具体包括：采用特征点提取算法提取图像对中每张图像的关键点，采用近邻匹配算法匹配两张图象中的关键点；利用匹配的关键点计算透视矩阵，矫正图像视角，使输入网络的图像对处在相同的视角下。
分别提取模板图像与巡检图像的特征点,以SIFT特征提取算法为例，首先通过对原图像进行不断的缩小和高斯滤波，生成高斯差分图像金字塔，之后通过检测不同层之间的图像的极值点，使用Hessian矩阵进行筛选，公式如下，得到特征点的位置，其中Dxx,Dxy,Dyy是候选点邻域对应位置的差分求得的。
得到特征点的位置之后，需要求取它们的方向，其中L为关键点所在的尺度空间值。对于在高斯差分金字塔检测到的关键点，采集所在图像3σ邻域窗口内像素的梯度和方向特征，并进行统计。取幅值最高的方向为主方向，超过峰值百分之80的方向为辅方向。
最后就是生成特征匹配点。将特征点邻域分为几个区块，计算八个方向的梯度方向直方图。有16个区域，所以生成了16×8＝128个维度的数据。通过匹配模板图像与巡检图像特征点描述子，找到两张图中匹配的特征点对，计算单应性变换矩阵H；
利用得到的单应性矩阵将两张图像矫正到相同的视角
在步骤S5中，然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
在步骤S6中，对输出的二值图进行形态学图像处理以减少数字孪生异常检测模型的误报。对网络输出的二值图像先进行图像腐蚀操作滤除噪点，再进行图像膨胀操作，扩大主体区域，最后利用opencv获取图像的外接矩形映射回原RGB图像进行可视化。
在步骤S7中，流程结束。
本发明实施例1提出的一种用于智能巡检的异常物体检测方法可解决智能巡检场景中依赖大量训练样本的问题，可应用于不限类别的异常物体检测。
本发明实施例1提出的一种用于智能巡检的异常物体检测方法中设计了一种新的孪生网络结构，解决语义分割问题中下采样会降低图像分辨率、丢失信息的问题，并引入通道和空间维度上的注意力机制，采用Dice Loss+Focal Loss混合损失的方式解决数据不平衡造成的模型性能问题。
本发明实施例1提出的一种用于智能巡检的异常物体检测方法中设计了预处理及后处理策略，在输入层将样本对空间对齐，输出层设计形态学图像处理策略，保留主体差异，避免噪点干扰，从而减少模型的误报。
实施例2
基于本发明实施例1提出一种用于智能巡检的异常物体检测方法，本发明实施例2提出了一种用于智能巡检的异常物体检测系统，如图5为本发明实施例2一种用于智能巡检的异常物体检测系统示意图，该系统包括：获取模块、训练模块和标记模块；
获取模块用于获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；
训练模块用于以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；
标记模块用于通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
获取模块实现的过程包括：收集到的同一场景下不同时间的图像对之间有较大的光线、明暗差异，从数据层面保证模型的抗干扰性。
为进一步扩充数据，采用人工合成的方式，准备大量扣取好的贴图，在图像上随即区域融合不同大小的贴图，人为制造差异样本对。人工合成数据的方式包括，采用泊松融合将贴图在图像上随机粘贴。
采用图像标注工具labelme标注出图像对中差异地部分，为方便标注，采用将图像对加权融合地方式，使两张图像中地差异区域可以直观地显现出来，标注时只标注主体变化、对光照、雨雪、风吹等引起的环境变化不再标注。
加权融合的公式为：
Img＝λ1*img1+λ2*img2；
其中，λ1为第一张图像的权重，img1为第一张图像；λ2为第二张图像的权重；img2为第二张图像；img为融合后的图像。
对标注后的图像对进行数据增强，包括但不限于亮度调整、加噪声等操作。
训练模块实现的过程包括：本申请中设计孪生网络结构，以UNet为网络基础，采用空洞卷积加大感受野，解决语义分割问题中下采样会降低图像分辨率、丢失信息的问题；采用CBAM加入通道和空间维度上的注意力机制。采用Dice Loss+Focal Loss混合损失的方式，通过误差反向传播调整孪生网络权重。
损失函数表示为：Loss＝FL+DL；其中，FL为Focal Loss；DL为Dice Loss；
其中，p是判断正样本(y＝1)的概率，pt函数统一p、1-p，通过at抑制正负样本的数量失衡，通过γ抑制难区分样本与易区分样本的数量失衡；
其中，X为预测图；Y为标签图；|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数。其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因。
标记模块实现的过程包括：采用特征点提取算法提取图像对中每张图像的关键点，采用近邻匹配算法匹配两张图象中的关键点；利用匹配的关键点计算透视矩阵，矫正图像视角，使输入网络的图像对处在相同的视角下。
分别提取模板图像与巡检图像的特征点,以SIFT特征提取算法为例，首先通过对原图像进行不断的缩小和高斯滤波，生成高斯差分图像金字塔，之后通过检测不同层之间的图像的极值点，使用Hessian矩阵进行筛选，公式如下，得到特征点的位置，其中Dxx,Dxy,Dyy是候选点邻域对应位置的差分求得的。
得到特征点的位置之后，需要求取它们的方向，其中L为关键点所在的尺度空间值。对于在高斯差分金字塔检测到的关键点，采集所在图像3σ邻域窗口内像素的梯度和方向特征，并进行统计。取幅值最高的方向为主方向，超过峰值百分之80的方向为辅方向。
最后就是生成特征匹配点。将特征点邻域分为几个区块，计算八个方向的梯度方向直方图。有16个区域，所以生成了16×8＝128个维度的数据。通过匹配模板图像与巡检图像特征点描述子，找到两张图中匹配的特征点对，计算单应性变换矩阵H；
利用得到的单应性矩阵将两张图像矫正到相同的视角
然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
对输出的二值图进行形态学图像处理以减少数字孪生异常检测模型的误报。对网络输出的二值图像先进行图像腐蚀操作滤除噪点，再进行图像膨胀操作，扩大主体区域，最后利用opencv获取图像的外接矩形映射回原RGB图像进行可视化。
本发明实施例2提出的一种用于智能巡检的异常物体检测系统可解决智能巡检场景中依赖大量训练样本的问题，可应用于不限类别的异常物体检测。
本发明实施例2提出的一种用于智能巡检的异常物体检测系统中设计了一种新的孪生网络结构，解决语义分割问题中下采样会降低图像分辨率、丢失信息的问题，并引入通道和空间维度上的注意力机制，采用Dice Loss+Focal Loss混合损失的方式解决数据不平衡造成的模型性能问题。
本发明实施例2提出的一种用于智能巡检的异常物体检测系统中设计了预处理及后处理策略，在输入层将样本对空间对齐，输出层设计形态学图像处理策略，保留主体差异，避免噪点干扰，从而减少模型的误报。
本申请实施例2提供的一种用于智能巡检的异常物体检测系统中相关部分的说明可以参见本申请实施例1提供的一种用于智能巡检的异常物体检测方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种用于智能巡检的异常物体检测方法，其特征在于，包括以下步骤：
获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；
以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；
通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
2.根据权利要求1所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述方法还包括在标记出图像对的最终差异区域之后对输出的二值图进行形态学图像处理以减少数字孪生异常检测模型的误报。
3.根据权利要求1所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述获取同一场景下不同时间的图像对时，同时采用人工合成的方式扩充数据；其中人工合成的方式扩充数据的方法为：设置扣取好的贴图，在图像上随机区域融合不同大小的贴图，人为制造差异样本对。
4.根据权利要求3所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述标注出图像对中的差异区域的过程包括：对所述人为制造差异样本对后的图像对，采用图像标注工具labelme标注出图像对中的差异部分，然后采用将图像对加权融合的方式，使两张图像中的差异区域显现出来；
其中加权融合的公式为：
Img＝λ1*img1+λ2*img2；
其中，λ1为第一张图像的权重，img1为第一张图像；λ2为第二张图像的权重；img2为第二张图像；img为融合后的图像。
5.根据权利要求4所述的一种用于智能巡检的异常物体检测方法，其特征在于，在所述标注出图像对中的差异区域之后还包括对标注后的图像进行数据增强。
6.根据权利要求1所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述数字孪生异常检测模型还包括：采用CBAM加入通道和空间维度上的注意力机制。
7.根据权利要求1所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述通过误差反向传播调整数字孪生异常检测模型的权重的过程包括：
所述损失函数表示为：Loss＝FL+DL；其中，FL为Focal Loss；DL为Dice Loss；
FL(pt)＝-at(1-pt)γlog(pt)；
其中，p是判断正样本(y＝1)的概率，pt函数统一p、1-p，通过at抑制正负样本的数量失衡，通过γ抑制难区分样本与易区分样本的数量失衡；
其中，X为预测图；Y为标签图；|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数。
8.根据权利要求1所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下的过程包括：
采用特征点提取算法提取图像对中每张图像的关键点，采用近邻匹配算法匹配两张图象中的关键点；
利用匹配的关键点计算透视矩阵，矫正图像视角，使输入网络的图像对处在相同的视角下。
9.根据权利要求2所述的一种用于智能巡检的异常物体检测方法，其特征在于，所述对输出的二值图进行形态学图像处理的过程包括：
对网络输出的二值图像进一步进行形态学膨胀腐蚀操作，滤除噪点，扩大主体区域，然后利用opencv获取图像的外接矩形映射回原RGB图像进行可视化，将最终的差异区域以矩形框的形式标注出来。
10.一种用于智能巡检的异常物体检测系统，其特征在于，包括：获取模块、训练模块和标记模块；
所述获取模块用于获取同一场景下不同时间的图像对，并标注出图像对中的差异区域；
所述训练模块用于以UNet为网络基础和采用空洞卷积构建数字孪生异常检测模型，利用标注后的图像训练数字孪生异常检测模型；设计损失函数，通过误差反向传播调整数字孪生异常检测模型的权重；
所述标记模块用于通过调整数字孪生异常检测模型使输入网络的图像对处在相同的视角下；然后利用调整后的数字孪生异常检测模型标记出图像对的最终差异区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183224.XA CN116342496A (zh) | 2023-02-24 | 2023-02-24 | 一种用于智能巡检的异常物体检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183224.XA CN116342496A (zh) | 2023-02-24 | 2023-02-24 | 一种用于智能巡检的异常物体检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116342496A true CN116342496A (zh) | 2023-06-27 |
Family
ID=86878232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310183224.XA Pending CN116342496A (zh) | 2023-02-24 | 2023-02-24 | 一种用于智能巡检的异常物体检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342496A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117494031A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伟昊净化设备有限公司 | 一种压缩空气管路的智能监测方法及系统 |
-
2023
- 2023-02-24 CN CN202310183224.XA patent/CN116342496A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117494031A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伟昊净化设备有限公司 | 一种压缩空气管路的智能监测方法及系统 |
| CN117494031B (zh) * | 2024-01-02 | 2024-04-26 | 深圳市伟昊净化设备有限公司 | 一种压缩空气管路的智能监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN111768388B (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN114973032B (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN109360179B (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN112836677B (zh) | 一种利用深度学习的弱监督车辆重识别方法 | |
| CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| Zhu et al. | A lightweight encoder–decoder network for automatic pavement crack detection | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN116342496A (zh) | 一种用于智能巡检的异常物体检测方法和系统 | |
| CN111223087A (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
| CN114241310B (zh) | 基于改进yolo模型的堤防管涌险情智能识别方法 | |
| CN112669313A (zh) | 一种金属表面缺陷定位及分类方法 | |
| CN115861260A (zh) | 一种面向广域城市场景下的深度学习变化检测方法 | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测系统 | |
| CN117994666A (zh) | 一种结合残差网络和边缘检测的海冰识别方法 | |
| CN113052139A (zh) | 一种基于深度学习双流网络的攀爬行为检测方法及系统 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN117495825A (zh) | 一种变电站塔杆异物检测方法 | |
| CN111091533B (zh) | 一种基于改进ssd算法的电池片el缺陷检测方法 | |
| CN116823775A (zh) | 一种基于深度学习的显示屏幕缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |