CN108010025B - 基于rcnn的屏柜的开关与指示灯定位和状态识别方法 - Google Patents

基于rcnn的屏柜的开关与指示灯定位和状态识别方法 Download PDF

Info

Publication number
CN108010025B
CN108010025B CN201711340894.9A CN201711340894A CN108010025B CN 108010025 B CN108010025 B CN 108010025B CN 201711340894 A CN201711340894 A CN 201711340894A CN 108010025 B CN108010025 B CN 108010025B
Authority
CN
China
Prior art keywords
layer
screen cabinet
convolution
output
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711340894.9A
Other languages
English (en)
Other versions
CN108010025A (zh
Inventor
齐冬莲
马必焕
闫云凤
张建良
吴越
李超勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711340894.9A priority Critical patent/CN108010025B/zh
Publication of CN108010025A publication Critical patent/CN108010025A/zh
Application granted granted Critical
Publication of CN108010025B publication Critical patent/CN108010025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RCNN的屏柜的开关与指示灯定位和状态识别方法。采集包含目标物的屏柜样本图像；遍历屏柜样本图像，对每张图像用包围框针对目标物进行标记处理，采用尺寸缩放方法缩放处理：采用Imagenet数据集输入预训练模型预训练获得预训练后模型；采用缩放处理后的训练集输入预训练后模型训练获得屏柜状态检测模型；实时采集屏柜待测图像缩放后作为屏柜状态检测模型的输入，屏柜状态检测模型输出最终识别结果。本发明能够实现屏柜上的开关与指示灯定位和状态识别的自动识别与定位，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于机器人巡检系统或者是智能视频监控系统。

Description

基于RCNN的屏柜的开关与指示灯定位和状态识别方法
技术领域
本发明涉及了一种计算机图像处理识别方法，尤其是涉及了一种基于RCNN的屏柜的开关与指示灯定位和状态识别方法。
背景技术
远程视频监控系统虽然可以代替操作人员的现场核对工作，但是还是需要监控中心的运行操作人员去屏柜的工作状态。这样的操作模式虽然能够缩短倒闸操作时间，但还是依赖于工作人员的主观判断，容易受到工作人员知识、经验等自身条件因素的影响。因此，如果能够在中实现无人参与的“一键式”顺序控制的倒闸操作，对于实现的无人值守化具有重要意义。借助于图像处理技术对屏柜开关与指示灯定位和状态识别进行识别是实现倒闸操作自动化的关键一步，也是亟需解决的难题之一。
发明内容
为了解决背景技术中的问题，本发明提出了一种基于RCNN的屏柜的开关与指示灯定位和状态识别方法，能高效识别开关与指示灯位置与状态并具有良好稳定性。
本发明的技术方案包括以下步骤：
1)采集包含有指示灯目标物和/或开关目标物的屏柜样本图像；
屏柜样本图像中包含的目标物为指示灯目标物和开关目标物两类，指示灯目标物分为“亮”和“灭”的两类指示灯，开关目标物分为“开”和“合”的两类开关。
2)遍历所有屏柜样本图像，对每张图像用包围框针对目标物进行标记处理，包围框包围完整的目标物，并且包围框中非目标物的区域面积比例占包围框面积的比例小于15％，并记录包围框的左上角和右下角的横纵坐标以及包围框中目标物的种类，形成获得训练集；
目标物的种类分为四类，分别是亮的指示灯目标物、灭的指示灯目标物、开的开关目标物和关的开关目标物。
3)采用尺寸缩放方法进行缩放处理：针对训练集中具有包围框的屏柜样本图像，进行尺度缩放，分别将每张图像和包围框的长和宽中较长边变换到预设目标尺寸，较短边根据较长边变换到预设目标尺寸的缩放尺度进行相同比例缩放；
4)采用Imagenet数据集输入预训练模型进行预训练，预训练中调节预训练模型中的网络参数，即以Imagenet数据集作为预训练模型的输入，直至模型训练误差loss下降到10％以下结束训练，获得预训练后模型；
5)采用步骤3)中缩放处理后的训练集输入预训练后模型进行针对训练，即以步骤3)中缩放处理后的训练集作为预训练后模型的输入，不断迭代训练直至模型训练误差loss趋于稳定，训练结束获得的模型作为屏柜状态检测模型；
模型训练误差loss趋于稳定具体是所有迭代计算过程中的模型训练误差loss的平均值达到5％以下。
6)实时采集屏柜待测图像按照与步骤3)中相同的尺寸缩放方法进行缩放后作为步骤5)获得的屏柜状态检测模型的输入，屏柜状态检测模型输出后，将输出的四类分类的分类结果中置信度大于90％的分类结果保留，作为屏柜待测图像的最终识别结果。
本发明所述的屏柜是指变电站二次屏柜。
所述的屏柜样本图像和屏柜待测图像是指监控摄像头位于屏柜正对面，监控摄像头的镜头以水平正对屏柜中心的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及以水平正对屏柜中心的从上俯视10-69度视角的范围内采集获得图像。屏柜样本图像从多个各种不同视角进行采集，获得多样的样本图像。
所述的目标物是指指示灯和/或开关。
具体实施中，所述训练集中，屏柜样本图像进行标记形成图像标记集，图像标记集采用如下的形式存储标记数据：
{image_name，label，x1，y1，x2，y2}
其中，image_name表示屏柜图像名，label表示目标物的类别，x1表示目标物包围框左上角的横坐标，y1表示目标物包围框左上角的纵坐标，x2表示目标物包围框右下角的横坐标，y2表示目标物包围框右下角的纵坐标。
所述步骤4)和步骤5)中的预训练后模型采用RCNN模型：RCNN模型主要由特征提取网络、区域检测网络、分类网络和Softmax分类器构建而成，具体是：先构建从屏柜样本图像中提取低尺度多维图像特征的特征提取网络，接着将特征提取网络的输出作为输入构建提取图像中目标物可能性区域的区域检测网络，然后将特征提取网络的输出作为输入构建将低尺度多维图像特征重新映射到与屏柜样本图像一致的尺度空间的分类网络；最后将分类网络和区域检测网络的输出共同作为Softmax分类器的输入，Softmax分类器输出分类结果并作为RCNN模型的输出。
所述的RCNN模型具体为：
所述的特征提取网络采用一个四层的卷积神经网络结构：
第一层，先使用卷积层，卷积层使用大小为7×7的48个卷积滤波器，卷积步幅为2，输出48个任意大小的特征图；获得卷积层的输出后，使用BN层(batch normalization)进行归一化处理，然后使用ReLU函数(Rectified Linear Units)作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层(Maxpooling)进行池化，最大池化层(Maxpooling)的采样步幅为2；
第二层，先使用卷积层，卷积层使用大小为5×5的96个卷积滤波器，卷积步幅为2，输出96个任意大小的特征图；获得卷积层的输出后，使用BN层(batch normalization)进行归一化处理，然后使用ReLU函数(Rectified Linear Units)作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层(Maxpooling)进行池化，最大池化层(Maxpooling)的采样步幅为2；
第三层，先使用卷积层，卷积层使用大小为3×3的96个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1使输入图的维度等于输出图，输出96个任意大小的特征图；
第四层，先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1，卷积后再使用ReLU函数(Rectified Linear Units)作为激活函数进行激活；
所述的区域检测网络具体采用如下结构：
先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，输出48个任意大小的特征图；获得卷积层的输出后，采用可能性区域检测层(Proposal)对输入的特征图进行处理，以特征图的每个像素点为可能性区域的中心生成产生三种面积尺度下三种长宽比的九个可能性区域，九个可能性区域是三种面积尺度下每个面积尺度的三种长宽比的共九种情况构成，三种面积尺度分别为16384像素平方面积、65536像素平方面积、262144像素平方面积，三种长宽比1:1、1:2、2:1，计算每个可能性区域与包围框的重叠率，取重叠率大于0.7的可能性区域作为正样本，取重叠率小于0.3的可能性区域作为负样本，从正样本中选取重叠率最大的前150个可能性区域，从负样本中随机选取150个可能性区域，最终获得300个可能性区域作为预测可能性区域；
获得预测可能性区域后，再采用两个全连接层处理输出256维的特征，然后使用边框回归层(smoothL1Loss Layer)处理，边框回归层输出边框，获得边框的四个元素，四个元素分别是边框回归层所输出边框的左上角的横纵坐标x、y和边框回归层所输出边框的宽w、高h；以边框作为目标物可能性区域，为目标位置的真实区域；
所述分类网络具体采用如下结构：
针对输入的每一个特征图使用一个池化层处理，输出的特征图固定为7×7，然后将输出的特征图输入一个三层的全连接网络，其中第一层全连接网络具有1000个维度输出，第二层具有256个维度输出，第三层具有4个维度输出，第三层的全连接网络的输出输入到Softmax分类器。
所述特征提取网络采用的BN层(batch normalization)的计算具体是：
Figure BDA0001508380290000041
Figure BDA0001508380290000042
Figure BDA0001508380290000043
Figure BDA0001508380290000044
其中，i表示卷积层输出的特征图中像素点的编号，xi表示卷积层输出的特征图中像素点的像素值，m表示卷积层输出的特征图中像素点的数量，μB表示卷积层输出的特征图中所有像素点像素值的均值，
Figure BDA0001508380290000045
表示卷积层输出的特征图中所有像素点像素值的方差，ε表示BN层的归一化偏置，
Figure BDA0001508380290000046
表示卷积层输出的特征图中第i个像素点xi像素值的归一化值，γ表示BN层的学习权重，β表示BN层的学习偏置，yi表示BN层的输出值。
本发明具有的有益效果是：
相比于以往的屏柜的开关与指示灯定位和状态识别方法，本发明方法准确率高，鲁棒性好，且对其他类型的屏柜具有通用性；
根据屏柜的特点，本发明选择了训练RCNN神经网络模型的方式充分利用了神经网络提取低维度图像特征的能力，弥补了传统方法特征描述不足或难以选择合适特征的缺陷；
由于RCNN是基于神经网络的方法，具有神经网络的优点，而在开关检测过程中图像背景往往比较复杂，并且容易受到各种因素的干扰，比如遮挡、噪声等，将RCNN应用到屏柜状态的检测中能够在一定程度上减少各种因素的干扰，提高屏柜目标物状态判别与定位的准确率。
通过RCNN的特征提取框架来描述输入图像与检测目标之间的关系，减少目标的错误检测，避免非极大值抑制的步骤，解决多个目标物的状态检测与定位问题。
本发明方法完全不受图像中高斯噪声和椒盐噪声的影响，且在分辨率人眼无法分辨的情况下也能够准确地检测与定位出待检测屏柜图像中的目标物，具有较强的抗干扰能力。
附图说明
图1为实施例测试样本图像。
图2为实施例为图1中实施例测试样本图像在一般情况下的屏柜开关与指示灯定位和状态识别结果。
图3为实施例为图1中实施例测试样本图像在高斯噪声与椒盐噪声下的屏柜开关与指示灯定位和状态识别。
图4为实施例为图1中实施例测试样本图像在光线不足的情况下的屏柜开关与指示灯定位和状态识别。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
按照本发明发明方法实施的实施例如下：
实验图像共有400张，其中用于训练的图像有200张，每种开关与指示灯状态的图像各有50张，其余200张图像作为测试集图像。由于每张实验图像包含至少10个的不同状态的开关和指示灯，因此，正训练样本至少有2000个目标物。负训练集从每张训练样本图像背景区域中提取，共提取与正样本相同数量的背景块。
本实施例典型的样本图像如图1，图1(a)为变电站二次屏柜上小型指示灯的指示灯图像，图1(b)为变电站二次屏柜上大型指示灯的指示灯图像，图1(c)为变电站二次屏柜上开关的开关图像。
采用RCNN模型去检测开关和指示灯的测试图像，得到的结果如表1和表2所示：
表1开关状态检测结果
Figure BDA0001508380290000051
表2指示灯状态检测结果
Figure BDA0001508380290000052
Figure BDA0001508380290000061
从表1中可以看出，用开关状态检测的准确率达到94.3％；从表2中可以看出，指示灯状态检测的准确率为93％。因此，可以根据屏柜开关与指示灯的状态检测结果判断屏柜的运行状态。
图2为常规情况下本发明方法的检测和定位结果示意。其中，图2(a)为在一般情况下小型指示灯实施例测试样本图像，图2(b)为在一般情况下小型指示灯实施例测试样本图像的“亮”状态识别图，图2(c)为在一般情况下小型指示灯实施例测试样本图像的“灭”状态识别图，图2(d)为在一般情况下大型指示灯实施例测试样本图像，图2(e)为在一般情况下大型指示灯实施例测试样本图像的“亮”状态识别图，图2(f)为在一般情况下大型指示灯实施例测试样本图像的“灭”状态识别图，图2(g)为在一般情况下小型指示灯实施例测试样本图像，图2(h)为在一般情况下开关实施例测试样本图像的“开”状态识别图，图2(i)为在一般情况下开关实施例测试样本图像的“关”状态识别图。
并且，本发明实施例同时对多种不同情况进行实施，在高斯噪声与椒盐噪声下的实施例结果如图3所示，在光线不足的情况下的实施例结果如图4所示。
图3中，图3(a)为在高斯噪声与椒盐噪声下小型指示灯实施例测试样本图像，图3(b)为在高斯噪声与椒盐噪声下小型指示灯实施例测试样本图像的“亮”状态识别图，图3(c)为在高斯噪声与椒盐噪声下小型指示灯实施例测试样本图像的“灭”状态识别图，图3(d)为在高斯噪声与椒盐噪声下为大型指示灯实施例测试样本图像，图3(e)为在高斯噪声与椒盐噪声下大型指示灯实施例测试样本图像的“亮”状态识别图，图3(f)为在高斯噪声与椒盐噪声下大型指示灯实施例测试样本图像的“灭”状态识别图，图3(g)为在高斯噪声与椒盐噪声下小型指示灯实施例测试样本图像，图3(h)为在高斯噪声与椒盐噪声下开关实施例测试样本图像的“开”状态识别图，图3(i)为在高斯噪声与椒盐噪声下开关实施例测试样本图像的“关”状态识别图。
图4中，图4(a)为在光线不足的情况下小型指示灯实施例测试样本图像，图4(b)为在光线不足的情况下小型指示灯实施例测试样本图像的“亮”状态识别图，图4(c)为在光线不足的情况下小型指示灯实施例测试样本图像的“灭”状态识别图，图4(d)为在光线不足的情况下大型指示灯实施例测试样本图像，图4(e)为在光线不足的情况下大型指示灯实施例测试样本图像的“亮”状态识别图，图4(f)为在光线不足的情况下大型指示灯实施例测试样本图像的“灭”状态识别图，图4(g)为在光线不足的情况下小型指示灯实施例测试样本图像，图4(h)为在光线不足的情况下开关实施例测试样本图像的“开”状态识别图，图4(i)为在光线不足的情况下开关实施例测试样本图像的“关”状态识别图。
椒盐噪声和高斯噪声是数字图像处理领域内最常见的两种噪声，图3表示在待检测图像中加入高斯噪声情况下开关与指示灯状态检测和定位效果。从实验结果来看，本方法完全不受图像中两种噪声的影响，能够准确地检测与定位出待检测图像中的开关指示灯，具有较强的抗干扰能力，为下一步的屏柜运行状态判别做好准备。
在图4中可看到，在光线不足的情况下，本发明方法也能够准确地检测与定位出图像中的开关与指示灯，这可以让摄像机的摆放位置以及巡检机器人的定点巡检位置更加自由，可以有效地应对一些复杂的环境状况。
由此可见，本发明能够实现屏柜开关与指示灯状态检测和定位，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，对分辨率不足也具有鲁棒性，能够应用于机器人巡检系统或者是智能视频监控系统。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (2)

1.一种基于RCNN的屏柜的开关与指示灯定位和状态识别方法，包括以下步骤：
1)采集包含有指示灯目标物和/或开关目标物的屏柜样本图像；
2)遍历所有屏柜样本图像，对每张图像用包围框针对目标物进行标记处理，包围框包围完整的目标物，并记录包围框的左上角和右下角的横纵坐标以及包围框中目标物的种类，形成获得训练集；
3)采用尺寸缩放方法进行缩放处理：针对训练集中具有包围框的屏柜样本图像，进行尺度缩放，分别将每张图像和包围框中较长边变换到预设目标尺寸，较短边根据较长边变换到预设目标尺寸的缩放尺度进行相同比例缩放；
4)采用Imagenet数据集输入预训练模型进行预训练，预训练中调节预训练模型中的网络参数，直至模型训练误差loss下降到10％以下结束训练，获得预训练后模型；
5)采用步骤3)中缩放处理后的训练集输入预训练后模型进行针对训练，不断迭代训练直至模型训练误差loss趋于稳定，训练结束获得的模型作为屏柜状态检测模型；
6)实时采集屏柜待测图像按照与步骤3)中相同的尺寸缩放方法进行缩放后作为步骤5)获得的屏柜状态检测模型的输入，屏柜状态检测模型输出后，将输出的分类结果中置信度大于90％的分类结果保留，作为屏柜待测图像的最终识别结果；
所述步骤4)和步骤5)中的预训练后模型采用RCNN模型：RCNN模型由特征提取网络、区域检测网络、分类网络和Softmax分类器构建而成，具体是：先构建从屏柜样本图像中提取多维图像特征的特征提取网络，接着将特征提取网络的输出作为输入构建提取图像中目标物可能性区域的区域检测网络，然后将特征提取网络的输出作为输入构建将多维图像特征重新映射到与屏柜样本图像一致的尺度空间的分类网络；最后将分类网络和区域检测网络的输出共同作为Softmax分类器的输入，Softmax分类器输出分类结果并作为RCNN模型的输出；
所述的RCNN模型具体为：
所述的特征提取网络采用一个四层的卷积神经网络结构：
第一层，先使用卷积层，卷积层使用大小为7×7的48个卷积滤波器，卷积步幅为2，输出48个任意大小的特征图；获得卷积层的输出后，使用BN层进行归一化处理，然后使用ReLU函数作为激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层进行池化，最大池化层的采样步幅为2；
第二层，先使用卷积层，卷积层使用大小为5×5的96个卷积滤波器，卷积步幅为2，输出96个任意大小的特征图；获得卷积层的输出后，使用BN层进行归一化处理，然后使用ReLU函数作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层进行池化，最大池化层的采样步幅为2；
第三层，先使用卷积层，卷积层使用大小为3×3的96个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1使输入图的维度等于输出图，输出96个任意大小的特征图；
第四层，先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1，卷积后再使用ReLU函数作为激活函数进行激活；
所述的区域检测网络具体采用如下结构：
先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，输出48个任意大小的特征图；获得卷积层的输出后，采用可能性区域检测层对输入的特征图进行处理，以特征图的每个像素点为可能性区域的中心生成产生三种面积尺度下三种长宽比的九个可能性区域，三种面积尺度分别为16384像素平方面积、65536像素平方面积、262144像素平方面积，三种长宽比1:1、1:2、2:1，计算每个可能性区域与包围框的重叠率，取重叠率大于0.7的可能性区域作为正样本，取重叠率小于0.3的可能性区域作为负样本，从正样本中选取重叠率最大的前150个可能性区域，从负样本中随机选取150个可能性区域，最终获得300个可能性区域作为预测可能性区域；
获得预测可能性区域后，再采用两个全连接层处理输出256维的特征，然后使用边框回归层处理，边框回归层输出边框，获得边框的四个元素，四个元素分别是边框回归层所输出边框的左上角的横纵坐标x、y和边框回归层所输出边框的宽w、高h；以边框作为目标物可能性区域；
所述分类网络具体采用如下结构：
针对输入的每一个特征图使用一个池化层处理，输出的特征图固定为7×7，然后将输出的特征图输入一个三层的全连接网络，其中第一层全连接网络具有1000个维度输出，第二层具有256个维度输出，第三层具有4个维度输出，第三层的全连接网络的输出输入到Softmax分类器；
所述特征提取网络采用的BN层的计算具体是：
Figure FDA0003502952760000021
Figure FDA0003502952760000031
Figure FDA0003502952760000032
Figure FDA0003502952760000033
其中，i表示卷积层输出的特征图中像素点的编号，xi表示卷积层输出的特征图中像素点的像素值，m表示卷积层输出的特征图中像素点的数量，μB表示卷积层输出的特征图中所有像素点像素值的均值，
Figure FDA0003502952760000034
表示卷积层输出的特征图中所有像素点像素值的方差，ε表示BN层的归一化偏置，
Figure FDA0003502952760000035
表示卷积层输出的特征图中第i个像素点xi像素值的归一化值，γ表示BN层的学习权重，β表示BN层的学习偏置，yi表示BN层的输出值。
2.根据权利要求1所述的一种基于RCNN的屏柜的开关与指示灯定位和状态识别方法，其特征在于：
所述的屏柜样本图像和屏柜待测图像是指监控摄像头位于屏柜正对面，监控摄像头的镜头以水平正对屏柜中心的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及以水平正对屏柜中心的从上俯视10-69度视角的范围内采集获得图像。
CN201711340894.9A 2017-12-14 2017-12-14 基于rcnn的屏柜的开关与指示灯定位和状态识别方法 Active CN108010025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711340894.9A CN108010025B (zh) 2017-12-14 2017-12-14 基于rcnn的屏柜的开关与指示灯定位和状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711340894.9A CN108010025B (zh) 2017-12-14 2017-12-14 基于rcnn的屏柜的开关与指示灯定位和状态识别方法

Publications (2)

Publication Number Publication Date
CN108010025A CN108010025A (zh) 2018-05-08
CN108010025B true CN108010025B (zh) 2022-05-13

Family

ID=62059084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711340894.9A Active CN108010025B (zh) 2017-12-14 2017-12-14 基于rcnn的屏柜的开关与指示灯定位和状态识别方法

Country Status (1)

Country Link
CN (1) CN108010025B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523596A (zh) * 2018-11-07 2019-03-26 广东电网有限责任公司 一种二次屏柜设备定位方法
CN109543573A (zh) * 2018-11-07 2019-03-29 广东电网有限责任公司 一种二次屏柜信息自动识别的方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法
CN112395928A (zh) * 2019-08-19 2021-02-23 珠海格力电器股份有限公司 一种设备状态运行自动检测的方法
CN111192377B (zh) * 2020-01-08 2021-08-27 中国银联股份有限公司 一种图像处理方法及装置
CN111428641A (zh) * 2020-03-24 2020-07-17 深圳供电局有限公司 安全着装检测方法、装置、计算机设备和可读存储介质
CN111814742A (zh) * 2020-07-29 2020-10-23 南方电网数字电网研究院有限公司 基于深度学习的刀闸状态识别方法
CN112132088B (zh) * 2020-09-29 2024-01-12 动联(山东)电子科技有限公司 一种巡检点位漏巡识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106384345B (zh) * 2016-08-31 2019-04-02 上海交通大学 一种基于rcnn的图像检测以及流量统计方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统

Also Published As

Publication number Publication date
CN108010025A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108010025B (zh) 基于rcnn的屏柜的开关与指示灯定位和状态识别方法
CN108009515B (zh) 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN109785317A (zh) 自动码垛桁架机器人的视觉系统
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
CN111062938B (zh) 基于机器学习的板材涨塞检测系统和检测方法
CN113344852A (zh) 一种电力场景通用物品的目标检测方法、装置及存储介质
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN116862910B (zh) 基于自动化裁切生产的视觉检测方法
CN111461010B (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN114219753A (zh) 一种基于深度学习的电力设备表面缺陷检测方法及终端
CN111582332B (zh) 一种高速铁路接触网吊弦部件的图片识别方法
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
CN108615057B (zh) 一种基于cnn的电缆隧道照明设备的异常识别方法
CN117787690A (zh) 吊装作业安全风险识别方法及识别装置
CN113177941A (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN116109849A (zh) 基于surf特征匹配的高压隔离开关定位与状态识别方法
CN112581472B (zh) 一种面向人机交互的目标表面缺陷检测方法
CN111783794B (zh) 一种基于深度可分离卷积残差块和改进nms的多尺度目标检测方法
CN117132896B (zh) 一种建筑物开裂的检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant