CN109919038A - 基于机器视觉与深度学习的配电柜方形压板状态识别方法 - Google Patents
基于机器视觉与深度学习的配电柜方形压板状态识别方法 Download PDFInfo
- Publication number
- CN109919038A CN109919038A CN201910110643.4A CN201910110643A CN109919038A CN 109919038 A CN109919038 A CN 109919038A CN 201910110643 A CN201910110643 A CN 201910110643A CN 109919038 A CN109919038 A CN 109919038A
- Authority
- CN
- China
- Prior art keywords
- pressing plate
- image
- switch
- deep learning
- machine vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉与深度学习的配电柜方形压板状态识别方法，依次通过图像采集、图像预处理、图像校正、图像预处理、一次整体聚类分割、目标识别，输出识别结果；本发明利用机器视觉与深度学习相结合的方法，将前端获取的压板图像通过必要的预处理工作之后，根据图像的几何特征对其进行分割，将分割后的所有小开关图像依次输入系统，识别模块负责对输入的每个个小开关图像进行分类判决确定开关状态的归属，最后组合输出整块压板的状态信息，不仅能节约时间与人力，还方便后期记录与复查压板开关在不同时间下的情况。
Description
技术领域
本发明属于电气设备图像识别领域，具体涉及一种采用机器视觉与深度 学习的配电柜方形压板状态识别方法。
背景技术
随着电力系统的发展，电力设备越来越复杂，各个子系统联系越来越密 切，那么对各个子系统状态的检测显得尤其重要，在电气控制柜中存在有较多方 形压板子系统，如下图1所示。上述压板阵列状态需要通过人工巡检和人工排查 来记录当前开关状态，较为耗费时间与人力，且效率低下。
发明内容
本发明针对上述现有技术的不足，利用机器视觉与图像处理技术来解决 上述技术问题的技术方案，具体技术方案如下：
基于几何特征聚类划分与深度学习的配电柜方形压板状态识别方法，包 括如下步骤：
步骤(1)图像采集：采集压板图像，并以图片格式保存压板图像信息；
步骤(2)图像校正：根据压板上设定的4个校正基准点，识别4个校正基 准点的压板图像位置，并以此将压板图像进行校正；
步骤(3)投影聚类：对校正后的压板图像进行一次整体投影聚类，获取开 关阵列的开关阵列数；
步骤(4)图像切割：根据所获取的开关阵列数对校正后的压板图像进行等 距切割，从而得到关于压板图像中每一开关的区域图像；
步骤(5)图像识别：将切割后的每一开关的区域图像依次送入训练好的神 经网络，确定每一开关的状态；
步骤(6)结果输出：最后组合输出整块压板开关的检测识别结果。
根据上述步骤，对压板进行图像采集、图像校正、图像预处理后，将压 板中的每个开关进行等距切割，即对原有图像进行一次区域划分，将原有的对整 体图像进行识别的方式转化为对单一开关的空间区域进行状态识别，根据切割后 每个开关的图样送入到已经训练好的模型中进行识别，检测出每个开关的状态， 并输出所有开关的状态信息。
进一步地，在步骤(1)中，通过手机、平板电脑、USB摄像头等进行 压板图像的采集。
进一步地，步骤(2)中所述的校正基准点即人为标定的直线或者黑点； 直线的校正基准点设置在压板的边框及每两行开关的中间；黑点的校正基准点设 置在压板区域的4个角点。
进一步地，步骤(2)中，获取直线的校正基准点的4个角点或4个黑 点的校正基准点在图像中的像素坐标，以此为基准将倾斜或者变形的压板图像进 行校正。由于拍摄角度的限制，往往存在俯拍或者仰拍的情况，以压板的4个角 点为基准，将图像校正至以4个角点为压板矩形尺寸的4个角，即4个角点的中 心作为校正后图像的4个角。
进一步地，步骤(3)中，对步骤(2)中校正后的压板图像进行预处理 之后再使用纵向和横向投影方法获取开关阵列数，即开关的行列数。
进一步地，步骤(4)中，根据步骤(3)中获取的压板图像的阵列数对 校正后的压板图像进行等距切割，将每一开关进行独立划分，从而获得关于压板 图像中每一开关的区域图像，大大减低了识别难度，便于后续的图像识别。
进一步地，步骤(5)中，将切割后独立划分的每一开关的区域图像依 次送入步骤(0)中训练好的神经网络进行识别，计算输出得到每一开关的状态 及判别概率，确定每一开关的状态。
进一步地，步骤(6)中，以矩阵形式组合输出压板开关的检测识别结 果。
进一步地，还包括步骤(0)：训练判别模型：建立训练好的神经网络 包括具体如下步骤：获取每一开关区域图像，并根据开关的状态将图像分到相应 状态的文件夹，搭建卷积神经网络框架，训练网络参数。
进一步地，步骤(0)中，将开关状态分为“关闭”和“开启”2种状态， “关闭”状态设置标签为“0”，“开启”状态设置标签为“1”，根据开关的状 态将图像分到相应状态的文件夹；每个文件夹以图像数据总数的70％作为训练集， 30％作为测试集，利用Tensorflow搭建卷积神经网络框架，输出通过softmax函 数得到识别结果概率模型，在GPU上训练网络，得到网络模型参数。
本发明的有益效果：
本发明利用机器学习与图像处理技术，将前端获取的压板图像通过必要的预 处理工作之后，根据图像的几何特征对其进行分割，将分割后的所有小开关图像 依次输入系统，识别模块负责对输入的每个个小开关图像进行分类判决确定开关 状态的归属，最后组合输出整块压板的状态信息，将前端获取的压板图像进行处 理后反馈出各个开关状态的识别结果，不仅能节约时间与人力，还方便后期记录 与复查压板开关在不同时间下的情况。
附图说明
图1是基于机器视觉与深度学习的配电柜方形压板状态识别方法的实现 流程图。
图2是基于机器视觉与深度学习的配电柜方形压板状态识别方法的压板 原图。
图3是基于机器视觉与深度学习的配电柜方形压板状态识别方法的 程序识别结果图。
具体实施方式
以下结合附图对本发明进行详细说明：
如图1所示，本发明的基于机器视觉与深度学习的配电柜方形压板状态 识别方法包括如下步骤：
步骤(0)训练判别模型：
将开关状态为“关闭”设置标签为“0”，“开启”状态设置为“1”，建立 相应状态的文件夹；
采集图像数据集，获取每一开关区域图像，生成每张开关图像的开关状态所 对应的标签，保存于txt文本中，并根据开关的状态将图像分到相应状态的文件 夹；
每个文件夹以图像数据总数的70％作为训练集，30％作为测试集，利用 Tensorflow搭建卷积神经网络框架，其包含3层卷积层(卷积核大小为3*3，卷 积核数量为{16，32，16}，每层包含Relu激活函数)，3层最大池化层(步长设 置为2)，两层全连接层，输出通过softmax函数得到识别结果概率模型，在GPU 上训练网络，得到网络模型参数。
步骤(1)图像采集：通过手机、平板电脑、USB摄像头等进行压板图 像的采集，并以图片格式保存压板图像信息；
步骤(2)图像校正：
在压板上设定4个校正基准点，校正基准点即人为标定的直线或者黑点；直 线的校正基准点设置在压板的边框及每两行开关的中间；黑点的校正基准点设置 在压板区域的4个角点；图2所示的压板校正基准点为在压板区域4个角点设置 黑点作为校正基准点；
获取直线的校正基准点的4个角点或4个黑点的校正基准点在图像中的像素 坐标，以此为基准将倾斜或者变形的压板图像进行校正。由于拍摄角度的限制， 往往存在俯拍或者仰拍的情况，以压板的4个角点为基准，将图像校正至以4 个角点为压板矩形尺寸的4个角，即4个角点的中心作为校正后图像的4个角。
步骤(3)投影聚类：对步骤(2)中校正后的压板图像进行一次整体投 影聚类，即进行预处理之后再使用纵向和横向投影方法获取开关阵列数，即开关 的行列数。
步骤(4)图像切割：根据步骤(3)中获取的压板图像的阵列数对校正 后的压板图像进行等距切割，将每一开关进行独立划分，从而获得关于压板图像 中每一开关的区域图像，大大减低了识别难度，便于后续的图像识别。
步骤(5)图像识别：将切割后独立划分的每一开关的区域图像依次送 入步骤(0)中训练好的神经网络进行识别，计算输出得到每一开关的状态及判 别概率，确定每一开关的状态。
步骤(6)结果输出：以矩阵形式组合输出压板开关的检测识别结果， 如图3所示。
本发明具体实现的硬件过程：通过手机、平板电脑、USB摄像头等设备 对压板图像进行采集，图像通过光缆传输给中央处理器，中央处理器对图像进行 校正、一次整体聚类划分、模型训练和目标识别，在现场采集大量图片并将其分 割后批量将开关状态为“0”或者是“1”的分到相应的文件夹。将卷积神经网络 参数设置好，进行训练。生成模型。把所要识别的图像切割后的独立的单一开关 图像送入模型进行识别，得出识别结果，并通过矩阵形式显示于电子显示器。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当 指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还 可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (10)
1.基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，包括如下步骤：
步骤(1)图像采集：采集压板图像，并以图片格式保存压板图像信息；
步骤(2)图像校正：根据压板上设定的4个校正基准点，识别4个校正基准点的压板图像位置，并以此将压板图像进行校正；
步骤(3)投影聚类：对校正后的压板图像进行一次整体投影聚类，获取开关阵列的开关阵列数；
步骤(4)图像切割：根据所获取的开关阵列数对校正后的压板图像进行等距切割，从而得到关于压板图像中每一开关的区域图像；
步骤(5)图像识别：将切割后的每一开关的区域图像依次送入训练好的神经网络，确定每一开关的状态；
步骤(6)结果输出：最后组合输出整块压板开关的检测识别结果。
2.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，在步骤(1)中，通过手机、平板电脑、USB摄像头等进行压板图像的采集。
3.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，步骤(2)中所述的校正基准点即人为标定的直线或者黑点；直线的校正基准点设置在压板的边框及每两行开关的中间；黑点的校正基准点设置在压板区域的4个角点。
4.根据权利要求3所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，获取直线的校正基准点的4个角点或4个黑点的校正基准点在图像中的像素坐标，以此为基准将倾斜或者变形的压板图像进行校正。
5.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，步骤(3)中，对步骤(2)中校正后的压板图像进行预处理之后再使用纵向和横向投影方法获取开关阵列数。
6.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，步骤(4)中，根据步骤(3)中获取的压板图像的阵列数对校正后的压板图像进行等距切割，将每一开关进行独立划分，从而获得关于压板图像中每一开关的区域图像。
7.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，步骤(5)中，将切割后独立划分的每一开关的区域图像依次送入训练好的神经网络进行识别，计算输出得到每一开关的状态及判别概率，确定每一开关的状态。
8.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，步骤(6)中，以矩阵形式组合输出压板开关的检测识别结果。
9.根据权利要求1所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，建立训练好的神经网络包括具体如下步骤：
获取每一开关区域图像，并根据开关的状态将图像分到相应状态的文件夹，搭建卷积神经网络框架，训练网络参数。
10.根据权利要求9所述的基于机器视觉与深度学习的配电柜方形压板状态识别方法，其特征在于，将开关状态分为“关闭”和“开启”2种状态，“关闭”状态设置标签为“0”，“开启”状态设置标签为“1”，根据开关的状态将图像分到相应状态的文件夹；每个文件夹以图像数据总数的70％作为训练集，30％作为测试集，利用Tensorflow搭建卷积神经网络框架，输出通过softmax函数得到识别结果概率模型，在GPU上训练网络，得到网络模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910110643.4A CN109919038A (zh) | 2019-02-12 | 2019-02-12 | 基于机器视觉与深度学习的配电柜方形压板状态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910110643.4A CN109919038A (zh) | 2019-02-12 | 2019-02-12 | 基于机器视觉与深度学习的配电柜方形压板状态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109919038A true CN109919038A (zh) | 2019-06-21 |
Family
ID=66961454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910110643.4A Pending CN109919038A (zh) | 2019-02-12 | 2019-02-12 | 基于机器视觉与深度学习的配电柜方形压板状态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919038A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533090A (zh) * | 2019-08-21 | 2019-12-03 | 国网江苏省电力有限公司电力科学研究院 | 开关刀闸状态检测方法及装置 |
| CN112069902A (zh) * | 2020-08-06 | 2020-12-11 | 许继集团有限公司 | 一种变电站屏柜压板识别方法及系统 |
| CN114069844A (zh) * | 2021-10-27 | 2022-02-18 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN114066993A (zh) * | 2021-10-25 | 2022-02-18 | 华南理工大学 | 基于机器视觉的配电柜控制面板分割方法 |
| CN116051389A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种标定图像的矫正方法、装置及电子设备 |
| CN117013703A (zh) * | 2023-10-07 | 2023-11-07 | 华大天元(北京)科技股份有限公司 | 一种基于机器视觉的电控柜开关监测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010026A (zh) * | 2017-12-26 | 2018-05-08 | 深圳供电局有限公司 | 一种保护压板状态识别方法和装置 |
| US20180129899A1 (en) * | 2016-11-07 | 2018-05-10 | Gracenote, Inc. | Recurrent Deep Neural Network System for Detecting Overlays in Images |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN108447056A (zh) * | 2018-03-26 | 2018-08-24 | 广西大学 | 基于几何特征聚类划分的配电柜圆形压板状态识别方法 |
| CN108573256A (zh) * | 2017-03-14 | 2018-09-25 | 山东鲁能智能技术有限公司 | 一种变电站压板设备状态识别方法及装置 |
| CN109165605A (zh) * | 2018-08-28 | 2019-01-08 | 北京秦圣机器人科技有限公司 | 数据中心巡检机器人对于控制柜压板设备状态识别的方法 |
| CN109191419A (zh) * | 2018-06-25 | 2019-01-11 | 国网山东省电力公司检修公司 | 基于机器学习的实时压板检测及状态识别系统及方法 |
-
2019
- 2019-02-12 CN CN201910110643.4A patent/CN109919038A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180129899A1 (en) * | 2016-11-07 | 2018-05-10 | Gracenote, Inc. | Recurrent Deep Neural Network System for Detecting Overlays in Images |
| CN108573256A (zh) * | 2017-03-14 | 2018-09-25 | 山东鲁能智能技术有限公司 | 一种变电站压板设备状态识别方法及装置 |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN108010026A (zh) * | 2017-12-26 | 2018-05-08 | 深圳供电局有限公司 | 一种保护压板状态识别方法和装置 |
| CN108447056A (zh) * | 2018-03-26 | 2018-08-24 | 广西大学 | 基于几何特征聚类划分的配电柜圆形压板状态识别方法 |
| CN109191419A (zh) * | 2018-06-25 | 2019-01-11 | 国网山东省电力公司检修公司 | 基于机器学习的实时压板检测及状态识别系统及方法 |
| CN109165605A (zh) * | 2018-08-28 | 2019-01-08 | 北京秦圣机器人科技有限公司 | 数据中心巡检机器人对于控制柜压板设备状态识别的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 徐光柱、雷帮军著: "《实用性目标检测与跟踪算法原理及应用》", 30 April 2015 * |
| 许超等: "基于模型聚类匹配和形态特征识别的保护压板状态辨识技术", 《陕西电力》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533090A (zh) * | 2019-08-21 | 2019-12-03 | 国网江苏省电力有限公司电力科学研究院 | 开关刀闸状态检测方法及装置 |
| CN110533090B (zh) * | 2019-08-21 | 2022-07-08 | 国网江苏省电力有限公司电力科学研究院 | 开关刀闸状态检测方法及装置 |
| CN112069902A (zh) * | 2020-08-06 | 2020-12-11 | 许继集团有限公司 | 一种变电站屏柜压板识别方法及系统 |
| CN114066993A (zh) * | 2021-10-25 | 2022-02-18 | 华南理工大学 | 基于机器视觉的配电柜控制面板分割方法 |
| CN114066993B (zh) * | 2021-10-25 | 2024-03-22 | 华南理工大学 | 基于机器视觉的配电柜控制面板分割方法 |
| CN114069844A (zh) * | 2021-10-27 | 2022-02-18 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN114069844B (zh) * | 2021-10-27 | 2023-08-04 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN116051389A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种标定图像的矫正方法、装置及电子设备 |
| CN117013703A (zh) * | 2023-10-07 | 2023-11-07 | 华大天元(北京)科技股份有限公司 | 一种基于机器视觉的电控柜开关监测方法及装置 |
| CN117013703B (zh) * | 2023-10-07 | 2023-12-26 | 华大天元(北京)科技股份有限公司 | 一种基于机器视觉的电控柜开关监测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919038A (zh) | 基于机器视觉与深度学习的配电柜方形压板状态识别方法 | |
| CN105096269B (zh) | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 | |
| DE102013113490A1 (de) | Verfahren und System zum Schätzen einer Lage einer Kamera | |
| CN110346699A (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
| CN115170550A (zh) | 一种基于深度学习的电池缺陷检测方法及系统 | |
| CN112163551A (zh) | 基于图像处理和多维度感知的光伏电池板形变预测方法 | |
| CN113873229B (zh) | 一种图像坏点检测方法、系统及装置 | |
| CN108919982A (zh) | 一种基于人脸朝向识别的自动键鼠切换方法 | |
| CN108447056A (zh) | 基于几何特征聚类划分的配电柜圆形压板状态识别方法 | |
| CN111553422A (zh) | 手术器械自动识别回收方法及系统 | |
| CN111860498B (zh) | 一种车牌的对抗性样本生成方法、装置及存储介质 | |
| CN105739106A (zh) | 一种体感多视点大尺寸光场真三维显示装置及方法 | |
| CN113887489A (zh) | 基于位置增强和多尺度融合网络的车厢内人群计数方法 | |
| CN104184936B (zh) | 基于光场相机的影像对焦处理方法及其系统 | |
| CN114693528A (zh) | 无人机低空遥感图像拼接质量评估与降冗方法及系统 | |
| CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
| CN105574853B (zh) | 一种基于图像识别的麦穗粒数计算的方法及系统 | |
| CN114463685B (zh) | 行为识别方法、装置、电子设备及存储介质 | |
| CN114119720B (zh) | 一种基于卷积神经网络的靶面弹着点的检测和定位方法 | |
| CN115661117A (zh) | 一种接触网绝缘子可见光图像检测方法 | |
| CN106846302B (zh) | 一种工具正确取件的检测方法及基于此方法的考核台 | |
| CN112070791B (zh) | 一种提升畜牧个体点数精度和效率的方法和系统 | |
| CN114519799A (zh) | 一种多特征座位状态实时检测方法及系统 | |
| CN113343475A (zh) | 光伏仿真参数的获取方法、装置及计算机存储介质 | |
| CN111161397A (zh) | 人脸三维重建方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |