CN113052894B - 一种基于图像语义分割的门开关状态检测方法及系统 - Google Patents

一种基于图像语义分割的门开关状态检测方法及系统 Download PDF

Info

Publication number
CN113052894B
CN113052894B CN202110432408.6A CN202110432408A CN113052894B CN 113052894 B CN113052894 B CN 113052894B CN 202110432408 A CN202110432408 A CN 202110432408A CN 113052894 B CN113052894 B CN 113052894B
Authority
CN
China
Prior art keywords
door
image
area
semantic segmentation
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110432408.6A
Other languages
English (en)
Other versions
CN113052894A (zh
Inventor
王晨
刘海峰
任广鑫
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202110432408.6A priority Critical patent/CN113052894B/zh
Publication of CN113052894A publication Critical patent/CN113052894A/zh
Application granted granted Critical
Publication of CN113052894B publication Critical patent/CN113052894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像语义分割的门开关状态检测方法及系统，属于图像语义分割技术领域，包括以下步骤：S1：图像采集；S2：像素分类；S3：计算门面积；S4：判断门开关状态。本发明采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。

Description

一种基于图像语义分割的门开关状态检测方法及系统
技术领域
本发明涉及图像语义分割技术领域，具体涉及一种基于图像语义分割的门开关状态检测方法及系统。
背景技术
由于变电站的设备是高压，强电磁环境，设备价值较高，一旦发生非法人员入侵等情况，极有可能造成设备损坏和人员伤亡，进而导致设备停电，影响城市正常用电，后果十分严重。目前大多数变电站大门都是自动门，可能由于工作人员离站时忘记关门，导致处于半开或者全开的状态。而变电站又多处在城市的郊区，大型动物可直接进出变电站，存在相当大的危险隐患。
现有基于深度学习的方案将变电站大门开关状态当做两类目标检测方案来做，可获得两种状态下变电站大门的包围框。基于深度学习的目标检测方案，将变电站大门进行包围框标注，然后训练一个两类检测器。但当变电站大门处于完全开的情况下，大门后的背景就会进入到检测区域中，而不同大门后的背景又是多种多样的，这会严重影响检测器的性能。另外，当大门处于快关闭状态而未关闭状态时，检测器又容易将大门直接识别为关闭状态，造成一定程度的误检。为此，提出一种基于图像语义分割的门开关状态检测方法及系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有基于深度学习的门开关状态方案存在的检测性能差、易误检等问题，提供了一种基于图像语义分割的门开关状态检测方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：图像采集
从关于门的视频流中采集一张图像；
S2：像素分类
将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；
S3：计算门面积
利用轮廓检测计算门区域面积S；
S4：判断门开关状态
通过比较I值与预设阈值R的大小对门的开关状态进行判断，其中I＝St/Smax，St为本轮采集图像中门的面积，Smax为门正常闭合时门区域面积S的最大值，当I<R时，门是打开状态，否则判断为闭合状态。
更进一步地，在所述步骤S1中，首次采集时该图像中为门正常关闭状态图像，且整个门均处于该图像中。
更进一步地，在所述步骤S2中，语义分割即对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，可视化时为每种类别赋予一个颜色。
更进一步地，在所述步骤S2中，所述语义分割网络结构为deeplab v3网络或Unet网络。
更进一步地，所述步骤S2中的语义分割网络的训练过程如下：
S21：使用标注工具，将门的图片数据中的门区域采用多边形工具进行标注；
S22：根据标注信息，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的门区域像素值置为1，非门区域值置为0；
S23：采用原始图片和步骤S22生成的标注图片，训练并保存语义分割网络。
更进一步地，所述步骤S3的具体过程如下：
S31：对输出为1的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；
S32：对步骤S31中相对连续的分割区域进行轮廓检测，找到轮廓面积最大的区域，计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；
S33：将步骤S32中的外接矩形框记为门区域面积S。
更进一步地，在初次求取I值时，经过步骤S1～S3所获得的门区域面积为S1，I＝S1/Smax，S1即为门区域面积的最大值Smax，需先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，门为闭合状态。
本发明还提供了一种基于图像语义分割门开关状态检测系统，利用上述的检测方法对门开关状态进行检测，包括：
图像采集模块，用于从关于门的视频流中采集一张图像；
像素分类模块，用于将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；
面积计算模块，用于利用轮廓检测计算门区域面积S；
状态判断模块，用于通过比较I值与预设阈值R的大小对门的开关状态进行判断；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述图像采集模块、像素分类模块、面积计算模块、状态判断模块均与中央处理模块电连接。
本发明相比现有技术具有以下优点：该一种基于图像语义分割的门开关状态检测方法，采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。
附图说明
图1是本发明实施例一中的流程示意图；
图2a是本发明实施例二中大门正常关闭时的图片；
图2b是本发明实施例二中对大门关闭图片进行分类的结果图；
图2c是本发明实施例二中大门打开时的图片；
图2d是图2c经语义分割网络后的图片。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示，本实施例提供一种技术方案：一种基于图像语义分割的门开关状态检测方法，包括以下步骤：
步骤S1：图像采集
算法启动时，从视频流中采集一张图像，首次采集时该图像为大门正常关闭状态图像；步骤S2：像素分类
将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；
在本步骤S2中，语义分割：是对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，如0,1,…,255。可视化时，为每种类别赋予一个颜色。本实施例所采用的语义分割网络结构有deeplab v3、Unet等，通过训练可以完成对变电站大门的语义分割。
具体训练过程如下：
S21：使用标注工具，将变电站大门图片数据中的大门区域采用多边形工具进行标注；
S22：根据标注信息(标注信息为由包围大门的多边形点集包围的多边形区域)，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的大门区域像素值置为“1”，非大门区域像素值置为“0”；
S23：采用原始图片和步骤S22生成的标注图片，训练语义分割网络；
将采集的图像输入训练后的语义分割网络，输出每个像素的分类信息，如果是大门则像素点值为“1”，背景像素点值为“0”。
步骤S3：计算门面积
计算大门区域面积S；
步骤S3的具体过程如下：
S31：对输出为“1”的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；
腐蚀、膨胀操作都是在二进制图像上进行的图像形态学操作，通过将像素添加到图像中的对象的感知边界——膨胀，或沿着物体边界移除像素，缩小物体的边界——腐蚀。一般采用opencv中的dilate(膨胀)和erode(腐蚀)进行处理。
S32：对这些区域进行轮廓检测，找到轮廓面积最大的区域，计算此区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；
在本实施例中，轮廓检测是通过opencv中的findContours函数进行处理。轮廓是由一系列边界点集构成的，点集包围的点的数量计算为轮廓的面积。
S33：将上述外接矩形框记为变电站大门区域面积S；
步骤4：判断大门开关状态
大门的开关状态是通过比较I值与预设阈值R的大小进行判断的，其中I＝St/Smax，St为本轮采集图像中大门的面积，Smax为大门正常闭合时大门区域面积的最大值，R值一般大于0小于1。当I<R时，大门是打开状态，否则判断为闭合状态。
经过步骤S1～S3所获得的大门区域面积为S1，I＝S1/Smax，但因为是初次求取I值，Smax此时还未赋值，显然步骤S1～S3所获得的大门区域面积为S1即为大门区域面积的最大值Smax，因此初次求取I值时，首先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，大门为闭合状态。从流程图可以看出，判断结果为“否”时，将重新从视频流采集一张图像送入语义分割网络，进行步骤循环。后续求取I值时，除算法重启，无需重新赋值。
需要说明的是，在所述步骤S1中，用于采集视频流的摄像机的光轴所在直线与变电站大门所在平面的夹角90°，原则上摄像机的光轴所在直线与变电站大门所在平面的夹角大小在60°～120°之间。
实施例二
如图2所示，算法启动时，初次采集图片应为大门正常关闭时的图片，如图2a所示，将采集到的图片送入训练后的语义分割网络，对图像像素进行分类，训练后的语义分割网络可以对平移、推拉类大门进行语义分割，分类结果如图2b所示，图中背景区域为空白区域像素值为“0”，大门区域为阴影区域像素值为“1”，计算像素值为“1”的区域的面积，通过计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框，如图2b中阴影区域外接矩形框，以矩形框面积为大门面积。判断大门开关状态，因为这是算法启动后首次采集图片，求取I值时，应首先对Smax进行赋值，本次计算所得大门面积S1即为大门最大面积Smax，因此Smax＝S1，再求取I值，此时I＝1，大于R，大门为闭合状态。
图2c为大门打开时采集的图片，图2d为图2c经语义分割网络后的图片。通过本方法可以判断大门为打开状态。
综上所述，上述实施例的一种基于图像语义分割的门开关状态检测方法，采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于图像语义分割的门开关状态检测方法，其特征在于，包括以下步骤：
S1：图像采集
从关于门的视频流中采集一张图像；
S2：像素分类
将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；
S3：计算门面积
利用轮廓检测计算门区域面积S；
S4：判断门开关状态
通过比较I值与预设阈值R的大小对门的开关状态进行判断，其中I＝St/Smax，St为本轮采集图像中门的面积，Smax为门正常闭合时门区域面积S的最大值，当I<R时，门是打开状态，否则判断为闭合状态；
在所述步骤S2中，语义分割即对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，可视化时为每种类别赋予一个颜色；
所述步骤S2中的语义分割网络的训练过程如下：
S21：使用标注工具，将门的图片数据中的门区域采用多边形工具进行标注；
S22：根据标注信息，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的门区域像素值置为1，非门区域值置为0；
S23：采用原始图片和步骤S22生成的标注图片，训练并保存语义分割网络；
所述步骤S3的具体过程如下：
S31：对输出为1的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；
S32：对步骤S31中相对连续的分割区域进行轮廓检测，找到轮廓面积最大的区域，计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；
S33：将步骤S32中的外接矩形框记为门区域面积S。
2.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在所述步骤S1中，首次采集时该图像中为门正常关闭状态图像，且整个门均处于该图像中。
3.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在所述步骤S2中，所述语义分割网络结构为deeplab v3网络或Unet网络。
4.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在初次求取I值时，经过步骤S1～S3所获得的门区域面积为S1，I＝S1/Smax，S1即为门区域面积的最大值Smax，需先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，门为闭合状态。
5.一种基于图像语义分割门开关状态检测系统，其特征在于，利用如权利要求1～4任一项所述的检测方法对门开关状态进行检测，包括：
图像采集模块，用于从关于门的视频流中采集一张图像；
像素分类模块，用于将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；
面积计算模块，用于利用轮廓检测计算门区域面积S；
状态判断模块，用于通过比较I值与预设阈值R的大小对门的开关状态进行判断；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述图像采集模块、像素分类模块、面积计算模块、状态判断模块均与中央处理模块电连接。
CN202110432408.6A 2021-04-21 2021-04-21 一种基于图像语义分割的门开关状态检测方法及系统 Active CN113052894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432408.6A CN113052894B (zh) 2021-04-21 2021-04-21 一种基于图像语义分割的门开关状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432408.6A CN113052894B (zh) 2021-04-21 2021-04-21 一种基于图像语义分割的门开关状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN113052894A CN113052894A (zh) 2021-06-29
CN113052894B true CN113052894B (zh) 2022-07-08

Family

ID=76519934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432408.6A Active CN113052894B (zh) 2021-04-21 2021-04-21 一种基于图像语义分割的门开关状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN113052894B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610091A (zh) * 2021-07-30 2021-11-05 随锐科技集团股份有限公司 一种空气开关状态的智能识别方法、识别装置及存储介质
CN115063362A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 配电箱门检测方法、系统、电子设备、介质和程序产品
CN116051897B (zh) * 2023-01-28 2023-06-27 合肥中科类脑智能技术有限公司 门开关状态的检测方法、装置及边缘处理设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859224A (zh) * 2019-01-31 2019-06-07 东北大学 一种传送带矿岩颗粒图像分割方法
CN110659546A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种违法摊位检测方法及装置
CN110674735A (zh) * 2019-09-23 2020-01-10 中国科学院地理科学与资源研究所 基于精细分类的农业设施遥感提取方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929665B2 (en) * 2018-12-21 2021-02-23 Samsung Electronics Co., Ltd. System and method for providing dominant scene classification by semantic segmentation
CN110766007B (zh) * 2019-10-28 2023-09-22 深圳前海微众银行股份有限公司 证件遮挡检测方法、装置、设备及可读存储介质
CN112258469A (zh) * 2020-10-20 2021-01-22 成都云盯科技有限公司 一种卷帘门状态检测方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659546A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种违法摊位检测方法及装置
CN109859224A (zh) * 2019-01-31 2019-06-07 东北大学 一种传送带矿岩颗粒图像分割方法
CN110674735A (zh) * 2019-09-23 2020-01-10 中国科学院地理科学与资源研究所 基于精细分类的农业设施遥感提取方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ore image segmentation method using U-Net and Res_Unet convolutional networks;Xiaobo Liu et al.;《RSC Advances》;20200304;第10卷(第16期);第9396-9406页 *
基于语义分割的接触网开口销状态检测;闵锋 等;《华中科技大学学报（自然科学版）》;20200131;第48卷(第1期);第77-81页 *

Also Published As

Publication number Publication date
CN113052894A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052894B (zh) 一种基于图像语义分割的门开关状态检测方法及系统
US10916039B2 (en) Background foreground model with dynamic absorption window and incremental update for background model thresholds
US10303955B2 (en) Foreground detector for video analytics system
Gómez-Moreno et al. Goal evaluation of segmentation algorithms for traffic sign recognition
US9471844B2 (en) Dynamic absorption window for foreground background detector
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN109359554A (zh) 一种基于多合成图像处理技术的森林火灾识别方法
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法
CN111582166B (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
Murali et al. Segmentation of motion objects from surveillance video sequences using temporal differencing combined with multiple correlation
Gallego et al. Enhanced bayesian foreground segmentation using brightness and color distortion region-based model for shadow removal
Jin et al. Fusing Canny operator with vibe algorithm for target detection
Nguyen et al. An improved real-time blob detection for visual surveillance
Cristani et al. A spatial sampling mechanism for effective background subtraction.
Zhu Moving Objects Detection and Segmentation Based on Background Subtraction and Image Over-Segmentation.
Zhang et al. ECF-STPM: A robust crack detection method for railway catenary components
CN115311625A (zh) 一种判断目标是否接触输电线路的监控方法
CN114724091A (zh) 一种输电线路导线异物识别方法及装置
CN103426180A (zh) 一种视频拌线侦测方法
Chen et al. Adaptive silhouette extraction in dynamic environments using fuzzy logic
CN114596242A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
Cristani et al. Background subtraction with adaptive spatio-temporal neighborhood analysis
Sharma et al. Efficient object detection with its enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant