CN116051897A - 门开关状态的检测方法、装置及边缘处理设备、存储介质 - Google Patents

门开关状态的检测方法、装置及边缘处理设备、存储介质 Download PDF

Info

Publication number
CN116051897A
CN116051897A CN202310042801.3A CN202310042801A CN116051897A CN 116051897 A CN116051897 A CN 116051897A CN 202310042801 A CN202310042801 A CN 202310042801A CN 116051897 A CN116051897 A CN 116051897A
Authority
CN
China
Prior art keywords
image
feature
detected
blocks
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310042801.3A
Other languages
English (en)
Other versions
CN116051897B (zh
Inventor
赵帆
刘海峰
王子磊
艾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202310042801.3A priority Critical patent/CN116051897B/zh
Publication of CN116051897A publication Critical patent/CN116051897A/zh
Application granted granted Critical
Publication of CN116051897B publication Critical patent/CN116051897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种门开关状态的检测方法、装置及边缘处理设备、存储介质。该方法包括：获取待测图像；利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息；将待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，其中，异常图像块为待测图像中与预先构建的模板库中标准图像之间的区别图像块；根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，并在异常图像块数量大于预设阈值时，判定门状态为开启状态。由此，以提升门状态检测的检测准确度。

Description

门开关状态的检测方法、装置及边缘处理设备、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种门开关状态的检测方法、装置及边缘处理设备、存储介质。
背景技术
通常，变电站内部的设备大多是高压、强电磁设备，设备的价值较高，因此，一旦变电站发生了人员入侵等情况，极有可能会造成设备的损坏或者人员伤亡，进而会导致设备停电，影响城市正常用电，后果十分严重。大多数变电站大门都是自动门，但是存在可能由于工作人员离站时忘记关门，导致变电站大门处于半开或者全开的状态，存在相当大的安全隐患。
目前，相关的变电站大门开关状态检测方法为：基于深度学习的目标检测方法，即利用目标检测将变电站大门进行矩形框标注，再训练一个两类检测器，来对变电站大门的开关状态进行检测。但是，当变电站大门处于全开状态时，大门后的背景就会进入到检测区域中，而不同大门后的背景又是多种多样的，这会严重影响检测器的性能。另外，当大门处于快关闭状态而未关闭状态时，检测器又容易将大门直接识别为关闭状态，造成一定程度的误检。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种门开关状态的检测方法，以提升门状态检测的检测准确度。
本发明的第二个目的在于提出一种门开关状态的检测装置。
本发明的第三个目的在于提出一种边缘处理设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一个实施例提出了一种门开关状态的检测方法，该方法包括：
获取待测图像；利用训练好的目标检测模型从所述待测图像中确定目标门区域的坐标信息；将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，其中，所述异常图像块为所述待测图像中与预先构建的模板库中标准图像之间的区别图像块；根据所述异常图像块的位置信息和所述目标门区域的坐标信息确定位于所述目标门区域中的异常图像块数量，并在所述异常图像块数量大于预设阈值时，判定门状态为开启状态。
本发明实施例的门开关状态的检测方法，通过利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息；再将待测图像输入至配置好的异常检测模型中，可以得到待测图像中与模板库中标准图像之间的异常图像块（即区别图像块）；最后根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，若异常图像块数量大于预设阈值，则判定门状态为开启状态，从而提升了门状态检测的检测准确度。
在一些可实现的方式中，所述模板库的构建步骤包括：获取多个标准图像，其中，所述标准图像中的门状态为关闭状态；将多个所述标准图像输入至异常检测模型中，得到多个标准图像块，其中，所述标准图像块是通过将第一特征图的区域块映射至所述标准图像中得到的，所述第一特征图是通过异常检测模型对所述标准图像进行特征提取和特征融合得到的；将多个所述标准图像块存储至所述模板库中，得到构建好的模板库。
在一些可实现的方式中，将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，包括：对所述待测图像进行特征提取和特征融合，得到第二特征图；将所述第二特征图分割为多个区域块，并将多个所述第二特征图的区域块映射至所述待测图像中，得到多个图像块；确定所述图像块与所述模板库中对应位置的标准图像块之间的相似度值，并根据所述相似度值确定所有所述图像块中的异常图像块；确定所述异常图像块的所述位置信息。
在一些可实现的方式中，对所述待测图像进行特征提取和特征融合，得到第二特征图，包括：对所述待测图像进行特征提取，得到多个子特征图；确定每个所述子特征图的融合权重；根据每个所述子特征图的融合权重将所有所述子特征图进行特征融合，以得到所述第二特征图。
在一些可实现的方式中，通过下式确定所述子特征图的融合权重：
其中，Wi为第i层特征提取得到的子特征图的融合权重，n为特征提取的总提取层数，Si为第i层特征提取得到的子特征图的尺寸，Sj为求和时第j层特征提取得到的子特征图的尺寸，j为求和时的特征提取层数。
在一些可实现的方式中，通过下式确定所述相似度值：
其中，similarity为所述图像块与对应位置的所述标准图像块之间的所述相似度值，为所述图像块的特征向量，为所述标准图像块的特征向量。
在一些可实现的方式中，所述目标检测模型的训练步骤包括：获取样本图像；以所述样本图像作为输入，以目标门区域的坐标信息作为输出，训练目标检测模型，以得到所述训练好的目标检测模型。
为达上述目的，本发明第二个实施例提出了一种门开关状态的检测装置，该装置包括：
获取模块，用于获取待测图像；确定模块，用于利用训练好的目标检测模型从所述待测图像中确定目标门区域的坐标信息；异常检测模块，用于将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，其中，所述异常图像块为所述待测图像中与预先构建的模板库中标准图像之间的区别图像块；门状态判定模块，用于根据所述异常图像块的位置信息和所述目标门区域的坐标信息确定位于所述目标门区域中的异常图像块数量，并在所述异常图像块数量大于预设阈值时，判定门状态为开启状态。
本发明实施例的门开关状态的检测装置，通过获取模块获取待测图像；确定模块利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息；异常检测模块将待测图像输入至配置好的异常检测模型中，可以得到待测图像中与模板库中标准图像之间的异常图像块（即区别图像块）；最后门状态判定模块根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，若异常图像块数量大于预设阈值，则判定门状态为开启状态，从而提升了门状态检测的检测准确度。
为达上述目的，本发明第三个实施例提出了一种边缘处理设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面实施例提出的门开关状态的检测方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明第一方面实施例提出的门开关状态的检测方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的门开关状态的检测方法的流程图；
图2是本发明实施例的模板库构建方法的流程图；
图3是本发明一个具体实施例的标准图像和第一特征图的示意图；
图4是本发明实施例的异常图像块的位置信息确定方法的流程图；
图5是本发明实施例的得到第二特征图的方法的流程图；
图6是本发明实施例的门开关状态的检测装置的方框图；
图7是本发明一个实施例的边缘处理设备的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的门开关状态的检测方法、装置及边缘处理设备、存储介质。
图1是本发明一个实施例的门开关状态的检测方法的流程图。如图1所示，该检测方法包括以下步骤：
步骤S110：获取待测图像。
首先，需要说明的是，本发明实施例以检测变电站大门的开关状态作为示例来对检测方法进行具体介绍，本发明还适用于检测其他场景中门的开关状态。
具体地，在实际检测的过程中，可以在待检测场景中设置一个摄像装置，摄像装置用于对变电站大门进行录像或拍摄，从而获得包含有变电站大门的视频流；得到变电站大门的视频流后，再从视频流中采集一张图像作为待测图像，以进行后续的检测。
步骤S120：利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息。
具体地，得到待测图像后，将待测图像输入至训练好的目标检测模型中。训练好的目标检测模型能够输出预测的目标门区域的坐标信息。目标门区域的坐标信息可以为预测框的边框坐标值。
这里需要说明的是，本发明实施例中训练好的目标检测模型的工作原理为：目标检测模型将大门部分认定为一类，将背景部分认定为另一类，从而来区分大门区域和背景区域。
在一些实施方式中，目标检测模型的训练方式可以为：获取样本图像；以样本图像作为输入，以目标门区域的坐标信息作为输出，训练目标检测模型，以得到训练好的目标检测模型。
具体地，获取多个包含变电站大门的样本图像，并利用矩形框标注工具对变电站大门区域进行标注，矩形框中的区域即为目标门区域；将经过标注后的样本图像输入至目标检测模型中，目标检测模型会输出预测的目标门区域的坐标信息，从而实现对目标检测模型的训练。需要说明的是，对样本图像进行矩形框标注，其标签信息可以为矩形框的坐标数据，在将经过标注后的样本图像输入至目标检测模型中之前，还需要对矩形框的坐标数据进行数据转换，以转换为可以适配目标检测模型训练的数据格式。另外，目标检测模型可以使用yolov5模型，此处不对目标检测模型进行具体限制。
步骤S130：将待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息。
需要说明的是，异常图像块为待测图像中与预先构建的模板库中标准图像之间的区别图像块。
具体地，将待测图像输入至配置好的异常检测模型中，异常检测模型对待测图像进行处理，得到多个图像块。得到多个图像块后，异常检测模型还会确定图像块与模板库中相应位置的标准图像块之间的相似度。从而能够在多个图像块中确定异常图像块，并确定异常图像块的位置信息。
图2是本发明实施例的模板库构建方法的流程图。为了方便理解，下面参考图2，先对模板库的构建过程进行介绍。
如图2所示，模板库的构建过程可以包括以下几个步骤：
步骤S210：获取多个标准图像。
步骤S220：将多个标准图像输入至异常检测模型中，得到多个标准图像块。
步骤S230：将多个标准图像块存储至模板库中，得到构建好的模板库。
需要说明的是，标准图像中的门状态为关闭状态。另外，标准图像块是通过异常检测模型对标准图像进行特征提取和特征融合得到第一特征图，再将第一特征图的区域块映射至标准图像中得到的。
具体地，先通过摄像装置采集若干变电站大门为关闭状态时的图像，并将这些图像作为标准图像。这里需要说明的是，由于变电站大门所处环境的光照不同、季节不同等，会影响对门开关状态的检测。因此，在本实施例中，可以在不同光照条件下、不同季节条件下等，来采集多个变电站大门关闭状态时的图像，并将这些图像作为标准图像，从而来提高模板库中标准图像的多样性和全面性，进而提高门开关状态检测的准确度。
得到多个标准图像后，对标准图像进行预处理。预处理的方式可以包括：图像标准化、图像尺寸调整等，例如，可以将标准图像的尺寸统一到224*224，此处不对预处理的方式进行具体限制。
对标准图像进行预处理后，将经过预处理的标准图像输入至异常检测模型中。异常检测模型会先对标准图像进行不同尺度的特征提取，得到多个特征图；再将多个特征图进行特征融合，得到第一特征图。需要说明的是，特征融合的方式可以采用目前已有的特征融合方式，此处不再赘述。得到第一特征图后，将第一特征图进行等份分割，得到多个区域块；再将第一特征图的区域块映射至输入的标准图像中，映射到标准图像中的区域即为该区域块对应的标准图像块。
作为一个示例，如图3所示，若输入至异常检测模型的标准图像的尺寸为200*200，对标准图像进行特征提取和特征融合后，得到的第一特征图的尺寸为10*10。将第一特征图等份分割出多个尺寸为1*1的区域块，再将区域块映射至输入的标准图像中，得到的标准图像块的尺寸即为20*20。
得到多个标准图像块后，将多个标准图像块存储至模板库中，就能够得到构建好的模板库。
图4是本发明实施例的异常图像块的位置信息确定方法的流程图。如图4所示，在一些实施方式中，步骤S130包括以下步骤：
步骤S410：对待测图像进行特征提取和特征融合，得到第二特征图。
步骤S420：将第二特征图分割为多个区域块，并将多个第二特征图的区域块映射至待测图像中，得到多个图像块。
步骤S430：确定图像块与模板库中对应位置的标准图像块之间的相似度值，并根据相似度值确定所有图像块中的异常图像块。
步骤S440：确定异常图像块的位置信息。
具体地，将待测图像输入至异常检测模型中后，异常检测模型先对待测图像进行特征提取和特征融合，得到第二特征图。图5是本发明实施例的得到第二特征图的方法的流程图。如图5所示，可以具体通过以下步骤得到第二特征图：
步骤S510：对待测图像进行特征提取，得到多个子特征图。
步骤S520：确定每个子特征图的融合权重。
步骤S530：根据每个子特征图的融合权重将所有子特征图进行特征融合，以得到第二特征图。
同样地，对待测图像也进行不同尺度的特征提取，即利用异常检测模型中多个特征提取层对待测图像进行特征提取，每个特征提取层的下采样倍数不同，从而能够得到多个不同尺寸的子特征图。得到多个子特征图后，计算每个子特征图的融合权重。通常情况下，进行特征融合时，每个特征图的融合权重是相同的。但是，由于小尺寸的子特征图的感受野更小，从而可以关注到更细腻的局部特征；因此，在本实施例中，设计了如下式所示的融合权重分配方式，根据子特征图的尺寸来确定相应的融合权重，以使小尺寸的子特征图所占的权重更大，从而提升后续待测图像和标准图像之间差异区域数量的统计准确度，进而提高门开关状态检测的检测准确度。
在一些实施方式中，可以通过下式确定子特征图的融合权重：
其中，Wi为第i层特征提取得到的子特征图的融合权重，n为特征提取的总提取层数，Si为第i层特征提取得到的子特征图的尺寸，Sj为求和时第j层特征提取得到的子特征图的尺寸，j为求和时的特征提取层数。需要说明的是，子特征图的尺寸默认为子特征图的长度和宽度。
得到每个子特征图的融合权重后，根据每个子特征图的融合权重进行特征融合，得到第二特征图。可以使用目前已有的特征融合方式进行特征融合，此处不再赘述。得到第二特征图后，可以将第二特征图等份分割为多个区域块；在将区域块映射至输入的待测图像中，映射到待测图像中的区域即为该区域块对应的图像块。得到图像块的具体过程可以参考前述获得标准图像块的过程，此处不再赘述。
利用余弦相似度算法计算图像块与模板库中相应位置的标准图像块之间的相似度，以确定待测图像与标准图像的区别区域。当图像块与模板库中相应位置的标准图像块之间的相似度小于预设相似度时，则认为图像块与相应标准图像块之间存在差异，并认定该图像块为异常图像块。需要说明的是，预设相似度可以根据实际需求人为设定，此处不做具体限定。
在一些实施方式中，可以通过下式确定相似度值：
其中，similarity为图像块与对应位置的标准图像块之间的相似度值，为图像块的特征向量，为标准图像块的特征向量。
从所有图像块中确定出异常图像块后，再获取异常图像块在待测图像中的位置信息。异常图像块的位置信息可以为：异常图像块中心点的坐标值。
步骤S140：根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，并在异常图像块数量大于预设阈值时，判定门状态为开启状态。
具体地，得到待测图像中异常图像块的位置信息后，可以根据异常图像块的位置信息与上述目标门区域的坐标信息来确定处于目标门区域中的异常图像块数量。作为一个示例，若异常图像块的位置信息为异常图像块中心点的坐标值，目标门区域的坐标信息为用于标注目标门区域的矩形框的边框坐标值，则可以通过确定存在多少个异常图像块中心点的坐标值处于目标门区域的边框坐标值范围内，来确定处于目标门区域中的异常图像块数量。
当处于目标门区域中的异常图像块数量大于预设阈值，则判定变电站大门的门状态为开启状态。当处于目标门区域中的异常图像块数量小于预设阈值，则判定变电站大门的门状态为关闭状态。需要说明的是，预设阈值可以根据实际需求人为设定，此处不做具体限定。
在本实施例中，异常检测模型可以使用PatchCore算法，PatchCore算法不需要进行训练，可以直接使用通过ImageNet数据集训练的预训练模型(例如Resnet50模型)作为处理模型。
值得一提的是，为了提升异常检测模型对细腻度特征的提取能力，本实施例使用重建任务中的预训练模型作为异常检测模型。由于重建任务中的预训练模型需要从特征图中恢复原始图像的细节，因此，该任务训练得到的模型可以更好的提取细腻度特征。通过提高细腻度特征的提取水平，能够进一步地提升待测图像和标准图像之间差异区域数量的统计准确度，从而来提高门开关状态检测的检测准确度。
另外，由于本发明实施例中的异常检测模型不需要进行模型训练，因此，能够极大地节省因训练模型时造成的样本标注时间成本和训练时间成本；并且，因为不需要进行模型训练，本发明实施例的门开关状态的检测方法也易于推广应用。
由此，通过异常检测模型对待测图像进行处理，得到多个能够反映门特征的图像块；再通过将这些图像块与模板库中相应位置的标准图像块进行相似度比对，来确定待测图像中的异常图像块；最后根据位于目标门区域中异常图像块数量，来判定门的开关状态。本发明实施例的门开关状态的检测方法不仅能够降低复杂背景对检测结果的影响；并且，本发明实施例使用的异常检测模型具有更好的细腻度特征提取能力，从而能够提升门状态检测的检测准确度，降低漏检和误检率。
图6是本发明实施例的门开关状态的检测装置的方框图。
如图6所示，该检测装置600包括：用于获取待测图像的获取模块610、用于利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息的确定模块620、用于将待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息的异常检测模块630、用于根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，并在异常图像块数量大于预设阈值时，判定门状态为开启状态的门状态判定模块640。
需要说明的是，异常图像块为待测图像与预先构建的模板库中标准图像之间的区别图像块。
由此，通过获取模块610获取待测图像；确定模块620利用训练好的目标检测模型从待测图像中确定目标门区域的坐标信息；异常检测模块630将待测图像输入至配置好的异常检测模型中，可以得到待测图像中与模板库中标准图像之间的异常图像块（即区别图像块）；最后门状态判定模块640根据异常图像块的位置信息和目标门区域的坐标信息确定位于目标门区域中的异常图像块数量，若异常图像块数量大于预设阈值，则判定门状态为开启状态，从而提升了门状态检测的检测准确度。
在一些实施方式中，模板库的构建步骤包括：获取多个标准图像，其中，标准图像中的门状态为关闭状态；将多个标准图像输入至异常检测模型中，得到多个标准图像块，其中，标准图像块是通过异常检测模型对标准图像进行特征提取和特征融合得到第一特征图，再将第一特征图的区域块映射至标准图像中得到的；将多个标准图像块存储至模板库中，得到构建好的模板库。
在一些实施方式中，异常检测模块630具体用于：对待测图像进行特征提取和特征融合，得到第二特征图；将第二特征图分割为多个区域块，并将多个第二特征图的区域块映射至待测图像中，得到多个图像块；确定图像块与模板库中对应位置的标准图像块之间的相似度值，并根据相似度值确定所有图像块中的异常图像块；确定异常图像块的位置信息。
在一些实施方式中，异常检测模块630还具体用于：对待测图像进行特征提取，得到多个子特征图；确定每个子特征图的融合权重；根据每个子特征图的融合权重将所有子特征图进行特征融合，以得到第二特征图。
在一些实施方式中，可以通过下式确定子特征图的融合权重：
其中，Wi为第i层特征提取得到的子特征图的融合权重，n为特征提取的总提取层数，Si为第i层特征提取得到的子特征图的尺寸，Sj为求和时第j层特征提取得到的子特征图的尺寸，j为求和时的特征提取层数。
在一些实施方式中，可以通过下式确定相似度值：
其中，similarity为图像块与对应位置的标准图像块之间的相似度值，为图像块的特征向量，为标准图像块的特征向量。
在一些实施方式中，目标检测模型的训练步骤包括：获取样本图像；以样本图像作为输入，以目标门区域的坐标信息作为输出，训练目标检测模型，以得到训练好的目标检测模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7是本发明一个实施例的边缘处理设备的结构框图。
如图7所示，图7所示的边缘处理设备700包括：处理器701和存储器703。其中，处理器701和存储器703相连，如通过总线702相连。可选地，边缘处理设备700还可以包括收发器704。需要说明的是，实际应用中收发器704不限于一个，该边缘处理设备700的结构并不构成对本发明实施例的限定。
处理器701可以是CPU（CentralProcessing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器701也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线702可包括一通路，在上述组件之间传送信息。总线702可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线702可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器703可以是ROM（Read OnlyMemory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammableRead Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact Disc ReadOnly Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器703用于存储执行本发明申请方案的应用程序代码，并由处理器701来控制执行。处理器701用于执行存储器703中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，边缘处理设备700包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的边缘处理设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种门开关状态的检测方法，其特征在于，包括：
获取待测图像；
利用训练好的目标检测模型从所述待测图像中确定目标门区域的坐标信息；
将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，其中，所述异常图像块为所述待测图像中与预先构建的模板库中标准图像之间的区别图像块；
根据所述异常图像块的位置信息和所述目标门区域的坐标信息确定位于所述目标门区域中的异常图像块数量，并在所述异常图像块数量大于预设阈值时，判定门状态为开启状态。
2.根据权利要求1所述的门开关状态的检测方法，其特征在于，所述模板库的构建步骤包括：
获取多个标准图像，其中，所述标准图像中的门状态为关闭状态；
将多个所述标准图像输入至异常检测模型中，得到多个标准图像块，其中，所述标准图像块是通过将第一特征图的区域块映射至所述标准图像中得到的，所述第一特征图是通过异常检测模型对所述标准图像进行特征提取和特征融合得到的；
将多个所述标准图像块存储至所述模板库中，得到构建好的模板库。
3.根据权利要求2所述的门开关状态的检测方法，其特征在于，将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，包括：
对所述待测图像进行特征提取和特征融合，得到第二特征图；
将所述第二特征图分割为多个区域块，并将多个所述第二特征图的区域块映射至所述待测图像中，得到多个图像块；
确定所述图像块与所述模板库中对应位置的标准图像块之间的相似度值，并根据所述相似度值确定所有所述图像块中的异常图像块；
确定所述异常图像块的所述位置信息。
4.根据权利要求3所述的门开关状态的检测方法，其特征在于，对所述待测图像进行特征提取和特征融合，得到第二特征图，包括：
对所述待测图像进行特征提取，得到多个子特征图；
确定每个所述子特征图的融合权重；
根据每个所述子特征图的融合权重将所有所述子特征图进行特征融合，以得到所述第二特征图。
5.根据权利要求4所述的门开关状态的检测方法，其特征在于，通过下式确定所述子特征图的融合权重：
其中，Wi为第i层特征提取得到的子特征图的融合权重，n为特征提取的总提取层数，Si为第i层特征提取得到的子特征图的尺寸，Sj为求和时第j层特征提取得到的子特征图的尺寸，j为求和时的特征提取层数。
6.根据权利要求3所述的门开关状态的检测方法，其特征在于，通过下式确定所述相似度值：
其中，similarity为所述图像块与对应位置的所述标准图像块之间的所述相似度值，为所述图像块的特征向量，为所述标准图像块的特征向量。
7.根据权利要求1-6中任一项所述的门开关状态的检测方法，其特征在于，所述目标检测模型的训练步骤包括：
获取样本图像；
以所述样本图像作为输入，以目标门区域的坐标信息作为输出，训练目标检测模型，以得到所述训练好的目标检测模型。
8.一种门开关状态的检测装置，其特征在于，包括：
获取模块，用于获取待测图像；
确定模块，用于利用训练好的目标检测模型从所述待测图像中确定目标门区域的坐标信息；
异常检测模块，用于将所述待测图像输入至配置好的异常检测模型中，得到异常图像块的位置信息，其中，所述异常图像块为所述待测图像中与预先构建的模板库中标准图像之间的区别图像块；
门状态判定模块，用于根据所述异常图像块的位置信息和所述目标门区域的坐标信息确定位于所述目标门区域中的异常图像块数量，并在所述异常图像块数量大于预设阈值时，判定门状态为开启状态。
9.一种边缘处理设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~7中任一项所述的门开关状态的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~7中任一项所述的门开关状态的检测方法。
CN202310042801.3A 2023-01-28 2023-01-28 门开关状态的检测方法、装置及边缘处理设备、存储介质 Active CN116051897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310042801.3A CN116051897B (zh) 2023-01-28 2023-01-28 门开关状态的检测方法、装置及边缘处理设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310042801.3A CN116051897B (zh) 2023-01-28 2023-01-28 门开关状态的检测方法、装置及边缘处理设备、存储介质

Publications (2)

Publication Number Publication Date
CN116051897A true CN116051897A (zh) 2023-05-02
CN116051897B CN116051897B (zh) 2023-06-27

Family

ID=86131073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310042801.3A Active CN116051897B (zh) 2023-01-28 2023-01-28 门开关状态的检测方法、装置及边缘处理设备、存储介质

Country Status (1)

Country Link
CN (1) CN116051897B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895421A (zh) * 2018-01-09 2018-04-10 江苏南通二建集团有限公司 一种智能门禁系统
CN110748270A (zh) * 2018-07-23 2020-02-04 杭州海康威视数字技术股份有限公司 闸机设备、闸机设备的限位检测方法及控制器
CN113052894A (zh) * 2021-04-21 2021-06-29 合肥中科类脑智能技术有限公司 一种基于图像语义分割的门开关状态检测方法及系统
CN114724235A (zh) * 2021-01-06 2022-07-08 普天信息技术有限公司 一种异常行为检测方法、装置、电子设备及存储介质
WO2022150999A1 (zh) * 2021-01-13 2022-07-21 华为技术有限公司 一种检测轮胎异常的方法和装置
CN115410153A (zh) * 2022-08-30 2022-11-29 上海浦东发展银行股份有限公司 一种门开关状态的判定方法、装置、电子终端及存储介质
CN115526515A (zh) * 2022-10-10 2022-12-27 北京金河水务建设集团有限公司 一种水利水电用闸门的安全监测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895421A (zh) * 2018-01-09 2018-04-10 江苏南通二建集团有限公司 一种智能门禁系统
CN110748270A (zh) * 2018-07-23 2020-02-04 杭州海康威视数字技术股份有限公司 闸机设备、闸机设备的限位检测方法及控制器
CN114724235A (zh) * 2021-01-06 2022-07-08 普天信息技术有限公司 一种异常行为检测方法、装置、电子设备及存储介质
WO2022150999A1 (zh) * 2021-01-13 2022-07-21 华为技术有限公司 一种检测轮胎异常的方法和装置
CN113052894A (zh) * 2021-04-21 2021-06-29 合肥中科类脑智能技术有限公司 一种基于图像语义分割的门开关状态检测方法及系统
CN115410153A (zh) * 2022-08-30 2022-11-29 上海浦东发展银行股份有限公司 一种门开关状态的判定方法、装置、电子终端及存储介质
CN115526515A (zh) * 2022-10-10 2022-12-27 北京金河水务建设集团有限公司 一种水利水电用闸门的安全监测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONGCHAO SONG.ET.: "Abnormal Noise Recognition of Door Closing for Passenger Car based on Image Processing", 《RECENT PATENTS ON MECHANICAL ENGINEERING》, vol. 14, no. 4, pages 505 - 514 *
赵真: "变压器防盗系统的在线升级和远程监测的相关研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 11, pages 140 - 194 *

Also Published As

Publication number Publication date
CN116051897B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
Tian et al. A dual neural network for object detection in UAV images
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
CN111507989A (zh) 语义分割模型的训练生成方法、车辆外观检测方法、装置
US11915500B2 (en) Neural network based scene text recognition
WO2019076187A1 (zh) 视频遮蔽区域选取方法、装置、电子设备及系统
Ng et al. Vehicle classification using visual background extractor and multi-class support vector machines
CN111291902B (zh) 后门样本的检测方法、装置和电子设备
Lauridsen et al. Reading circular analogue gauges using digital image processing
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN110298302B (zh) 一种人体目标检测方法及相关设备
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
CN116051897B (zh) 门开关状态的检测方法、装置及边缘处理设备、存储介质
Sun et al. Multiple pedestrians tracking algorithm by incorporating histogram of oriented gradient detections
US10621466B2 (en) Method for extracting features of a thermal image
CN110852261A (zh) 目标检测方法、装置、电子设备和可读存储介质
Zhu et al. End-to-end system of license plate localization and recognition
CN116797973A (zh) 应用于环卫智慧管理平台的数据挖掘方法及系统
CN110817674A (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
US11520967B2 (en) Techniques for printed circuit board component detection
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
CN113837255A (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
Zhao et al. SAR image segmentation based on analysing similarity with clutter spatial patterns
KR20210113738A (ko) 다중 스케일 특징맵을 이용하는 학습 방법 및 영상 분류 방법
CN111488927A (zh) 分类阈值确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant