CN117975057A - 一种基于特征比对的工厂环境异常检测方法 - Google Patents

一种基于特征比对的工厂环境异常检测方法 Download PDF

Info

Publication number
CN117975057A
CN117975057A CN202410078606.0A CN202410078606A CN117975057A CN 117975057 A CN117975057 A CN 117975057A CN 202410078606 A CN202410078606 A CN 202410078606A CN 117975057 A CN117975057 A CN 117975057A
Authority
CN
China
Prior art keywords
feature
image
detection area
comparison
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410078606.0A
Other languages
English (en)
Inventor
何仁波
李帅
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brexia Information Technology Beijing Co ltd
China Building Materials Xinyun Zhilian Technology Co ltd
China National Building Materials Xinyun Zhilian Technology Co ltd Beijing Branch
Cnbm Technology Corp ltd
Original Assignee
Brexia Information Technology Beijing Co ltd
China Building Materials Xinyun Zhilian Technology Co ltd
China National Building Materials Xinyun Zhilian Technology Co ltd Beijing Branch
Cnbm Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brexia Information Technology Beijing Co ltd, China Building Materials Xinyun Zhilian Technology Co ltd, China National Building Materials Xinyun Zhilian Technology Co ltd Beijing Branch, Cnbm Technology Corp ltd filed Critical Brexia Information Technology Beijing Co ltd
Priority to CN202410078606.0A priority Critical patent/CN117975057A/zh
Publication of CN117975057A publication Critical patent/CN117975057A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体地说，涉及一种基于特征比对的工厂环境异常检测方法。包括如下步骤：通过摄像机视频获取图像；预先生成正常情况的特征库；提取检测区域的特征；与正常情况下检测区域的特征比对；根据比对结果判断是否出现异常。本发明设计获取正常图片和实时图片，只需对图片进行简单的预处理即可获得匹配度较高的对比图像和检测图像，保证图片具有足够的鲁棒性和泛化性，降低工作量，提高速度；直接通过对比检测图像的特征与正常情况的特征库之间的距离是否超出预设阈值即可判断检测图像是否存在异常；利用计算机视觉技术，通过比对图片特征识别图片的异常，可以处理复杂的工厂环境，适应性强，准确率高，误报率低。

Description

一种基于特征比对的工厂环境异常检测方法
技术领域
本发明涉及图像处理技术领域，具体地说，涉及一种基于特征比对的工厂环境异常检测方法。
背景技术
随着工业4.0和智能制造的快速发展，工厂环境的安全和稳定运行变得越来越重要。在工厂环境中，生产安全永远排在第一位。工厂中的生产环境，例如电机室、配电室、供油间、存储仓库等区域需要重点监控漏水、漏油、烟火等生产险情。传统的工作方式常常采用人工巡检和视频监控相结合的方式。但是这种方式依赖于人工查验，工作效率低且容易发生遗漏，在处理复杂和多变的工厂环境时存在一定的局限性，如误报率高、漏报率高、适应性差等问题。往往在险情发展到一定程度之后工作人员才会有所反应，这种情况对维护生产人员的生命安全和避免工厂的财产损失都十分不利。因此，我们希望利用计算机视觉领域的技术手段一一基于图片的异常检测方法来替代人工查验的方式，实现对工厂生产险情的高效告警。
基于图像特征对比的异常检测方法是一种在工业制造等领域广泛应用的技术，它通过比对正常状态和异常状态下的图像特征，以识别出异常情况。然而，这种方法也存在一些挑战。首先，如何提取有效的图像特征是一项关键任务。传统的图像异常检测方法会根据不同的原理分为不同的类别，如基于模板匹配、基于统计模型、基于图像分解、基于频域分析、基于稀疏编码重构和基于分类面构建等。这些方法大多会学习一个模型来描述正常图像，然后在检测阶段根据待检图像与该模型的相似度来判断是否存在异常。
其次，如何设计高效的比对算法也是一个重要问题。例如，有研究者提出使用基于记忆库Memory Bank的方法进行识别，或者利用集成学习方法来提高异常检测的性能。还有一些研究尝试使用卷积神经网络(CNN)来提取特征，然后使用高斯概率密度估计(GDE)来计算异常分数。
最后，如何处理不同类型的异常也是一大挑战。例如，有些方法在面对随机花纹多的图像时，可能会将正常区域误判为异常区域。因此，如何提高异常检测方法的鲁棒性和泛化能力，使其能够应对各种复杂和多变的实际场景，是未来研究的重要方向。鉴于此，我们提出了一种基于特征比对的工厂环境异常检测方法。
发明内容
本发明的目的在于提供一种基于特征比对的工厂环境异常检测方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于特征比对的工厂环境异常检测方法，包括如下步骤：
S1、通过摄像机视频获取图像：图像包括检测区域的正常图像和实时的检测图像两类；
S2、预先生成正常情况的特征库：利用多张正常图像的图片提取出的特征集合，表征检测区域正常情况下的图像特征；
S3、提取检测区域的特征：采用卷积网络的方式提取检测区域实时的检测图像的特征；
S4、与正常情况下检测区域的特征比对：将步骤S3中提取出的特征与同一检测区域对应的正常情况的特征库进行特征比对，并计算检测图像的特征与正常情况的特征库之间的距离；
S5、根据比对结果判断是否出现异常：当检测图像的特征与正常情况的特征库之间的距离超出预设的距离阈值，则判定检测图像的图片存在异常，并输出告警。
作为本技术方案的进一步改进，所述步骤S1中，检测区域的正常图像和实时的检测图像利用位于同一机位、同一方向的摄像机进行获取；获取的图像可完整展示检测区域的观察视野。
作为本技术方案的进一步改进，所述步骤S2中，正常情况的特征库是指利用多张正常图片提取出的特征集合；该集合能够很好地表征正常情况下图片的特征；选取该环境中针对检测区域不同时段、不同光照情况下拍摄的图片，以保证正常图片的选取丰富且完备；
设最终得到的特征库为T，特征库的形状为(n，C，w，h)，其中，n表示正常情况的图片数量，C表示特征的通道数，w表示特征的宽度，h表示特征的高度。
作为本技术方案的进一步改进，所述步骤S3中，提取检测区域的特征具体包括如下步骤：
S3.1、从实时的摄像机视频中，每隔一定时间截取检测区域的图像；
S3.2、对截取到的检测区域的图像进行预处理；
S3.3、利用ResNet50模型提取预处理后的图像的图片特征；
S3.4、将提取到的图片特征调整为与正常情况的特征库相同的形状尺寸。
作为本技术方案的进一步改进，所述步骤S3.2中，对图像进行预处理的方法至少包括几何变换、尺寸缩放及图像增强等；其中：
几何变换用于改变图像的形状和大小，以适应不同的应用需求；
尺寸缩放用于等比例缩小或放大图像，以满足ResNet50模型的导入要求；
图像增强用于增加图像的对比度、锐度和亮度等，以改善图像质量。
作为本技术方案的进一步改进，所述步骤S3.4中，将待检测图片传入到ResNet50模型，得到该图片的特征t，t的形状为(C，w，h)。
作为本技术方案的进一步改进，所述步骤S4中，特征比对就是将特征t与特征库T中的特征tk，k∈(1，2，3，...，n)一一比较，计算t与tk特征图上每个像素点的欧式距离dij；具体计算式为：
其中，(xi，yi)为t特征图上像素点i的坐标，(xj，yj)为tk特征图上像素点j的坐标，dij为t特征图上像素点i与tk特征图上像素点j的欧氏距离；
其中，每个特征图上的像素点个数为w×h个。
作为本技术方案的进一步改进，所述步骤S4中，利用特征图所有位置的距离的最大值dkmax，k∈(1，2，3，...，n)来表示特征t与特征tk的距离；最终特征t与特征库T的距离dt可以用以下式子表示：
dt＝min(d1max，d2max，d3max，...，dnmax)
其中，dkmax为t与tk特征图上每个像素点的欧氏距离dij中的最大值。
作为本技术方案的进一步改进，所述步骤S5中，通过特征比对得到检测图片的特征t与特征库T之间的距离dt；在此之前可以预先设置一个距离阈值D，当dt＜D时判定图片中没有异常发生；否则当dt≥D时则判定图片存在异常，输出告警。
作为本技术方案的进一步改进，所述阈值D可以通过利用生成特征库以外的正常图片测试获得，也可以由具有一定经验的安全查验人员依据多年工作经验进行预先设置。
本发明的目的之二在于，提供了一种基于特征比对的工厂环境异常检测平台装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述的基于特征比对的工厂环境异常检测方法的步骤。
本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于特征比对的工厂环境异常检测方法的步骤。
与现有技术相比，本发明的有益效果：
1.该基于特征比对的工厂环境异常检测方法中，通过摄像机视频获取包括作为对比基础的正常图片和用于检测的实时图片，尤其通过同一机位、同一方向获取图片，只需对图片进行简单的预处理即可获得匹配度较高的对比图像和检测图像，保证图片具有足够的鲁棒性和泛化性，降低工作量，提高速度；
2.该基于特征比对的工厂环境异常检测方法中，通过提取对比图像和检测图像上同规格的特征，对特征的每个像素计算欧式距离，直接通过对比检测图像的特征与正常情况的特征库之间的距离是否超出预设阈值即可判断检测图像是否存在异常，进而可以及时输出告警，避免信息滞后；
3.该基于特征比对的工厂环境异常检测方法中，利用计算机视觉技术，通过比对图片特征识别图片的异常，可以处理复杂的工厂环境，适应性强，准确率高，误报率低。
附图说明
图1为本发明中示例性的整体方法流程图；
图2为本发明中示例性的局部方法流程图；
图3为本发明中示例性的ResNet50模型提取图片特征的原理图；
图4为本发明中示例性的电子计算机产品结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图2所示，本实施例提供了一种基于特征比对的工厂环境异常检测方法，包括如下步骤：
S1、通过摄像机视频获取图像：图像包括检测区域的正常图像和实时的检测图像两类；
本步骤中，检测区域的正常图像和实时的检测图像利用位于同一机位、同一方向的摄像机进行获取；获取的图像可完整展示检测区域的观察视野。
S2、预先生成正常情况的特征库：利用多张正常图像的图片提取出的特征集合，表征检测区域正常情况下的图像特征；
本步骤中，正常情况的特征库是指利用多张正常图片提取出的特征集合；该集合能够很好地表征正常情况下图片的特征；正常图片的选取要做到丰富和完备，需要选取该环境中针对检测区域不同时段、不同光照情况下拍摄的图片；
设最终得到的特征库为T，特征库的形状为(n，C，w，h)，其中，n表示正常情况的图片数量，C表示特征的通道数，w表示特征的宽度，h表示特征的高度。
S3、提取检测区域的特征：采用卷积网络的方式提取检测区域实时的检测图像的特征；
本步骤中，提取检测区域的特征具体包括如下步骤：
S3.1、从实时的摄像机视频中，每隔一定时间截取检测区域的图像；
S3.2、对截取到的检测区域的图像进行预处理；本步骤中：
对图像进行预处理的方法至少包括几何变换、尺寸缩放及图像增强等；其中：
几何变换用于改变图像的形状和大小，以适应不同的应用需求；
尺寸缩放用于等比例缩小或放大图像，以满足ResNet50模型的导入要求；
图像增强用于增加图像的对比度、锐度和亮度等，以改善图像质量。
此外，图像预处理还包括灰度化处理，用于针对不需要对比色彩的图像进行灰度变换，以突出特征，并降低内存占用量。其中，灰度化具体为：在RGB模型中，如果R＝G＝B时，彩色表示为一种灰度颜色，其中R＝G＝B的值被称为灰度值。因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0～255.常见的灰度化方法有分量法、最大值法、平均值法和加权平均法来对彩色图像进行灰度化。
S3.3、利用ResNet50模型提取预处理后的图像的图片特征；
S3.4、将提取到的图片特征调整为与正常情况的特征库相同的形状尺寸；本步骤中：
将待检测图片传入到ResNet50模型，得到该图片的特征t，t的形状为(C，w，h)。
S4、与正常情况下检测区域的特征比对：将步骤S3中提取出的特征与同一检测区域对应的正常情况的特征库进行特征比对，并计算检测图像的特征与正常情况的特征库之间的距离；
本步骤中，特征比对就是将特征t与特征库T中的特征tk，k∈(1，2，3，...，n)一一比较，计算t与tk特征图上每个像素点的欧氏距离dij；具体计算式为：
其中，(xi，yi)为t特征图上像素点i的坐标，(xj，yj)为tk特征图上像素点j的坐标，dij为t特征图上像素点i与tk特征图上像素点j的欧氏距离；
其中，每个特征图上的像素点个数为w×h个。
进一步地，利用特征图所有位置的距离的最大值dkmax，k∈(1，2，3，...，n)来表示特征t与特征tk的距离；最终特征t与特征库T的距离dt可以用以下式子表示：
dt＝min(d1max，d2max，d3max，...，dnmax)
其中，dkmax为t与tk特征图上每个像素点的欧氏距离dij中的最大值。
S5、根据比对结果判断是否出现异常：当检测图像的特征与正常情况的特征库之间的距离超出预设的距离阈值，则判定检测图像的图片存在异常，并输出告警；
本步骤中，通过特征比对得到检测图片的特征t与特征库T之间的距离dt；在此之前可以预先设置一个距离阈值D，当dt＜D时判定图片中没有异常发生；否则当dt≥D时则判定图片存在异常，输出告警。
具体地，阈值D可以通过利用生成特征库以外的正常图片测试获得，也可以由具有一定经验的安全查验人员依据多年工作经验进行预先设置。
如图3所示，本实施例还提供了一种基于特征比对的工厂环境异常检测方法的具体应用方案，包括如下步骤：
S1、通过摄像机视频获取图像：图像包括检测区域的正常图像和实时的检测图像两类；
检测区域的正常图像和实时的检测图像利用位于同一机位、同一方向且相同型号的摄像机进行获取；获取的图像可完整展示检测区域的观察视野。
S2、预先生成正常情况的特征库：利用多张正常图像的图片提取出的特征集合，表征检测区域正常情况下的图像特征；
正常情况的特征库是指利用多张正常图片提取出的特征集合；该集合能够很好地表征正常情况下图片的特征；正常图片的选取要做到丰富和完备，需要选取该环境中针对检测区域不同时段、不同光照情况下拍摄的图片；
设最终得到的特征库为T，特征库的形状为(n，1536，28，28)，其中，n表示正常情况的图片数量，特征的通道数为1536，特征的宽度为28，特征的高度为28。
S3、提取检测区域的特征：采用卷积网络的方式提取检测区域实时的检测图像的特征；具体包括如下步骤：
S3.1、从实时的摄像机视频中，每隔5min截取检测区域的图像；
S3.2、对截取到的检测区域的图像进行预处理；其中：
对图像进行预处理的方法至少包括几何变换、尺寸缩放及图像增强等；其中：
几何变换用于改变图像的形状和大小，以适应不同的应用需求；
尺寸缩放用于等比例缩小或放大图像，以满足ResNet50模型的导入要求；
图像增强用于增加图像的对比度、锐度和亮度等，以改善图像质量。
图像预处理还包括灰度化处理，用于针对不需要对比色彩的图像进行灰度变换，以突出特征，并降低内存占用量。其中，灰度化具体为：在RGB模型中，如果R＝G＝B时，彩色表示为一种灰度颜色，其中R＝G＝B的值被称为灰度值。因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0～255.常见的灰度化方法有分量法、最大值法、平均值法和加权平均法来对彩色图像进行灰度化。
S3.3、利用ResNet50模型提取预处理后的图像的图片特征；
S3.4、将提取到的图片特征调整为与正常情况的特征库相同的形状尺寸；将待检测图片的尺寸缩放到224×224传入ResNet50模型，对模型STAGE3的输出上采样并与STAGE2的输出合并，可以得到形状为(1536，28，28)的特征t。该特征的通道数为1536，宽度为28，高度为28，表示在一张尺寸为28×28的特征图上，每个像素点都有1536个维度特征。
S4、与正常情况下检测区域的特征比对：将步骤S3中提取出的特征与同一检测区域对应的正常情况的特征库进行特征比对，并计算检测图像的特征与正常情况的特征库之间的距离；
特征比对就是将特征t与特征库T中的特征tk，k∈(1，2，3，...，n)一一比较，计算t与tk特征图上每个像素点的欧式距离dij；具体计算式为：
其中，(xi，yi)为t特征图上像素点i的坐标，(xj，yj)为tk特征图上像素点j的坐标，dij为t特征图上像素点i与tk特征图上像素点j的欧氏距离；
其中，每个特征图上的像素点个数为28×28＝784个。
然后利用特征图所有位置的距离的最大值dkmax，k∈(1，2，3，...，n)来表示特征t与特征tk的距离；最终特征t与特征库T的距离dt可以用以下式子表示：
dt＝min(d1max，dzmax，d3max，...，dnmax)
其中，dkmax为t与tk特征图上每个像素点的欧氏距离dij中的最大值。
S5、根据比对结果判断是否出现异常：当检测图像的特征与正常情况的特征库之间的距离超出预设的距离阈值，则判定检测图像的图片存在异常，并输出告警；
预先设置一个距离阈值D，再通过特征比对得到检测图片的特征t与特征库T之间的距离dt；当dt＜D时判定图片中没有异常发生；当dt≥D时则判定图片存在异常，输出告警。
其中，阈值D可以通过利用生成特征库以外的正常图片测试获得，也可以由具有一定经验的安全查验人员依据多年工作经验进行预先设置。
如图4所示，本实施例还提供了一种基于特征比对的工厂环境异常检测平台装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于特征比对的工厂环境异常检测方法的步骤。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于特征比对的工厂环境异常检测方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于特征比对的工厂环境异常检测方法的步骤。
本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤的过程可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于特征比对的工厂环境异常检测方法，其特征在于，包括如下步骤：
S1、通过摄像机视频获取图像：图像包括检测区域的正常图像和实时的检测图像两类；
S2、预先生成正常情况的特征库：利用多张正常图像的图片提取出的特征集合，表征检测区域正常情况下的图像特征；
S3、提取检测区域的特征：采用卷积网络的方式提取检测区域实时的检测图像的特征；
S4、与正常情况下检测区域的特征比对：将步骤S3中提取出的特征与同一检测区域对应的正常情况的特征库进行特征比对，并计算检测图像的特征与正常情况的特征库之间的距离；
S5、根据比对结果判断是否出现异常：当检测图像的特征与正常情况的特征库之间的距离超出预设的距离阈值，则判定检测图像的图片存在异常，并输出告警。
2.根据权利要求1所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S1中，检测区域的正常图像和实时的检测图像利用位于同一机位、同一方向的摄像机进行获取；获取的图像可完整展示检测区域的观察视野。
3.根据权利要求1所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S2中，正常情况的特征库是指利用多张正常图片提取出的特征集合；该集合能够很好地表征正常情况下图片的特征；选取该环境中针对检测区域不同时段、不同光照情况下拍摄的图片，以保证正常图片的选取丰富且完备；
设最终得到的特征库为T，特征库的形状为(n，C，w，h)，其中，n表示正常情况的图片数量，C表示特征的通道数，w表示特征的宽度，h表示特征的高度。
4.根据权利要求3所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S3中，提取检测区域的特征具体包括如下步骤：
S3.1、从实时的摄像机视频中，每隔一定时间截取检测区域的图像；
S3.2、对截取到的检测区域的图像进行预处理；
S3.3、利用ResNet50模型提取预处理后的图像的图片特征；
S3.4、将提取到的图片特征调整为与正常情况的特征库相同的形状尺寸。
5.根据权利要求4所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S3.2中，对图像进行预处理的方法至少包括几何变换、尺寸缩放及图像增强；其中：
几何变换用于改变图像的形状和大小，以适应不同的应用需求；
尺寸缩放用于等比例缩小或放大图像，以满足ResNet50模型的导入要求；
图像增强用于增加图像的对比度、锐度和亮度，以改善图像质量。
6.根据权利要求5所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S3.4中，将待检测图片传入到ResNet50模型，得到该图片的特征t，t的形状为(C，w，h)。
7.根据权利要求6所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S4中，特征比对就是将特征t与特征库T中的特征tk，k∈(1，2，3，...，n)一一比较，计算t与tk特征图上每个像素点的欧式距离dij；具体计算式为：
其中，(xi，yi)为t特征图上像素点i的坐标，(xj，yj)为tk特征图上像素点j的坐标，dij为t特征图上像素点i与tk特征图上像素点j的欧氏距离；
其中，每个特征图上的像素点个数为w×h个。
8.根据权利要求7所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S4中，利用特征图所有位置的距离的最大值dkmax，k∈(1，2，3，...，n)来表示特征t与特征tk的距离；最终特征t与特征库T的距离dt可以用以下式子表示：
dt＝min(d1max，d2max，d3max，...，dnmax)
其中，dkmax为t与tk特征图上每个像素点的欧氏距离dij中的最大值。
9.根据权利要求8所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述步骤S5中，通过特征比对得到检测图片的特征t与特征库T之间的距离dt；在此之前可以预先设置一个距离阈值D，当dt＜D时判定图片中没有异常发生；否则当dt≥D时则判定图片存在异常，输出告警。
10.根据权利要求9所述的基于特征比对的工厂环境异常检测方法，其特征在于：所述阈值D可以通过利用生成特征库以外的正常图片测试获得，也可以由具有一定经验的安全查验人员依据多年工作经验进行预先设置。
CN202410078606.0A 2024-01-18 2024-01-18 一种基于特征比对的工厂环境异常检测方法 Pending CN117975057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410078606.0A CN117975057A (zh) 2024-01-18 2024-01-18 一种基于特征比对的工厂环境异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410078606.0A CN117975057A (zh) 2024-01-18 2024-01-18 一种基于特征比对的工厂环境异常检测方法

Publications (1)

Publication Number Publication Date
CN117975057A true CN117975057A (zh) 2024-05-03

Family

ID=90865447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410078606.0A Pending CN117975057A (zh) 2024-01-18 2024-01-18 一种基于特征比对的工厂环境异常检测方法

Country Status (1)

Country Link
CN (1) CN117975057A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118261536A (zh) * 2024-05-29 2024-06-28 山东华世力自动化科技有限公司 一种用于玻璃原片智能仓储的数据处理系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118261536A (zh) * 2024-05-29 2024-06-28 山东华世力自动化科技有限公司 一种用于玻璃原片智能仓储的数据处理系统及方法

Similar Documents

Publication Publication Date Title
CN111611643A (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
CN117975057A (zh) 一种基于特征比对的工厂环境异常检测方法
CN111340027A (zh) 一种堆钢识别方法、系统、电子设备及介质
CN113902641B (zh) 一种基于红外图像的数据中心热区判别方法及系统
CN111739020B (zh) 周期纹理背景缺陷标签自动标注方法、装置、设备及介质
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN110502977B (zh) 一种建筑物变化分类检测方法、系统、装置及存储介质
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN113962274A (zh) 一种异常识别方法、装置、电子设备及存储介质
CN110942450A (zh) 一种基于深度学习的多生产流水线实时缺陷检测方法
CN111860143B (zh) 一种面向巡检机器人的火焰实时检测方法
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
CN113837065A (zh) 一种图像处理方法和装置
CN114092478B (zh) 一种异常检测方法
CN114359733A (zh) 一种基于视觉的烟雾火情的检测方法及系统
CN116259008A (zh) 一种基于计算机视觉的水位实时监测方法
CN116682030A (zh) 一种电力巡检图像识别模型的训练方法及存储介质
CN117496570A (zh) 一种基于多尺度卷积的人脸识别方法及系统
Lai et al. Robust little flame detection on real-time video surveillance system
CN111611866B (zh) 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法
CN114758139B (zh) 基坑积水检测方法
CN116189220A (zh) 建筑构件检测识别方法、装置、计算机设备及存储介质
CN112927197A (zh) 一种空调外机支架锈蚀检测方法、装置、设备及存储介质
Fang et al. A fire detection and localisation method based on keyframes and superpixels for large-space buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication