CN117095411A - 一种基于图像故障识别的检测方法及系统 - Google Patents
一种基于图像故障识别的检测方法及系统 Download PDFInfo
- Publication number
- CN117095411A CN117095411A CN202311328946.6A CN202311328946A CN117095411A CN 117095411 A CN117095411 A CN 117095411A CN 202311328946 A CN202311328946 A CN 202311328946A CN 117095411 A CN117095411 A CN 117095411A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- watermark
- detection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000005856 abnormality Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Library & Information Science (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像故障识别的检测方法及系统，属于图像数据处理技术领域，解决了检测因素单一，容易出现误判；功能较少，缺乏对监控影像的综合判断等问题。本发明包括S1、对于图像中水印的检测和识别：1计算机数据库中输入判断标准；2真实水印数据的检测识别；3真实水印数据的对错判定；S2、对于图像中障碍因素的检测和识别：1障碍物遮挡的检测识别；2图像模糊的检测识别；S3、水印与障碍因素的结合作用。本发明归纳多种影响摄像机使用的故障类型，并针对性的采用了多种方法与深度学习结合，极大提高了判断的准确性，减少了人工判别的复杂工作，及时发现摄像头的异常，以免影响安防系统的正常运行。
Description
技术领域
本发明属于图像数据处理技术领域，涉及一种对影像故障的识别，特别是一种基于图像故障识别的检测方法及系统。
背景技术
随着人工智能在安防领域的普及化应用，对监控摄像头的维护显得越来越重要。在智慧社区、智慧城市大量建设的同时，体量巨大的摄像头图像中的水印维护成为了一个难题。摄像头能否提供有效监控画面的准确记录，直接决定了人工智能算法识别、跟踪的准确度。
目前摄像头存在视频丢失、视频模糊、树叶遮挡、人为或异物遮挡、视频拉花等问题，当出现故障问题时，水印信息的正确记录能够实现对故障的正确追踪，以便后续维护修理。一旦水印错误将严重影响了对影像记录追踪的准确性，缺乏对监控影像的综合判断。
发明内容
本发明的目的是针对现有的技术存在上述问题，提出了一种基于图像故障识别的检测方法及系统。
本发明的目的可通过下列技术方案来实现：一种基于图像故障识别的检测方法，包括以下步骤：
S1、对于图像中水印的检测和识别：
1计算机数据库中输入判断标准：
将摄像机影像中的正确水印数据录入本地数据库，正确水印数据包括的正确坐标位置、正确格式、正确透明度及正确方向；
2真实水印数据的检测识别：
对真实图像的水印数据进行检测识别，获取真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向及内容信息；
3真实水印数据的对错判定：
a、将真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向与正确水印数据的正确坐标位置、正确格式、正确透明度、正确方向一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
b、将真实水印数据的内容信息与本地数据库中的实时信息进行一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
S2、对于图像中障碍因素的检测和识别：
自行采集大量真实图像数据输入卷积神经网络进行训练，训练得到障碍物检测模型，将待识别的真实图像使用障碍物检测模型进行推理得到预测结果，判断是否存在障碍物遮挡，若判断结果为是，则显示遮挡信息；
2图像模糊的检测识别：
基于拉普拉斯laplace算法对真实图像进行对应数值计算，根据求得数值的大小判断图像是否存在模糊问题，若判断结果为是，则提示模糊信息；
S3、水印与障碍因素的结合作用：
1当障碍物遮挡判断结果为是时，截屏当前水印信息记录为障碍物遮挡起始时间和地点；直至障碍物遮挡判断结果为否时，截屏当前水印信息记录为障碍物遮挡结束时间和地点；通过遮挡结束时间与遮挡起始时间的差值获得障碍物遮挡的时长；
2当图像模糊判断结果为是时，截屏当前水印信息记录为图像模糊起始时间和地点；直至图像模糊判断结果为否时，截屏当前水印信息记录为图像模糊结束时间和地点；通过模糊结束时间与模糊起始时间的差值获得图像模糊的时长。
在上述的基于图像故障识别的检测方法中，步骤S1的2中，步骤S1的2中，采用文字检测算法，具体基于卷积神经网络，通过自行采集的数据训练得到的检测模型对输入的摄像机影像进行推理，最终检测出有文字的位置，即获取文字坐标位置；采用文字识别算法，具体基于卷积循环神经网络，通过自行采集的数据训练得到的识别模型对输入的文字图像进行推理，最终识别出文字图像的具体内容。
在上述的基于图像故障识别的检测方法中，步骤S1的2中，对真实图像进行水印检测识别的步骤包括：
a、对真实图像进行缩放数据处理，而后将图像数据输入卷积神经网络resnet50的骨干网络，经过卷积及4次下采样分别输入特征金字塔网络，通过不同倍数上采样，融合特征后得到特征图，通过检测头网络head进行上采样，再进行融合，生成文本框，得到真实水印的文字区域；
b、对检测到的真实水印进行文字识别，先对图像缩放，再通过卷积神经网络得到特征图，经过转换输入到卷积循环神经网络CRNN，得到归一化指数softmax概率分布，再输入到连接主义时态分类法ctc对特征向量的预测转换成标签序列，通过最高概率的组合提取关键影像信息。
在上述的基于图像故障识别的检测方法中，所述关键影像信息包括内容信息和拍摄方向的数据信息，所述内容信息至少包括时间和地点。
在上述的基于图像故障识别的检测方法中，步骤S2的1中，训练过程包括：首先进行锚框计算、图片缩放的数据处理，再经过切片拼接层Focus和跨阶段局部网络CSP主干提取图像特征，而后通过特征金字塔网络FPN-PAN进行特征融合；判断过程包括：将特征融合后的数据信息输入到检测层，利用检测框及标签得到最终的预测结果。
在上述的基于图像故障识别的检测方法中，步骤S2的2中，用拉普拉斯模板得到图像像素的拉普拉斯梯度值，求所有图像像素拉普拉斯梯度值的和，计算的和值大于阈值则判定为图像模糊。
一种基于图像故障识别的检测系统，包括设备接入模块、算法分析模块、设备故障报警模块和设备故障工单处理模块；
所述设备接入模块负责接入网内所有监控设备，通过数据库维护的设备信息，通过实时流协议拉取网络摄像头的监控画面并截取相应的图像，频率为每日一次；
所述算法分析模块搭载至少一种设备故障检测方法，根据逻辑逐层进行设备故障检测；其中设备故障检测方法包括深度学习算法等。
所述设备故障报警模块对于发现异常的设备，根据故障类型进行报警；
所述工单处理模块对异常设备形成工单，进行判断是否出现故障，进一步在故障解决后完成设备故障的修复。
与现有技术相比，本基于图像故障识别的检测方法及系统具有以下有益效果：
1、本发明归纳了多种影响摄像机使用的故障类型，并针对性的采用了多种方法与深度学习结合，使用大量真实数据，极大提高了判断的准确性，减少了人工判别的复杂工作，及时发现摄像头的异常，以免影响安防系统的正常运行。
2、本发明将水印和障碍因素相结合作用，从而实现对障碍因素的跟踪记录，既能实现对障碍发生的时间和时长记录，又能实现对障碍发生的地点进行记录，以便于后续判断障碍因素和维护。
具体实施方式
以下是本发明的具体实施例，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
基于图像故障识别的检测方法，包括以下步骤：
S1、对于图像中水印的检测和识别：
1计算机数据库中输入判断标准：
将摄像机影像中的正确水印数据录入本地数据库，正确水印数据包括的正确坐标位置、正确格式、正确透明度及正确方向；
步骤S1的1中，格式包括字体、字号、字形及文字效果，其中字体包括中英文字符、数字及标点符号。
2真实水印数据的检测识别：
对真实图像的水印数据进行检测识别，获取真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向及内容信息；
步骤S1的2中，采用文字检测算法，具体基于卷积神经网络，通过自行采集的数据训练得到的检测模型对输入的摄像机影像进行推理，最终检测出有文字的位置，即获取文字坐标位置；采用文字识别算法，具体基于卷积循环神经网络，通过自行采集的数据训练得到的识别模型对输入的文字图像进行推理，最终识别出文字图像的具体内容。获取真实坐标位置、真实格式、真实透明度及内容信息。格式包括字体、字号、字形及文字效果，其中字体包括中英文字符、数字及标点符号。内容信息包括时间、地点等相关的具体消息信息。
步骤S1的2中，对真实图像进行水印检测识别的步骤包括：
a、对真实图像进行缩放数据处理，而后将图像数据输入卷积神经网络resnet50的骨干网络，经过卷积及4次下采样分别输入特征金字塔网络，通过不同倍数上采样，融合特征后得到特征图，通过检测头网络head进行上采样，再进行融合，生成文本框，得到真实水印的文字区域；
b、对检测到的真实水印进行文字识别，先对图像缩放，再通过卷积神经网络得到特征图，经过转换输入到卷积循环神经网络CRNN，得到归一化指数softmax概率分布，再输入到连接主义时态分类法ctc对特征向量的预测转换成标签序列，通过最高概率的组合提取关键影像信息。
关键影像信息包括内容信息和拍摄方向的数据信息，内容信息至少包括时间和地点。
3真实水印数据的对错判定：
a、将真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向与正确水印数据的正确坐标位置、正确格式、正确透明度、正确方向一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
b、将真实水印数据的内容信息与本地数据库中的实时信息进行一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
S2、对于图像中障碍因素的检测和识别：
1障碍物遮挡的检测识别：
自行采集大量真实图像数据输入卷积神经网络进行训练，训练得到障碍物检测模型，将待识别的真实图像使用障碍物检测模型进行推理得到预测结果，判断是否存在障碍物遮挡，若判断结果为是，则显示遮挡信息；障碍物遮挡主要包括树叶遮挡、人为异物遮挡等。
步骤S2的1中，训练过程包括：首先进行锚框计算、图片缩放的数据处理，再经过切片拼接层Focus和跨阶段局部网络CSP主干提取图像特征，而后通过特征金字塔网络FPN-PAN进行特征融合；判断过程包括：将特征融合后的数据信息输入到检测层，利用检测框及标签得到最终的预测结果。
2图像模糊的检测识别：
基于拉普拉斯laplace算法对真实图像进行对应数值计算，根据求得数值的大小判断图像是否存在模糊问题，若判断结果为是，则提示模糊信息；图像模糊问题主要为视频拉花故障。
步骤S2的2中，模板为3x3的卷积核，得到图像像素的拉普拉斯梯度值，求所有图像像素拉普拉斯梯度值的和：/>,/>和/>代表像素的横纵坐标,其中/>,。公式最终可表示为,计算的和值大于阈值则判定为图像模糊。
S3、水印与障碍因素的结合作用：
1当障碍物遮挡判断结果为是时，截屏当前水印信息记录为障碍物遮挡起始时间和地点；直至障碍物遮挡判断结果为否时，截屏当前水印信息记录为障碍物遮挡结束时间和地点；通过遮挡结束时间与遮挡起始时间的差值获得障碍物遮挡的时长；
2当图像模糊判断结果为是时，截屏当前水印信息记录为图像模糊起始时间和地点；直至图像模糊判断结果为否时，截屏当前水印信息记录为图像模糊结束时间和地点；通过模糊结束时间与模糊起始时间的差值获得图像模糊的时长。
采用水印与障碍因素的结合作用，使任意种类的障碍因素均可记录起始时间、时长和地点，从而利于对障碍的种类判别、程度判断、故障原因判断，同时地点的记录有利于排查和维修。
实施例二
一种基于图像故障识别的检测系统，包括设备接入模块、算法分析模块、设备故障报警模块和设备故障工单处理模块；
设备接入模块负责接入网内所有监控设备，通过数据库维护的设备信息，通过实时流协议拉取网络摄像头的监控画面并截取相应的图像，频率为每日一次。
算法分析模块搭载至少一种设备故障检测方法，根据逻辑逐层进行设备故障检测；其中设备故障检测方法包括深度学习算法等。
设备故障报警模块对于发现异常的设备，根据故障类型进行报警；
工单处理模块对异常设备形成工单，进行判断是否出现故障，进一步在故障解决后完成设备故障的修复。
与现有技术相比，本基于图像故障识别的检测方法及系统具有以下有益效果：
1、本发明归纳了多种影响摄像机使用的故障类型，并针对性的采用了多种方法与深度学习结合，使用大量真实数据，极大提高了判断的准确性，减少了人工判别的复杂工作，及时发现摄像头的异常，以免影响安防系统的正常运行。
2、本发明将水印和障碍因素相结合作用，从而实现对障碍因素的跟踪记录，既能实现对障碍发生的时间和时长记录，又能实现对障碍发生的地点进行记录，以便于后续判断障碍因素和维护。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网LAN或广域网WAN，连接到用户计算设备，或者，可以连接到外部计算设备。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器DSP等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序，例如，计算机程序和计算机程序产品。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种基于图像故障识别的检测方法，其特征在于，包括以下步骤：
S1、对于图像中水印的检测和识别：
1计算机数据库中输入判断标准：
将摄像机影像中的正确水印数据录入本地数据库，正确水印数据包括的正确坐标位置、正确格式、正确透明度及正确方向；
2真实水印数据的检测识别：
对真实图像的水印数据进行检测识别，获取真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向及内容信息；
3真实水印数据的对错判定：
a、将真实水印数据的真实坐标位置、真实格式、真实透明度、真实方向与正确水印数据的正确坐标位置、正确格式、正确透明度、正确方向一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
b、将真实水印数据的内容信息与本地数据库中的信息进行一一对应比较；若全部比较结果为一致，则判断真实水印数据正确；若至少一项比较结果不一致，则判断真实水印数据错误，并提示具体错误项；
S2、对于图像中障碍因素的检测和识别：
1障碍物遮挡的检测识别：
自行采集真实图像数据输入卷积神经网络进行训练，训练得到障碍物检测模型，将待识别的真实图像使用障碍物检测模型进行推理得到预测结果，判断是否存在障碍物遮挡，若判断结果为是，则显示遮挡信息；
2图像模糊的检测识别：
基于拉普拉斯算法对真实图像进行对应数值计算，根据求得数值的大小判断图像是否存在模糊问题，若判断结果为是，则提示模糊信息；
S3、水印与障碍因素的结合作用：
1当障碍物遮挡判断结果为是时，截屏当前水印信息记录为障碍物遮挡起始时间和地点；直至障碍物遮挡判断结果为否时，截屏当前水印信息记录为障碍物遮挡结束时间和地点；通过遮挡结束时间与遮挡起始时间的差值获得障碍物遮挡的时长；
2当图像模糊判断结果为是时，截屏当前水印信息记录为图像模糊起始时间和地点；直至图像模糊判断结果为否时，截屏当前水印信息记录为图像模糊结束时间和地点；通过模糊结束时间与模糊起始时间的差值获得图像模糊的时长。
2.如权利要求1所述的基于图像故障识别的检测方法，其特征在于，步骤S1的2中，采用文字检测算法，具体基于卷积神经网络，通过自行采集的数据训练得到的检测模型对输入的摄像机影像进行推理，最终检测出有文字的位置，即获取文字坐标位置；采用文字识别算法，具体基于卷积循环神经网络，通过自行采集的数据训练得到的识别模型对输入的文字图像进行推理，最终识别出文字图像的具体内容。
3.如权利要求1所述的基于图像故障识别的检测方法，其特征在于，步骤S1的2中，对真实图像进行水印检测识别的步骤包括：
a、对真实图像进行缩放数据处理，而后将图像数据输入卷积神经网络的骨干网络，经过卷积及4次下采样分别输入特征金字塔网络，通过不同倍数上采样，融合特征后得到特征图，通过检测头网络进行上采样，再进行融合，生成文本框，得到真实水印的文字区域；
b、对检测到的真实水印进行文字识别，先对图像缩放，再通过卷积神经网络得到特征图，经过转换输入到卷积循环神经网络，得到归一化指数概率分布，再输入到连接主义时态分类法对特征向量的预测转换成标签序列，通过最高概率的组合提取关键影像信息。
4.如权利要求3所述的基于图像故障识别的检测方法，其特征在于，所述关键影像信息包括内容信息和拍摄方向的数据信息，所述内容信息至少包括时间和地点。
5.如权利要求1所述的基于图像故障识别的检测方法，其特征在于，步骤S2的1中，训练过程包括：首先进行锚框计算、图片缩放的数据处理，再经过切片拼接层和跨阶段局部网络主干提取图像特征，而后通过特征金字塔网络进行特征融合；判断过程包括：将特征融合后的数据信息输入到检测层，利用检测框及标签得到最终的预测结果。
6.如权利要求1所述的基于图像故障识别的检测方法，其特征在于，步骤S2的2中，用拉普拉斯模板得到图像像素的拉普拉斯梯度值，求所有图像像素拉普拉斯梯度值的和，计算的和值大于阈值则判定为图像模糊。
7.一种基于图像故障识别的检测系统，其特征在于，包括设备接入模块、算法分析模块、设备故障报警模块和设备故障工单处理模块；
所述设备接入模块负责接入网内所有监控设备，通过数据库维护的设备信息，通过网络摄像头拉取监控摄像头画面并截取相应的图像，频率为每日一次；
所述算法分析模块搭载至少一种设备故障检测方法，根据逻辑逐层进行设备故障检测；
所述设备故障报警模块对于发现异常的设备，根据故障类型进行报警；
所述工单处理模块对异常设备形成工单，进行判断是否出现故障，进一步在故障解决后完成设备故障的修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328946.6A CN117095411B (zh) | 2023-10-16 | 2023-10-16 | 一种基于图像故障识别的检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328946.6A CN117095411B (zh) | 2023-10-16 | 2023-10-16 | 一种基于图像故障识别的检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095411A true CN117095411A (zh) | 2023-11-21 |
| CN117095411B CN117095411B (zh) | 2024-01-23 |
Family
ID=88770039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311328946.6A Active CN117095411B (zh) | 2023-10-16 | 2023-10-16 | 一种基于图像故障识别的检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095411B (zh) |
Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469345A (zh) * | 2014-12-10 | 2015-03-25 | 北京理工大学 | 一种基于图像处理的视频故障诊断方法 |
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| US20190138821A1 (en) * | 2017-11-07 | 2019-05-09 | Nvidia Corporation | Camera blockage detection for autonomous driving systems |
| US20190287204A1 (en) * | 2018-03-15 | 2019-09-19 | Tata Consultancy Services Limited | Neural network based insertion of watermark into images and tampering detection thereof |
| CN111476124A (zh) * | 2020-03-26 | 2020-07-31 | 杭州鸿泉物联网技术股份有限公司 | 摄像头检测方法、装置、电子设备及系统 |
| CN111583229A (zh) * | 2020-05-09 | 2020-08-25 | 江苏野马软件科技有限公司 | 一种基于卷积神经网络路面故障检测方法 |
| CN111815556A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 |
| CN212137362U (zh) * | 2020-03-14 | 2020-12-11 | 智洋创新科技股份有限公司 | 具备防盗功能的输电线路智能监拍装置 |
| CN112235540A (zh) * | 2020-10-09 | 2021-01-15 | 北京航空航天大学 | 一种用于屏幕显示故障识别报警的智能视频监控系统 |
| CN112633176A (zh) * | 2020-12-24 | 2021-04-09 | 广西大学 | 一种基于深度学习的轨道交通障碍物检测方法 |
| CN113409252A (zh) * | 2021-05-31 | 2021-09-17 | 国电南瑞科技股份有限公司 | 一种架空输电线路巡检机器人障碍物检测方法 |
| CN113705472A (zh) * | 2021-08-30 | 2021-11-26 | 平安国际智慧城市科技股份有限公司 | 基于图像识别的异常摄像头排查方法、装置、设备及介质 |
| CN113815561A (zh) * | 2020-06-18 | 2021-12-21 | 辉达公司 | 使用基准标记的基于机器学习的安全带检测和使用识别 |
| CN113938673A (zh) * | 2021-09-23 | 2022-01-14 | 中国通信建设第一工程局有限公司 | 一种智慧城市监控管理系统及方法 |
| CN114004726A (zh) * | 2021-10-18 | 2022-02-01 | 云南腾云信息产业有限公司 | 水印显示方法、装置、计算机设备和存储介质 |
| CN114049523A (zh) * | 2021-11-29 | 2022-02-15 | 安徽博微广成信息科技有限公司 | 一种视频监控摄像机分布式树叶遮挡识别系统及方法 |
| CN114518736A (zh) * | 2022-02-22 | 2022-05-20 | 上海有间建筑科技有限公司 | 一种智慧建造工业一体化管控系统 |
| CN114549270A (zh) * | 2022-01-28 | 2022-05-27 | 中山大学 | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 |
| CN114581646A (zh) * | 2021-12-07 | 2022-06-03 | 深圳集智数字科技有限公司 | 文本识别方法、装置、电子设备及存储介质 |
| CN114626450A (zh) * | 2022-03-07 | 2022-06-14 | 蔚来汽车科技(安徽)有限公司 | 摄像头异常状况检测方法、系统和计算机可读存储介质 |
| CN115294473A (zh) * | 2022-07-05 | 2022-11-04 | 哈尔滨理工大学 | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 |
| CN115460344A (zh) * | 2022-08-02 | 2022-12-09 | 深圳海翼智新科技有限公司 | 摄像装置异常的处理方法、摄像装置、服务器及介质 |
| CN115457313A (zh) * | 2022-08-24 | 2022-12-09 | 西安万飞控制科技有限公司 | 一种基于热红外图像分析光伏设备故障的方法及系统 |
| CN115620107A (zh) * | 2022-11-07 | 2023-01-17 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法 |
| CN115767069A (zh) * | 2021-09-02 | 2023-03-07 | 中国移动通信集团浙江有限公司 | 摄像头的故障判定方法、装置和计算机可读存储介质 |
| CN115830407A (zh) * | 2021-09-16 | 2023-03-21 | 上海电力大学 | 一种基于yolov4目标检测模型的电缆管线故障判别算法 |
| CN116188790A (zh) * | 2022-12-29 | 2023-05-30 | 中国电信股份有限公司 | 摄像头遮挡检测方法、装置、存储介质及电子设备 |
| KR20230095751A (ko) * | 2021-12-22 | 2023-06-29 | 경북대학교 산학협력단 | 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법 |
| CN116645329A (zh) * | 2023-04-26 | 2023-08-25 | 山东竞业达网络科技有限公司 | 一种仪器仪表柜的异常监测方法 |
-
2023
- 2023-10-16 CN CN202311328946.6A patent/CN117095411B/zh active Active
Patent Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469345A (zh) * | 2014-12-10 | 2015-03-25 | 北京理工大学 | 一种基于图像处理的视频故障诊断方法 |
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| US20190138821A1 (en) * | 2017-11-07 | 2019-05-09 | Nvidia Corporation | Camera blockage detection for autonomous driving systems |
| US20190287204A1 (en) * | 2018-03-15 | 2019-09-19 | Tata Consultancy Services Limited | Neural network based insertion of watermark into images and tampering detection thereof |
| CN212137362U (zh) * | 2020-03-14 | 2020-12-11 | 智洋创新科技股份有限公司 | 具备防盗功能的输电线路智能监拍装置 |
| CN111476124A (zh) * | 2020-03-26 | 2020-07-31 | 杭州鸿泉物联网技术股份有限公司 | 摄像头检测方法、装置、电子设备及系统 |
| CN111583229A (zh) * | 2020-05-09 | 2020-08-25 | 江苏野马软件科技有限公司 | 一种基于卷积神经网络路面故障检测方法 |
| CN111815556A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 |
| CN113815561A (zh) * | 2020-06-18 | 2021-12-21 | 辉达公司 | 使用基准标记的基于机器学习的安全带检测和使用识别 |
| CN112235540A (zh) * | 2020-10-09 | 2021-01-15 | 北京航空航天大学 | 一种用于屏幕显示故障识别报警的智能视频监控系统 |
| CN112633176A (zh) * | 2020-12-24 | 2021-04-09 | 广西大学 | 一种基于深度学习的轨道交通障碍物检测方法 |
| CN113409252A (zh) * | 2021-05-31 | 2021-09-17 | 国电南瑞科技股份有限公司 | 一种架空输电线路巡检机器人障碍物检测方法 |
| CN113705472A (zh) * | 2021-08-30 | 2021-11-26 | 平安国际智慧城市科技股份有限公司 | 基于图像识别的异常摄像头排查方法、装置、设备及介质 |
| CN115767069A (zh) * | 2021-09-02 | 2023-03-07 | 中国移动通信集团浙江有限公司 | 摄像头的故障判定方法、装置和计算机可读存储介质 |
| CN115830407A (zh) * | 2021-09-16 | 2023-03-21 | 上海电力大学 | 一种基于yolov4目标检测模型的电缆管线故障判别算法 |
| CN113938673A (zh) * | 2021-09-23 | 2022-01-14 | 中国通信建设第一工程局有限公司 | 一种智慧城市监控管理系统及方法 |
| CN114004726A (zh) * | 2021-10-18 | 2022-02-01 | 云南腾云信息产业有限公司 | 水印显示方法、装置、计算机设备和存储介质 |
| CN114049523A (zh) * | 2021-11-29 | 2022-02-15 | 安徽博微广成信息科技有限公司 | 一种视频监控摄像机分布式树叶遮挡识别系统及方法 |
| CN114581646A (zh) * | 2021-12-07 | 2022-06-03 | 深圳集智数字科技有限公司 | 文本识别方法、装置、电子设备及存储介质 |
| KR20230095751A (ko) * | 2021-12-22 | 2023-06-29 | 경북대학교 산학협력단 | 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법 |
| CN114549270A (zh) * | 2022-01-28 | 2022-05-27 | 中山大学 | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 |
| CN114518736A (zh) * | 2022-02-22 | 2022-05-20 | 上海有间建筑科技有限公司 | 一种智慧建造工业一体化管控系统 |
| CN114626450A (zh) * | 2022-03-07 | 2022-06-14 | 蔚来汽车科技(安徽)有限公司 | 摄像头异常状况检测方法、系统和计算机可读存储介质 |
| CN115294473A (zh) * | 2022-07-05 | 2022-11-04 | 哈尔滨理工大学 | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 |
| CN115460344A (zh) * | 2022-08-02 | 2022-12-09 | 深圳海翼智新科技有限公司 | 摄像装置异常的处理方法、摄像装置、服务器及介质 |
| CN115457313A (zh) * | 2022-08-24 | 2022-12-09 | 西安万飞控制科技有限公司 | 一种基于热红外图像分析光伏设备故障的方法及系统 |
| CN115620107A (zh) * | 2022-11-07 | 2023-01-17 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法 |
| CN116188790A (zh) * | 2022-12-29 | 2023-05-30 | 中国电信股份有限公司 | 摄像头遮挡检测方法、装置、存储介质及电子设备 |
| CN116645329A (zh) * | 2023-04-26 | 2023-08-25 | 山东竞业达网络科技有限公司 | 一种仪器仪表柜的异常监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YIQIANG CHEN等: "Cross-modal Matching CNN for Autonomous Driving Sensor Data Monitoring", 《 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)》, pages 3103 - 3112 * |
| 宋杰: "基于红外成像的光伏系统智能诊断研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, vol. 2023, no. 3, pages 042 - 649 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095411B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670429B (zh) | 一种基于实例分割的监控视频多目标人脸检测方法及系统 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| WO2020173056A1 (zh) | 交通图像识别方法、装置、计算机设备和介质 | |
| CN111563557B (zh) | 一种电力电缆隧道内目标检测的方法 | |
| CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN113221890A (zh) | 一种基于ocr的云手机文字内容监管方法和系统和系统 | |
| US11967125B2 (en) | Image processing method and system | |
| CN114863437B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN111476232A (zh) | 一种洗水唛检测方法、设备和存储介质 | |
| WO2023241102A1 (zh) | 一种标签识别方法、装置、电子设备及存储介质 | |
| CN110796039B (zh) | 一种面部瑕疵检测方法、装置、电子设备及存储介质 | |
| CN117095411B (zh) | 一种基于图像故障识别的检测方法及系统 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN116110095A (zh) | 一种人脸过滤模型的训练方法、人脸识别方法及装置 | |
| CN111814582B (zh) | 一种用于驾驶员行为监测图像的处理方法及装置 | |
| CN114724091A (zh) | 一种输电线路导线异物识别方法及装置 | |
| CN114581911A (zh) | 一种钢卷标号识别方法及系统 | |
| CN114694209A (zh) | 视频处理方法、装置、电子设备及计算机存储介质 | |
| CN116848547A (zh) | 图像的处理方法和系统 | |
| CN112633089A (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
| CN110956097A (zh) | 遮挡人体提取方法及模块、场景转换方法及装置 | |
| CN117649358B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN116259050B (zh) | 灌装桶标签文字定位识别方法、装置、设备及检测方法 | |
| CN111008582B (zh) | 一种头部照片分析方法、系统和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |