CN112200019B - 一种快速建筑夜景照明灯光故障检测方法 - Google Patents

一种快速建筑夜景照明灯光故障检测方法 Download PDF

Info

Publication number
CN112200019B
CN112200019B CN202010999122.1A CN202010999122A CN112200019B CN 112200019 B CN112200019 B CN 112200019B CN 202010999122 A CN202010999122 A CN 202010999122A CN 112200019 B CN112200019 B CN 112200019B
Authority
CN
China
Prior art keywords
gray
points
formula
fault
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010999122.1A
Other languages
English (en)
Other versions
CN112200019A (zh
Inventor
宋雪桦
陈静
王昌达
金华
孙妍
蒋思玮
王赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Roman Technology Co ltd
Original Assignee
Shanghai Luoman Lighting Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Luoman Lighting Technologies Inc filed Critical Shanghai Luoman Lighting Technologies Inc
Priority to CN202010999122.1A priority Critical patent/CN112200019B/zh
Publication of CN112200019A publication Critical patent/CN112200019A/zh
Application granted granted Critical
Publication of CN112200019B publication Critical patent/CN112200019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本文发明涉及一种快速建筑夜景照明灯光故障检测方法。采用改进的限制对比度自适应直方图均衡方法(ICLAHE)进行视频预处理，然后利用SIFT算法进行特征提取，根据欧式距离和RANSAC算法进行特征点的配准。最后将配准好的视频流通过灯光故障判别方法进行检测，判断各个检测区域是否出现故障灯。本发明专利提出的故障检测方法利用ICLAHE增强图像清晰度，提高了图像匹配正确率，解决了因摄像头抖动而误检测的情况。本发明专利提出的故障检测方法可以准确检测建筑夜景灯光故障，具有较好的应用价值。

Description

一种快速建筑夜景照明灯光故障检测方法
技术领域
本发明涉及图像处理和故障检测领域，具体涉及一种快速建筑夜景照明灯光故障检测方法。
背景技术
建筑夜景照明不仅能够为城市居民提供安全的照明功能，还有利于丰富城市夜景文化，传播光文化，提高城市的综合品质。但随着时间的推移以及户外环境的复杂性，建筑夜景照明因产品、电力、通信信号等原因故障逐渐频发。现有建筑夜景照明灯光故障检测仍然是常规巡检人员目测为主，导致检测效率下降而且巡检成本高。
随着Internet的快速发展，利用计算机视觉的方法进行检测已经成为研究的主要方向和发展趋势。由于建筑夜景照明灯光各点的颜色和亮度不同，有无故障灯最本质的区别就是像素值是否为“黑色”。在灰度图像中，各点呈现不同程度的灰色，黑色为0，白色为255。因此，灯光故障检测方法中将彩色视频帧的RGB值转化为灰度值。
由于户外环境因素的干扰，摄像头容易发生抖动，导致系统无法从检测区域提取像素信息进行故障检测，因此图像配准是将其中关键步骤。图像配准是数字图像处理领域的关键技术之一，其目的是对不同时间、不同角度或不同传感器获取的同一场景两幅或多幅图进行空间变化处理，使得同一目标在不同的图像上处于相同的坐标位置。SIFT算法是经典的基于特征的图像配准算法，该算法在图像平移、旋转、缩放、视角变换和光照变化等因素下具有良好的效果，解决了因摄像头抖动而误检测的情况。
发明内容
本发明专利目的在于解决传统建筑夜景照明灯光故障检测方法中巡检成本高、检测效率低等问题，并进一步解决计算机视觉检测方法中摄像头抖动问题和检测精度，提出一种基于图像配准的建筑夜景照明灯光故障检测方法。与传统的故障检测方法相比较，具有较高的准确率，具有较好的应用价值。
为实现上述发明目的，本发明提供以下技术方案：一种快速建筑夜景照明灯光故障检测方法，包括以下步骤：
S1：调用摄像头获取建筑夜景照明开灯后的视频流，截取固定时长的视频流进行存储，间隔固定时长后再对视频流进行截取存储；
S2：截取视频流中建筑夜景照明开灯瞬间的视频帧作为参考图像；
S3：将视频流中每一帧与参考图像进行图像配准；
S4：获取配准后视频帧观察区域中各检测区域的像素信息；
S5：将获取到的像素信息通过灯光故障判别方法判断检测区域是否出现故障灯。
进一步地，上述步骤S3包括如下步骤：
S3.1：利用改进后的限制对比度自适应直方图均衡算法(ICLAHE)对参考图像和视频流中的视频帧进行图像增强；
S3.2：将步骤S3.1中ICLAHE得到的灰度图与高斯函数进行卷积，生成不同的尺度空间L(x，y，σ)，再将同一尺度中相邻上下两幅图像相减得到高斯差分尺度空间D(x，y，σ)；
灰度图与高斯函数进行卷积，生成不同尺度空间的公式如下：
L(x，y，σ)＝G(x，y，v)*I(x，y)
式中：I(x，y)为输入的灰度图像，即ICLAHE得到的灰度图像；*为卷积符号；σ为尺度空间因子；G(x，y，σ)为高斯函数；
生成高斯差分尺度空间的公式如下：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)
＝L(x，y，kσ)-L(x，y，σ)
式中，k为两个相邻图像的尺度比；
S3.3：在高斯差分尺度空间内，将每一个像素点与周围26个点进行比较，即同一尺度域的8个点与相邻两个尺度的2×9＝18个点，最终判断其是否为极值点，即初步检测的关键点；
S3.4：对高斯差分函数D(x，y，σ)进行二次泰勒公式展开，找到参考图像和视频帧的关键点的位置，计算公式如下：
式中，x是相对于关键点的偏移量，求导后取极值作为关键点的位置；
S3.5：根据以下公式计算参考图像和视频帧的关键点领域像素的梯度模值：
式中，L(x，y)表示每个尺度空间的关键点；
在完成关键点的梯度计算后，使用直方图统计领域内像素的梯度和方向，梯度直方图将0～360度的方向范围分为36个柱(bins)，其中每柱10度，以直方图中最大值作为关键点的主方向，峰值大于主方向峰值80％的方向作为关键点的辅方向；
S3.6：确定参考图像和视频帧的关键点的位置、尺度和方向之后，用一组向量描述该关键点，以关键点为中心，将16×16的窗口等间隔划分成4×4个子区域计算8个方向的梯度信息，即描述子采用4×4×8＝128维特征向量；
S3.7：在视频帧中找到与参考图像中欧氏距离最近的前两个特征点，计算最近的距离和次近距离的比值，若小于设定的阈值，则匹配成功；
S3.8：随机抽样一致(RANSAC)算法去除匹配点中的误匹配点对：从特征点中随机抽取4组不共线的特征点对作为样本，求出变换矩阵，通过变换矩阵计算所有特征点对与矩阵之间的误差，找出所有小于阈值误差的特征点对。
S3.9：根据步骤3.8的变换矩阵求出参考图像与视频帧中对应点位置，采用最邻近插值法求得视频帧坐标点的灰度值，从而得到最终配准图像。
进一步地，上述步骤S3.1包括如下步骤：
S3.1.1：将视频帧和参考图像各划分为大小相等不重叠的8*8个子区域，计算每个子区域的灰度直方图hi(x)，i∈[0，63]，x∈[0，255]；限制每个灰度级包含的像素数不超过平均值average的N1倍，也不得低于average的N2倍；
S3.1.2：利用公式(1)对灰度直方图hi(x)进行裁剪，利用公式(2)对灰度直方图重新分配数值；
式中，sin gleW、sin gleH和L分别为直方图hi(x)的宽、高和灰度级数量；N1、N2是截取限制系数；Limitl和Limit2是剪裁阈值；
式中，totalE是裁剪的像素总数；avgB是小于Limit2的灰度级得到的像素数；count是像素小于Limit2的灰度级数；h′i(x)为重新分配后的直方图；
S3.1.3：分别对视频帧、参考图像裁剪后的每个子区域h′i(x)分别进行直方图均衡化；
i∈[0，63]，k∈[0，L-1]
fi(k)＝round((L-1)×cdfi(k))
i∈[0，63]，k∈[0，L-1]
式中，cdfi(k)表示图像的累积分布直方图；hi(x)表示为灰度级为x时的像素数；Nall表示灰度图像的像素数；fi(k)表示灰度变换函数。
S3.1.4：对视频帧和参考图像中的每一个像素进行灰度值重构。
进一步地，上述步骤S3.1.4中对像素进行灰度值重构具体包括以下内容：
1)四角区域灰度值通过该像素点所属子块的变换函数进行重构，变换公式如步骤3.1.3中所示；
2)边缘区域灰度值通过相邻两子区域的灰度变换函数进行线性插值实现重构，相邻两子区域的灰度变换函数如以下公式所示：
其中，f(x，y)为所求点的灰度值；f1、f2为相邻两子区域的灰度变换函数；(x1，y1)、(x2，y2)为相邻两子区域的中心像素坐标；
3)剩余部分灰度值通过周围四个子区域的灰度变换函数进行双线性插值实现重构，四个子区域的灰度变换函数如以下公式所示：
式中，f′1、f′2、f′3、f′4分别为周围四个子区域的灰度变换函数；(x′1，y′1)、(x′1，y′2)、(x′2，y′1)、(x′2，y′2)分别为周围四个子区域的中心像素坐标。
进一步地，上述步骤S4中获取配准后视频帧观察区域中各检测区域的像素信息包括如下步骤：
S4.1：将配准后的视频帧中建筑夜景观察区域划分成M×N个检测区域；
S4.2：提取配准后的视频帧中第t个检测区域的RGB平均值，表示为Rtj、Gtj、Btj，然后根据公式进行灰度化，并对其进行归一化处理，记N_Graytj。
式中，j表示当前帧数，k表示检测视频流的总帧数。
S4.3：各个检测区域以帧为单位循环操作步骤4.2，并对其进行累加，计算公式如下：
式中，k表示检测视频的总帧数；
进一步地，上述步骤S5中通过灯光故障判别方法判断检测区域是否出现故障灯具体包括以下内容：
根据无故障点时N_Grayt的变化情况进行曲线拟合，找出最合适的拟合直线公式，利用该公式对之后计算出的N_Grayt进行拟合，计算两者之间的偏差，通过设定的阈值判断各个检测区域是否存在故障灯。
本发明提供了一种基于计算机视觉的建筑夜景照明灯光故障检测方法，利用改进后的限制对比度自适应直方图均衡化和SIFT算法对建筑夜景照明灯光图像进行配准，解决了因摄像头抖动而误检测的情况。将配准好的视频通过灯光故障判别方法进行检测，判断各个检测区域是否出现故障灯。若出现故障，则进行告警。与传统的故障检测方法相比较，本发明具有较高的准确率和检测效率，具有较好的应用价值。
附图说明
图1为本发明中建筑夜景照明灯光故障检测流程图。
图2为本发明中基于SIFT的图像配准算法流程。
图3为通过本发明检测到故障灯的效果图。
图4为灯光故障判别流程图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面结合实施例对本发明做进一步的详细描述。
本发明提供的基于图像配准的建筑夜景照明灯光故障检测方法流程参见图1，包括如下步骤：
S1：调用摄像头获取建筑夜景照明开灯后的视频流，截取固定时长(比如1分钟)的视频流进行存储，间隔固定时长后再对视频流进行截取存储；作为本发明的优选实施例，本发明中的摄像头优选海康威视SDK。
S2：截取视频流中建筑夜景照明开灯瞬间的视频帧作为参考图像，作为本发明的优选实施例，一般以拍摄角度无误的视频帧作为参考图像，在实际操作中一般以摄像头捕捉到的打开建筑夜景照明瞬间的视频帧作为参考图像；
S3：将视频流中每一帧与参考图像进行图像配准；
S4：获取配准后视频帧观察区域中各检测区域的像素信息；
S5：将获取到的像素信息通过灯光故障判别方法判断检测区域是否出现故障灯，判别结果如图3所示。
作为本发明的优选实施例，本发明中的观察区域是待检测视频流中的视频帧中的特定区域，检测区域是观察区域中的局部区域，如有照明灯光的大楼是观察区域，大楼上又划分MXN个检测区域。
作为本发明的优选实施例，如图2的本发明中基于SIFT的图像配准算法流程所示，本发明步骤S3中的图像配准包括如下步骤：
S3.1：利用改进后的限制对比度自适应直方图均衡算法(ICLAHE)对参考图像和视频流中的视频帧进行图像增强；
S3.2：将步骤S3.1中ICLAHE得到的灰度图与高斯函数进行卷积，生成不同的尺度空间L(x，y，σ)，再将同一尺度中相邻上下两幅图像相减得到高斯差分尺度空间D(x，y，σ)；
灰度图与高斯函数进行卷积，生成不同尺度空间的公式如下：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
式中：I(x，y)为输入的灰度图像，即ICLAHE得到的灰度图像；*为卷积符号；σ为尺度空间因子；G(x，y，σ)为高斯函数；
生成高斯差分尺度空间的公式如下：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)
＝L(x，y，kσ)-L(x，y，σ)
式中，k为两个相邻图像的尺度比；
S3.3：在高斯差分尺度空间内，将每一个像素点与周围26个点进行比较，即同一尺度域的8个点与相邻两个尺度的2×9＝18个点，最终判断其是否为极值点，即初步检测的关键点；
S3.4：对高斯差分函数D(x，y，σ)进行二次泰勒公式展开，找到参考图像和视频帧的关键点的位置，计算公式如下：
式中，x是相对于关键点的偏移量，求导后取极值作为关键点的位置；
S3.5：根据以下公式计算参考图像和视频帧的关键点领域像素的梯度模值：
式中，L(x，y)表示每个尺度空间的关键点，由于是同一尺度比较，所以不需要参数σ；
在完成关键点的梯度计算后，使用直方图统计领域内像素的梯度和方向，梯度直方图将0～360度的方向范围分为36个柱(bins)，其中每柱10度，以直方图中最大值作为关键点的主方向，峰值大于主方向峰值80％的方向作为关键点的辅方向；
S3.6：确定参考图像和视频帧的关键点的位置、尺度和方向之后，用一组向量描述该关键点，以关键点为中心，将16×16的窗口等间隔划分成4×4个子区域计算8个方向的梯度信息，即描述子采用4×4×8＝128维特征向量；
S3.7：在视频帧中找到与参考图像中欧氏距离最近的前两个特征点，计算最近的距离和次近距离的比值，若小于设定的阈值，则匹配成功；
S3.8：随机抽样一致(RANSAC)算法去除匹配点中的误匹配点对：从特征点中随机抽取4组不共线的特征点对作为样本，求出变换矩阵，通过变换矩阵计算所有特征点对与矩阵之间的误差，找出所有小于阈值误差的特征点对。
S3.9：根据步骤3.8的变换矩阵求出参考图像与视频帧中对应点位置，采用最邻近插值法求得视频帧坐标点的灰度值，从而得到最终配准图像。
作为本发明的优选实施例，上述步骤S3.1包括如下步骤：
S3.1.1：将视频帧和参考图像各划分为大小相等不重叠的8*8个子区域，计算每个子区域的灰度直方图hi(x)，i∈[0，63]，x∈[0，255]；限制每个灰度级包含的像素数不超过平均值average的N1倍，也不得低于average的N2倍；
S3.1.2：利用公式(1)对灰度直方图hi(x)进行裁剪，利用公式(2)对灰度直方图重新分配数值；
式中，sin gleW、sin gleH和L分别为直方图hi(x)的宽、高和灰度级数量；N1、N2是截取限制系数；Limitl和Limit2是剪裁阈值；
式中，totalE是裁剪的像素总数；avgB是小于Limit2的灰度级得到的像素数；count是像素小于Limit2的灰度级数；h′i(x)为重新分配后的直方图；
S3.1.3：分别对视频帧、参考图像裁剪后的每个子区域h′i(x)分别进行直方图均衡化；
fi(k)＝round((L-1)×cdfi(k))
i∈[0，63]，k∈[0，L-1]
式中，cdfi(k)表示图像的累积分布直方图；hi(x)表示为灰度级为x时的像素数；Nall表示灰度图像的像素数；fi(k)表示灰度变换函数。
S3.1.4：对视频帧和参考图像中的每一个像素进行灰度值重构。
作为本发明的优选实施例，上述步骤S3.1.4中对像素进行灰度值重构具体包括以下内容：
1)四角区域灰度值通过该像素点所属子块的变换函数进行重构，变换公式如步骤31.3中所示；
2)边缘区域灰度值通过相邻两子区域的灰度变换函数进行线性插值实现重构，相邻两子区域的灰度变换函数如以下公式所示：
其中，f(x，y)为所求点的灰度值；f1、f2为相邻两子区域的灰度变换函数；(x1，y1)、(x2，y2)为相邻两子区域的中心像素坐标；
3)剩余部分灰度值通过周围四个子区域的灰度变换函数进行双线性插值实现重构，四个子区域的灰度变换函数如以下公式所示：
式中，f′1、f′2、f′3、f′4分别为周围四个子区域的灰度变换函数；(x′1，y′1)、(x′1，y′2)、(x′2，y′1)、(x′2，y′2)分别为周围四个子区域的中心像素坐标。
作为本发明的优选实施例，上述步骤S4中获取配准后视频帧观察区域中各检测区域的像素信息包括如下步骤：
S4.1：将配准后的视频帧中建筑夜景观察区域划分成M×N个检测区域；
S4.2：提取配准后的视频帧中第t个检测区域的RGB平均值，表示为Rtj、Gtj、Btj，然后根据公式进行灰度化，并对其进行归一化处理，记N_Graytj。
式中，j表示当前帧数，k表示检测视频流的总帧数。
S4.3：各个检测区域以帧为单位循环操作步骤4.2，并对其进行累加，计算公式如下：
式中，k表示检测视频的总帧数；
作为本发明的优选实施例，上述步骤S5中通过灯光故障判别方法判断检测区域是否出现故障灯具体包括以下内容：
根据无故障点时N_Grayt的变化情况进行曲线拟合，找出最合适的拟合直线公式，利用该公式对之后计算出的N_Grayt进行拟合，计算两者之间的偏差，通过设定的阈值判断各个检测区域是否存在故障灯，具体判别流程如图4所示。
本发明提供了一种基于计算机视觉的建筑夜景照明灯光故障检测方法，利用改进后的限制对比度自适应直方图均衡化和SIFT算法对建筑夜景照明灯光图像进行配准，解决了因摄像头抖动而误检测的情况。将配准好的视频流通过灯光故障判别方法进行检测，判断各个检测区域是否出现故障灯。若出现故障，则进行告警。与传统的故障检测方法相比较，本发明具有较高的准确率和检测效率，具有较好的应用价值。

Claims (3)

1.一种快速建筑夜景照明灯光故障检测方法，其特征在于，包括以下步骤：
S1：调用摄像头获取建筑夜景照明开灯后的视频流，截取固定时长的视频流进行存储，间隔固定时长后再对视频流进行截取存储；
S2：截取视频流中建筑夜景照明开灯瞬间的视频帧作为参考图像；
S3：使用改进的限制对比度自适应直方图均衡方法对图像进行增强，将视频流中每一帧与参考图像进行图像配准，步骤包括：
S3.1.1：将视频帧和参考图像各划分为大小相等不重叠的8*8个子区域，计算每个子区域的灰度直方图hi(x),i∈[0,63],x∈[0,255]；限制每个灰度级包含的像素数不超过平均值average的N1倍，也不得低于average的N2倍；
S3.1.2：利用公式(1)对灰度直方图hi(x)进行裁剪，利用公式(2)对灰度直方
图重新分配数值；Limit1和Limit2是剪裁阈值；
式中，singleW、singleH和L分别为直方图hi(x)的宽、高和灰度级数量；N1、N2是截取限制系数；
式中，totalE是裁剪的像素总数；avgB是小于Limit2的灰度级得到的像素数；count是像素小于Limit2的灰度级数；h′i(x)为重新分配后的直方图；
S3.1.3：分别对视频帧、参考图像裁剪后的每个子区域h′i(x)分别进行直方图均衡化；
i∈[0,63],k∈[0,L-1]
fi(k)＝round((L-1)×cdfi(k))
i∈[0,63],k∈[0,L-1]
式中，cdfi(k)表示图像的累积分布直方图；hi(x)表示为灰度级为x时的像素数；Nall表示灰度图像的像素数；fi(k)表示灰度变换函数；
S3.1.4：对视频帧和参考图像中的每一个像素进行灰度值重构；
S4：获取配准后视频帧观察区域中各检测区域的像素信息，步骤包括：
S4.1：将配准后的视频帧中建筑夜景观察区域划分成M×N个检测区域；
S4.2：提取配准后的视频帧中第t个检测区域的RGB平均值，表示为Rtj、Gtj、
Btj，然后根据公式进行灰度化，并对其进行归一化处理，记N_Graytj，
t∈[0,MN-1],j∈[1,k]
式中，j表示当前帧数，k表示检测视频流的总帧数；
S4.3：各个检测区域以帧为单位循环操作步骤4.2，并对其进行累加，计算公式如下：
式中，k表示检测视频的总帧数；
S5：将获取到的像素信息通过灯光故障判别方法，根据视频流中不同区域灰度值的变化情况，来判断检测区域是否出现故障灯，步骤包括：根据无故障点时N_Grayt的变化情况进行曲线拟合，找出最合适的拟合直线公式，利用该公式对之后计算出的N_Grayt进行拟合，计算两者之间的偏差，通过设定的阈值判断各个检测区域是否存在故障灯。
2.如权利要求1所述的快速建筑夜景照明灯光故障检测方法，其特征在于，所述步骤S3包括如下步骤：
S3.1：利用改进后的限制对比度自适应直方图均衡算法ICLAHE对参考图像和视频流中的视频帧进行图像增强；
S3.2：将步骤S3.1中ICLAHE得到的灰度图与高斯函数进行卷积，生成不同的尺度空间L(x,y,σ)，再将同一尺度中相邻上下两幅图像相减得到高斯差分尺度空间D(x,y,σ)；
灰度图与高斯函数进行卷积，生成不同尺度空间的公式如下：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
式中：I(x,y)为输入的灰度图像，即ICLAHE得到的灰度图像；*为卷积符号；σ为尺度空间因子；G(x,y,σ)为高斯函数；
生成高斯差分尺度空间的公式如下：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)，
式中，k为两个相邻图像的尺度比；
S3.3：在高斯差分尺度空间内，将每一个像素点与周围26个点进行比较，即同一尺度域的8个点与相邻两个尺度的2×9＝18个点，最终判断其是否为极值点，即初步检测的关键点；
S3.4：对高斯差分函数D(x,y,σ)进行二次泰勒公式展开，找到参考图像和视
频帧的关键点的位置，计算公式如下：
式中，x是相对于关键点的偏移量，求导后取极值作为关键点的位置；
S3.5：根据以下公式计算参考图像和视频帧中关键点邻域像素的梯度模值：
式中，L(x,y)表示每个尺度空间的关键点；在完成关键点的梯度计算后，使用直方图统计领域内像素的梯度和方向，梯度直方图将0～360度的方向范围分为36个柱(bins)，其中每柱10度，以直方图中最大值作为关键点的主方向，峰值大于主方向峰值80％的方向作为关键点的辅方向；
S3.6：确定参考图像和视频帧中关键点的位置、尺度和方向之后，用一组向量描述该关键点，以关键点为中心，将16×16的窗口等间隔划分成4×4个子区域计算8个方向的梯度信息，即描述子采用4×4×8＝128维特征向量；
S3.7：在视频帧中找到与参考图像中欧氏距离最近的前两个特征点，计算最近的距离和次近距离的比值，若小于设定的阈值，则匹配成功；
S3.8：随机抽样一致(RANSAC)算法去除匹配点中的误匹配点对：从特征点中随机抽取4组不共线的特征点对作为样本，求出变换矩阵，通过变换矩阵计算所有特征点对与矩阵之间的误差，找出所有小于阈值误差的特征点对；
S3.9：根据步骤3.8的变换矩阵求出参考图像与视频帧中对应点位置，采用最邻近插值法求得视频帧坐标点的灰度值，从而得到最终配准图像。
3.如权利要求2所述的快速建筑夜景照明灯光故障检测方法，其特征在于，所述步骤S3.1.4中对像素进行灰度值重构具体包括以下内容：
1)四角区域灰度值通过该像素点所属子块的变换函数进行重构，变换公式如步骤3.1.3中所示；
2)边缘区域灰度值通过相邻两子区域的灰度变换函数进行线性插值实现重构，
相邻两子区域的灰度变换函数如以下公式所示：
其中，f(x,y)为所求点的灰度值；f1、f2为相邻两子区域的灰度变换函数；(x1,y1)、(x2,
y2)为相邻两子区域的中心像素坐标；
3)剩余部分灰度值通过周围四个子区域的灰度变换函数进行双线性插值实现
重构，四个子区域的灰度变换函数如以下公式所示：
式中，f′1、f′2、f′3、f′4分别为周围四个子区域的灰度变换函数；(x′1,y′1)、(x′1,y′2)、(x′2,y′1)、(x′2,y′2)分别为周围四个子区域的中心像素坐标。
CN202010999122.1A 2020-09-22 2020-09-22 一种快速建筑夜景照明灯光故障检测方法 Active CN112200019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010999122.1A CN112200019B (zh) 2020-09-22 2020-09-22 一种快速建筑夜景照明灯光故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010999122.1A CN112200019B (zh) 2020-09-22 2020-09-22 一种快速建筑夜景照明灯光故障检测方法

Publications (2)

Publication Number Publication Date
CN112200019A CN112200019A (zh) 2021-01-08
CN112200019B true CN112200019B (zh) 2024-02-09

Family

ID=74016238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010999122.1A Active CN112200019B (zh) 2020-09-22 2020-09-22 一种快速建筑夜景照明灯光故障检测方法

Country Status (1)

Country Link
CN (1) CN112200019B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505622A (zh) * 2021-06-01 2021-10-15 深圳市亿联无限科技有限公司 一种自动识别多条码与led灯的测试系统及方法
CN113762084A (zh) * 2021-08-09 2021-12-07 江苏大学 基于RetinaXNet的建筑夜景灯光异常检测方法
CN115527134A (zh) * 2022-10-27 2022-12-27 浙江九烁光电工程技术有限公司 基于大数据的城市园林景观照明监测系统及其方法
CN116342440B (zh) * 2023-05-26 2023-07-28 山东广汇安通物联科技有限公司 一种基于人工智能的车载视频监控管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0221370A1 (de) * 1985-10-09 1987-05-13 Siemens Aktiengesellschaft Anzeigevorrichtung zur Fehlerdiagnose in Kommunikationsendgeräten
CN106997583A (zh) * 2017-03-10 2017-08-01 江苏帝集团有限公司 一种水下机器人自适应图像增强和特征提取方法
CN107610116A (zh) * 2017-09-15 2018-01-19 天津工业大学 输送带故障在线检测非均匀光照图像校正方法
KR20190028950A (ko) * 2017-09-11 2019-03-20 현대자동차주식회사 촬영기를 이용하는 자동차의 램프 고장 진단 방법
CN109636777A (zh) * 2018-11-20 2019-04-16 广州方纬智慧大脑研究开发有限公司 一种交通信号灯的故障检测方法、系统及存储介质
CN110517327A (zh) * 2019-08-30 2019-11-29 大连海事大学 一种基于颜色校正和对比度拉伸的水下图像增强方法
CN110602485A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 故障检测方法及相关产品
CN110620921A (zh) * 2019-10-22 2019-12-27 浙江蓝鸽科技有限公司 教室设备故障检测方法及其设备
CN111369554A (zh) * 2020-03-18 2020-07-03 山西安数智能科技有限公司 低亮度多角度环境下皮带损伤样本的优化和预处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402623B2 (en) * 2017-11-30 2019-09-03 Metal Industries Research & Development Centre Large scale cell image analysis method and system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0221370A1 (de) * 1985-10-09 1987-05-13 Siemens Aktiengesellschaft Anzeigevorrichtung zur Fehlerdiagnose in Kommunikationsendgeräten
CN106997583A (zh) * 2017-03-10 2017-08-01 江苏帝集团有限公司 一种水下机器人自适应图像增强和特征提取方法
KR20190028950A (ko) * 2017-09-11 2019-03-20 현대자동차주식회사 촬영기를 이용하는 자동차의 램프 고장 진단 방법
CN107610116A (zh) * 2017-09-15 2018-01-19 天津工业大学 输送带故障在线检测非均匀光照图像校正方法
CN109636777A (zh) * 2018-11-20 2019-04-16 广州方纬智慧大脑研究开发有限公司 一种交通信号灯的故障检测方法、系统及存储介质
CN110602485A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 故障检测方法及相关产品
CN110517327A (zh) * 2019-08-30 2019-11-29 大连海事大学 一种基于颜色校正和对比度拉伸的水下图像增强方法
CN110620921A (zh) * 2019-10-22 2019-12-27 浙江蓝鸽科技有限公司 教室设备故障检测方法及其设备
CN111369554A (zh) * 2020-03-18 2020-07-03 山西安数智能科技有限公司 低亮度多角度环境下皮带损伤样本的优化和预处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A feature extraction using SIFT with a prepossessing by adding CLAHE algorithm to enhance image histograms;Raul David Palma Olvera等;《2014 International Conference on Mechatronics，Electronics and Automotive Engineering》;第20-25页 *
Contrast limited adaptive histogram equalization based fusion for underwater image enhancement;Jinxiang Ma等;《International Journal of Pattern Recognition and Artificial Intelligence》;第32卷(第07期);第1-27页 *
基于卷积神经网络的视频监控故障检测系统设计与实现;何劲生;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2020卷(第06期);第I136-575页 *
基于图像配准的建筑夜景照明故障检测方法;陈静等;《计算机与数字工程》;第50卷(第11期);第2538-2543页 *
基于改进SIFT特征点匹配的图像拼接算法研究;张勇等;《微电子学与计算机》;第33卷(第03期);第60-64页 *
基于视频监控的建筑夜景灯光故障检测技术研究;陈静;《中国优秀硕士学位论文全文数据库 工程科技II辑》;第2022卷(第05期);第C038-282页 *

Also Published As

Publication number Publication date
CN112200019A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200019B (zh) 一种快速建筑夜景照明灯光故障检测方法
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
Zhang et al. Object-oriented shadow detection and removal from urban high-resolution remote sensing images
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN110490914A (zh) 一种基于亮度自适应和显著性检测的图像融合方法
CN110569857B (zh) 一种基于质心距离计算的图像轮廓角点检测方法
CN107967482A (zh) 图标识别方法及装置
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN106846289A (zh) 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN111539980A (zh) 一种基于可见光的多目标追踪方法
CN113793309B (zh) 一种基于形态学特征的亚像素级椭圆检测方法
Mo et al. Nighttime infrared ship target detection based on Two-channel image separation combined with saliency mapping of local grayscale dynamic range
CN113128433A (zh) 颜色迁移匹配特征的视频监控影像增强方法
CN106021610B (zh) 一种基于显著区域的视频指纹提取方法
CN115761611B (zh) 基于图像对比异常检测的多阶段多底图图像差异过滤方法
Jia et al. A novel moving cast shadow detection of vehicles in traffic scene
CN110930358A (zh) 一种基于自适应算法的太阳能面板图像处理方法
Zambanini et al. Robust automatic segmentation of ancient coins
WO2015168362A1 (en) Method and apparatus for processing block to be processed of urine sediment image
Abdusalomov et al. Robust shadow removal technique for improving image enhancement based on segmentation method
Wang et al. Application of improved SURF algorithm in real scene matching and recognition
Yamashita et al. A virtual wiper-restoration of deteriorated images by using a pan-tilt camera
CN112435226A (zh) 一种细粒度图像拼接区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210202

Address after: 2000 82 G Building, 32 Qinhuangdao Road, Yangpu District, Shanghai

Applicant after: SHANGHAI LUOMAN LIGHTING TECHNOLOGIES Inc.

Address before: 212013 No. 301, Xuefu Road, Zhenjiang, Jiangsu

Applicant before: JIANGSU University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 5th floor, No. 1196 Yangshupu Road, Yangpu District, Shanghai, 200082

Patentee after: Shanghai Roman Technology Co.,Ltd.

Country or region after: China

Address before: 2000 82 G Building, 32 Qinhuangdao Road, Yangpu District, Shanghai

Patentee before: SHANGHAI LUOMAN LIGHTING TECHNOLOGIES Inc.

Country or region before: China

CP03 Change of name, title or address