CN110956203B - 一种基于灯元分布匹配的静态夜景灯光检测方法 - Google Patents

一种基于灯元分布匹配的静态夜景灯光检测方法 Download PDF

Info

Publication number
CN110956203B
CN110956203B CN201911112956.XA CN201911112956A CN110956203B CN 110956203 B CN110956203 B CN 110956203B CN 201911112956 A CN201911112956 A CN 201911112956A CN 110956203 B CN110956203 B CN 110956203B
Authority
CN
China
Prior art keywords
lamp
image
night scene
img
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112956.XA
Other languages
English (en)
Other versions
CN110956203A (zh
Inventor
金华
顾耀杰
宋雪桦
王昌达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201911112956.XA priority Critical patent/CN110956203B/zh
Publication of CN110956203A publication Critical patent/CN110956203A/zh
Application granted granted Critical
Publication of CN110956203B publication Critical patent/CN110956203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于灯元分布匹配的静态夜景灯光检测方法。使用自适应的二值化阈值获得最优二值化图像，使用区域生长和图像分割优化Shi‑Tomasi角点检测的速度，使用Shi‑Tomasi角点检测提取出图像的特征。本发明将优化后的Shi‑Tomasi角点检测用于夜景灯检测，提取灯元特征，与实时监测夜景灯进行匹配，具有实时、高效、准确的优势，规避了传统检测无实时性、人工成本大等缺陷。

Description

一种基于灯元分布匹配的静态夜景灯光检测方法
技术领域
本发明属于交互式图像分割匹配技术领域，具体涉及一种基于灯元分布匹配的静态夜景灯光检测方法。
背景技术
随着社会的发展，现在大街小巷都能看到夜景灯光，夜景灯光不仅起到夜晚照明的作用，而且美观，装饰效果特别好，美化了城市的夜间环境。然而，夜景灯长时间在室外，必然会因风吹日晒引起灯管损坏，或电路老化，导致部分静态夜景灯损坏，严重影响美观。因此，有必要对夜景灯进行定时检查。
传统的方法基本都以人工巡检为主，通过人眼的观测直接判断夜景灯光是否有损，这种方法实时性低，精确度低，且消耗人力，浪费时间，成本很高。
随着监控摄像机的出现，解决了人工需要到处巡查的问题，通过在需要检测的夜景灯光周围安装监控摄像头，检测人员可以在室内就可以检查是否有夜景灯光损坏，但是这种方法仍然需要后期人工的参与。
发明内容
针对上述存在的问题，本发明提供了一种基于灯元分布匹配的静态夜景灯光检测方法，实现对不同场景自动监测，以提高对静态夜景灯光的识别监控能力。
为了实现上述目的，本发明具体技术方案如下：一种基于灯元分布匹配的静态夜景灯光检测方法，包括如下步骤：
1)利用摄像头离线采集夜景灯光的视频数据V，其中，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；
2)从视频数据V中每隔时间Δt提取一帧图像，每一帧图像记作Oi，构建初始夜景灯图像集合Img_ini，记为Img_ini＝{O1，O2，...，On}，n为夜景灯图像的个数；
3)构建夜景灯元主体图像集合Img_main；
4)利用最大差值法将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff；
5)离线构建灯元模板；
6)实时获取监控的夜景灯图像O′i，进行在线模板匹配，判断夜景灯是否正常。
进一步地，上述步骤3)中构建夜景灯元主体图像集合Img_main包括如下步骤；
3.1)设定夜景灯元主体图像区域,设定依据是人为认定的能够包括夜景灯主体的矩形区域,该矩形区域左上角的点的坐标记为[x1，y1]，右下角的点的坐标记为[x2，y2]；
3.2)按照夜景灯元主体区域依次对初始夜景灯图像集合Img_ini中图像进行截图得到初始夜景灯光主体图像，记为Oi′；
3.3)构建初始夜景灯主体图像集合Img_main,Img_main＝{O′1，O′2，…，On′}。
进一步地，上述步骤4)中，将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，包括如下步骤：
4.1)依次计算初始夜景灯主体图集合Img_main中每张夜景灯主体图像的灰度直方图；
4.2)依次选取每张图像的灰度直方图中大于灰度阈值N的最高峰值点的灰度值，O′i的最高峰值点的灰度值记为grayi；
4.3)构建最高峰值点灰度值集合Gray_apex，Gray_apex＝{gray1，gray2，...，grayn}；
4.4)计算最高峰值点灰度值集合Gray_apex中差值的绝对值最大的两个相邻元素，两个相邻元素下标记为k和k+1；
4.5)根据k将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，其中，
ImgsOn＝{O1′，O2′，…，Ok′}，ImgsOff＝{Ok+1′，Ok+2′，…，On′}。
进一步地，上述步骤5)中，离线构建灯元模板包括如下步骤：
5.1)从集合ImgsOn中随机选择一张图片，计算该图片的平均灰度值，记为On_avg，从集合ImgsOff中随机选择一张图片，计算该图片的平均灰度值，记为Off-avg；
5.2)计算自适应阈值AVG，计算公式如下：
Figure BDA0002273272080000031
5.3)对集合ImgsOn和ImgsOff做叉乘差值计算，构建关灯前后对比结果的夜景灯主体图向量Compare_img，构建方法为：对集合ImgsOn中每一张图片和集合ImgsOff中每一张图片进行差值计算，构建向量Compare_img，记为Compare_img＝{img1，k+1，...，img1，n，img2，k+1，…，img2，n，…，imgk，k+1，…，imgk，n}
，其中图像imgi，j为集合ImgsOn中第i张图像Oi′和集合ImgsOff中第j张图像Oj′差值计算后的图像，其中，差值计算方法如下：
Figure BDA0002273272080000032
其中，f1(x，y)为图像Oi′中(x，y)点的像素值，f2(x，y)为图像Oj′中(x，y)点的像素值；f(x，y)为灯元图像imgi，j中(x，y)点的像素值；
5.4)构建向量Compare_img对应的相似度向量Avgs，记为Avgs＝{Avg1，k+1，...，Avg1，n，Avg2，k+1，...，Avg2，n，...，Avgk，k+1，...，Avgk，n},其中所述Avgi，j为向量Compare_img中第i*j张图像与向量Compare_img中其它所有图像的平均相似度，所述图像的平均相似度计算方法如下：
Figure BDA0002273272080000041
其中，similar表示图像相似度，计算方法如下：
Figure BDA0002273272080000042
amount1为两幅图像对应像素点相似的个数,amount2为两幅图像对应像素点不相似像素点个数；所述像素点相似的判断方法是：如果两张图像中对应像素点的像素值的差值小于相似阈值D，则像素点相似，否则像素点不相似；
5.5)确定精确夜景灯主体区域图像Img，即相似度向量Avgs中最大相似度值对应的向量Compare_img中的图像为精确夜景灯主体区域图像Img；
5.6)计算图像Img中每一个像素点的最大类间方差，像素点(x，y)的最大类间方差记为gx，y；
5.7)利用最大差值法选择最大gx，y的值，确定最优最大类间差值的阈值Th，即通过比较Img每个像素点的最大类间方差gx，y，选择出其中的最大值，并获得最大类间方差gx，y对应的像素点(x，y)的灰度值f(x，y)，则该灰度值为最优分割阈值Th；
5.8)利用最优分割阈值Th对Img图像进行二值化处理，即将夜景灯主体图中每个像素点的灰度值f(x，y)与Th进行比较，如灰度值f(x，y)大于Th，则将其设为255，如小于Th，则设为0，即：
Figure BDA0002273272080000051
最后得到新的二值化图像Img_bin；
5.9)利用区域生长确定初始灯元；
5.10)去除灯元离散点，构建优化的灯元图；
5.11)依次对灯元集合Areas′中的每一个灯元进行角点检测，构建灯元的角点坐标集Nodes；
5.12)利用无向图中闭环方法寻找角点坐标集合Nodes元素闭环，构建灯元闭环集合Close_loop和无闭环集合Open_loop；
5.13)保存夜景灯元模板，所述夜景灯元模板包括：灯每个灯元区域的灯元的像素点个数集合Num、角点集合Close_loop和Open_loop。
进一步地，上述步骤6)中，匹配方法如下：
6.1)利用角点坐标点集Close_loop和Open_loop提取夜景灯图像O′i的灯元；
6.2)对获取到的灯元进行二值化；
6.3)计算每个灯元中灰度值为255的像素个数，保存进集合Prop中；
6.4)将集合Prop中的每个元素和集合Num中的相应下标的元素相除，如大于最大异常阈值e，则认为夜景灯其正常，否则转步骤6.1)重新匹配，如果连续s次都小于最大异常阈值e，则提示灯元损坏。
进一步地，上述步骤5.6)中，所述像素点(x，y)的最大类间方差gx，y的计算方法如下：
5.6.1)遍历图像Img的像素点，将像素点的像素值赋给最大类间方差阈值Th，将图像中像素点灰度值大于阈值的个数记为N1，小于阈值的个数记为N2；
5.6.2)计算N1像素点对整幅图像像素点个数的占比，记为w1，N2像素点对整幅图像像素点个数的占比，记为w2；
5.6.3)计算N1的平均灰度，记为G1，计算N2的平均灰度，记为G2；
5.6.4)计算整幅图像总的平均灰度值G，计算公式如下：
G＝G1*w1+G2*w2
5.6.5)计算最大类间方差g，计算公式如下：
gx，y＝w1*w2*(G1-G2)2
5.6.6)判断图像Img的像素点是否遍历结束，如是转下一步，否则转步骤5.6.1)继续遍历。
进一步地，上述步骤5.9)中，确定初始灯元的方法包括如下步骤：
5.9.1)依此遍历二值化图像Img_bin的每个像素点，用彼此相邻且值为255像素点构建一个集合，即为一个灯元，记为areai，其中，像素点相邻包括横向相邻、纵向相邻及斜45度方向相邻；
5.9.2)构建灯元集合Areas＝{area1，area2，...，areaj},j为灯元个数；
5.9.3)根据灯元集合Areas统计每个灯元包含像素点个数Ni，构建灯元像素点个数集合Num＝{N1，N2，...，Nj}。
进一步地，上述步骤5.10)中，去除灯元离散点构建优化的灯元图，包括如下步骤：
5.10.1)计算灯元像素点个数集合Num所有元素的平均数，记为Navg；
5.10.2)根据Navg设定离散点优化阈值TNum,
Figure BDA0002273272080000061
5.10.3)去除离散点，优化灯元集合Areas，得到优化后的灯元集合Areas′,优化方法为：灯元像素点个数集合Num中每个元素与优化阈值TNum进行比较，如果小于TNum，将该元素在灯元集合Areas中对应的灯元删除，即将该灯元的像素点的像素值置为0；否则保留该元素在灯元集合Areas中对应的灯元。
进一步地，上述步骤5.11)中，对灯元集合Areas′中的每一个灯元进行角点检测，构建灯元的角点坐标集Nodes，包括如下步骤：
5.11.1)利用Shi-Tomasi方法计算灯元集合Areas′中灯元每一个像素点(x，y)灰度值变化，计算方法为：
Figure BDA0002273272080000071
其中，E(u，v)是窗口的灰度值；在u和v分别为x方向和y方向偏移量，I是图像的灰度函数，Ix和Iy为灰度图像在x和y方向的偏导数，w(x，y)是窗口函数；
5.11.2)矩阵形式化窗口的灰度值E(u，v)，表示为：
Figure BDA0002273272080000072
其中，M是目标像素的自相关矩阵,为：
Figure BDA0002273272080000073
5.11.3)计算M的矩阵特征值λ1和λ2；
5.11.4)利用矩阵特征值λ1和λ2确定角点，方法为：
λ1≥λmax且λ2≥λmax
其中，λmax为角点检测阈值，在本发明具体实施例中，λmax是的灯元像素点较小特征值中的最大值；
5.11.5)对集合Areas′中每个灯元进行角点检测，获得每个灯元的角点集合nodej＝{N1，N2，...，Nn}，其中，nodej为第j个灯元的角点集合，Ni为第j个灯元的第i个角点；
5.11.6)构建灯元的角点坐标集Nodes，记为：Nodes＝{nodes1，node2，...，noden}。
进一步地，上述步骤5.12)中，所述灯元闭环集合Close_loop和无闭环集合Open_loop的构建方法包括如下步骤：
5.12.1)构建灯元回路集合closei，记为：
closei＝{<xi，j，xk，l>，...，<xn，m，xx，y>}，
其中<xi，j，xk，l>表示坐标点(i，j)与坐标点(k，l)相连,构建方法为：寻找角点坐标集合Nodes中每个灯元集合node的闭环，判断所有形成的闭环的路径中的顶点是否和此灯元的坐标集合node中元素相同，如不同，则去除，如相同则保留，放入灯元回路集合closei；
5.12.2)根据灯元回路集合closei构建灯元开路集合openi，构建方法为：判断closei集合中每条连线上是否存在值为255的点，如都存在保留，否则去除closei集合中这两点的连线，并将剩余值加入集合openi中；
5.12.3)构建灯元闭环集合Close_loop＝{close1，close2，...，closei}和无闭环集合Open_loop＝{open1，open2，...，openi}，构建方法为：将所有灯元回路集合closei加入灯元闭环集合Close_loop，所有openi集合放入Open_loop中。
本发明提高了夜景灯检测的实时性、精确性，减少了人工的参与，降低了检查的时间，节省了人工成本。
附图说明
图1为静态夜景灯光检测方法流程图。
具体实施
下面结合附图以及具体实施例对本发明作进一步的说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不限于此。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
如图1所示，一种基于灯元分布匹配的静态夜景灯光检测方法，包括如下步骤：
1)利用摄像头离线采集夜景灯光的视频数据V，其中，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；
2)从视频数据V中每隔时间Δt提取一帧图像，每一帧图像记作Oi，构建初始夜景灯图像集合Img_ini，记为Img_ini＝{O1，O2，...，On}，n为夜景灯图像的个数；在本发明具体实施例中，n＝600,Δt＝1s；
3)构建夜景灯元主体图像集合Img_main包括如下步骤；
3.1)设定夜景灯元主体图像区域,设定依据是人为认定的能够包括夜景灯主体的矩形区域,该矩形区域左上角的点的坐标记为[x1，y2]，右下角的点的坐标记为[x2，y2]；
3.2)按照夜景灯元主体区域依次对初始夜景灯图像集合Img_ini中图像进行截图得到初始夜景灯光主体图像，记为Oi′；
3.3)构建初始夜景灯主体图像集合Img_main,Img_main＝{O′1，O′2，...，On′}；
4)利用最大差值法将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，具体方法包括如下步骤：
4.1)依次计算初始夜景灯主体图集合Img_main中每张夜景灯主体图像的灰度直方图；
4.2)依次选取每张图像的灰度直方图中大于灰度阈值N的最高峰值点的灰度值，Oi′的最高峰值点的灰度值记为grayi，在本发明具体实施例中，N＝170；
4.3)构建最高峰值点灰度值集合Gray_apex，Gray_apex＝{gray1，gray2，...，grayn}；
4.4)计算最高峰值点灰度值集合Gray_apex中差值的绝对值最大的两个相邻元素，两个相邻元素下标记为k和k+1；
4.5)根据k将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，其中，ImgsOn＝{O1′，O2′，…，Ok′}，ImgsOff＝{Ok+1′，Ok+2′，…，On′}；
5)离线构建灯元模板，通过对集合ImgsOn和集合ImgsOff进行以下步五大步骤灯元主体的获取、夜景灯元的二值化、离散点的去除、角点检测、灯元特征的提取，来构建灯元模板，具体方法如下：
5.1)从集合ImgsOn中随机选择一张图片，计算该图片的平均灰度值，记为On_avg，从集合ImgsOff中随机选择一张图片，计算该图片的平均灰度值，记为Off_avg；
5.2)计算自适应阈值AVG，计算公式如下：
Figure BDA0002273272080000101
5.3)对集合ImgsOn和ImgsOff做叉乘差值计算，构建关灯前后对比结果的夜景灯主体图向量Compare_img，具体方法为：对集合ImgsOn中每一张图片和集合ImgsOff中每一张图片进行差值计算，构建向量Compare_img，记为Compare_img＝{img1，k+1，…，img1，n，img2，k+1，…，img2，n，…，imgk，k+1，…，imgk，n}，其中图像imgi，j为集合ImgsOn中第i张图像Oi′和集合ImgsOff中第j张图像Oj′差值计算后的图像，其中，差值计算方法如下：
Figure BDA0002273272080000111
其中，f1(x，y)为图像Oi’中(x，y)点的像素值，f2(x，y)为图像Oj′中(x，y)点的像素值；f(x，y)为灯元图像imgi，j中(x，y)点的像素值；
5.4)构建向量Compare_img对应的相似度向量Avgs，Avgs＝{Avg1，k+1，...，Avg1，n，Avg2，k+1，...Avg2，n...，Avgk，k+1，...，Avgk，n},其中Avgi，j为向量Compare_img中第i*j张图像与向量Compare_img中其它所有图像的平均相似度，计算方法如下：
Figure BDA0002273272080000112
其中，similar表示图像相似度，计算方法如下：
Figure BDA0002273272080000113
amount1为两幅图像对应像素点相似的个数,amount2为两幅图像对应像素点不相似像素点个数；其中，像素点相似的判断方法是：如果两张图像中对应像素点的像素值的差值小于相似阈值D，则像素点相似，否则像素点不相似，在本发明具体实施中，相似阈值D＝30；
5.5)确定精确夜景灯主体区域图像Img，即相似度向量Avgs中最大相似度值对应的向量Compare_img中的图像为精确夜景灯主体区域图像Img；
5.6)计算图像Img中每一个像素点的最大类间方差，像素点(x，y)的最大类间方差记为gx，y,其中，gx，y的计算方法如下：
5.6.1)遍历图像Img的像素点，将像素点的像素值赋给最大类间方差阈值Th，将图像中像素点灰度值大于阈值的个数记为N1，小于阈值的个数记为N2；
5.6.2)计算N1像素点对整幅图像像素点个数的占比，记为w1，N2像素点对整幅图像像素点个数的占比，记为w2；
5.6.3)计算N1的平均灰度，记为G1，计算N2的平均灰度，记为G2；
5.6.4)计算整幅图像总的平均灰度值G，计算公式如下：
G＝G1*w1+G2*w2
5.6.5)计算最大类间方差g，计算公式如下：
gx，y＝w1(G1-G)2+w2(G2-G)2
化简可得：
gx，y＝w1*w2*(G1-G2)2
5.6.6)判断图像Img的像素点是否遍历结束，如遍历结束转步骤5.7)，否则转步骤5.6.1)继续遍历；
5.7)利用最大差值法选择最大gx，y的值，确定最优最大类间差值的阈值Th，即通过比较Img每个像素点的最大类间方差gx，y，选择出其中的最大值，并获得最大类间方差gx，y对应的像素点(x，y)的灰度值f(x，y)，则该灰度值为最优分割阈值Th；
5.8)利用最优分割阈值Th对Img图像进行二值化处理，即将夜景灯主体图中每个像素点的灰度值f(x，y)与Th进行比较，如灰度值f(x，y)大于Th，则将其设为255，如小于Th，则设为O，即：
Figure BDA0002273272080000121
最后得到新的二值化图像Img_bin；
5.9)利用区域生长确定初始灯元，具体步骤如下：
5.9.1)依此遍历二值化图像Img_bin的每个像素点，用彼此相邻且值为255像素点构建一个集合，即为一个灯元，记为areai，其中，像素点相邻包括横向相邻、纵向相邻及斜45度方向相邻；
5.9.2)构建灯元集合Areas＝{area1，area2，...，areaj},j为灯元个数；
5.9.3)根据灯元集合Areas统计每个灯元包含像素点个数Ni，构建灯元像素点个数集合Num＝{N1，N2，...，Nj}；
5.10)去除灯元离散点，构建优化的灯元图，具体步骤如下：
5.10.1)计算灯元像素点个数集合Num所有元素的平均数，记为Navg；
5.10.2)根据Navg设定离散点优化阈值TNum,
Figure BDA0002273272080000132
在本发明具体实施例中，/>
Figure BDA0002273272080000133
5.10.3)去除离散点，优化灯元集合Areas，得到优化后的灯元集合Areas′,优化方法为：灯元像素点个数集合Num中每个元素与优化阈值TNum进行比较，如果小于TNum，将该元素在灯元集合Areas中对应的灯元删除，即将该灯元的像素点的像素值置为0；否则保留该元素在灯元集合Areas中对应的灯元；
5.11)依次对灯元集合Areas′中的每一个灯元进行角点检测，构建灯元的角点坐标集Nodes，具体步骤如下：
5.11.1)利用Shi-Tomasi方法计算灯元集合Areas′中灯元每一个像素点
(x，y)灰度值变化，计算方法为：
Figure BDA0002273272080000131
其中，E(u，v)是窗口的灰度值；在u和v分别为x方向和y方向偏移量，I是图像的灰度函数，Ix和Iy为灰度图像在x和y方向的偏导数，w(x，y)是窗口函数，在本发明实施例中，窗口函数选用高斯窗口函数，以提高抗干扰能力；
5.11.2)矩阵形式化窗口的灰度值E(u，v)，表示为：
Figure BDA0002273272080000141
其中，M是目标像素的自相关矩阵,为：
Figure BDA0002273272080000142
5.11.3)计算M的矩阵特征值λ1和λ2；
5.11.4)利用矩阵特征值λ1和λ2确定角点，方法为：
λ1≥λmax且λ2≥λmax
其中，λmax为角点检测阈值，在本发明具体实施例中，λmax是的灯元像素点较小特征值中的最大值；
5.11.5)对集合Areas′中每个灯元进行角点检测，获得每个灯元的角点集合nodej＝{N1，N2…Nn}，其中，nodej为第j个灯元的角点集合，Ni为第j个灯元的第i个角点；
5.11.6)构建灯元的角点坐标集Nodes，记为：
Nodes＝{node1，node2，…，noden}；
5.12)利用无向图中闭环方法寻找角点坐标集合Nodes元素闭环，构建灯元闭环集合Close_loop和无闭环集合Open_loop，闭环概念为坐标点能通过访问其他点回到原坐标点，构建方法为：
5.12.1)构建灯元回路集合closei，记为：
closei＝{<xi，j，xk，l>，...，<xn，m，xx，y>}，
其中<xi，j，xk，l>表示坐标点(i，j)与坐标点(k，l)相连,构建方法为：寻找角点坐标集合Nodes中每个灯元集合node的闭环，判断所有形成的闭环的路径中的顶点是否和此灯元的坐标集合node中元素相同，如不同，则去除，如相同则保留，放入灯元回路集合closei；
5.12.2)根据灯元回路集合closei构建灯元开路集合openi，构建方法为：判断closei集合中每条连线上是否存在值为255的点，如都存在保留，否则去除closei集合中这两点的连线，并将剩余值加入集合openi中；
5.12.3)构建灯元闭环集合Close_loop＝{close1，close2，...，closei}和无闭环集合Open_loop＝{open1，open2，...，openi}，构建方法为：将所有灯元回路集合closei加入灯元闭环集合Close_loop，所有openi集合放入Open_loop中；
5.13)夜景灯元模板的保存，图像的模板主要为：灯每个灯元区域的灯元的像素点个数集合Num及角点集合Close_loop和Open_loop；
6)实时获取监控的夜景灯图像O′i，进行在线模板匹配，匹配方法如下：
6.1)利用角点坐标点集Close_loop和Open_loop提取夜景灯图像O′i的灯元；
6.2)对获取到的灯元进行二值化；
6.3)计算每个灯元中为255的像素个数，保存进集合Prop中；
6.4)将集合Prop中的每个元素和集合Num中的相应下标的元素相除，如大于最大异常阈值e，则认为其正常，否则暂时认为此区域损坏，继续进行步骤6.1)的灯元模板匹配，如果连续n次仍然显示此区域损坏，则对其进行告警，提示灯元损坏；在本发明具体实施例中，e＝90％。

Claims (6)

1.一种基于灯元分布匹配的静态夜景灯光检测方法，其特征在于包括如下步骤：
1)利用摄像头离线采集夜景灯光的视频数据V，其中，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；
2)从视频数据V中每隔时间Δt提取一帧图像，每一帧图像记作Oi，构建初始夜景灯图像集合Img_ini，记为Img_ini＝{O1，O2，...，On}，n为夜景灯图像的个数；
3)构建夜景灯元主体图像集合Img_main；
4)利用最大差值法将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff；
5)离线构建灯元模板；
6)实时获取监控的夜景灯图像O′i，进行在线模板匹配，判断夜景灯是否正常；
所述步骤3)中所述夜景灯元主体图像集合Img_main构建方法包括如下步骤：
3.1)设定夜景灯元主体图像区域，设定依据是人为认定的能够包括夜景灯主体的矩形区域，该矩形区域左上角像素点的坐标记为[x1，y1]，右下角像素点的坐标记为[x2，y2]；
3.2)按照夜景灯元主体区域依次对初始夜景灯图像集合Img_ini中图像进行截图得到初始夜景灯光主体图像，记为Ci′；
3.3)构建初始夜景灯主体图像集合Img_main，Img_main＝{O′1O′2，...，On′}；
所述步骤4)中，将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，包括如下步骤：
4.1)依次计算初始夜景灯主体图集合Img_main中每张夜景灯主体图像的灰度直方图；
4.2)依次选取每张图像的灰度直方图中大于灰度阈值N的最高峰值点的灰度值，Oi′的最高峰值点的灰度值记为grayi；
4.3)构建最高峰值点灰度值集合Gray_apex，Gray_apex＝{gray1，gray2，...，grayN}；
4.4)计算最高峰值点灰度值集合Gray_apex中差值的绝对值最大的两个相邻元素，所述相邻元素下标记为k和k+1；
4.5)根据k将初始夜景灯主体图集合Img_main分割为关灯前夜景灯图像集合ImgsOn和关灯后夜景灯图像集合ImgsOff，其中，
ImgsOn＝{O1′，O2′，...，ok′}，Imgsoff＝{Ok+1′，Ok+2′，...，On′}；
所述步骤5)中，所述灯元模板离线构建的方法包括如下步骤：
5.1)从集合ImgsOn中随机选择一张图片，计算该图片的平均灰度值，记为On_avg，从集合ImgsOff中随机选择一张图片，计算该图片的平均灰度值，记为Off_avg；
5.2)计算自适应阈值AVG，计算公式如下：
Figure FDA0004131683810000021
5.3)对集合ImgsOn和ImgsOff做叉乘差值计算，构建关灯前后对比结果的夜景灯主体图向量Compare_img，构建方法为：对集合ImgsOn中每一张图片和集合ImgsOff中每一张图片进行差值计算，构建向量Compare_tmg，记为：
Compare_img＝
{img1，k+1，...，img1，n，img2，k+1，...，img2，n，...，imgk，k+1，...，imgk，n}，其中图像imgi，j为集合imgsOn中第i张图像Oi′和集合ImgsOff中第j张图像Oj′差值计算后的图像，其中，差值计算方法如下：
Figure FDA0004131683810000031
其中，f1(x，y)为图像Oi′中(x，y)点的像素值，f2(x，y)为图像Oj′中(x，y)点的像素值；f(x，y)为灯元图像imgi，j中(x，y)点的像素值；
5.4)构建向量Compare_img对应的相似度向量Avgs，记为Avgs-{Avg1，k+1，...，Avg1，n，Avg2，k+1，...，Avg2，n，...，Avgk，k+1，...，Avgk，n}，其中所述Avgi，j为向量Compare_img中第i*j张图像与向量Compare_img中其它所有图像的平均相似度，所述图像的平均相似度计算方法如下：
Figure FDA0004131683810000032
其中，simiar表示图像相似度，计算方法如下：
Figure FDA0004131683810000033
amount1为两幅图像对应像素点相似的个数，amount2为两幅图像对应像素点不相似像素点个数；所述像素点相似的判断方法是：如果两张图像中对应像素点的像素值的差值小于相似阈值D，则像素点相似，否则像素点不相似；
5.5)确定精确夜景灯主体区域图像Img，即相似度向量Avgs中最大相似度值对应的向量Compare_img中的图像为精确夜景灯主体区域图像Img；
5.6)计算图像Img中每一个像素点的最大类间方差，像素点(x，y)的最大类间方差记为gx，y；
5.7)利用最大差值法选择最大gx，y的值，确定最优最大类间差值的阈值Th，即通过比较Img每个像素点的最大类间方差gx，y，选择出其中的最大值，并获得最大类间方差gx，y对应的像素点(x，y)的灰度值f(x，y)，则该灰度值为最优分割阈值Th；
5.8)利用最优分割阈值Th对Img图像进行二值化处理，即将夜景灯主体图中每个像素点的灰度值f(x，y)与Th进行比较，如灰度值f(x，y)大于Th，则将其设为255，如小于Th，则设为0，即：
Figure FDA0004131683810000041
最后得到新的二值化图像Img_bin；
5.9)利用区域生长确定初始灯元；
5.10)去除灯元离散点，构建优化的灯元图；
5.11)依次对灯元集合Areas′中的每一个灯元进行角点检测，构建灯元的角点坐标集Nodes；
5.12)利用无向图中闭环方法寻找角点坐标集合Nades元素闭环，构建灯元闭环集合Close_loop和无闭环集合Open_loop；
5.13)保存夜景灯元模板，所述夜景灯元模板包括：灯每个灯元区域的灯元的像素点个数集合Num、角点集合Close_loop和Open_loop；
所述步骤6)中，匹配方法如下：
6.1)利用角点坐标点集Close_loop和Open_loop提取夜景灯图像O′i的灯元；
6.2)对获取到的灯元进行二值化；
6.3)计算每个灯元中灰度值为255的像素个数，保存进集合Prop中；
6.4)将集合Prop中的每个元素和集合Num中的相应下标的元素相除，如大于最大异常阈值e，则认为夜景灯其正常，否则转步骤6.1)重新匹配，如果连续s次都小于最大异常阈值e，则提示灯元损坏。
2.如权利要求1所述的基于灯元分布匹配的静态夜景灯光检测方法，其特征在于，所述步骤5.6)中，所述像素点(x，y)的最大类间方差gx，y的计算方法如下：
5.6.1)遍历图像Img的像素点，将像素点的像素值赋给最大类间方差阈值Th，将图像中像素点灰度值大于阈值的个数记为N1，小于阈值的个数记为N2；
5.6.2)计算N1像素点对整幅图像像素点个数的占比，记为w1，N2像素点对整幅图像像素点个数的占比，记为w2；
5.6.3)计算N1的平均灰度，记为G1，计算N2的平均灰度，记为G2；
5.6.4)计算整幅图像总的平均灰度值G，计算公式如下：
G＝G1*w1+G2*w2
5.6.5)计算最大类间方差gx，y，计算公式如下：
gx，y＝w1*w2*(G2-G2)2
5.6.6)判断图像Img的像素点是否遍历结束，如是转下一步，否则转步骤5.6.1)继续遍历。
3.如权利要求1所述的基于灯元分布匹配的静态夜景灯光检测方法，其特征在于，所述步骤5.9)中，确定初始灯元的方法包括如下步骤：
5.9.1)依此遍历二值化图像Img_bin的每个像素点，用彼此相邻且值为255像素点构建一个集合，即为一个灯元，记为areai，其中，像素点相邻包括横向相邻、纵向相邻及斜45度方向相邻；
5.9.2)构建灯元集合Areas＝{area1，area2，..，areaj}，j为灯元个数；
5.9.3)根据灯元集合Areas统计每个灯元包含像素点个数Ni，构建灯元像素点个数集合Num＝{N1，N2，...，Nj}。
4.如权利要求1所述的基于灯元分布匹配的静态夜景灯光检测方法，其特征在于，所述步骤5.10)中，去除灯元离散点构建优化的灯元图，包括如下步骤：
5.10.1)计算灯元像素点个数集合Num所有元素的平均数，记为Navg；
5.10.2)根据Navg设定离散点优化阈值TNum，
Figure FDA0004131683810000063
5.10.3)去除离散点，优化灯元集合Areas，得到优化后的灯元集合Areas′，优化方法为：灯元像素点个数集合Num中每个元素与优化阈值TNum进行比较，如果小于TNum，将该元素在灯元集合Areas中对应的灯元删除，即将该灯元的像素点的像素值置为0；否则保留该元素在灯元集合Areas中对应的灯元。
5.如权利要求1所述的基于灯元分布匹配的静态夜景灯光检测方法，其特征在于，所述步骤5.11)中，对灯元集合Areas′中的每一个灯元进行角点检测，构建灯元的角点坐标集Nodes，包括如下步骤：
5.11.1)利用shi-Tomaoi方法计算灯元集合Areas′中灯元每一个像素点(x，y)灰度值变化，计算方法为：
Figure FDA0004131683810000061
其中，E(u，v)是窗口的灰度值；在u和v分别为x方向和y方向偏移量，I是图像的灰度函数，Ix和Iy为灰度图像在x和y方向的偏导数，w(x，y)是窗口函数；
5.11.2)矩阵形式化窗口的灰度值E(u，v)，表示为：
Figure FDA0004131683810000062
其中，M是目标像素的自相关矩阵，为：
Figure FDA0004131683810000071
5.11.3)计算M的矩阵特征值λ1和λ2；
5.11.4)利用矩阵特征值λ1和λ2确定角点，方法为：
λ1≥λmax且λ2≥λmax
其中，λmax为角点检测阈值，在本发明具体实施例中，λmax是的灯元像素点较小特征值中的最大值；
5.11.5)对集合Areas′中每个灯元进行角点检测，获得每个灯元的角点集合nodef＝{N1，N2，...，Nn}，其中，nodej为第j个灯元的角点集合，Ni为第j个灯元的第i个角点；
5.11.6)构建灯元的角点坐标集Nodes，记为：Nodes＝{node1，node2，...，noden}。
6.如权利要求1所述的基于灯元分布匹配的静态夜景灯光检测方法，其特征在于，所述步骤5.12)中，所述灯元闭环集合Close_loop和无闭环集合Open_loop的构建方法包括如下步骤：
5.12.1)构建灯元回路集合closei，记为：
closei＝{<xi，j，xk，l>，...，<xn，m，xx，y>}，
其中<xi，j，xk，l>表示坐标点(i，j)与坐标点(k，l)相连，构建方法为：寻找角点坐标集合Nodes中每个灯元集合node的闭环，判断所有形成的闭环的路径中的顶点是否和此灯元的坐标集合node中元素相同，如不同，则去除，如相同则保留，放入灯元回路集合closei；
5.12.2)根据灯元回路集合closei构建灯元开路集合openi，构建方法为：判断closei集合中每条连线上是否存在值为255的点，如都存在保留，否则去除closei集合中这两点的连线，并将剩余值加入集合openi中；
5.12.3)构建灯元闭环集合Close_loop＝{close1，close2，...，closei}和无闭环集合Open_locp＝{open1，open2，...，openi}，构建方法为：将所有灯元回路集合closei加入灯元闭环集合close_loop，所有opent集合放入Open_loop中。
CN201911112956.XA 2019-11-14 2019-11-14 一种基于灯元分布匹配的静态夜景灯光检测方法 Active CN110956203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112956.XA CN110956203B (zh) 2019-11-14 2019-11-14 一种基于灯元分布匹配的静态夜景灯光检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112956.XA CN110956203B (zh) 2019-11-14 2019-11-14 一种基于灯元分布匹配的静态夜景灯光检测方法

Publications (2)

Publication Number Publication Date
CN110956203A CN110956203A (zh) 2020-04-03
CN110956203B true CN110956203B (zh) 2023-06-13

Family

ID=69977244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112956.XA Active CN110956203B (zh) 2019-11-14 2019-11-14 一种基于灯元分布匹配的静态夜景灯光检测方法

Country Status (1)

Country Link
CN (1) CN110956203B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117453936B (zh) * 2023-10-19 2024-03-26 山东三木众合信息科技股份有限公司 一种数据整理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149855A1 (de) * 2008-06-13 2009-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen eines notensignals auf eine manuelle eingabe hin

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268481B (zh) * 2013-05-29 2016-06-29 焦点科技股份有限公司 一种复杂背景图像中的文本提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149855A1 (de) * 2008-06-13 2009-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen eines notensignals auf eine manuelle eingabe hin

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于加权均值检测的夜景图像增强算法;孙伟;吴翰;李雨;孙威;黄星;;萍乡学院学报(第03期) *

Also Published As

Publication number Publication date
CN110956203A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN109147254B (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
CN103440484B (zh) 一种适应室外大空间的火焰检测方法
CN101493980B (zh) 一种基于多特征融合的快速视频火焰探测方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN104303193B (zh) 基于聚类的目标分类
CN109559302A (zh) 基于卷积神经网络的管道视频缺陷检测方法
CN103208126B (zh) 一种自然环境下运动物体监测方法
CN102819735B (zh) 基于视频帧图像的火焰检测方法
US20160260306A1 (en) Method and device for automated early detection of forest fires by means of optical detection of smoke clouds
CN105426828A (zh) 人脸检测方法、装置及系统
CN107563265A (zh) 一种远光灯检测方法及装置
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN112651404A (zh) 一种基于无锚框检测器的绿色果实高效分割方法及系统
CN114882410B (zh) 基于改进定位损失函数的隧道顶灯故障检测方法及系统
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN104182972B (zh) 一种野外用复杂光照下的实弹射击自动报靶系统及方法
CN113361326A (zh) 一种基于计算机视觉目标检测的智慧电厂管控系统
CN110956203B (zh) 一种基于灯元分布匹配的静态夜景灯光检测方法
CN113052869A (zh) 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质
CN114241511A (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN112435257A (zh) 一种多光谱成像的烟雾检测方法及系统
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN114022820A (zh) 一种基于机器视觉的航标灯灯质智能检测方法
CN109271899A (zh) 一种提高Ai智慧摄影场景识别准确率的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant