CN106529556B - 一种仪表指示灯的视觉检测系统 - Google Patents

一种仪表指示灯的视觉检测系统 Download PDF

Info

Publication number
CN106529556B
CN106529556B CN201611021579.5A CN201611021579A CN106529556B CN 106529556 B CN106529556 B CN 106529556B CN 201611021579 A CN201611021579 A CN 201611021579A CN 106529556 B CN106529556 B CN 106529556B
Authority
CN
China
Prior art keywords
meter lamp
detection system
color
vision detection
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611021579.5A
Other languages
English (en)
Other versions
CN106529556A (zh
Inventor
齐文平
姚京松
刘晓芳
吴军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Super Power & Ultrahigh Pressure Electric Power Technology Development Co Ltd
State Grid Corp of China SGCC
Maintenance Branch of State Grid Hubei Electric Power Co Ltd
Original Assignee
Hubei Super Power & Ultrahigh Pressure Electric Power Technology Development Co Ltd
State Grid Corp of China SGCC
Maintenance Branch of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Super Power & Ultrahigh Pressure Electric Power Technology Development Co Ltd, State Grid Corp of China SGCC, Maintenance Branch of State Grid Hubei Electric Power Co Ltd filed Critical Hubei Super Power & Ultrahigh Pressure Electric Power Technology Development Co Ltd
Priority to CN201611021579.5A priority Critical patent/CN106529556B/zh
Publication of CN106529556A publication Critical patent/CN106529556A/zh
Application granted granted Critical
Publication of CN106529556B publication Critical patent/CN106529556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种仪表指示灯的视觉检测系统，包括以下步骤：定位、提取轮廓和识别轮廓内是否含有仪表指示灯的颜色，本技术旨在解决了目前在检查面板状态仪表指示灯时，传统检测方案存在着工人记忆负担重、或效率低下、耗费人力过多等缺陷的问题，如采用AR巡检加上视觉自动识别算法,则能够取得极高的效率。

Description

一种仪表指示灯的视觉检测系统
技术领域
本发明属于视觉自动检测领域，尤其涉及一种仪表指示灯的视觉检测系统。
背景技术
工人在巡检过程中,经常会遇到检查面板的某个状态指示灯的任务,工人需要记住哪个指示灯对应哪个零件设备的状态,指示灯的颜色分别对应什么状态,使得工人有极大的记忆负担,直接导致检查出错率较高。
发明内容
有鉴于此，为了克服现有技术的不足，本发明提供一种仪表指示灯的视觉检测系统，能够自动化检测面板上指示灯的状态，提高了效率，节约了成本。
为了实现上述技术目的，本发明采用如下技术方案实现：
一种仪表指示灯的视觉检测系统，包括：
1)定位：对通过摄像头拍摄到的仪表指示灯实时图像进行匹配，从匹配结果中计算单应矩阵，将子图像的四个边缘点映射到实时图像中，根据映射的四个点构建外接矩形框，确认目标仪表指示灯的位置；
2)提取轮廓：首先目标图像进行灰度化；从灰度图计算直方图，对直方图进行平滑，根据明显的双峰中间的谷底的值来进行二值化；其次对二值化之后的图像取外轮廓；最后筛选外轮廓，得到成线性的轮廓子集；
3)识别轮廓内是否含仪表指示灯的颜色：对轮廓的外接矩形分割出的子图像作处理，如果排除白色、黑色和灰色，提取HSV中的H分量的灰度图，在其灰度直方图中查找最高峰作为仪表指示灯的主颜色；
进一步，不同所述仪表指示灯的主颜色表示不同的状态。
进一步，所述仪表指示灯由人工佩戴AR眼镜观察。
进一步，通过所述步骤1)、步骤2)和步骤3)能够得出每个亮着的所述仪表指示灯的位置和颜色。
进一步，根据所述AR眼镜判断出实时图像上框出所述仪表指示灯的位置并标识颜色。
进一步，所述步骤1)中对实时图像使用SIFT特征点匹配。
本发明的有益效果为：本技术旨在解决了目前在检查面板状态仪表指示灯时，传统检测方案存在着工人记忆负担重、或效率低下、耗费人力过多等缺陷的问题，如采用AR巡检加上视觉自动识别算法,则能够取得极高的效率。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种仪表指示灯的视觉检测系统，包括以下步骤：
1)定位：对通过摄像头拍摄到的仪表指示灯实时图像进行匹配，从匹配结果中计算单应矩阵，将子图像的四个边缘点映射到实时图像中，根据映射的四个点构建外接矩形框，确认目标仪表指示灯的位置；其中，实时图像使用SIFT特征点匹配。
SIFTT特征匹配是指：尺度不变特征变换(Scale Invariant Feature Transform，SIFT)是David G Lowe在1999年提出的基于不变量描述子的匹配算法，SIFT特征是一个图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性；
SIFT特征点匹配,是对两组SIFT特征向量进行匹配,SIFT特征点的检测和SIFT特征向量的计算详细可参考David G Lowe的论文,SIFT特征点的匹配本质上就是在第一组特征向量中对每一个去寻找第二组特征向量中与只最近的向量,这个距离的定义可以采用欧几里得距离.
这样的匹配算法叫做暴力匹配算法,两两之间都进行匹配,第一组有N个特征就会有N个匹配结果,但实际上有时因为视角的变化,有些特征点已经在第二幅图像中找不到了,所以我们需要进行过滤条件约束,我们采用的过滤算法就是RANSAC算法。
单应矩阵是对单应性的一个定量描述,视觉中的单应性就是指一个真实的平面的每个点(x,y),如果他们经过任意摄像机拍摄投影到任意两个成像平面的对应的像素点位置分别为(x1,y1)和(x2,y2),单应性就是满足f(x1,y1)＝(x2,y2)的一个跟x,y,x1,y1,x2,y2都无关的函数
单应矩阵是一个8自由度的3*3的矩阵,可以通过分别取两个平面上的至少4对点坐标,通过求解线性方程组得到H.在opencv开源库中,有findHomography函数可以直接调用计算单应矩阵
这四对点的选取就是根据之前SIFT特征点匹配和过滤算法之后,留下的高质量的匹配点
2)提取轮廓：首先目标图像进行灰度化；从灰度图计算直方图，对直方图进行平滑，根据明显的双峰中间的谷底的值来进行二值化；其次对二值化之后的图像取外轮廓；最后筛选外轮廓，得到成线性的轮廓子集；
灰度化是指：对于RGB模式的图像来说，图像的灰度化就是将图像的RGB三个颜色值通过一定的规则转换成相应的灰度值。颜色较深的部分灰度值较高，较浅的部分灰度值较低。这样不需要对图像的不同颜色通道分别进行操作，并且由所有通道值合成的灰度值能更好地反应图像的特征。
opencv中有封装好的函数cvtColor函数,使用CV_BGR2GRAY标志。
将直方图的柱子为bin,对每一个bin,将其与左右两边的bin值的高度求和取平均作为该bin的新的高度值,两端的bin的高度值不变,如果循环执行100次以上即可完成平滑。
二值化需要一个阈值,像素值大于这个阈值的就被设为255,小于这个阈值的设为0。
这个阈值就是通过对灰度直方图双峰的谷底的值,谷底的定义就是周围的bin的高度值都比该bin的高度值要高。
二值化之后的图像取外轮廓是由于：只取外轮廓而不是内外轮廓都取,是因为取外轮廓就足以取到所有仪表指示灯周围的那多个黑色方块,内外轮廓都取会产生的轮廓数量会很多,后续判断呈线性的时间复杂度是O(n^2),所以轮廓数量的增多将直接导致计算量大量增加。
最后筛选外轮廓，得到成线性的轮廓子集；具体算法采用RANSAC思想,随机取两个点,组成一条直线,看是否有其他轮廓面积相近且靠近这条直线。
RANSAC:RANdom Sample Consensus,随机抽样一致算法
它是本领域的常用算法,具体来说是一种思想,基本的原理就是给定的数据集合中含有大量的噪声数据,如果直接使用全部数据来求解,必然会有一定误差,不如随机抽取一定数量的数据子集来求解,根据剩余的数据评估求解质量,有可能达到的最佳结果所来源的数据子集没有任何噪声数据。
成线性的轮廓子集是指：给定二值化提取出来的所有外轮廓集合,我们希望找出在同一条直线上的大小相近的轮廓.
首先,要成线性的点是轮廓的中心点,我们的定义是去轮廓上所有的点的坐标的平均值
其次,判断是否呈线性是通过计算pearson相似度,它是衡量两组数据的线性相关程度
最后,判断大小相近就是要求两个轮廓的面积相差不大,即(较大面积–较小面积)/较大面积<某个阈值才认为相近
3)识别轮廓内是否含有仪表指示灯的颜色：对轮廓的外接矩形分割出的子图像作处理，排除白色、黑色和灰色，提取HSV中的H分量的灰度图，在其灰度直方图中查找最高峰作为仪表指示灯的主颜色；
截取子图像就是将矩形的左上角作为新的图像的(0,0)点,矩形的大小作为新图像的大小
对子图像的处理就是后续的语句，排除掉白色,黑色,灰色的像素值,转化为HSV颜色空间,提取H分量的单色图,在H分量的直方图中查找最高峰作为仪表指示灯的主要色。
不同仪表指示灯的主颜色表示不同的状态。
仪表指示灯由人工佩戴AR眼镜观察。
通过定位、提取轮廓和识别轮廓内是否含有仪表指示灯的颜色能够得出每个亮着的仪表指示灯的位置和颜色。
根据AR眼镜判断出实时图像上框出仪表指示灯的位置并标识颜色。
从仪表指示灯的位置和标示的颜色从而判断出仪表指示灯后面装置的状态。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种仪表指示灯的视觉检测系统，其特征在于，包括：
1)定位：对通过摄像头拍摄到的仪表指示灯实时图像进行匹配，从匹配结果中计算单应矩阵，将子图像的四个边缘点映射到实时图像中，根据映射的四个点构建外接矩形框，确认目标仪表指示灯的位置；
2)提取轮廓：首先目标图像进行灰度化；从灰度图计算直方图，对直方图进行平滑，根据明显的双峰中间的谷底的值来进行二值化；其次对二值化之后的图像取外轮廓；最后筛选外轮廓，得到成线性的轮廓子集；
3)识别轮廓内是否含仪表指示灯的颜色：对轮廓的外接矩形分割出的子图像作处理，如果排除白色、黑色和灰色，提取HSV中的H分量的灰度图，在其灰度直方图中查找最高峰作为仪表指示灯的主颜色；
所述仪表指示灯由人工佩戴AR眼镜观察。
2.根据权利要求1所述的一种仪表指示灯的视觉检测系统，其特征在于：不同所述仪表指示灯的主颜色表示不同的状态。
3.根据权利要求1所述的一种仪表指示灯的视觉检测系统，其特征在于：通过所述步骤1)、步骤2)和步骤3)能够得出每个亮着的所述仪表指示灯的位置和颜色。
4.根据权利要求1所述的一种仪表指示灯的视觉检测系统，其特征在于：根据所述AR眼镜判断出实时图像上框出所述仪表指示灯的位置并标识颜色。
5.根据权利要求1所述的一种仪表指示灯的视觉检测系统，其特征在于：所述步骤1)中对实时图像使用SIFT特征点匹配。
CN201611021579.5A 2016-11-16 2016-11-16 一种仪表指示灯的视觉检测系统 Active CN106529556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611021579.5A CN106529556B (zh) 2016-11-16 2016-11-16 一种仪表指示灯的视觉检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611021579.5A CN106529556B (zh) 2016-11-16 2016-11-16 一种仪表指示灯的视觉检测系统

Publications (2)

Publication Number Publication Date
CN106529556A CN106529556A (zh) 2017-03-22
CN106529556B true CN106529556B (zh) 2019-11-19

Family

ID=58352575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611021579.5A Active CN106529556B (zh) 2016-11-16 2016-11-16 一种仪表指示灯的视觉检测系统

Country Status (1)

Country Link
CN (1) CN106529556B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016673A (zh) * 2017-05-02 2017-08-04 上海控创信息技术股份有限公司 铁路信号机柜状态灯图像分析方法、装置以及系统
CN107977663B (zh) * 2017-11-21 2021-12-03 武汉中元华电科技股份有限公司 一种适用于电力作业机器人的指向型状态指示器识别方法
CN110298285A (zh) * 2019-06-24 2019-10-01 北京史河科技有限公司 一种仪表识别方法、装置及计算机存储介质
CN111192377B (zh) * 2020-01-08 2021-08-27 中国银联股份有限公司 一种图像处理方法及装置
CN111666824B (zh) * 2020-05-14 2023-12-15 浙江工业大学 移动机器人的基于颜色属性和机器学习的指示灯识别方法
CN111639647B (zh) * 2020-05-22 2023-07-25 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7316483B2 (en) * 2003-01-15 2008-01-08 Koninklijke Philips Electronics N.V. Method of representing a video image by means of a projector
CN101571419A (zh) * 2009-06-15 2009-11-04 浙江大学 采用图像分割的汽车仪表led指示灯自动检验方法
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
CN102628854A (zh) * 2012-03-29 2012-08-08 赵宝明 汽车仪表板检测系统及方法
CN102663358A (zh) * 2012-03-29 2012-09-12 山西省电力公司晋中供电分公司 变电站二次保护设备运行状态的视频图像识别方法
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN103955705A (zh) * 2014-04-29 2014-07-30 银江股份有限公司 基于视频分析的交通信号灯定位、识别与分类方法
CN104021378A (zh) * 2014-06-07 2014-09-03 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法
CN104715239A (zh) * 2015-03-12 2015-06-17 哈尔滨工程大学 一种基于去雾处理和权重分块的车辆颜色识别方法
CN104977908A (zh) * 2015-05-04 2015-10-14 清华大学 工业现场指示灯状态的视频监测方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302609A1 (en) * 2014-04-16 2015-10-22 GE Lighting Solutions, LLC Method and apparatus for spectral enhancement using machine vision for color/object recognition

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7316483B2 (en) * 2003-01-15 2008-01-08 Koninklijke Philips Electronics N.V. Method of representing a video image by means of a projector
CN101571419A (zh) * 2009-06-15 2009-11-04 浙江大学 采用图像分割的汽车仪表led指示灯自动检验方法
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
CN102628854A (zh) * 2012-03-29 2012-08-08 赵宝明 汽车仪表板检测系统及方法
CN102663358A (zh) * 2012-03-29 2012-09-12 山西省电力公司晋中供电分公司 变电站二次保护设备运行状态的视频图像识别方法
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN103955705A (zh) * 2014-04-29 2014-07-30 银江股份有限公司 基于视频分析的交通信号灯定位、识别与分类方法
CN104021378A (zh) * 2014-06-07 2014-09-03 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法
CN104715239A (zh) * 2015-03-12 2015-06-17 哈尔滨工程大学 一种基于去雾处理和权重分块的车辆颜色识别方法
CN104977908A (zh) * 2015-05-04 2015-10-14 清华大学 工业现场指示灯状态的视频监测方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法

Also Published As

Publication number Publication date
CN106529556A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106529556B (zh) 一种仪表指示灯的视觉检测系统
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
CN108319973B (zh) 一种树上柑橘果实检测方法
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
Chen et al. Human shadow removal with unknown light source
US10713780B2 (en) Color quality assessment based on multispectral imaging
CN107240112B (zh) 一种复杂场景下个体x角点提取方法
CN111126253A (zh) 基于图像识别的刀闸状态检测方法
JP6047561B2 (ja) 同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム
CN106097354B (zh) 一种结合自适应高斯肤色检测和区域生长的手部图像分割方法
CN108389215B (zh) 一种边缘检测方法、装置、计算机存储介质及终端
CN103544484A (zh) 一种基于surf的交通标志识别方法及系统
KR101753360B1 (ko) 시점 변화에 강인한 특징점 정합 방법
CN110866932A (zh) 多通道舌体边缘检测装置、方法及存储介质
Kanter Color Crack: Identifying Cracks in Glass
CN109726681A (zh) 一种基于机器学习识别与图像分割的盲道识别定位算法
CN106228541A (zh) 视觉检测中屏幕定位的方法及装置
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
Chen et al. Image segmentation in thermal images
Tan et al. Gesture segmentation based on YCb'Cr'color space ellipse fitting skin color modeling
Mukhopadhyay et al. Comparing shape descriptor methods for different color space and lighting conditions
Hanbury The morphological top-hat operator generalised to multi-channel images
Javadi et al. Change detection in aerial images using a Kendall's TAU distance pattern correlation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant