CN109711414A - 基于摄像头图像采集的设备指示灯颜色识别方法及系统 - Google Patents

基于摄像头图像采集的设备指示灯颜色识别方法及系统 Download PDF

Info

Publication number
CN109711414A
CN109711414A CN201811556414.7A CN201811556414A CN109711414A CN 109711414 A CN109711414 A CN 109711414A CN 201811556414 A CN201811556414 A CN 201811556414A CN 109711414 A CN109711414 A CN 109711414A
Authority
CN
China
Prior art keywords
color
image
indicator light
interest
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811556414.7A
Other languages
English (en)
Inventor
杨帆
常健
曾愚
王鑫
龚艳
潘可佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Sichuan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Sichuan Electric Power Co Ltd
Priority to CN201811556414.7A priority Critical patent/CN109711414A/zh
Publication of CN109711414A publication Critical patent/CN109711414A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了基于摄像头图像采集的设备指示灯颜色识别方法，包括：S1：在指示灯所在区域设置颜色校准标记，并采集指示灯所在区域的实时图像；S2：处理实时图像生成预处理图像，并定位预处理图像中的指示灯；S3：以预处理图像中包含指示灯的局部图像作为识别感兴趣图像，并根据颜色校准标记对识别感兴趣图像颜色校准；S4：对颜色校准后的识别感兴趣图像颜色识别。本发明还公开了基于摄像头图像采集的设备指示灯颜色识别系统。本发明基于摄像头图像采集的设备指示灯颜色识别方法及系统，实现了在多种外部及内部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别准确率和识别效率。

Description

基于摄像头图像采集的设备指示灯颜色识别方法及系统
技术领域
本发明涉及电子信息技术领域，具体涉及基于摄像头图像采集的设备指示灯颜色识别方 法及系统。
背景技术
在大型机房的设备管理维护领域，通常需要对大量设备的状态进行监控，及时排查设备 异常并做出相应处理。常见的作法是人工监控，具体来说是由相关技术人员对设备的状态指 示灯进行辨别，较为常见的设备指示灯颜色分布为绿色表示设备正常运行，黄色和红色表示 设备告警。通过人工对各个指示灯颜色的读取确定当前设备的运行状态，从而对告警设备进 行进一步维护。人工监控的效率比较低下，且其准确性受到监控人状态的影响，存在不可控 因素。本发明旨在通过图像处理技术解决此问题，实现设备指示灯颜色状态的自动识别。
设备指示灯颜色状态的自动识别是机器人技术、智能机房管理等应用领域必须解决的关 键技术之一。目前，国内已经有一些设备指示灯颜色状态识别方案，包括：发明专利“一种 指示灯状态识别方法和装置”，申请号201710210043.6，发明人周婷等，该方案通过将采集到 图像中的指示灯颜色与预置颜色模板库中的颜色进行匹配得到颜色识别结果，其准确率依赖 于预置颜色模板库的准确性。发明专利“一种LED指示灯颜色识别系统”，申请号 201711352900.2，发明人陈亮等，该方案提出一种用于摄录机的LED指示灯状态检测系统， 在HSV空间下将待检测区域的颜色分量值与标准颜色分量比较，实现颜色识别，由于受到光 照等因素的影响，实际图像的颜色分量可能与标准颜色分量相差较大，将会影响准确率。发 明专利“设备指示灯颜色的检测系统”，申请号201310031911.6，发明人邓达成等，该方案为 每个待识别的指示灯配置一个颜色和亮度传感器，获取指示灯的光线颜色和亮度信息，当指 示灯个数较多时，该方案的效率将受到影响。
综上所述，在对指示灯颜色状态进行识别时，当前方法的不足之处在于未考虑外部条件 如光照等因素及指示灯本身状态如色衰等因素对指示灯颜色和亮度的影响。
发明内容
本发明所要解决的技术问题是现有技术在对指示灯颜色状态进行识别时，当前方法的不 足之处在于未考虑外部条件如光照等因素及指示灯本身状态如色衰等因素对指示灯颜色和亮 度的影响，目的在于提供基于摄像头图像采集的设备指示灯颜色识别方法及系统，解决上述 问题。
本发明通过下述技术方案实现：
基于摄像头图像采集的设备指示灯颜色识别方法，包括：S1：在指示灯所在区域设置颜 色校准标记，并采集指示灯所在区域的实时图像；S2：处理实时图像生成预处理图像，并定 位预处理图像中的指示灯；S3：以预处理图像中包含指示灯的局部图像作为识别感兴趣图像， 并根据颜色校准标记对识别感兴趣图像颜色校准；S4：对颜色校准后的识别感兴趣图像颜色 识别。
本发明应用时，需要在指示灯所在区域设置颜色校准标记，这种颜色标记可以是在待测 设备上粘贴的，也可以是待测设备自身的标准颜色，采集指示灯所在区域的实时图像可以通 过工业相机或摄像头进行；为了方便后续的图像指示灯颜色识别，这里需要对实时图像进行 处理，并定位预处理图像中的指示灯。
定位指示灯后，选取一个局部图像进行颜色校准和识别，这个局部图像需要包含指示灯 在内，通过之前设置的颜色校准标记对局部图像颜色校准，无论待测设备面板是处于何种光 照或者其他外部光线条件下，甚至是在其他指示灯的干扰下，都可以认为这种干扰对颜色校 准标记和指示灯都是相同的干扰，所以可以以颜色校准标记为基准，实现对指示灯的校准； 同时当指示灯发生色衰时，在现有技术中，外部环境对色衰后的指示灯影响非常剧烈，在进 行图像滤波时甚至可能将指示灯的颜色作为噪声滤除，而本发明采用的这种方式，可以有效 的排除光照等外界因素与指示灯色衰等因素对指示灯颜色的干扰。本发明通过设置上述步骤， 实现了在多种外部及内部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别 准确率和识别效率。
进一步的，步骤S1包括以下子步骤：对图像采集设备进行校准，并对指示灯所在区域进 行初步对准；利用图像采集设备采集指示灯所在区域的实时图像。
本发明应用时，正式获取图像前需进行图像采集设备的调校，以避免虚焦现象影响采集 图像的质量。同时，为方便后续步骤中指示灯定位及颜色校准的实现，设备面板应尽量完整 位于图像正中。
进一步的，步骤S2包括以下子步骤：根据已有的标准模板图像对实时图像进行刚性匹配 生成预处理图像；所述标准模板图像上包含指示灯位置信息；根据标准模板图像上的指示灯 位置信息对预处理图像中指示灯进行定位。
本发明应用时，为实现实时采集图像上的指示灯定位，需要一个系统中已有的待检测设 备的标准模板图像，并且在标准模板图像上需要有已经标注出来的指示灯位置，通过对实时 图像的刚性匹配，可以使得变形以后产生的预处理图像中指示灯的位置与标准模板图像上指 示灯的位置对应，从而达到对指示灯精确定位的目的。
进一步的，步骤S3包括以下子步骤：抽取颜色校准标记上像素的颜色空间分量值，并以 根据颜色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图像进行颜色校准。
本发明应用时，抽取颜色校准标记上像素的颜色空间分量值，这里的颜色空间可以选择 RGB空间进行分量抽取，对应的分量为R、G和B，也可以选择显色系统空间进行分量抽取， 对应的分量为色相、明度和纯度；不限于这两种颜色空间，还可以采用现有的任何一种可以 识别颜色的颜色空间都可以实现本发明的过程，如YUV颜色空间和HSV颜色空间。
由于颜色校准标记与指示灯的光照环境相同或相似，所以可以认为颜色校准标记上像素 在颜色空间中分量值的偏移量与识别感兴趣图像的偏移量存在确定的映射关系，通过这种确 定的映射关系，就可以实现对识别感兴趣图像进行颜色校准。
进一步的，所述颜色空间采用RGB颜色空间，所述颜色校准标记采用标准灰色；
所述颜色校准标记上像素在RGB颜色空间中的偏移量为(ΔR，ΔG，ΔB)，识别感兴趣 图像中像素在RGB颜色空间中的分量值为(R，G，B)；根据下式得出颜色校准后识别感兴趣图像中像素在RGB颜色空间中的分量值：
式中ΔR为颜色校准标记上像素在RGB颜色空间中红色的偏移量；ΔG为颜色校准标记上 像素在RGB颜色空间中绿色的偏移量；ΔB为颜色校准标记上像素在RGB颜色空间中蓝色的 偏移量；R为识别感兴趣图像中像素在RGB在颜色空间中红色的分量值；G为识别感兴趣图 像中像素在RGB在颜色空间中绿色的分量值；B为识别感兴趣图像中像素在RGB在颜色空 间中蓝色的分量值；为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的红色分量值； 为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的绿色分量值；为颜色校准后识 别感兴趣图像中像素在RGB颜色空间中的蓝色分量值。
本发明应用时，RGB颜色空间是最主流的颜色空间，无论是软件实现还是处理过程都非 常成熟，所以本发明采用RGB颜色空间，可以有效降低后期处理成本。由于选用了RGB颜 色空间，为了进一步减少运算量和代码，颜色校准标记选用标准灰色，标准灰色在RGB颜色 空间中的取值是有明确定义的，在工业界中，标准灰色认为是R＝G＝B的一种颜色。
计算出颜色校准标记上像素在RGB颜色空间中的偏移量，由于颜色校准标记选用标准灰 色是标准灰色，所以可以认为各分量之间的变化的映射关系是完全线性的，此时直接将颜色 校准标记的偏移量叠加到识别感兴趣图像中，从而通过最少的运算量达到效果。
同时为了进一步简化运算，还可以以标准灰色中R、G或B中任意一项作为基准，也就 是将ΔR，ΔG，ΔB中任意一个取为0值，剩下的值进行相应调整，再进行颜色校准。
进一步的，步骤S4包括以下子步骤：将颜色校准后的识别感兴趣图像划分为多个图像块； 对每个图像块提取颜色分量直方图；得出每个图像块的颜色分量直方图与标准指示灯图像的 颜色直方图的距离作为投票依据；所有图像块根据投票依据进行投票，并将投票依据小于阈 值的图像块视为同意图像块；当同意图像块的数量超过半数时，判断识别感兴趣图像中的指 示灯颜色为标准指示灯图像中指示灯的颜色。
本发明应用时，将颜色校准后的识别感兴趣图像划分为多个图像块，由于识别感兴趣区 域是指示灯的粗略位置，除了所需识别的指示灯，还包含有其他背景信息，划分图像块有助 于提出背景干扰，然后采用投票的方式对颜色进行判断。
进一步的，所述图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离采用巴 氏距离，并根据下式得出：
式中d为图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离；h为图像块的 颜色分量直方图；hstandard为标准指示灯图像的颜色直方图。
本发明应用时，图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离采用巴 氏距离，巴氏距离是一种判断直方图之间距离的手段。
基于摄像头图像采集的设备指示灯颜色识别系统，包括：实时图像采集模块：用于采集 指示灯所在区域的实时图像，所述指示灯所在区域设置颜色校准标记；指示灯定位模块：用 于处理实时图像生成预处理图像，并定位预处理图像中的指示灯；颜色校准模块：用于以预 处理图像中包含指示灯的局部图像作为识别感兴趣图像，并根据颜色校准标记对识别感兴趣 图像颜色校准；颜色识别模块：用于对颜色校准后的识别感兴趣图像颜色识别。
本发明应用时，需要在指示灯所在区域设置颜色校准标记，这种颜色标记可以是在待测 设备上粘贴的，也可以是待测设备自身的标准颜色，采集指示灯所在区域的实时图像可以通 过工业相机或摄像头进行；为了方便后续的图像指示灯颜色识别，这里需要对实时图像进行 处理，并定位预处理图像中的指示灯。
定位指示灯后，选取一个局部图像进行颜色校准和识别，这个局部图像需要包含指示灯 在内，通过之前设置的颜色校准标记对局部图像颜色校准，无论待测设备面板是处于何种光 照或者其他外部光线条件下，甚至是在其他指示灯的干扰下，都可以认为这种干扰对颜色校 准标记和指示灯都是相同的干扰，所以可以以颜色校准标记为基准，实现对指示灯的校准； 同时当指示灯发生色衰时，在现有技术中，外部环境对色衰后的指示灯影响非常剧烈，在进 行图像滤波时甚至可能将指示灯的颜色作为噪声滤除，而本发明采用的这种方式，可以有效 的排除光照等外界因素与指示灯色衰等因素对指示灯颜色的干扰。本发明通过设置上述步骤， 实现了在多种外部及内部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别 准确率和识别效率。
进一步的，所述颜色校准模块抽取颜色校准标记上像素的颜色空间分量值，并以根据颜 色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图像进行颜色校准。
本发明应用时，抽取颜色校准标记上像素的颜色空间分量值，这里的颜色空间可以选择 RGB空间进行分量抽取，对应的分量为R、G和B，也可以选择显色系统空间进行分量抽取， 对应的分量为色相、明度和纯度；不限于这两种颜色空间，还可以采用现有的任何一种可以 识别颜色的颜色空间都可以实现本发明的过程，如YUV颜色空间和HSV颜色空间。
由于颜色校准标记与指示灯的光照环境相同或相似，所以可以认为颜色校准标记上像素 在颜色空间中分量值的偏移量与识别感兴趣图像的偏移量存在确定的映射关系，通过这种确 定的映射关系，就可以实现对识别感兴趣图像进行颜色校准。
进一步的，所述颜色识别模块将颜色校准后的识别感兴趣图像划分为多个图像块；对每 个图像块提取颜色分量直方图；得出每个图像块的颜色分量直方图与标准指示灯图像的颜色 直方图的距离作为投票依据；所有图像块根据投票依据进行投票，并将投票依据小于阈值的 图像块视为同意图像块；当同意图像块的数量超过半数时，判断识别感兴趣图像中的指示灯 颜色为标准指示灯图像中指示灯的颜色。
本发明应用时，将颜色校准后的识别感兴趣图像划分为多个图像块，由于识别感兴趣区 域是指示灯的粗略位置，除了所需识别的指示灯，还包含有其他背景信息，划分图像块有助 于提出背景干扰，然后采用投票的方式对颜色进行判断。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于摄像头图像采集的设备指示灯颜色识别方法及系统，实现了在多种外部及内 部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别准确率和识别效率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不 构成对本发明实施例的限定。在附图中：
图1为本发明方法步骤示意图；
图2为本发明系统结构示意图；
图3为本发明刚性匹配示意图；
图4为本发明实施例示意图；
图5为本发明实施例示意图；
图6为本发明实施例示意图；
图7为本发明实施例示意图；
图8为本发明实施例示意图；
图9为本发明实施例示意图；
图10为本发明实施例示意图；
图11为本发明实施例示意图；
图12为本发明实施例示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明 作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本 发明的限定。
实施例1
如图1所示，本发明基于摄像头图像采集的设备指示灯颜色识别方法，包括：S1：在指 示灯所在区域设置颜色校准标记，并采集指示灯所在区域的实时图像；S2：处理实时图像生 成预处理图像，并定位预处理图像中的指示灯；S3：以预处理图像中包含指示灯的局部图像 作为识别感兴趣图像，并根据颜色校准标记对识别感兴趣图像颜色校准；S4：对颜色校准后 的识别感兴趣图像颜色识别。
本实施例实施时，需要在指示灯所在区域设置颜色校准标记，这种颜色标记可以是在待 测设备上粘贴的，也可以是待测设备自身的标准颜色，采集指示灯所在区域的实时图像可以 通过工业相机或摄像头进行；为了方便后续的图像指示灯颜色识别，这里需要对实时图像进 行处理，并定位预处理图像中的指示灯。
定位指示灯后，选取一个局部图像进行颜色校准和识别，这个局部图像需要包含指示灯 在内，通过之前设置的颜色校准标记对局部图像颜色校准，无论待测设备面板是处于何种光 照或者其他外部光线条件下，甚至是在其他指示灯的干扰下，都可以认为这种干扰对颜色校 准标记和指示灯都是相同的干扰，所以可以以颜色校准标记为基准，实现对指示灯的校准； 同时当指示灯发生色衰时，在现有技术中，外部环境对色衰后的指示灯影响非常剧烈，在进 行图像滤波时甚至可能将指示灯的颜色作为噪声滤除，而本发明采用的这种方式，可以有效 的排除光照等外界因素与指示灯色衰等因素对指示灯颜色的干扰。本发明通过设置上述步骤， 实现了在多种外部及内部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别 准确率和识别效率。
实施例2
本实施例在实施例1的基础上，步骤S1包括以下子步骤：对图像采集设备进行校准，并 对指示灯所在区域进行初步对准；利用图像采集设备采集指示灯所在区域的实时图像。
本实施例实施时，正式获取图像前需进行图像采集设备的调校，以避免虚焦现象影响采 集图像的质量。同时，为方便后续步骤中指示灯定位及颜色校准的实现，设备面板应尽量完 整位于图像正中。
实施例3
本实施例在实施例1的基础上，步骤S2包括以下子步骤：根据已有的标准模板图像对实 时图像进行刚性匹配生成预处理图像；所述标准模板图像上包含指示灯位置信息；根据标准 模板图像上的指示灯位置信息对预处理图像中指示灯进行定位。
本实施例实施时，为实现实时采集图像上的指示灯定位，需要一个系统中已有的待检测 设备的标准模板图像，并且在标准模板图像上需要有已经标注出来的指示灯位置，通过对实 时图像的刚性匹配，可以使得变形以后产生的预处理图像中指示灯的位置与标准模板图像上 指示灯的位置对应，从而达到对指示灯精确定位的目的。
实施例4
本实施例在实施例1的基础上，步骤S3包括以下子步骤：抽取颜色校准标记上像素的颜 色空间分量值，并以根据颜色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图 像进行颜色校准。
本实施例实施时，抽取颜色校准标记上像素的颜色空间分量值，这里的颜色空间可以选 择RGB空间进行分量抽取，对应的分量为R、G和B，也可以选择显色系统空间进行分量抽 取，对应的分量为色相、明度和纯度；不限于这两种颜色空间，还可以采用现有的任何一种 可以识别颜色的颜色空间都可以实现本发明的过程，如YUV颜色空间和HSV颜色空间。
由于颜色校准标记与指示灯的光照环境相同或相似，所以可以认为颜色校准标记上像素 在颜色空间中分量值的偏移量与识别感兴趣图像的偏移量存在确定的映射关系，通过这种确 定的映射关系，就可以实现对识别感兴趣图像进行颜色校准。
实施例5
本实施例在实施例4的基础上，所述颜色空间采用RGB颜色空间，所述颜色校准标记采 用标准灰色；所述颜色校准标记上像素在RGB颜色空间中的偏移量为(ΔR，ΔG，ΔB)，识 别感兴趣图像中像素在RGB颜色空间中的分量值为(R，G，B)；根据下式得出颜色校准后识别感兴趣图像中像素在RGB颜色空间中的分量值：
式中ΔR为颜色校准标记上像素在RGB颜色空间中红色的偏移量；ΔG为颜色校准标记上 像素在RGB颜色空间中绿色的偏移量；ΔB为颜色校准标记上像素在RGB颜色空间中蓝色的 偏移量；R为识别感兴趣图像中像素在RGB在颜色空间中红色的分量值；G为识别感兴趣图 像中像素在RGB在颜色空间中绿色的分量值；B为识别感兴趣图像中像素在RGB在颜色空 间中蓝色的分量值；为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的红色分量值； 为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的绿色分量值；为颜色校准后识 别感兴趣图像中像素在RGB颜色空间中的蓝色分量值。
本实施例实施时，RGB颜色空间是最主流的颜色空间，无论是软件实现还是处理过程都 非常成熟，所以本发明采用RGB颜色空间，可以有效降低后期处理成本。由于选用了RGB 颜色空间，为了进一步减少运算量和代码，颜色校准标记选用标准灰色，标准灰色在RGB颜 色空间中的取值是有明确定义的，在工业界中，标准灰色认为是R＝G＝B的一种颜色。
计算出颜色校准标记上像素在RGB颜色空间中的偏移量，由于颜色校准标记选用标准灰 色是标准灰色，所以可以认为各分量之间的变化的映射关系是完全线性的，此时直接将颜色 校准标记的偏移量叠加到识别感兴趣图像中，从而通过最少的运算量达到效果。
同时为了进一步简化运算，还可以以标准灰色中R、G或B中任意一项作为基准，也就 是将ΔR，ΔG，ΔB中任意一个取为0值，剩下的值进行相应调整，再进行颜色校准。
实施例6
本实施例在实施例1的基础上，包括以下子步骤：将颜色校准后的识别感兴趣图像划分 为多个图像块；对每个图像块提取颜色分量直方图；得出每个图像块的颜色分量直方图与标 准指示灯图像的颜色直方图的距离作为投票依据；所有图像块根据投票依据进行投票，并将 投票依据小于阈值的图像块视为同意图像块；当同意图像块的数量超过半数时，判断识别感 兴趣图像中的指示灯颜色为标准指示灯图像中指示灯的颜色。
本实施例实施时，将颜色校准后的识别感兴趣图像划分为多个图像块，由于识别感兴趣 区域是指示灯的粗略位置，除了所需识别的指示灯，还包含有其他背景信息，划分图像块有 助于提出背景干扰，然后采用投票的方式对颜色进行判断。
实施例7
本实施例在实施例6的基础上，所述图像块的颜色分量直方图与标准指示灯图像的颜色 直方图的距离采用巴氏距离，并根据下式得出：
式中d为图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离；h为图像块的 颜色分量直方图；hstandard为标准指示灯图像的颜色直方图。
本实施例实施时，图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离采用 巴氏距离，巴氏距离是一种判断直方图之间距离的手段。
实施例8
如图2所示，本发明基于摄像头图像采集的设备指示灯颜色识别系统，包括：实时图像 采集模块：用于采集指示灯所在区域的实时图像，所述指示灯所在区域设置颜色校准标记； 指示灯定位模块：用于处理实时图像生成预处理图像，并定位预处理图像中的指示灯；颜色 校准模块：用于以预处理图像中包含指示灯的局部图像作为识别感兴趣图像，并根据颜色校 准标记对识别感兴趣图像颜色校准；颜色识别模块：用于对颜色校准后的识别感兴趣图像颜 色识别。
本实施例实施时，需要在指示灯所在区域设置颜色校准标记，这种颜色标记可以是在待 测设备上粘贴的，也可以是待测设备自身的标准颜色，采集指示灯所在区域的实时图像可以 通过工业相机或摄像头进行；为了方便后续的图像指示灯颜色识别，这里需要对实时图像进 行处理，并定位预处理图像中的指示灯。
定位指示灯后，选取一个局部图像进行颜色校准和识别，这个局部图像需要包含指示灯 在内，通过之前设置的颜色校准标记对局部图像颜色校准，无论待测设备面板是处于何种光 照或者其他外部光线条件下，甚至是在其他指示灯的干扰下，都可以认为这种干扰对颜色校 准标记和指示灯都是相同的干扰，所以可以以颜色校准标记为基准，实现对指示灯的校准； 同时当指示灯发生色衰时，在现有技术中，外部环境对色衰后的指示灯影响非常剧烈，在进 行图像滤波时甚至可能将指示灯的颜色作为噪声滤除，而本发明采用的这种方式，可以有效 的排除光照等外界因素与指示灯色衰等因素对指示灯颜色的干扰。本发明通过设置上述步骤， 实现了在多种外部及内部因素影响下，都可以准确的识别指示灯的颜色，有效的提高了识别 准确率和识别效率。
实施例9
本实施例在实施例8的基础上，所述颜色校准模块抽取颜色校准标记上像素的颜色空间 分量值，并以根据颜色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图像进行 颜色校准。
本实施例实施时，抽取颜色校准标记上像素的颜色空间分量值，这里的颜色空间可以选 择RGB空间进行分量抽取，对应的分量为R、G和B，也可以选择显色系统空间进行分量抽 取，对应的分量为色相、明度和纯度；不限于这两种颜色空间，还可以采用现有的任何一种 可以识别颜色的颜色空间都可以实现本发明的过程，如YUV颜色空间和HSV颜色空间。
由于颜色校准标记与指示灯的光照环境相同或相似，所以可以认为颜色校准标记上像素 在颜色空间中分量值的偏移量与识别感兴趣图像的偏移量存在确定的映射关系，通过这种确 定的映射关系，就可以实现对识别感兴趣图像进行颜色校准。
实施例10
本实施例在实施例8的基础上，所述颜色识别模块将颜色校准后的识别感兴趣图像划分 为多个图像块；对每个图像块提取颜色分量直方图；得出每个图像块的颜色分量直方图与标 准指示灯图像的颜色直方图的距离作为投票依据；所有图像块根据投票依据进行投票，并将 投票依据小于阈值的图像块视为同意图像块；当同意图像块的数量超过半数时，判断识别感 兴趣图像中的指示灯颜色为标准指示灯图像中指示灯的颜色。
本实施例实施时，将颜色校准后的识别感兴趣图像划分为多个图像块，由于识别感兴趣 区域是指示灯的粗略位置，除了所需识别的指示灯，还包含有其他背景信息，划分图像块有 助于提出背景干扰，然后采用投票的方式对颜色进行判断。
实施例11
本实施例在实施例1～10的基础上，发明的实施例中提供了一种基于实时图像采集的设备 指示灯颜色状态的自动识别系统，旨在实现对指示灯颜色状态的自动识别，提高工作效率和 正确率。步骤如下：
步骤一：实时图像采集。采集设备采用但不限于工业相机及摄像头。正式获取图像前需 进行图像采集设备的调校，以避免虚焦现象影响采集图像的质量。同时，为方便后续步骤中 指示灯定位及颜色校准的实现，设备面板应尽量完整位于图像正中。采集到的实时图像记为I。
步骤二：如图3所示，指示灯定位。本方案中为实现实时采集图像上的指示灯定位，前 提是系统中已有待检测设备的标准模板图像Imodel，且有人工标注的指示灯位置信息Clight。 为在实时图像I上准确定位指示灯，有以下子步骤：
①将标准模板图像Imodel向实时图像I进行刚性配准，获得变形场记为T(Imodel→I)；
②按照标准模板上的指示灯位置信息Clight的从经过变形后的实时图像I中截取指示灯区 域，记为IC，为颜色识别算法的感兴趣区域。
步骤三：颜色校准。本方案中为实现颜色校准，以避免光照等外界因素与指示灯色衰等 因素对指示灯颜色的干扰，前提是在待检测设备上粘贴颜色校准标记。所述的颜色校准标记 为标准灰色，将统一粘贴于设备面板上。为实现颜色校准，有以下子步骤：
①抽取颜色校准标记上像素的RGB值，标准灰色在RGB颜色空间中各个分量的取值应 具有关系R＝G＝B，以R分量的值为基准，找到G和B分量的偏移值ΔG和ΔB，构成RGB空间下的颜色校准向量(0，ΔG，ΔB)；
②对颜色识别算法的感兴趣区域IC中的每一个像素点进行颜色校准，校准后的感兴趣区域记为每个像素点校准后在RGB空间中各分量的取值为
步骤四：颜色识别。有以下子步骤：
①将感兴趣区域记为划分为多个图像块{Pi},i∈[1,N]，其中N为图像块数量。由于感兴 趣区域是指示灯的粗略位置，除了所需识别的指示灯，还包含有其他背景信息，划分图像块 有助于提出背景干扰；
②对每个图像块提取颜色分量直方图；
③计算每个图像块的颜色分量直方图h与标准指示灯图像的颜色分量直方图hstandard间 的距离，并将该距离作为投票依据；上述直方图间的距离通过巴氏距离进行度量，其计算过 程见下式：
④所有图像块依据上述距离进行投票，若上述距离小于阈值则该图像块同意指示灯颜色 应判断为上述标准颜色，反之则不同意；其中，阈值的选择可以通过在具体应用场景下进行 的多次反复实验确定。
⑤统计N个图像块中，若投同意票的图像块超过半数，则判断指示灯颜色为上述标准指 示灯颜色。
实施例12
本实施例在实施例1～10的基础上，如图4～图12所示：
步骤一：图像采集。图4为标准模板图像Imodel，图5为摄像头在不同时间、同一位置采集到的实时图像I。
步骤二：指示灯定位。在标准模板图像Imodel上，人工标注的指示灯位置信息Clight由一 组向量表示Clight＝[1700,1800,980,1060]，其中每个分量表示的意思为 [最小行号，最大行号，最小列号，最大列号]。在实时图像I上准确定位指示灯的步骤为：
①将图5中的实时图像I向图4中的标准模板图像Imodel进行刚性配准。配准后的实时图 像I如图6所示。
②按照标准模板上的指示灯位置信息Clight的从经过变形后的实时图像I中截取指示灯区 域，记为IC，为颜色识别算法的感兴趣区域，如图8所示。
图7为标准模板上的指示灯位置信息Clight，图8为变形后的实时图像I上的指示灯位置IC， 图9为颜色校准后的IC
步骤三：颜色校准。本例中的机柜颜色为标准灰色，可以机柜作为颜色校准标记，若非 此种情况，则可依据方案所述提前粘贴颜色校准标记。校准步骤如下：
①抽取颜色校准标记上像素的RGB值。本例中机柜的RGB值为(117,117,107)。按照本 专利所述校准原则，灰色的RGB值应相等，则以R分量的值117为基准，构成颜色校准向量(0,0,10)。
②对颜色识别算法的感兴趣区域IC中的每一个像素点进行颜色校准，校准后的感兴趣区 域记为如图9所示。
步骤四：颜色识别。
①将感兴趣区域记为划分为16个图像块{Pi},i∈[1,16]，如图10所示，图10为颜色校 准后的图像块。
②对每个图像块提取颜色分量直方图；其中某一个图像块的颜色分量直方图如图11所示。
③计算每个图像块的颜色分量直方图h与标准指示灯图像的颜色分量直方图hstandard间 的巴氏距离，并将该距离作为投票依据。标准绿色指示灯的颜色分量直方图如图12所示。
④所有图像块依据上述距离进行投票
⑤统计16个图像块中，同意的图像块为9块，判断指示灯颜色为绿色。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护 范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。

Claims (10)

1.基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，包括：
S1：在指示灯所在区域设置颜色校准标记，并采集指示灯所在区域的实时图像；
S2：处理实时图像生成预处理图像，并定位预处理图像中的指示灯；
S3：以预处理图像中包含指示灯的局部图像作为识别感兴趣图像，并根据颜色校准标记对识别感兴趣图像颜色校准；
S4：对颜色校准后的识别感兴趣图像颜色识别。
2.根据权利要求1所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，步骤S1包括以下子步骤：
对图像采集设备进行校准，并对指示灯所在区域进行初步对准；
利用图像采集设备采集指示灯所在区域的实时图像。
3.根据权利要求1所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，步骤S2包括以下子步骤：
根据已有的标准模板图像对实时图像进行刚性匹配生成预处理图像；所述标准模板图像上包含指示灯位置信息；
根据标准模板图像上的指示灯位置信息对预处理图像中指示灯进行定位。
4.根据权利要求1所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，步骤S3包括以下子步骤：
抽取颜色校准标记上像素的颜色空间分量值，并以根据颜色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图像进行颜色校准。
5.根据权利要求4所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，所述颜色空间采用RGB颜色空间，所述颜色校准标记采用标准灰色；
所述颜色校准标记上像素在RGB颜色空间中的偏移量为(ΔR，ΔG，ΔB)，识别感兴趣图像中像素在RGB颜色空间中的分量值为(R，G，B)；根据下式得出颜色校准后识别感兴趣图像中像素在RGB颜色空间中的分量值：
式中ΔR为颜色校准标记上像素在RGB颜色空间中红色的偏移量；ΔG为颜色校准标记上像素在RGB颜色空间中绿色的偏移量；ΔB为颜色校准标记上像素在RGB颜色空间中蓝色的偏移量；R为识别感兴趣图像中像素在RGB在颜色空间中红色的分量值；G为识别感兴趣图像中像素在RGB在颜色空间中绿色的分量值；B为识别感兴趣图像中像素在RGB在颜色空间中蓝色的分量值；为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的红色分量值；为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的绿色分量值；为颜色校准后识别感兴趣图像中像素在RGB颜色空间中的蓝色分量值。
6.根据权利要求1所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，步骤S4包括以下子步骤：
将颜色校准后的识别感兴趣图像划分为多个图像块；
对每个图像块提取颜色分量直方图；
得出每个图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离作为投票依据；
所有图像块根据投票依据进行投票，并将投票依据小于阈值的图像块视为同意图像块；
当同意图像块的数量超过半数时，判断识别感兴趣图像中的指示灯颜色为标准指示灯图像中指示灯的颜色。
7.根据权利要求6所述的基于摄像头图像采集的设备指示灯颜色识别方法，其特征在于，所述图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离采用巴氏距离，并根据下式得出：
式中d为图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离；h为图像块的颜色分量直方图；hstandard为标准指示灯图像的颜色直方图。
8.基于摄像头图像采集的设备指示灯颜色识别系统，其特征在于，包括：
实时图像采集模块：用于采集指示灯所在区域的实时图像，所述指示灯所在区域设置颜色校准标记；
指示灯定位模块：用于处理实时图像生成预处理图像，并定位预处理图像中的指示灯；
颜色校准模块：用于以预处理图像中包含指示灯的局部图像作为识别感兴趣图像，并根据颜色校准标记对识别感兴趣图像颜色校准；
颜色识别模块：用于对颜色校准后的识别感兴趣图像颜色识别。
9.根据权利要求8所述的基于摄像头图像采集的设备指示灯颜色识别系统，其特征在于，
所述颜色校准模块抽取颜色校准标记上像素的颜色空间分量值，并以根据颜色校准标记上像素在颜色空间中分量值的偏移量对识别感兴趣图像进行颜色校准。
10.根据权利要求8所述的基于摄像头图像采集的设备指示灯颜色识别系统，其特征在于，所述颜色识别模块将颜色校准后的识别感兴趣图像划分为多个图像块；对每个图像块提取颜色分量直方图；得出每个图像块的颜色分量直方图与标准指示灯图像的颜色直方图的距离作为投票依据；所有图像块根据投票依据进行投票，并将投票依据小于阈值的图像块视为同意图像块；当同意图像块的数量超过半数时，判断识别感兴趣图像中的指示灯颜色为标准指示灯图像中指示灯的颜色。
CN201811556414.7A 2018-12-19 2018-12-19 基于摄像头图像采集的设备指示灯颜色识别方法及系统 Pending CN109711414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811556414.7A CN109711414A (zh) 2018-12-19 2018-12-19 基于摄像头图像采集的设备指示灯颜色识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811556414.7A CN109711414A (zh) 2018-12-19 2018-12-19 基于摄像头图像采集的设备指示灯颜色识别方法及系统

Publications (1)

Publication Number Publication Date
CN109711414A true CN109711414A (zh) 2019-05-03

Family

ID=66255969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811556414.7A Pending CN109711414A (zh) 2018-12-19 2018-12-19 基于摄像头图像采集的设备指示灯颜色识别方法及系统

Country Status (1)

Country Link
CN (1) CN109711414A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163291A (zh) * 2019-05-28 2019-08-23 北京史河科技有限公司 一种指示灯识别方法及装置
CN111639647A (zh) * 2020-05-22 2020-09-08 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质
CN111678602A (zh) * 2020-06-01 2020-09-18 福建睿思特科技股份有限公司 基于stm32h7处理机的状态灯颜色识别系统
CN112395928A (zh) * 2019-08-19 2021-02-23 珠海格力电器股份有限公司 一种设备状态运行自动检测的方法
CN112712567A (zh) * 2020-12-15 2021-04-27 朱波 发光颜色实时鉴别系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272513A (zh) * 2008-04-10 2008-09-24 清华大学 一种适用于球面摄像头阵列的摄像头颜色校准方法
CN103020603A (zh) * 2012-12-14 2013-04-03 上海交通大学 基于颜色空间及选择投票机制夜间信号灯检测与识别方法
CN104504375A (zh) * 2014-12-18 2015-04-08 广州视源电子科技股份有限公司 一种pcb元件的识别方法及装置
CN105865629A (zh) * 2016-03-25 2016-08-17 上海电机学院 一种用于机器人的物体颜色识别方法
KR101653278B1 (ko) * 2016-04-01 2016-09-01 수원대학교산학협력단 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN107392116A (zh) * 2017-06-30 2017-11-24 广州广电物业管理有限公司 一种指示灯识别方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272513A (zh) * 2008-04-10 2008-09-24 清华大学 一种适用于球面摄像头阵列的摄像头颜色校准方法
CN103020603A (zh) * 2012-12-14 2013-04-03 上海交通大学 基于颜色空间及选择投票机制夜间信号灯检测与识别方法
CN104504375A (zh) * 2014-12-18 2015-04-08 广州视源电子科技股份有限公司 一种pcb元件的识别方法及装置
CN105865629A (zh) * 2016-03-25 2016-08-17 上海电机学院 一种用于机器人的物体颜色识别方法
KR101653278B1 (ko) * 2016-04-01 2016-09-01 수원대학교산학협력단 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN107392116A (zh) * 2017-06-30 2017-11-24 广州广电物业管理有限公司 一种指示灯识别方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163291A (zh) * 2019-05-28 2019-08-23 北京史河科技有限公司 一种指示灯识别方法及装置
CN112395928A (zh) * 2019-08-19 2021-02-23 珠海格力电器股份有限公司 一种设备状态运行自动检测的方法
CN111639647A (zh) * 2020-05-22 2020-09-08 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质
CN111639647B (zh) * 2020-05-22 2023-07-25 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质
CN111678602A (zh) * 2020-06-01 2020-09-18 福建睿思特科技股份有限公司 基于stm32h7处理机的状态灯颜色识别系统
CN111678602B (zh) * 2020-06-01 2022-05-17 福建睿思特科技股份有限公司 基于stm32h7处理机的状态灯颜色识别系统
CN112712567A (zh) * 2020-12-15 2021-04-27 朱波 发光颜色实时鉴别系统及方法
CN112712567B (zh) * 2020-12-15 2022-12-09 武汉筑梦科技有限公司 发光颜色实时鉴别系统及方法

Similar Documents

Publication Publication Date Title
CN109711414A (zh) 基于摄像头图像采集的设备指示灯颜色识别方法及系统
CN105453153B (zh) 交通灯检测
CN111289538B (zh) 基于机器视觉的pcb板元件检测系统及检测方法
CN104298994B (zh) 一种指针式仪表读数识别方法及装置
CN109429473A (zh) 电路板中带极性电子元器件的自动检查方法及装置
CN114240939B (zh) 一种主板元器件外观缺陷检测方法、系统、设备及介质
CN110738164B (zh) 零件异常检测方法、模型训练方法及装置
CN106341682A (zh) 检测老化功能的方法、系统及装置
CN105139384B (zh) 缺陷胶囊检测的方法和装置
CN112258460A (zh) 一种基于图像识别的印刷制品质量实时监测质检系统
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN109447062A (zh) 基于巡检机器人的指针型仪表识别方法
CN113034624A (zh) 基于感温变色胶贴的温度预警图像识别方法、系统、设备及存储介质
CN104749801B (zh) 高精度自动光学检测方法和系统
CN105976001B (zh) 防伪车牌制作用二维码及序列号标识符识别方法
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
Guanghui et al. An artificial landmark design based on mobile robot localization and navigation
CN115876086A (zh) 一种高密度连接器的检测方法及检测系统
CN109087265B (zh) 一种多相机图像坐标转换方法和装置
US20180365269A1 (en) Method and apparatus for improving the efficiency of remote diagnosis of electronic and other equipment
CN116128853A (zh) 一种产线装配检测方法、系统、计算机及可读存储介质
CN110084746A (zh) 一种马赛克拼图机器人的识图拼图方法
CN103137218B (zh) 指针的调校方法和装置
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503