CN111666824A - 移动机器人的基于颜色属性和机器学习的指示灯识别方法 - Google Patents

移动机器人的基于颜色属性和机器学习的指示灯识别方法 Download PDF

Info

Publication number
CN111666824A
CN111666824A CN202010408073.XA CN202010408073A CN111666824A CN 111666824 A CN111666824 A CN 111666824A CN 202010408073 A CN202010408073 A CN 202010408073A CN 111666824 A CN111666824 A CN 111666824A
Authority
CN
China
Prior art keywords
detected
color
image
indicator light
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408073.XA
Other languages
English (en)
Other versions
CN111666824B (zh
Inventor
姚信威
张航杰
齐楚锋
王诗毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010408073.XA priority Critical patent/CN111666824B/zh
Publication of CN111666824A publication Critical patent/CN111666824A/zh
Application granted granted Critical
Publication of CN111666824B publication Critical patent/CN111666824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本发明涉及移动机器人的基于颜色属性和机器学习的指示灯识别方法，预处理待检测图像，获得所有待检测轮廓并进行预分割筛选，基于机器学习获得多维颜色空间，以多维颜色空间对预分割筛选后的待检测轮廓对应的指示灯进行识别，对识别到的指示灯进行亮度识别，输出待检测图像中所有指示灯的识别结果。本发明通过对轮廓初筛选后进行多维颜色空间映射，结合指示灯本身的形状和颜色特征提取到指示灯轮廓并识别其颜色，避免了反光和阴影的噪声干扰影响，同时由于只对轮廓内的区域进行颜色转换，缩短了处理时间；进一步地，通过HSV颜色属性空间判断出指示灯的亮灭状态。本发明由于只需要前期的颜色训练，因此可以有效节约机器人的现场实施调试时间。

Description

移动机器人的基于颜色属性和机器学习的指示灯识别方法
技术领域
本发明属于数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种应用于图像识别的移动机器人的基于颜色属性和机器学习的指示灯识别方法。
背景技术
一般而言，工业环境中存在大量指示灯反映着设备的具体状态，当设备出现故障时，指示灯也会出现对应状态，所以对指示灯的监控是运维工作中不可缺少的一部分。随着移动机器人的兴起，指示灯识别这部分原本人工运维的工作也转而由机器人来进行巡检。
在图像识别的研究应用中，一般会针对要识别的物体在图像中提取某些独特的特征信息，指示灯的识别就是根据指示灯的特征分析可见光相机拍摄所得的图像内容中的特征信息，找出目标指示灯并加以识别的过程。
然而，使用机器人识别指示灯存在以下几个难点：
(1)工业现场的环境较为复杂，机器人拍摄到的指示灯图片可能并不理想，机器人相对于指示灯的位置可能过远、过低或存在斜角，进而产生存在阴影、反光等干扰噪声，增加了识别难度；
(2)巡检任务中可能包含大量指示灯，因此对识别时间要求高；
(3)由于设备种类数目繁多，指示灯的状态比如颜色、亮度等都不尽相同，降低了识别准确率。
“基于BP神经网络的交通信号数字指示灯识别”(任勇,彭静玉，计算机与现代化,2013(4):77-80)中，将RGB图像转化为HSI图像，通过不同颜色状态的HSI阈值来分割出交通信号灯所在区域；不同颜色状态的指示灯转换后的值不同，但是在工业环境下，机器人执行任务时面向的往往是多种设备的高压开关柜，这些设备由于型号不同或者其它原因，指示灯的状态亮度等存在着一定区别，因此很难确定一个适用于所有设备的HSI阈值来分割工业设备指示灯。
“基于颜色属性的信号指示灯检测识别”(胡灿林,肖尚华，现代计算机(专业版)，2018(7))中，通过将RGB颜色映射到11维颜色空间(黑色、蓝色、棕色、灰色、绿色、橘色、粉色、紫色、红色、白色以及黄色)，根据颜色特征来识别指示灯。但是当工业设备表面材料反光时，映射变换后得到的图片中可以看出效果并不是十分理想。
发明内容
本发明的发明目的是解决上述难点，提高移动机器人在工业现场巡检时对指示灯的识别效率和准确率，本发明提出了一种优化的移动机器人的基于颜色属性和机器学习的指示灯识别方法。
本发明所采用的技术方案是，一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，所述方法包括以下步骤：
步骤1：输入待检测图像；
步骤2：对待检测图像进行预处理，获得所有待检测轮廓；
步骤3：对所有待检测轮廓进行预分割筛选；
步骤4：基于机器学习获得多维颜色空间，以多维颜色空间对预分割筛选后的待检测轮廓对应的指示灯进行识别；
步骤5：对识别到的指示灯进行亮度识别；
步骤6：输出待检测图像中所有指示灯的识别结果。
优选地，所述步骤2中，预处理包括以下步骤：
步骤2.1：复制待检测图像，对待检测图像及其复制图像建立像素坐标系；
步骤2.2：对待检测图像的复制图像进行二值化处理；
步骤2.3：对二值化后的待检测图像进行腐蚀操作，获得待检测图像的复制图像中的所有待检测轮廓。
优选地，所述步骤3包括以下步骤：
步骤3.1：筛除面积在阈值T1范围外的待检测轮廓；
步骤3.2：获取剩下的待检测轮廓对应的最小外接矩形；
步骤3.3：筛选对应在阈值T2内的最小外接矩形长宽比的对应的待检测轮廓；
步骤3.4：对剩余的待检测轮廓，根据其最小外接矩形的左上角和右下角坐标，若存在任一最小外接矩形A被完整包围在另一最小外接矩形B中，则删除最小外接矩形A，完成筛选；
步骤3.5：基于坐标系，将筛选后的待检测图像的复制图像中的所有待检测轮廓标识在待检测图像上。
优选地，T1∈[100,100000]。
优选地，T2∈[0.6,1.6]。
优选地，所述步骤4包括以下步骤：
步骤4.1：通过机器学习获得颜色名概率字典，计算预分割筛选后的待检测轮廓及其内部每一个像素点用于表征颜色的indexim值；
步骤4.2：以indexim值在颜色名概率字典中查找该像素对应的颜色；
步骤4.3：统计待检测轮廓中的颜色比例分布；
步骤4.4：重复步骤4.1至步骤4.3，统计所有预分割筛选后的待检测轮廓中的颜色比例分布，对指示灯进行识别。
优选地，所述步骤4.1中，indexim＝1+R1÷8+32×G1÷8+32×32×B1÷8，其中，R1、G1和B1分别对应像素点的RGB颜色的R、G和B的值。
优选地，所述步骤4.4中，基于颜色比例分布识别任一指示灯包括：
当红色、粉色的比例之和大于等于50％时，指示灯为红灯，暗；
当红色的比例大于等于5％且红色、黄色、白色的比例之和大于等于50％时，指示灯为红灯，亮；
当绿色的比例大于等于30％时，指示灯为绿灯，暗；
当绿色的比例大于等于5％且绿色、蓝色、白色的比例之和大于等于50％时，指示灯为绿灯，亮；
当橙色的比例大于等于50％时，指示灯为橙灯，暗；
当橙色的比例大于等于5％且橙色、黄色、白色的比例之和大于等于70％时，指示灯为橙灯，亮。
优选地，所述步骤5中，对识别到的指示灯对应的图像以OpenCV进行HSV空间转换，当任一像素点的V向量的值大于等于230时，判断像素点为亮像素点，否则为暗像素点；若亮像素点的比例大于阈值，则指示灯亮，否则，指示灯灭。
优选地，所述步骤4中对于指示灯的识别和步骤5中对于指示灯的亮度识别中，像素点的权重自待检测轮廓的中心向边缘逐渐减小。
本发明的有益效果是：通过对轮廓初筛选后进行多维颜色空间映射，结合指示灯本身的形状和颜色特征提取到指示灯轮廓并识别其颜色，避免了反光和阴影的噪声干扰影响，同时由于只对轮廓内的区域进行颜色转换，缩短了处理时间；进一步地，通过HSV颜色属性空间判断出指示灯的亮灭状态。本发明由于只需要前期的颜色训练，因此可以有效节约机器人的现场实施调试时间。
附图说明
图1为本发明的流程图；
图2为本发明中，对待检测图像的复制图像形态学操作后的效果图；
图3为本发明中，在待检测图像上提取到的轮廓效果图；
图4为本发明中，颜色映射后的效果图；
图5为本发明中，输出的待检测图像中所有指示灯的识别结果示意图。
具体实施方式
为使本发明的过程和优点更加直观易懂，下面结合本实施例以及附图，对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
请参考图1，本发明涉及一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，对每一张输入的待检测图像，首先将图像做基本的形态学操作去噪，获得图像中所有的待检测轮廓，并根据面积大小做一个初步的筛选，然后通过结合多维颜色空间转换后的颜色特征确定指示灯轮廓，通过HSV图像确定每盏指示灯的状态，最后在获得所有指示灯状态后，根据位置信息确定每一个指示灯轮廓的归属。
本发明中，只对分割筛选后的轮廓做颜色变换，既节约了计算时间，也有效地避免了高压开关柜表面涂层反光的影响。
方法包括以下步骤。
步骤1：输入待检测图像。
步骤2：对待检测图像进行预处理，获得所有待检测轮廓。
所述步骤2中，预处理包括以下步骤：
步骤2.1：复制待检测图像，对待检测图像及其复制图像建立像素坐标系；
步骤2.2：对待检测图像的复制图像进行二值化处理；
步骤2.3：对二值化后的待检测图像进行腐蚀操作，获得待检测图像的复制图像中的所有待检测轮廓。
本发明中，图像处理的形态学操作包括腐蚀、膨胀、开操作和闭操作。通过对图像进行形态学操作，可以使原本模糊的轮廓变得更为清晰且易于检测；腐蚀操作与膨胀操作相反，使用内核覆盖区域的最小像素值代替锚点位置像素，处理后的效果图白色区域会缩小，黑色区域扩大，如果内核大小合适，白色区域中的一些细微断裂处将会分裂开来，黑色区域中的一些细微断裂处则会连接起来，腐蚀处理后的效果图会拥有比原图更大的黑色区域。
本发明中，一般来说，二值化后的指示灯的黑色轮廓边缘并不一定明显，故对图像进行腐蚀操作，通过大量操作机器人获得的原始图片，针对各种指示灯进行腐蚀操作，根据腐蚀结果来确定一个较为合适的结构元素大小，这主要取决于图像像素的大小，一般可以为如10px*10px的矩形；二值化后的图像在形态学操作后，指示灯的轮廓更为清晰。
步骤3：对所有待检测轮廓进行预分割筛选。
所述步骤3包括以下步骤：
步骤3.1：筛除面积在阈值T1范围外的待检测轮廓；T1∈[100,100000]；
步骤3.2：获取剩下的待检测轮廓对应的最小外接矩形；
步骤3.3：筛选对应在阈值T2内的最小外接矩形长宽比的对应的待检测轮廓；T2∈[0.6,1.6]；
步骤3.4：对剩余的待检测轮廓，根据其最小外接矩形的左上角和右下角坐标，若存在任一最小外接矩形A被完整包围在另一最小外接矩形B中，则删除最小外接矩形A，完成筛选；
步骤3.5：基于坐标系，将筛选后的待检测图像的复制图像中的所有待检测轮廓标识在待检测图像上。
本发明中，操作机器人在拍摄开关柜指示灯图片时，由于环境位置关系，实际上是云台仰视并采集相关图像信息的，由此可以判断采集图像中的指示灯轮廓必然会发生形变；在对图像进行轮廓识别后，由于阴影部分的干扰及指示灯表面亮度不均匀，识别得到的轮廓形状并不规则，故无法根据圆形特征提取指示灯轮廓，同时在目标指示灯轮廓外还存在许多其他的噪声轮廓干扰。
本发明中，基于此，先将面积小于100和大于100000的轮廓剔除，排除大部分干扰轮廓，针对剩下的轮廓计算取得每个轮廓的最小外接矩形，且之后的所有轮廓都以最小外接矩形轮廓为准；考虑到形变及指示灯的阴影干扰，取得的轮廓并不是一个规则的几何形状，故外接矩形更大概率是一个长方形，以长宽比在0.6～1.6之间进一步排除干扰轮廓、筛选出合适的轮廓进行下一步的处理识别。
本发明中，当采集到的图像中，有些指示灯外围颜色比较深时，结果将出现两个大小轮廓，小的轮廓被完全包围在大的轮廓内，此时一般为一个指示灯的外轮廓及其内的透明部分的局部轮廓，对小的轮廓进行删除。
本发明中，在复制的图像中进行前期处理，最后将结果所指向的坐标提取出来并映射到原始的待检测图像中。
步骤4：基于机器学习获得多维颜色空间，以多维颜色空间对预分割筛选后的待检测轮廓对应的指示灯进行识别。
所述步骤4包括以下步骤：
步骤4.1：通过机器学习获得颜色名概率字典，计算预分割筛选后的待检测轮廓及其内部每一个像素点用于表征颜色的indexim值；
所述步骤4.1中，indexim＝1+R1÷8+32×G1÷8+32×32×B1÷8，其中，R1、G1和B1分别对应像素点的RGB颜色的R、G和B的值。
步骤4.2：以indexim值在颜色名概率字典中查找该像素对应的颜色；
步骤4.3：统计待检测轮廓中的颜色比例分布；
所述步骤4.3的统计过程中，像素点的权重自待检测轮廓的中心向边缘逐渐减小。
步骤4.4：重复步骤4.1至步骤4.3，统计所有预分割筛选后的待检测轮廓中的颜色比例分布，对指示灯进行识别。
所述步骤4.4中，基于颜色比例分布识别任一指示灯包括：
当红色、粉色的比例之和大于等于50％时，指示灯为红灯，暗；
当红色的比例大于等于5％且红色、黄色、白色的比例之和大于等于50％时，指示灯为红灯，亮；
当绿色的比例大于等于30％时，指示灯为绿灯，暗；
当绿色的比例大于等于5％且绿色、蓝色、白色的比例之和大于等于50％时，指示灯为绿灯，亮；
当橙色的比例大于等于50％时，指示灯为橙灯，暗；
当橙色的比例大于等于5％且橙色、黄色、白色的比例之和大于等于70％时，指示灯为橙灯，亮。
本发明中，在对语言中常用的颜色词进行研究后，发现基本颜色名称在人类的各种语言之间是共通的，在英语中有11种基本颜色，分别是黑色、蓝色、棕色、绿色、灰色、橘色、粉红色、紫色、红色、白色、黄色(black、blue、brown、green、grey、orange、pink、purple、red、white、yellow)，这11种基本颜色能够很好地表达在现实中常用的颜色；而Weijer等提出了一种基于潜在语义模型的特殊颜色空间算法，通过在谷歌图像中以上述十一种颜色名搜索特定颜色的图像，建立数据集，采用PLSA模型从这个具有噪声的图像数据集中学习颜色名，以得到每个颜色空间单元属于各个颜色名的概率，形成颜色名概率字典；在利用谷歌图像搜索获得带有噪声的颜色名数据集后，颜色名概率字典需要通过概率潜在语义分析(PLSA)算法训练后才能获取。
本发明中，以indexim值在颜色名概率字典中查找该像素对应的颜色，在对大量操作机器人拍摄到的高压开关柜图像做颜色转换后，比对样本，得到高压开关柜上三种指示灯红灯、绿灯和橙灯在不同状态下颜色转换后的颜色分布表，如表1所示；随着指示灯亮度的提升，不同颜色指示灯转换后的颜色也会发生改变，随着亮度的提升，红色指示灯会经历由红色、黄色、白色的改变，绿色指示灯会经历由绿色、蓝色、白色的改变，橙色指示灯会经历由橙色、黄色、白色的改变；通过分析得知，所有指示灯包括亮灭状态需要用到的颜色有红色、黄色、白色、绿色、蓝色、橙色和黄色，高压开关柜的柜面会映射为灰色，柜面的指示灯阴影部分会映射为黑色，反光区域会映射为与指示灯颜色相近的颜色，再加上光照、角度、以及指示灯本身的原因，所以包含指示灯的初筛轮廓中会存在许多干扰噪声。为了便于后续的处理，我们将除了指示灯主要颜色以外的多维颜色空间中的其它颜色全部统一映射为黑色噪声。
表1：颜色分布
Figure BDA0002492079590000081
Figure BDA0002492079590000091
本发明中，三种指示灯虽然颜色不一，但是在颜色转换后的颜色却会发生一定的重叠，故基于样本中的颜色分布比例确定不同颜色的指示灯的筛选条件。为了筛选出的判断条件更适用于大多数相同颜色的指示灯，而不会因为它们亮度的不同导致识别率下降，所以提取出的特征需要具有普适性，如表2所示；
表2：不同颜色指示灯筛选条件
Figure BDA0002492079590000092
表2中的指示灯亮度高时，原有颜色比例会降低，但是无论指示灯亮度多高，其转换后的颜色必然会带有一部分原有的颜色(红色指示灯会带有红色，绿色指示灯会带有绿色，橙色指示灯会带有橙色)，根据这个原理，将各个颜色指示灯的筛选条件定义为其转换后的区域中带有其基本颜色，且基本颜色的像素比例占区域中所有像素的5％及以上。
本发明中，若存在其他颜色的指示灯，可以以indexim值在颜色名概率字典中查找该像素对应的颜色后，进一步进行统计处理。
本发明中，对于任意一个轮廓里包含的所有像素点，计算每个像素点的颜色，一个轮廓里的所有像素点处理完后，一般将计算轮廓里对应在颜色名概率字典的像素点数目，其中，轮廓边缘的可以以两个像素点当一个像素点，轮廓中心位置的则可以以一个像素点作为两个像素点计算，即像素点的权重自待检测轮廓的中心向边缘逐渐减小。
本发明中，经过步骤4的处理，可以通过颜色分布从众多轮廓中识别出指示灯轮廓。
步骤5：对识别到的指示灯进行亮度识别。
所述步骤5中，对识别到的指示灯对应的图像以OpenCV进行HSV空间转换，当任一像素点的V向量的值大于等于230时，判断像素点为亮像素点，否则为暗像素点；若亮像素点的比例大于阈值，则指示灯亮，否则，指示灯灭。
本发明中，虽然初步判断出指示灯的颜色状态，但是在不同指示灯亮度不一的干扰下，对于指示灯的亮度判断会出现一定偏差，举例来说，个别绿灯在亮状态下，可能会出现全部轮廓区域转换为绿色的情况，不带有蓝色或者白色，这样就导致很难区分它的亮灭状态；为了更好地识别指示灯的亮灭状态，引入HSV空间对其进行判断，相对于RGB来说，HSV空间能够非常直观地表示色彩的色调、鲜艳度和明暗度。
本发明中，步骤5中所述的阈值可以为40％。
所述步骤4中对于指示灯的识别和步骤5中对于指示灯的亮度识别中，像素点的权重自待检测轮廓的中心向边缘逐渐减小。
本发明中，对于轮廓包围的范围的亮度而言，也遵循轮廓边缘的可以以两个像素点当一个像素点，轮廓中心位置的则可以以一个像素点作为两个像素点计算，即像素点的权重自待检测轮廓的中心向边缘逐渐减小的准则。
步骤6：输出待检测图像中所有指示灯的识别结果。
在本发明实施例中，摄像头拍摄到指示灯图片后，步骤1首先对图片进行灰度和二值化处理，然后进行腐蚀操作和开操作，使图片中的轮廓更为明显，如图2所示，接着提取图片中所有的轮廓，此时轮廓为不规则形状，如图3所示；
在本发明实施例中，步骤2对所有轮廓计算外接矩形，根据矩形面积和长宽比筛选得到第二批待处理轮廓，此时所有轮廓为矩形；
请参考图4，在本发明实施例中，步骤3利用颜色属性训练得到的数据集，将第二批轮廓中所有的像素点映射为11种基础颜色(黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄)，并计算不同颜色的所占比例(中心像素的权重高于边缘像素权重)；
在本发明实施例中，步骤4根据步骤3得到的轮廓中的颜色比例分布，结合红、绿、橙三种颜色指示灯本身的颜色特征(如红灯暗时颜色转换后主要为红色和粉红色，红灯亮时颜色转换后主要为红色、白色和黄色)，提取出所有指示灯轮廓；
请参考图5，在本发明实施例中，步骤5将步骤4提取到的指示灯轮廓中的像素点转换为HSV属性空间，根据V(明度值)大于阈值的像素点所占比例(中心像素的权重高于边缘像素权重)确定指示灯的亮灭状态。
本发明通过对轮廓初筛选后进行多维颜色空间映射，结合指示灯本身的形状和颜色特征提取到指示灯轮廓并识别其颜色，避免了反光和阴影的噪声干扰影响，同时由于只对轮廓内的区域进行颜色转换，缩短了处理时间；进一步地，通过HSV颜色属性空间判断出指示灯的亮灭状态。本发明由于只需要前期的颜色训练，因此可以有效节约机器人的现场实施调试时间。

Claims (10)

1.一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述方法包括以下步骤：
步骤1：输入待检测图像；
步骤2：对待检测图像进行预处理，获得所有待检测轮廓；
步骤3：对所有待检测轮廓进行预分割筛选；
步骤4：基于机器学习获得多维颜色空间，以多维颜色空间对预分割筛选后的待检测轮廓对应的指示灯进行识别；
步骤5：对识别到的指示灯进行亮度识别；
步骤6：输出待检测图像中所有指示灯的识别结果。
2.根据权利要求1所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤2中，预处理包括以下步骤：
步骤2.1：复制待检测图像，对待检测图像及其复制图像建立像素坐标系；
步骤2.2：对待检测图像的复制图像进行二值化处理；
步骤2.3：对二值化后的待检测图像进行腐蚀操作，获得待检测图像的复制图像中的所有待检测轮廓。
3.根据权利要求2所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤3包括以下步骤：
步骤3.1：筛除面积在阈值T1范围外的待检测轮廓；
步骤3.2：获取剩下的待检测轮廓对应的最小外接矩形；
步骤3.3：筛选对应在阈值T2内的最小外接矩形长宽比的对应的待检测轮廓；
步骤3.4：对剩余的待检测轮廓，根据其最小外接矩形的左上角和右下角坐标，若存在任一最小外接矩形A被完整包围在另一最小外接矩形B中，则删除最小外接矩形A，完成筛选；
步骤3.5：基于坐标系，将筛选后的待检测图像的复制图像中的所有待检测轮廓标识在待检测图像上。
4.根据权利要求3所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：T1∈[100，100000]。
5.根据权利要求3所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：T2∈[0.6，1.6]。
6.根据权利要求1所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1：通过机器学习获得颜色名概率字典，计算预分割筛选后的待检测轮廓及其内部每一个像素点用于表征颜色的indexim值；
步骤4.2：以indexim值在颜色名概率字典中查找该像素对应的颜色；
步骤4.3：统计待检测轮廓中的颜色比例分布；
步骤4.4：重复步骤4.1至步骤4.3，统计所有预分割筛选后的待检测轮廓中的颜色比例分布，对指示灯进行识别。
7.权利要求6所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤4.1中，indexim＝1+R1÷8+32×G1÷8+32×32×B1÷8，其中，R1、G1和B1分别对应像素点的RGB颜色的R、G和B的值。
8.根据权利要求6所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤4.4中，基于颜色比例分布识别任一指示灯包括：
当红色、粉色的比例之和大于等于50％时，指示灯为红灯，暗；
当红色的比例大于等于5％且红色、黄色、白色的比例之和大于等于50％时，指示灯为红灯，亮；
当绿色的比例大于等于30％时，指示灯为绿灯，暗；
当绿色的比例大于等于5％且绿色、蓝色、白色的比例之和大于等于50％时，指示灯为绿灯，亮；
当橙色的比例大于等于50％时，指示灯为橙灯，暗；
当橙色的比例大于等于5％且橙色、黄色、白色的比例之和大于等于70％时，指示灯为橙灯，亮。
9.根据权利要求1所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤5中，对识别到的指示灯对应的图像以OpenCV进行HSV空间转换，当任一像素点的V向量的值大于等于230时，判断像素点为亮像素点，否则为暗像素点；若亮像素点的比例大于阈值，则指示灯亮，否则，指示灯灭。
10.根据权利要求1所述的一种移动机器人的基于颜色属性和机器学习的指示灯识别方法，其特征在于：所述步骤4中对于指示灯的识别和步骤5中对于指示灯的亮度识别中，像素点的权重自待检测轮廓的中心向边缘逐渐减小。
CN202010408073.XA 2020-05-14 2020-05-14 移动机器人的基于颜色属性和机器学习的指示灯识别方法 Active CN111666824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408073.XA CN111666824B (zh) 2020-05-14 2020-05-14 移动机器人的基于颜色属性和机器学习的指示灯识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408073.XA CN111666824B (zh) 2020-05-14 2020-05-14 移动机器人的基于颜色属性和机器学习的指示灯识别方法

Publications (2)

Publication Number Publication Date
CN111666824A true CN111666824A (zh) 2020-09-15
CN111666824B CN111666824B (zh) 2023-12-15

Family

ID=72383684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408073.XA Active CN111666824B (zh) 2020-05-14 2020-05-14 移动机器人的基于颜色属性和机器学习的指示灯识别方法

Country Status (1)

Country Link
CN (1) CN111666824B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215106A (zh) * 2020-09-29 2021-01-12 国网上海市电力公司 一种用于变电站无人巡检系统的仪表颜色状态识别方法
CN112364780A (zh) * 2020-11-11 2021-02-12 许继集团有限公司 一种指示灯状态识别方法
CN113033548A (zh) * 2021-03-04 2021-06-25 四川华能宝兴河水电有限责任公司 用于机组运行状态判断及监控对点的图像识别方法
CN113345036A (zh) * 2021-05-24 2021-09-03 广西电网有限责任公司电力科学研究院 基于hsv特征变换的指示灯状态识别方法
CN113657332A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 地面警戒线识别方法、装置、计算机设备及存储介质
CN114217118A (zh) * 2021-12-09 2022-03-22 福建省海峡智汇科技有限公司 一种室内变电站高压带电显示器状态识别方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377710B1 (en) * 1998-11-25 2002-04-23 Xerox Corporation Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion
US20110182520A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Light Source Detection from Synthesized Objects
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
EP2677462A1 (en) * 2012-05-11 2013-12-25 Ricoh Company, Ltd. Method and apparatus for segmenting object area
CN103955705A (zh) * 2014-04-29 2014-07-30 银江股份有限公司 基于视频分析的交通信号灯定位、识别与分类方法
US20150109451A1 (en) * 2013-10-17 2015-04-23 Mashgin Inc. Automated object recognition kiosk for retail checkouts
CN105740860A (zh) * 2016-01-28 2016-07-06 河南大学 自然场景中商铺标牌汉字区域自动检测方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
CN106529556A (zh) * 2016-11-16 2017-03-22 国家电网公司 一种仪表指示灯的视觉检测系统
CN107341806A (zh) * 2017-06-02 2017-11-10 青岛克路德机器人有限公司 基于颜色及形状特征的室内指示灯检测及状态判别方法
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108304813A (zh) * 2018-02-08 2018-07-20 长安大学 一种智能识别圆形交通信号灯状态的方法
US20180260974A1 (en) * 2017-03-09 2018-09-13 Hewlett Packard Enterprise Development Lp Color recognition through learned color clusters
CN109460715A (zh) * 2018-10-18 2019-03-12 大唐网络有限公司 一种基于机器学习的交通灯自动识别实现方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377710B1 (en) * 1998-11-25 2002-04-23 Xerox Corporation Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion
US20110182520A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Light Source Detection from Synthesized Objects
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
EP2677462A1 (en) * 2012-05-11 2013-12-25 Ricoh Company, Ltd. Method and apparatus for segmenting object area
US20150109451A1 (en) * 2013-10-17 2015-04-23 Mashgin Inc. Automated object recognition kiosk for retail checkouts
CN103955705A (zh) * 2014-04-29 2014-07-30 银江股份有限公司 基于视频分析的交通信号灯定位、识别与分类方法
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
CN105740860A (zh) * 2016-01-28 2016-07-06 河南大学 自然场景中商铺标牌汉字区域自动检测方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
CN106529556A (zh) * 2016-11-16 2017-03-22 国家电网公司 一种仪表指示灯的视觉检测系统
US20180260974A1 (en) * 2017-03-09 2018-09-13 Hewlett Packard Enterprise Development Lp Color recognition through learned color clusters
CN107341806A (zh) * 2017-06-02 2017-11-10 青岛克路德机器人有限公司 基于颜色及形状特征的室内指示灯检测及状态判别方法
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108304813A (zh) * 2018-02-08 2018-07-20 长安大学 一种智能识别圆形交通信号灯状态的方法
CN109460715A (zh) * 2018-10-18 2019-03-12 大唐网络有限公司 一种基于机器学习的交通灯自动识别实现方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李娟;朱家兴;丁顺全;: "基于彩色坐标系的图像分割方法", 科技风, no. 09 *
李海霞;罗芳芳;: "汽车辅助驾驶系统交通信号灯识别", 电子技术与软件工程, no. 13 *
王恒: "基于深度学习的车牌识别算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
胡灿烂，肖尚华: "基于颜色属性的信号指示灯检测识别", pages 75 - 78 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215106A (zh) * 2020-09-29 2021-01-12 国网上海市电力公司 一种用于变电站无人巡检系统的仪表颜色状态识别方法
CN112364780A (zh) * 2020-11-11 2021-02-12 许继集团有限公司 一种指示灯状态识别方法
CN113033548A (zh) * 2021-03-04 2021-06-25 四川华能宝兴河水电有限责任公司 用于机组运行状态判断及监控对点的图像识别方法
CN113345036A (zh) * 2021-05-24 2021-09-03 广西电网有限责任公司电力科学研究院 基于hsv特征变换的指示灯状态识别方法
CN113657332A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 地面警戒线识别方法、装置、计算机设备及存储介质
CN113657332B (zh) * 2021-08-23 2023-11-24 深圳科卫机器人科技有限公司 地面警戒线识别方法、装置、计算机设备及存储介质
CN114217118A (zh) * 2021-12-09 2022-03-22 福建省海峡智汇科技有限公司 一种室内变电站高压带电显示器状态识别方法及系统
CN114217118B (zh) * 2021-12-09 2023-05-16 福建省海峡智汇科技有限公司 一种室内变电站高压带电显示器状态识别方法及系统

Also Published As

Publication number Publication date
CN111666824B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN111666824B (zh) 移动机器人的基于颜色属性和机器学习的指示灯识别方法
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN108765443B (zh) 一种自适应颜色阈值分割的标志增强处理方法
CN110389127B (zh) 一种金属陶瓷零件识别及表面缺陷检测系统和方法
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN109752394A (zh) 一种显示屏缺陷高精度检测方法及系统
CN107610085A (zh) 一种基于计算机视觉的焊点缺陷检测系统
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
Ma Defect detection and recognition of bare PCB based on computer vision
CN111551350A (zh) 一种基于U_Net网络的光学镜片表面划痕检测方法
CN114119591A (zh) 一种显示屏画面质量检测方法
CN112304957A (zh) 一种基于机器视觉的外观缺陷智能检测方法及系统
CN113252614A (zh) 一种基于机器视觉的透明度检测方法
CN114066862A (zh) 一种基于色域和轮廓特征的指示器识别方法及系统
CN116758045B (zh) 一种半导体发光二极管的表面缺陷检测方法及系统
CN113033548A (zh) 用于机组运行状态判断及监控对点的图像识别方法
CN111563869B (zh) 用于摄像模组质检的污点测试方法
CN110930393A (zh) 一种基于机器视觉的芯片料管计数方法、装置及系统
CN111047646A (zh) 基于fpga的多目标透镜定位方法及系统
CN108734706B (zh) 一种融合区域分布特性与边缘尺度角度信息的转子绕线图像检测方法
CN115995023A (zh) 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法
Sulaiman et al. Automatic grading system for oil palm fruit ripeness
CN109598713A (zh) 一种基于图像识别的异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant