CN109165605A - 数据中心巡检机器人对于控制柜压板设备状态识别的方法 - Google Patents

数据中心巡检机器人对于控制柜压板设备状态识别的方法 Download PDF

Info

Publication number
CN109165605A
CN109165605A CN201810990754.4A CN201810990754A CN109165605A CN 109165605 A CN109165605 A CN 109165605A CN 201810990754 A CN201810990754 A CN 201810990754A CN 109165605 A CN109165605 A CN 109165605A
Authority
CN
China
Prior art keywords
image
data center
control cabinet
state recognition
pressing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810990754.4A
Other languages
English (en)
Inventor
房桦
马青岷
张世伟
王士成
鹿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mudian Intelligent Technology Co ltd
Original Assignee
Beijing Qinsheng Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qinsheng Robot Technology Co Ltd filed Critical Beijing Qinsheng Robot Technology Co Ltd
Priority to CN201810990754.4A priority Critical patent/CN109165605A/zh
Publication of CN109165605A publication Critical patent/CN109165605A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Abstract

本发明公开了数据中心巡检机器人对于控制柜压板设备状态识别的方法，包括以下步骤：S1、实现采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵式标定框进行标定；S2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像的偏差和畸变的影响。本发明对现场光线干扰表现出较好的鲁棒性，在巡检得到较为模糊的图像或光照不足的低亮度图像，依然可以取得很好的识别效果，并且可以适应数据中心中各种大小或样式不同的压板，显著提高了数据中心巡检机器人对多情形下压板状态识别的正确率，有效的减少了数据中心现场工作人员的巡检强度。

Description

数据中心巡检机器人对于控制柜压板设备状态识别的方法
技术领域
本发明涉及图像处理识别技术领域，尤其涉及数据中心巡检机器人对于控制柜压板设备状态识别的方法。
背景技术
中国第201210087308.5发明介绍一种压板开关状态识别方法，用连续多帧图像对设备区域进行了自动定位，使用轮廓检测方法对压板开关状态识别；中国201310317369.0发明利用压板区域的RGB颜色特征进行状态识别；中国第201110386280.0发明利用压板区域的HSV三通道的联合特征进行状态识别，但是目前解决方案主要存在以下几方面问题：
1、很多方案中使用的压板位置切割方法是对整幅图像进行双峰二值化或特征提取，再定位每个压板，由于光照和灯光的不均匀，容易造成分割错误，造成设备的错分或者漏分；
2、目前大部分压板状态识别方法都是对图像的灰度、RGB或HSV的特征向量进行特征描述和识别，对压板的颜色和照片清晰度要求较高，使得识别方法的鲁棒性和扩展性收到较大限制，为此，我们提出了数据中心巡检机器人对于控制柜压板设备状态识别的方法来解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法。
为了实现上述目的，本发明采用了如下技术方案：
数据中心巡检机器人对于控制柜压板设备状态识别的方法，包括以下步骤：
S1、实现采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵式标定框进行标定；
S2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像的偏差和畸变的影响；
S3、根据配置的矩阵框进行依次提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号；
S4、对ROI图像进行相对深度重建，由于采用单目相机，因此绝对深度很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建；
S5、以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割；
S6、搜集数据中心现场各种各类压板形态图片，建立数字识别训练样本集，训练神经网络分类器；
S7、使用训练好的分类器进行识别，并用当前ROI序号和标定时矩阵总数对比，未完成就从S3再次进行，已完成全部序号就结束本次识别流程返回压板阵列的识别结。
优选地，所述S4中的ROI图像进行相对深度重建，包括以下步骤：
S1、标定出ROI区域图像；
S2、对矩阵区域外背景建模、计算纹理灰度特征、计算图像雾度、计算图像纹理梯度特征进行提取；
S3、比对背景建模；
S4、生成相对深度图像。
优选地，所述ROI为感兴趣区域。
优选地，所述压板设备为压板开关。
优选地，所述图像相对深度重建为相对背景深度信息分布的计算过程。
优选地，所述图论分割为一种能量优化算法。
优选地，所述压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态。
优选地，所述S4中的其他特征包括：纹理灰度特征、图像雾度和图像纹理梯度特征。
优选地，所述矩阵框由多个大小相同的矩形框组成。
本发明中，使用时，通过巡检机器人对数据中心内进行巡检，巡检机器人通过单目相机对控制柜压板设备进行拍照，在图片中用矩形框标出ROI区域，通过矩阵框进行依次提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号，对ROI图像进行相对深度重建，由于采用单目相机，因此很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，从而能快速有效的对图片进行处理，而且对于相机本身质量或者光照问题造成的成像模糊情况，也可以得到很好的识别效果，以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，从而方便将图片进行分类，并根据之前所收集的压板分离、压板合起、压板竖直以及压板倾斜等形态来进行比对，通过神经网络分类器的判断进行进行识别，并用当前ROI序号和标定时矩阵总数对比，未完成就继续提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号，已完成全部序号就结束本次识别流程返回压板阵列的识别结果，本发明对现场光线干扰表现出较好的鲁棒性，在巡检得到较为模糊的图像或光照不足的低亮度图像，依然可以取得很好的识别效果，并且可以适应数据中心中各种大小或样式不同的压板，显著提高了数据中心巡检机器人对多情形下压板状态识别的正确率，有效的减少了数据中心现场工作人员的巡检强度。
附图说明
图1为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的流程框图；
图2为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的深度重建流程框图；
图3为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的第一矩阵标定框图；
图4为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的第二矩阵标定框图；
图5为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的识别结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-5，数据中心巡检机器人对于控制柜压板设备状态识别的方法，包括以下步骤：
S1、实现采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵式标定框进行标定，方便快速分类和进行标记，从而便于进行提取图像；
S2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像的偏差和畸变的影响，提高图像的准确度，消除因拍摄角度出现的偏差和畸变，从而保证图片的准确性，提高识别的准确度；
S3、根据配置的矩阵框进行依次提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号，ROI是指感兴趣区域，感兴趣区域是机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域；
S4、对ROI图像进行相对深度重建，图像相对深度重建是指根据背景特征和其余区域的综合特征比对获得相对背景的深度信息分布的计算过程，由于采用单目相机，因此绝对深度很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，单目相机结构简单成本低，但是在单张图片里，无法确定一个物体的真实大小，它可能是一个很大但很远的物体，也可能是一个很近很小的物体，通过相机的运动形成视差，可以测量物体相对深度，但是单目SLAM估计的轨迹和地图将与真实的轨迹和地图相差一个因子，也就是尺度，单凭图像无法确定这个真实尺度，所以称尺度不确定性；
S5、以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，图论分割是一种十分有用和流行的能量优化算法，在计算机视觉领域普遍应用于前背景分割、立体视觉、抠图等；
S6、搜集数据中心现场各种各类压板形态图片，建立数字识别训练样本集，训练神经网络分类器，压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态，能提高神经网络分类器的分类准确度，提高识别质量；
S7、使用训练好的分类器进行识别，并用当前ROI序号和标定时矩阵总数对比，未完成就从S3再次进行，已完成全部序号就结束本次识别流程返回压板阵列的识别结，方便进行识别，提高了数据中心巡检机器人对多情形下压板状态识别的正确率，有效的减少了数据中心现场工作人员的巡检强度。
本发明中，S4中的ROI图像进行相对深度重建，包括以下步骤：
S1、标定出ROI区域图像，是指处理图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域；
S2、对矩阵区域外背景建模、计算纹理灰度特征、计算图像雾度、计算图像纹理梯度特征进行提取，从而有效提取图片中的特征，方便使用；
S3、比对背景建模，提高建模的精准度，从而方便使用，便于计算相对深度；
S4、生成相对深度图像，从而准确的得出图片的相对深度信息，方便进行使用，提高识别的准确度，对于相机本身质量或者光照问题造成的成像模糊情况。
本发明中，ROI为感兴趣区域，感兴趣区域是机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，压板设备为压板开关，方便进行控制，图像相对深度重建为相对背景深度信息分布的计算过程，既根据背景特征和其余区域的综合特征比对获得相对背景的深度信息分布的计算过程，图论分割为一种能量优化算法，在计算机视觉领域普遍应用于前背景分割、立体视觉、抠图等，压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态，从而能方便进行识别，提高识别的准确度，S4中的其他特征包括：纹理灰度特征、图像雾度和图像纹理梯度特征，方便进行对比和计算图片相对深度，矩阵框由多个大小相同的矩形框组成，方便进行标定，从而方便快速进行提取图片，提高识别的效率。
本发明中，使用时，通过巡检机器人对数据中心内进行巡检，巡检机器人通过单目相机对控制柜压板设备进行拍照，在图片中用矩形框标出ROI区域，通过矩阵框进行依次提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号，对ROI图像进行相对深度重建，由于采用单目相机，因此很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，从而能快速有效的对图片进行处理，而且对于相机本身质量或者光照问题造成的成像模糊情况，也可以得到很好的识别效果，以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，从而方便将图片进行分类，并根据之前所收集的压板分离、压板合起、压板竖直以及压板倾斜等形态来进行比对，通过神经网络分类器的判断进行进行识别，并用当前ROI序号和标定时矩阵总数对比，未完成就继续提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号，已完成全部序号就结束本次识别流程返回压板阵列的识别结果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，包括以下步骤：
S1、采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵的方式来进行标定；
S2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像偏差和畸变的影响；
S3、根据配置的矩阵框依次提取巡检图像中的ROI进行后续处理，并保存该区域在矩阵中的序号；
S4、对提取的ROI图像进行相对深度重建，巡检拍摄使用的是单目相机，因此绝对深度难以精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建；
S5、以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割；
S6、搜集数据中心现场各种各类压板形态图片，建立数字识别训练样本集，训练神经网络分类器；
S7、使用训练好的分类器进行识别，并用当前ROI序号和标定时矩阵总数对比，未完成就从S3再次进行，已完成全部序号就结束本次识别流程返回压板阵列的识别结。
2.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述S4中的ROI图像进行相对深度重建，包括以下步骤：
S1、标定出ROI区域图像；
S2、对矩阵区域外背景建模、计算纹理灰度特征、计算图像雾度、计算图像纹理梯度特征进行提取；
S3、比对背景建模；
S4、生成相对深度图像。
3.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述ROI为感兴趣区域。
4.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述压板设备为压板开关。
5.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述图像相对深度重建为相对背景深度信息分布的计算过程。
6.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述图论分割为一种能量优化算法。
7.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态。
8.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述S4中的其他特征包括：纹理灰度特征、图像雾度和图像纹理梯度特征。
9.根据权利要求1所述的数据中心巡检机器人对于控制柜压板设备状态识别的方法，其特征在于，所述矩阵框由多个大小相同的矩形框组成。
CN201810990754.4A 2018-08-28 2018-08-28 数据中心巡检机器人对于控制柜压板设备状态识别的方法 Pending CN109165605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810990754.4A CN109165605A (zh) 2018-08-28 2018-08-28 数据中心巡检机器人对于控制柜压板设备状态识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810990754.4A CN109165605A (zh) 2018-08-28 2018-08-28 数据中心巡检机器人对于控制柜压板设备状态识别的方法

Publications (1)

Publication Number Publication Date
CN109165605A true CN109165605A (zh) 2019-01-08

Family

ID=64893196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810990754.4A Pending CN109165605A (zh) 2018-08-28 2018-08-28 数据中心巡检机器人对于控制柜压板设备状态识别的方法

Country Status (1)

Country Link
CN (1) CN109165605A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740696A (zh) * 2019-01-30 2019-05-10 亮风台（上海）信息科技有限公司 一种用于压板识别的方法与设备
CN109919038A (zh) * 2019-02-12 2019-06-21 广西大学 基于机器视觉与深度学习的配电柜方形压板状态识别方法
CN113408315A (zh) * 2021-05-27 2021-09-17 山东新一代信息产业技术研究院有限公司 一种数据中心服务器状态检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124037A (zh) * 2017-04-13 2017-09-01 贵州电网有限责任公司电力科学研究院 一种基于多数据源的变电站智能巡检系统及综合诊断方法
CN108573256A (zh) * 2017-03-14 2018-09-25 山东鲁能智能技术有限公司 一种变电站压板设备状态识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573256A (zh) * 2017-03-14 2018-09-25 山东鲁能智能技术有限公司 一种变电站压板设备状态识别方法及装置
CN107124037A (zh) * 2017-04-13 2017-09-01 贵州电网有限责任公司电力科学研究院 一种基于多数据源的变电站智能巡检系统及综合诊断方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740696A (zh) * 2019-01-30 2019-05-10 亮风台（上海）信息科技有限公司 一种用于压板识别的方法与设备
CN109919038A (zh) * 2019-02-12 2019-06-21 广西大学 基于机器视觉与深度学习的配电柜方形压板状态识别方法
CN113408315A (zh) * 2021-05-27 2021-09-17 山东新一代信息产业技术研究院有限公司 一种数据中心服务器状态检测方法及系统

Similar Documents

Publication Publication Date Title
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
CN107766855B (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN108009531B (zh) 一种多策略防欺诈的人脸识别方法
CN106778518B (zh) 一种人脸活体检测方法及装置
CN105023010B (zh) 一种人脸活体检测方法及系统
CN104517102B (zh) 学生课堂注意力检测方法及系统
CN105719318B (zh) 一种教育玩具套件中基于hsv的魔方颜色识别方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN107392086B (zh) 人体姿态的评估装置、系统及存储装置
CN106981091B (zh) 人体三维建模数据处理方法及装置
CN101996407B (zh) 一种多相机颜色标定方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN109165605A (zh) 数据中心巡检机器人对于控制柜压板设备状态识别的方法
CN108764058A (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
CN104318603A (zh) 从手机相册调取照片生成3d模型的方法及系统
CN110322522A (zh) 一种基于目标识别区域截取的车辆颜色识别方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN102704215A (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN106127205A (zh) 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
CN110020627A (zh) 一种基于深度图与特征融合的行人检测方法
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN106599880A (zh) 一种面向无人监考的同人判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190718

Address after: Room 6-067 on the ground floor of No.1 Qilu Software Park Building (Pioneer Plaza C Block), Shunhua Road, Jinan High-tech Zone, Shandong Province, 250101

Applicant after: Shandong Mudian Intelligent Technology Co.,Ltd.

Address before: 100080 B-1908-016, 16th Floor, Building 1, 18 Zhongguancun East Road, Haidian District, Beijing

Applicant before: BEIJING CHINROBOT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108

RJ01 Rejection of invention patent application after publication