CN113538723B - 一种巡检机器人及巡检方法 - Google Patents
一种巡检机器人及巡检方法 Download PDFInfo
- Publication number
- CN113538723B CN113538723B CN202110600228.4A CN202110600228A CN113538723B CN 113538723 B CN113538723 B CN 113538723B CN 202110600228 A CN202110600228 A CN 202110600228A CN 113538723 B CN113538723 B CN 113538723B
- Authority
- CN
- China
- Prior art keywords
- inspection
- robot
- image
- cameras
- indicator lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000003028 elevating effect Effects 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000032368 Device malfunction Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
- F16M11/242—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by spreading of the legs
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/42—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种巡检机器人及巡检方法,巡检机器人包括机器人控制器、行走机构、升降机构和图像采集设备,机器人控制器接收后台服务器发送的巡检指令,基于巡检指令控制图像采集设备中的各台摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,从所有的摄像机在相同时间段采集的视频图像中,截取同一时刻不同摄像机采集的多张目标图像合成得到合成图像,采用基于深度学习的图像识别方法,从合成图像中识别出故障指示灯。本发明通过在巡检机器人上安装多个摄像头实现对设备不同区域的视频图像的采集,采用图像识别方法识别故障指示灯来及时发现出现故障的设备,从而解放了人力,提高了巡检效率及巡检结果的可靠性。
Description
技术领域
本发明涉及机器人技术领域,更具体的说,涉及一种巡检机器人及巡检方法。
背景技术
通常数据中心机房存放着大量的设备,比如服务器和网络设备,任何设备发生故障,若不及时处理都可能导致越来越大的问题,甚至直接宕机,而宕机将会给数据中心运营者以及相关客户造成无可挽回的损失。因此需要对数据中心机房中各个设备的工作状态进行监控,以便及时发现设备出现的问题并进行处理。
目前,对数据中心机房设备的监控主要由设备托管方执行,设备托管方通常采用人工巡检方式查找出现故障的设备,因此,不仅耗费大量的人力和时间,而且存在巡检结果不可靠的弊端。
发明内容
有鉴于此,本发明公开一种巡检机器人及巡检方法,以实现解放人力,提高巡检效率,大大提高巡检结果的可靠性,从而提高数据中心的自动化、智能化和无人化的水平。
一种巡检机器人,包括:机器人控制器、行走机构、升降机构和图像采集设备,所述图像采集设备包括多台摄像机;
所述行走机构用于控制巡检机器人沿预设巡检路径移动;
所述升降机构上安装所述图像采集设备,用于使所述图像采集设备沿预设移动路径移动;
所述机器人控制器分别与所述行走机构、所述升降机构和图像采集设备连接,所述机器人控制器用于接收后台服务器发送的巡检指令,基于所述巡检指令控制所述图像采集设备中的各台所述摄像机在所述巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的所述摄像机在相同时间段采集的所述视频图像,从各个所述视频图像中截取同一时刻不同所述摄像机采集的多张目标图像,将多张所述目标图像进行合成得到合成图像,采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯。
可选的,所述升降机构包括:固定升降杆和移动升降杆,所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动;
所述固定升降杆上安装至少一个所述摄像机,所述移动升降杆上安装至少两个所述摄像机,且两个所述摄像机均匀安装在所述移动升降杆上。
可选的,每台所述摄像机为高清网络摄像机,且具有防抖功能。
一种巡检方法,应用于上述所述的巡检机器人中的机器人控制器,所述巡检方法包括:
接收后台服务器发送的巡检指令;
基于所述巡检指令控制图像采集设备中的各个摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像;
获取所有的所述摄像机在相同时间段采集的所述视频图像;
从各个所述视频图像中截取同一时刻不同所述摄像机采集的多张目标图像;
将多张所述目标图像进行合成得到合成图像;
采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯。
可选的,在所述接收后台服务器发送的巡检指令之前,还包括:
接收所述后台服务器发送的高度调节指令,所述高度调节指令中携带所述被监控设备的相关信息;
控制所述升降机构将所述图像采集设备升高至能够采集所述被监控设备的故障指示灯的位置。
可选的,所述采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯,具体包括:
采用所述图像识别方法,从所述合成图像中查找到各个颜色区域;
判断当前颜色区域中是否具有目标颜色点;
如果是,则判断所述目标颜色点是否为指示灯;
如果是,则将所述目标颜色点确定为所述故障指示灯,并继续对所述当前颜色区域的下一个颜色区域进行故障指示灯识别。
可选的,还包括:
当所述当前颜色区域不具有所述目标颜色点时,对所述当前颜色区域进行过滤,并继续判断所述当前颜色区域的下一个颜色区域是否具有所述目标颜色点。
可选的,还包括:
当所述目标颜色点为非指示灯时,对所述目标颜色点进行滤除。
可选的,还包括:
将识别出的所述故障指示灯发送至所述后台服务器,由所述后台服务器基于所述故障指示灯的颜色,确定所述被监控设备发生的故障类型。
可选的,在所述采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯之后,还包括:
输出告警信息。
可选的,当所述巡检机器人中的升降机构包括固定升降杆和移动升降杆,所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动时,所述巡检方法还包括:
当所述巡检机器人需要通过数据中心机房防火门或封闭通道模块门时,控制所述移动升降杆降下;
当所述巡检机器人需要进行巡检时,控制所述移动升降杆升起。
可选的,当所述机器人控制器与自动门机控制器通信连接时,所述巡检方法还包括:
当所述巡检机器人需要进入数据中心机房进行巡检时,向所述自动门机控制器发送开门指令,由所述门机控制器基于所述开门指令,通过控制封闭通道模块门自动门机来打开自动门。
从上述的技术方案可知,本发明公开了一种巡检机器人及巡检方法,巡检机器人包括机器人控制器、行走机构、升降机构和图像采集设备,图像采集设备包括多台摄像机,机器人控制器接收后台服务器发送的巡检指令,基于巡检指令控制图像采集设备中的各台摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的摄像机在相同时间段采集的视频图像,从各个视频图像中截取同一时刻不同摄像机采集的多张目标图像,将多张目标图像进行合成得到合成图像,采用基于深度学习的图像识别方法,从合成图像中识别出故障指示灯。本发明通过在巡检机器人上安装多个摄像头,并通过调整摄像头在巡检机器人上的高度,实现对设备不同区域的视频图像的采集,通过从同一时刻采集的不同区域的图像中,采用基于深度学习的图像识别方法识别故障指示灯及时发现出现故障的设备,因此不仅解放了人力,提高了巡检效率,而且大大提高了巡检结果的可靠性,从而提高了数据中心的自动化、智能化和无人化的水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种巡检机器人的结构示意图;
图2为本发明实施例公开的一种巡检方法流程图;
图3为本发明实施例公开的一种采用基于深度学习的图像识别方法从合成图像中识别出故障指示灯的方法流程图;
图4为本发明实施例公开的一种自动门机系统的示意图;
图5为本发明实施例公开的一种封闭通道模块门的控制系统图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种巡检机器人及巡检方法,通过在巡检机器人上安装多个摄像头,并通过调整摄像头在巡检机器人上的高度,实现对设备不同区域的视频图像的采集,通过从同一时刻采集的不同区域的图像中,采用基于深度学习的图像识别方法识别故障指示灯及时发现出现故障的设备,因此不仅解放了人力,提高了巡检效率,而且大大提高了巡检结果的可靠性,从而提高了数据中心的自动化、智能化和无人化的水平。
参见图1,本发明实施例公开的一种巡检机器人的结构示意图,巡检机器人包括:机器人控制器11、行走机构12、升降机构13和图像采集设备14,图像采集设备14包括多台摄像机141。
其中:
行走机构12用于控制巡检机器人沿预设巡检路径移动,预设巡检路径为技术人员预先设置的。
在实际应用中,行走机构12设置在巡检机器人的底部,行走机构12可以包括:驱动机构和车轮,由驱动机构驱动车轮移动。
升降机构13上安装图像采集设备14,用于使图像采集设备14沿预设移动路径移动。
机器人控制器11分别与所述行走机构12、所述升降机构13和图像采集设备14连接,所述机器人控制器11用于接收后台服务器10发送的巡检指令,基于所述巡检指令控制所述图像采集设备14中的各台摄像机141在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的摄像机141在相同时间段采集的所述视频图像,从各个所述视频图像中截取同一时刻不同摄像机采集的多张目标图像,将多张所述目标图像进行合成得到合成图像,采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯。
由于不同摄像机141在巡检机器人中的安装位置不同,因此,不同的摄像机141采集的视频图像为被监控设备不同区域的视频图像。
需要说明的是,为便于快速确认数据中心机房中设备出现的故障,在实际应用中,针对不同的故障采用不同颜色的故障指示灯,比如红色、黄色或橙色,当故障指示灯亮时,即可确定故障指示灯亮的被监控设备发生故障。
综上可知,本发明公开了一种巡检机器人,包括机器人控制器11、行走机构12、升降机构13和图像采集设备14,图像采集设备14包括多台摄像机141,机器人控制器11接收后台服务器10发送的巡检指令,基于巡检指令控制图像采集设备14中的各台摄像机141在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的摄像机141在相同时间段采集的视频图像,从各个视频图像中截取同一时刻不同摄像机采集的多张目标图像,将多张目标图像进行合成得到合成图像,采用基于深度学习的图像识别方法,从合成图像中识别出故障指示灯。本发明通过在巡检机器人上安装多个摄像头,并通过调整摄像头在巡检机器人上的高度,实现对设备不同区域的视频图像的采集,通过从同一时刻采集的不同区域的图像中,采用基于深度学习的图像识别方法识别故障指示灯及时发现出现故障的设备,因此不仅解放了人力,提高了巡检效率,而且大大提高了巡检结果的可靠性,从而提高了数据中心的自动化、智能化和无人化的水平。
另外,巡检机器人还有效解决了人工巡检适应场景偏弱的劣势。
为便于技术人员查看数据中心机房中出现故障的设备,本发明将巡检机器人与后台管理系统连接,具体将巡检机器人与后台服务器连接,以实现对巡检机器人本体的控制以及数据管理。机器人控制器11在从合成图像中识别出故障指示灯后,可以将所有的巡检数据发送至后台服务器,由后台服务器对巡检数据进行管理和存储,其中,巡检数据中包含具有故障指示灯的合成图像。
在实际应用中,后台服务器可以与DCIM(Data Center Infrastructuremanagement,数据中心基础设施管理)系统交互,实现数据的双向传输。
后台服务器还可以与托管控制台联动,以方便客户直接获取到所需设备的巡检数据。
为进一步优化上述实施例,本发明中的升降机构13可以包括:
固定升降杆和移动升降杆,所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动。
所述固定升降杆上安装至少一个所述摄像机141,所述移动升降杆上安装至少两个所述摄像机141,且两个所述摄像机141均匀安装在所述移动升降杆上,以适应被监控设备的高度(比如2.5m)要求。
在实际应用中,固定升降杆竖直安装在巡检机器人上,移动升降杆装在所述固定升降杆上且与固定升降杆平行。
固定升降杆上优选安装三个摄像机141,且三个摄像机141均匀分布在固定升降杆上,每个摄像机141采集包含被监控设备不同区域的视频图像。
移动升降杆上优选安装两个摄像头141,且摄像头141均匀分布在移动升降杆上,两个摄像头141随着移动升降杆移动采集包含被监控设备不同区域的视频图像。
需要说明的是,为避免巡检机器人因移动升降杆过高而无法通过数据中心机房防火门或封闭通道门时,本发明中当巡检机器人需要通过数据中心机房防火门或封闭通道门时,机器人控制器11控制移动升降杆降低一定的高度。
本发明中图像采集设备14包括的各台摄像机141为相同型号的摄像机。为避免巡检机器人在不停车巡检时带来的采集的视频图像的质量下降的风险,本发明中图像采集设备14中的各台摄像机141优选高清网络摄像机,且具有防抖功能。各台摄像机141可以通过交换机与机器人控制器11连接。
在实际应用中,由于多台摄像机141同时采集视频图像,因此要求机器人控制器11具备强大的数据处理能力。
为进一步优化上述实施例,巡检机器人还可以包括:报警器;
报警器与机器人控制器11连接,报警器用于在机器人控制器11从合成图像中识别出故障指示灯时,根据机器人控制器11输出的报警控制指令进行报警。
其中,报警器可以为声音报警器和光报警器中的任意一种或两种。
与上述巡检机器人对应,本发明还公开了一种巡检方法。
参见图2,本发明实施例公开的一种巡检方法流程图,该方法应用于图1中的机器人控制器,该巡检方法包括:
步骤S101、接收后台服务器发送的巡检指令;
当需要对数据中心机房中的设备进行巡检时,技术人员会通过后台服务器向巡检机器人的机器人控制发送巡检指令,巡检机器人根据巡检指令执行巡检操作。
巡检指令中包含:预设巡检路径和被监控设备的相关信息,比如被监控设备的放置位置等等。
步骤S102、基于所述巡检指令,控制图像采集设备中的各台摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像;
其中,图像采集设备包括多台摄像机。由于不同摄像机在巡检机器人中的安装位置不同,因此不同的摄像机采集的视频图像为被监控设备不同区域的视频图像。
步骤S103、获取所有的摄像机在相同时间段采集的所述视频图像;
由于本发明采用视频流的方式采集被监控设备的视频图像,因此巡检机器人可以进行不停车巡检。通过为巡检机器人设置一个核定的恒定速度,即可实现对所有被监控设备的视频流的拍摄。从采集的多个视频图像中截取多张图像,就可以识别出闪烁的指示灯,这是直接拍摄图片不能解决的。
另外,本发明采用视频流的方式进行巡检,在被监测设备上下架时,不影响巡检机器人的巡检逻辑。相对于拍摄图片进行故障灯识别而言,本发明无需对巡检机器人内存储的作为图片基准的底图进行变更。
步骤S104、从各个所述视频图像中截取同一时刻不同摄像机采集的多张目标图像;
本发明通过在不同摄像机采集的视频图像中,将同一时刻不同摄像机采集的多张目标图像进行截取,可以得到在该时刻同一被监控设备在不同区域的目标图像。
在实际应用中,可以每隔预设固定时间间隔从各个视频图像中截取同一时刻不同摄像机采集的多张目标图像。
步骤S105、将多张所述目标图像进行合成得到合成图像;
通过将被监控设备在不同区域的多个目标图像进行合成,即可得到巡检机器人在该时刻采集的被监控设备的外观信息。
需要说明的是,本发明中的巡检机器人能够接受客户派发过来的拍摄图片的工单任务。由于巡检机器人为多个摄像机(比如5个)同时拍摄,需要在拍摄出来各个视频图像中,截取多张目标图像进行合成,合成图像可为一张覆盖2.5m被监控设备的图像。
巡检机器人可同时拍摄被监控设备的前后面,作为一次拍摄图像任务,拍摄完成后,将拍摄图像发送后台服务器,使得用户可以浏览到拍摄的图片,同时也可以将拍摄图像传送给托管控制台,客户可以在托管控制台直接浏览到图片。
步骤S106、采用基于深度学习的图像识别方法,从所述合成图像中识别出故障指示灯。
本发明中的巡检机器人主要针对设备的指示灯进行识别,以达到巡检的目的。比如设备包红灯、黄灯或闪烁灯。巡检机器人通过深度学习的图像识别方法识别出上述故障指示灯。
综上可知,本发明公开了一种巡检方法,机器人控制器接收后台服务器10发送的巡检指令,基于巡检指令控制图像采集设备中的各台摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的摄像机在相同时间段采集的视频图像,从各个视频图像中截取同一时刻不同摄像机采集的多张目标图像,将多张目标图像进行合成得到合成图像,采用基于深度学习的图像识别方法,从合成图像中识别出故障指示灯。本发明通过在巡检机器人上安装多个摄像头,并通过调整摄像头在巡检机器人上的高度,实现对设备不同区域的视频图像的采集,通过从同一时刻采集的不同区域的图像中,采用基于深度学习的图像识别方法识别故障指示灯及时发现出现故障的设备,因此不仅解放了人力,提高了巡检效率,而且大大提高了巡检结果的可靠性,从而提高了数据中心的自动化、智能化和无人化的水平。
另外,巡检机器人还有效解决了人工巡检适应场景偏弱的劣势。
通常巡检机器人在进行巡检之前,需要根据被监控设备的高度对图像采集设备中摄像机的高度进行调整,主要对移动升降杆上安装的的摄像机的高度进行调整。
因此,为进一步优化上述实施例,在步骤S101之前,巡检方法还可以包括:
接收后台服务器发送的高度调节指令,所述高度调节指令中携带所述被监控设备的相关信息;
控制所述升降机构将所述图像采集设备升高至能够采集所述被监控设备的故障指示灯的位置。
其中,被监控设备的相关信息可以包括:被监控设备的高度,安装位置等等。
为进一步优化上述实施例,参见图3,本发明实施例公开的一种采用基于深度学习的图像识别方法从合成图像中识别出故障指示灯的方法流程图,也即步骤S106具体可以包括:
步骤S201、采用图像识别方法,从合成图像中查找到各个颜色区域;
图像识别方法,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。图像识别方法是人工智能的一个重要领域,主要的图像识别方法有基于神经网络的图像识别方法、基于小波矩的图像识别方法等。本发明中的图像识别方法为基于深度学习的图像识别方法。
当被监控设备出现故障时,故障指示灯会呈现表征故障的颜色,比如红色、黄色和橙色,基于此,本发明采用图像识别方法,从合成图像中首先查找各个颜色区域。
步骤S202、判断当前颜色区域中是否具有目标颜色点,如果是,则执行步骤S203;
其中,目标颜色点指的是当被监控设备出现故障时的故障指示灯的颜色,比如,红色点、黄色点或橙色点。
由于被监控设备还可能具有除故障指示灯颜色以外的颜色,因此,需要从查找到的颜色区域中查找到与故障指示灯颜色相同的颜色。
步骤S203、判断所述目标颜色点是否为指示灯,如果是,则执行步骤S204;
在实际应用中,可以根据巡检机器人预先定制的指示灯识别规则,判断各个目标颜色点是否为指示灯,指示灯识别规则可以为指示灯的形状,具体依据实际需要而定,本发明在此不做限定。
步骤S204、将所述目标颜色点确定为所述故障指示灯,并返回步骤S102,继续对所述当前颜色区域的下一个颜色区域进行故障指示灯识别。
为便于后续统计出现故障的被监测设备,本实施例在识别出故障指示灯后,会对识别出的各个故障指示灯进行汇总,汇总内容包括具有故障指示灯的被监控设备的位置和型号等等。
当巡检机器人完成巡检任务后,会对巡检的所有被监控设备的巡检结果数据进行汇总得到设备巡检结果,并将设备巡检结果发送至后台服务器,由后台服务器将设备巡检结果发送至托管控制台,托管控制台获取到设备巡检结果后按照不同的客户进行拆分,使得每个客户只看到自己设备的数据。
在实际应用中,设备巡检结果还可以包括告警设备数据。
为进一步优化上述实施例,在步骤S202判断为否的情况下,上述实施例还可以包括:
对所述当前颜色区域进行过滤,并继续判断所述当前颜色区域的下一个颜色区域是否具有所述目标颜色点。
为进一步优化上述实施例,在步骤S203判断为否的情况下,上述实施例还可以包括:
对所述目标颜色点进行滤除。
为进一步优化上述实施例,在步骤S106之后,还可以包括:
将识别出的所述故障指示灯发送至所述后台服务器,由所述后台服务器基于所述故障指示灯的颜色,确定所述被监控设备发生的故障类型。
为便于确定被监控设备发生的具体工作类型,在实际应用中,可以针对不同的故障类型采用不同颜色的故障指示灯,后台服务器通过将故障指示灯的颜色和存储的标准故障指示灯颜色进行对比,可以确定被监控设备发生的具体故障类型。
为进一步优化上述实施例,当巡检机器人具有报警器时,在步骤S106之后,还可以包括:
输出告警信息。
其中,告警信息可以为声音报警、光报警中的任意一种或两种。
当所述巡检机器人中的升降机构包括固定升降杆和移动升降杆,所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动时,所述巡检方法还包括:
当所述巡检机器人需要通过数据中心机房防火门或封闭通道模块门时,控制所述移动升降杆降下;
当所述巡检机器人需要进行巡检时,控制所述移动升降杆升起。
需要说明的是,本发明中的巡检机器人还可以实现热通道巡检。
当巡检机器人通过通道门进入热通道巡检时,巡检机器人可以巡检设备的电源指示灯、热通道温度场以及执行客户的拍照任务。通常封闭热通道内安装有温湿度传感器,但由于温湿度传感器颗粒度较大(一般一个封闭通道内安装2-3个),因此巡检机器人可以搭载热成像设备对热通道巡检。
在实际应用中,热成像设备可以安装在巡检机器人上的固定云台上,角度朝向前方视野,若视野内的最高温度超过设定值,巡检机器人即可实现报警。由于一个封闭通道内有两排机柜,因此巡检机器人的热成像温度检测在一次巡检进行两次热成像温度检测,从而提高巡检的可靠性。
为进一步优化上述实施例,本发明中的巡检机器人还可与自动门机联动。
参见图4,本发明实施例公开的一种自动门机系统的示意图,图4所示为数据中心一个IT机房模块的规划,自动门包括两部分,分别为:一扇数据中心机房防火门和数据中心机房9个封闭通道模块门,封闭通道模块门的数量包括但不限于9个,具体数量可以根据IT机房的大小确定。
如图4所示,自动门机包括:防火门自动门机和9个封闭通道模块门自动门机,所有的自动门机由自动门机控制器统一控制。自动门机控制器下联通过IO控制防火门自动门机和9个封闭通道模块门自动门机,防火门自动门机通过防火自动门执行机构带动数据中心机房防火门打开和关系,每个封闭通道模块门自动门机通过对应的模块自动门执行机构带动封闭通道模块门打开和关闭。
自动门机控制器上联通过TCP(Transmission Control Protocol,传输控制协议)/IP(Internet Protocol,网际互连协议)和巡检机器人中的机器人控制器通讯。
因此,当机器人控制器与自动门机控制器通信连接时,所述巡检方法还包括:
当所述巡检机器人需要进入数据中心机房进行巡检时,向所述自动门机控制器发送开门指令,由所述门机控制器基于所述开门指令,通过控制封闭通道模块门自动门机来打开自动门。
为便于理解,本发明还公开了封闭通道模块门控制逻辑,参见图5所示的封闭通道模块门的控制系统图,巡检机器人和自动门机控制器通过TCP/IP通讯,自动门机控制器通过IO信号向封闭通道模块门自动门机发送开门信号,封闭通道模块门自动门机通过对应的模块自动门执行机构带动封闭通道模块门打开,封闭通道模块门打开后,封闭通道模块门自动门机向自动门机控制器发送开到位的门状态反馈信号。自动门机控制器将接收到反馈信号发送至巡检机器人,巡检机器人此时可以进入封闭通道模块内,机器人进入后,自动门在延时结束后关闭。
在实际应用中,除了巡检机器人自动开门,还可以实现手动按钮开门,实现手自动一体化。
本发明中,自动门机控制器和巡检机器人采用TCP/IP通讯协议,物理层通过WIFI接入局域网络。TCP/IP采用短报文的形式实现巡检机器人和自动门机控制器之间的全双工双向通讯。巡检机器人发送的开门信号和自动门机控制器的到位反馈信号都是主动发送的,通讯协议分为两部分,一部分是控制信号包,详见表1,另一部分是门状态反馈信号包,详见表2。
表1控制信号包
表2反馈信号包
综上可知,本发明中数据中心机房防火门控制采用开和关担负控制策略,因此可以提高可控性及安全性,通道模块门采用打开延时关闭策略,可以将降低系统复杂性。
本发明中,巡检机器人可以采用跨模块房间作业,实现规模化巡检;巡检机器人根据门的状态实现对自动门机的控制。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种巡检机器人,其特征在于,包括:机器人控制器、行走机构、升降机构和图像采集设备,所述图像采集设备包括多台摄像机,每台所述摄像机为高清网络摄像机,且具有防抖功能;
所述行走机构用于控制巡检机器人沿预设巡检路径移动;
所述升降机构上安装所述图像采集设备,用于使所述图像采集设备沿预设移动路径移动;
所述机器人控制器分别与所述行走机构、所述升降机构和图像采集设备连接,所述机器人控制器用于接收后台服务器发送的巡检指令,基于所述巡检指令控制所述巡检机器人执行不停车巡检操作,并控制所述图像采集设备中的各台所述摄像机在所述巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像,获取所有的所述摄像机在相同时间段采集的所述视频图像,从各个所述视频图像中截取同一时刻不同所述摄像机采集的多张目标图像,将多张所述目标图像进行合成得到合成图像,采用图像识别方法,从所述合成图像中查找到各个颜色区域;判断当前颜色区域中是否具有目标颜色点;如果是,则判断所述目标颜色点是否为指示灯;如果是,则将所述目标颜色点确定为故障指示灯,并继续对所述当前颜色区域的下一个颜色区域进行故障指示灯识别;当所述当前颜色区域不具有所述目标颜色点时,对所述当前颜色区域进行过滤,并继续判断所述当前颜色区域的下一个颜色区域是否具有所述目标颜色点;当所述目标颜色点为非指示灯时,对所述目标颜色点进行滤除。
2.根据权利要求1所述巡检机器人,其特征在于,所述升降机构包括:固定升降杆和移动升降杆,所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动;
所述固定升降杆上安装至少一个所述摄像机,所述移动升降杆上安装至少两个所述摄像机,且两个所述摄像机均匀安装在所述移动升降杆上。
3.一种巡检方法,其特征在于,应用于权利要求1所述的巡检机器人中的机器人控制器,所述巡检方法包括:
接收后台服务器发送的巡检指令;
基于所述巡检指令控制图像采集设备中的各个摄像机在巡检机器人巡检过程中采集包含被监控设备不同区域的视频图像;
获取所有的所述摄像机在相同时间段采集的所述视频图像;
从各个所述视频图像中截取同一时刻不同所述摄像机采集的多张目标图像;
将多张所述目标图像进行合成得到合成图像;
采用图像识别方法,从所述合成图像中查找到各个颜色区域;
判断当前颜色区域中是否具有目标颜色点;
如果是,则判断所述目标颜色点是否为指示灯;
如果是,则将所述目标颜色点确定为故障指示灯,并继续对所述当前颜色区域的下一个颜色区域进行故障指示灯识别;当所述当前颜色区域不具有所述目标颜色点时,对所述当前颜色区域进行过滤,并继续判断所述当前颜色区域的下一个颜色区域是否具有所述目标颜色点;当所述目标颜色点为非指示灯时,对所述目标颜色点进行滤除。
4.根据权利要求3所述的巡检方法,其特征在于,在所述接收后台服务器发送的巡检指令之前,还包括:
接收所述后台服务器发送的高度调节指令,所述高度调节指令中携带所述被监控设备的相关信息;
控制所述升降机构将所述图像采集设备升高至能够采集所述被监控设备的故障指示灯的位置。
5.根据权利要求3所述的巡检方法,其特征在于,还包括:
将识别出的所述故障指示灯发送至所述后台服务器,由所述后台服务器基于所述故障指示灯的颜色,确定所述被监控设备发生的故障类型。
6.根据权利要求3所述的巡检方法,其特征在于,从所述合成图像中识别出故障指示灯之后,还包括:
输出告警信息。
7.根据权利要求3所述的巡检方法,其特征在于,所述巡检机器人中的升降机构包括固定升降杆和移动升降杆,当所述移动升降杆装在所述固定升降杆上,并能够在所述固定升降杆上移动时,所述巡检方法还包括:
当所述巡检机器人需要通过数据中心机房防火门或封闭通道模块门时,控制所述移动升降杆降下;
当所述巡检机器人需要进行巡检时,控制所述移动升降杆升起。
8.根据权利要求3所述的巡检方法,其特征在于,当所述机器人控制器与自动门机控制器通信连接时,所述巡检方法还包括:
当所述巡检机器人需要进入数据中心机房进行巡检时,向所述自动门机控制器发送开门指令,由所述门机控制器基于所述开门指令,通过控制封闭通道模块门自动门机来打开自动门。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600228.4A CN113538723B (zh) | 2021-05-31 | 2021-05-31 | 一种巡检机器人及巡检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600228.4A CN113538723B (zh) | 2021-05-31 | 2021-05-31 | 一种巡检机器人及巡检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538723A CN113538723A (zh) | 2021-10-22 |
CN113538723B true CN113538723B (zh) | 2023-04-18 |
Family
ID=78094924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110600228.4A Active CN113538723B (zh) | 2021-05-31 | 2021-05-31 | 一种巡检机器人及巡检方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538723B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278063A (zh) * | 2022-07-08 | 2022-11-01 | 深圳市施罗德工业集团有限公司 | 一种巡检方法、巡检装置及巡检机器人 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0514094D0 (en) * | 2005-07-11 | 2005-08-17 | Ryknield Executor Company Ltd | Apparatus and methods relating to voting systems |
CN103377491A (zh) * | 2013-08-05 | 2013-10-30 | 杭州邦农电子有限公司 | 一种库坝巡检管理仪器及库坝巡检方法 |
CN106532946A (zh) * | 2016-11-30 | 2017-03-22 | 河海大学常州校区 | 一种机器人电站巡检系统及方法 |
CN111259892A (zh) * | 2020-01-19 | 2020-06-09 | 福建升腾资讯有限公司 | 一种指示灯状态的巡检方法、装置、设备和介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634662B2 (en) * | 2002-11-21 | 2009-12-15 | Monroe David A | Method for incorporating facial recognition technology in a multimedia surveillance system |
CN205486328U (zh) * | 2016-01-28 | 2016-08-17 | 江苏省电力试验研究院有限公司 | 一种可穿戴式电力巡检系统 |
CA3080308A1 (en) * | 2017-10-26 | 2019-05-02 | Municipal Parking Services, Inc. | Device, method and system for detecting parking in a no parking area |
CN110363878A (zh) * | 2019-07-31 | 2019-10-22 | 国网天津市电力公司 | 一种基于图像处理技术的机房巡检方法 |
CN110490854A (zh) * | 2019-08-15 | 2019-11-22 | 中国工商银行股份有限公司 | 对象状态检测方法、对象状态检测装置和电子设备 |
CN111626139B (zh) * | 2020-04-30 | 2023-09-05 | 杭州优云科技有限公司 | 一种机房it设备故障信息精准检测方法 |
CN112207846B (zh) * | 2020-12-08 | 2021-03-19 | 北京蒙帕信创科技有限公司 | 一种可升降式机房智能巡检机器人系统及巡检方法 |
CN112766103B (zh) * | 2021-01-07 | 2023-05-16 | 国网福建省电力有限公司泉州供电公司 | 一种机房巡检方法及装置 |
-
2021
- 2021-05-31 CN CN202110600228.4A patent/CN113538723B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0514094D0 (en) * | 2005-07-11 | 2005-08-17 | Ryknield Executor Company Ltd | Apparatus and methods relating to voting systems |
CN103377491A (zh) * | 2013-08-05 | 2013-10-30 | 杭州邦农电子有限公司 | 一种库坝巡检管理仪器及库坝巡检方法 |
CN106532946A (zh) * | 2016-11-30 | 2017-03-22 | 河海大学常州校区 | 一种机器人电站巡检系统及方法 |
CN111259892A (zh) * | 2020-01-19 | 2020-06-09 | 福建升腾资讯有限公司 | 一种指示灯状态的巡检方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113538723A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103488154B (zh) | 一种变电站运行环境远程综合监控系统及其联动控制方法 | |
CN101458865B (zh) | 一种火灾探测系统及方法 | |
CN110996060A (zh) | 一种工业自动化智能联动系统及方法 | |
CN112520528B (zh) | 一种自动监测电梯故障检测系统及其检测方法 | |
CN110240036B (zh) | 一种检测试图进入电梯的电动自行车的装置和方法 | |
CN113538723B (zh) | 一种巡检机器人及巡检方法 | |
CN201259717Y (zh) | 一种火灾探测系统 | |
CN107426894A (zh) | 基于智能视频识别的教室灯光自动检测控制系统及其方法 | |
CN210780888U (zh) | 一种基于物联网和机器人的机房监控系统 | |
CN102790875A (zh) | 具有图像自动分析判别装置的视频监控系统及监控方法 | |
CN108573589A (zh) | 一种安防监控系统的联动响应方法 | |
CN110049290A (zh) | 公共建筑物智能监控系统 | |
CN112671104A (zh) | 面向复杂场景的变电站多维度场景管控平台 | |
CN110759199A (zh) | 一种检测试图进入电梯的电动自行车的装置和方法 | |
CN112873218B (zh) | 一种变电站巡检机器人及巡检方法 | |
CN113341858A (zh) | 一种配电柜智能安全监控方法及系统 | |
KR20220142865A (ko) | 이동형 로봇을 이용한 무인 국사 모니터링 시스템 및 그 방법 | |
CN116969148A (zh) | 一种胶带机故障多维联动监测处理方法及系统 | |
CN204643414U (zh) | 一种基于物联网技术的电梯运行监测系统 | |
CN111521222A (zh) | 一种手车式开关柜刀闸状态监测装置 | |
CN215298410U (zh) | 一种入侵识别系统 | |
CN114928164A (zh) | 一种主子站协同互动的变电站运维系统 | |
CN112383137A (zh) | 基于机器视觉和热成像技术的变压器台区监控系统及方法 | |
CN112767643A (zh) | 光伏场站的双光谱火源探测预警装置 | |
CN104469329A (zh) | 一种变电站视频监控智能推图的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |