CN116423538A - 故障检测方法和装置、巡检机器人及存储介质 - Google Patents

Abstract

本申请实施例提供一种故障检测方法及装置、巡检机器人及计算机可读存储介质，所述故障检测方法包括：获取目标巡检场景的场景地图数据；所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

Description

故障检测方法和装置、巡检机器人及存储介质

技术领域

本申请涉及巡检技术领域，尤其是涉及一种巡检过程中的故障检测方法和装置、巡检机器人及存储介质。

背景技术

智能巡检在各领域中均得到了广泛应用，以数据机房为例，银行等领域建设有大量的机房设施；机房巡检是保障机房安全运行的一项重要制度。现在普遍采用人工定时周期性巡检，主要检查机房环境数据/服务器运行状态/各仪器仪表显示数据等要素，传统人工巡检存在着工作量大，重复而且受巡检员的经验等主观因素影响大，手工记录难以保存等问题，巡检机器人作为未来代替人工巡检的研究方向，在机房中得到了实际应用。

目前已知的巡检机器人的巡检实现方案中，是通过安装有摄像头的巡检机器人按照预设行走路线在机房内移动，实时拍摄视频数据发送到监控终端，操作人员可以在监控终端查看视频数据来完成巡检。然而，这种方式仍需要巡检人员来判断是否存在故障，依然对巡检人员有着较大依赖性。另有提出通过巡检机器人对视频数据进行分析以识别是否存在故障的方式，但服务器作为机房内的主要设备，对机房进行巡检采集的视频数据中会存在大量相似图像，服务器上往往存在各式各样的指示灯，大量指示灯排布紧密，指示灯的亮灭、颜色改变、闪烁或停止等状态的识别相互之间干扰较大，目前已知的图像识别方法对于不同服务器上不同位置指示灯的状态的区分准确性往往难以满足要求，从而无法实际应用。

发明内容

为解决现有存在的技术问题，本申请提供一种无人监督、识别精度更高的智能巡检过程中的故障检测方法及装置、巡检机器人及计算机可读存储介质。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种故障检测方法，应用于巡检机器人，包括：

获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；

获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；

基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

第二方面，本申请实施例提供一种故障检测装置，包括：

获取模块，用于获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；

巡检模块，用于获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；

识别模块，用于基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

第三方面，本申请实施例提供一种巡检机器人，包括存储器、处理器及图像采集模块；所述图像采集模块用于根据所述处理器的控制采集关联类别巡检数据，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请任一实施例所述故障检测方法。

第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请任一实施例所述故障检测方法。

上述实施例中，目标巡检场景的场景地图数据包括各巡检点的位置和故障类型，不同巡检点处的故障类型分为静态故障类型和动态故障类型，巡检过程中针对各巡检点对应的故障类型针对性地采集关联类别巡检数据，再基于与各巡检点对应的故障类型匹配的故障识别模式，针对性地对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果，如此，通过将目标巡检场景内的不同巡检点处可能存在的故障类型区分为静态故障类型和动态故障类型，按照场景地图数据，对静态故障类型和动态故障类型的不同巡检点，针对性地采集关联类别巡检数据，并按照匹配的故障识别模式进行故障识别，可以有效地提升各巡检点处故障的识别准确性，且可以在无需依赖巡检人员的情况下完成巡检过程中的故障识别，可适用于巡检场景中待识别目标的相似度大且部署较为密集的情况下的故障检测，尤其是适合对数据机房进行智能巡检过程中对大量服务器上静态灯故障或闪烁灯故障进行精准地区分和识别，实用性强。

上述实施例中，故障检测装置、巡检机器人、计算机可读存储介质分别与对应的故障检测方法实施例属于同一构思，从而分别与对应的故障检测方法实施例具有相同的技术效果，在此不再赘述。

附图说明

图1为一实施例中故障检测方法的可选应用场景的示意图；

图2为另一实施例中故障检测方法的可选应用场景的示意图；

图3为一实施例中故障检测方法的流程示意图；

图4为一实施例中第二识别模型的架构示意图；

图5为一实施例中针对动态故障类型的故障检测方法的工作原理图；

图6为一可选的具体示例中故障检测方法的流程图；

图7为一可选的具体示例中故障检测方法的工作原理图；

图8为一可选的示例中对监测区域和故障类型设置的示意图；

图9为一可选的示例中对巡检采集到的图像数据进行配准的可选示意图；

图10为一可选的示例中闪烁灯亮灯和关灯的两帧图像的示意图；

图11为一实施例中故障检测装置的结构示意图；

图12为一实施例中巡检机器人的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

请参阅图1，为本申请实施例提供的故障检测方法的一可选应用场景的示意图，故障检测方法是用于巡检机器人11在目标巡检场景进行巡检过程中，通过执行本申请实施例所述的故障检测方法，对目标巡检场景中待识别目标是否存在故障进行检测，其中，待识别目标通常是指目标巡检场景中包含的各种设备。

巡检机器人11和后台服务端13组成巡检系统。其中，后台服务端13，可以是指安装有实现本申请实施例中所提供的故障检测方法的服务端程序的后台服务器、监控中心或智能终端。后台服务端13可作为巡检机器人11与巡检工作人员之间信息通信的主要窗口，在巡检机器人11与后台服务端13之间建立网络连接时，巡检工作人员可通过后台服务端13对巡检机器人11进行操作控制，下发巡检任务；且巡检机器人11也可以上传巡检工作状态的信息、巡检任务对应的故障检测结果、巡检任务中的报警信息等到后台服务端13，供巡检工作人员实时跟踪了解巡检任务的情况。其中，巡检机器人11的本地设有包含存储器、处理器和显示器的计算机114，计算机114通过连接巡检机器人11的各种传感器(如图像采集模块)和执行器(如自行走机构)，实现对巡检机器人11的统一智能化控制和优化。

可选的，请参阅图2，巡检系统还包括通信中转点12。通信中转点12，是指设有供其它待入网设备连接的物理的通信端口121的网络接入设备。通信中转点12预先设置于巡检场景中的指定位置，通信中转点12通常与后台服务端13之间通过物理线路保持通信连接，通信状态为常开。本申请实施例中，待入网设备是指设有载波通信接口111的巡检机器人11，目标巡检场景可为无网络巡检场景，巡检机器人11可在离线状态下在巡检场景中执行巡检任务，在巡检场景内按照设定巡检路径移动和采集巡检数据，当需要与后台服务端13连接时，巡检机器人11可自主移动至通信中转点12，载波通信接口111与通信中转点12的通信端口121插接连接，从而经由通信中转点12与后台服务端13之间通信连接。如此，可藉由巡检机器人11保持与通信中转点12连接的状态下实现巡检机器人11与后台服务端13之间通信畅通。在一可选的示例中，通信中转点12为充电桩，通信中转点12上还设有与巡检机器人11上的充电接口113对应连接的充电输出端口123。

请参阅图3，为本申请一实施例提供的故障检测方法，可以应用于图1所示的巡检机器人。其中，故障检测方法包括如下步骤：

S101，获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型。

目标巡检场景，是指巡检机器人执行巡检任务以进行故障检测的区域。场景地图数据，是指将目标巡检场景内各设备、区域进行数字化，以数字化记录目标巡检场景内的区域划分、各设备的位置等得到的数字化场景地图数据，以便于根据该数字化场景地图数据对目标巡检场景进行智能化管理，如供巡检机器人利用场景地图数据来执行巡检任务，通过执行巡检任务采集巡检数据进行分析来完成故障检测。巡检点，是指目标巡检场景中预设的需要进行巡检数据采集以判断是否存在故障的位置。

本申请实施例中，场景地图数据包括目标巡检场景内各巡检点的位置，巡检机器人可以根据各巡检点的位置来形成巡检路径，按照巡检路径自主地依序移动到各个巡检点的位置以采集巡检数据；场景地图数据还包括各巡检点对应的故障类型，通过将故障类型区分为静态故障类型和动态故障类型，并通过对各个巡检点的故障类型进行预先标注，可供巡检机器人移动至各个巡检点的位置后，可根据当前巡检点的故障类型为静态故障类型或动态故障类型来针对性的进行巡检数据的采集，使得采集到的巡检数据能够更有利于提升分析效率且精准地实现故障检测。

S103，获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据。

巡检指令，是指巡检机器人开始执行巡检任务的控制指令。巡检指令可以是根据用户操作实时接收到的控制指令，也可以是根据预设的巡检任务执行条件进行实时判断而确定满足巡检任务执行条件时的确定结果信息。巡检路径可以是预先设定好的路径，也可以是由巡检机器人根据场景地图数据中各巡检点的位置而智能生成的路径等，本申请实施例对此不做限定。关联类别巡检数据分别与不同故障类型对应，本申请实施例中，关联类别巡检数据至少包括分别与静态故障类型和动态故障类型分别对应的两种类别的巡检数据，为便于描述和理解，将与静态故障类型对应的关联类别巡检数据称为第一巡检数据，与动态故障类型对应的关联类别巡检数据称为第二巡检数据。对于动态故障类型的巡检点而言，对应采集到的第二巡检数据应至少包括能够表征巡检点处的待识别目标在多个时刻下不同状态变化的数据。

S105，基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

故障识别模式，是指对各巡检点处对应采集到的巡检数据进行分析识别以判断是否存在故障的工作模式。故障识别模式根据巡检点的故障类型不同而相应设置不同的故障识别模式，以针对性地对不同类别的巡检数据采用不同分析方式，不仅提升故障检测效率，且有效保障故障识别精准性。

上述实施例中，通过将目标巡检场景内的不同巡检点处可能存在的故障类型区分为静态故障类型和动态故障类型，巡检机器人执行巡检任务过程中，按照场景地图数据，对静态故障类型和动态故障类型的不同巡检点，针对性地采集关联类别巡检数据，并按照匹配的故障识别模式针对性地对不同类别巡检数据进行故障识别，可以有效地提升各巡检点处故障的识别准确性，且可以在无需依赖巡检人员的情况下完成巡检过程中的故障识别，可适用于待识别目标的相似度大且部署较为密集的巡检场景下的故障检测，尤其是适合对机房进行智能巡检过程中对机房内大量服务器的大量指示灯的状态的检测，对静态灯故障或闪烁灯故障进行精准地区分和识别，实用性强。

在一些实施例中，所述获取目标巡检场景的场景地图数据，包括：

根据获取到的点位录制指令，在目标巡检场景内对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据；所述指定拍摄参数包括指定的拍摄高度和拍摄姿态；

基于对所述巡检点的视频数据的设置操作，获取所述巡检点对应的监测设置数据；所述监测设置数据包括所述巡检点对应的监测区域、故障类型；

根据各所述巡检点对应的位置、拍摄参数及监测设置数据，得到所述目标巡检场景的场景地图数据。

其中，巡检机器人可提供点位录制功能。点位录制指令，可以是指巡检机器人接收到的用于表示控制其启动点位录制功能的任意指令。在一个可选示例中，巡检机器人根据检测到用户对点位录制按键的操作获取点位录制指令。点位录制按键，是指控制巡检机器人启动点位录制功能的操作按键，可以是指物理按键，也可以是指显示于应用程序界面中的虚拟按键；点位录制按键可以是设置于巡检机器人本地的物理按键或虚拟按键，也可以是设置于对巡检机器人进行远程操作控制的后台服务端/智能终端的物理按键或虚拟按键。操作人员可以通过对点位录制按键进行触控操作而形成点位录制指令，以启动点位录制功能。巡检机器人在进行点位录制时，对应巡检点的位置、在对应巡检点采集视频数据时图像采集模块的拍摄参数、及用户基于对应巡检点的视频数据进行设置形成的监测设置数据进行保存，形成场景地图数据中对应巡检点的标定数据。用户可以通过点位录制功能，对目标巡检场景中各个巡检点的分别进行标定而得到场景地图数据。

其中，巡检机器人在进行点位录制时，在对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据的步骤中，指定拍摄参数的获得，可以是操作人员针对对应巡检点预先设置好的一组拍摄参数，也可以是在拍摄过程中操作人员对图像采集模块的高度、朝向等进行实时调节至最佳拍摄角度而确定的一组拍摄参数。巡检机器人可以对各个巡检点进行点位录制时，图像采集模块采集视频数据所使用的拍摄参数进行记录和保存。操作人员通过对各巡检点的视频数据进行设置，判断出对应巡检点下需要重点识别的待识别目标所在图像区域及故障类别，如根据某巡检点1处的视频数据，设置需要识别的指示灯a在图像中的位置、为静态指示灯检测；根据某巡检点2处的视频数据，设置需要识别的指示灯b在图像中的位置、为闪烁指示灯检测；以标识出巡检点对应的监测区域、故障类型。

上述实施例中，巡检机器人提供点位录制功能，可以由专业的操作人员通过启动点位录制功能，对目标巡检场景中各个巡检点的数据采集和故障类型执行一次标定获得标准化的场景地图数据，便于巡检机器人能够利用场景地图数据对目标巡检场景智能地进行巡检和故障检测，对任意复杂巡检场景的巡检故障检测效率和精准性均能够得到有效提升。

在一些实施例中，所述基于对所述巡检点的视频数据的设置操作，获取所述巡检点对应的监测设置数据，包括：

基于对所述巡检点的视频数据中需要进行监测的目标部位的框选操作，确定所述巡检点对应的监测区域；基于对所述目标部位需要监测的故障状态为静态故障或动态故障的设置，确定所述巡检点对应的故障类型。

操作人员可以通过查看各巡检点的视频数据，对视频数据进行设置来确定针对当前巡检点采集图像或视频数据后，需要关注是否存在故障的待识别目标在图像或视频数据中的所在位置，也即，需要进行监测的目标部位，将该目标部位通过对当前视频画面中框选操作标识出来，作为需要对图像或视频数据进行监测的监测区域。同时，操作人员对框选操作标识出来的待识别目标所可能存在的故障类型为静态故障或为动态故障进行设置，以标定出各个巡检点处对应可能存在的故障类型。

上述实施例中，专业的操作人员通过启动点位录制功能，针对各巡检点采集视频数据后，基于视频数据对当前巡检点对应需要监测的目标部位及故障类型进行标识，通过对目标巡检场景内所有巡检点分别开启点位录制功能，对各巡检点采集视频数据和完成对视频数据的设置操作后，得到目标巡检场景的场景地图数据，便于巡检机器人能够利用场景地图数据对目标巡检场景智能地进行巡检和故障检测，对任意复杂巡检场景的巡检故障检测效率和精准性均能够得到有效提升。

在一些实施例中，所述根据所述点位录制指令，在目标巡检场景内对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据，包括：

根据所述点位录制指令，逐一移动至所述目标场巡检场景内的各个巡检点的位置处，在各所述巡检点分别控制图像采集模块以指定拍摄参数采集对应的视频数据；或，

基于分别移动至所述目标场巡检场景内的各个巡检点的位置处接收到的点位录制指令，根据每一所述点位录制指令，在对应的当前巡检点控制图像采集模块以指定拍摄参数采集视频数据。

其中，通过点位录制功能来获得标准化的场景地图数据，可以包括两种主要实现方式，一是巡检机器人设置获取到点位录制指令后，则切换至点位录制模式下，巡检机器人逐一地移动至目标巡检场景内的各个巡检点，图像采集模块分别以相应的指定拍摄参数采集对应的视频数据，在保持点位录制模式的工作过程中，对各个巡检点的位置及针对各巡检点分别对应采集视频数据时的拍摄参数进行记录和存储，如此，可以通过一个点位录制指令让巡检机器人连续工作在点位录制模式中，依序完成对多个巡检点的点位录制操作。另一是巡检机器人每移动至一个巡检点的位置处，操作人员可以对点位录制按键进行一次按键操作，巡检机器人根据获取到点位录制指令后，针对当前巡检点的位置及在当前巡检点处对应采集视频数据时的拍摄参数进行记录和存储；巡检机器人再移动至下一巡检点的位置处，再次根据操作人员对点位录制按键的操作执行对当前所在巡检点的数据采集，巡检机器人再次对当前巡检点的位置及在当前巡检点处对应采集视频数据时的拍摄参数进行记录和存储；往复循环，直至对目标巡检场景内所有巡检点全部执行完成点位录制操作，如此，操作人员可以在巡检机器人精准地位于巡检点处且拍摄参数理想的情况下，开启点位录制功能，有利于提升单一巡检点处点位录制的精准性。需要说明的是，两种实现方式可以都具备，供操作人员在实际应用过程中选择使用，如，操作人员可以通过第一种实现方式完成点位录制后，再选择对其中个别巡检点通过第二种实现方式重新执行点位录制，确保场景地图数据的精准性。

上述实施例中，点位录制可设定巡检机器人在各个巡检点的停靠位置以及图像采集模块的拍摄高度、拍摄姿态，对各个巡检点进行视频图像录制，操作人员可利用针对各个巡检点开启点位录制所采集的视频图像，完成对各个巡检点对应的监控区域(即针对巡检点对应采集的图像或视频中需要监测的待识别目标所在的图像区域，如服务器中某指示灯的位置)的标识及对各巡检点处的故障类型(即待识别目标表示存在故障的对应报警状态，如服务器中某指示灯为红色为报警状态1，服务器中某指示灯闪烁时为报警状态2)进行设置，由此得到目标巡检场景的标准的场景地图数据。

可选的，所述获取巡检指令，包括如下至少之一：

接收后台服务端下发的和/或基于本地界面操作触发的开始巡检的控制指令，视为获取到巡检指令；

接收后台服务端下发的和/或基于本地界面操作配置生成的巡检任务，视为获取到巡检指令；

根据接收到的巡检任务中包含的巡检启动条件，在确定当前满足所述巡检启动条件时，视为获取到巡检指令。

操作人员可通过后台服务端对巡检机器人进行远程控制，也可以通过巡检机器人自身计算机设备的显示屏提供的操作界面进行本地控制。巡检机器人获取巡检指令，可以是巡检机器人接收到的操作人员通过远程控制或本地控制的方式发送的能够表征控制巡检机器人开启巡检的任意类型指令。本申请实施例中，巡检机器人可以在接收到开始巡检的控制指令、接收到巡检任务、或按照巡检任务中设定的巡检启动条件判断当前满足条件时，均可视为获取到巡检指令，如此，巡检机器人可以灵活地满足各种应用场景的开启执行巡检任务的需求，尤其是针对周期型巡检任务，巡检机器人可以在每个巡检周期到来时智能地开始执行巡检任务，并将故障检测结果及时上报。

在一些实施例中，所述根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据，包括：

根据各所述巡检点的故障类型分别采集图像类别或视频类别巡检数据；其中，针对故障类型为静态故障类型的所述巡检点，分别针对所述巡检点采集至少一张图像数据；针对故障类型为动态故障类型的所述巡检点，分别针对所述巡检点采集至少一段设定时长的视频数据。

其中，对于故障类型为静态故障类型的巡检点，设置巡检机器人针对相应巡检点采集的关联类别巡检数据为至少一张图像数据；利用对图像数据进行分析来完成对巡检点的静态故障类型进行检测识别，可以兼顾故障检测的准确性和效率。对于故障类型为动态故障类型的巡检点，设置巡检机器人针对相应巡检点采集的关联类别巡检数据为至少一段设定时长的视频数据，设定时长通常根据待识别目标在多个时刻下不同状态变化的变化周期有关，如根据闪烁灯的亮、灭变化周期，设定时长可以为3秒；利用对视频数据进行分析来完成对巡检点的动态故障类型进行检测识别，可以有效提升对需要根据待识别目标的动态变化来识别故障的故障检测的准确性。在实际应用中，巡检机器人根据巡检指令相应执行巡检任务的过程中，巡检机器人按照设定巡检路径移动，当每移动至一个巡检点时，根据场景地图数据确定当前巡检点的故障类型，控制图像采集模块以与当前巡检点的故障类型对应的采集模式采集巡检数据；如针对当前巡检点的故障类型为静态故障类型的情况下，控制图像采集模块以对应拍摄参数对当前巡检点采集对应张数的图像数据；针对当前巡检点的故障类型为动态故障类型的情况下，控制图像采集模块以对应拍摄参数对当前巡检点采集对应时长的视频数据。

在一些实施例中，所述基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果，包括：

针对故障类型为静态故障类型的各所述巡检点，基于与静态故障类型匹配的图像数据识别模式，通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果；

针对故障类型为动态故障类型的各所述巡检点，基于与动态故障类型匹配的视频数据识别模式，通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果。

其中，针对故障类型为静态故障类型的巡检点对应采集的图像数据，利用第一识别模型对图像数据进行分析，得到第一故障检测结果。针对故障类型为动态故障类型的巡检点对应采集的视频数据，利用第二识别模型对视频数据进行分析，得到第二故障检测结果。针对图像数据和视频数据的处理，分别针对性地设置第一识别模型和第二识别模型，第一识别模型和第二识别模型可以分别采用不同深度学习模型针对性训练后得到，本实施例中，第一识别模型使用基于深度学习的目标检测算法的图像识别模型，如yolov5模型，第二识别模型使用特征提取网络，如2D卷积骨干网络，结合自相关计算层和编码层形成的端到端识别模型，通过独立的两个模型分别对静态故障类型和动态故障类型的巡检数据进行分析，有利于提升故障检测的准确率，且利用并行算力提升识别效率。可选的，在实际应用中，巡检机器人根据巡检指令相应执行巡检任务的过程中，巡检机器人按照设定巡检路径移动，当每移动至一个巡检点时，按照与当前巡检点的故障类型对应的采集模式采集完巡检数据后，再按照相应的故障识别模式对巡检数据进行识别得到故障检测结果；其中，针对每一巡检点完成巡检数据的采集后，巡检数据可实时地由与故障类型相应的故障识别模式进行处理，也可将巡检数据存储待巡检任务完成后，再逐一对各巡检点相应采集到的巡检数据按照与巡检点故障类型相应的故障识别模式进行处理，本申请对此不做限定。

可选的，所述第一识别模型为图像识别神经网络模型；所述通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果，包括：

针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；

对配准后的所述图像数据进行目标检测，识别所述图像数据中目标对象的状态，根据所述目标对象的状态得到第一故障检测结果。

针对静态故障类型的巡检点采集的图像数据，第一识别模型首先可以对图像数据进行图像配准，其中，点位录制图像，是指对应所述巡检点进行点位录制时采集的视频数据中进行监测区域的框选操作和设置故障类型所使用的视频帧，通过对当前巡检采集的图像数据与对应的点位录制图像分别进行特征点提取，根据提取到的特征点对所述图像数据和对应的所述点位录制图像进行特征点匹配，可得到单应矩阵；利用该单应矩阵将所述图像数据向点位录制图像对齐，实现对图像数据的配准，以纠正巡检机器人因运动误差造成拍摄位置/拍摄角度等与点位录制状态不一致，而导致影响图像数据的识别准确性的问题，有利于提升后续故障检测的准确性。在一个可选的具体示例中，第一识别模型可采用基于深度学习的superglue配准算法来对图像数据进行配准，相对于已知的特征描述子的传统配准算法而言，superglue配准算法于光线变化较大且网格密级的巡检场景中采集的图像数据有较好的配准效果，从而尤其适用于数据机房的智能巡检过程中所采集的服务器图像的配准。

第一识别模型可使用基于深度学习的目标检测网络，对配准后的所述图像数据进行目标检测，识别所述图像数据中目标对象的状态。目标对象，可以是指图像数据的监测区域内用于判断是否存在故障的待识别目标，如服务器图像中指定位置的某指示灯。目标对象的状态，是指目标对象在当前采集的图像数据中所呈现的静态状态，如服务器图像中指定位置的某指示灯为亮、灭、点亮的颜色。

上述实施例中，第一识别模型对静态故障类型的巡检点采集的图像数据进行识别，首先利用对应巡检点的点位录制图像对图像数据进行配准，可以提升故障检测的准确性；通过对配准后的图像数据进行目标对象的状态的识别，根据识别到的目标对象的状态是否与预设状态一致，如识别到服务器图像中指定位置的某指示灯为红灯，而预设状态该指示灯为红灯则表示过热预警，从而可以根据对图像数据进行识别到的目标对象的状态得到第一故障检测结果。

可选的，所述第一识别模型为图像识别神经网络模型；所述通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果，包括：

针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；

分别对所述巡检点的配准后的所述图像数据和对应的所述点位录制图像进行目标检测，识别所述图像数据中目标对象的第一状态和所述点位录制图像中目标对象的第二状态，根据所述第一状态和所述第二状态是否一致，得到第一故障检测结果。

本实施例中，第一识别模型使用基于深度学习的目标检测网络，对配准后的所述图像数据进行目标检测，识别所述图像数据中目标对象的第一状态，且对相应的点位录制图像进行目标检测，识别所述图像数据中目标对象的第二状态，根据所述第一状态和所述第二状态是否一致来确定是否存在故障，如针对巡检点A，点位录制采集的视频数据中服务器上指示灯的状态均表示服务器处于正常工作状态，第一识别模型对巡检点A当前所采集的图像数据进行目标检测，识别服务器图像中指定位置的某指示灯为黄灯，对相应的点位录制图像进行目标检测，识别服务器图像中指定位置的该指示灯为绿灯，由于巡检点A当前采集的图像数据中指示灯的颜色与点位录制图像中指示灯的颜色不一致，表示当前存在故障。

其中，第一识别模型可以采用预训练的目标检测网络作为初始模型，再通过静态故障类型的训练集进行训练后得到，训练集可以是根据对各巡检点进行点位录制过程中采集的视频数据、以及巡检过程中在各巡检点采集的图像数据和视频数据制作得到，根据点位录制和巡检采集得到的图像，使用标注工具(labelImg)对每张图像中待识别目标的位置和状态进行标注，如，针对数据机房内的服务器图像，标注指示灯位置及颜色，指示灯颜色为红、黄、其它，标注的图像为1万张，指示灯数量大于10万，得到第一识别模型的训练集。

上述实施例中，通过将当前采集的图像数据中目标对象的状态的识别结果与点位录制下的目标对象的状态进行比较，根据当前巡检过程中目标对象的状态与定位录制时是否一致来判断是否存在故障，如此，操作人员可以通过点位录制下采集的视频数据来设置目标巡检场景的标准状态，依此作为后续巡检过程中判断是否存在故障的参考标准，这样对于一些未能进行预定义的故障也能够被准确地识别，也方便操作人员灵活的设置或变更一些故障判断准则，有利于提升对于任意复杂巡检场景的巡检故障检测效率和精准性，且大大提升巡检机器人切换不同的巡检场景的适应性。

在一些实施例中，所述第二识别模型为端到端的检测识别模型，所述通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果，包括：

针对故障类型为动态故障类型的每一所述巡检点，通过所述第二识别模型将所述巡检点的所述视频数据进行分帧得到视频帧，基于2D卷积网络对所述视频帧进行特征提取，得到各所述视频帧的图像特征；

通过自相关计算层对所述视频帧的图像特征进行自相关计算，得到包含每一视频帧与其它所述视频帧的帧间关系特征的空间图像特征；

通过编码层对所述空间图像特征进行编码和分类预测，识别各所述视频帧中目标对象的状态，根据所述目标对象的状态得到第二故障检测结果。

针对动态故障类型的巡检点采集的视频数据，第二识别模型首先对视频数据进行分帧处理，将其拆分为多个视频帧。在一个可选的具体示例中，分帧处理可如下公式一：

input是指视频数据中监测区域对应的视频，对拆分的多个视频帧归一化为0-1值，并缩放到128*128大小。基于2D卷积网络，如残差神经网络Resnet和轻量化卷积神经网络Mobilenet等对视频帧进行特征提取，将视频数据拆分得到的视频帧逐帧循环输入到2D卷积网络，得到各个视频帧对应的特征提取结果。自相关计算层，通过自相关矩阵，将多个视频帧之间的时序特征映射到具有帧间关系特征的空间图像特征。以特征矩阵X为例，通过自相关计算层的计算X×X^T(X^T是指自相关矩阵)，根据输入feature1*frame*feature2，可得到包含空间图像特征的输出为feature1*frame*frame，其中feature1、feature2对应的是特征数，frame是帧数，该输出即为每一帧与其它帧的相互关系。编码层可采用Transformer(一种基于自注意力机制self-attention的深度学习模型)和全连接层实现，通过全连接层进行维度变换，学习更加复杂的特征表达，将Transformer输出的线性组合通过激活函数提供非线性，得到最终的用于表征目标对象的状态的分类结果输出，如输出为f*(2+1)，其中f为视频帧的帧数，2是每帧闪烁灯的状态，对应的是亮或灭，1是当前帧对应的闪烁频率，以输出表征每一帧内指示灯状态和对应频率的分类结果。

请参阅图4，为第二识别模型的可选的架构示意图，包括对视频数据进行分帧处理的前处理层及与前处理层连接的识别网络，所述识别网络包括依序连接的2D卷积网络、自相关计算层和编解码层。请参阅图5，为动态故障类型的巡检点的故障检测工作流程图，包括点位录制、利用点位录制的视频进行设置获得标准化的场景地图数据，利用点位录制的视频进行训练集的制作，对第二识别模型进行训练，以及利用训练后的第二识别模型完成对巡检中采集的视频数据进行故障检测并输出识别结果。

上述实施例中，第二识别模型针对动态故障类型的巡检点采集的视频数据先进行拆帧处理，利用自相关计算层对拆帧后得到的分离的视频帧分别提取的图像特征加入体现帧间关系的时序特征，再利用编码层得到可表征目标对象的状态的分类结果，如此，不仅可以实现输入为视频数据，输出为每一帧中目标对象的状态的端到端识别模型，而且在可利用基于深度学习的2D卷积网络的图像检测算法实现较高识别率的基础上，保留对帧间相关关系的利用，使得预测更准确。

在一些实施例中，所述通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果之前，包括：

构建初始的第二识别模型；

获取故障类型为动态故障类型的所述巡检点的视频数据，从所述视频数据中截取表征所述巡检点的动态故障变化的多帧图像；

对所述多帧图像的类别和频率进行标注，利用标注后的所述多帧图像随机生成样本视频数据；

利用所述样本视频数据对所述初始的第二识别模型进行训练，得到训练后的第二识别模型。

针对第二识别模型进行训练的训练集，可以是根据对各巡检点进行点位录制过程中采集的视频数据、以及巡检过程中在各巡检点采集的图像数据和视频数据制作得到。第二识别模型的训练集，利用带有类别和频率标注、且能够表征巡检点的动态故障变化的多帧图像随机生成得到样本视频数据，如此，只需要选取能够体现动态故障变化的多张图像进行标注即可，不需要对视频数据的每一视频帧做标签，可以大大降低人工标注成本。以动态故障类型为指示灯闪烁为例，仅需选取指示灯亮、灭各一张图像进行标注，生成一定帧数的闪烁灯视频，并生成每一视频帧的类别及频率标签，从而得到闪烁灯的样本视频数据作为第二识别模型的训练集。

上述实施例中，针对动态故障类型的巡检点采集的视频数据进行分析，以进行故障检测的第二识别模型的训练集的制作，采用表征巡检点的动态故障变化的多帧图像随机生成得到，可以降低人工标注成本，且能够获得更加充分的训练数据对第二识别模型进行训练，可使得第二识别模型的预测更准确。

可选的，以目标巡检场景为数字机房为例，所述静态故障类型为静态灯故障，所述动态故障类型为闪烁灯故障；所述方法还包括：

根据所述故障检测结果发出故障报警提示；

其中，针对静态故障类型的所述巡检点对应的故障报警提示包括无灯、亮灯、灯的当前颜色，针对动态故障类型的所述巡检点对应的故障报警提示包括出现闪烁灯、没有闪烁灯。

数字机房内的故障检测，需要对服务器上各个指示灯的状态进行精准地识别，静态灯故障判断可以分为指定状态和状态改变，指定状态可以是指示灯不亮、红灯、黄灯等，监测区域内故障报警提示可以是区域内检测到灯的数量为0，sum(area)＝0，区域出现任意红灯any(area)＝red，区域出现任意黄灯any(area)＝yellow，指定状态可以提高故障灯的识别率并能降低误报率。状态改变可以是检测到监测区域内灯的状态(无灯、亮灯、灯的当前颜色)录制时不一致，若不一致则表示故障。动态灯故障判断可以通过识别视频数据中每一视频帧的闪烁频率，sum(每帧的闪烁频率)>＝1，则是存在闪烁，sum(每帧的闪烁频率)<1，则是不闪烁，并根据监测区域内闪烁灯的识别结果输出出现闪烁灯或没有闪烁灯对应的故障告警提示。

为了能够对本申请实施例所提供的故障检测方法具有更加整体的理解，请结合参阅图6和图7，以目标巡检场景为数字机房为例，对故障检测方法进行说明。所述故障检测方法包括：

S11，巡检机器人移动至目标巡检场景内各个巡检点，进行点位录制；点位录制可设定巡检机器人在每一服务器机柜的停靠位置(巡检点)以及相机高度和拍摄角度(图像采集模块的拍摄位姿)，并采集视频数据。

S12，基于点位录制的视频数据，对各巡检点进行监测区域设定和故障类型设置，得到场景地图数据；操作人员可以在S11保存的视频数据的基础上，使用软件进行框定，设定需要检测指示灯的区域及报警状态。如图8所示，为监测区域和故障类型设置的示意图，其中服务器机柜中网格紧密，对指示灯状态的识别干扰较大；且监测区域可以包含多个指示灯，区域大小也没有限制，会对闪烁灯识别增加难度。在具体示例中，定义的故障类型分为静态灯故障和闪烁灯故障，静态灯故障的报警状态可以有无灯，亮灯，变为红色，变为黄色；闪烁灯故障可为出现闪烁灯，没有闪烁灯。

S13，根据点位录制和/或巡检采集的图像数据、视频数据，制作对静态灯故障类型进行分析的第一识别模型的静态灯训练集，和对闪烁灯故障类型进行分析的第二识别模型的闪烁灯训练集；

静态灯训练集，从点位录制及巡检采集的图片，使用labelImg标注工具对每个指示灯标注位置及颜色，利用标注后的图片得到静态灯训练集。

闪烁灯训练集，从点位录制及巡检采集的视频，截取闪烁灯区域亮、灭各一张图片，利用随机选取亮、灭图片随机生成一定帧数的闪烁灯视频，并生成每一视频帧的类别及频率标签，利用随机生成的闪烁灯视频得到闪烁灯训练集；

S14，通过静态灯训练集和闪烁灯训练集分别对第一识别模型和第二识别模型进行训练，得到训练后的第一识别模型和第二识别模型。

S15，巡检机器人根据巡检指令，根据场景地图数据执行巡检，根据点位录制时的设定使得巡检机器人分别移动至各个巡检点控制相机在指定高度和拍摄角度进行拍摄，对静态灯故障的巡检点处拍摄图像，对闪烁灯故障的巡检点处拍摄视频；在一具体示例中，对每一巡检点完成拍摄后，巡检机器人会调用后续识别模型的api接口，将采集到的图像或视频的保存路径发给识别模型，再移动至下一巡检点。

S16，对静态灯故障的巡检点拍摄的图像数据，第一识别模型对图像数据进行配准，对配准后的图像数据进行识别，检测出图像数据中监测区域内指示灯的位置及颜色，并判断是否存在故障。

对图像数据进行配准，是通过点位录制时的图像与巡检时的图像进行特征点匹配，可得到单应矩阵，该单应矩阵可将巡检图像向点位录制图像对齐，从而可纠正巡检机器人因运动误差造成拍摄位置和角度不一致的问题，请参阅图9，为对巡检采集到的图像数据进行配准的可选示意图，将巡检图像对齐后与点位录制图像融合，可发现巡检机器人存在移动误差，需要纠正误差。数字机房内服务器机柜的网格较密集，基于特征描述子的传统算法，匹配效果较差，本发明采用基于深度学习superglue配准算法，在光线变化较大及网格密集的场景均有较好的配准效果。对配准后的图像数据进行识别，可采用yolov5模型，通过训练后，指示灯检测的准确率>98％。

判断是否存在故障，是指根据监测区域设定，首先判断当前区域是否为静态灯，然后根据对故障灯状态的识别结果，判断是否存在静态灯故障。静态灯故障判断可以是指定故障状态判断和状态改变判断，指定故障状态判断为当监测区域内指示灯状态为指定状态：不亮，红灯，黄灯时，对应的故障确定逻辑为：区域内为检测到灯的数量为0，sum(area)＝0，区域出现任意红灯any(area)＝red，区域出现任意黄灯any(area)＝yellow。指定故障状态可以提高故障灯的识别率并能降低误报率。状态改变判断为当监测区域内故障状态为状态改变时，会识别点位录制时的图像，并比较灯的数量与颜色是否完全一致，若不一致则存在故障。

S17，对动态灯故障的巡检点拍摄的视频数据，第二识别模型将视频数据拆分为多个视频帧，对各视频帧进行特征提取后进行自相关计算，根据各视频帧的自相关计算结果进行编码和分类预测，识别视频数据中检测区域内指示灯的闪烁状态，并判断是否存在故障。

第二识别模型的输入为监测区域对应的视频，将视频数据按照前述公式一拆分为多个视频帧，并对其每一帧图像归一化为0-1的值，缩放到128*128大小。对各视频帧进行特征提取，可通过基于2D卷积的骨干网络，如Resnet和Mobilenet等，采用逐帧循环输入到2D卷积的骨干网络实现视频数据的特征提取。对各视频帧的特征提取结果进行自相关计算，通过自相关矩阵，将各视频帧从时序特征映射到具有帧间相互关系的空间特征，从而可以使用2D卷积的骨干网络进行特征提取，获得每一帧与其它帧的相互关系。根据各视频帧的自相关计算结果进行编码和分类预测，是指采用Transformer和全连接层实现的编解码层，输出分类预测结果为f*(2+1)，其中f为视频的帧数，2是每帧闪烁灯的状态，对应的是亮或灭，1是当前帧对应的闪烁频率。

判断是否存在故障，是指根据监测区域设定，首先判断当前区域是否为闪烁灯，然后根据第二识别模型对闪烁灯状态的识别结果，判断是否存在闪烁灯故障。闪烁灯状态的识别结果，包括视频中每帧的闪烁频率，sum(每帧的闪烁频率)>＝1，则是存在闪烁，sum(每帧的闪烁频率)<1，则是不闪烁，然后与监测区域内故障状态判断是否一致，确定出现闪烁灯故障或没有闪烁灯故障。请参阅图10，为闪烁灯亮灯和关灯的两帧图像的示意图，闪烁灯区域周围包含其它常亮灯，亮度也不如常亮灯亮，需要第二识别模型提升闪烁灯状态的识别准确性。

上述实施例提供的故障检测方法，至少具备如下特点：

第一、在点位录制的各巡检点的视频数据上设定监测区域及故障类型，可直观看到闪烁灯和常亮灯，监测区域内可包含多个常亮指示灯，基于指示灯故障类型对应的完善的报警规则，提高故障灯检出率，并能降低误报率。

第二、巡检机器人可根据故障类型适时的切换拍照和视频录制，实现常亮灯和闪烁灯的识别。

第三、巡检中针对巡检点采集的图像，第一识别模型使用基于深度学习的配准算法，抵消巡检机器人的移动误差，在机房内网格密集的场景也能较好的对齐。

第四，巡检中针对巡检点采集的视频，第二识别模型通过拆分处理和自相关计算，与2D图像的特征提取网络配合，减少视频数据中闪烁灯状态检测的计算量，又可保留帧间时序特征，使闪烁灯状态及频率预测更准确，第二识别模型形成为端到端识别模型，可以视频为输入，直接输出分类和频率，不需要后处理。

第五，第二识别模型的训练集的制作，通过随机选取指示灯亮、灭各一张图片随机生成样本视频数据，不需要对视频的每一帧做标签，不需要标注闪烁灯的位置，可以降低人工标注成本，且闪烁灯图片在选取时可以允许常亮灯存在。

请参阅图11，本申请另一方面，提供一种故障检测装置，包括：获取模块21，用于获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；巡检模块22，用于获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；识别模块23，用于基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

可选的，所述获取模块21，用于根据获取到的点位录制指令，在目标巡检场景内对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据；所述指定拍摄参数包括指定的拍摄高度和拍摄姿态；基于对所述巡检点的视频数据的设置操作，获取所述巡检点对应的监测设置数据；所述监测设置数据包括所述巡检点对应的监测区域、故障类型；根据各所述巡检点对应的位置、拍摄参数及监测设置数据，得到所述目标巡检场景的场景地图数据。

可选的，所述获取模块21，还用于基于对所述巡检点的视频数据中需要进行监测的目标部位的框选操作，确定所述巡检点对应的监测区域；基于对所述目标部位需要监测的故障状态为静态故障或动态故障的设置，确定所述巡检点对应的故障类型。

可选的，所述获取模块21，还用于根据所述点位录制指令，逐一移动至所述目标场巡检场景内的各个巡检点的位置处，在各所述巡检点分别控制图像采集模块以指定拍摄参数采集对应的视频数据；或，基于分别移动至所述目标场巡检场景内的各个巡检点的位置处接收到的点位录制指令，根据每一所述点位录制指令，在对应的当前巡检点控制图像采集模块以指定拍摄参数采集视频数据。

可选的，所述巡检模块22，还用于通过如下至少之一获取巡检指令：接收后台服务端下发的和/或基于本地界面操作触发的开始巡检的控制指令，视为获取到巡检指令；接收后台服务端下发的和/或基于本地界面操作配置生成的巡检任务，视为获取到巡检指令；根据接收到的巡检任务中包含的巡检启动条件，在确定当前满足所述巡检启动条件时，视为获取到巡检指令。

可选的，所述巡检模块22，还用于根据各所述巡检点的故障类型分别采集图像类别或视频类别巡检数据；其中，针对故障类型为静态故障类型的所述巡检点，分别针对所述巡检点采集至少一张图像数据；针对故障类型为动态故障类型的所述巡检点，分别针对所述巡检点采集至少一段设定时长的视频数据。

可选的，所述识别模块23，用于针对故障类型为静态故障类型的各所述巡检点，基于与静态故障类型匹配的图像数据识别模式，通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果；针对故障类型为动态故障类型的各所述巡检点，基于与动态故障类型匹配的视频数据识别模式，通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果。

可选的，所述识别模块23，还用于针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；对配准后的所述图像数据进行目标检测，识别所述图像数据中目标对象的状态，根据所述目标对象的状态得到第一故障检测结果。

可选的，所述识别模块23，还用于针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；分别对所述巡检点的配准后的所述图像数据和对应的所述点位录制图像进行目标检测，识别所述图像数据中目标对象的第一状态和所述点位录制图像中目标对象的第二状态，根据所述第一状态和所述第二状态是否一致，得到第一故障检测结果。

可选的，所述识别模块23，还用于针对故障类型为动态故障类型的每一所述巡检点，通过所述第二识别模型将所述巡检点的所述视频数据进行分帧得到视频帧，基于2D卷积网络对所述视频帧进行特征提取，得到各所述视频帧的图像特征；通过自相关计算层对所述视频帧的图像特征进行自相关计算，得到包含每一视频帧与其它所述视频帧的帧间关系特征的空间图像特征；通过编码层对所述空间图像特征进行编码和分类预测，识别各所述视频帧中目标对象的状态，根据所述目标对象的状态得到第二故障检测结果。

可选的，还包括训练模块，用于构建初始的第二识别模型；获取故障类型为动态故障类型的所述巡检点的视频数据，从所述视频数据中截取表征所述巡检点的动态故障变化的多帧图像；对所述多帧图像的类别和频率进行标注，利用标注后的所述多帧图像随机生成样本视频数据；利用所述样本视频数据对所述初始的第二识别模型进行训练，得到训练后的第二识别模型。

可选的，还包括报警模块，用于根据所述故障检测结果发出故障报警提示；其中，针对静态故障类型的所述巡检点对应的故障报警提示包括无灯、亮灯、灯的当前颜色，针对动态故障类型的所述巡检点对应的故障报警提示包括出现闪烁灯、没有闪烁灯。

需要说明的是：上述实施例提供的故障检测装置在实现巡检过程的故障检测过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分方法步骤。另外，上述实施例提供的故障检测装置与故障检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参阅图12，本申请实施例另一方面，还提供一种巡检机器人，包括存储器1141、处理器1142及图像采集模块115；所述图像采集模块115用于根据所述处理器1142的控制采集关联类别巡检数据，所述存储器1141存储有计算机程序，所述计算机程序被所述处理器1142执行时，使得所述处理器1142执行如本申请任一实施例所述的故障检测方法。

本申请实施例另一方面，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述故障检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，计算机，服务器等)执行本发明各个实施例所述的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种故障检测方法，应用于巡检机器人，其特征在于，包括：

获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；

获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；

基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

2.如权利要求1所述的故障检测方法，其特征在于，所述获取目标巡检场景的场景地图数据，包括：

根据获取到的点位录制指令，在目标巡检场景内对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据；所述指定拍摄参数包括指定的拍摄高度和拍摄姿态；

基于对所述巡检点的视频数据的设置操作，获取所述巡检点对应的监测设置数据；所述监测设置数据包括所述巡检点对应的监测区域、故障类型；

根据各所述巡检点对应的位置、拍摄参数及监测设置数据，得到所述目标巡检场景的场景地图数据。

3.如权利要求2所述的故障检测方法，其特征在于，所述基于对所述巡检点的视频数据的设置操作，获取所述巡检点对应的监测设置数据，包括：

基于对所述巡检点的视频数据中需要进行监测的目标部位的框选操作，确定所述巡检点对应的监测区域；基于对所述目标部位需要监测的故障状态为静态故障或动态故障的设置，确定所述巡检点对应的故障类型。

4.如权利要求2所述的故障检测方法，其特征在于，所述根据所述点位录制指令，在目标巡检场景内对应巡检点的位置处控制图像采集模块以指定拍摄参数采集视频数据，包括：

根据所述点位录制指令，逐一移动至所述目标场巡检场景内的各个巡检点的位置处，在各所述巡检点分别控制图像采集模块以指定拍摄参数采集对应的视频数据；或，

基于分别移动至所述目标场巡检场景内的各个巡检点的位置处接收到的点位录制指令，根据每一所述点位录制指令，在对应的当前巡检点控制图像采集模块以指定拍摄参数采集视频数据。

5.如权利要求1所述的故障检测方法，其特征在于，所述获取巡检指令，包括如下至少之一：

接收后台服务端下发的和/或基于本地界面操作触发的开始巡检的控制指令，视为获取到巡检指令；

接收后台服务端下发的和/或基于本地界面操作配置生成的巡检任务，视为获取到巡检指令；

根据接收到的巡检任务中包含的巡检启动条件，在确定当前满足所述巡检启动条件时，视为获取到巡检指令。

6.如权利要求1所述的故障检测方法，其特征在于，所述根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据，包括：

根据各所述巡检点的故障类型分别采集图像类别或视频类别巡检数据；其中，针对故障类型为静态故障类型的所述巡检点，分别针对所述巡检点采集至少一张图像数据；针对故障类型为动态故障类型的所述巡检点，分别针对所述巡检点采集至少一段设定时长的视频数据。

7.如权利要求6所述的故障检测方法，其特征在于，所述基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果，包括：

针对故障类型为静态故障类型的各所述巡检点，基于与静态故障类型匹配的图像数据识别模式，通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果；

针对故障类型为动态故障类型的各所述巡检点，基于与动态故障类型匹配的视频数据识别模式，通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果。

8.如权利要求7所述的故障检测方法，其特征在于，所述第一识别模型为图像识别神经网络模型；所述通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果，包括：

针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；

对配准后的所述图像数据进行目标检测，识别所述图像数据中目标对象的状态，根据所述目标对象的状态得到第一故障检测结果。

9.如权利要求7所述的故障检测方法，其特征在于，所述第一识别模型为图像识别神经网络模型；所述通过第一识别模型对所述巡检点的所述图像数据进行识别，得到第一故障检测结果，包括：

针对故障类型为静态故障类型的每一所述巡检点，通过第一识别模型对所述巡检点的所述图像数据与对应的点位录制图像进行特征点提取，对所述图像数据和对应的所述点位录制图像进行特征点匹配，以对所述图像数据进行配准；

分别对所述巡检点的配准后的所述图像数据和对应的所述点位录制图像进行目标检测，识别所述图像数据中目标对象的第一状态和所述点位录制图像中目标对象的第二状态，根据所述第一状态和所述第二状态是否一致，得到第一故障检测结果。

10.如权利要求7所述的故障检测方法，其特征在于，所述第二识别模型为端到端的检测识别模型，所述通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果，包括：

针对故障类型为动态故障类型的每一所述巡检点，通过所述第二识别模型将所述巡检点的所述视频数据进行分帧得到视频帧，基于2D卷积网络对所述视频帧进行特征提取，得到各所述视频帧的图像特征；

通过自相关计算层对所述视频帧的图像特征进行自相关计算，得到包含每一视频帧与其它所述视频帧的帧间关系特征的空间图像特征；

通过编码层对所述空间图像特征进行编码和分类预测，识别各所述视频帧中目标对象的状态，根据所述目标对象的状态得到第二故障检测结果。

11.如权利要求10所述的故障检测方法，其特征在于，所述通过第二识别模型对所述巡检点的所述视频数据进行识别，得到第二故障检测结果之前，包括：

构建初始的第二识别模型；

获取故障类型为动态故障类型的所述巡检点的视频数据，从所述视频数据中截取表征所述巡检点的动态故障变化的多帧图像；

对所述多帧图像的类别和频率进行标注，利用标注后的所述多帧图像随机生成样本视频数据；

利用所述样本视频数据对所述初始的第二识别模型进行训练，得到训练后的第二识别模型。

12.如权利要求1至11中任一项所述的故障检测方法，其特征在于，所述静态故障类型为静态灯故障，所述动态故障类型为闪烁灯故障；所述方法还包括：

根据所述故障检测结果发出故障报警提示；

其中，针对静态故障类型的所述巡检点对应的故障报警提示包括无灯、亮灯、灯的当前颜色，针对动态故障类型的所述巡检点对应的故障报警提示包括出现闪烁灯、没有闪烁灯。

13.一种故障检测装置，其特征在于，包括：

获取模块，用于获取目标巡检场景的场景地图数据；其中，所述场景地图数据包括所述目标巡检场景内的各巡检点的位置及故障类型，所述故障类型包括静态故障类型和动态故障类型；

巡检模块，用于获取巡检指令，根据所述巡检指令在所述目标巡检场景内按照设定巡检路径移动至各所述巡检点，根据各所述巡检点的故障类型分别对各所述巡检点采集关联类别巡检数据；

识别模块，用于基于与各所述巡检点的故障类型匹配的故障识别模式，分别对各所述巡检点的所述关联类别巡检数据进行识别，得到各所述巡检点的故障检测结果。

14.一种巡检机器人，其特征在于，包括存储器、处理器及图像采集模块；所述图像采集模块用于根据所述处理器的控制采集关联类别巡检数据，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12任一项所述故障检测方法。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12任一项所述故障检测方法。

Images