CN116311034A - 一种基于对比检测的机器人巡检系统 - Google Patents

Abstract

本发明公开了一种基于对比检测的机器人巡检系统，包括：通用视频监控模块、对比检测模块、异常识别模块以及告警通知模块；其中，通用视频监控模块包括：服务端模块用于任务控制和设备配置，客户端模块用于人机交互和视频展示，视频感知模块用于视频推流和预处理；对比检测模块包括：在初始设置阶段设置所述待检测的设备在非异常状态时的图片，在实时运行阶段将采集到的图片与初始阶段设置的图片进行对比检测，判断异常，并对异常进行定位；所述异常识别模块用于对异常进行识别；告警通知模块用于记录异常并进行告警通知。

Description

一种基于对比检测的机器人巡检系统

技术领域

本发明涉及一种机器人巡检系统，特别是一种基于对比检测的机器人巡检系统。

背景技术

目前，中国的许多厂房、仓库和基础设施的监测维护主要还是依靠人工巡检的作业方式。例如电力行业的变电站、物流行业的仓储等。在高压、超高压以及恶劣气象条件下，人工作业方式不仅人身危险性大，而且对设施的安全运行也带来一定隐患。智能巡检系统利用巡检机器人沿着既定的导航路线进行设备自动巡检，利用其自带的可见光和热成像摄像头实现设施监测维护的无人值守或者少人值守。智能巡检系统具有以下优势：减少人员疏忽、漏检等带来的设备损失，提高设施的运行质量；减少系统的人员投入，降低人员成本；减少不利环境对人的慢性健康危害。

当前的巡检机器人对于设备异常的定位识别的自动化，一般基于通用或者在特定数据集上的特质化检测深度模型，它的特点是需要大量的训练数据集和人工标注，成本巨大，如果出现了新的设备或者新的需求，需要进行数据标注和重新训练；另外要想深度模型具有好的效果，往往需要参数量较大的模型，对于机器人的计算设备成本有不小的挑战。

而如果基于变化对比检测方法的巡检系统则可以在克服上述局限性的同时，又能达到造价低、准确性高等要求。但是基于对比检测方法需要特定的流程和方法，需要对现有的巡检系统做出调整和改动，调整过程中会出现很多重复的工作，造成调整效率较低。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于对比检测的机器人巡检系统。

为了解决上述技术问题，本发明公开了一种基于对比检测的机器人巡检系统，包括：通用视频监控模块、对比检测模块、异常识别模块以及告警通知模块；

其中，所述通用视频监控模块，包括：服务端模块、客户端模块以及视频感知模块，所述服务端模块用于任务控制和设备配置，客户端模块用于人机交互和视频展示，视频感知模块用于视频推流和预处理，服务端模块和客户模块之间采用远程调用协议进行通信，客户端模块和视频感知模块之间采用实时流传输协议进行通信；

所述对比检测模块，包括：初始设置阶段和实时运行阶段，在初始设置阶段设置所述待检测的设备在非异常状态时的图片，在实时运行阶段将采集到的图片与初始阶段设置的图片进行对比检测，判断异常，并对异常进行定位；

所述异常识别模块，根据对比检测模块的检测结果，对定位到的异常进行比对，判断异常类别或者判断为误检测，判断为误检测时在通用视频监控模块中不予显示；

所述告警通知模块，用于在检测到异常时，记录异常并进行告警通知。

有益效果：

采用前述系统，不需要大量标注数据，也能达到yolo检测模型的性能。本发明在系统和过程中的改进，即避免了传统方法泛化性不高的缺点，又克服了深度模型需要大量标注数据和计算资源的问题，能够在资源有限的情况下，避免人工巡检费时费力以及安全问题，实时监测，及时得到告警反馈。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的流程示意图。

图2为本发明系统的通用视频监控模块中的前端界面示意图。

具体实施方式

实施例：

本发明实施例公开一种基于对比检测的机器人巡检系统，本系统应用于需要成本较低、便捷高效的巡检系统的场景。当没有足够的训练数据和较低的计算资源时，现有巡检系统则很难正常工作或达到预期效果。本系统设置了两阶段的流程，通过在初始阶段设置基准图，然后在运行时进行对比检测，可以大大减少对标注数据的需求，从而减少为此付出的人工标注的时间和金钱成本。本系统由于采用的方法对计算资源需求较低，可以很容易的部署到边缘设备，特别是机器人这一类平台上，极大地改善了系统地适用性和可移植性。在保证一定检测准确率地情况下，方便了系统地部署，降低了应用的成本，提高了巡检的效率和安全性。

本发明实施例公开一种基于对比检测的机器人巡检系统，所述系统的使用包括两个阶段，如图1所示：初始阶段和运行阶段。

所述初始阶段，包括机器人路径规划、机器人点位设置、分时段和季节设定基准图、基准图入库。所述机器人路径规划，即在变电站等地点设置机器人的巡检路线。所述机器人点位设置，即对于需要关注的设备设置机器人停靠位置以及姿态调整的十字标记。所述分时段和季节设定基准图，即在光照条件差别较大的几个时段和季节拍摄基准图。所述基准图入库，即对每个点位保存基准图以供运行阶段调取。

所述运行阶段，包括机器人巡检、机器人停靠点位、机器人调整姿态、对比检测、异常识别、异常处理。所述机器人巡检是机器人按照规划的路径进行巡检。所述机器人停靠点位，即机器人在有标记的地方停止。所述机器人调整姿态，即机器人按照十字标记，调整视像头的姿态。所述对比检测，即综合基准图和当前拍摄的图片进行变化区域对比检测。所述异常识别模块即，对检测出的变化区域判断是否是真的异常还是误检测。所述异常处理，即对异常进行告警，通知相关工作人员处理。

本发明实施例公开一种基于对比检测的机器人巡检系统，所述系统包括：通用视频监控模块、对比检测模块、识别模块以及告警通知模块。

所述通用视频监控模块，包括服务端模块和客户端模块以及视频感知模块，所述服务端模块和客户模块之间采用远程调用协议进行通信，客户端模块和视频感知模块之间采用实时流传输协议进行通信；

所述对比检测模块，包括初始设置阶段和实时运行阶段。初始设置阶段设置正常的设备状态图片，实时运行阶段对比初始阶段的设置，对异常进行定位。

所述识别模块，根据对比模块的结果，对定位的异常进行比对，给出异常类别或者标注为误检测，在通用视频监控模块中不予显示。

所述告警通知模块，用于在发生异常时，记录异常并告知相关人员做进一步处理。

图像有效性检测，所谓有效性检测，即确认是否出现摄像头设备所引起的花屏、丢帧，以及使用过程中出现的遮挡、运动模糊。

图像标定变换，所谓图像标定变换，即由于不同摄像头设备使用的光学部件不用引起拍摄的图片的畸变有所不用，需要调整到同一范式下。

图像对比检测模块，即利用对比两张图的方式对差别区域进行定位。两张图片由于摄像头的姿态的略微差异，会产生不同的视角，对比算法需要排除视角原因产生的差异，而只保留目标变化的部分。

此外，本发明实施例还公开了一种基于对比检测的机器人巡检方法，步骤包括

步骤101，初始设置，包括：机器人路径规划、机器人点位设置、分时段和季节设定基准图、基准图入库。

具体的，机器人路径规划，可以在机器人SLAM生成好的点云场景中，手动规划好机器人运行的路线，并设置好需要自动停靠的点位。当机器人停靠在点位时，光学镜头捕捉姿态提示图片，例如十字标记等视觉标记，调整摄像头姿态，拍摄基准图。通过摄像头采集基准图片，基准图片每个点位，需要在光照条件差异很大的各个时段以及季节都进行采集，这样可以提高对比检测阶段的准确率。基准图入库，需要将基准图用数据库保存起来，以供系统在运行阶段进行调用。

步骤102，训练模型，所述模型包括异常识别模型；

具体的，本步骤中，因为需要判断图片是否是异常，然后是异常的话，是何种异常，而训练的数据只包含带标签的异常数据，一般的方法没法通过此数据训练可以区分异常和非异常的模型。由于异常是一种具有破坏性的样本数据，不存在，没有异常的，人为破坏引入异常而构造同时有异常和非异常数据。所以本步骤方法是将图片转化为特征向量，根据其和异常类别特征向量的距离是否满足阈值来判断是否是异常类别。本步骤中，特征向量的训练是识别模型训练的主要部分。

步骤201，系统前端通过实时流传输协议和边缘端进行连接，这里为机器人平台上的摄像头，实时传输视频流。当机器人运行到预定点位并调整好摄像头姿态后，启动对比检测功能，前端将获取的实时图片和点位信息传输到对比检测模块。

步骤202，对比检测接受到实时图片，并根据点位信息从数据库中调取对应的基准图，进行对比检测。

具体的，本对比检测模块由于计算复杂度低，既可以部署在边缘端的机器人平台上，也可以部署在云服务器上。本步骤中的对比检测方法，会先计算实时图和基准图的关键点，以及关键点的特征描述算子，对于每个实时图的特征描述算子计算候选的基准图中最接近的特征描述算子。对于匹配的每一对特征描述算子，首先会使用一些先验的过滤方法，过滤掉明显不匹配的对，再利用向量场一致检验的方法，较为精确地过滤错误配对地对。再对剩下的关键点对，应用单应性变换矩阵求解，将变换矩阵一致的点对划为一组。对实时图进行格点采样，用刚才计算好变换矩阵的点作为格点应该使用的变换矩阵的指导，这里采用最近邻投票的方法。对实时图的格点应用变换矩阵，对于还落在基准图里的点，计算特征描述子，如果和实时图的对应关键点的特征描述子差异很大，则视为一个变化点。计算出所有的变化点后，对于相近的变化点，计算一个矩形框可以容纳这些变化点，视为一个变化区域。返回实时图和对应的变化区域信息。

步骤301，前端接受实时图和对应的变化区域信息，将变化区域从实时图中裁剪出来，将图片发送到异常识别模块。

步骤302，异常检测模块计算图片的特征向量，并和已注册的异常的特征向量进行比对，输出是否是异常，如果是异常，输出异常种类。

具体的，对于异常的判定，可以根据所需要的召回率和准确率设置合适的阈值，如果被所有的异常类别拒绝，则认为是正常，否则选择最相似的异常向量作为异常类别。

步骤401，系统前端接受异常检测模块的返回信息，如果判断为异常，则在日志中做好记录，并查询处理方案，报送相关人员进行后续处理。如果判定为正常则继续后续的巡检目标。

具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于对比检测的机器人巡检系统的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机，MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种基于对比检测的机器人巡检系统的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于对比检测的机器人巡检系统，其特征在于，包括：通用视频监控模块、对比检测模块、异常识别模块以及告警通知模块；

其中，所述通用视频监控模块，包括：服务端模块、客户端模块以及视频感知模块，所述服务端模块用于任务控制和设备配置，客户端模块用于人机交互和视频展示，视频感知模块用于视频推流和预处理，服务端模块和客户模块之间采用远程调用协议进行通信，客户端模块和视频感知模块之间采用实时流传输协议进行通信；

所述对比检测模块，包括：初始设置阶段和实时运行阶段，在初始设置阶段设置所述待检测的设备在非异常状态时的图片，在实时运行阶段将采集到的图片与初始阶段设置的图片进行对比检测，判断异常，并对异常进行定位；

所述异常识别模块，根据对比检测模块的检测结果，对定位到的异常进行比对，判断异常类别或者判断为误检测，判断为误检测时在通用视频监控模块中不予显示；

所述告警通知模块，用于在检测到异常时，记录异常并进行告警通知。

2.根据权利要求1所述的一种基于对比检测的机器人巡检系统，其特征在于，所述系统运行包括两个阶段：初始阶段和运行阶段；

其中，所述初始阶段，包括：机器人路径规划、机器人点位设置、分时段和季节设定基准图和基准图入库；所述机器人路径规划，即在待巡检区域设置机器人的巡检路线；所述机器人点位设置，即对于需要关注的地点设定机器人停靠位置以及姿态调整的视觉记号；所述分时段和季节设定基准图，即在光照条件差别较大的时段和季节采用通用视频监控模块中的视频感知模块拍摄基准图；所述基准图入库，即对每个待检测点位采用通用视频监控模块中的服务端模块保存基准图以供运行阶段调取；

所述运行阶段，包括：机器人巡检、机器人停靠点位、机器人调整姿态、对比检测、异常识别和异常处理；所述机器人巡检，即机器人按照规划的路径进行巡检；所述机器人停靠点位，即机器人在初始阶段机器人点位设置时设置的位置处停止；所述机器人调整姿态，即机器人按照视觉记号，调整视像头的姿态；所述对比检测，即采用对比检测模块综合基准图和机器人当前拍摄的图片进行变化区域对比检测；所述异常识别，即采用异常识别模块对检测出的变化区域进行判断，确定异常或误检测；所述异常处理，即采用告警通知模块对确定的异常进行告警，并进行通知。

3.根据权利要求2所述的一种基于对比检测的机器人巡检系统，其特征在于，所述对比检测模块中，进行对比检测，包括：

实时视频图片有效性检测，即检测并确认是否出现所述机器人上的摄像头设备所引起的花屏和丢帧，以及巡检过程中出现的遮挡和运动模糊；

图像标定变换，即对所述摄像头设备拍摄的图片的光学畸变进行调整，调整到同一范式下；

图像对比检测，即利用对比两张图片的方法对差别区域进行定位；所述图像对比检测方法对视角原因产生的差异进行排除，只保留目标变化的部分。

4.根据权利要求3所述的一种基于对比检测的机器人巡检系统，其特征在于，所述系统采用一种基于对比检测的机器人巡检方法，包括以下步骤：

步骤1，初始设置，即所述初始阶段中的机器人路径规划、机器人点位设置、分时段和季节设定基准图和基准图入库；

步骤2，训练异常识别模块中的异常识别模型；

步骤3，机器人按照初始设置，采集实时视频，将实时视频中的实时图片和位置信息，传输至对比检测模块；

步骤4，对比检测模块进行对比检测，得到变化区域图片，将变化区域图片传输给异常识别模块；

步骤5，异常识别模块使用训练好的异常识别模型对变化区域图片进行判断，并将判断结果即返回信息发送给机器人；

步骤6，机器人接受异常识别模块的返回信息，进行后续处理。

5.根据权利要求4所述的一种基于对比检测的机器人巡检系统，其特征在于，步骤2中所述的训练异常识别模型，具体包括：

采用只包含带标签的异常数据对所述异常识别模型进行训练，即将含有异常的图片转化为特征向量，根据所述特征向量和异常类别特征向量的距离是否满足阈值来判断是否是异常。

6.根据权利要求5所述的一种基于对比检测的机器人巡检系统，其特征在于，步骤4中所述的对比检测模块进行对比检测，具体方法包括：

计算实时图片和基准图的关键点，以及所述关键点的特征描述算子，对于实时图片的特征描述算子计算并匹配基准图中最接近的特征描述算子，得到特征描述算子对；

对于匹配得到的所有特征描述算子对，使用先验过滤方法，过滤掉不匹配的特征描述算子对，再利用向量场一致检验的方法，过滤错误配对的特征描述算子对，最后对剩下的特征描述算子对，应用单应性变换矩阵求解，将变换矩阵一致的特征描述算子对即关键点对划为一组，即参照组；

对实时图片进行格点采样，用参照组作为格点的变换矩阵的指导，采用最近邻投票的方法，对实时图片的格点应用变换矩阵，对于仍然落在基准图里的点，计算特征描述子，如果和实时图片中对应关键点的特征描述子差异超过阈值，则视为一个变化点；

计算出所有的变化点后，对于相近的变化点，计算一个矩形框用于容纳这些变化点，所述矩形框即为一个变化区域；

根据所述变化区域对实时图片进行裁剪，得到变化区域图片。

7.根据权利要求6所述的一种基于对比检测的机器人巡检系统，其特征在于，步骤6中所述的进行后续处理，具体包括：

所述返回信息中如果判断为异常，则在日志中进行记录，并查询并报送处理方案，如果判断为正常则继续巡检。

8.根据权利要求7所述的一种基于对比检测的机器人巡检系统，其特征在于，所述对比检测模块部署于机器人端或后端的云服务器中。

9.根据权利要求8所述的一种基于对比检测的机器人巡检系统，其特征在于，所述机器人是移动平台，机器人本身具有路径规划和移动的能力。

10.根据权利要求9所述的一种基于对比检测的机器人巡检系统，其特征在于，所述机器人巡检系统配置在机器人搭载的计算设备上或部署在云端。

Images