CN110648319A - 基于双相机的设备图像采集诊断系统及方法 - Google Patents

Abstract

本公开提供了一种基于双相机的设备图像采集诊断系统及方法,包括可变焦相机、不可变焦相机、前端处理模块、标准电源接口和标准通信接口，其中：不可变焦相机被配置为进行一次图像采集，所述可变焦相机被配置为进行二次识别图像采集，所述前端处理模块被配置为利用卷积神经网络对采集图像的实时识别与诊断分析，所述标准电源接口和标准通信接口，可通过多款设备为系统供电并与通信。本公开能够实现设备缺陷的前端实时识别，并通过两个相机同时动作，完成设备缺陷的采集和诊断，避免单相机多步骤完成不同功能，打破行业内的使用单相机既分析又采集的常规做法，极大的提高设备图像采集效率，同时适配多种设备。

Description

基于双相机的设备图像采集诊断系统及方法

技术领域

本公开属于巡检领域，具体涉及一种基于双相机的设备图像采集诊断系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

设备的图像采集与诊断是目前很多领域，如变电站、输电线路、车间、流水线等场合都需要实现的要求，准确、快速的获取设备图像并对设备进行诊断，能够有助于设备的维修、替换，节省生产时间。

但随着应用场合面积的扩大，设备的巡检、图像采集和诊断面临严峻挑战。随着智能技术的发展，设备图像智能采集诊断方案开始被提出。但现有的设备图像智能采集与诊断方案主要以单相机拍摄，服务器端识别诊断为主，主要存在两方面问题：1.单相机对对应设备进行采集过程中，需要先进行初次识别，然后对不清楚的设备再进行二次拉焦识别，两个动作由同一台相机先后完成，相机需要花费大量时间进行重复拉焦以保证图像的清晰度，而无人机等设备电池续航时间短，重复拉焦会造成设备有效工作时间严重减少，工作效率降低。；2.相机需将采集的设备图像传回服务器端进行识别，若在通讯延迟或者无信号的情况下，相机与后端服务器无法进行信息传输，严重影响识别采集效果。

在相关研究方面，ZL201710805540.0公开了一种用于输电线路无人机巡检的图像智能采集系统及方法，其利用单相机实现输电线路杆塔位置的定位和图像采集，单相机需不断变焦进行杆塔定位与图像采集，识别过程和图像采集效率低；ZL201810523997.7公开了一种巡检机器人的基于双目视觉的输电线路在线检测方法，可实现对部件和异物的测距，但其双目不具备变焦拍摄功能，无法对部件进行高清图像采集和缺陷二次识别诊断。

发明内容

本公开为了解决上述问题，提出了一种基于双相机的设备图像采集诊断系统及方法，本公开能够实现多领域内设备图像前端实时识别诊断，并通过两个相机协同作业，完成设备高清图像的采集，避免单相机多步骤完成不同功能，打破行业内使用单相机既分析又采集的常规做法，极大的提高设备图像采集效率，同时预留标准电源接口和标准通信接口，可适配多种设备。

根据一些实施例，本公开采用如下技术方案：

一种基于双相机的设备图像采集诊断系统，包括：

可变焦相机、不可变焦相机和前端处理模块，标准电源接口和标准通信接口，其中：

所述不可变焦相机被配置为进行一次图像采集，所述可变焦相机被配置为进行二次图像采集，所述前端处理模块被配置为利用卷积神经网络依次对一次、二次采集的图像进行实时识别与处理，并输出识别分析结果。

所述前端处理模块具有标准电源接口和标准通信接口，可适配多种设备。

本公开充分利用可变焦相机、不可变焦相机的特点，能够实现利用不可变焦相机进行设备的自动采集，通过前端处理模块识别确定设备所在大致区域/位置，再利用可变焦相机对设备区域进行拉焦，采集其高清图像，通过前端处理模块进行缺陷的进一步识别，完成一次流程后，进行下一次采集时，可变焦相机不需要回到初始变焦状态，可在当前基础上继续进行二次焦距调节，能够缩短相机调焦的过程，进而缩短整个采集和识别时间，打破了行业内使用单相机既分析又采集的常规做法，极大的提高设备图像采集效率。

同时，本公开在前端实现对采集图像的实时识别与处理，避免与后端服务器信息传输造成的延迟。

同时，本公开预留标准电源接口和标准通信接口，可适配多种设备

作为可能的实施方式，所述前端处理模块为FPGA芯片，内置有压缩的卷积神经网络模型。当然，在其他实施例中，前端模块识别芯片可以替换其他智能处理器，并不限于FPGA。

作为可能的实施方式，所述可变焦相机和不可变焦相机同时进行采集。

作为可能的实施方式，所述可变焦相机和不可变焦相机的采集姿态相同。

作为可能的实施方式，所述前端处理模块根据预训练的参数模型对图像进行识别，采用多尺度特征图提取图像的多尺度特征，并将该特征与模型中的特征进行匹配，通过匹配得到图像中的预测框，根据设定的预测阈值寻找符合条件的预测框，并将预测框坐标输出，作为对应的相机的控制参数，控制相机进行动作拍摄。

作为可能的实施方式，所述标准电源接口和标准通信接口，可通过多款设备为系统供电并通信。

基于上述系统的工作方法，两个相机同时对视野内的设备进行采集，不可变焦相机采集设备图像，送入前端模块进行识别的同时，可变焦相机进行变焦，将设备拉近放大，前端处理模块识别设备有无缺陷：若有缺陷则将两个相机拍摄的图像进行保存；图像采集完成后，可变焦相机不需回到初始变焦状态，可在当前基础上继续进行二次焦距调节，对视野内存在其他设备情况进行检测，直到将视野内的所有目标检测完毕，打破了行业内使用单相机既分析又采集的常规做法，极大的提高设备图像采集效率。

具体的，前端具体处理过程如下：

相机采集到图像通过通信端口传输到前端处理模块，前端处理模块根据预训练的参数模型对图像进行识别，采用多尺度特征图提取图像的多尺度特征，并将该特征与模型中的特征进行匹配，通过匹配得到图像中的预测框，根据设定的预测阈值寻找符合条件的预测框，并将预测框坐标输出，作为相应的相机控制参数，控制相机进行动作拍摄。

不可变焦相机进行一次图像采集，其过程如下：

不可变焦相机将图像送入前端处理模块，对设备进行一次识别，若识别到设备，则根据预测框坐标，计算得到可变焦相机的变焦倍数，并通过可变焦相机进行拉焦，将设备拉近放大。将可变焦相机拉近放大后的图像送入前端处理模块进行识别，若发现缺陷，则返回缺陷预测框坐标，并根据缺陷预测框坐标计算得到可变焦相机的动作参数，控制可变焦相机运动，将缺陷调入视野中央进行拍照保存。

不可变焦相机和可变焦相机两次图像采集结果具有前后顺序，不可变焦相机图像进行一次采集，前端识别模块对不可变焦相机图像进行识别，寻找设备，并确定位置，只有在不可变焦相机图像中识别到了设备，才能使用可变焦相机进行二次图像采集；前端识别模块对可变焦相机图像进行二次识别，对相应的设备进行缺陷诊断与分析，识别设备上的缺陷之处，并确定位置，进行缺陷采集。

与现有技术相比，本公开的有益效果为：

(1)实现各场景下相关设备图像在前端的实时识别与诊断分析，避免与服务器进行通信可能出现的通讯延迟，提高系统稳定性和实时性；

(2)创新性的提出了双相机协同作业方法，并提出了多相机双向实时通信技术与并行控制技术，研制成功双相机协同采集系统，攻克了单相机多步骤重复工作的技术瓶颈，打破行业内的使用单相机既分析又采集的常规做法，提升了设备的工作效率；

(3)预留标准电源和标准通信接口，可适用于无人机、机器人等多种移动或固定设备，具备广泛的适配性；

(4)本公开成功研制出基于双相机的设备图像采集诊断系统，将深度学习边缘设备部署与双相机协同作业方法相结合，在边缘设备实现对图像的实时处理与识别，避免与后端服务器信息传输造成的延迟；通过双相机协同作业实现输电线路设备高清图像诊断采集，作业过程无需预设设备位置信息，进一步提升了系统的稳定性与可靠性，且具有良好的适配性，可成功适配多款设备。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是流程示意图；

图2是系统组成图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于双相机的设备图像采集诊断系统，前端识别模块主控芯片采用满足图像智能识别所需性能的智能处理器芯片采用卷积神经网络作为图像识别算法，将卷积神经网络模型经过压缩后，移植到前端模块主控芯片，在前端实现对采集图像的实时识别与处理，避免与后端服务器信息传输造成的延迟。

在本实施例中，以输电线路设备为例，进行说明。

图像采集诊断的具体过程包括：

1)前端模块识别芯片为满足图像智能识别所需性能的智能处理器芯片，卷积神经网络识别算法模型通过张量分解、剪枝、量化等一系列压缩算法被移植入前端模块识别芯片；

2)相机采集到的输电线路设备图像数据传入前端识别模块，在该模块直接进行实时识别，避免了将数据传入服务端进行识别；

针对设备高清图像采集诊断，采用双相机同时动作采集的方式，采用一个可变焦相机和一个不可变焦相机，不可变焦相机负责一次图像采集，可变焦相机负责二次图像采集，并拍照保存。

当然，在其他实施例中，前端模块识别芯片可以替换其他智能处理器，并不限于FPGA。

具体硬件结构为：

相机采集模块，分别配有一个不可变焦相机和可变焦相机，两者在姿态相同；

两个相机同时对视野内的设备进行采集，将采集的图像送入前端模块进行识别诊断分析。

前端具体处理过程如下：

相机采集到图像通过通信端口传输到前端处理模块，前端处理模块根据预训练的参数模型对图像进行识别，采用多尺度特征图提取图像的多尺度特征，并将该特征与模型中的特征进行匹配，通过匹配得到图像中的预测框，根据设定的预测阈值寻找符合条件的预测框，并将预测框坐标输出，作为相应的相机控制参数，控制相机进行动作拍摄。

前端识别模块在不可变焦相机采集的图像识别到设备后，可变焦相机进行变焦，将设备拉近放大，前端识别模块在对可变焦相机采集的图像进行此设备有无缺陷：若有缺陷则将两个相机拍摄的图像进行保存；图像采集完成后，可变焦相机不需回到初始变焦状态，可在当前基础上继续进行二次焦距调节，对视野内存在其他设备情况进行检测，直到将视野内的所有目标检测完毕。

不可变焦相机进行一次图像采集，其过程如下：

不可变焦相机将图像送入前端处理模块，对图像进行一次识别，若识别到设备，则根据预测框坐标，计算得到可变焦相机的变焦倍数，并通过可变焦相机进行拉焦，将设备拉近放大。将可变焦相机拉近放大后的图像送入前端处理模块进行识别，若发现缺陷，则返回缺陷预测框坐标，并根据缺陷预测框坐标计算得到可变焦相机的动作参数，控制可变焦相机运动，将缺陷调入视野中央进行拍照保存。

不可变焦相机和可变焦相机两次图像采集结果具有前后顺序，不可变焦相机图像进行一次采集，前端识别模块对不可变焦相机图像进行识别，寻找设备，并确定位置，只有在不可变焦相机图像中识别到了设备，才能使用可变焦相机进行二次图像采集；前端识别模块对可变焦相机图像进行二次识别，对相应的设备进行缺陷诊断与分析，识别设备上的缺陷之处，并确定位置，进行缺陷采集。

当然，上述实施例是以输电线路设备为例进行说明的。在其他实施例中，可以将上述系统和方法应用至变电站设备、流水线设备或其他设备上，只需要进行些许改动即可，这些均属于本领域技术人员容易想到的，理应属于本公开的保护范围。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于双相机的设备图像采集诊断系统，其特征是：包括：

可变焦相机、不可变焦相机和前端处理模块，标准电源接口和标准通信接口，其中：

所述不可变焦相机被配置为进行一次图像采集，所述可变焦相机被配置为进行二次图像采集，所述前端处理模块被配置为利用卷积神经网络依次对一次、二次采集图像进行实时识别诊断，并输出识别分析结果。

2.如权利要求1所述的一种基于双相机的设备图像采集诊断系统，其特征是：所述前端处理模块为满足图像智能识别所需性能的智能处理器芯片，内置有压缩的卷积神经网络模型。

3.如权利要求1所述的一种基于双相机的设备图像采集诊断系统，其特征是：所述可变焦相机和不可变焦相机同时进行采集。

4.如权利要求1所述的一种基于双相机的设备图像采集诊断系统，其特征是：所述可变焦相机和不可变焦相机的采集姿态相同。

5.如权利要求1所述的一种基于双相机的设备图像采集诊断系统，其特征是：所述前端处理模块根据预训练的参数模型对图像进行识别，采用多尺度特征图提取图像的多尺度特征，并将该特征与模型中的特征进行匹配，通过匹配得到图像中的预测框，根据设定的预测阈值寻找符合条件的预测框，并将预测框坐标输出，作为对应的相机的控制参数，控制相机进行动作拍摄。

6.如权利要求1所述的一种基于双相机的设备图像采集诊断系统，其特征是：预留标准电源接口和标准通信接口，可广泛适配多种不同类型的设备。

7.基于权利要求1-4中任一项所述的系统的工作方法，其特征是：两个相机同时对视野内的设备进行采集，前端模块对不可变焦相机采集的图像中设备进行识别的同时，可变焦相机进行变焦，将设备拉近放大，前端处理模块识别设备有无缺陷：若有缺陷则将两个相机拍摄的图像进行保存；图像采集完成后，可变焦相机不需回到初始变焦状态，在当前基础上继续进行二次焦距调节，对视野内存在其他设备情况进行检测，直到将视野内的所有目标检测完毕。

8.如权利要求7所述的工作方法，其特征是：前端处理过程如下：

相机采集到图像通过通信端口传输到前端处理模块，前端处理模块根据预训练的参数模型对图像进行识别，采用多尺度特征图提取图像的多尺度特征，并将该特征与模型中的特征进行匹配，通过匹配得到图像中的预测框，根据设定的预测阈值寻找符合条件的预测框，并将预测框坐标输出，作为相机控制参数，控制相机进行动作拍摄。

9.如权利要求7所述的工作方法，其特征是：不可变焦相机进行一次图像采集，其过程如下：

不可变焦相机将图像送入前端处理模块，对设备图像进行一次识别，若识别到设备，则根据预测框坐标，计算得到可变焦相机的变焦倍数，并通过可变焦相机进行拉焦，将设备拉近放大；将可变焦相机拉近放大后的图像送入前端处理模块进行识别，若发现缺陷，则返回缺陷预测框坐标，并根据缺陷预测框坐标计算得到可变焦相机的动作参数，控制可变焦相机运动，将缺陷调入视野中央进行拍照保存。

10.如权利要求7所述的工作方法，其特征是：不可变焦相机和可变焦相机两次图像采集结果具有前后顺序，不可变焦相机图像进行一次采集，前端识别模块对不可变焦相机图像进行识别，寻找设备，并确定位置，只有在不可变焦相机图像中识别到了设备，才能使用可变焦相机进行二次图像采集；前端识别模块对可变焦相机图像进行二次识别，对相应的设备进行缺陷诊断与分析，识别设备上的缺陷之处，并确定位置，进行缺陷采集。

Images