CN114092473B - 一种大型产品视觉巡检装置及系统 - Google Patents

Abstract

本发明涉及图像数据处理的技术领域，且公开了一种大型产品视觉巡检装置，包括AGV系统、升降柱、云台变焦相机，所述AGV系统的底端固定安装有AGV底盘，所述AGV底盘的上方安装有控制箱以及升降柱，所述降柱的外表面设置有云台变焦相机。该大型产品视觉巡检装置用巡检系统，通过运动控制软件控制AGV系统到达二次定位点位，通过算法进行二次定位，计算补偿每个抓拍点位的参数；云台变焦相机按对应参数拍摄对应点位的图像，所拍摄图像通过网络上传至服务器设定目录，检测软件自动对上传图像进行缺陷检测。

Description

一种大型产品视觉巡检装置及系统

技术领域

本发明涉及图像数据处理的技术领域，具体为一种大型产品视觉巡检装置及系统。

背景技术

工业生产中，产品外观瑕疵缺陷检测，传统上是人工目视检测，随着人力成本的提升、产能的增加、质量标准的提高，以及深度学习为代表的AI技术的出现，产线上正在越来越多采用光学自动检测设备。一般来说，视觉检测方案根据产品检测精度要求选择合适的镜头倍率，再配合合适的相机和光源来成像。对于小尺寸（比如100mm以内）的产品，采用高倍率的镜头来采集图像；对于稍大尺寸（比如1000mm以内）产品，则需采用移动装置来移动扫描采集图像；对于大型产品（比如1000mm以上），一般形状比较复杂，常规的移动扫描方案还不能满足，所以视觉检测的应用相对较少。

大型产品的外观缺陷检测或巡检，传统上都是人工目视检测，需要梯子、手电筒等辅助工具，通过手机或数码相机手动拍照以存档，不但检测效率低，准确率不稳定，易受检验人员的主观因素和专业度影响，而且回溯不方便，影响企业信息化。常规的巡检机器人，一般采用AGV设备搭载协作机器人和云台相机，常用于变电站的设备巡检，或AGV设备搭载升降柱和协作机器人和云台相机，常用于智慧档案馆管理；总体来说一般适用于3米以下的高度场景，对于3米以上的大型产品的检测，因为稳定性原因，几乎无应用场景。

所以针对这些问题，我们提出了一种大型产品视觉巡检装置及系统来解决。

发明内容

针对现有技术的不足，本发明提供了一种大型产品视觉巡检装置及系统，解决了传统设备对于3米以上的大型产品的检测，因为稳定性原因，几乎无应用场景的问题。

为实现上述目的，本发明提供如下技术方案：一种大型产品视觉巡检装置，包括AGV巡检装置以及设置在所述AGV巡检装置内部的升降柱和云台变焦相机，所述升降柱包括第一升降柱以及第二升降柱，所述云台变焦相机包括第一云台变焦相机以及第二云台变焦相机；

所述AGV巡检装置的底端固定安装有AGV底盘，所述AGV底盘的上方安装有控制箱以及第一升降柱和第二升降柱底座，所述第一升降柱的外表面设置有第一云台变焦相机，所述第二升降柱底座的上方活动安装有第二升降柱，所述第二升降柱的外表面设置有第二云台变焦相机，所述第一云台变焦相机与所述第二云台变焦相机的安装方向一致，所述第二升降柱的高度高于第一升降柱的高度；

所述第二升降柱底座与所述第二升降柱之间设置有高度调节机构，所述第二升降柱底座的上方活动连接有活动杆以及支撑柱，所述活动杆的底端连接在所述第二升降柱底座上，顶端连接有活动块，所述活动块的上方活动连接有衬套，所述衬套的上方活动连接有承接柱，所述第二升降柱底座、第二升降柱、高度调节机构、活动杆、支撑柱、活动块、衬套以及承接柱组成A。

进一步的，一种大型产品视觉巡检装置用巡检系统，巡检系统包括以下系统模块：

搭建复合机器人系统模块：包括AGV巡检装置、升降柱组、云台变焦相机、服务器及检测软件，检测软件包括运动控制软件、视觉检测软件和深度学习软件，服务器与其它硬件之间通过WIFI无线网络进行联网；

配置巡检参数系统模块：对每个产品型号，事先配置二次定位点位和所有的抓拍点位，每个点位配置AGV巡检装置的运动参数、升降柱的运动参数、云台变焦相机的拍摄参数；对每个点位配置检测区域及灵敏度算法参数进行记录；

配置巡检任务系统模块：对每个巡检任务，包括待检产品的放置位置及型号信息进行记录；

执行巡检任务系统模块：人工指定执行某个巡检任务，系统依次加载所有待巡检产品的位置、型号信息进行自动巡检；

二次定位系统模块：针对每个待巡检产品，运动控制软件控制AGV巡检装置到达二次定位点位，升降柱按对应参数升降，云台变焦相机按对应参数拍摄定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数；

巡检抓拍图像系统模块：按照补偿后的点位参数，运动控制软件控制AGV巡检装置依次运动到每个抓拍点位，升降柱对应参数升降，云台变焦相机按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录；

视觉检测系统模块：视觉检测软件监测到有新的上传图片，则调用基于深度学习的缺陷检测算法和对应的缺陷检测算法参数进行检测；

输出结果系统模块：视觉检测软件把检测结果记录到数据库，根据检测结果发出报警信号，全部点位检测结束，检测软件输出该产品的检测报告；

运动控制软件重复执行二次定位系统模块、巡检抓拍图像系统模块、视觉检测系统模块以及输出结果系统模块的系统任务，对巡检任务中的下一个产品依次进行自动巡检，直至全部产品巡检结束；最后自动回到指定待机位置或充电桩位置。

进一步的，在所述搭建复合机器人系统模块中，所述AGV巡检装置通过视觉或360°激光雷达自主导航；且所述升降柱的数量根据产品高度而定，每个升降柱负责升降不同的高度；升降柱的底座固定在AGV巡检装置上；升降柱的升降方向是垂直、水平或倾斜。

进一步的，在所述搭建复合机器人系统模块中，所述云台变焦相机中云台为二轴或三轴云台，固定在升降柱的顶端，所述相机和镜头固定在云台上，相机无线传输图像，镜头具备自动变焦功能。

进一步的，在所述搭建复合机器人系统模块中，运动控制软件负责任务管理、运动控制和采集图像功能，视觉检测软件负责调用算法对图像进检测识别和结果输出功能，深度学习软件负责标注样本、训练模型功能内置的模型包括目标检测、语义分割和OCR，分别用于不同的检测任务；

所述搭建复合机器人系统模块中，服务器联网通过无线网络实现与AGV巡检装置、升降柱、云台变焦相机进行联网，运动控制软件实现与所述AGV巡检装置、所述升降柱、所述云台变焦相机进行网络通讯，收发指令和数据。

进一步的，在所述配置巡检参数系统模块中，二次定位点位用于机器人的二次定位，以补偿产品放置的偏差，产品每个面配置一个二次定位点，选择产品铭牌区域具有独特标识的区域，在相机成像视野中，让标识区域正面居中，大于产品最大放置误差的2倍；所述抓拍点位用于检测产品的检测区域，根据产品的检测需求而定，在相机成像视野中，区域正面居中，四周预留10%的余量。如果相机画面有反光，调整错开反光角度；所述参数包括：产品型号参数、AGV巡检装置位置参数、升降柱的ID、坐标、速度参数，云台的角度、速度参数，相机的焦距、曝光时间、增益参数，如果云台和相机组合为球机，则为球机的预置位参数。

进一步的，在所述配置巡检参数系统模块中，灵敏度算法参数包括点位编号、模板图像、检测类别、检测区域。

进一步的，在所述二次定位系统模块中，二次定位算法包括如下步骤：

a：检测产品每个面时，先加载二次定位参数，机器人运动到每个面中心位置处进行拍照；

b：算法提取模板图像和当前图像的关键点，进行关键点匹配，计算得到两幅图像的变换矩阵；

c：根据变换矩阵，对该面的所有点位的参数进行补偿，供后续巡检使用。

进一步的，在所述巡检抓拍图像系统模块中，运动控制软件根据补偿后的点位参数，依次加载并控制AGV巡检装置、升降柱、云台按设定参数运动，变焦相机设置为设定参数。

进一步的，在所述视觉检测系统模块中，深度学习算法模型包括YOLO、Deeplab深度学习模型；所述缺陷检测算法包括点位编号、模板图像、检测类别、检测区域、算法灵敏度参数。

本发明技术方案，具有如下有益效果：

1、该大型产品视觉巡检装置，通过活动杆以及支撑柱对第二升降柱底座进行支撑，衬套以及承接柱对第二升降柱进行支撑，保证第二升降柱底座与所述第二升降柱升降时的稳定性，避免现有设备对于米以上的大型产品的检测，因为稳定性原因，几乎无应用场景的问题。

2、该大型产品视觉巡检装置，通过搭建复合机器人系统，包括AGV巡检装置、第一升降柱和第二升降柱组成的升降柱组、第一云台变焦相机和第二云台变焦相机、服务器及检测软件，产品净高约4米，距离地面高度为0.5米，产品周围通道宽2米，AGV底盘宽约0.8米，长约1米，高0.3米，升降柱组固定在AGV底盘上，第一云台变焦相机固定在第一升降柱上，负责拍摄0.5-2.5米的高度范围，第二云台变焦相机固定在第二升降柱上，负责拍摄2.5-4.5米的高度范围，服务器与其它硬件之间通过WIFI无线网络进行联网。

3、该大型产品视觉巡检装置用巡检系统，采用AGV巡检装置作为水平方向的移动机构，多个升降柱组合作为垂直方向的移动机构，配合云台和变焦相机，实现对超大、超高尺寸产品的全方位外观缺陷的自动拍照和基于深度学习算法的缺陷检测，解决了风电齿轮箱大型产品的外观缺陷自动检测的难题。

4、该大型产品视觉巡检装置用巡检系统，通过运动控制软件控制AGV巡检装置到达二次定位点位，第一升降柱按对应参数升降，第一云台变焦相机以及第二云台变焦相机按对应参数拍摄二次定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数；运动控制软件控制AGV巡检装置依次运动到每个抓拍点位，第一升降柱以及第二升降柱对应参数升降，第一云台变焦相机以及第二云台变焦相机按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录。

附图说明

图1为本发明实施例一中的系统流程图；

图2为本发明实施例二中AGV巡检装置结构示意图；

图3为本发明实施例二中图2中A区域结构放大示意图；

图4为本发明实施例三示意图；

图5为本发明实施例四的示意图；

图6为本发明实施例五的示意图。

图中：1、安装平台；2、AGV巡检装置；21、AGV底盘；22、控制箱；23、第一升降柱；24、第一云台变焦相机；25、第二升降柱底座；26、第二升降柱；27、第二云台变焦相机；28、高度调节机构；281、活动杆；282、支撑柱；283、活动块；284、衬套；285、承接柱；3、风电主齿轮箱主体。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，一种大型产品视觉巡检装置用巡检系统，巡检系统包括以下系统模块：

搭建复合机器人系统模块：包括AGV巡检装置、升降柱组、云台变焦相机、服务器及检测软件，检测软件包括运动控制软件、视觉检测软件和深度学习软件，服务器与其它硬件之间通过WIFI无线网络进行联网；

配置巡检参数系统模块：对每个产品型号，事先配置二次定位点位和所有的抓拍点位，每个点位配置AGV巡检装置的运动参数、升降柱的运动参数、云台变焦相机的拍摄参数；对每个点位配置检测区域及灵敏度算法参数进行记录；

配置巡检任务系统模块：对每个巡检任务，包括待检产品的放置位置及型号信息进行记录；

执行巡检任务系统模块：人工指定执行某个巡检任务，系统依次加载所有待巡检产品的位置、型号信息进行自动巡检；

二次定位系统模块：针对每个待巡检产品，运动控制软件控制AGV巡检装置到达二次定位点位，升降柱按对应参数升降，云台变焦相机按对应参数拍摄定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数；

巡检抓拍图像系统模块：按照补偿后的点位参数，运动控制软件控制AGV巡检装置依次运动到每个抓拍点位，升降柱对应参数升降，云台变焦相机按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录；

视觉检测系统模块：视觉检测软件监测到有新的上传图片，则调用基于深度学习的缺陷检测算法和对应的缺陷检测算法参数进行检测；

输出结果系统模块：视觉检测软件把检测结果记录到数据库，根据检测结果发出报警信号，全部点位检测结束，检测软件输出该产品的检测报告；

运动控制软件重复执行二次定位系统模块、巡检抓拍图像系统模块、视觉检测系统模块以及输出结果系统模块的系统任务，对巡检任务中的下一个产品依次进行自动巡检，直至全部产品巡检结束；最后自动回到指定待机位置或充电桩位置。

在搭建复合机器人系统模块中，通过视觉或360°激光雷达实现自主导航，采用一个升降柱；升降柱的底座固定在AGV巡检装置上；云台为三轴云台，固定在升降柱的顶端，变焦相机固定在云台上，具备变焦镜头，无线传输图像，云台变焦相机组合为云台一体机或球机。

在搭建复合机器人系统模块中，检测软件包括运动控制软件、视觉检测软件和深度学习软件，运动控制软件负责任务管理、运动控制和采集图像功能，视觉检测软件负责调用算法对图像进检测识别和结果输出功能，深度学习软件负责标注样本、训练模型功能，内置的模型包括目标检测、语义分割和OCR，分别用于不同的检测任务。

在搭建复合机器人系统模块中，服务器联网通过无线网络实现与AGV巡检装置、升降柱、云台变焦相机进行联网，运动控制软件实现与AGV巡检装置、升降柱、云台变焦相机进行网络通讯，收发指令和数据。

在配置巡检参数系统模块中，二次定位点位用于机器人的二次定位，以补偿产品放置的偏差，产品每个面配置一个二次定位点，选择产品铭牌区域具有独特标识的区域，在相机成像视野中，让标识区域正面居中，大于产品最大放置误差的2倍；抓拍点位用于检测产品的检测区域，根据产品的检测需求而定，在相机成像视野中，区域正面居中，四周预留10%的余量；如果相机画面有反光，调整错开反光角度；参数包括：产品型号参数、AGV巡检装置位置参数、升降柱的ID、坐标、速度参数，云台的角度、速度参数，相机的焦距、曝光时间、增益参数，灵敏度算法参数包括点位编号、模板图像、检测类别、检测区域。

在二次定位系统模块中，二次定位算法包括如下步骤：

a：检测产品每个面时，先加载二次定位参数，机器人运动到该处并拍照；

b：算法提取模板图像和当前图像的关键点，进行关键点匹配，计算得到两幅图像的变换矩阵；

c：根据变换矩阵，对该面的所有点位的参数进行补偿，供后续巡检使用。

在巡检抓拍图像系统模块中，运动控制软件，根据补偿后的点位参数，依次加载并控制AGV巡检装置、升降柱、云台按设定参数运动，变焦相机设置为设定参数，抓拍算法参数包括点位编号、模板图像、检测类别、检测区域、算法参数；网络上传至服务器设定目录，包括通过UDP、FTP、共享文件夹方式。

在视觉检测系统模块中，深度学习算法模型，包括YOLO、Deeplab深度学习模型；缺陷检测算法参数包括点位编号、模板图像、检测类别、检测区域、算法灵敏度参数。

实施例二：

请参阅图2，本发明提供了一种大型产品视觉巡检装置，包括AGV巡检装置2以及设置在AGV巡检装置2内部的升降柱和云台变焦相机，升降柱包括第一升降柱23以及第二升降柱26，云台变焦相机包括第一云台变焦相机24以及第二云台变焦相机27；

AGV巡检装置2的底端固定安装有AGV底盘21，AGV底盘21的上方安装有控制箱22以及第一升降柱23和第二升降柱底座25，第一升降柱23的外表面设置有第一云台变焦相机24，第二升降柱底座25的上方活动安装有第二升降柱26，第二升降柱26的外表面设置有第二云台变焦相机27，第一云台变焦相机24与第二云台变焦相机27的安装方向一致，第二升降柱26的高度高于第一升降柱23的高度；

请参阅图3，第二升降柱底座25与第二升降柱26之间设置有高度调节机构28，第二升降柱底座25的上方活动连接有活动杆281以及支撑柱282，活动杆281的底端连接在第二升降柱底座25上，顶端连接有活动块283，活动块283的上方活动连接有衬套284，衬套284的上方活动连接有承接柱285，所述第二升降柱底座25、第二升降柱26、高度调节机构28、活动杆281、支撑柱282、活动块283、衬套284以及承接柱285组成A。

通过活动杆281以及支撑柱282对第二升降柱底座25进行支撑，衬套284以及承接柱285对第二升降柱26进行支撑，保证第二升降柱底座25与第二升降柱26升降时的稳定性，避免现有设备对于3米以上的大型产品的检测，因为稳定性原因，几乎无应用场景的问题。

实施例三：

请参阅图4，根据上述大型产品视觉巡检装置，提出了一种用于风电主齿轮箱的外观缺陷的视觉巡检装置及系统，包括以下步骤：

S1：首先搭建复合机器人系统，包括AGV巡检装置2、第一升降柱23和第二升降柱26组成的升降柱组、第一云台变焦相机24和第二云台变焦相机27、服务器及检测软件，产品净高约4米，距离地面高度为0.5米，产品周围通道宽2米，AGV底盘21宽约0.8米，长约1米，高0.3米，升降柱组固定在AGV底盘21上，第一云台变焦相机24固定在第一升降柱23上，负责拍摄0.5-2.5米的高度范围，第二云台变焦相机27固定在第二升降柱26上，负责拍摄2.5-4.5米的高度范围，服务器与其它硬件之间通过WIFI无线网络进行联网。

S2：检测风电主齿轮箱主体3的型号，实现对风电主齿轮箱主体3的每个壳体表面配置一个二次定位点位，选用铭牌具有独特特征的区域，对4个壳体面中的所有待检测部位，配置抓拍点位，二次定位点位和每个抓拍点位，随后配置AGV巡检装置2的运动参数、第一升降柱23以及第二升降柱26的运动参数、第一云台变焦相机24以及第二云台变焦相机27的拍摄参数；对每个点位配置检测区域、灵敏度算法参数。

S3：启动检测时，运动控制软件控制AGV巡检装置2到达二次定位点位，第一升降柱23按对应参数升降，第一云台变焦相机24以及第二云台变焦相机27按对应参数拍摄二次定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数。

S4：运动控制软件控制AGV巡检装置2依次运动到每个抓拍点位，第一升降柱23以及第二升降柱26对应参数升降，第一云台变焦相机24以及第二云台变焦相机27按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录。

S5：视觉检测软件监测到有新的上传图片，则调用基于深度学习的缺陷检测算法和对应的算法参数进行检测；缺陷类别包括：

1、铆钉漏装

2、螺栓漏装

3、堵头漏装或不到位

4、力矩线漏标

5、指示箭头反向

6、溢流管、刹车盘、过滤器部位的外观表面划伤、破损、拉毛、锈蚀

7、油漆破损、偏色

8、渗漏油

基于YOLO深度学习算法的齿轮箱外观缺陷检测算法，包括如下步骤：

1、收集各类缺陷的样本图像，每类100张以上；

2、标注样本图像中的缺陷位置及其类别；

3、基于样本图像、标注文件，采用卷积神经网络训练检测模型；

4、基于训练的模型，对采集的每张图像，按对应点位的置信度阈值参数，检测输出上述缺陷。

S6：视觉检测软件把检测结果记录到数据库，根据检测结果发出报警信号；

S7：全部点位检测结束，运动控制软件控制复合机器人回到原点，检测软件输出检测报告。

实施例四：

本发明提供了一种用于风电主齿轮箱的外观缺陷的视觉巡检装置及系统，其余部分与实施例三相同，与实施例三不同的是，本实施例中，采用3个升降柱组成升降柱组，检测高度从0.5-6.5米，如图5所示。

实施例五：

作为本发明的一种实施方式，请参阅图6，本发明提供了一种用于汽车车身的外观缺陷的视觉巡检装置及系统，与实施例二不同的是，本实施例中，采用1个升降柱，升降高度约0.5-2.5米，相机接近平视的角度拍摄车身四周，相机以向下俯视的角度拍摄车顶（约1.8米），检测缺陷为车身不同部位划伤、碰伤、破损，如图6所示。

为了方便理解本发明的上述技术方案，以下就本发明在实际过程中的工作原理或者操作方式进行详细说明：

工作原理：在使用时，首先搭建复合机器人系统，包括AGV巡检装置2、升降柱、云台变焦相机、服务器及检测软件，产品净高约2米，距离地面高度为0.5米，产品周围通道宽2米，AGV底盘21宽约0.8米，长约1米，高0.3米，升降柱固定在AGV底盘21上，云台变焦相机固定在升降柱上，负责拍摄0.5-2.5米的高度范围，服务器与其它硬件之间通过WIFI无线网络进行联网。二次定位点位，选用LOGO具有独特特征的区域，对汽车4个侧面和顶面中的所有待检测部位，配置抓拍点位，随后配置AGV巡检装置2的运动参数、升降柱以及云台变焦相机的拍摄参数；对每个点位配置检测区域、灵敏度算法参数。

启动检测时，运动控制软件控制AGV巡检装置2到达二次定位点位，升降柱按对应参数升降，云台变焦相机按对应参数拍摄二次定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数；运动控制软件控制AGV巡检装置2依次运动到每个抓拍点位，升降柱以及云台变焦相机按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大型产品视觉巡检装置，包括AGV巡检装置（2）以及设置在所述AGV巡检装置（2）内部的升降柱和云台变焦相机，所述升降柱包括第一升降柱（23）以及第二升降柱（26），所述云台变焦相机包括第一云台变焦相机（24）以及第二云台变焦相机（27）；

其特征在于：所述AGV巡检装置（2）的底端固定安装有AGV底盘（21），所述AGV底盘（21）的上方安装有控制箱（22）以及第一升降柱（23）和第二升降柱底座（25），所述第一升降柱（23）的外表面设置有第一云台变焦相机（24），所述第二升降柱底座（25）的上方活动安装有第二升降柱（26），所述第二升降柱（26）的外表面设置有第二云台变焦相机（27），所述第一云台变焦相机（24）与所述第二云台变焦相机（27）的安装方向一致，所述第二升降柱（26）的高度高于第一升降柱（23）的高度；

所述第二升降柱底座（25）与所述第二升降柱（26）之间设置有高度调节机构（28），所述第二升降柱底座（25）的上方活动连接有活动杆（281）以及支撑柱（282），所述活动杆（281）的底端连接在所述第二升降柱底座（25）上，顶端连接有活动块（283），所述活动块（283）的上方活动连接有衬套（284），所述衬套（284）的上方活动连接有承接柱（285）。

2.一种大型产品视觉巡检装置用巡检系统，应用于权利要求1所述的大型产品视觉巡检装置，其特征在于：巡检系统包括以下系统模块：

搭建复合机器人系统模块：包括所述AGV巡检装置、升降柱组、云台变焦相机、服务器及检测软件，检测软件包括运动控制软件、视觉检测软件和深度学习软件，服务器与其它硬件之间通过WIFI无线网络进行联网；

配置巡检参数系统模块：对每个产品型号，事先配置二次定位点位和所有的抓拍点位，每个点位配置所述AGV巡检装置的运动参数、升降柱的运动参数、云台变焦相机的拍摄参数；对每个点位配置检测区域及灵敏度算法参数进行记录；

配置巡检任务系统模块：对每个巡检任务，包括待检产品的放置位置及型号信息进行记录；

执行巡检任务系统模块：人工指定执行某个巡检任务，系统依次加载所有待巡检产品的位置、型号信息进行自动巡检；

二次定位系统模块：针对每个待巡检产品，运动控制软件控制AGV巡检装置到达二次定位点位，升降柱按对应参数升降，云台变焦相机按对应参数拍摄定位标识的图像，通过算法进行二次定位，计算补偿每个抓拍点位的参数；

巡检抓拍图像系统模块：按照补偿后的点位参数，运动控制软件控制AGV巡检装置依次运动到每个抓拍点位，升降柱对应参数升降，云台变焦相机按对应参数拍摄对应点位的图像，最后通过网络上传至服务器设定目录；

视觉检测系统模块：视觉检测软件监测到有新的上传图片，则调用基于深度学习的缺陷检测算法和对应的缺陷检测算法参数进行检测；

输出结果系统模块：视觉检测软件把检测结果记录到数据库，根据检测结果发出报警信号，全部点位检测结束，检测软件输出该产品的检测报告；

运动控制软件重复执行二次定位系统模块、巡检抓拍图像系统模块、视觉检测系统模块以及输出结果系统模块的系统任务，对巡检任务中的下一个产品依次进行自动巡检，直至全部产品巡检结束；最后自动回到指定待机位置或充电桩位置。

3.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述搭建复合机器人系统模块中，所述AGV巡检装置通过视觉或360°激光雷达实现自主导航；且所述升降柱的数量根据产品高度而定，每个升降柱负责升降不同的高度；升降柱的底座固定在所述AGV巡检装置上；升降柱的升降方向是垂直、水平或倾斜。

4.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述搭建复合机器人系统模块中，所述云台变焦相机中云台为二轴或三轴云台，固定在升降柱的顶端，所述相机和镜头固定在云台上，相机实现无线传输图像，镜头具备自动变焦功能。

5.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述搭建复合机器人系统模块中，运动控制软件负责任务管理、运动控制和采集图像功能，视觉检测软件负责调用算法对图像进检测识别和结果输出功能，深度学习软件负责标注样本、训练模型功能内置的模型包括目标检测、语义分割和OCR，分别用于不同的检测任务；

所述搭建复合机器人系统模块中，服务器联网通过无线网络与AGV巡检装置、升降柱、云台变焦相机进行联网，运动控制软件与所述AGV巡检装置、所述升降柱、所述云台变焦相机进行网络通讯，收发指令和数据。

6.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述配置巡检参数系统模块中，二次定位点位用于机器人的二次定位，补偿产品放置的偏差，产品每个面配置一个二次定位点，选择产品铭牌区域具有独特标识的区域，在相机成像视野中，让标识区域正面居中，大于产品最大放置误差的2倍；所述抓拍点位用于检测产品的检测区域，根据产品的检测需求而定，在相机成像视野中，区域正面居中，四周预留10%的余量。

7.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述配置巡检参数系统模块中，灵敏度算法参数包括点位编号、模板图像、检测类别、检测区域。

8.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述二次定位系统模块中，二次定位算法包括如下步骤：

a：检测产品每个面时，先加载二次定位参数，机器人运动到每个面中心位置处进行拍照；

b：算法提取模板图像和当前图像的关键点，进行关键点匹配，计算得到两幅图像的变换矩阵；

c：根据变换矩阵，对该面的所有点位的参数进行补偿，供后续巡检使用。

9.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述巡检抓拍图像系统模块中，运动控制软件根据补偿后的点位参数，依次加载并控制AGV巡检装置、升降柱、云台按设定参数运动，变焦相机设置为设定参数。

10.根据权利要求2所述的一种大型产品视觉巡检装置用巡检系统，其特征在于：在所述视觉检测系统模块中，深度学习算法模型包括YOLO、Deeplab深度学习模型；所述缺陷检测算法包括点位编号、模板图像、检测类别、检测区域、算法灵敏度参数。

Images