CN110816902B - 卫星结构平台孔内多余物检测系统、实时检测方法及介质 - Google Patents

Abstract

本发明提供了一种卫星结构平台孔内多余物检测系统、实时检测方法及介质，其中系统包括图像采集模块、联机模块、通信模块、多余物检测模块以及数据管理模块；所述通信模块分别与图像采集模块、联机模块实时通信，并且能够发送设定的指令至数据管理模块；所述图像采集模块采集得到的图像数据能够依次经多余物检测模块、数据管理模块输出，得到多余物检测结果。本发明实现了图像采集设备的接入、图像在线采集、多余物实时检测与定位以及多余物检测数据的存储与管理，有效提高了卫星结构平台孔位多余物检测效率，保证了型号产品质量。本发明适用于机器视觉技术以及工业数据管理领域。

Description

卫星结构平台孔内多余物检测系统、实时检测方法及介质

技术领域

本发明涉及机器视觉技术以及工业数据管理领域，具体地，涉及一种卫星结构平台孔内多余物检测系统、实时检测方法及介质。

背景技术

多余物是影响航天产品质量和型号发射与在轨运行成败的重要因素之一。卫星结构平台装配过程中，多余物主要来源于结构板制孔和攻丝环节产生的金属碎屑、平弹垫以及螺母等零件残留等。多余物的防控贯穿整个卫星结构平台装配生产过程，一旦去除不彻底，残留的多余物将对后续卫星总装、测试，甚至在轨使用阶段造成严重的质量隐患。因此，实现多余物的高效检测、确保数据完整可追溯是卫星结构平台装配过程质量管控的重点内容之一。

卫星结构平台多为铝蜂窝板材料，孔位多以Φ6×15盲孔及ST5×15、ST6×15、ST8×15螺纹孔等标准规格为主，孔内多余物具有反光、形状不规则、且无易于识别的特征等难点，以肉眼可见尺度(0.2mm)作为多余物尺寸判定临界值和检测标准。目前，卫星结构平台装配多余物检测仍以手电筒、离线内窥镜等设备辅助检验人员肉眼查看、手工数据记录的传统方法，检测精度低、漏检或误判率高，而且多余物的检测结果无法量化控制，未形成完整的多余物检测数据包，数据可追溯性差。针对卫星结构平台上孔内多余物检测，现有的多余物检测装置与方法，如专利文献CN 201555700 U公开的一种密闭圆柱结构活动多余物的检测装置，往往存在以下不足：

(1)现有多余物检测装置仅能检测较大的多余物，灵敏度低，且需要通过晃动或滚动被测产品等方式激活多余物，该类装置不适用于卫星结构平台上孔内多余物检测；

(2)目前主流的多余物检测方法均以图像处理为基础的机器视觉技术，通过特征匹配、训练分类器等方法实现目标的检测与定位，如随机森林、BP(Back Propagation)神经网络以及SVM(Support Vector Machine)分类器等，但是上述方法检测速度慢、且精度低，无法满足卫星结构平台孔内多余物检测的准确性与实时性要求。

因此，研发一种卫星结构平台孔内多余物检测系统与方法，实现结构平台孔内多余物的实时检测与定位、数据对比分析与多余物检测数据包统一管理，对提高卫星结构平台多余物防控工作效率、保证型号产品质量具有重要意义。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种卫星结构平台孔内多余物检测系统、实时检测方法及介质。

根据本发明提供的一种卫星结构平台孔内多余物检测系统，包括图像采集模块、联机模块、通信模块、多余物检测模块以及数据管理模块；

所述通信模块分别与图像采集模块、联机模块实时通信，并且能够发送设定的指令至数据管理模块；

所述图像采集模块采集得到的图像数据能够依次经多余物检测模块、数据管理模块输出，得到多余物检测结果。

优选地，所述多余物检测模块所述多余物检测模块用于样本数据集构建、YOLO卷积神经网络训练、基于YOLO网络的目标预测以及基于NMS算法的目标处理；具体包括样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块；

所述图像采集模块采集得到的图像数据在多余物检测模块中，依次经样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块得到设定的结果。

优选地，所述数据管理模块用于多余物检测数据的关联存储、快速查询、可视化展示与汇总输出；具体包括数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合；

所述数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合能够根据通信模块的指令完成设定的对应操作。

优选地，所述图像采集模块包括内窥镜，能够通过软硬件API集成接口，实现内窥镜设备的在线拍照控制和图像实时采集。

优选地，所述联机模块包括设备管理模块和联机监控模块，用于控制内窥镜设备通信连接或断开，并实现设备运行状态监控；

所述设备管理模块用于内窥镜设备基本信息配置，包括设备名称、类型、IP地址以及照明亮度中任一种或任多种组合；

所述联机监控模块用于内窥镜设备通信连接、断开以及设备故障状态监控。

优选地，所述通信模块用于服务器与客户端之间的信息传递，通过与内窥镜、联机模块以及图像采集模块实时通信，实现拍照指令信息与图像信息的实时传输；具体通过局域网，采用Web Service技术实现服务器与客户端间的信息交互。

优选地：

所述样本数据构建子模块通过对样本图像进行标注，确定所述样本图像中是否含有多余物；若含有多余物，需用矩形框对所述样本图像中多余物进行标注，获取所述样本图像中所述矩形框中心点像素坐标以及所述矩形框的宽度与高度，进而生成样本数据集，所述样本数据集包括训练样本数据集和测试样本数据集；

所述YOLO网络训练子模块通过训练数据集对YOLO网络进行训练；利用测试数据集对YOLO网络稳定性进行评定；

所述基于YOLO网络的目标预测子模块通过YOLO网络对实测图像进行检测，获得所述实测图像中各个预测矩形框的预测类别以及对应的置信度。

所述基于NMS算法的目标处理子模块通过NMS算法去除冗余目标，获得最终的检测目标。

优选地：

所述数据关联子模块用于将多余物检测数据与属性信息进行结构化关联存储；所述属性信息包括型号、研制阶段、产品、操作人员、检测内容、时间以及地点中的任一种或任多种组合；

所述数据快速查询子模块通过异构数据间结构化关联关系，采用全属性查询、关联搜寻以及模糊查询中的任一种或任多种组合，实现产品多余物检测数据快速查询，进而获取符合查询条件的数据集；

所述数据可视化展示子模块用于对多余物检测数据进行可视化展示，支持图片和/或相似度检测结果的在线浏览；

所述数据汇总输出子模块用于对多余物检测数据进行汇总分析，并按照检测数据树各层次数据，生成满足需求的多余物检测数据包。

根据本发明提供的一种卫星结构平台孔内多余物实时检测方法，包括如下步骤：

步骤1：选取卫星结构平台上的盲孔和螺纹孔作为样本采集目标，利用内窥镜获取样本图像；

步骤2：将样本图像尺寸进行缩放，再将每张样本图像划分成S×S个单元格；

步骤3：对所述样本图像进行预处理，用矩形框对所述样本图像中目标多余物进行标注，获取所述样本图像中矩形框中心点像素坐标以及所述矩形框的宽度与高度，获得样本数据集，包括训练样本数据集与测试样本数据集；

步骤4：设计YOLO网络结构，包含24个卷积层和2个全连接层；用训练数据集对YOLO卷积神经网络进行训练，完成参数调整以及损失函数分析；用测试数据集对所述YOLO网络进行稳定性测试，衡量网络性能；

步骤5：利用高清内窥镜实时采集待检测的卫星结构平台上孔的图像，根据训练好的YOLO网络模型，对实测图像中的进行预测，获得预测目标的预选框参数值；

步骤6：利用NMS算法对步骤5的YOLO网络预选框进行筛选，去除冗余预选框，获得最终检测目标，实现对实测图像中多余物的检测与定位。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的卫星结构平台孔内多余物实时检测方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明实现了图像采集设备的接入、图像在线采集、多余物实时检测与定位以及多余物检测数据的存储与管理，有效提高了卫星结构平台孔位多余物检测效率，保证了型号产品质量。本发明适用于机器视觉技术以及工业数据管理领域。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明系统组成示意图；

图2为多余物检测方法流程图；

图3为多余物检测数据包多维度组织模型；

图4为多余物检测与数据管理流程。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种卫星结构平台孔内多余物检测系统，包括图像采集模块、联机模块、通信模块、多余物检测模块以及数据管理模块；

所述通信模块分别与图像采集模块、联机模块实时通信，并且能够发送设定的指令至数据管理模块；

所述图像采集模块采集得到的图像数据能够依次经多余物检测模块、数据管理模块输出，得到多余物检测结果。

所述多余物检测模块所述多余物检测模块用于样本数据集构建、YOLO卷积神经网络训练、基于YOLO网络的目标预测以及基于NMS算法的目标处理；具体包括样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块；

所述图像采集模块采集得到的图像数据在多余物检测模块中，依次经样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块得到设定的结果。

所述数据管理模块用于多余物检测数据的关联存储、快速查询、可视化展示与汇总输出；具体包括数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合；

所述数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合能够根据通信模块的指令完成设定的对应操作。

所述图像采集模块包括内窥镜，能够通过软硬件API集成接口，实现内窥镜设备的在线拍照控制和图像实时采集。

所述联机模块包括设备管理模块和联机监控模块，用于控制内窥镜设备通信连接或断开，并实现设备运行状态监控；

所述设备管理模块用于内窥镜设备基本信息配置，包括设备名称、类型、IP地址以及照明亮度中任一种或任多种组合；

所述联机监控模块用于内窥镜设备通信连接、断开以及设备故障状态监控。

优选地，所述通信模块用于服务器与客户端之间的信息传递，通过与内窥镜、联机模块以及图像采集模块实时通信，实现拍照指令信息与图像信息的实时传输；具体通过局域网，采用Web Service技术实现服务器与客户端间的信息交互。

所述样本数据构建子模块通过对样本图像进行标注，确定所述样本图像中是否含有多余物；若含有多余物，需用矩形框对所述样本图像中多余物进行标注，获取所述样本图像中所述矩形框中心点像素坐标以及所述矩形框的宽度与高度，进而生成样本数据集，所述样本数据集包括训练样本数据集和测试样本数据集；

所述YOLO网络训练子模块通过训练数据集对YOLO网络进行训练；利用测试数据集对YOLO网络稳定性进行评定；

所述基于YOLO网络的目标预测子模块通过YOLO网络对实测图像进行检测，获得所述实测图像中各个预测矩形框的预测类别以及对应的置信度。

所述基于NMS算法的目标处理子模块通过NMS算法去除冗余目标，获得最终的检测目标。

所述数据关联子模块用于将多余物检测数据与属性信息进行结构化关联存储；所述属性信息包括型号、研制阶段、产品、操作人员、检测内容、时间以及地点中的任一种或任多种组合；

所述数据快速查询子模块通过异构数据间结构化关联关系，采用全属性查询、关联搜寻以及模糊查询中的任一种或任多种组合，实现产品多余物检测数据快速查询，进而获取符合查询条件的数据集；

所述数据可视化展示子模块用于对多余物检测数据进行可视化展示，支持图片和/或相似度检测结果的在线浏览；

所述数据汇总输出子模块用于对多余物检测数据进行汇总分析，并按照检测数据树各层次数据，生成满足需求的多余物检测数据包。

根据本发明提供的一种卫星结构平台孔内多余物实时检测方法，包括如下步骤：

步骤1：选取卫星结构平台上的盲孔和螺纹孔作为样本采集目标，利用内窥镜获取样本图像；

步骤2：将样本图像尺寸进行缩放，再将每张样本图像划分成S×S个单元格；

步骤3：对所述样本图像进行预处理，用矩形框对所述样本图像中目标多余物进行标注，获取所述样本图像中矩形框中心点像素坐标以及所述矩形框的宽度与高度，获得样本数据集，包括训练样本数据集与测试样本数据集；

步骤4：设计YOLO网络结构，包含24个卷积层和2个全连接层；用训练数据集对YOLO卷积神经网络进行训练，完成参数调整以及损失函数分析；用测试数据集对所述YOLO网络进行稳定性测试，衡量网络性能；

步骤5：利用高清内窥镜实时采集待检测的卫星结构平台上孔的图像，根据训练好的YOLO网络模型，对实测图像中的进行预测，获得预测目标的预选框参数值；

步骤6：利用NMS算法对步骤5的YOLO网络预选框进行筛选，去除冗余预选框，获得最终检测目标，实现对实测图像中多余物的检测与定位。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的卫星结构平台孔内多余物实时检测方法的步骤。

具体地，本发明优选例提供了一种卫星结构平台孔内多余物检测系统与方法，所述系统包括图像采集模块、联机模块、通信模块、多余物检测模块和数据管理模块。图像采集模块利用高清内窥镜实现卫星结构平台上孔的图像拍照采集、图像在线传输等功能；联机模块实现设备通信连接及状态监控；通信模块采用Web Service技术实现服务器与设备之间的信息交互；多余物检测模块利用YOLO(You Only Look Once)卷积神经网络实现图像中多余物的实时检测与定位；数据管理模块实现多余物检测数据的关联存储与统计分析。本发明实现了图像采集设备的接入、图像在线采集、多余物实时检测与定位以及多余物检测数据的存储与管理，有效提高了卫星结构平台孔位多余物检测效率，保证了型号产品质量。本发明适用于机器视觉技术以及工业数据管理领域。

本发明优选例的一种卫星结构平台孔内多余物检测系统技术方案如下：

所述系统包括图像采集模块、联机模块、通信模块、多余物检测模块和数据管理模块，其中：

所述图像采集模块采用自主开发的通用化软硬件API集成接口，实现高清内窥镜设备的在线拍照控制以及图像的实时采集；

所述联机模块用于控制高清内窥镜设备通信连接或断开，并实现设备运行状态监控；

所述通信模块用于服务器与客户端之间的信息传递，通过与高清内窥镜、联机模块及图像采集模块实时通信，实现拍照指令信息与图像信息的实时传输；

所述多余物检测模块用于样本数据集构建、YOLO(You Only Look Once)卷积神经网络训练、基于YOLO网络的目标预测以及基于NMS(Non Maximum Suppression)算法的目标处理；

所述数据管理模块用于多余物检测数据的关联存储、快速查询、可视化展示与汇总输出。

所述图像采集模块通过自主开发的通用化软硬件API集成接口，实现高清内窥镜设备的在线拍照控制、图像实时采集。

所述联机模块包括设备管理模块、联机监控模块；

所述设备管理模块用于高清内窥镜设备基本信息配置，包括设备名称、类型、IP地址、照明亮度等；

所述联机监控模块用于高清内窥镜设备通信连接、断开及设备故障状态监控。

所述通信模块通过局域网，采用Web Service技术实现服务器与客户端间的信息交互。

所述多余物检测模块包括样本数据集构建单元、YOLO卷积神经网络训练单元、基于YOLO网络的目标预测单元、基于NMS算法的目标处理单元；

所述样本数据集构建单元，即样本数据构建子模块通过对样本图像进行标注，确定所述样本图像中是否含有多余物；若含有多余物，需用矩形框对所述样本图像中多余物进行标注，获取所述样本图像中所述矩形框中心点像素坐标以及所述矩形框的宽度与高度，进而生成样本数据集，所述样本数据集包括训练样本数据集与测试样本数据集；

所述YOLO卷积神经网络训练单元，即YOLO网络训练子模块通过训练数据集对YOLO网络进行训练；利用测试数据集对YOLO网络稳定性进行评定；

所述基于YOLO网络的目标预测单元，即基于YOLO网络的目标预测子模块通过YOLO网络对实测图像进行检测，获得所述实测图像中各个预测矩形框的预测类别以及对应的置信度。

所述基于NMS算法的目标预处理单元，即基于NMS算法的目标处理子模块通过NMS算法去除冗余目标，获得最终的检测目标；

所述数据管理模块包括多余物检测数据关联存储模块、数据快速查询模块、数据可视化展示模块、数据汇总输出模块；

所述数据关联存储模块，即数据关联子模块用于将多余物检测数据与属性信息进行结构化关联存储；所述属性信息包括型号、研制阶段、产品、操作人员、检测内容、时间和地点等信息；

所述数据快速查询模块，即数据快速查询子模块通过异构数据间结构化关联关系，采用全属性查询、关联搜寻、模糊查询等方法，实现产品多余物检测数据快速查询，进而获取符合查询条件的数据集；

所述数据可视化展示模块，即数据可视化展示子模块用于对多余物检测数据进行可视化展示，可支持图片、相似度检测结果等的在线浏览；

所述数据汇总输出模块，即数据汇总输出子模块用于对多余物检测数据进行汇总分析，并按照检测数据树各层次数据，快速生成满足需求的多余物检测数据包。

本发明优选的一种卫星结构平台孔内多余物实时检测方法技术方案包括以下步骤：

步骤1：选取卫星结构平台上常见的Φ6×15盲孔及ST5×15、ST6×15、ST8×15螺纹孔作为样本采集目标，利用高清内窥镜获取样本图像；

步骤2：将样本图像尺寸进行缩放，再将每张样本图像划分成S×S个单元格；

步骤3：对所述样本图像进行预处理，用矩形框对所述样本图像中目标多余物进行标注，获取所述样本图像中矩形框中心点像素坐标以及所述矩形框的宽度与高度，获得样本数据集，包括训练样本数据集与测试样本数据集；

步骤4：设计YOLO网络结构，包含24个卷积层和2个全连接层；用训练数据集对YOLO卷积神经网络进行训练，完成参数调整以及损失函数分析；用测试数据集对所述YOLO网络进行稳定性测试，衡量网络性能；

步骤5：利用高清内窥镜实时采集待检测的卫星结构平台上孔的图像，根据训练好的YOLO网络模型，对实测图像中的进行预测，获得预测目标的预选框参数值；

步骤6：利用NMS算法对步骤5的YOLO网络预选框进行筛选，去除冗余预选框，获得最终检测目标，实现对实测图像中多余物的检测与定位。

进一步地，图1是按照本发明构建的卫星结构平台孔内多余物自动检测系统的组成示意图。该系统包括图像采集模块、联机模块、通信模块、多余物检测模块和数据管理模块，下面对其逐一进行具体解释说明。

图像采集模块，用于图像的在线实时采集。通过采用自主开发的通用化软硬件API集成接口，实现图像采集设备的在线拍照控制以及图像在线采集。

联机模块，用于高清内窥镜的管理、以及联机监控。该模块用于高清内窥镜设备基本信息的配置，包括设备名称、类型、IP地址、照明亮度等；联机监控用于高清内窥镜设备通信连接、断开及设备故障状态监控。

通信模块，用于服务器与高清内窥镜之间的数据信息的传输。该模块通过局域网，利用Web service技术实现部署在服务器上的联机模块、图像采集模块与高清内窥镜之间的通信。

多余物检测模块，用于样本数据集构建、YOLO卷积神经网络训练、基于YOLO网络的目标预测以及基于NMS算法的目标处理。①用矩形框对含有目标多余物的样本图像进行标注，获取样本图像中矩形框中心点像素坐标以及矩形框的宽度与高度，生成样本数据集，包括训练样本数据集与测试样本数据集；②利用训练样本数据集对YOLO网络进行训练，完成参数调整以及损失函数分析，然后采用测试样本数据集对YOLO网络稳定性进行评定；③根据训练后的YOLO网络对实测图像进行目标多余物检测，获得多余物预测框类别信息；④采用NMS方法筛选出合适的预选框，得到最终的检测目标。

数据管理模块，用于多余物检测数据的关联存储、数据快速查询、统计分析、汇总输出、以及数据的可视化展示。①多余物检测数据可与型号、研制阶段、产品、操作人员、检测内容、时间和地点等属性信息进行关联；②通过异构数据间结构化关联关系，采用全属性查询、关联搜寻、模糊查询等方法，实现产品多余物检测数据快速查询，进而获取符合查询条件的数据集；④通过对多余物检测数据进行汇总分析，并按照检测数据树各层次数据，快速生成满足需求的多余物检测数据包；对多余物检测结果可以进行可视化展示，支持图片、相似度检测结果等的在线浏览。

结合图2，卫星结构平台孔内多余物检测方法包括以下步骤：

步骤1：选取卫星结构平台上常见的Φ6×15盲孔及ST5×15、ST6×15、ST8×15螺纹孔作为样本采集目标，利用高清内窥镜选取距离孔底部2mm、4mm、6mm、8mm、10mm、12mm和14mm共7个位置进行拍摄，获取样本图像，生成样本数据集，样本图像数量为420张,其中训练数据集320张图像，测试数据集包括100张图像；

步骤2：将训练样本图像尺寸缩放到448pixel×448pixel，再将每张样本图像划分成S×S(7 x 7)个单元格，即所述各单元格尺寸为64pixel×64pixel；

步骤3：对训练样本图像进行预处理，用矩形框对所述样本图像中多余物进行标注，所述类别用C(C＝1)表示；并获取所述样本图像中矩形框中心点像素坐标以及所述矩形框的宽度与高度，向量表示为[x,y,w,h]，其中，[x,y]表示矩形框的中心点像素坐标，[w,h]表示矩形框的宽度和高度，进而生成训练样本数据集；

步骤4：设计YOLO网络结构，包含24个卷积层和2个全连接层；用训练样本数据集对YOLO卷积神经网络进行训练，调整参数及损失函数值，损失函数值包括矩形框中心点坐标值均方差、置信度(confidence)均方差以及类别预测概率均方差；用测试样本数据集对训练好的YOLO卷积神经网络进行稳定性测试，衡量网络性能；

步骤5：利用高清内窥镜实时采集待检测的卫星结构平台上孔的图像，重复步骤2，然后将其输入训练好的YOLO网络模型；YOLO网络为实测图像中每一个单元格预测B＝2个矩形框，同时预测每个矩形框的参数[x,y,w,h,confidence]，其中，confidence(置信度)定义为：，指每个矩形框含有目标的概率，指YOLO网络预测的矩形框与输入图像标注的矩形框的重叠率。最终得到预测结果为S×S×(B×5+C)＝539的张量；

步骤6：利用NMS算法对YOLO网络预测框进行筛选，去除冗余预测框，获得最终检测目标，从而实现对实测图像中多余物的检测与定位。

结合图3，为有效支撑多余物检测过程数据包的快速生成，综合考虑组织结构、数据分类、数据格式等多个维度，构建了多余物检测数据包组织模型，主要包括以下维度：

(1)组织结构维度：基于PBOM构建多余物检测数据包的数据组织框架，自顶向下依次为型号、阶段、产品、生产计划、工艺过程、具体工艺流程、工序等层级，建立产品BOM、工艺流程、制造检测数据间的结构化关联关系。可根据多余物检测数据包的精细化管理的不同粒度要求，柔性配置数据包生成粒度层级，快速生成满足要求的多余物检测数据包；

(2)数据分类维度：根据多余物检测数据包清单内容，以及数据的不同属性、功能，对数据包所含数据进行分类，形成包含过程跟踪卡、过程记录表、影像记录等的全部类型数据包；

(3)数据格式维度：将多余物检测数据包中的数据按数据格式进行分类组织，主要包括结构化表格、文档、多媒体等数据类型，其中结构化表格中数据存储在关系型数据库中，文档和多媒体数据在文件数据库中进行存储，并将其属性信息在关系型数据库中进行关联存储。

结合图4，多余物实时检测与数据管理流程图具体如下：

(1)高清内窥镜与数据管理系统集成：高清内窥镜主机系统提供HDMI视频输出接口、Micro USB端口，同时开发了与服务器数据实时传输的功能模块，实现孔位多余物检测图像信息的在线回传。

(2)图像在线采集以及多余物快速检测与定位：利用高清内窥镜在线实时采集图像，然后根据训练好的YOLO模型对图像中多余物进行检测与定位，判读是否存在多余物信息；

(3)多余物检测数据的存储与管理：对在线采集的多余物检测图片及附属信息、检验记录表信息等与型号产品、工艺流程、工序工步等进行关联存储，形成完整的多余物检测数据包，并实现追溯、查询与统计功能。

综上所述，本发明提供的一种卫星结构平台孔内多余物检测系统与方法，能够实现图像采集设备的接入、图像的在线实时采集、图像中多余物实时检测与定位、以及多余物检测数据的存储与管理。所述系统有效提高了卫星结构平台孔位多余物检测效率，保证了型号产品质量；所述方法能够实现卫星结构平台孔内多余物检测与定位，速度快、精度高，且泛化能力强，对其他事物具有较好的效果。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种卫星结构平台孔内多余物实时检测方法，其特征在于，包括如下步骤：

步骤1：选取卫星结构平台上的盲孔和螺纹孔作为样本采集目标，利用内窥镜获取样本图像；

步骤2：将样本图像尺寸进行缩放，再将每张样本图像划分成S × S个单元格；

步骤3：对所述样本图像进行预处理，用矩形框对所述样本图像中目标多余物进行标注，获取所述样本图像中矩形框中心点像素坐标以及所述矩形框的宽度与高度，获得样本数据集，包括训练样本数据集与测试样本数据集；

步骤4：设计YOLO网络结构，包含24个卷积层和2个全连接层；用训练样本数据集对YOLO卷积神经网络进行训练，完成参数调整以及损失函数分析；用测试样本数据集对所述YOLO网络进行稳定性测试，衡量网络性能；

步骤5：利用高清内窥镜实时采集待检测的卫星结构平台上孔的图像，根据训练好的YOLO网络模型，对实测图像进行预测，获得预测目标的预选框参数值；

步骤6：利用NMS算法对步骤5的YOLO网络预选框进行筛选，去除冗余预选框，获得最终检测目标，实现对实测图像中多余物的检测与定位。

2.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的卫星结构平台孔内多余物实时检测方法的步骤。

3.一种卫星结构平台孔内多余物检测系统，采用权利要求1所述的卫星结构平台孔内多余物实时检测方法，其特征在于，包括图像采集模块、联机模块、通信模块、多余物检测模块以及数据管理模块；

所述通信模块分别与图像采集模块、联机模块实时通信，并且能够发送设定的指令至数据管理模块；

所述图像采集模块采集得到的图像数据能够依次经多余物检测模块、数据管理模块输出，得到多余物检测结果。

4.根据权利要求3所述的卫星结构平台孔内多余物检测系统，其特征在于，所述多余物检测模块用于样本数据集构建、YOLO卷积神经网络训练、基于YOLO网络的目标预测以及基于NMS算法的目标处理；具体包括样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块；

所述图像采集模块采集得到的图像数据在多余物检测模块中，依次经样本数据构建子模块、YOLO网络训练子模块、基于YOLO网络的目标预测子模块以及基于NMS算法的目标处理子模块得到设定的结果。

5.根据权利要求3所述的卫星结构平台孔内多余物检测系统，其特征在于，所述数据管理模块用于多余物检测数据的关联存储、快速查询、可视化展示与汇总输出；具体包括数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合；

所述数据关联子模块、数据快速查询子模块、数据汇总输出子模块以及数据可视化展示子模块中的任一种或任多种组合能够根据通信模块的指令完成设定的对应操作。

6.根据权利要求3所述的卫星结构平台孔内多余物检测系统，其特征在于，所述图像采集模块包括内窥镜，能够通过软硬件API集成接口，实现内窥镜设备的在线拍照控制和图像实时采集。

7.根据权利要求6所述的卫星结构平台孔内多余物检测系统，其特征在于，所述联机模块包括设备管理模块和联机监控模块，用于控制内窥镜设备通信连接或断开，并实现设备运行状态监控；

所述设备管理模块用于内窥镜设备基本信息配置，包括设备名称、类型、IP地址以及照明亮度中任一种或任多种组合；

所述联机监控模块用于内窥镜设备通信连接、断开以及设备故障状态监控。

8.根据权利要求6所述的卫星结构平台孔内多余物检测系统，其特征在于，所述通信模块用于服务器与客户端之间的信息传递，通过与内窥镜、联机模块以及图像采集模块实时通信，实现拍照指令信息与图像信息的实时传输；具体通过局域网，采用Web Service技术实现服务器与客户端间的信息交互。

9.根据权利要求4所述的卫星结构平台孔内多余物检测系统，其特征在于：

所述样本数据构建子模块通过对样本图像进行标注，确定所述样本图像中是否含有多余物；若含有多余物，需用矩形框对所述样本图像中多余物进行标注，获取所述样本图像中所述矩形框中心点像素坐标以及所述矩形框的宽度与高度，进而生成样本数据集，所述样本数据集包括训练样本数据集和测试样本数据集；

所述YOLO网络训练子模块通过训练样本数据集对YOLO网络进行训练；利用测试样本数据集对YOLO网络稳定性进行评定；

所述基于YOLO网络的目标预测子模块通过YOLO网络对实测图像进行检测，获得所述实测图像中各个预测矩形框的预测类别以及对应的置信度；

所述基于NMS算法的目标处理子模块通过NMS算法去除冗余目标，获得最终的检测目标。

10.根据权利要求5所述的卫星结构平台孔内多余物检测系统，其特征在于：

所述数据关联子模块用于将多余物检测数据与属性信息进行结构化关联存储；所述属性信息包括型号、研制阶段、产品、操作人员、检测内容、时间以及地点中的任一种或任多种组合；

所述数据快速查询子模块通过异构数据间结构化关联关系，采用全属性查询、关联搜寻以及模糊查询中的任一种或任多种组合，实现产品多余物检测数据快速查询，进而获取符合查询条件的数据集；

所述数据可视化展示子模块用于对多余物检测数据进行可视化展示，支持图片和/或相似度检测结果的在线浏览；

所述数据汇总输出子模块用于对多余物检测数据进行汇总分析，并按照检测数据树各层次数据，生成满足需求的多余物检测数据包。

Images