CN108805210A - 一种基于深度学习的弹孔识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的弹孔识别方法，该方法包括以下步骤：一.模型构建、二.数据采集、三.数据处理及标注、四.模型训练、五.弹孔识别。该方法中用到的识别系统对靶面的要求很低；误检，漏检，重检的概率在1％以下，弹孔识别准确度高，达到使用要求；该方法中用到识别系统检测延迟小于40ms，在实时视频流上，同步显示检测结果；弹孔密集情况下，弹孔重叠小于50％，即能区分弹孔和重叠弹孔；靶纸相对摄像头晃动时，使用中心点对齐算法，使弹孔与中心的相对位置不变，解决了靶纸晃动对检测的影响；使用模糊检测算法，过滤掉子弹击中时模糊的画面帧，从而有效解决画面模糊导致的误识别。

Description

一种基于深度学习的弹孔识别方法

技术领域

本发明涉及射击训练领域，特别提供了一种基于深度学习的弹孔识别方法。

背景技术

实弹射击是公安、武警、部队等部门的基础训练考核项目，而目前这些部门的报靶方式主要采用人工报靶，即射击完成后，目测靶面靶纸的弹着点，通过一个一个数弹着点的方式进行报靶。这种报靶方式比较影响射击训练的效率，对报靶人员素质要求较高，不能实时的上报环数信息。

现有技术中，弹孔的识别方法大都采用传统的图像处理方法，计算相邻两帧图像的侦差，利用边缘检测算法寻找帧差后图片的轮廓信息，计算每个轮廓的绝对面积置信度、长宽比置信度，以及面积占空比置信度等信息来识别弹孔。但这种方法对靶面的晃动，帧间模糊，光线变化，连孔等的数据，容易造成误判。

现有技术中，利用相邻两帧图像的帧差的弹孔识别也存在虚目标过滤的方法，基于干扰造成的帧差图上的虚目标一般较小的经验分析，对帧差图中的虚目标采用快速检测，二次判断，尖峰判断等对虚目标进行过滤；对虚目标过滤后的图像进行滤波，区域标记，特征匹配等方法对弹孔进行识别。但这种方法对靶位晃动较大造成的虚目标较大，图像模糊，连孔等的情况，会存在很多的误检，漏检。

因此，本领域技术人员提供了一种基于深度学习的弹孔识别方法，以解决上述背景技术中提出的问题。

发明内容

本发明的目的在于提供一种基于深度学习的弹孔识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习的弹孔识别方法，该方法包括以下步骤：

一.模型构建

1).使用残差网络结构作为特征提取器，特征图在原图上降采样16倍。

2).将特征图输入到RPN(region proposal network)子网络，RPN网络采取滑动anchor的方式，遍历特征图，anchor选取为，以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1,1:2,2:1,三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是弹孔的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，具体做法为，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下弹孔概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。

3).对特征提取器提取出的特征图，使用large separable conv卷积操作的进一步提取特征，并减小特征纬度。

4).使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为弹孔的概率，回归出弹孔包围框。

二.数据采集

1).将摄像头架设好，使得靶纸在摄像头的视野内，清晰，无遮挡。

2).选择不同的时间段，如早中晚，不同的光线条件下，采集射手的射击视频。

3).一个靶面射击10-20发子弹，换一次靶纸，确保能够采集到靶面弹孔清晰的图片。

三.数据处理及标注

1).对采集到的打靶视频数据，拆分成一帧一帧的图像

2).人工过滤掉不包含弹孔信息的图像

3).对包含弹孔信息的图像，裁剪为1000×1000的统一尺寸，使得图像包含整个靶面信息。

4).使用标注工具，将剪裁后图像上的弹孔信息用矩形框标注出来，保存为剪裁图像和标注文件。

四.模型训练

1).将标注数据按3：1的比例分为训练集和验证集，后续新采集的数据作为测试集

2).对训练集数据进行旋转，翻转，增加图像样本多样性，增加训练样本量

3).将训练集数据输入网络模型训练

4).对产生的模型使用验证集数据进行评估验证，验证模型的精度。

五.弹孔识别

1).读取视频流

2).获取视频流帧画面

3).使用opencv模糊算法得到模糊度较低的图像作为检测帧

4).将图片输入到检测模型，得到模型检测结果

5).使用opencv边缘检测算法检测出靶纸中心点相对画面帧的坐标，根据记录的历史中心点坐标，修正弹孔的位置

6).上报检测结果到终端显示。

作为改进：步骤一，该模型是基于Faster-RCNN的深度学习检测模型结构，并在此基础上对网络结构和损失函数进行改进。

作为进一步改进：步骤二中，采集不少于500发的子弹射入靶纸视频数据，在不同的光线条件下进行射击，要求射手随机射击靶面的不同位置。

作为进一步改进：步骤三中，截取视频中存在弹孔的视频帧，进行人工手动标注，用矩形框框出每一帧图像的弹孔位置信息。

作为进一步改进：步骤四中，使用标注后的图片数据，对深度学习模型进行训练，并验证模型的检测精度。

与现有技术相比，本发明的优点在于：

1.该方法中用到的识别系统对靶面的要求很低，只要保证新贴靶纸干净，使靶纸在摄像头视野内。

2.误检(不是弹孔检测为弹孔)，漏检(弹孔出现但没有检测到)，重检(同一个弹孔，检测多次)的概率在1％以下，弹孔识别准确度高，超过99％，达到使用要求。

3.该方法中用到识别系统检测延迟小于40ms，子弹激发，立刻得到检测结果，在实时视频流上，同步显示检测结果。

4.弹孔密集情况下，弹孔重叠小于50％，即能区分弹孔和重叠弹孔。

5.靶纸相对摄像头晃动时，使用中心点对齐算法，使弹孔与中心的相对位置不变，解决了靶纸晃动对检测的影响。

6.使用模糊检测算法，过滤掉子弹击中时模糊的画面帧，从而有效解决画面模糊导致的误识别。

附图说明

下面结合附图及实施方式对本发明作进一步详细的说明：

图1为检测流程图；

图2为检测模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明实施例中，一种基于深度学习的弹孔识别方法，该方法包括以下步骤：

一.模型构建

1).使用残差网络结构作为特征提取器，特征图在原图上降采样16倍。

2).将特征图输入到RPN(region proposal network)子网络，RPN网络采取滑动anchor的方式，遍历特征图，anchor选取为，以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1,1:2,2:1,三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是弹孔的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，具体做法为，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下弹孔概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。

3).对特征提取器提取出的特征图，使用large separable conv卷积操作的进一步提取特征，并减小特征纬度。

4).使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为弹孔的概率，回归出弹孔包围框。

该模型是基于Faster-RCNN的深度学习检测模型结构，并在此基础上对网络结构和损失函数进行改进。

二.数据采集

1).将摄像头架设好，使得靶纸在摄像头的视野内，清晰，无遮挡。

2).选择不同的时间段，如早中晚，不同的光线条件下，采集射手的射击视频。

3).一个靶面射击10-20发子弹，换一次靶纸，确保能够采集到靶面弹孔清晰的图片。

采集不少于500发的子弹射入靶纸视频数据，在不同的光线条件下进行射击，要求射手随机射击靶面的不同位置。

三.数据处理及标注

1).对采集到的打靶视频数据，拆分成一帧一帧的图像

2).人工过滤掉不包含弹孔信息的图像

3).对包含弹孔信息的图像，裁剪为1000×1000的统一尺寸，使得图像包含整个靶面信息。

4).使用标注工具，将剪裁后图像上的弹孔信息用矩形框标注出来，保存为剪裁图像和标注文件。

截取视频中存在弹孔的视频帧，进行人工手动标注，用矩形框框出每一帧图像的弹孔位置信息。

四.模型训练

1).将标注数据按3：1的比例分为训练集和验证集，后续新采集的数据作为测试集

2).对训练集数据进行旋转，翻转，增加图像样本多样性，增加训练样本量

3).将训练集数据输入网络模型训练

4).对产生的模型使用验证集数据进行评估验证，验证模型的精度。

使用标注后的图片数据，对深度学习模型进行训练，并验证模型的检测精度。

五.弹孔识别

1).读取视频流

2).获取视频流帧画面

3).使用opencv模糊算法得到模糊度较低的图像作为检测帧

4).将图片输入到检测模型，得到模型检测结果

5).使用opencv边缘检测算法检测出靶纸中心点相对画面帧的坐标，根据记录的历史中心点坐标，修正弹孔的位置。

6).上报检测结果到终端显示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于深度学习的弹孔识别方法，其特征在于，该方法包括以下步骤：

一.模型构建

1).使用残差网络结构作为特征提取器，特征图在原图上降采样16倍。

2).将特征图输入到RPN(region proposal network)子网络，RPN网络采取滑动anchor的方式，遍历特征图，anchor选取为，以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1,1:2,2:1,三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是弹孔的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，具体做法为，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下弹孔概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。

3).对特征提取器提取出的特征图，使用large separable conv卷积操作的进一步提取特征，并减小特征纬度。

4).使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为弹孔的概率，回归出弹孔包围框。

二.数据采集

1).将摄像头架设好，使得靶纸在摄像头的视野内，清晰，无遮挡。

2).选择不同的时间段，如早中晚，不同的光线条件下，采集射手的射击视频。

3).一个靶面射击10-20发子弹，换一次靶纸，确保能够采集到靶面弹孔清晰的图片。

三.数据处理及标注

1).对采集到的打靶视频数据，拆分成一帧一帧的图像

2).人工过滤掉不包含弹孔信息的图像

3).对包含弹孔信息的图像，裁剪为1000×1000的统一尺寸，使得图像包含整个靶面信息。

4).使用标注工具，将剪裁后图像上的弹孔信息用矩形框标注出来，保存为剪裁图像和标注文件。

四.模型训练

1).将标注数据按3：1的比例分为训练集和验证集，后续新采集的数据作为测试集

2).对训练集数据进行旋转，翻转，增加图像样本多样性，增加训练样本量

3).将训练集数据输入网络模型训练

4).对产生的模型使用验证集数据进行评估验证，验证模型的精度。

五.弹孔识别

1).读取视频流

2).获取视频流帧画面

3).使用opencv模糊算法得到模糊度较低的图像作为检测帧

4).将检测帧图片输入到检测模型，得到模型检测结果

5).使用opencv边缘检测算法检测出靶纸中心点相对画面帧的坐标，根据记录的历史中心点坐标，修正弹孔的位置

6).上报检测结果到终端显示。

2.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤一中，该模型是基于Faster-RCNN的深度学习检测模型结构，并在此基础上对网络结构和损失函数进行改进。

3.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤二中，采集不少于500发的子弹射入靶纸视频数据，在不同的光线条件下进行射击，要求射手随机射击靶面的不同位置。

4.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤三中，截取视频中存在弹孔的视频帧，进行人工手动标注，用矩形框框出每一帧图像的弹孔位置信息。

5.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤四中，使用标注后的图片数据，对深度学习模型进行训练，并验证模型的检测精度。