CN106408527B - 一种基于视频分析的自动报靶方法 - Google Patents

Abstract

本发明涉及一种基于视频分析的自动报靶方法，该方法包括：图像校正、靶面参数建模、射击判断和弹孔定位；射击前，对采集到的靶面图像进行图像校正，得到校正的靶面图像，并在校正的靶面图像上建立靶面参数模型；射击过程中，实时分析采集的靶面图像序列，进行射击判断，判断是否进行了射击，当发生射击行为时，进行弹孔定位，并根据靶面参数模型确定弹孔环数。本发明利用几何校正去除靶面图像畸变；改进环线边界点的搜索方法，使靶面参数模型更加准确；通过分类方法进行弹孔准确定位，充分利用弹孔区域动态变化特性，提高自动报靶的准确性；通过实时分析采集到的视频序列进行射击判断和弹孔定位，提高报靶的自动化程度。

Description

一种基于视频分析的自动报靶方法

技术领域

本发明属于视频分析与图像处理领域，具体涉及一种基于视频分析实现的自动报靶方法。

背景技术

实弹射击属于军事训练中不可缺少的一个环节，目前，我国部队在实弹射击训练中，主要采用人工报靶，即当一部分战士射击时，另一部分战士就隐蔽在靶壕下，通过目测或借助于一些特定工具(如望远镜或摄像机)来确定靶环数，再根据靶场管理人员的要求进行报靶。传统报靶方式严重影响着射击这项基础训练科目的开展，制约士兵训练的质量、效率，同时也与科技练兵要求不符。因此，开发适应能力强、鲁棒性强、价格相对低廉的自动报靶系统对于满足军事训练现代化需求与提高射击训练水平有重要的现实意义。

针对自动报靶问题，国内外相关专业人员进行了广泛的研究，相继研制出了许多不同种类的自动报靶系统，如双层电极短路采样自动报靶系统、声电定位自动报靶系统、光电传感式自动报靶系统、电极埋入式自动报靶系统等基于传感器技术的自动报靶系统。该类系统的枪靶靶面由一些尺寸较小的传感器组成，传感器与集成电路相连，集成电路系统通过对子弹撞击传感器时产生的信号进行处理，从而确定弹着点位置。虽然这种报靶方式的准确率较高，但是由于投入成本高，使用寿命短，因此，大多应用于国际性射击比赛中，不适用于军事训练中的大规模使用。随着数字图像处理技术的发展，基于图像处理技术的自动报靶系统开始出现，该类系统以数字图像处理为理论基础，包括了图像采集、图像处理和数据库管理等部分。在实弹射击过程中，利用图像采集器件采集靶面图像，得到包含弹孔的靶面图像，再利用图像处理技术识别出靶面图像上的弹孔位置，并通过靶面参数来确定弹孔环数，最终实现自动报靶。这种通过图像处理技术实现报靶的方式，成本低，实用性强，发展潜力大。

当前基于图像处理技术的报靶系统的研究主要分为两个方面，一是自动报靶装置的研究，主要是通过将图像处理与图像采集、图像传输、嵌入式技术等相结合，形成自动报靶装置；二是图像处理方法的研究，包括靶面参数的确定、弹孔的定位、弹着点环数的确定等。刘秋燕等在《基于视频图像分析的自动报靶方法研究》中采用霍夫变换检测靶心，分析差分图像确定弹孔位置；刘瑞香等在《面向纸质胸环靶的自动识别报靶系统研究》中采用灰度双向肖波投影确定靶心位置；陆祥翠等在《一种基于图像处理技术的自动报靶方案》中利用轮廓跟踪法进行环线识别。虽然基于图像处理技术的自动报靶系统已经取得了一定的成果，但是当前方法大多只是根据环线和弹孔的明亮来进行识别判断。如郑晓势等在中国专利公开号CN2831033Y《自动识别报靶装置》中认为射击过程中前后图像完全重叠，只采用简单的阈值法进行弹着点判断；徐宏伟等在中国专利公开号CN101937509《基于图像处理技术的自动识靶方法》中也只通过环线与弹孔尺寸的不同进行弹孔确定，而且在采用圆拟合方法进行靶面参数建模时，左右上下搜索环线边界点的方法过于理想，没有考虑实际应用中二值化靶面图像中环线不完整的情况。

综上，实弹射击训练大多在室外进行，环境复杂，自然光照条件变化大，对报靶系统的鲁棒性要求高，然而当前基于图像处理技术的报靶系统大多只通过环线和弹孔的明亮来进行识别判断，识靶精度较低，很难适应自然光照条件下的室外复杂环境，而且系统对于靶面信息的采集、处理和分析的自动化程度不高，无法满足实际应用要求。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于视频分析实现的自动报靶方法，利用几何校正去除靶面图像畸变；改进环线边界点的搜索方法，使靶面参数模型更加准确；通过分类方法进行弹孔准确定位，充分利用弹孔区域动态变化特性，提高自动报靶的准确性；通过实时分析采集到的视频序列进行射击判断和弹孔定位，提高报靶的自动化程度。

本发明技术解决方案：

一种基于视频分析的自动报靶方法，其包括图像校正、靶面参数建模、自动射击判断和弹孔定位。本发明采用的技术方案按照以下步骤实施：射击前，对采集到的靶面图像采用二次映射变换方法进行图像校正，并在校正靶面图像上采用圆拟合方法建立靶面参数模型；射击过程中，实时分析采集的靶面图像序列，通过分类方法自动判断是否进行了射击，当发生射击行为时，采用三维特征分类方法进行弹孔定位，并根据靶面参数模型确定弹孔环数。

所述的图像校正，采用基准点几何校正法，主要作用是校正实际获取的靶面图像中由于图像采集装置的位置、拍摄角度、相机的质量等因素引起的几何畸变。

进一步的，所述的基准点几何校正法，利用标准靶面图像和实际靶面图像中对应的基准点，采用二次映射变换方法建立起标准靶面图像与畸变靶面图像的空间映射关系，根据最小均方误差准则，求出二次映射变换式中的相关系数，然后用这种映射关系对畸变靶面图像进行变换校正。由于畸变程度受射击的影响较小，不需要每次都去求校正系数，对报靶系统进行设置时，仅做一次基准点的选取。

更进一步的，所述的基准点，采用手动选择方式，其特征在于，它是从标准靶面图像与待校正靶面图像中成对选择的，一般选择靶面外围轮廓的角点或拐点位置。

所述的靶面参数建模，是指采用圆拟合方法计算靶面图像相关参数，主要包括靶心坐标和靶环半径，其特征在于，参数计算是在校正后的靶面图像上完成的。

进一步的，所述的靶心坐标，其特征在于，位于靶面中心，是一块明亮的实心圆形区域，与各个靶面环线区域的圆心重合，通过对10环区域进行圆拟合得到。

进一步的，所述的靶环半径，其特征在于，标准靶面图像中，其环值半径是10环区域半径的整数倍。

进一步的，所述的靶面参数建模，其特征在于，参数计算具体流程为：

1)对校正后的靶面图像进行阈值化处理得到二值图像；

2)利用形态学膨胀和腐蚀运算去掉二值图像中的靶面环线和部分数字干扰区域，得到10环区域；

3)利用圆拟合方法得到靶心坐标和10环区域半径；

4)在1)中得到的二值图像中，从靶心坐标出发，向多个方向延伸，采集得到一系列点，包含了各环线边界上的点以及噪声点，根据点的位置关系以及各个环线的靶环半径与10环半径的线性关系(其他环线半径是10环半径的整数倍)，筛选出符合条件的点，然后依次对各环线进行圆拟合，得到各个环线的靶环半径。

所述的自动射击判断，是指实时判断在不断采集的视频图像序列中，是否进行了射击行为，若进行了射击，则进入弹孔定位阶段。其特征在于，通过分析差分图像的灰度变化模式，提取差分图像的全局特征，然后通过分类器判断是否进行了射击行为。

进一步的，所述的差分图像，其特征在于，像素点灰度值发生变化的区域在差分图像上表现为亮区域，其中就包含有弹孔所在的区域，而灰度值没有发生变化的区域表现为暗区域。

进一步的，所述的自动射击判断，具体处理流程为：

1)采用帧间差分法获取差分图像；

2)将差分图像划分为相同大小的网格单元，使每个网格的长和宽为20个像素左右，每4个网格单元组成一个block，以一个网格单元的长或宽为步长网格式地获取block，不同block在图像中可以重叠；

3)统计所有block内的灰度和，采用L_∞对block进行归一化处理，得到差分图像的灰度变化模式；

4)将差分图像的灰度变化模式作为特征，采用分类器方法判断是否进行了射击。。

所述的弹孔定位，是指定位最新产生的弹孔点位置并根据靶面参数确定弹孔点环数。其特征在于，首先利用帧间差分方法获取差分图像，根据差分图像生成多个弹孔候选区域，然后再提取弹孔候选区域特征，采用分类器方法进行弹孔点的精确定位。

进一步的，所述的弹孔候选区域，其特征在于，它是差分图像上亮度较大的微小区域，包含弹孔区域和少量噪声斑点区域。

进一步的，所述的弹孔候选区域特征，用于判断每个弹孔候选区域是否为最新产生的弹孔点，根据弹孔候选区域，在由前后若干原始帧图像所构成的图像序列上截取一个三维图像块，采用能够较好描述运动变化特性的HOG3D特征作为弹孔候选区域的特征，即histograms oforiented gradients for 3D。

本发明与现有技术相比的优点在于：

本发明一种基于视频分析的自动报靶方法，利用视频图像处理技术，能够实时准确的进行自动报靶。针对实际环境下的靶面图像畸变问题，本发明采用基准点几何校正法对畸变靶面图像进行了校正；基于改进的环线边界点搜索方法，能够准确高效地建立靶面参数模型；通过实时视频分析判断是否进行了射击，自动化程度高；采用分类方法进行了弹孔准确定位，相对于传统的只使用帧间差分法或模板匹配方法，在增强鲁棒性的同时显著提高了定位的准确率。总之，本发明基于视频分析方法，实现了射击训练中的自动报靶，可以适用于自然光照条件下的室外复杂环境，价格低廉，具有较高的使用价值。

本发明公开了一种基于视频分析的自动报靶方法，属于视频分析与图像处理领域。针对实际应用中的复杂环境，本发明首先利用几何校正法去除靶面图像畸变，通过改进的环线边界点搜索方法，在校正靶面图像上建立靶面参数模型。同时，针对实际应用中帧间差分法的不稳定性，结合弹孔区域动态变化特性，通过分类方法进行弹孔准确定位，显著了提高弹孔识别率。因此，本发明内容可用于实际射击训练中的自动报靶，以充分提高射击训练水平，满足军事训练现代化需求。

实弹射击训练大多在室外进行，环境复杂，自然光照条件变化大，对报靶系统的鲁棒性要求高，然而当前基于图像处理技术的报靶系统大多只通过环线和弹孔的明亮来进行识别判断，很难适应自然光照条件下的室外复杂环境，无法满足实际应用要求。本发明一种基于视频分析的自动报靶方法，利用几何校正去除靶面图像畸变；改进环线边界点的搜索方法，使靶面参数模型更加准确；通过分类方法进行弹孔准确定位，充分利用弹孔区域动态变化特性，提高自动报靶的准确性；通过实时分析采集到的视频序列进行射击判断和弹孔定位，提高报靶的自动化程度。

附图说明

图1为本发明自动报靶流程示意图；

图2为本发明实施例中基于基准点几何校正法示意图；

图3为本发明实施例中10环区域提取示意图；

图4为本发明实施例中其他环线提取示意图；

图5为本发明实施例中环线拟合示意图；

图6为本发明实施例中差分图像灰度变化模式示意图。

具体实施方式

下面结合说明书附图说明本发明的具体实施方式。

以胸环靶为例，图1为本发明自动报靶流程示意图，本发明提供了一种基于视频分析的自动报靶方法，该方法利用基准点几何校正法对畸变靶面图像进行校正，然后进行靶面参数建模；基于差分图像的灰度变化模式实时判断是否进行了射击；以帧间差分法提取弹孔候选区域，然后提取弹孔区域特征，再利用分类方法进行弹孔准确定位并结合靶面参数模型确定弹着点环数。

图像校正

本发明首先针对实际靶面图像进行畸变校正，去除靶面图像中由于图像采集装置的位置、拍摄角度、相机的质量等因素引起的几何畸变，便于靶面模型的建立。图像校正采用基准点几何校正法，在本发明中采用二次影射变换式进行几何校正。变换式如下：

其中(u,v)和(x,y)分别为畸变靶面图像坐标系和标准靶面图像坐标系上的对应点，求出坐标变换式中的相关系数，就可以用这种映射关系对实际靶面图像进行变换校正。系数求取的具体过程如下：

步骤一，射击训练开始前，获取实际靶面图像，在实际靶面图像与标准靶面图像间手动选择n对成对的基准点：(u_i,v_i)和(x_i,y_i),i＝1,2,3...n.图2展示了基准点的选择示意，一般选择靶外围轮廓的角点或拐点。

步骤二，变换式中有8个系数，需要选择4对基准点进行系数求取，实际测量中，基准点对的选择难免会出现误差，为了避免个别基准点对的误差影响坐标变换系数的求解精度，通常会选择超过4对基准点，再根据最小均方误差准则找出最佳的基准点对，使坐标偏差的平方和为最小，即：

其中坐标的偏差为：

通过解偏微分方程求得坐标变换式系数。

步骤三，根据求得的坐标变换式，对畸变靶面图像进行校正。由于畸变程度受射击的影响较小，不需要每次都去求校正系数，对报靶系统进行设置时，仅在初始阶段做一次基准点的选取。

靶面参数建模

在校正完成后，可对靶面图像进行参数建模，其实现过程可以分为以下四个步骤：

步骤一，对校正后的靶面图像进行阈值化处理得到二值图像，如图3左边图像所示。

步骤二，利用形态学膨胀和腐蚀运算去掉二值图像中的靶环线和部分数字干扰区域，得到10环区域，如图3右边图像所示。

步骤三，利用圆拟合方法得到靶心坐标和10环区域半径。

步骤四，在步骤一中得到的二值图像中，从靶心坐标出发，向多个方向延伸，采集得到一系列点，包含各个环线上的点以及噪声点，根据点的位置关系以及各个环值的靶环半径与10环半径的线性关系(其他环值半径是10环半径的整数倍)，筛选出符合条件的点，进行圆拟合，得到各个环值的靶环半径；图4显示了点的采样过程，图5为最终各个环线的圆拟合结果。

射击判断

经过图像校正和靶面参数建模步骤，已经得到了完整的靶信息，本发明在实际应用中，要求每完成一次射击就要实时给出判靶结果，因此在采集到的图像序列中，需要实时判断是否进行了射击。

射击会使相邻两帧图像发生抖动，同时增加弹孔区域的灰度变化，通过分析差分图像的灰度变化模式，可以判断是否进行了射击行为。其实现过程可以分为以下四个步骤：

步骤一，采用帧间差分法获取差分图像。

步骤二，将差分图像划分为相同大小的网格单元，使每个网格的长和宽为20个像素左右，本例中将图像划分为64x64个网格单元，每4个网格单元组成一个block，以一个网格单元的长或宽为步长有重叠的组成一个个block，保证弹孔会落在某一block中，差分图像最终产生3907(32x32+31x31x3)个block。

步骤三，统计3907个block内的灰度和，采用L_∞进行归一化处理，得到差分图像的灰度变化模式。

步骤四，将差分图像的灰度变化模式作为分类特征，采用分类方法判断是否进行了射击。归一化之后的射击前后差分图像中，弹孔所在block的值较大，其余block的值会很小，而对未射击的差分图像来说，其亮度变化较小，各block的值没有明显的差距，如图6所示，左图为射击前后差分图像的灰度变化模式，右图为未射击情况。

弹孔定位

判断进行了射击之后，确定了射击帧的位置，下面就要进行弹孔的识别定位操作，弹孔识别是报靶方法的关键步骤，它的准确程度直接决定了报靶精度。

实际获取的靶面图像中，弹孔的灰度值跟背景区域灰度值差别较大，且弹孔区域在整个靶面区域中属于微小颗粒。本发明首先利用帧间差分法得到差分后图像，再对差分图像进行阀值分割，检测出差分图像上亮度较大的微小颗粒，从而得到包含弹孔区域和少量噪声斑点的侯选弹孔区域。

对于侯选弹孔区域，除了包含弹孔区域外，还可能包含噪声斑点区域，本发明利用分类方法区分这些区域。预先采集大量弹孔与非弹孔样本，组成特征样本库，训练分类器；对于候选弹孔区域，提取特征，利用训练好的分类器进行分类，选择得分最高的区域作为最后的弹孔区域。具体地，针对射击过程中弹孔所在区域的动态变化特点，选取能够较好的描述物体的运动变化状态的HOG3D特征作为弹孔特征，即histograms of orientedgradients for 3D，在以弹孔为中心的40x40像素的连续6帧区域上进行特征提取。

本发明公开了一种基于视频分析的自动报靶方法，属于视频分析与图像处理领域。针对实际环境下的靶面图像畸变问题，本发明利用基准点几何校正法对畸变靶面图像进行校正；改进了环线边界点的搜索方法，能够在校正靶面图像上准确高效的建立靶面参数模型；基于差分图像的灰度变化模式进行实时的射击判断，提高了训练中报靶的自动化程度；根据弹孔区域特征，利用分类方法进行弹孔准确定位，增强了弹孔定位的准确性。因此，本发明可以适用于自然光照条件下的室外复杂环境中的射击训练需求，具有较高的使用价值。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种基于视频分析的自动报靶方法，其特征在于：射击前，对采集到的靶面图像采用二次影射变换方法进行图像校正，并在校正的靶面图像上采用圆拟合方法进行靶面参数建模；射击过程中，实时分析采集的靶面图像序列，通过分类方法进行自动射击判断，当发生射击行为时，采用三维特征分类方法进行弹孔定位，并根据靶面参数模型确定弹孔环数；

所述图像校正，是指采用基准点几何校正法校正实际获取的靶面图像的几何畸变，具体方法是，利用标准靶面图像和实际靶面图像中对应的基准点，采用二次影射变换方法建立标准图像与畸变图像的空间映射关系，根据最小均方误差准则，求出二次影射变换式中的相关系数，然后对畸变图像进行变换校正；

所述的弹孔定位，是指定位最新产生的弹孔点位置并根据靶面参数确定弹孔点环数，具体过程为：首先利用帧间差分方法获取差分图像，根据差分图像生成多个弹孔候选区域，然后再提取弹孔候选区域特征，采用分类器方法进行弹孔的精确定位；

所述弹孔候选区域，是指差分图像上亮度较大的微小区域，包含弹孔区域和少量噪声斑点区域；所述的弹孔候选区域特征，用于判断每个弹孔候选区域是否为最新产生的弹孔点，具体方法是，根据弹孔候选区域，在由前后若干原始帧图像所构成的图像序列上截取一个三维图像块，采用描述运动变化特性的HOG3D(histograms of oriented gradients for3D)特征作为该弹孔候选区域的特征。

2.根据权利要求1所述的基于视频分析的自动报靶方法，其特征在于：所述基准点，采用手动选择方式，是从标准靶面图像与待校正靶面图像中成对选择的，选择靶面外围轮廓的角点或拐点位置。

3.根据权利要求1所述的基于视频分析的自动报靶方法，其特征在于：所述靶面参数建模，是指采用圆拟合方法计算相关靶面参数，靶面参数包括靶心坐标和靶环半径，靶面参数计算是在校正后的靶面图像上完成的。

4.根据权利要求3所述的基于视频分析的自动报靶方法，其特征在于：所述靶心坐标，位于靶面中心，是一块明亮的实心圆形区域，与各个靶面环线区域的圆心重合，通过对10环区域进行圆拟合得到；所述靶环半径，其环值是10环区域半径的整数倍。

5.根据权利要求3所述的基于视频分析的自动报靶方法，其特征在于：所述靶面参数建模流程为：

1)对校正后的靶面图像进行阈值化处理得到二值图像；

2)利用形态学膨胀和腐蚀运算去掉二值图像中的靶环线和部分数字干扰区域，得到10环区域；

3)利用圆拟合方法得到靶心坐标和10环区域半径；

4)在1)中得到的二值图像中，从靶心坐标出发，向多个方向延伸，采集得到一系列点，包含了各个环线边界上的点以及噪声点，根据点的位置关系以及各个环线的靶环半径与10环半径的线性关系，其他环值半径是10环半径的整数倍，筛选出符合条件的点，然后依次对各环线进行圆拟合，得到各个环线的靶环半径。

6.根据权利要求1所述的基于视频分析的自动报靶方法，其特征在于：所述自动射击判断，是指实时判断在不断采集的靶面图像序列中，是否进行了射击行为，若进行了射击，则进入弹孔定位阶段，具体方法是，通过分析差分图像的灰度变化模式，提取差分图像的全局特征，然后通过分类器判断是否进行了射击行为。

7.根据权利要求5所述的基于视频分析的自动报靶方法，其特征在于：自动射击判断的具体处理流程为：

1)采用帧间差分法获取差分图像；

2)将差分图像划分为相同大小的网格单元，使每个网格的长和宽为20个像素，每4个网格单元组成一个block，以一个网格单元的长或宽为步长网格式地获取block，不同block在图像中可以重叠；

3)统计所有block内的像素灰度值之和，采用L_∞对block进行归一化处理，得到差分图像的灰度变化模式；

4)将差分图像的灰度变化模式作为特征，采用分类器方法判断是否进行了射击。