CN116757999A - 一种基于红外摄像机的射击计数与炸点识别方法 - Google Patents

Abstract

本发明提供了一种基于红外摄像机的射击计数与炸点识别方法，包括：对火箭弹、导弹类发动机推进弹药(以下简称“射弹”)发射及爆炸红外视频采集，构建追踪单发射弹变量数组，构建射弹与背景识别器，构建能够独立追踪每个射弹且返回爆炸点坐标的处理模型。本发明利用基本图像处理知识以及OpenCv技术从采集到的原始红外视频流中提取出与射弹相关的信息，通过一个动态数组追踪记录每一个导弹从而实现同时追踪多个射弹的功能，射弹的轨迹信息、最终炸点信息都保存在动态数组中，通过一个全局的计数变量来记录射弹爆炸的次数。本发明能够灵活地处理红外视频流并且能够准确快速的返回爆炸计数以及炸点坐标，为相关任务提供可靠的技术保证。

Description

一种基于红外摄像机的射击计数与炸点识别方法

技术领域

本发明涉及一种基于红外摄像机的射击计数与炸点识别方法。

背景技术

红外热成像运用光电技术检测物体热辐射的红外线特定波段信号，将该信号转换成可供人类视觉分辨的图像和图形，并可以进一步计算出温度值。红外热成像技术使人类超越了视觉障碍，由此人们可以看到物体表面的温度分布状况。大气、烟云等吸收可见光和近红外线，但是对3～5微米和8～14微米的热红外线却是透明的。因此，这两个波段被称为热红外线的“大气窗口”。利用这两个窗口，可以使人们在完全无光的夜晚，或是在烟云密布的战场，清晰地观察到前方的情况。正是由于这个特点，军事上热红外成像技术提供了先进的夜视装备并为飞机、舰艇和坦克装上了全天候前视系统。这些系统在战争中发挥了非常重要的作用。物体的热辐射能量的大小，直接和物体表面的温度相关。

发明内容

发明目的：受到自然环境限制，对火箭弹、导弹类装备，组织夜间或低照度条件射击是部队的难点训练科目，为了实现射击结果的自动判别，降低训练组织难度，提高检靶、成绩判别效率，本发明提供一种基于红外摄像机的射击计数与炸点识别方法，包括以下步骤：

步骤1、使用信息流预处理算法获取用于射弹追踪算法处理的信息；

步骤2、使用射弹追踪算法处理信息输出射弹数量和爆炸点坐标；

步骤3、根据当前实地环境的温度、训练场地的大小和所使用射弹的型号选择预先设置好的对应的射弹追踪算法的温度阈值、距离阈值和时间阈值超参数；

步骤4、对射弹追踪算法输出结果的准确性进行判定，如果准确性不足则根据当前实地环境微调温度、距离和时间三个阈值超参数并重新对处理模型的准确性进行判定。

步骤1中，使用红外摄像机获取模拟射弹射击过程即爆炸过程时的红外视频信息流，使用信息流预处理算法对每张图像的像素点进行膨胀操作(OpenCV内置函数)，去除图像上的噪声点，然后将温度阈值(根据不同的导弹型号提供对应的值，这个值只是一个50，100，150，200这样渐增的数值，其中根据型号选择对应的值)作为整个图像进行二值化处理，大于温度阈值的像素点强制更改为255，小于温度阈值的像素点强制更改为0，处理后射弹位置变为像素值为255的位置，达到识别出射弹位置的需求。

步骤2包括：

步骤2-1，通过如下公式提取射弹位置：

其中T为温度阈值，D(x,y)为坐标(x,y)处像素点值的大小；

步骤2-2，经由步骤2-1处理的图像数据，如果全为0则判定没有射弹发射，如果存在255的数据则判定画面中出现射弹，以此为根据检测射击是否开始；

步骤2-3，根据前后时刻图像中像素值为255的坐标点的移动变化跟踪炮弹轨迹；

步骤2-4，识别爆炸事件进行计数，由于爆炸时会产生比较强烈的热量变化波动，在爆炸点附近可能会产生两个以上的像素值为255的区域，通过将所述区域沿着轮廓向外扩展四分之一半径的距离，将扩展距离内的像素值由0更改为255，如果为255则保持不变，弱化爆炸时产生的热量波动对检测结果的影响，准确识别每次爆炸，同时不影响其他位置的爆炸判断；

步骤2-5，在图像中像素值为255的区域中，取位于轮廓处的坐标点，根据轮廓坐标点位置生成最小外接圆，圆形的圆点坐标为炮弹炸点的中心位置。

步骤1中，使用红外摄像机而非传统的可见光摄像机对射弹飞行及爆炸的过程进行拍摄，充分利用了红外摄像机能够敏锐捕捉到射弹飞行和爆炸过程中产生的大量的热量信息以及除射弹热源外背景中其他位置热量信息低的特征，从而能够方便的在红外视频流中凸显出射弹的轨迹与炸点位置。

步骤2中，设计了能够独立追踪射弹轨迹以及是否爆炸和炸点信息的处理模型，能够对输入的红外视频流进行特征提取并进行特征处理，得出最终的是否爆炸以及炸点坐标信息；

步骤4中，通过人为的辅助判断来增强处理模型的鲁棒性，使得模型的准确度在不同场景中保持较高的水准。

步骤2-5中，使用findContours()函数对二值化处理后的白色轮廓进行轮廓坐标点提取，所述二值化处理后的白色轮廓为像素值为255的区域，由于爆炸区域和爆炸产生的烟雾通常为不规则的轮廓，为了更好地提取爆炸坐标点，取一个能够包围不规则轮廓的最小矩形boundingRect()，矩形的中点坐标近似为炸点的坐标位置，在获取了每一帧图像内的矩形变量Rect后，将矩形变量Rect与目前的自定义轨迹数组内的轨迹类实例做对比，在对比前首先调用轨迹类的updateTime()函数更新一下每个实例的存活状态，将新创建的矩形变量Rect与自定义轨迹数组中的每一个存活状态为true的自定义轨迹实例的矩形轮廓变量进行位置比较，如果新创建的矩形变量Rect与自定义轨迹数组中的存活状态为true的自定义轨迹实例的矩形轮廓变量的差小于预选择的距离阈值，就在轨迹实例中进行更新，否则继续与其他正在维护的实例进行比较，如果均无符合的实例则判定是一次新的爆炸事件，对矩形变量Rect做为一个新的轨迹的起点并进行实例化操作并加入自定义轨迹数组中；

步骤2-5中，在每次调用轨迹类的updateTime()函数更新每个实例的存活状态时，如果一个轨迹类实例的存活状态转为false，则向爆炸次数计数器发出+1信号，并且根据此时类中维护的矩形变量Rect计算出中心坐标数值，作为爆炸点坐标，并将此刻正在处理的图像进行保存，作为爆炸时刻的图像。

步骤2-5中，由于爆炸事件十分短暂，采用爆炸事件第一帧的信息与最后一帧的信息作为发送处理信号的区别不大，为了节约内存以及简化代码实现，采取爆炸事件的最后一帧，即存活状态转为false的时刻作为发送处理信号的条件。

本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述的一种基于红外摄像机的射击计数与炸点识别方法。

本发明还提供了基于红外摄像机的射击计数与炸点识别系统，所述系统包括红外摄像机和图像处理计算机。红外摄像机对靶场射击训练场景进行拍摄，并输入至图像处理计算机通过图像识别算法对射弹进行自动计数与炸点位置的识别；

识别算法主要包括：

(1)通过帧间差分法检测射击开始；

(2)使用核相关滤波算法跟踪射弹轨迹；

(3)识别爆炸事件进行计数，并通过形态学处理方法判别联通区域，从而识别是否为一次爆炸，避免重复计数；

(4)构建爆炸区域的外接最小圆形，圆形的圆点坐标可判别为炮弹炸点的中心位置。

有益效果：本发明通过非接触式的检测方式解决部队夜间或低照度条件下火箭弹、导弹类武器射击检靶问题，依靠红外摄像机的辅助，本发明可以对射击结果进行自动判别，同时，本发明可以同时检测多个射弹轨迹因此可以支持同时进行多人射击训练，提高了训练效率。同时训练过程中不需要其他人员进入射击区域辅助观察和检靶，仅通过摄像头对整个区域进行视频采集并实现检测和报靶，提升了训练安全性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是射弹追踪及计数流程框图。

图2是帧间差分效果示意图。

具体实施方式

本发明提供了一种基于红外摄像机的射击计数与炸点识别方法，包括如下步骤：

S101、使用信息流预处理算法获取便于射弹追踪算法处理的信息

S201、使用射弹追踪算法处理信息输出射弹数量以及爆炸点坐标；-

S301、根据当前实地环境的温度、训练场地的大小和所使用射弹的型号选择预先设置好的对应的处理模型的温度阈值、距离阈值和时间阈值超参数；

S401对射弹追踪算法输出结果的准确性进行判定，如果准确性不足则根据当前实地环境微调温度、距离和时间三个阈值超参数并重新对处理模型的准确性进行判定。

S101步骤中初始的信息流由红外可见光双通道相机获取，该阶段获取的数据为单通道的图像数据流，其中图像坐标点的像素值根据实际热量信息具有对应的0-255之间的数值。预处理的目的是为了将射弹产生的热量值与其他背景热量值隔离开。预处理流程参照图1中去噪平滑等处理，具体操作是先对每张图像上的所有像素点进行膨胀操作，去除图像上的噪声点，降低噪声对隔离效果的影响，然后将温度阈值作为整个图像进行二值化处理，大于温度阈值的像素点强制更改为255，小于温度阈值的像素点强制更改为0，经过这样处理后射弹位置便为像素值为255的位置，达到识别出射弹位置的需求。

S201中的处理模型具体细节以及S301及S401的判别过程参照图1中下部分的判别流程。针对炮弹落点位置的检测，主要依赖炮弹爆炸产生的光照变化和烟雾位置综合判断，采用的是帧间差分法算法。帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当视频场景中出现异常目标运动时，相邻两帧图像之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，判断其是否大于某一阈值，进而分析视频或图像序列的物体运动特性。其数学公式描述如下：

其中T为温度阈值，D(x,y)为该位置像素点值的大小。

图2展示了帧间差分结果的示意图。利用差分图像检测运动目标(炮弹爆炸)的出现，并计算爆炸区域。由于爆炸区域通常为不规则的轮廓，为了更好地提取中心，本发明拟计算一个能够包围不规则轮廓的一个最小圆形，圆形的圆点坐标可近似为射弹炸点的中心位置。总体而言，爆炸区域越不规则，产生的估计误差也倾向于越大。为此，炸点位置判别应当选择恰能够检测到爆炸的帧来估计中心位置，此时的爆炸区域最小，产生的估计误差也倾向于越小。

检测算法为每一次射击事件建立一个生命周期变量，从检测到爆炸事件从而创立该次爆炸对象的时刻开始计时，通过一个可由后台管理员控制的时间变量进行控制，当经过该时间变量数值的时间后便删除该次爆炸对象，即不再对其进行追踪，通过这种方式来追踪不同的射弹，一个生命周期变量对应一个射弹事件。同时，通过一个可由后台管理员控制的位置变量进行控制，在相近时间内检测到的两个或多个爆炸点两两之间的中心距离与位置变量比较，若中心距离大于该位置变量，则认为是两次不同的爆炸事件。通过以上方法对每次射击练习进行准确计数。

尾焰与爆炸的鉴别主要通过形状和运动方向等来判断。尾焰的形状主要都是细长的区域，而炮弹爆炸则是面积较大的方形或圆形区域，同时射弹尾焰主要是沿着z轴运动(远离相机)，而爆炸是平面内的放射式运动，因此可以判断是否是尾焰，来排除干扰信息。综上所述，若在视频中识别到一段连续的直线线条，并在线条末端产生圆形的膨胀区域，则可判定为一次射击事件，并且射弹发生爆炸。同时，若仅仅检测到一段连续的直线而在末端没有膨胀的圆形区域，则可判定为一次射击但是发生了哑弹事件。

具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于红外摄像机的射击计数与炸点识别方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种基于红外摄像机的射击计数与炸点识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于红外摄像机的射击计数与炸点识别方法，其特征在于，包括以下步骤：

步骤1、使用信息流预处理算法获取用于射弹追踪算法处理的信息；

步骤2、使用射弹追踪算法处理信息输出射弹数量和爆炸点坐标；

步骤3、根据当前实地环境的温度、训练场地的大小和所使用射弹的型号选择预先设置好的对应的射弹追踪算法的温度阈值、距离阈值和时间阈值超参数；

步骤4、对射弹追踪算法输出结果的准确性进行判定，如果准确性不足则根据当前实地环境微调温度、距离和时间三个阈值超参数并重新对处理模型的准确性进行判定。

2.根据权利要求1所述的方法，其特征在于，步骤1中，使用红外摄像机获取模拟射弹射击过程即爆炸过程时的红外视频信息流，使用信息流预处理算法对每张图像的像素点进行膨胀操作，去除图像上的噪声点，然后将温度阈值作为整个图像进行二值化处理，大于温度阈值的像素点强制更改为255，小于温度阈值的像素点强制更改为0，处理后射弹位置变为像素值为255的位置，达到识别出射弹位置的需求。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：

步骤2-1，通过如下公式提取射弹位置：

其中T为温度阈值，D(x,y)为坐标(x,y)处像素点值的大小；

步骤2-2，经由步骤2-1处理的图像数据，如果全为0则判定没有射弹发射，如果存在255的数据则判定画面中出现射弹，以此为根据检测射击是否开始；

步骤2-3，根据前后时刻图像中像素值为255的坐标点的移动变化跟踪炮弹轨迹；

步骤2-4，识别爆炸事件进行计数，爆炸时在爆炸点附近可能会产生两个以上的像素值为255的区域，通过将所述区域沿着轮廓向外扩展四分之一半径的距离，将扩展距离内的像素值由0更改为255，如果为255则保持不变，弱化爆炸时产生的热量波动对检测结果的影响，准确识别每次爆炸，同时不影响其他位置的爆炸判断；

步骤2-5，在图像中像素值为255的区域中，取位于轮廓处的坐标点，根据轮廓坐标点位置生成最小外接圆，圆形的圆点坐标为炮弹炸点的中心位置。

4.根据权利要求3所述的方法，其特征在于，步骤2-5中，使用findContours()函数对二值化处理后的白色轮廓进行轮廓坐标点提取，所述二值化处理后的白色轮廓为像素值为255的区域，取一个能够包围不规则轮廓的最小矩形boundingRect()，矩形的中点坐标近似为炸点的坐标位置，在获取了每一帧图像内的矩形变量Rect后，将矩形变量Rect与目前的自定义轨迹数组内的轨迹类实例做对比，在对比前首先调用轨迹类的updateTime()函数更新一下每个实例的存活状态，将新创建的矩形变量Rect与自定义轨迹数组中的每一个存活状态为true的自定义轨迹实例的矩形轮廓变量进行位置比较，如果新创建的矩形变量Rect与自定义轨迹数组中的存活状态为true的自定义轨迹实例的矩形轮廓变量的差小于预选择的距离阈值，就在轨迹实例中进行更新，否则继续与其他正在维护的实例进行比较，如果均无符合的实例则判定是一次新的爆炸事件，对矩形变量Rect做为一个新的轨迹的起点并进行实例化操作并加入自定义轨迹数组中。

5.根据权利要求4所述的方法，其特征在于，步骤2-5中，在每次调用轨迹类的updateTime()函数更新每个实例的存活状态时，如果一个轨迹类实例的存活状态转为false，则向爆炸次数计数器发出+1信号，并且根据此时类中维护的矩形变量Rect计算出中心坐标数值，作为爆炸点坐标，并将此刻正在处理的图像进行保存，作为爆炸时刻的图像。

6.根据权利要求5所述的方法，其特征在于，步骤2-5中，采取爆炸事件的最后一帧，即存活状态转为false的时刻作为发送处理信号的条件。

7.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至6中任一项所述的方法。