CN111023906B

CN111023906B - 一种基于热成像的弹着点自动检测方法

Info

Publication number: CN111023906B
Application number: CN201911411978.6A
Authority: CN
Inventors: 周成; 赵寅
Original assignee: Beijing Fjr Optoelectronic Technology Co ltd
Current assignee: Beijing fujirui Optoelectronic Technology Co.,Ltd.
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-09-11
Anticipated expiration: 2039-12-31
Also published as: CN111023906A

Abstract

本发明提供了一种基于热成像的弹着点自动检测方法，包括以下步骤：步骤S100、射击过程中红外热像仪拍照获得图像；步骤S200、射击完成后选取图像；步骤S300、处理图像获得多组弹着点位置信息；步骤S400、处理多组弹着点位置信息获得弹着点的像素坐标；步骤S500、将弹着点的像素坐标转换为弹着点在靶面的物理位置坐标。所述检测方法采用了红外热成像技术和图像识别技术进行复合定位，弹着点检测精度高、检测结果可靠，能自动快速报靶。

Description

一种基于热成像的弹着点自动检测方法

技术领域

本发明涉及红外热成像应用技术领域，具体而言，涉及一种基于热成像的弹着点自动检测方法。

背景技术

模拟射击在当下有着越来越广泛的应用，例如专业人员的射击训练，射击体验和真人CS等，无论何种模拟射击的方式，都需要获取弹着点的位置来确定射击操作的结果。

现有技术中检测弹着点位置的核心方法主要基于超声波技术或图像识别技术。使用单一的超声波技术的系统的缺陷是：由于超声波的传输速度受气温气压等多种外部因素影响，弹着点检测精度误差无法控制在5mm以下；使用单一图像识别技术的弹着点检测精度较高，但缺陷在于：对于非子弹或者跳弹产生的“弹孔”很难与真正子弹形成的弹孔进行区分，所以很容易产生弹着点检测错误；实弹射击中往往会出现弹孔轻度重合甚至完全重合的情况，单一的图像识别系统无法侦测到这种差别，也容易产生弹着点检测错误。

发明内容

为解决上述问题，本发明提供一种基于热成像的弹着点自动检测方法，采用了红外热成像技术和图像识别技术进行复合定位，以解决现有技术中的弹着点检测精度低、检测结果不可靠，不能自动快速报靶的技术问题。

本发明提供了一种基于热成像的弹着点自动检测方法，包括以下步骤：

步骤S100、射击过程中红外热像仪拍照获得图像；

步骤S200、射击完成后选取图像；

步骤S300、处理图像获得多组弹着点位置信息；

步骤S400、处理多组弹着点位置信息获得弹着点的像素坐标；

步骤S500、将弹着点的像素坐标转换为弹着点在靶面的物理位置坐标。

进一步地，所述步骤S200中，以当前帧图像为基准，滑窗方式向前取连续多帧图像。

进一步地，所述步骤S200中，所述多帧图像为6帧图像。

进一步地，所述步骤S300中包括，将当前的一帧图像设为第一帧，依次往前连续取6帧图像，用第一帧图像的像素减去第四帧图像的对应的像素，得到第一差值图像，用第二帧图像的像素减去第五帧图像的对应的像素，得到第二差值图像，用第三帧图像的像素减去第六帧图像的对应的像素，得到第三差值图像，所述第一差值图像、第二差值图像、第三差值图像中温度变化值大于预设阈值的点的交集，即为弹着点位置信息。

进一步地，所述步骤S300还包括：将前一帧的弹着点位置信息存在一个缓冲区中，将后一帧的弹着点位置信息和缓冲区中的弹着点位置信息进行比较，如果确定在前一帧存在这个弹着点位置信息，那么就将后一帧这个弹着点位置信息屏蔽。

进一步地，所述步骤S300包括：如果第N帧图像和第M帧图像之间存在相同的弹着点位置信息，则进一步判断第N帧图像和第M帧图像的时间间隔，如果时间间隔大于等于预设时间，则两个弹着点位置信息都保存，如果时间间隔小于预设时间，则只保存其中一个弹着点位置信息。

进一步地，所述预设时间为三帧图像的时间。

进一步地，所述步骤S400包括：根据质心运算原理处理多组弹着点位置信息。

进一步地，所述步骤S500包括：使用神经网络算法进行像素坐标和物理位置坐标的坐标转换。

进一步地，把像素坐标作为神经网络转换矩阵的输入值，物理位置坐标作为神经网络矩阵的输出值，建立神经网络训练模型。

进一步地，选择靶面中的25个热点标定神经网络转换矩阵。

本发明的有益效果：

(1)采用了红外热成像技术和图像识别技术进行复合定位，弹着点检测精度高，能自动快速报靶。

(2)每连续6帧图像判断一次是否有弹着点，由多个差值图像共同判断是否有弹着点，弹着点检测结果可靠，减小了弹着点的误报率。

(3)采用质心运算原理和神经网路算法处理弹着点位置信息，计算速度快，计算结果精确，从而能达到自动快速报靶。

(4)对于子弹不同时刻击中同一点的情况进行了处理，进一步提高了弹着点的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为一种基于热成像的弹着点自动检测系统组成示意图；

图2为弹着点的温度变化特性示意图；

图3为连续6帧图像示意图；

图4为弹着点信息的位置示意图；

图5为子弹如果在不同时刻击中同一点的弹着点温度上升曲线示意图；

图6为热目标在靶面上的物理坐标和在红外热像仪上的像素坐标位置示意图；

图7为神经网络算法的计算方法示意图；

图8为一种基于热成像的弹着点自动检测方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例的基于热成像的弹着点自动检测方法参见附图1-8。

一种基于热成像的弹着点自动检测系统，包括：热靶、红外热像仪和图像处理器。

一种基于热成像的弹着点自动检测方法，包括以下步骤：

步骤S100、射击过程中红外热像仪拍照获得图像。

如图1所示，用户在射击的整个过程中，红外热像仪连续不断地对靶面进行拍照。

步骤S200、射击完成后选取图像。

子弹从靶上穿过以后，弹着点的温度经过1-2帧的时间(80ms左右)达到最高点，然后经过10分钟以后，温度才下降到探测器无法探测的水平弹着点的温度变化特性参见图2，根据弹着点的温度变化特性，需要在连续的多帧图像中选择温度变化值大于预设阈值的点，为了防止误报情况的发生，以当前帧图像为基准，滑窗方式向前取连续6帧图像进行判断。

步骤S300、处理图像,获得多组弹着点位置信息。

参见图3，为了描述方便，将当前的一帧图像设为第一帧，依次往前数6帧，分别设为第一帧F1、第二帧F2、第三帧F3、第四帧F4、第五帧F5、第六帧F6，用第一帧图像的像素减去第四帧图像的对应的像素，得到第一差值图像F4-F1＝C1，用第二帧图像的像素减去第五帧图像的对应的像素，得到第二差值图像F5-F2＝C2，用第三帧图像的像素减去第六帧图像的对应的像素，得到第三差值图像F6-F3＝C3。

第一差值图像C1中温度变化值大于预设阈值的点构成第一点集合A1，第二差值图像C2中温度变化值大于预设阈值的点构成第二点集合A2，第三差值图像C3中温度变化值大于预设阈值的点构成第三点集合A3，三个点集合A1、A2、A3取交集B，交集B即是当前一帧图像温度变化值较大的点，即为弹着点位置信息。

通过最近三帧图像与之前三帧图像的温度变化值，来判断弹着点的位置，每连续6帧图像判断一次是否有弹着点，由C1，C2，C3共同判断是否有弹着点，即检测到连续6帧图像中后三帧图像分别减前三帧图像温度变化值都大于预设阈值，则判断该点为弹着点，从而减小弹着点的误报率。

按照上述方式处理每一帧图像，得到每帧图像中温度变化较大的所有点的集合，判断这些点在在弹着点提取中被当成目标报出来的次数，因为弹着点温度会经过1-2帧才上升到最高点，即图像会连续两帧温度都上升，根据上述计算方法，同一个弹着点如果连续两帧温度上升值都大于阈值，那么就会被连续报靶两次，因此需要通过弹着点被当成目标报出来的次数，使同一个弹着点不会重复被当成目标报出来。

具体解决方式如下：将前一帧的弹着点位置信息存在一个缓冲区中，将后一帧的弹着点位置信息和缓冲区中的弹着点位置信息进行比较，如果确定在前一帧存在这个弹着点位置信息，那么就将后一帧这个弹着点位置信息屏蔽。

子弹如果在不同时刻击中同一点，弹着点温度上升曲线如下图5所示，根据上述判断方法得知，检测到连续6帧图像中后三帧图像分别减前三帧图像温度变化值都大于预设阈值，则判断该点为弹着点。如果击中同一坐标点的子弹之间的时间间隔大于等于三帧图像的时间，那么则认定为两发弹，即有两个弹着点位置信息；如果击中同一坐标点的子弹之间的时间间隔小于三帧图像的时间，则认为是一发子弹，即只有一个弹着点位置信息。如果红外热成像仪的图像的帧率为25Hz，则三帧图像的时间为：3*1/25s＝120ms。

具体处理方式如下：如果第N帧图像和第M帧图像之间存在相同的弹着点位置信息，则进一步判断第N帧图像和第M帧图像的时间间隔，如果时间间隔大于等于预设时间，则两个弹着点位置信息都保存，如果时间间隔小于预设时间，则只保存其中一个弹着点位置信息。

将做完上述处理的弹着点位置信息进行分组，每组弹着点信息的位置示意图如图4所示，

步骤S400、处理多组弹着点位置信息，获得弹着点的像素坐标。

差值图像C1、C2、C3中温度变化值大于预设阈值的点的附近有多个复合条件的点，根据质心运算原理对它们的位置取平均值，综合成一个点，此点即为弹着点，具体计算公式如下所示，△表示相邻两帧图像的像素灰度级的差值；

弹着点的像素横坐标＝(△像素1*像素1的横坐标+△像素2*像素2的横坐标+△像素3*像素3的横坐标+△像素4*像素4的横坐标+△像素5*像素5的横坐标+△像素6*像素6的横坐标+△像素7*像素7的横坐标+△像素8*像素8的横坐标+△像素9*像素9的横坐标)/(△像素1+△像素2+△像素3+△像素4+△像素5+△像素6+△像素7+△像素8+△像素9).

弹着点的像素纵坐标的计算方法同上。

弹着点的像素横纵坐标的计算结果能精确到0.1。

参见图6-7，在红外热像仪的视场内放置5*5个点状热目标，得到此25个目标在靶面上的物理坐标和在红外热像仪视场内的像素坐标。

使用神经网络算法进行像素坐标和物理位置坐标的坐标转换。

如图6，在靶子中设置25个热点，用于标定神经网络转换矩阵，可以得到其25个点的物理位置坐标，在红外热像仪上可以得到这25点的报靶图像像素坐标，把25个像素坐标作为神经网络转换矩阵的输入值，25个物理位置坐标作为输出值，建立神经网络训练模型，然后靶面上的每一个弹着点报靶像素坐标经过训练好的神经网络训练模型可以转换出一个对应的物理位置坐标，这样就可以对实际的弹着点确定准确的靶面物理位置坐标，报靶成功。

由此，弹着点在红外热像仪视场内的像素坐标，经神经网络算法的转换矩阵计算，得到实际的射击弹着点在靶面的物理位置坐标。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于热成像的弹着点自动检测方法，其特征在于，包括以下步骤：

步骤S100、射击过程中红外热像仪拍照获得图像；

步骤S200、射击完成后选取图像；

步骤S300、处理图像获得多组弹着点位置信息；

步骤S400、处理多组弹着点位置信息获得弹着点的像素坐标；

步骤S500、将弹着点的像素坐标转换为弹着点在靶面的物理位置坐标；

所述步骤S300中包括，将当前的一帧图像设为第一帧，依次往前连续取6帧图像，用第一帧图像的像素减去第四帧图像的对应的像素，得到第一差值图像，用第二帧图像的像素减去第五帧图像的对应的像素，得到第二差值图像，用第三帧图像的像素减去第六帧图像的对应的像素，得到第三差值图像，所述第一差值图像、第二差值图像、第三差值图像中温度变化值大于预设阈值的点的交集，即为弹着点位置信息。

2.根据权利要求1所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S200中，以当前帧图像为基准，滑窗方式向前取连续多帧图像。

3.根据权利要求2所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S200中，所述多帧图像为6帧图像。

4.根据权利要求1所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S300还包括：将前一帧的弹着点位置信息存在一个缓冲区中，将后一帧的弹着点位置信息和缓冲区中的弹着点位置信息进行比较，如果确定在前一帧存在这个弹着点位置信息，则将后一帧这个弹着点位置信息屏蔽。

5.根据权利要求1所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S300包括：如果第N帧图像和第M帧图像之间存在相同的弹着点位置信息，则进一步判断第N帧图像和第M帧图像的时间间隔，如果时间间隔大于等于预设时间，则两个弹着点位置信息都保存，如果时间间隔小于预设时间，则只保存其中一个弹着点位置信息。

6.根据权利要求5所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述预设时间为三帧图像的时间。

7.根据权利要求1所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S400包括：根据质心运算原理处理多组弹着点位置信息。

8.根据权利要求1所述的一种基于热成像的弹着点自动检测方法，其特征在于，所述步骤S500包括：使用神经网络算法进行像素坐标和物理位置坐标的坐标转换。

9.根据权利要求8所述的一种基于热成像的弹着点自动检测方法，其特征在于，把像素坐标作为神经网络转换矩阵的输入值，物理位置坐标作为神经网络矩阵的输出值，建立神经网络训练模型。

10.根据权利要求9所述的一种基于热成像的弹着点自动检测方法，其特征在于，选择靶面中的25个热点标定神经网络转换矩阵。