CN112950511B - 一种检测850nm附近不可见激光光斑位置的方法 - Google Patents

Abstract

本发明公开了一种检测850nm附近不可见激光光斑位置的方法，首先利用窄带带通摄像头采集图像，过滤可见光，形成红外数字图像；再将数字图像变换成灰度图像，做降噪处理，得到预处理图像；接着滤除预处理图像的静态背景区域获得差分图像，并基于固定阈值对差分图像进行二值化处理，得到二值图像；然后确定二值图像中的激光光斑的起止区域；再采用重心法，得到光斑坐标，最后采用透视变换方法，获得校正后的光斑坐标。本发明通过窄带带通摄像头，实时采集包含不可见激光光斑的图像，确定图像中这个激光光斑的位置，能够计算实际光斑的现实空间位置，进而能够实现自动报靶，检测效率高，使用方便；适用于不可见激光检测技术领域。

Description

一种检测850nm附近不可见激光光斑位置的方法

技术领域

本发明属于军事训练技术领域，涉及激光光斑的检测，具体地说是一种检测850nm附近不可见激光光斑位置的方法。

背景技术

射击训练是士兵日常训练必不可少的训练内容之一，传统的射击训练采用实弹射击的训练方式。随着科技的发展，人们引入了基于激光的轻武器模拟射击训练。基于激光的轻武器模拟射击训练是一种有效的训练方式，具有安全、成本低、对训练场地要求不高等优点，可广泛应用于轻武器模拟射击训练。

轻武器激光训练报靶系统采用以光代弹的原理，适用于轻武器的基础射击和战术训练，是实弹打靶系统的有效补充。

利用激光发射器进行基本射击技能的训练，包括瞄准、击发、报靶等环节，其中，对激光光斑的定位检测至今依然是激光模拟射击自动报靶的关键技术和难题。现在还主要采用人工方式、光敏管阵列或与靶面相隔一段距离进行广角摄像机拍照等方式，这种方式不仅效率低，而且仅适用于可见光范围内的激光报靶。

当采用不可见激光发射器进行射击训练，激光发射器发射的激光照射到实体目标物体上时，会形成一个人眼不可见的光斑，上述传统的报靶方式不再适用。

此外，在国防教育、激光射击游戏等方面，激光光斑，尤其是不可见激光光斑的检测也非常重要。

如何实现不可见激光光斑的检测，是目前亟待解决的技术问题。

发明内容

本发明的目的，是要提供一种检测850nm附近不可见激光光斑位置的方法。该方法通过窄带带通摄像头，实时采集包含不可见激光光斑的图像，确定图像中这个激光光斑的位置，能够计算实际光斑的现实空间位置，进而实现自动报靶。

本发明为实现上述目的，所采用的技术方案如下：

一种检测850nm附近不可见激光光斑位置的方法，按照以下步骤顺序进行：

S1、利用波长840nm～860nm的窄带带通摄像头实时采集图像，过滤可见光，形成红外数字图像；

所述红外数字图像为RGB三通道彩色数字图像；

S2、将RGB三通道彩色数字图像变换成灰度图像，同时采用中值滤波方法对灰度图像做降噪处理，得到预处理图像；

S3、利用背景差分法滤除预处理图像的静态背景区域获得差分图像，并基于固定阈值对差分图像进行二值化处理，确定包含光斑的区域，得到二值图像；

S4、采用直方图扫描方法，确定二值图像中的激光光斑的起止区域；

S5、采用重心法，计算激光光斑的起止区域的中心像素坐标，得到光斑坐标；

S6、采用透视变换方法，获得校正后的光斑坐标。

作为限定，所述步骤S2中变换成灰度图像的过程包括以下步骤：

遍历内存中存储RGB三通道彩色数字图像的区域，对于每一个像素点，将该像素点的三个RGB通道分量，按式Ⅰ计算出该点所在位置的灰度值，写入灰度图像所对应的内存区域，即可获得当前帧的灰度图像；

P_gray＝(P_r×a+P_g×b+P_b×c+d)÷100————式Ⅰ；

其中P_gray代表灰度值，P_r、P_g、P_b代表三个RGB通道分量，a＝29.9，b＝58.7，c＝11.4，d＝50。

作为进一步限定，所述步骤S2中降噪处理包括以下步骤：

S21、遍历灰度图像，对每一个像素点提取其n个邻域位置的所有像素点，其中n＝4或8；

S22、将当前要处理的像素点及其n个邻域位置的所有像素点进行排序；

S23、将排序后数列的中值点作为当前位置像素点的值。

作为第二种限定，所述步骤S3中，获得差分图像的过程包括以下步骤：

S31、比较预处理图像的每一帧与背景图像的差别，去除静态区域，提取出亮度高的激光光斑区域；

在执行步骤S31的过程中，每间隔X帧数，选取Y图像帧作为背景帧序列，对这些背景帧的像素值求平均值作为背景图像，将要处理的当前帧与背景图像做差分，得到差分图像；

其中，X为25秒～30秒时间内一共1500帧～1800帧，Y为3～5秒时间内一共180帧～300帧。

作为第三限定，所述步骤S4包括以下过程：

在行方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于行方向阈值的位置，记为行方向的起始点，再继续扫描，直到遇到Value值小于行方向阈值的位置，记为行方向的终止点；

在列方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于列方向阈值的位置，记为列方向的起始点，再继续扫描，直到遇到Value值小于列方向阈值的位置，记为列方向的终止点；

上述过程行方向起始点、终止点和列方向起始点、终止点所确定的矩形区域即为激光光斑的起止区域。

作为第四种限定，所述步骤S5包括以下过程：

S51、分别累加激光光斑的起止区域所有前景像素点的X坐标、Y坐标；

S52、用累加后的X坐标、Y坐标分别除以光斑区域前景像素点的个数获得新的X坐标、新的Y坐标，作为激光光斑的起止区域的中心像素坐标，即得光斑坐标。

作为第五种限定，所述步骤S6包括以下过程：

将所述光斑坐标带入式Ⅱ中，通过透视变换，获得校正后的光斑坐标；

式Ⅱ中，u、v代表所述光斑坐标，w代表距离，

即为透视变换矩阵，对应得到校正后的光斑坐标x₀、y₀；

其中，x₀＝x’/w’，y₀＝y’/w’；

获得透视变换矩阵的过程包括以下步骤，

S61、在窄带带通摄像头采集的目标图像中，标记出实际有倾斜角度的目标物体矩形轮廓的四个顶点作为目标透视区域，然后，在这四个顶点中，选取最小横坐标X_min和最大横坐标X_max、最小纵坐标Y_min、最大纵坐标Y_max，构造出四个顶点围城的矩形作为源区域，即为L_up(X_min，Y_max)、R_up(X_max，Y_max)、L_down(X_min，Y_min)、R_down(X_max，Y_min)；

S62、根据目标透视区域的四个顶点的坐标、源区域的四个点坐标，求解透视变换矩阵。

本发明由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：

(1)不可见激光发射器发射的激光照射到实体目标物体上时，会形成一个人眼不可见的光斑，本发明通过窄带带通摄像头，实时采集包含不可见激光光斑的图像，确定图像中这个激光光斑的位置，能够计算实际光斑的现实空间位置，进而能够实现自动报靶，检测效率高，使用方便；

(2)本发明通过窄带带通摄像头，实时采集不可见激光光斑的图像，空间维度上计算光斑坐标值，时间维度上求得一定时间内的平均背景图像、每一帧与这个背景图像进行比较、剔除在这段时间内变化不大的背景图像，从时间和空间两个维度上进行检测，利用光斑的时空特征，通过校正，最终得到光斑的准确位置，检测结果精确度高；

(3)受限于CMOS等电气元件的特性，窄带带通摄像头在采集数字图像时通常会产生“椒盐噪声”，即，在图像上随机出现亮度为最大值(通常为255)的噪声点，称为“盐粒噪声”，以及随机出现亮度为最小值(通常为0)的噪声点，称为“胡椒噪声”，即使经过灰度化，仍然不会去除这些噪声；所以，本发明采用中值滤波方法对灰度图像进行处理，去除椒盐噪声；进一步提高了检测结果的精确度；

(4)在现场部署过程中，不可避免的会出现850纳米附近波长的光线(例如日光中的红外光)被采集到数字图像中的现象；这样的光线可以被视为干扰因素，会对不可见激光光斑的识别造成影响，所以应该去除这些干扰因素；相比于动态出现的激光光斑，这样的干扰光线是静态存在于背景图像当中的；因此，本发明提出利用背景差分的方法，通过比较摄像机一段时间内各帧的差别，去除亮度变化不大(如变化范围在0～70)的静态区域，提取出亮度高的激光光斑区域，进一步提高了检测结果的精确度；

(5)最初得到差分图像，滤除了采集图像中完全静止的静态背景，但是，受现场部署环境和窄带带通摄像头物理特性影响，光线仍会有微小的变化，即使通过之前的处理，这些微小的变化部分仍然会被保留下来，此时，需要进一步去除这些微小的光线变化，本发明利用固定阈值对得出的差分图像进行二值化，进一步提高检测结果的精确度；

(6)由于激光光斑的形状是不规则的，本发明通过计算不规则形状的重心位置来确定光斑的中心坐标，进一步提高检测结果的精确度；

(7)在现场部署中，实际窄带带通摄像头的视角具有一定仰角，因此求得的激光光斑中心坐标是基于窄带带通摄像头平面的坐标，如果直接将其等同于在目标物体平面上的坐标，将会引入很大的误差；本发明中，将激光光斑在目标物体平面上的坐标看作是其在相机平面上的坐标到目标物体平面的透视投影，利用透视变换来将窄带带通摄像头画面中的绝对坐标转化为激光光斑对应目标物体上的相对坐标，以此校正光斑坐标，进一步提高了检测结果的精确度。

本发明能够实现不可见激光的检测，并且检测结果精确度高，具体可应用于士兵射击技能训练中实现自动报靶、国防教育、激光射击游戏等方面。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明实施例步骤S1中获得的数字图像的图片；

图2为本发明实施例彩色三通道图像的内存存储形式示意图；

图3为本发明实施例中背景差分法的过程原理图；

图4为本发明实施例中通过背景差分图像获得的二值图像的图片；

图5为本发明实施例在行方向上的二值图像的直方图；

图6为本发明实施例在列方向上的二值图像的直方图；

图7为本发明实施例中激光光斑所在的矩形区域的图片；

图8为本发明实施例中透视变换的原理图；

图9为本发明实施例中步骤S61中确定的目标透视区域和源区域的图片。

具体实施方式

以下结合附图对本发明的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例 一种检测850nm附近不可见激光光斑位置的方法

本实施例按照以下步骤顺序进行：

S1、利用波长850nm的窄带带通摄像头实时采集图像，过滤可见光，形成红外数字图像，如图1所示；

本实施例中目标图像为激光射击训练中射击后的靶标图像；窄带带通摄像头可采用波长840nm～860nm的窄带带通摄像头，本实施例只是以波长850nm的窄带带通摄像头举例；

红外数字图像为RGB三通道彩色数字图像，RGB三通道彩色数字图像由包含激光光斑的前景图像和包含背景环境的背景图像组成；

S2、将RGB三通道彩色数字图像变换成灰度图像，同时采用中值滤波方法对灰度图像做降噪处理，得到预处理图像；

S3、利用背景差分法滤除预处理图像的静态背景区域获得差分图像，并基于固定阈值对差分图像进行二值化处理，确定包含光斑的区域，得到二值图像；

S4、采用直方图扫描方法，确定二值图像中的激光光斑的起止区域；

S5、采用重心法，计算激光光斑的起止区域的中心像素坐标，得到光斑坐标；

S6、采用透视变换方法，获得校正后的光斑坐标。

窄带带通摄像头采集的数字图像为RGB三通道彩色图像，其在内存中的存储形式如图2所示，每一个像素点在内存中由三个数据表示，代表其在实际数字图像中所对应的红-R、绿-G、蓝-B三原色颜色分量数值。本实施例在读取数字图像后，对三通道彩色图像进行灰度化处理，将其转化为单通道的灰度图像。步骤S2中变换成灰度图像包括以下步骤：

遍历内存中存储RGB三通道彩色数字图像的区域，对于每一个像素点，将该像素点的三个RGB通道分量，按式Ⅰ计算出该点所在位置的灰度值，写入灰度图像所对应的内存区域，即可获得当前帧的灰度图像；

P_gray＝(P_r×a+P_g×b+P_b×c+d)÷100————式Ⅰ；

其中P_gray代表灰度值，P_r、P_g、P_b代表三个RGB通道分量，本实施例中a＝29.9，b＝58.7，c＝11.4，d＝50。

受限于CMOS等电气元件的特性，窄带带通摄像头在采集数字图像时通常会产生“椒盐噪声”，即在图像上随机出现亮度为最大值(通常为255)的噪声点，称为“盐粒噪声”；以及随机出现亮度为最小值(通常为0)的噪声点，称为“胡椒噪声”。即使经过灰度化，仍然不会去除这些噪声。所以，本实施例采用中值滤波方法对灰度图像进行处理，去除椒盐噪声。降噪处理包括以下步骤：

S21、遍历灰度图像，对每一个像素点提取其n个邻域位置的所有像素点，超过边界的位置补0，其中n＝4或8，本实施例中取n＝8；

S22、将当前要处理的像素点及其8个邻域位置的所有像素点进行排序；

S23、将排序后数列的中值点作为当前位置像素点的值。

在现场部署过程中，不可避免的会出现诸如日光中的红外光之类的850纳米附近波长的光线被采集到数字图像中的现象，这样的光线可以被视为干扰因素，会对激光光斑的识别造成影响，应该去除这些干扰因素。相比于动态出现的激光光斑，这样的干扰光线是静态存在于背景图像当中的。所以，本实施例提出利用背景差分的方法，步骤S3中通过比较窄带带通摄像头在时间t内所获得各帧的差别，去除变化范围在0～70的静态区域，提取出亮度高的激光光斑区域，该过程如图3所示。

在识别帧序列中，每间隔X帧数，选取Y图像帧作为背景帧序列，对这些背景帧的像素值求平均值作为背景图像，将要处理的当前帧与背景图像做差分，得到差分图像；

一般地，X为25秒～30秒时间内一共1500帧～1800帧，Y为3～5秒时间内一共180帧～300帧。本实施例中，X取为1500帧、25秒钟；Y取值为300帧、5秒。

当前得到的差分图像，滤除了采集图像中完全静止的静态背景。但是，受现场部署环境和摄像头物理特性影响，光线仍会有微小的变化，即使经过上述处理，这些微小的变化部分仍然会被保留下来，此时，需要进一步去除这些微小的光线变化。本实施了中利用固定阈值对上述步骤得出的差分图像进行二值化，将小于阈值的部分置为0，大于阈值的部分置为255。如图4所示，为二值化后得到的图像。实际使用中，阈值根据实际需要及经验确定。

步骤S4中直方图扫描方法包括以下过程：

在行方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于行方向阈值的位置，记为行方向的起始点，再继续扫描，直到遇到Value值小于行方向阈值的位置，记为行方向的终止点；如图5所示为在行方向上的二值图像的直方图；

在列方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于列方向阈值的位置，记为列方向的起始点，再继续扫描，直到遇到Value值小于列方向阈值的位置，记为列方向的终止点；如图6所示为在列方向上的二值图像的直方图；

上述过程行方向起始点、终止点和列方向起始点、终止点所确定的矩形区域即为激光光斑的起止区域，如图7所示。

本实施例中，步骤S5包括以下过程：

S51、分别累加激光光斑的起止区域所有前景像素点的X坐标、Y坐标；

S52、用累加后的X坐标、Y坐标分别除以光斑区域前景像素点的个数获得新的X坐标、新的Y坐标，作为激光光斑的起止区域的中心像素坐标，即得光斑坐标。

在现场部署中，实际窄带带通摄像头的视角具有一定仰角，上述处理求得的激光光斑中心坐标是基于相机平面的坐标，并不能简单的等同于在目标物体平面上的坐标。实际上，可以将激光光斑在目标物体平面上的坐标看作是其在相机平面上的坐标到目标物体平面的透视投影，本实施例中利用透视变换来将相机画面中的绝对坐标转化为激光光斑对应目标物体上的相对坐标，透视变换的原理如图8所示。

透视变换的公式如式Ⅱ所示：

式Ⅱ中，u、v代表所述光斑坐标，w代表距离，

即为透视变换矩阵，对应得到校正后的光斑坐标x₀、y₀；

其中，x₀＝x’/w’，y₀＝y’/w’。

重写式Ⅱ，可得到新的变换公式：

从公式Ⅲ可以看出，只要构造一个四个顶点的源区域(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)，和一个四个顶点的目标透视区域(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，通过矩阵运算，即可解出a₁₁～a₃₃的值，得到透视变换矩阵。

具体地，在本实施例中，获得透视变换矩阵的过程包括以下步骤，

S61、在窄带带通摄像头采集的目标图像中，标记出实际有倾斜角度的目标物体矩形轮廓的四个顶点作为目标透视区域，然后，在这四个顶点中，选取最小横坐标X_min和最大横坐标X_max、最小纵坐标Y_min、最大纵坐标Y_max，构造出四个顶点围城的矩形作为源区域，即为L_up(X_min，Y_max)、R_up(X_max，Y_max)、L_down(X_min，Y_min)、R_down(X_max，Y_min)；如图9所示，四个灰色的点为目标透视区域的四个顶点，矩形区域为源区域；

S62、根据目标透视区域的四个顶点的坐标、源区域的四个点坐标，然后即可求解透视变换矩阵。

在步骤S5中，已获得激光光斑在相机平面的坐标位置，此时，即可根据式Ⅱ，代入透视变换矩阵，即可得出激光光斑从相机平面投影到实际目标物体平面上的坐标，即为校正后的光斑坐标。

Claims (5)

1.一种检测850nm附近不可见激光光斑位置的方法，其特征在于，按照以下步骤顺序进行：

S1、利用波长840nm～860nm的窄带带通摄像头实时采集图像，过滤可见光，形成红外数字图像；

所述红外数字图像为RGB三通道彩色数字图像；

S2、将RGB三通道彩色数字图像变换成灰度图像，同时采用中值滤波方法对灰度图像做降噪处理，得到预处理图像；

S3、利用背景差分法滤除预处理图像的静态背景区域获得差分图像，并基于固定阈值对差分图像进行二值化处理，确定包含光斑的区域，得到二值图像；

S4、采用直方图扫描方法，确定二值图像中的激光光斑的起止区域；

S5、采用重心法，计算激光光斑的起止区域的中心像素坐标，得到光斑坐标；

S6、采用透视变换方法，获得校正后的光斑坐标；

所述步骤S2中变换成灰度图像的过程包括以下步骤：

遍历内存中存储RGB三通道彩色数字图像的区域，对于每一个像素点，将该像素点的三个RGB通道分量，按式Ⅰ计算出该点所在位置的灰度值，写入灰度图像所对应的内存区域，即可获得当前帧的灰度图像；

P_gray＝(P_r×a+P_g×b+P_b×c+d)÷100————

式Ⅰ；

其中P_gray代表灰度值，P_r、P_g、P_b代表三个RGB通道分量，a＝29.9，b＝58.7，c＝11.4，d＝50；

所述步骤S3中，获得差分图像的过程包括以下步骤：

S31、比较预处理图像的每一帧与背景图像的差别，去除静态区域，提取出亮度高的激光光斑区域；

在执行步骤S31的过程中，每间隔X帧数，选取Y图像帧作为背景帧序列，对这些背景帧的像素值求平均值作为背景图像，将要处理的当前帧与背景图像做差分，得到差分图像；

其中，X为25秒～30秒时间内一共1500帧～1800帧，Y为3～5秒时间内一共180帧～300帧。

2.根据权利要求1所述的一种检测850nm附近不可见激光光斑位置的方法，其特征在于，所述步骤S2中降噪处理包括以下步骤：

S21、遍历灰度图像，对每一个像素点提取其n个邻域位置的所有像素点，其中n＝4或8；

S22、将当前要处理的像素点及其n个邻域位置的所有像素点进行排序；

S23、将排序后数列的中值点作为当前位置像素点的值。

3.根据权利要求1所述的一种检测850nm附近不可见激光光斑位置的方法，其特征在于，所述步骤S4包括以下过程：

在行方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于行方向阈值的位置，记为行方向的起始点，再继续扫描，直到遇到Value值小于行方向阈值的位置，记为行方向的终止点；

在列方向上扫描二值图像的直方图，定位直方图波峰变化的范围，直到遇到Value值大于列方向阈值的位置，记为列方向的起始点，再继续扫描，直到遇到Value值小于列方向阈值的位置，记为列方向的终止点；

上述过程行方向起始点、终止点和列方向起始点、终止点所确定的矩形区域即为激光光斑的起止区域。

4.根据权利要求1所述的一种检测850nm附近不可见激光光斑位置的方法，其特征在于，所述步骤S5包括以下过程：

S51、分别累加激光光斑的起止区域所有前景像素点的X坐标、Y坐标；

S52、用累加后的X坐标、Y坐标分别除以光斑区域前景像素点的个数获得新的X坐标、新的Y坐标，作为激光光斑的起止区域的中心像素坐标，即得光斑坐标。

5.根据权利要求1所述的一种检测850nm附近不可见激光光斑位置的方法，其特征在于，所述步骤S6包括以下过程：

将所述光斑坐标带入式Ⅱ中，通过透视变换，获得校正后的光斑坐标；

式Ⅱ中，u、v代表所述光斑坐标，w代表距离，

即为透视变换矩阵，对应得到校正后的光斑坐标x₀、y₀；

其中，x₀＝x’/w’，y₀＝y’/w’；

获得透视变换矩阵的过程包括以下步骤，

S61、在窄带带通摄像头采集的目标图像中，标记出实际有倾斜角度的目标物体矩形轮廓的四个顶点作为目标透视区域，然后，在这四个顶点中，选取最小横坐标X_min和最大横坐标X_max、最小纵坐标Y_min、最大纵坐标Y_max，构造出四个顶点围城的矩形作为源区域，即为L_up(X_min，Y_max)、R_up(X_max，Y_max)、L_down(X_min，Y_min)、R_down(X_max，Y_min)；

S62、根据目标透视区域的四个顶点的坐标、源区域的四个点坐标，求解透视变换矩阵。

Images