CN115880371A - 一种红外视角下反光靶标中心定位方法 - Google Patents

Abstract

本发明公开了一种红外视角下反光靶标中心定位方法，步骤如下：通过分析红外视角下反光靶标的成像特征，提出一种基于ROI粗定位的K‑means分割的靶标分割方法；通过模拟靶标光斑中心提取实验，提出改进高斯拟合法对K‑means分割后的光斑中心的提取精度要优于灰度质心法，且在其有一定遮挡情况下仍具有较好的精度；在对各红外相机完成标定、确定待观测空间内的世界坐标后，通过多红外相机完成对大范围空间内靶标的定位。本发明所述的红外视角下反光靶标中心定位方法能够较好的去除红外LED灯补照背景物体的影响，有利于靶标图像的分割及中心提取，能够有效保留靶标光斑的完整性，并且在室内红外视角下具有更高的精准度和稳定性。

Description

一种红外视角下反光靶标中心定位方法

技术领域

本发明涉及室内非接触式定位技术，特别是一种红外视角下反光靶标中心定位方法。

背景技术

红外高精度三维坐标测量在室内定位、科学研究、虚拟现实应用等领域都能发挥重要作用，而且随着相关行业的发展，高精度的定位设备越来越成为一个不可忽视的市场需求。当前室内红外视角下的靶标定位研究，在于靶标二维定位的稳定性和精度影响其三维信息恢复的稳定性和精度。反光靶标在红外视角成像下会产生光斑弥散现象，传统图像分割方法对其弥散边缘分割效果较差，其分割结果影响靶标中心的提取。目前，室内靶标定位方案，常采用双目相机对其进行三维测量，但受限于双目相机的小视场，无法在室内大范围空间内使用，不便于实际工作过程中的使用。尤其是在室内三维定位过程中，受噪声、背景杂光和遮挡干扰，其稳定性和精度会降低，不能满足目前室内红外靶标定位要求。

与本发明相似的现有技术有：

1、《一种全景红外相机几何标定方法》(公开号CN113781579A)，该方法在对靶标球中心提取采用全局灰度阈值和质心法，并没有考虑算法对靶标目标分割的性能以及环境噪声对于算法的影。对于网上公开的GLMocap室内定位方案，该方案使用Canny提取反光靶标光斑边缘特征，实现光斑的捕捉，通过特征边缘提取，对边缘像素进行圆度拟合，实现对光斑的中心定位。由于红外视角下反光靶标经过红外光的照射，会产生光斑弥散现象，简单的Canny边缘提取方法，会破坏靶标原有的圆度特征，此时通过圆的边缘拟合方法，虽然实现亚像素的中心提取，但往往误差比较大，无法达到更高精度。

2、文献《光学定位中近红外目标实时检测系统设计》(2022)中，通过先验知识设定阈值，将灰度小于所设定阈值的像素视为背景像素，对图片进行全局的阈值分割，使反光靶标与背景的灰度差异二值化分离目标与背景。而文献《高精度红外定位系统标定算法的设计与实现》(2018)中，实现目标靶标中心提取，采用最小圆半径思想，求解最小二乘问题实现靶标光斑的中心定位。但简单的二值化分割方法无法保留反光靶标光斑图像的完整性和参与靶标中心计算的有效像素，在最小二乘方法中，参与计算的有效像素越多，中心提取稳定性越好。最小圆半径拟合方法没有考虑靶标光斑的灰度分布特征，所以其最终计算的中心精度稳定性较差。

发明内容

发明目的：本发明的目的是提供一种精度高、稳定性好的红外视角下反光靶标中心定位方法。

技术方案：本发明所述的一种红外视角下反光靶标中心定位方法，包括以下步骤：

(1)对多相机系统进行标定，由相机恢复目标空间三维信息，采用标定棋盘格标定法，得到多相机地内参矩阵去除成像畸变，并得到相机与相机之间的外参矩阵；确定世界坐标系原点，通过棋盘格的对待测量空间内进行标定，在待观测空间中确定世界坐标系，并确定世界坐标系的原点为起始点，观测空间中靶标的位姿情况。

(2)读取红外视角下的视频帧，根据靶标与周围背景的灰度差异，对红外相机视角下地图像进行灰度二值化，提取出靶标光斑灰度值较高的区域；对二值化后的图像进行开运算处理，使用像素核运算去除较小的连通域，保留较大连通域，在不明显改变较大连通域面积的同时能够平滑二值化后的连通域边界；能够很好地平滑光斑的轮廓边缘，并去除背景细小连通域。

(3)光斑轮廓ROI粗定位，根据红外视角下反光靶标与背景灰度的差异，提取图像中反光靶标成像光斑的区域信息，对象进行连通域搜索，将连通域轮廓进行最小外接矩形拟合，获取最小外接矩形信息(x₀,y₀,w₀,h₀)。

(4)根据靶标尺度的实际情况设置ROI外接矩形的宽和高。

(5)将ROI内的灰度数据聚类成K类，生成K个中心点；遍历所ROI中所有灰度数据，根据数据与中心位置关系将每个数据归类到不同的中心；然后计算每个聚类的平均值，并将均值作为新的中心点；最后重复步骤，以达到聚类中心的收敛，输出聚类结果；根据其聚类特性，实现基于像素灰度值的图像分割。

(6)根据分析靶标图像特征，其光斑分为四个部分，光斑中心、过度区域、光晕边缘部分和环境背景的特征，因此使K值为4，减少聚类中心数对于计算的复杂性。

(7)读取图中生成的聚类中心的值，根据反光靶标与背景的灰度差异，其灰度值远高于背景，选取所有聚类中心最小值，对聚类图像进行二值化，从背景中分割出靶标图像的有效像素。

(8)遍历分割二值化后的靶标光斑图像，获取用于计算中心的带有梯度信息的有效像素值，利用连通域方法，获得不同尺度的光斑有效像素和像素坐标值；将其图像作为坐标提取模板，提取原图红外视角下光斑的真实灰度值。

(9)根据模板图像在原图中提取到的效像素值，得到高斯函数的特征参数；利用最小二乘方法可以求解出光斑的中心坐标；由此可知，改进高斯曲面拟合法至少需要4个像素信息；图像分辨率越高，光斑占据的像素越多，则多余观测量越多，光斑定位的精度越好。

(10)输出不同位置的靶标中心坐标，并将其中心坐标与对应靶标进行标记记录，方便恢复空间中三维信息；将不同相机视角下的靶标图像进行匹配，即可匹配空间中靶标在不同相机视角下其中心图像坐标。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种红外视角下反光靶标中心定位方法一种红外视角下反光靶标中心定位方法。

一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种红外视角下反光靶标中心定位方法一种红外视角下反光靶标中心定位方法。

有益效果：与现有技术相比，本发明具有如下优点：

1、分析红外视角下靶标的成像特征，利用二值化后，连通域外接最小矩形的方式对靶标成像光斑实现ROI粗检测。相比于模板匹配等方法，计算量小，耗时时间少。

2、在红外视角下ROI粗定位可以有效去除背景光对靶标分割的影响，是一种简单有效的去除杂光影响靶标分割的方法。

3、采取K-means的聚类思想，根据靶标的灰度特征分布，设置K值为4，将靶标光斑从背景中分割出来。相较于其他分割方法，其保留了靶标原有的圆度特征和梯度信息，和参与中心计算的有效像素。

4、基于K-means分割改进的高斯拟合实现对靶标光斑中心提取，提取梯度较大的区域的信息，减少冗余信息对计算量的影响。相较于传统的中心提取方法，具有较高的稳定性和精度。

5、采用阵列式红外单目相机的布局方式，相较于双目相机，扩大了待观测区域的范围，可以实现空间内大范围测量。

附图说明

图1为本发明所述方法的步骤流程图；

图2为靶标ROI粗定位示意图；

图3为靶标ROI粗定位效果示意图；

图4为K-Means分割模拟靶标成像示意图，其中图4(a)为大尺度靶标分割效果，图4(b)为小尺度靶标分割效果；

图5为模拟靶标成像示意图其中图5(a)为理想光斑，图5(b)为含噪声光斑；

图6为模拟靶标不同程度遮挡示意图；

图7为靶标室内定位方案原理图；

图8为三角测量原理图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示，本发明提供了一种红外视角下多尺度反光靶标定位方法，包括以下步骤：

采用光学红外镜头上的LED补光灯向反光靶标照射红外光，使其在红外视角下与周围环境产生亮度差异，通过其亮度差异，实现对靶标的分割定位。分析靶标在静止和移动下的图像特征，提出一种靶标光斑检测和中心提取算法，其在光学红外镜头下的成像为，在较高强度的红外光照射下，红外定位小球的亮度远高于其他不相关物体，在可见光和红外光源的共同作用下，光线在某个位置的叠加，导致靶标周围产生弥散现象。

1、首先对阵列红外摄像机进行标定，标定使用棋盘格标定方法。通过OpenCV中自带的标定功能，通过不断调整棋盘格的位置和角度，完成对阵列的多个红外相机完成内外参标定，并根据内参畸变系数，减少图像的畸变。当完成相机标定后，要确定待观测区域的基准。选择地面为基准，通过靶标或者标定棋盘格的形式，在带观测空间中确定世界坐标系，并以坐标原点为初始值，对靶标进行空间定位。

2、在标定完成后，读取阵列红外相机视角下的室内图像。通过红外相机镜头外置的阵列红外LED补光灯对反光靶标进行补光。在成像时，反光靶标形成的光斑会受到背景和杂物的反光影响，不易直接对靶标产生的光斑图像进行分割。所以采用ROI粗定位的方式，来减小其干扰。通过分析前面靶标的成像特征，在红外视角下，靶标经补光照射后，其产生的弥散光斑会与背景产生较大的灰度差异。所以利用其灰度差异，对光斑进行ROI粗定位，以实现对目标的稳定检测，并且后续可以较好的将光斑从复杂背景中分割出来。

ROI粗定位是根据红外视角下反光靶标与背景灰度的差异，提取图像中含有反光靶标成像光斑的区域信息。在对目标图像进行初次二值化后，采用图像形态学处理方式，对图像进行开运算，平滑光斑的轮廓边缘，来获取最小外接矩形(x₀,y₀,w₀,h₀)。然后扩大最小外接矩形，确保靶标在靠近红外相机时，其多尺度下的光斑始终位于ROI(x_R,y_R,w_R,h_R)中，实现靶标的ROI粗定位，如图2所示。其中x_R,y_R,w_R,h_R分别为ROI矩形左上角第一像素的坐标和其人为设置ROI大小的外接矩形的宽和高。

3、一般根据不同大小的反光靶标设置合适大小的w_R,h_R，如图3所示确保光斑始终处于ROI中，(x_c,y_c)为光斑中心的像素坐标。通过已知ROI轮廓信息，和即将求得的ROI内的靶标光斑中心坐标，可以计算出当前视角下的靶标全局像素坐标。得益于靶标的灰度特征，在对多靶标检测时，通过连通域和设置靶标之间几何特征的形式，实现对其快速检测、定位和匹配。

4、分析靶标光斑二维灰度分布后，光斑分为中心区域、过度区域、光晕边缘部分和环境背景四个部分。因此K值为4，对粗定位得到的两组不同尺度靶标光斑的ROI进行K-means分割处理得到如图4所示的分割结果。此时我们依次获得4个不同的聚类中心，将ROI内的图像划分为4个不同的灰度区域。将聚类中心值进行比较，所得最小值即为ROI内靶标光斑的背景灰度值。随后将对ROI区域内进行二值化，便可将靶标光斑图像成功分割出来。最后根据ROI内二值化结果，将二值化分割后的图片作为参考模板，提取出分割后靶标的ROI内的局部像素坐标。

5、改进的高斯拟合算法是在K-means分割的基础上，只利用边缘的灰度过渡信息进行高斯拟合，其中心平定部分的数据不参与计算。常用的二维高斯分布表达式为：

式中，A为高斯分布函数的幅值；(x₀,y₀)分别为曲面在方向x和y方向的极值点坐标；σ_xσ_y别为曲面在x方向和y方向的标准差,并对其两边求导得:

通过最小二乘法对问题进行求解，将公式4中的A,x₀,y₀,σ_x,σ_y作为待拟合系数。可写作:

ln(f)＝ax²+by²+cx+dy+e(5)

已知分割出来的光斑的像素坐标，以分割后的ROI作为参考模板，收集未分割ROI中该局部像素坐标所对应的原始灰度值。此时便得到了一组数据(x_i,y_i)(i＝1,2,3,…,n)和其所对应的灰度值A_i，由最小值条件可得线性方程组:

6、改进高斯拟合法计算靶标中心，利用K-means分割出的区域信息进行高斯拟合，去除了光斑中心区域的冗余信息。同时其图像分辨率越高，占据的像素越多，则观测余量越多，光斑定位的精度和稳定性越好。室内靶标定位往往会在跟踪过程中，在某个相机视角下出现遮挡现象，造成靶标中心定位产生误差。所以通过OpenCV模拟靶标成像光斑如图5所示以及不同程度的遮挡如图6所示，验证多组靶标光斑在被遮挡10％，30％，50％时，改进高斯拟合法精度高于传统灰度质心法。

7、通过如图7所示，使用为红外相机，其镜头外置阵列的LED补光灯，通过LED补光灯向待观测空间释放红外光，经过标记点反射后再次对红外线进行捕捉。其镜头分辨率为2048*2048像素可达410万，采样频率为180Hz。在视场的空间维度中对红外定位靶标小球进行图像采集，分别采用高斯拟合法和灰度质心法求解目标红外线定位靶标小球的球心坐标，每间隔一分钟测算一次，共计算10次，统计两种方法计算出的结果如表1所示。当靶标处于静止时，其空间三维信息没有发生变化。但由于噪声存在于光学系统的各个部分中，给探测带来了几乎无所不在的影响。在CCD探测器中就含有读出噪声、光子噪声、背景暗电流等噪声，这些噪声的存在会使得光斑的有效信号提取增加了很大的难度，减小了中心提取稳定性。基于K-means分割的改进高斯拟合法对靶标中心提取的稳定性远高于灰度质心法。

表1靶标中心提取效果

/>

8、通过初始标定已经获得了相机的内外参数，这些参数是用来对采集到的图像进行图像去畸变和靶标三维空间信息恢复的。对红外视角下的图像进行靶标中心定位处理，此时得到空间中靶标P(x,y,z)在不同红外相机中像素坐标下的靶标中心坐标p_i(u_i,v_i)，其中i代表的是相机的序号。如图7所示，该图表示了阵列红外相机实现对靶标定位的原理，其中两两相机之间利用三角测量原理如图8所示求解空间内靶标的位姿信息。

Claims (6)

1.一种红外视角下反光靶标中心定位方法，其特征在于，包括以下步骤：

(1)标定相机获取个相机之间的内外参数，并以标定棋盘格建立世界坐标系；

(2)读取红外视角下的视频帧，对靶标球进行ROI粗定位，并测试ROI粗定位效果；

(3)对粗定位后的ROI框内的靶标光斑进行分割，获取目标有效像素区域；

(4)分割后的图像的4个聚类中心作为参数搜索的灰度阈值，获取图像中符合高斯分布的特征参数；

(5)采用改进高斯拟合的方法提取像素坐标系下靶标球的中心，并测试信噪比以及不同程度遮挡对光斑中心提取的影响；

(6)多相机视角下，输出不同位置的靶标中心坐标，并将其中心坐标与对应靶标进行标记记录，恢复空间中三维信息。

2.根据权利要求1所述的一种红外视角下反光靶标中心定位方法，其特征在于，步骤(2)中所述的ROI粗定位具体为：

(2.1)根据靶标球表面涂层材料对红外光的敏感性质，会与周围背景产生灰度差异，对红外相机视角下的图像进行灰度二值化，设置阈值为255，提取出靶标光斑灰度值较高的区域；对二值化后的图像进行开运算处理，使用像素核运算去除较小的连通域，保留较大连通域，在不明显改变较大连通域面积的同时能够平滑二值化后的连通域边界；能够很好地平滑光斑的轮廓边缘，并去除背景细小连通域；

(2.2)光斑轮廓ROI粗定位，根据红外视角下反光靶标与背景灰度的差异，提取图像中反光靶标成像光斑的区域信息，对象进行连通域搜索，将连通域轮廓进行最小外接矩形拟合，获取最小外接矩形信息(x₀,y₀,w₀,h₀)，并根据靶标尺度的实际情况设置ROI外接矩形的宽和高。

3.根据权利要求1所述的一种红外视角下反光靶标中心定位方法，其特征在于，步骤(3)中所述的对靶标光斑进行分割的方法具体为：

(3.1)采用K-means聚类思想实现靶标光斑的完整分割，将ROI内的灰度数据聚类成K类，生成K个中心点；

(3.2)遍历所ROI中所有灰度数据，根据数据与中心位置关系将每个数据归类到不同的中心；根据其光斑分为四个部分，光斑中心、过渡区域、光晕边缘部分和环境背景，因此使K值为4，同时有助于减少聚类中心数对于计算的复杂性。

4.根据权利要求1所述的一种红外视角下反光靶标中心定位方法，其特征在于，步骤(5)中所述的改进高斯拟合的方法具体为：得到高斯函数的特征参数后，在对拟合公式ln(f)＝ax²+by²+cx+dy+e进行计算时，利用K-means分割去除了光斑中心平定区域的冗余信息以及光晕边缘信噪比较小的区域，只用含有梯度信息的过渡区域信息进行特征拟合。

5.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种红外视角下反光靶标中心定位方法一种红外视角下反光靶标中心定位方法。

6.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种红外视角下反光靶标中心定位方法一种红外视角下反光靶标中心定位方法。

Images