CN109801336B - 基于可见光及红外光视觉的机载目标定位系统及方法 - Google Patents

Abstract

本发明提出了基于可见光及红外光视觉的机载目标定位系统及方法，该系统包括图像采集模块、图像处理模块、电源模块以及外围电路模块，所述图像采集模块包括可见光摄像头和/或红外光摄像头，所述图像采集模块通过DVP接口与图像处理模块连接，所述图像处理模块用于对采集的图像进行解算，得到摄像头的姿态位置信息以及目标图像惯性方向向量，所述外围电路模块包括看门狗电路、通讯电路以及存储电路，所述外围电路与图像处理模块电性连接，所述电源管理模块用于供电。本发明采用PnP姿态解算方法，实现短距离精确姿态求解，避免使用双目视觉，减小无人机的工作载和处理器的运算量，提高处理速度。

Description

基于可见光及红外光视觉的机载目标定位系统及方法

技术领域

本发明属于无人机导航辅助设备技术，具体为基于可见光及红外光视觉的机载目标定位系统及方法。

背景技术

现有的无人机定位都比较依赖于GPS卫星定位和惯性传感器，这就需要无人机携带大量计算和存储设备，其算法复杂度高，运算周期长，使得无人机体积和重量偏大；这种定位方式依赖无人机平台，功能定制性不强。

现有对无人机的引导功能主要是通过装备有GPS模块的可移动地面站实现，虽然对无人机有较好的引导功能，但该方法中的无线传输链路易受电磁干扰，而GPS模块信号在有建筑物遮挡或云层较厚等情况下会受到影响甚至丢失。这些都是引导功能实现过程中的不稳定因素。室内环境导航常用的是采用测距传感器来获取外界环境信息,如声纳传感器。声纳传感器利用发射一列声波与接受发射波的时间间隔来感知周围环境的距离信息，数据处理简单、实时性好的优点而被广泛使用，但声纳传感器存在测量误差较大,容易受环境因素如温度、湿度和反射声纳材料等影响。

专利号201820475707.1一种无人机双目视觉定位番茄采摘装置，专利号201610849257.3一种基于GPS的双目融合定位方法和装置，均采用双目视觉定位，内容步骤中都使用了两幅图像的校准和匹配，这不仅将大大增大运算器的负担，也将增大无人机的载荷，限制其续航时间。另外，双目视觉在单位时间内需要处理两幅图像，效率是单目视觉算法的一半。角点检测算法方面，专利号106097356一种基于Spiking的图像角点检测方法，运用了神经网络，对于运算平台要求很高，而且耗时会比普通图像处理算法长。专利号105513037角点检测方法及装置，采用模板匹配的方法识别特征，这种算法较为常用，但会因为像素点是离散的而产生误判，常常在平滑的曲线上也会检测出角点。这种方法会增大后续处理的数据量，甚至导致最终结果的错误。

发明内容

本发明的目的在于提出了基于可见光及红外光视觉的机载目标定位系统。

实现本发明的技术解决方案为：一种基于可见光及红外光视觉的机载目标系统，包括图像采集模块、图像处理模块、电源模块以及外围电路模块，所述图像采集模块包括可见光摄像头和/或红外光摄像头，所述图像采集模块通过DVP接口与图像处理模块连接，所述图像处理模块用于对采集的图像进行解算，得到摄像头的姿态位置信息以及目标图像惯性方向向量，所述外围电路模块包括看门狗电路、通讯电路以及存储电路，所述外围电路与图像处理模块电性连接，所述电源管理模块用于供电。

优选地，所述图像处理模块对采集的图像进行解算，得到摄像头的姿态位置信息以及目标图像惯性方向向量的具体方法为：

步骤1、对机载摄像头进行标定，得到摄像头标定参数；

步骤2、提取目标轮廓得到轮廓点集并对各个轮廓点集中的点进行周期剔除；

步骤3、对轮廓点集中剩余的点集按照分数进行排序，并把所有剩余轮廓点集包围区域确定为ROI；

步骤4、对分数最高的轮廓进行判断，检测原始图像对应的ROI处，颜色或者亮度是否与目标颜色或者亮度匹配，若不匹配则对下一排序轮廓进行判断；若匹配成功，则对轮廓进行角点检测，并得到角点的图像上坐标值；

步骤5、根据角点图像上坐标值，通过PnP算法解算出摄像头的姿态位置信息，同时计算目标主惯性方向向量。

本发明还提出了基于可见光及红外光视觉的机载目标定位方法，具体步骤为：

步骤1、对机载摄像头进行标定，得到摄像头标定参数；

步骤2、提取目标轮廓得到轮廓点集并对各个轮廓点集中的点进行周期剔除；

步骤3、对剩余的点集按照分数进行排序，并把所有剩余轮廓点集包围区域确定为ROI；

步骤4、对分数最高的轮廓进行判断，检测原始图像对应的ROI处，颜色或者亮度是否与目标颜色或者亮度匹配，若不匹配则对下一排序轮廓进行判断；若匹配成功，则对轮廓进行角点检测，并得到角点的图像上坐标值；

步骤5、根据角点图像上坐标值，通过PnP算法解算出摄像头的姿态位置信息，同时计算目标主惯性方向向量。

优选地，所述摄像头标定参数包括成像参数和畸变参数。

优选地，步骤2中提取目标轮廓的具体方法为：

根据畸变参数对拍摄的图像进行校正，对校正后的图像进行高斯滤波；

将滤波后的图像从RGB色彩空间转换到HSV色彩空间；

对转换后的图像进行二值化、形态学腐蚀以及膨胀操作；

对膨胀后的图像进行连通域查找得到目标轮廓。

优选地，步骤2对各个轮廓点集中的点进行周期剔除的具体方法为：

依据待判断轮廓点集的长宽比、欧拉数、面积、周长、角点特征与目标的相应特征的差距为每个轮廓点集进行打分并按分数高低排序，分数低于设定的阈值时进行剔除。

优选地，为轮廓进行打分的公式为：

式中，s为打分分值，ki是每一项的权重，xi为待打分轮廓的长宽比、欧拉数、面积、周长特征值，Xi为目标的相应特征值。

优选地，步骤4中对轮廓进行角点检测的具体方法为：

遍历轮廓上全部点，以转角θ为自变量，以轮廓点和中心点距离L为因变量，统计L(θ)函数；

计算每个自变量的左导数和右导数，

和

当

与

的差大于设定阈值，则标记此点为角点。

优选地，步骤5中通过PnP算法解算出摄像头的姿态位置信息的具体方法为：

按照比例扩大轮廓寻找特征点，对寻找的特征点集以及事先测量的目标特征点集记做PnP解算，得到摄像头光心的世界坐标A(X,Y,Z)以及世界坐标系下摄像头主光轴的方向单位空间向量R(X,Y,Z)，具体公式为：

等号左边列向量为点的图像上坐标，等号右边第一个矩阵为成像参数构成的成像矩阵，等号右边第二个矩阵为待求解矩阵，由r_ij组成的方阵为旋转矩阵，描述摄像头姿态；t_i组成列向量为平移向量，描述摄像头位置，最右边列向量为各个特征点的世界坐标；

摄像头光心的世界坐标A(X,Y,Z)具体为：

A(X,Y,Z)＝A(t₁,t₂,t₃)

世界坐标系下摄像头主光轴的方向单位空间向量具体为：

R(X,Y,Z)＝R(cosθ_X,cosθ_Y,cosθ_Z)

其中θ_X，θ_Y，θ_Z分别是在世界坐标系中相对与三个坐标轴的旋转角度，其计算方式如下：

θ_X＝arctan(r₃₂/r₃₃)

θ_Z＝arctan(r₂₁/r₁₁)。

优选地，步骤4中计算目标主惯性方向向量的具体步骤为：

计算ROI区域的中心坐标和矩形的方向，得到中心点坐标C(x,y)，以中心点坐标C(x,y)为原点，建立质心坐标系，质心坐标系以ROI的中心为原点，列增加方向为x轴正方向，行增加方向为y轴正方向，确定目标主惯性方向向量T(x,y)，计算方法为：

根据tan

得到T(x,y)＝T(cosα₀,sinα₀)，I_x为图像相对于x轴的惯性矩，I_y为图像相对于y轴的惯性矩，α₀为目标对称轴与水平方向的夹角。

本发明与现有技术相比，其显著优点为：1)本发明利用可见光与红外光图像采集，适应各种光照条件下的无人机定位；2)本发明利用角点检测算法，鲁棒性强，而且方便阈值调节以适用于不同形状，可以避免在走样的光滑曲线上对角点产生误判；3)本发明采用PnP姿态解算方法，实现短距离精确姿态求解，避免使用双目视觉，减小无人机的工作载和处理器的运算量，提高处理速度。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1是基于可见光及红外光视觉的机载目标定位系统示意图。

图2是基于可见光及红外光视觉的机载目标定位方法流程图。

图3是摄像头位置解算流程图。

具体实施方式

如图1所示，基于可见光及红外光视觉的机载目标定位系统，包括：

图像采集模块，采用SCCB总线控制，在某些实施例中，采用可见光成像的CCD摄像头或利用红外线成像的摄像头进行视频的输入，供给图像处理模块使用；

图像处理模块，对图像采集模块采集的视频进行图像处理，检测标志物，提取标志物的特征点，通过标志物的世界坐标信息计算出摄像头的位置信息和角度信息。在某些实施例中，为了避免高温时CPU跑飞，采用TMS320C6748处理器作为图像处理模块的图像处理芯片。

外围电路模块，包括：看门狗电路，实现对图像处理模块的复位，在系统软件算法跑飞自动对CPU进行复位或在需要重新启动系统时手动复位；通讯电路，用于图像采集模块与图像处理模块之间图像信息的传送，图像处理模块与飞控系统之间摄像头位置信息与角度信息等处理结果数据的传送；存储电路，用于软件代码存储和图像信息存储，系统采用nor flash启动。

电源模块，采用5V系统电源输入，采用多功能LM26480电源管理单元，电压转换后可得1.2V，1.8V，3.3V稳定电压，供给各模块工作使用。

其中，图像采集模块采集视频的工作过程为：

首先，无人机使用张正有标定法标定可见光摄像头与红外光摄像头，并分别储存在板载内存卡中，便于程序运行时读取。

然后，开启可见光摄像头，待摄像头稳定之后从视频流中抓取一帧图像，按照下面公式计算每个像素点的亮度H，然后计算像素点的平均亮度，如果平均亮度低于设定阈值则关闭彩色摄像头，开启红外光摄像头。

H＝0.299*R+0.587*G+0.114*B

其中H为输出亮度值，R、G、B分别是各个像素点处的红色、绿色、蓝色分量。

如图2～图3所示，一种基于可见光及红外光视觉的机载目标定位方法，具体步骤为：

步骤1、对机载摄像头进行标定，得到摄像头标定参数，构成成像矩阵，记为F；

步骤2、从开启的相机捕捉到的视频流中截取一帧图像，此图像为一RGB图像或彩色图像，使用F对图像进行重映射得到校正图像。然后对图像进行高斯滤波处理减少亮度阶跃点。对模糊图像进行色彩空间转换，将RGB色彩空间的图像转换到HSV色彩空间。然后在HSV空间进行二值化。然后对得到的二值化图像进行形态学腐蚀操作，然后用一个内核尺寸可调整的元素对图像进行膨胀操作；

对膨胀后的图像进行连通域查找得到轮廓点集。然后依据长宽比、欧拉数、面积、周长、角点特征与目标相应特征的差距，对轮廓点集进行打分，剔除低于设定阈值的分数所对应的轮廓点集，打分公式为：

式中，s为打分分值，ki是每一项的权重，xi为待打分轮廓的长宽比、欧拉数、面积、周长等特征，Xi为对应特征的目标值。

步骤3、按照分数从高到低对剩余轮廓点集合进行排序，并设置剩余轮廓点集包围区域为ROI；

步骤4、对分数最高的轮廓进行判断，检测原始图像对应的ROI处，颜色或者亮度是否与目标颜色或者亮度匹配，若不匹配则对下一排序轮廓进行判断；若匹配成功，则对轮廓进行角点检测，并得到角点的图像上坐标值，然后按照比例求得特征点的图像上坐标值。

其中，角点特征检测方法具体为：以轮廓中心正上方轮廓点为起点，遍历轮廓上全部点，以转角θ为自变量，以轮廓点和中心点距离L为因变量，统计得到L(θ)函数，在某些实施例汇总，θ的步长为0.1度；

计算每个自变量的左导数和右导数，

和

如果

与

的差大于某个阈值，则标记此点为角点。

在某些实施例中，如果在10个步长的范围内得到了多个角点，为了提高容错性，将它们算为一个角点。

步骤5、寻找到的特征点需要与事先测量得到的特征带点对应。寻找的特征点集记做p，事先测量的特征点集记做P。对p(x,y)和P(X,Y,Z)做PnP解算，求得摄像头光心的世界坐标A(X,Y,Z)，与世界坐标系下摄像头主光轴的方向单位空间向量R(X,Y,Z)，PnP解算公式为：

其中，等号左边列向量为点的图像上坐标，等号右边第一个矩阵为相机的成像矩阵，即摄像头标定参数，等号右边第二个矩阵为待求解矩阵，由r_ij组成的方阵为旋转矩阵，描述摄像头姿态；t_i组成列向量为平移向量，描述摄像头位置。最右边列向量为各个特征点的世界坐标。

摄像头光心的世界坐标A(X,Y,Z)具体为：

A(X,Y,Z)＝A(t₁,t₂,t₃)

世界坐标系下摄像头主光轴的方向单位空间向量具体为：

R(X,Y,Z)＝R(cosθ_X,cosθ_Y,cosθ_Z)，

其中θ_x，θ_x，θ_x分别是在世界坐标系中相对与三个坐标轴的旋转角度，其计算方式如下：

θ_X＝arctan(r₃₂/r₃₃)

θ_Z＝arctan(r₂₁/r₁₁)

计算ROI区域的中心坐标和矩形的方向，得到中心点坐标C(x,y)，以中心点坐标C(x,y)为原点，建立质心坐标系，质心坐标系以ROI的中心为原点，列增加方向为x轴正方向，行增加方向为y轴正方向，确定目标主惯性方向向量T(x,y)，

根据tan

得到T(x,y)＝T(cosα₀,sinα₀)，I_x为图像相对于x轴的惯性矩，I_y为图像相对于y轴的惯性矩，α₀为目标对称轴与水平方向的夹角，其中I_xy，I_x，I_y具体计算方法为：

上述公式中，f(x,y)是ROI区域上坐标为(x,y)处的亮度，row是ROI区域的高度，col是ROI区域的宽度。

Claims (9)

1.一种基于可见光及红外光视觉的机载目标系统，其特征在于，包括图像采集模块、图像处理模块、电源模块以及外围电路模块，所述图像采集模块包括可见光摄像头和/或红外光摄像头，所述图像采集模块通过DVP接口与图像处理模块连接，所述图像处理模块用于对采集的图像进行解算，得到摄像头的姿态位置信息以及目标图像惯性方向向量，所述外围电路模块包括看门狗电路、通讯电路以及存储电路，所述外围电路与图像处理模块电性连接，所述电源管理模块用于供电；所述图像处理模块对采集的图像进行解算，得到摄像头的姿态位置信息以及目标图像惯性方向向量的具体方法为：

步骤1、对机载摄像头进行标定，得到摄像头标定参数；

步骤2、提取目标轮廓得到轮廓点集并对各个轮廓点集中的点进行周期剔除；

步骤3、对轮廓点集中剩余的点集按照分数进行排序，并把所有剩余轮廓点集包围区域确定为ROI；

步骤4、对分数最高的轮廓进行判断，检测原始图像对应的ROI处，颜色或者亮度是否与目标颜色或者亮度匹配，若不匹配则对下一排序轮廓进行判断；若匹配成功，则对轮廓进行角点检测，并得到角点的图像上坐标值；

步骤5、根据角点图像上坐标值，通过PnP算法解算出摄像头的姿态位置信息，同时计算目标主惯性方向向量。

2.一种基于可见光及红外光视觉的机载目标定位方法，其特征在于，具体步骤为：

步骤1、对机载摄像头进行标定，得到摄像头标定参数；

步骤2、提取目标轮廓得到轮廓点集并对各个轮廓点集中的点进行周期剔除；

步骤3、对剩余的点集按照分数进行排序，并把所有剩余轮廓点集包围区域确定为ROI；

步骤4、对分数最高的轮廓进行判断，检测原始图像对应的ROI处，颜色或者亮度是否与目标颜色或者亮度匹配，若不匹配则对下一排序轮廓进行判断；若匹配成功，则对轮廓进行角点检测，并得到角点的图像上坐标值；

步骤5、根据角点图像上坐标值，通过PnP算法解算出摄像头的姿态位置信息，同时计算目标主惯性方向向量。

3.根据权利要求2所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，所述摄像头标定参数包括成像参数和畸变参数。

4.根据权利要求3所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，步骤2中提取目标轮廓的具体方法为：

根据畸变参数对拍摄的图像进行校正，对校正后的图像进行高斯滤波；

将滤波后的图像从RGB色彩空间转换到HSV色彩空间；

对转换后的图像进行二值化、形态学腐蚀以及膨胀操作；

对膨胀后的图像进行连通域查找得到目标轮廓。

5.根据权利要求2所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，步骤2对各个轮廓点集中的点进行周期剔除的具体方法为：

依据待判断轮廓点集的长宽比、欧拉数、面积、周长、角点特征与目标的相应特征的差距为每个轮廓点集进行打分并按分数高低排序，分数低于设定的阈值时进行剔除。

6.根据权利要求5所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，为轮廓进行打分的公式为：

式中，s为打分分值，ki是每一项的权重，xi为待打分轮廓的长宽比、欧拉数、面积、周长特征值，Xi为目标的相应特征值。

7.根据权利要求2所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，步骤4中对轮廓进行角点检测的具体方法为：

遍历轮廓上全部点，以转角θ为自变量，以轮廓点和中心点距离L为因变量，统计L(θ)函数；

计算每个自变量的左导数和右导数，

和

当

与

的差大于设定阈值，则标记此点为角点。

8.根据权利要求2所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，步骤5中通过PnP算法解算出摄像头的姿态位置信息的具体方法为：

按照比例扩大轮廓寻找特征点，对寻找的特征点集以及事先测量的目标特征点集记做PnP解算，得到摄像头光心的世界坐标A(X,Y,Z)以及世界坐标系下摄像头主光轴的方向单位空间向量R(X,Y,Z)，具体公式为：

等号左边列向量为点的图像上坐标，等号右边第一个矩阵为成像参数构成的成像矩阵，等号右边第二个矩阵为待求解矩阵，由r_ij组成的方阵为旋转矩阵，描述摄像头姿态；t_i组成列向量为平移向量，描述摄像头位置，最右边列向量为各个特征点的世界坐标；

摄像头光心的世界坐标A(X,Y,Z)具体为：

A(X,Y,Z)＝A(t₁,t₂,t₃)

世界坐标系下摄像头主光轴的方向单位空间向量具体为：

R(X,Y,Z)＝R(cosθ_X,cosθ_Y,cosθ_Z)

其中θ_X，θ_Y，θ_Z分别是在世界坐标系中相对与三个坐标轴的旋转角度，其计算方式如下：

θ_X＝arctan(r₃₂/r₃₃)

θ_Z＝arctan(r₂₁/r₁₁)。

9.根据权利要求2所述的基于可见光及红外光视觉的机载目标定位方法，其特征在于，步骤4中计算目标主惯性方向向量的具体步骤为：

计算ROI区域的中心坐标和矩形的方向，得到中心点坐标C(x,y)，以中心点坐标C(x,y)为原点，建立质心坐标系，质心坐标系以ROI的中心为原点，列增加方向为x轴正方向，行增加方向为y轴正方向，确定目标主惯性方向向量T(x,y)，计算方法为：

根据

得到T(x,y)＝T(cosα₀,sinα₀)，I_x为图像相对于x轴的惯性矩，I_y为图像相对于y轴的惯性矩，α₀为目标对称轴与水平方向的夹角。

Images