CN114964209B - 基于红外阵列成像的长航时无人机自主导航方法和系统 - Google Patents

Abstract

本发明涉及无人机自主导航技术领域，具体涉及一种基于红外阵列成像的长航时无人机自主导航方法和系统，通过红外阵列成像装置采集图像信息，拼接融合形成整幅图像、激光测距模块垂直测量的高度数据信息、惯性导航模块监测的无人机飞行姿态数据，几何变换为投影图像，再将投影图像与卫星地图的匹配，或者通过红外图像序列的图像坐标递推关系，得到图像中景物点的地理坐标，对数据综合计算并修正实时位置数据，获得无人机精准位置信息，为长航时无人机提供全天时、连续、可靠的高精准导航定位信息，有效避免了卫星信号干扰或诱骗，确保了长航时无人机的安全飞行。

Description

基于红外阵列成像的长航时无人机自主导航方法和系统

技术领域

本发明涉及无人机自主导航技术领域，具体涉及一种基于红外阵列成像的长航时无人机自主导航方法和系统。

背景技术

长航时无人机导航通常采用惯性导航和卫星导航，或这两者组合的方式，其中惯性导航器件包括陀螺仪、加速度计，卫星导航器件包括GNSS接收机。惯性导航不依赖外部信息、不易受电磁干扰，属于自主导航方式，但是由于惯性器件的加速度计、陀螺仪误差的存在，其加速度及角速度信息经过导航计算积分效应会使得定位误差随时间增加而增大，长时间飞行时精度往往无法满足任务要求；GNSS卫星导航可为无人机长时间飞行提供准确定位，或与惯性导航结合组成综合导航定位系统，但是GNSS依赖卫星，不属于自主导航，当卫星信号被遮挡、干扰，亦或切断、欺骗，其精度、可用性、连续性就无法保证，以至于无人机无法实现自主导航定位，导致迫降或诱骗降落，甚至坠毁。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于红外阵列成像的长航时无人机自主导航方法和系统，通过设置红外阵列成像装置可夜视、宽视场、高分辨的特点，提供足够丰富的信息；通过设置激光测距模块测量特定景物点的距离；通过设置惯性组合导航模块通过陀螺仪、加速度计等导航计算，给出无人机飞行姿态、加速度、速度、位置；通过设置信息处理单元，用于信号采集、数据存储，图像处理运算和导航运算。通过如下步骤：首先，通过红外阵列成像装置采集图像信息，拼接融合形成整幅图像、同时激光测距模块对无人机下方地面垂直测量的高度数据信息、惯性导航模块监测的无人机飞行姿态数据信息，进行几何变换计算，形成俯视的投影图像，再将投影图像与卫星地图的匹配，或者通过红外图像序列的图像坐标递推关系，得到图像中景物点的地理坐标；最后，通过景物特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属景物的直线距离数据、无人机飞行姿态数据信息，使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机高精准定位导航，为长航时无人机提供全天时、连续、可靠的导航定位信息，有效避免了卫星信号干扰或诱骗，确保了长航时无人机的安全飞行。

为实现上述目的，本发明采用的技术方案：

一种基于红外阵列成像的长航时无人机自主导航方法，包括如下步骤：基于红外阵列成像的长航时无人机自主导航方法，包括如下步骤：

S1.获取无人机下方景物点红外阵列成像装置所采集的图像信息，拼接融合形成整幅图像、获取激光测距模块对无人机下方地面垂直测量的高度数据信息、获取惯性导航模块监测的无人机飞行姿态数据信息；

S2.依据所述高度数据信息和所述姿态数据信息对所述整幅图像进行几何变换计算，形成俯视的投影图像；

S3.将所述投影图像与对应的图像匹配，识别出所述投影图像中具备显著特征的景物点作为特征点；

S4.获取所述特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属景物的直线距离数据、无人机飞行姿态数据信息，进行计算以获取无人机位置信息。

在一些实施例中，步骤S1中，获取无人机下方景物点红外阵列成像装置所采集的图像信息，拼接融合形成整幅图像的过程包括：依据预设特定构型阵列布局若干成像装置，相邻所述点红外阵列成像装置采集的图像设有预设的重叠区域，将相邻帧图像重叠区域分别拼接融合，通过分析、计算、合并，形成由单帧图像拼接为一体的为全景图像。

在一些实施例中，步骤S3中，将所述投影图像与对应的图像进行匹配，识别出所述投影图像中具备显著特征的景物点作为特征点；包括：获取预设点的位置信息，将所述投影图像与预存的对应区域的卫星地图影像匹配，匹配时所述投影图像与所述区域的卫星地图影像比例一致，且实现最大化重合，所述投影图像中含有若干显著特征的景物点，对当前帧的投影图像中有显著特征的景物点识别为特征点。

在一些实施例中，步骤S3中，将所述投影图像与对应的图像进行匹配，识别出所述投影图像中具备显著特征的景物点作为特征点，还包括：

获取无人机初始点的位置信息，将所述投影图像作为前一帧图像与后一帧图像的重叠区域进行匹配，利用图像坐标关系对已知的所述前一帧图像中具备显著特征的景物点坐标标识，推算出所述后一帧图像中具备显著特征的景物点坐标，依据图像坐标递推关系，标识出序列图像中显著特征的景物点作为特征点。

在一些实施例中，步骤S4中，获取特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属物体的直线距离数据、无人机飞行姿态数据信息，进行计算以获取无人机位置信息，还包括：依据初始图像帧特征点地理坐标递推出序列图像中预设的若干个所述特征点的地理坐标，所述特征点在投影图像中的位置信息控制激光测距模块瞄准景物点的所述特征点测距，得到景物的直线距离，获取惯性导航模块实时采集的无人机姿态、航向、速度、位置信息，综合计算获取无人机位置信息。

在一些实施例中，使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机精准定位导航。

在一些实施例中，所述红外阵列成像装置包括若干个红外成像相机，依据预设距离的横向X个、纵向Y个阵列构型，其中X、Y数量均大于1。

本发明提供一种基于红外阵列成像的长航时无人机自主导航系统，包括：红外阵列成像装置、惯性组合导航模块、激光测距模块、信息处理单元，其中，所述红外阵列成像装置，包括若干个红外成像相机，通过预设的特定构型排布安装于长航时无人机机腹下方，实现无人机下方景物点的热成像，将热成像信号转换为电信号发送至信息处理单元；

所述惯性组合导航模块，通过陀螺仪、加速度计输出的信息计算出无人机飞行姿态、速度、位置；

所述激光测距模块，通过向指定物体发射激光束并接收反射激光，计算物体的直线距离，并传输至信息处理单元；

所述信息处理单元，包括信号采集模块、图像处理模块、运算模块、储存模块，用于信号采集、数据存储，图像处理运算和导航运算，包括：对多相机的单幅图像进行图像拼接融合形成某时刻整幅图像；将整幅图像根据垂直测高数据和飞行姿态数据进行几何变换计算，形成俯视的投影图像；结合惯性组合导航模块实时给出的无人机姿态、速度、位置信息进行扩展卡尔曼滤波计算，并修正得出无人机位置信息。

有益效果

本发明提供的一种基于红外阵列成像的长航时无人机自主导航方法和系统，通过依据预设要求设置红外阵列成像装置可夜视、宽视场、高分辨的特点，提供足够丰富的信息；通过设置激光测距模块测量特定景物点的距离；通过设置惯性组合导航模块通过陀螺仪、加速度计等导航计算，给出无人机飞行姿态、加速度、速度、位置；通过设置信息处理单元，用于信号采集、数据存储，图像处理运算和导航运算。通过如下步骤：首先，通过红外阵列成像装置采集图像信息，拼接融合形成整幅图像、同时激光测距模块对无人机下方地面垂直测量的高度数据信息、惯性导航模块监测的无人机飞行姿态数据信息，进行几何变换计算，形成俯视的投影图像，再将投影图像与卫星地图的匹配，或者通过红外图像序列的图像坐标递推关系，得到图像中景物点的地理坐标；最后，通过景物特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属景物的直线距离数据、无人机飞行姿态数据信息，使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机高精准定位导航，为长航时无人机提供全天时、连续、可靠的导航定位信息，有效避免了卫星信号干扰或诱骗，确保了长航时无人机的安全飞行。

附图说明

图1为本发明实施例提供的基于红外阵列成像的长航时无人机自主导航方法流程图；

图2为图1中当投影图像与卫星地图的匹配以获取特征点的地理坐标时，信息处理单元的算法流程图；

图3为图1中通过红外图像序列的图像坐标递推关系，得到图像中景物点的地理坐标时，信息处理单元的算法流程图；

图4是本发明实施例提供的红外阵列排布构型示意图；

图5是本发明实施例提供的红外阵列成像模块图像融合示意图；

图6是本发明实施例提供的基于红外阵列成像的长航时无人机自主导航系统结构示意图。

其中，附图标记说明：

信息处理单元1；信号采集模块11；图像处理模块12；运算模块13；储存模块14；

红外阵列成像装置2；红外成像相机21；红外镜头211；

惯性导航模块3；陀螺仪31；加速度计32；

激光测距模块4；单幅红外图像5；对拼接融合区域6。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图6，本发明提供一种基于红外阵列成像的长航时无人机自主导航系统，包括：信息处理单元1、红外阵列成像装置2、惯性组合导航模块3、激光测距模块4，其中，

所述红外阵列成像装置2，包括若干个红外成像相机21，通过预设的特定构型排布安装于长航时无人机机腹下方，红外成像相机21设有的红外镜头211处于无任何遮挡环境，实现无人机下方景物点的热成像，红外成像相机21将热成像信号转换为电信号发送至信息处理单元1。

所述惯性组合导航模块3，包括陀螺仪31、加速度计32，通过陀螺仪31、加速度计32输出的信息计算出无人机飞行姿态、速度、位置。

所述激光测距模块4，通过向指定物体发射激光束并接收反射激光，计算物体的直线距离，并传输至信息处理单元1。

所述信息处理单元1，包括信号采集模块11、图像处理模块12、运算模块13、储存模块14，用于信号采集、数据存储，图像处理运算和导航运算，包括：图像处理模块12对多个红外成像相机21相邻的单幅红外图像5的对拼接融合区域6进行图像拼接融合，形成某时刻整幅图像；信号采集模块11获取垂直测高数据和飞行姿态数据，运算模块13将整幅图像根据垂直测高数据和飞行姿态数据进行几何变换计算，形成俯视的投影图像；图像处理模块12将投影图像与对应区域卫星地图影像匹配，识别出几个有显著特征的景物点作为特征点，获取无人机初始点的GPS位置信息，获取特征点在卫星地图上的对应地理坐标信息，或者将拼接融合后的前一帧图像和后一帧图像重叠区域进行匹配，再利用图像坐标关系对已知的前一帧图像中具备显著特征的景物点坐标，推算出后一帧图像中具备显著特征的景物点坐标，获取特征点的地理坐标信息；运算模块13结合信号采集模块11获取的惯性组合导航模块实时给出的无人机姿态、速度、位置信息进行扩展卡尔曼滤波计算，并修正得出无人机位置信息。

如图1-图6所示，本发明提供的技术方案：

一种基于红外阵列成像的长航时无人机自主导航方法，包括如下步骤：

S1.信息处理单元1设有的信号采集模块11获取无人机下方景物点红外阵列成像装置2所采集的图像信息，图像处理模块12拼接融合形成整幅图像，信号采集模块11获取激光测距模块4对无人机下方地面垂直测量的高度数据信息、信号采集模块11获取惯性导航模块3监测到的无人机飞行姿态数据信息，所述图像信息及数据信息储存在储存模块14中；

S2.信息处理单元1设有的运算模块13依据获取所述高度数据信息和所述姿态数据信息对所述整幅图像进行几何变换计算，形成俯视的投影图像，储存在储存模块14中；

S3.信息处理单元1将所述投影图像与对应的图像匹配，识别出所述投影图像中具备显著特征的景物点作为特征点；

S4.信息处理单元1通过信号采集模块11获取无人机初始点的GPS位置信息，获取所述特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、获取的激光测距模块4测量的所述特征点所属景物的直线距离数据、获取的惯性导航模块3输出的无人机飞行姿态数据信息，通过运算模块13进行计算以获取无人机位置信息，用于无人机高精准定位导航。

本发明第一实施例，如图1、图2、图4-图6所示：

一种基于红外阵列成像的长航时无人机自主导航方法，包括如下步骤：

S1.依据预设要求设置红外阵列成像装置2，即若干红外成像相机21依据预设特定构型阵列安装在无人机腹部，且红外成像相机21设有的红外镜头211不被遮挡，能够直接采集无人机下方的图像，可夜视、宽视场、高分辨的特点，提供足够丰富的信息，如图4所示，依据预设特定构型阵列布局若干红外成像相机21，相邻所述红外成像相机21采集的图像设有预设的重叠区域，在一些示例中，若干个红外成像相机21依据预设距离的横向X个、纵向Y个阵列构型，其中X、Y数量均大于1，如图5所示。

信息处理单元1设有的图像处理模块12对多个红外成像相机21输出的相邻的单幅红外图像5的对重叠的拼接融合区域6进行图像拼接融合，通过分析、计算、合并，形成由单帧图像拼接为一体的为全景图像；同时，激光测距模块4通过发射和接收激光对无人机下方地面测量垂直高度、惯性导航模块3通过设置的陀螺仪31、加速度计32等显示的导航数据，监测出无人机飞行姿态数据信息；信号采集模块11获取垂直高度数据和飞行姿态数据信息。

S2.运算模块13依据所述高度数据信息和所述姿态数据信息将全景图像进行几何变换计算，形成俯视的投影图像，并储存在储存模块14中，几何变换方法是现有技术，在此不再赘述。

S3.图像处理模块12将投影图像与预存在储存模块14中的对应区域的卫星地图影像匹配，匹配时所述投影图像与所述区域的卫星地图影像比例一致，且实现最大化重合，所述投影图像中含有若干显著特征的景物点，对当前帧的投影图像中有显著特征的景物点识别为特征点，获取无人机初始点的GPS位置信息，设置3个特征点，获取3个特征点在卫星地图上的对应地理坐标信息，并储存在储存模块14中，如图2所示。

S4.信号采集模块11获取所述特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属景物的直线距离数据、无人机飞行姿态数据信息，运算模块13使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机精准定位导航。

通过第一实施例的方法，在信息处理单元1中事先存储有预设区域的卫星地图，实现无人机自主导航，有地图保障，使用方便，输出的无人机位置信息为长航无人机提供高精准且全天时、连续、可靠的导航定位信息，有效避免了卫星信号干扰或诱骗，确保了长航时无人机的安全飞行。

本发明第二实施例，如图1、图3-图6所示：

一种基于红外阵列成像的长航时无人机自主导航方法，包括如下步骤：

S1.依据预设要求设置红外阵列成像装置2，即若干红外成像相机21依据预设特定构型阵列安装在无人机腹部，且红外成像相机21设有的红外镜头211不被遮挡，能够直接采集无人机下方的图像，可夜视、宽视场、高分辨的特点，提供足够丰富的信息，如图4所示，依据预设特定构型阵列布局若干红外成像相机21，相邻所述红外成像相机21采集的图像设有预设的重叠区域，在一些示例中，若干个红外成像相机21依据预设距离的横向X个、纵向Y个阵列构型，其中X、Y数量均大于1，如图5所示。

信息处理单元1设有的图像处理模块12对多个红外成像相机21输出的相邻的单幅红外图像5的对重叠的拼接融合区域6进行图像拼接融合，通过分析、计算、合并，形成由单帧图像拼接为一体的为全景图像，同时，激光测距模块4通过发射和接收激光对无人机下方地面测量垂直高度、惯性导航模块3通过设置的陀螺仪31、加速度计32等显示的导航数据，监测出无人机飞行姿态数据信息，包括加速度信息、速度信息及位置信息；信号采集模块11获取垂直高度数据和飞行姿态数据信息。

S2.运算模块13依据所述高度数据信息和所述姿态数据信息将全景图像进行几何变换计算，形成俯视的投影图像，并储存在储存模块14中，几何变换方法是现有技术，在此不再赘述。

S3.信号采集模块11获取无人机初始点的GPS位置信息，图像处理模块12将所述投影图像作为前一帧图像与后一帧图像的重叠区域进行匹配，利用图像坐标关系对已知的所述前一帧图像中具备显著特征的景物点坐标标识，运算模块13推算出所述后一帧图像中具备显著特征的景物点坐标，依据图像坐标递推关系，标识出序列图像中显著特征的景物点作为特征点，预设3个特征点，获取3个特征点在卫星地图上的对应地理坐标信息，并储存在储存模块14中，如图3所示。

S4.图像处理模块12依据初始图像帧特征点地理坐标递推出序列图像中预设的3个所述特征点的地理坐标，所述特征点在投影图像中的位置信息控制激光测距模块4瞄准景物点的所述特征点测距，信号采集模块11得到景物的垂直高度，获取惯性导航模块实时采集的无人机姿态、航向、速度、位置信息，运算模块13使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机精准定位导航。

第二实施例的方法，通过前一帧图像与后一帧图像的坐标关系，通过已知的所述前一帧图像中具备显著特征的景物点坐标标识后一帧图像中具备显著特征的景物点坐标，依据图像坐标递推关系，标识出序列图像中显著特征的景物点作为特征点，无需预存卫星地图，可降低导航系统的保障要求及内存要求，输出的无人机位置信息为长航无人机提供高精准且全天时、连续、可靠的导航定位信息，有效避免了卫星信号干扰或诱骗，确保了长航时无人机的安全飞行。

Claims (5)

1.基于红外阵列成像的长航时无人机自主导航方法，其特征在于，包括如下步骤：

S1.获取无人机下方景物点依据预设特定构型阵列布局若干红外阵列成像装置所采集的图像信息，所述图像设有预设的重叠区域，将相邻帧图像重叠区域分别拼接融合，通过分析、计算、合并形成由单帧图像拼接为一整幅的全景图像；获取激光测距模块对无人机下方地面垂直测量的高度数据信息；获取惯性导航模块监测的无人机飞行姿态数据信息；

S2.依据所述高度数据信息和所述飞行姿态数据信息对所述全景图像进行几何变换计算，形成俯视的投影图像；

S3.将所述投影图像与对应的图像匹配，识别出所述投影图像中具备显著特征的景物点作为特征点，包括获取无人机初始点的位置信息，将所述投影图像作为前一帧图像与后一帧图像的重叠区域进行匹配，利用图像坐标关系对已知的所述前一帧图像中具备显著特征的景物点坐标标识，推算出所述后一帧图像中具备显著特征的景物点坐标，依据图像坐标递推关系，标识出序列图像中显著特征的景物点作为特征点；

S4.获取所述特征点的地理坐标信息、所述特征点在所述投影图像中的位置信息、所述特征点所属景物的垂直测高数据、无人机飞行姿态数据信息，进行计算以获取无人机位置信息，包括：依据初始图像帧特征点地理坐标递推出序列图像中预设的若干个所述特征点的地理坐标，所述特征点在投影图像中的位置信息控制激光测距模块瞄准景物点的所述特征点测距，得到景物的直线距离，获取惯性导航模块实时采集的无人机姿态、航向、速度、位置信息，综合计算获取无人机位置信息。

2.根据权利要求1所述的基于红外阵列成像的长航时无人机自主导航方法，其特征在于，步骤S3中，将所述投影图像与对应的图像进行匹配，识别出所述投影图像中具备显著特征的景物点作为特征点；还包括：获取预设点位置信息，将所述投影图像与预存的对应区域的卫星地图影像匹配，匹配时所述投影图像与所述区域的卫星地图影像比例一致，且实现最大化重合，所述投影图像中含有若干显著特征的景物点，对当前帧的投影图像中有显著特征的景物点识别为特征点。

3.根据权利要求2所述的基于红外阵列成像的长航时无人机自主导航方法，其特征在于，使用扩展卡尔曼滤波方法修正惯性导航模块实时输出的无人机位置信息，用于无人机精准定位导航。

4.根据权利要求3所述的基于红外阵列成像的长航时无人机自主导航方法，其特征在于，所述红外阵列成像装置包括若干个红外成像相机，依据预设距离的横向X个、纵向Y个阵列构型，其中X、Y数量均大于1。

5.一种基于红外阵列成像的长航时无人机自主导航系统，其特征在于，用于实现权利要求1至4中任一项所述的基于红外阵列成像的长航时无人机自主导航方法，包括：红外阵列成像装置、惯性组合导航模块、激光测距模块、信息处理单元，其中，

所述红外阵列成像装置，包括若干个红外成像相机，通过预设的特定构型排布安装于长航时无人机机腹下方，实现无人机下方景物点的热成像，将热成像信号转换为电信号发送至信息处理单元；

所述惯性组合导航模块，通过陀螺仪、加速度计输出的信息计算出无人机飞行姿态、速度、位置；

所述激光测距模块，通过向指定物体发射激光束并接收反射激光，计算物体的直线距离，并传输至信息处理单元；

所述信息处理单元，包括信号采集模块、图像处理模块、运算模块、储存模块，用于信号采集、数据存储，图像处理运算和导航运算，包括：对多相机的单幅图像进行图像拼接融合形成某时刻整幅图像；将整幅图像根据垂直测高数据和飞行姿态数据进行几何变换计算，形成俯视的投影图像；结合惯性组合导航模块实时给出的无人机姿态、速度、位置信息进行扩展卡尔曼滤波计算，并修正得出无人机位置信息。

Images