CN117058209B - 一种基于三维地图的飞行汽车视觉图像深度信息计算方法 - Google Patents

Abstract

本申请公开了一种基于三维地图的飞行汽车视觉图像深度信息计算方法，属于飞行汽车与无人机视觉图像数据处理技术领域，包括以下步骤：步骤一、确定飞行汽车位置姿态信息；步骤二、确定摄像头位置姿态信息；步骤三、确定摄像头视觉图像成像平面；步骤四、引入数字三维地图；步骤五、计算各像素点深度信息；步骤六、生成视觉图像深度信息。具有以下优点：不需要另外增加测距激光雷达便可获取视觉图像深度信息，降低了飞行汽车硬件复杂度，提升了飞行汽车载重能力，同时降低了飞行汽车的制造成本，有利于飞行汽车的应用推广。

Description

一种基于三维地图的飞行汽车视觉图像深度信息计算方法

技术领域

本发明属于飞行汽车与无人机视觉图像数据处理技术领域，特别涉及一种基于三维地图的飞行汽车视觉图像深度信息计算方法，根据数字三维地图数据，生成飞行汽车视觉图像的深度信息。

背景技术

飞行汽车低空飞行大都采用智能飞行驾驶技术，智能飞行驾驶系统主要包括感知模块、决策模块和控制模块三部分，其中感知模块是飞行汽车智能飞行驾驶的基础，主要通过多种传感器感知飞行汽车周边环境，采集飞行汽车周围的视觉场景以及障碍物信息，提供给飞行汽车决策模块进行路径规划。视觉摄像头是常见的飞行汽车环境感知传感器，基于视觉摄像头进行场景拍摄，场景识别，技术成熟稳定可靠。但是，摄像头拍摄的场景是二维图像，缺少图像深度信息（即距离信息），无法直接应用于飞行汽车飞行环境三维重建。为增加深度信息，通常需要增加测距传感器，如使用激光雷达技术，基于激光雷达生成点云。激光雷达设备的增加，使得飞行汽车变得更为复杂臃肿，增加了配套结构重量，降低了飞行汽车的载重能力，而且激光雷达价格昂贵，增加了飞行汽车的制造成本，不利于飞行汽车的推广应用。

发明内容

本发明要解决的技术问题是针对以上不足，提供一种基于三维地图的飞行汽车视觉图像深度信息计算方法，基于飞行汽车位姿确定摄像头位置姿态信息，根据摄像头参数信息，确定摄像头视觉图像成像平面以及各像素对应的摄像头相机坐标系下位置，引入三维数字地图，确定计算各像素深度信息，从而得到视觉图像深度信息。通过本发明方法，不需要另外增加测距激光雷达便可获取视觉图像深度信息，降低了飞行汽车硬件复杂度，提升了飞行汽车载重能力，同时降低了飞行汽车的制造成本，有利于飞行汽车的应用推广。

为解决以上技术问题，本发明采用以下技术方案：

一种基于三维地图的飞行汽车视觉图像深度信息计算方法，包括以下步骤：

步骤一、确定飞行汽车位置姿态信息；

步骤二、确定摄像头位置姿态信息；

步骤三、确定摄像头视觉图像成像平面；

步骤四、引入数字三维地图；

步骤五、计算各像素点深度信息；

步骤六、生成视觉图像深度信息。

进一步的，所述步骤一的具体过程如下：

飞行汽车位置姿态信息可根据车载惯性导航系统以及车载卫星导航系统确定，位置姿态信息为惯性系下表示，可选为东北天坐标系，位置定位方式为经纬高形式（lon0,lat0,alt0），其中lon0为飞行汽车位置经度，lat0为飞行汽车位置纬度，alt0为飞行汽车飞行高度；姿态定位形式为欧拉角形式（yaw,pitch,roll）,其中yaw为偏航角，pitch为俯仰角，roll为滚转角，欧拉角坐标转换形式采用Z-Y-X顺序旋转转换。

进一步的，所述步骤二的具体过程如下：

摄像头安装在飞行汽车位置上，其在飞行汽车本体坐标系下坐标为（x,y,z），需要转换到东北天惯性系下（X,Y,Z）确定摄像头位置，利用距离和经纬度转换方式得到摄像头经纬高位置（lon,lat,alt）；

摄像头位置东北天惯性下表示为：

；

其中，为从本体坐标系到惯性坐标系下变换矩阵，为从惯性坐标系下到本体坐标系下变换矩阵/>的转置矩阵，从惯性坐标系下到本体坐标系下变换矩阵/>可由飞行汽车姿态欧拉角计算得到，计算公式如下：

；

而摄像头经纬高计算公式如下：

；

其中，为地球半径，可取平均数6371000m；

根据摄像头在飞行汽车上的安装位置和安装角度，确定摄像头成像姿态，即飞行汽车本体坐标系到摄像头相机坐标下的坐标变换矩阵为，/>由摄像头安装位置和安装角度确定。

进一步的，所述步骤三具体过程如下：

根据摄像头参数信息，确定摄像头视觉成像平面，摄像头成像平面为二维平面，由多行多列的像素组成，若成像平面宽度为m个像素，成像平面高度为n个像素，则成像平面中的第i行第j列像素P(i,j)对应摄像头相机坐标系下的位置坐标，计算公式如下：

；

其中，为成像距离，/>为成像平面中心点宽度像素位置，/>为成像平面中心点高度像素位置，dx为成像平面宽度方向1mm像素个数，dy为成像平面高度方向1mm像素个数，f为焦距（单位mm）。

进一步的，所述步骤四具体过程如下：

根据飞行汽车位置信息，导入附近的数字三维地图，数字地图包含一系列经纬高序列，描述了附近的地物经纬度位置及对应高度，采用缓存加载附近高精度数字三维地图的方式，随着飞行汽车运动，不断缓存加载附近的数字三维地图，实现附近数字三维地图的快速加载以及计算。

进一步的，所述步骤五具体过程如下：

对于每个像素点，设置最远成像距离，以及更新步长/>，计算该像素点每个成像距离/>位置对应的摄像头坐标,转换到惯性系坐标下位置，利用数字三维地图获得该位置的高程信息，如果该位置高度小于对应的高程信息或者该位置高度小于0，则该位置为像素点地物位置，该位置高度小于对应的高程信息说明成像视线被障碍物遮挡，该位置高度小于0则说明成像视线被地面遮挡；再根据像素点地物位置计算深度信息。

进一步的，所述步骤五中对于成像平面中的第i行第j列像素P(i,j)的深度信息计算流程如下：

步骤1，设置成像距离为0，成像状态/>为1，进入循环；

步骤2，如果成像距离小于最远成像距离而且成像状态为1，则进行成像距离更新，即成像距离步进一个更新步长，计算公式如下，否则转到步骤9：

；

步骤3，计算像素P(i,j)在成像距离位置对应摄像头相机坐标系下坐标，计算公式如下：

；

步骤4，将像素P(i,j)在成像距离位置坐标转换到惯性坐标系下坐标，计算公式如下：

；

步骤5，将像素P(i,j)在成像距离位置坐标转换为经纬高形式，计算公式如下：

；

步骤6，如果像素P(i,j)在成像距离位置高度/>小于0，设置成像状态/>为0，跳出循环，转到步骤9，否则转到步骤7；

步骤7，利用数字三维地图查找步骤5中经纬度位置对应的高程信息h；

步骤8，如果高度小于对应的高程信息h，设置成像状态/>为0，跳出循环，转到步骤9，否则，转到步骤2继续循环；

步骤9，计算像素P(i,j)深度信息，计算公式如下：

。

进一步的，所述步骤六具体过程如下：

成像平面共有m×n个像素点，循环计算各像素点深度信息，生成对应的m×n个深度值，即为视觉图像深度信息。

本发明采用以上技术方案，与现有技术相比，具有如下技术效果：

可基于三维地图，利用飞行汽车的位姿信息和摄像头参数，确定摄像头位姿信息、视觉图像成像平面以及各像素对应的摄像头相机坐标系下位置，引入三维数字地图，利用对应的高程信息自动计算视觉图像各像素点的深度信息，从而得到飞行汽车视觉图像深度信息，不需要另外增加测距激光雷达便可获取视觉图像深度信息，降低了飞行汽车硬件复杂度，提升了飞行汽车载重能力，同时降低了飞行汽车的制造成本，可应用于飞行汽车飞行环境精准感知、飞行环境三维重建、在线路径规划、在线应急避障等各种应用场景。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明中计算方法的运行流程图；

图2为本发明中单个像素点深度信息计算流程图。

具体实施方式

实施例，如图1和图2所示，一种基于三维地图的飞行汽车视觉图像深度信息计算方法，包括以下步骤：

步骤一、确定飞行汽车位置姿态信息。

飞行汽车位置姿态信息可根据车载惯性导航系统以及车载卫星导航系统确定，位置姿态信息为惯性系下表示，可选为东北天坐标系，位置定位方式为经纬高形式（lon0,lat0,alt0），其中lon0为飞行汽车位置经度，lat0为飞行汽车位置纬度，alt0为飞行汽车飞行高度；姿态定位形式为欧拉角形式（yaw,pitch,roll）,其中yaw为偏航角，pitch为俯仰角，roll为滚转角，欧拉角坐标转换形式采用Z-Y-X顺序旋转转换。

步骤二、确定摄像头位置姿态信息。

摄像头安装在飞行汽车位置上，其在飞行汽车本体坐标系下坐标为（x,y,z），需要转换到东北天惯性系下（X,Y,Z）确定摄像头位置，利用距离和经纬度转换方式得到摄像头经纬高位置（lon,lat,alt）。

摄像头位置东北天惯性下表示为：

；

其中，为从本体坐标系到惯性坐标系下变换矩阵，为从惯性坐标系下到本体坐标系下变换矩阵/>的转置矩阵，从惯性坐标系下到本体坐标系下变换矩阵/>可由飞行汽车姿态欧拉角计算得到，计算公式如下：

；

而摄像头经纬高计算公式如下：

；

其中，为地球半径，可取平均数6371000m。

根据摄像头在飞行汽车上的安装位置和安装角度，确定摄像头成像姿态，即飞行汽车本体坐标系到摄像头相机坐标下的坐标变换矩阵为，/>由摄像头安装位置和安装角度确定。

步骤三、确定摄像头视觉图像成像平面。

根据摄像头参数信息，确定摄像头视觉成像平面，摄像头成像平面为二维平面，由多行多列的像素组成，如成像平面宽度为m个像素，成像平面高度为n个像素，则成像平面中的第i行第j列像素P(i,j)对应摄像头相机坐标系下的位置坐标，计算公式如下：

；

其中，为成像距离，/>为成像平面中心点宽度像素位置，/>为成像平面中心点高度像素位置，dx为成像平面宽度方向1mm像素个数，dy为成像平面高度方向1mm像素个数，f为焦距（单位mm）。

步骤四、引入数字三维地图。

根据飞行汽车位置信息，导入附近的数字三维地图，数字地图包含一系列经纬高序列，描述了附近的地物经纬度位置及对应高度，大范围的高精度数字三维地图数据量大，影响计算速度，为加快计算速度，可采用缓存加载附近高精度数字三维地图的方式，随着飞行汽车运动，不断缓存加载附近的数字三维地图，实现附近数字三维地图的快速加载以及计算。

步骤五、计算各像素点深度信息。

对于每个像素点，设置最远成像距离，以及更新步长/>，计算该像素点每个成像距离/>位置对应的摄像头坐标,转换到惯性系坐标下位置，利用数字三维地图获得该位置的高程信息，如果该位置高度小于对应的高程信息或者该位置高度小于0，则该位置为像素点地物位置，该位置高度小于对应的高程信息说明成像视线被障碍物遮挡，该位置高度小于0则说明成像视线被地面遮挡；根据像素点地物位置计算深度信息。

对于成像平面中的第i行第j列像素P(i,j)，其深度信息计算流程如下：

步骤1，设置成像距离为0，成像状态/>为1，进入循环；

步骤2，如果成像距离小于最远成像距离而且成像状态为1，则进行成像距离更新，即成像距离步进一个更新步长，计算公式如下，否则转到步骤9：

；

步骤3，计算像素P(i,j)成像距离位置对应摄像头相机坐标系下坐标，计算公式如下：

；

步骤4，将像素P(i,j)成像距离位置坐标转换到惯性坐标系下坐标，计算公式如下：

；

步骤5，将像素P(i,j)成像距离位置坐标转换为经纬高形式，计算公式如下：

；

步骤6，如果像素P(i,j)成像距离位置高度/>小于0，设置成像状态/>为0，跳出循环，转到步骤9，否则转到步骤7；

步骤7，利用数字三维地图查找步骤5中经纬度位置对应的高程信息h；

步骤8，如果高度小于对应的高程信息h，设置成像状态/>为0，跳出循环，转到步骤9，否则，转到步骤2继续循环；

步骤9，计算像素P(i,j)深度信息，计算公式如下：

。

步骤六、生成视觉图像深度信息：成像平面共有m×n个像素点，循环计算各像素点深度信息，生成对应的m×n个深度值，即为视觉图像深度信息。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好的说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (6)

1.一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：包括以下步骤：

步骤一、确定飞行汽车位置姿态信息；

步骤二、确定摄像头位置姿态信息；

步骤三、确定摄像头视觉图像成像平面；

步骤四、引入数字三维地图；

步骤五、计算各像素点深度信息；

所述步骤五具体过程如下：

对于每个像素点，设置最远成像距离，以及更新步长/>，计算该像素点每个成像距离/>位置对应的摄像头坐标,转换到惯性系坐标下位置，利用数字三维地图获得该位置的高程信息，如果该位置高度小于对应的高程信息或者该位置高度小于0，则该位置为像素点地物位置，该位置高度小于对应的高程信息说明成像视线被障碍物遮挡，该位置高度小于0则说明成像视线被地面遮挡；再根据像素点地物位置计算深度信息；

所述步骤五中对于成像平面中的第i行第j列像素P(i,j)的深度信息计算流程如下：

步骤1，设置成像距离为0，成像状态/>为1，进入循环；

步骤2，如果成像距离小于最远成像距离而且成像状态为1，则进行成像距离更新，即成像距离步进一个更新步长，计算公式如下，否则转到步骤9：

；

步骤3，计算像素P(i,j)在成像距离位置对应摄像头相机坐标系下坐标，计算公式如下：

；

步骤4，将像素P(i,j)在成像距离位置坐标转换到惯性坐标系下坐标，计算公式如下：

；

步骤5，将像素P(i,j)在成像距离位置坐标转换为经纬高形式，计算公式如下：

；

步骤6，如果像素P(i,j)在成像距离位置高度/>小于0，设置成像状态为0，跳出循环，转到步骤9，否则转到步骤7；

步骤7，利用数字三维地图查找步骤5中经纬度位置对应的高程信息h；

步骤8，如果高度小于对应的高程信息h，设置成像状态/>为0，跳出循环，转到步骤9，否则，转到步骤2继续循环；

步骤9，计算像素P(i,j)深度信息，计算公式如下：

；

步骤六、生成视觉图像深度信息。

2.如权利要求1所述的一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：所述步骤一的具体过程如下：

飞行汽车位置姿态信息可根据车载惯性导航系统以及车载卫星导航系统确定，位置姿态信息为惯性系下表示，可选为东北天坐标系，位置定位方式为经纬高形式lon0、lat0、alt0，其中lon0为飞行汽车位置经度，lat0为飞行汽车位置纬度，alt0为飞行汽车飞行高度；姿态定位形式为欧拉角形式yaw、pitch、roll,其中yaw为偏航角，pitch为俯仰角，roll为滚转角，欧拉角坐标转换形式采用Z-Y-X顺序旋转转换。

3.如权利要求1所述的一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：所述步骤二的具体过程如下：

摄像头安装在飞行汽车位置上，其在飞行汽车本体坐标系下坐标为x、y、z，需要转换到东北天惯性系下X、Y、Z确定摄像头位置，利用距离和经纬度转换方式得到摄像头经纬高位置lon、lat、alt；

摄像头位置东北天惯性下表示为：

；

其中，为从本体坐标系到惯性坐标系下变换矩阵，为从惯性坐标系下到本体坐标系下变换矩阵/>的转置矩阵，从惯性坐标系下到本体坐标系下变换矩阵/>可由飞行汽车姿态欧拉角计算得到，计算公式如下：

；

而摄像头经纬高计算公式如下：

；

其中，为地球半径，可取平均数6371000m；

根据摄像头在飞行汽车上的安装位置和安装角度，确定摄像头成像姿态，即飞行汽车本体坐标系到摄像头相机坐标下的坐标变换矩阵为，/>由摄像头安装位置和安装角度确定。

4.如权利要求1所述的一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：所述步骤三具体过程如下：

根据摄像头参数信息，确定摄像头视觉成像平面，摄像头成像平面为二维平面，由多行多列的像素组成，若成像平面宽度为m个像素，成像平面高度为n个像素，则成像平面中的第i行第j列像素P(i,j)对应摄像头相机坐标系下的位置坐标xc、yc、zc，计算公式如下：

；

其中，为成像距离，/>为成像平面中心点宽度像素位置，/>为成像平面中心点高度像素位置，dx为成像平面宽度方向1mm像素个数，dy为成像平面高度方向1mm像素个数，f为焦距，单位mm。

5.如权利要求1所述的一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：所述步骤四具体过程如下：

根据飞行汽车位置信息，导入附近的数字三维地图，数字地图包含一系列经纬高序列，描述了附近的地物经纬度位置及对应高度，采用缓存加载附近高精度数字三维地图的方式，随着飞行汽车运动，不断缓存加载附近的数字三维地图。

6.如权利要求1所述的一种基于三维地图的飞行汽车视觉图像深度信息计算方法，其特征在于：所述步骤六具体过程如下：

成像平面共有m×n个像素点，循环计算各像素点深度信息，生成对应的m×n个深度值，即为视觉图像深度信息。