CN114998496A - 一种基于场景航拍图及稀疏点云的正射影像快速生成方法 - Google Patents

Abstract

本发明涉及图像处理和环境建模仿真技术领域，提供了一种基于场景航拍图及稀疏点云的正射影像快速生成方法。该正射影像快速生成方法包括：利用航拍图生成稀疏点云和相机位姿；摆正相机点云与稀疏点云并得到初步映射图；对初步映射图分块并找到每块对应的原始点云和航拍图；找到分块映射图最适合的航拍图并进行纹理映射；将分块映射结果合并得到正射影像。本发明通过航拍图进行正射影像的生成，无需购买专业设备，局限性大幅减少且更加经济实用；仅利用稀疏点云即可完成正射影像的生成，无需生成稠密点云和三维网格，有效地缩短了时间；在保证了图像的分辨率的同时，对后续的其他应用如智慧城市、三维重建等提供了技术支撑。

Description

一种基于场景航拍图及稀疏点云的正射影像快速生成方法

技术领域

本发明涉及图像处理和环境建模仿真技术领域，尤其涉及一种基于场景航拍图及稀疏点云的正射影像快速生成方法。

背景技术

基于航拍图进行自动化场景建模，形成高分辨率的场景模型是诸多领域的重要需求。其中，正射影像作为建模最终输出产品之一，是具有正射投影性质的遥感影像，可用于制作各种影像地图和量测等。如何在相机条件及建模时间有限的情况下，生成更高清和更精准的正射影像是面向各类应用的关键。

目前正射影像制作主要采用专用设备来进行，如制作平坦地面的中心投影式航空像片，可用光学机械型纠正仪；制作起伏较大的航空或航天摄影像片，可用正射投影装置，如各种光学机械型微分纠正仪和数控解析正射投影仪。但是专用设备成本高，且在与其他数据源数据进行融合时，由于数据源的不统一，还需要进一步进行目标匹配、对应矫正等步骤，后续步骤复杂且费时。

近年来，无人机及无人机机载相机的快速发展，使得基于航拍图的各类应用都有了迅速进步，如场景三维建模。多数现有的三维建模软件也可进行正射影像生成，主要是通过航拍图进行三维场景重建后再进一步生成正射影像。但是三维场景重建步骤繁杂，包括基于航拍图进行稀疏点云生成、稀疏点云生成稠密点云、稠密点云三角网格化生成网格模型、场景纹理贴图生成场景模型、基于场景模型进一步生成正射影像等步骤，不仅有许多冗余步骤，且稠密点云生成及场景网格化等步骤耗时较长，同时，由于其正射影像是在三维模型的基础上映射的，因此当模型在部分纹理较为单一的位置上存在孔洞时，也会导致正射影像存在孔洞。

发明内容

有鉴于此，本发明提供了一种基于场景航拍图及其稀疏点云的正射影像快速生成方法，以解决现有技术中无法利用航拍图尽可能快速完整的生成场景正射影像的问题。

本发明提供了一种基于场景航拍图及稀疏点云的正射影像快速生成方法，包括：

S1利用航拍图生成稀疏点云和相机位姿；

S2摆正相机点云与稀疏点云并得到初步映射图；

S3对所述初步映射图分块并找到每块对应的原始点云和航拍图；

S4找到分块映射图最适合的航拍图并进行纹理映射；

S5将分块映射结果合并得到正射影像。

进一步地，所述S1包括：

S11准备待处理航拍图；

S12利用SfM(Structure from motion)算法，进行空三解算得到相机的位姿和场景稀疏点云。

进一步地，所述S2包括：

S21利用相机位姿拟合相机平面并进行旋转矩阵计算；

S22利用旋转矩阵摆正稀疏点云，映射稀疏点云至同一平面，得到初步映射图。

进一步地，所述S21包括：

S211读取SfM算法得到的相机位置坐标，每个坐标为三维空间的一个相机点，对所有的相机点进行最小二乘法拟合平面，获得相机平面方程，相机平面方程的形式为z＝ax+by+c；

S212基于所述相机平面方程，获得相机平面的法向量A(a,b,-1)，将相机平面法向量与Z轴正方向单位向量B(0,0,1)进行点乘，根据点乘结果计算旋转角度α：

A·B＝|A|*|B|*cosα；

S213基于所述相机平面的法向量和所述与Z轴正方向单位向量的叉乘，获得旋转轴向量C，旋转轴向量的表达式如下：

A×B＝C

其中，C(C_x,C_y,C_z)为旋转轴向量；

S214利用旋转角度和旋转轴向量最终求出旋转矩阵M，所述旋转矩阵M为：

其中，α为旋转角度，C(C_x,C_y,C_z)为旋转轴向量，M为旋转矩阵。

进一步地，所述S22包括：

S221基于所述旋转矩阵，对稀疏点云的所有点进行旋转计算，从而摆正稀疏点云，原点云中的点P(P_x,P_y,P_z)计算后得到摆正的点云模型中的点P′(P′_x,P′_y,P′_z)，摆正前与摆正后的点云模型的坐标计算方式如下：

P′_x＝M[0][0]*P_x+M[0][1]*P_y+M[0][2]*P_z

P′_y＝M[1][0]*P_x+M[1][1]*P_y+M[1][2]*P_z

P′_z＝M[2][0]*P_x+M[2][1]*P_y+M[2][2]*P_z

S222基于摆正后的点云模型，获得点云模型中各点的z值，并将其作为各点的高度；

S223根据稀疏点云规模及实际应用需求确定正射影像尺寸；遍历摆正后点云模型中的各点的x值与y值，确定x、y的取值范围，得到xmin、xmax、ymin、ymax，分别为x的最小值、最大值，y的最小值、最大值，结合实际需求和点云模型中点的个数，确定生成的正射影像的图像尺寸，

其中，num为点云模型中点的数量，k为根据实际需求确定的系数，X，Y表示图像尺寸，根据上述公式获得X、Y的最小值Min(X,Y)，通过点云x值与y值的取值范围的比例，等比计算出X、Y的最大值Max(X,Y)，得到正射图像的图像尺寸；

S224通过点云模型中点的x值、y值表示的位置信息，确定出该点对应于正射影像中的坐标位置(i,j)，完成映射稀疏点云至同一平面，得到初步映射图，

其中，

表示点云模型中单位长度与像素坐标系中的对应关系。

S225统计初步映射图边缘行、列中有效单元格的个数，若有效个数小于设定阈值，表示此区域生成的点云数量过少，不适合正射影像生成，针对此类边缘进行裁剪，修改映射图尺寸。

进一步地，所述S3包括：

S31对映射图进行区块划分；

S311指定区块划分满足以下条件：

(1)划分的每一区块内都包含至少10个稀疏点；

(2)划分区块场景不大于单张航拍图中场景的面积，在满足条件(1)的前提下，对所述区块场景做细分；

(3)结合实际航拍图尺寸与映射图尺寸，将尺寸为p*q的映射图分割成m*n张尺寸为r*s的区块，其中，m*r＝p，n*s＝q，若出现某一区块不满足10个稀疏点的情况，则将该区块与边相邻的四个区块中稀疏点最少的一区块合并直至满足条件(1)；

S312针对每一区块内的点，结合点云到映射图的映射关系，找到其对应的原始稀疏点云，得到对应的原始稀疏点云块；

S32针对每一区块，找到原始稀疏点云对应的原始航拍图；

S321从SfM的结果文件中找到每个稀疏点原本所对应的航拍图集以及在每个航拍图中的位置，找到多张包含同一区块中所有点对应点的航拍图；

S322对于同一区块中所有点对应的航拍图中所有点，读取其坐标值，保留其在航拍图中坐标值的最大值和最小值，截取该坐标范围内的航拍图获得某一稀疏点云区块对应的航拍图原位置截图。

进一步地，所述S4包括：

S41找到每一区块对应的偏转最小且最中心的航拍图；

S411根据航拍图拍摄POS数据或SfM算法得到的相机位姿，获得在进行航拍过程中，相机相对于地面的转角大小，找到转角最小的几张航拍图；

S412鉴于航拍图中间畸变最小且最接近俯视情况，结合区块对应的航拍图原位置截图，找到原位置截图最靠近航拍图中心的航拍图；

S42找到区块映射图中每个稀疏点对应的航拍图中的所有点；

S421从SfM的结果文件中找到稀疏点云中的点与航拍图中特征点的对应关系，结合稀疏点云中的点与区块映射图中的点的映射关系，找到不同区块的映射图中每个稀疏点在其所对应的目标航拍图中的特征点的位置；

S422利用一一对应的匹配点对构成对应点集；

S43利用对应点集计算区块映射图与航拍图之间的单应矩阵H；

S431将所述对应的目标航拍图与区块映射图的点对导入单应矩阵H的计算方程组；

S432解算计算方程组，获得单应矩阵H来描述映射图与航拍图之间的坐标转换关系；

S44利用单应矩阵H，将航拍图纹理填充至映射图中，

S441依次计算航拍图截图中的每个像素点Q(Q_x,Q_y)利用单应矩阵进行单应变换后在映射图的位置Q′(Q′_x,Q′_y)，具体计算如下：

设V1为三维列向量，其中，V1[0]＝Q_y，V1[1]＝Q_x，V1[2]＝1，设V2为经过单应矩阵H变换后的三维列向量：

V2＝H*V1

可得到单应变换后的点的位置坐标为:

Q′_x＝V2[1]/V2[2]

Q′_y＝V2[0]/V2[2]

S442用航拍图截图中的像素点的RGB值替换映射图中变换后位置像素点的RGB值，将原有的航拍图纹理填充至映射图中。

进一步地，所述S5包括：

S51对每个区块所对应的分块填充结果中超过原对应区块的部分去除，仅保留原本分块部分的填充结果，去除多余部分后获得单个分块映射结果；

S52将所有单个区块映射结果根据原本的区块划分方式重新合并，得到正射影像。

本发明与现有技术相比存在的有益效果是：

1、本发明无需专用投影装置，通过航拍图即可进行正射影像的生成，局限性大幅减少且更加经济实用。

2、本发明省略了传统三维场景重建中的稠密点云生成、三角网格化和纹理贴图等耗时过程，仅利用稀疏点云即可完成正射影像的生成，有效地缩短了时间。

3、本发明可以根据实际需求进行部分参数的设置，如最终正射影像的尺寸等，在保证了图像的分辨率的同时，也对后续的其他应用如智慧城市、三维重建等提供了技术支撑。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的一种基于场景航拍图及稀疏点云的正射影像快速生成方法的流程图；

图2是本发明提供的一种基于场景航拍图及稀疏点云的正射影像快速生成方法的详细流程示意图；

图3是本发明提供的一种航拍图；

图4是本发明提供的通过SfM算法生成的场景稀疏点云的示意图；

图5是本发明提供的相机位姿与稀疏点云侧面图；

图6是本发明提供的旋转摆正后的稀疏点云侧面图；

图7是本发明提供的初步映射图；

图8是本发明提供的区块划分结果示意图；

图9是本发明提供的某一映射图块对应的稀疏点云示意图；

图10是本发明提供的某一稀疏点云块对应的航拍图原图示意图；

图11是本发明提供的某一稀疏点云块对应的航拍图原位置截图；

图12是本发明提供的将原有的航拍图纹理填充至映射图的示意图；

图13是本发明提供的去除多余部分后的映射结果示意图；

图14是本发明提供的正射影像示意图；

图15是本发明提供的水域部分出现孔洞的其他软件的正射影像示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

下面将结合附图详细说明根据本发明的一种基于场景航拍图及其稀疏点云的正射影像快速生成方法。

图1是本发明提供的一种基于场景航拍图及稀疏点云的正射影像快速生成方法的流程图。

图2是本发明提供的一种基于场景航拍图及稀疏点云的正射影像快速生成方法的详细流程示意图。

如图1所示，该正射影像快速生成方法包括：

S1利用航拍图生成稀疏点云和相机位姿；

S11准备待处理航拍图；

图3是本发明提供的一种航拍图。

图4是本发明提供的通过SfM算法生成的场景稀疏点云的示意图。

图5是本发明提供的相机位姿与稀疏点云侧面图。

S12利用SfM(Structure from motion)算法，进行空三解算得到相机位姿和场景稀疏点云。

S2摆正相机点云与稀疏点云并得到初步映射图；

S21利用相机位姿拟合相机平面并进行旋转矩阵计算；

S21包括：

S211读取SfM算法得到的相机位置坐标，每个坐标为三维空间的一个相机点，对所有的相机点进行最小二乘法拟合平面，获得相机平面方程，相机平面方程的形式为z＝ax+by+c；

S212基于所述相机平面方程，获得相机平面的法向量A(a,b,-1)，将相机平面法向量与Z轴正方向单位向量B(0,0,1)进行点乘，根据点乘结果计算旋转角度α：

A·B＝|A|*|B|*cosα；

S213基于相机平面的法向量和与Z轴正方向单位向量的叉乘，获得旋转轴向量C，旋转轴向量的表达式如下：

A×B＝C

其中，C(C_x,C_y,C_z)为旋转轴向量，

S214利用旋转角度和旋转轴向量最终求出旋转矩阵M，旋转矩阵M为：

其中，α为旋转角度，C(C_x,C_y,C_z)为旋转轴向量，M为旋转矩阵。

S22利用旋转矩阵摆正稀疏点云，映射稀疏点云至同一平面，得到初步映射图。

S22包括：

图6是本发明提供的旋转摆正后的稀疏点云侧面图。

S221基于旋转矩阵，对稀疏点云的所有点进行旋转计算，从而摆正稀疏点云。原点云中的点P(P_x,P_y,P_z)计算后得到摆正的点云模型中的点P′(P′_x,P′_y,P′_z)，摆正前与摆正后的点云模型的坐标计算方式如下：

P′_x＝M[0][0]*P_x+M[0][1]*P_y+M[0][2]*P_z

P′_y＝M[1][0]*P_x+M[1][1]*P_y+M[1][2]*P_z

P′_z＝M[2][0]*P_x+M[2][1]*P_y+M[2][2]*P_z

旋转摆正后的稀疏点云侧面图如图6所示，相较于图5，可见点云模型已经摆正。

S222基于已摆正的点云模型，获得点云模型中各点的z值，并将其作为各点的高度；

S223根据稀疏点云规模及实际应用需求确定正射影像尺寸；遍历摆正后点云模型中的各点的x值与y值，确定x、y的取值范围，得到xmin、xmax、ymin、ymax，分别为x的最小值、最大值，y的最小值、最大值，结合实际需求和点云模型中点的个数，确定生成的正射影像的图像尺寸，

其中，num为点云模型中点的数量，k为根据实际需求确定的系数，X，Y表示图像尺寸，根据上述公式获得X、Y的最小值Min(X,Y)，通过点云x值与y值的取值范围的比例，等比计算出X、Y的最大值Max(X,Y)，得到正射图像的图像尺寸；

图7是本发明提供的初步映射图。

S224通过点云模型中点的x值、y值表示的位置信息，确定出该点对应于正射影像中的坐标位置(i,j)，完成映射稀疏点云至同一平面，得到初步映射图，

其中，

表示点云模型中单位长度与像素坐标系中的对应关系。由于图像尺寸的限制以及点云高度的差异，通常某一像素单元(i,j)会对应多个x值、y值相近的点集合，本发明设定像素单元RGB值等于集合中z值最大点的RGB值，这样在映射后的平面中观察到的内容，都只保留点云模型中高度较高的点，从而完成点云到平面的初步映射；

S225统计初步映射图边缘行、列中有效单元格的个数，若有效个数小于某一阈值，表示此区域生成的点云数量过少，不适合正射影像生成，针对此类边缘进行裁剪，修改映射图尺寸。

S3对初步映射图分块并找到每块对应的原始点云和航拍图；

S3包括：

S31对映射图进行区块划分，

图8是本发明提供的区块划分结果示意图。

图9是本发明提供的某一映射图块对应的稀疏点云示意图。

S311指定区块划分满足以下条件：

(1)划分的每一区块内都包含至少10个稀疏点；

(2)划分区块场景不大于单张航拍图中场景的面积，在满足条件(1)的前提下，对所述区块场景做细分；

(3)结合实际航拍图尺寸与映射图尺寸，可以将尺寸为p*q的映射图分割成m*n张尺寸为r*s的区块，其中，m*r＝p，n*s＝q，若出现某一区块不满足10个稀疏点的情况，则将该区块与边相邻的四个区块中稀疏点最少的一区块合并直至满足条件(1)；划分结果如图8所示；

如图9所示，

S312针对每一区块内的点，结合点云到映射图的映射关系，找到其对应的原始稀疏点云，得到对应的原始稀疏点云块；

S32针对每一区块，找到原始稀疏点云对应的原始航拍图，

图10是本发明提供的某一稀疏点云块对应的航拍图原图示意图；

S321从SfM的结果文件中找到每个稀疏点原本所对应的航拍图集以及在每个航拍图中的位置，找到多张包含同一区块中所有点对应点的航拍图；

具体地，每一稀疏点云的点在之前的SfM过程中，都是由航拍图中检测到的对应特征点通过匹配和空三解算得到的，因此可以从SfM的结果文件中找到每个稀疏点原本所对应的航拍图集以及在每张航拍图中的位置，通常一个点都会对应多张航拍图，由于同一区块中的所有点距离较近，通常都会一起出现在多张航拍图中。

图11是本发明提供的某一稀疏点云块对应的航拍图原位置截图。

S322对于同一区块中所有点对应的航拍图中所有点，读取其坐标值，保留其在航拍图中坐标值的最大值和最小值，截取该坐标范围内的航拍图获得某一稀疏点云块对应的航拍图原位置截图。

对于同一区块中所有点对应的同一航拍图中所有点，读取其在航拍图中的坐标值，保留坐标值的最大值和最小值，截取该坐标范围内的航拍图即可得到某一稀疏点云块对应的航拍图原位置截图如图11所示。

S4找到分块映射图最适合的航拍图并进行纹理映射；

S4包括：

S41找到每一区块对应的偏转最小且最中心的航拍图；

S411根据航拍图拍摄POS数据或SfM算法得到的相机位姿，获得在进行航拍过程中，相机相对于地面的转角大小，找到转角最小的几张航拍图；

以倾斜摄影为例，倾斜摄影通过在同一无人机搭载多台相机，同时从一个垂直、多个倾斜等不同的角度采集影像，对应的常见偏转角度包括0°、30°、45°等。考虑到正射影像近似于从垂直角度俯视模型，因此找到每一区块偏转最小的航拍图，如偏转角0°时拍摄的航拍图作为初步目标。

S412鉴于航拍图中间畸变最小且最接近俯视情况，结合区块对应的航拍图原位置截图，找到原位置截图最靠近航拍图中心的航拍图；

由于航拍图之间有一定面积的重合，因此可能有多张偏转相似的航拍图都拍到了同一区块，如多张偏转角为0°时拍摄的航拍图。考虑到由于拍摄时相机位置不同，该区块在航拍图中的位置也不同，如同一区块在同一航道的三张相邻航拍图中可能分别分布于航拍图左上角、航拍图中间、航拍图右下角，鉴于航拍图中间畸变最小且最接近俯视情况，结合区块对应的航拍图原位置截图，找到原位置截图最靠近航拍图中心的航拍图，即为目标航拍图。

S42找到区块映射图中每个稀疏点对应的航拍图中的所有点；

S421从SfM的结果文件中找到稀疏点云中的点与航拍图中特征点的对应关系，结合稀疏点云中的点与区块映射图中的点的映射关系，找到不同区块的映射图中每个稀疏点在其所对应的目标航拍图中的特征点的位置；

S422利用一一对应的匹配点对构成对应点集；

S43利用对应点集计算区块映射图与航拍图之间的单应矩阵H；

S431将对应好的航拍图与区块映射图的点对导入单应矩阵H的计算方程组；

S432解算计算方程组，获得单应矩阵H来描述映射图与航拍图之间的坐标转换关系；

具体地，单应是射影几何中的概念，又称为射影变换。它把一个射影平面上的点映射到另一个射影平面上，并且把直线映射为直线，具有保线性质，从而通过单应矩阵可以将两幅图像关联起来，单应矩阵可以应用在图像矫正、图像拼接、视角转换等方面。单应矩阵可由两个射影平面上的一系列对应点计算而成，将步骤S422中对应好的点对导入单应矩阵的计算方程组，可得到单应矩阵H，该单应矩阵可用于描述映射图与航拍图之间的转换关系。

图12是本发明提供的将原有的航拍图纹理填充至映射图的示意图。

S44利用单应矩阵H，将航拍图纹理填充至映射图中，

S441依次计算航拍图截图中的每个像素点Q(Q_x,Q_y)利用单应矩阵进行单应变换后在映射图的位置Q′(Q′_x,Q′_y)，具体计算如下：

设V1为三维列向量，其中，V1[0]＝Q_y，V1[1]＝Q_x，V1[2]＝1，设V2为经过单应矩阵H变换后的三维列向量：

V2＝H*V1

可得到单应变换后的点的位置坐标为：

Q′_x＝V2[1]/V2[2]

Q′_y＝V2[0]/V2[2]

S442用航拍图截图中的像素点的RGB值替换映射图中变换后位置像素点的RGB值，将原有的航拍图纹理填充至映射图中。

S5将分块映射结果合并得到正射影像。

图13是本发明提供的去除多余部分后的映射结果示意图。

S51对每个区块所对应的分块填充结果中超过原对应区块的部分去除，仅保留原本分块部分的填充结果，去除多余部分后获得单个分块映射结果；

图14是本发明提供的正射影像示意图。

图15是本发明提供的水域部分出现孔洞的其他软件的正射影像示意图。

S52将所有单个区块映射后的结果根据原本的区块划分方式重新合并，得到正射影像。

由于其他建模软件中正射影像生成前还需要进行场景稠密点云重建、网格化和纹理映射等步骤，如图15所示的水域等纹理单一的区域通常会产生模型孔洞，最终导致正射影像的水域部分出现孔洞，影响正射影像的效果。而本发明中采用航拍图纹理填充的形式进行正射影像的生成，省略了模型生成等步骤，既可以有效地减少生成时间，还可以如图14所示避免孔洞的产生。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

上述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于场景航拍图及稀疏点云的正射影像快速生成方法，其特征在于，包括：

S1利用航拍图生成稀疏点云和相机位姿；

S2摆正相机点云与稀疏点云并得到初步映射图；

S3对所述初步映射图分块并找到每块对应的原始点云和航拍图；

S4找到分块映射图最适合的航拍图并进行纹理映射；

S5将分块映射结果合并得到正射影像。

2.根据权利要求1所述的正射影像快速生成方法，其特征在于，所述S1包括：

S11准备待处理航拍图；

S12利用SfM算法，进行空三解算得到相机位姿和场景稀疏点云。

3.根据权利要求2所述的正射影像快速生成方法，其特征在于，所述S2包括：

S21利用相机位姿拟合相机平面并进行旋转矩阵计算；

S22利用旋转矩阵摆正稀疏点云，映射稀疏点云至同一平面，得到初步映射图。

4.根据权利要求3所述的正射影像快速生成方法，其特征在于，所述S21包括：

S211读取SfM算法得到的相机位置坐标，每个坐标为三维空间的一个相机点，对所有的相机点进行最小二乘法拟合平面，获得相机平面方程，相机平面方程的形式为z＝ax+by+c；

S212基于所述相机平面方程，获得相机平面的法向量A(a,b,-1)，将相机平面法向量与Z轴正方向单位向量B(0,0,1)进行点乘，根据点乘结果计算旋转角度α：

A·B＝|A|*|B|*cosα；

S213基于所述相机平面的法向量和所述与Z轴正方向单位向量的叉乘，获得旋转轴向量C，旋转轴向量的表达式如下：

A×B＝C

其中，C(C_x，C_y，C_z)为旋转轴向量；

S214利用旋转角度和旋转轴向量最终求出旋转矩阵M，所述旋转矩阵M为：

其中，α为旋转角度，C(C_x，C_y，C_z)为旋转轴向量，M为旋转矩阵。

5.根据权利要求4所述的正射影像快速生成方法，其特征在于，所述S22包括：

S221基于所述旋转矩阵，对稀疏点云的所有点进行旋转计算，从而摆正稀疏点云，原点云中的点P(P_x，P_y，P_z)计算后得到摆正的点云模型中的点P′(P′_x，P′_y，P′_z)，摆正前与摆正后的点云模型的坐标计算方式如下：

P′_x＝M[0][0]*P_x+M[0][1]*P_y+M[0][2]*P_z

P′_y＝M[1][0]*P_x+M[1][1]*P_y+M[1][2]*P_z

P′_z＝M[2][0]*P_x+M[2][1]*P_y+M[2][2]*P_z

S222基于摆正后的点云模型，获得点云模型中各点的z值，并将其作为各点的高度；

S223根据稀疏点云规模及实际应用需求确定正射影像尺寸；遍历摆正后点云模型中的各点的x值与y值，确定x、y的取值范围，得到xmin、xmax、ymin、ymax，分别为x的最小值、最大值，y的最小值、最大值，结合实际需求和点云模型中点的个数，确定生成的正射影像的图像尺寸，

其中，num为点云模型中点的数量，k为根据实际需求确定的系数，X，Y表示图像尺寸，根据上述公式获得X、Y的最小值Min(X,Y)，通过点云x值与y值的取值范围的比例，等比计算出X、Y的最大值Max(X,Y)，得到正射图像的图像尺寸；

S224通过点云模型中点的x值、y值表示的位置信息，确定出该点对应于正射影像中的坐标位置(i,j)，完成映射稀疏点云至同一平面，得到初步映射图，

其中，

表示点云模型中单位长度与像素坐标系中的对应关系；

S225统计初步映射图边缘行、列中有效单元格的个数，若有效个数小于设定阈值，表示此区域生成的点云数量过少，不适合正射影像生成，针对此类边缘进行裁剪，修改映射图尺寸。

6.根据权利要求5所述的正射影像快速生成方法，其特征在于，所述S3包括：

S31对映射图进行区块划分；

S311指定区块划分满足以下条件：

(1)划分的每一区块内都包含至少10个稀疏点；

(2)划分区块场景不大于单张航拍图中场景的面积，在满足条件(1)的前提下，对所述区块场景做细分；

(3)结合实际航拍图尺寸与映射图尺寸，将尺寸为p*q的映射图分割成m*n张尺寸为r*s的区块，其中，m*r＝p，n*s＝q，若出现某一区块不满足10个稀疏点的情况，则将该区块与边相邻的四个区块中稀疏点最少的一区块合并，直至满足条件(1)；

S312针对每一区块内的点，结合点云到映射图的映射关系，找到其对应的原始稀疏点云，得到对应的原始稀疏点云块；

S32针对每一区块，找到原始稀疏点云对应的原始航拍图；

S321从SfM的结果文件中找到每个稀疏点原本所对应的航拍图集以及在每个航拍图中的位置，找到多张包含同一区块中所有点对应点的航拍图；

S322对于同一区块中所有点对应的航拍图中所有点，读取其坐标值，保留其在航拍图中坐标值的最大值和最小值，截取该坐标范围内的航拍图，获得某一稀疏点云区块对应的航拍图原位置截图。

7.根据权利要求6所述的正射影像快速生成方法，其特征在于，所述S4包括：

S41找到每一区块对应的偏转最小且最中心的航拍图；

S411根据航拍图拍摄POS数据或SfM算法得到的相机位姿，获得在进行航拍过程中，相机相对于地面的转角大小，找到转角最小的几张航拍图；

S412鉴于航拍图中间畸变最小且最接近俯视情况，结合区块对应的航拍图原位置截图，找到原位置截图最靠近航拍图中心的航拍图；

S42找到区块映射图中每个稀疏点对应的航拍图中的所有点；

S421从SfM的结果文件中找到稀疏点云中的点与航拍图中特征点的对应关系，结合稀疏点云中的点与区块映射图中的点的映射关系，找到不同区块的映射图中每个稀疏点在其所对应的目标航拍图中的特征点的位置；

S422利用一一对应的匹配点对构成对应点集；

S43利用对应点集计算区块映射图与航拍图之间的单应矩阵H；

S431将所述对应的目标航拍图与区块映射图的点对导入单应矩阵H的计算方程组；

S432解算计算方程组，获得单应矩阵H来描述映射图与航拍图之间的坐标转换关系；

S44利用单应矩阵H，将航拍图纹理填充至映射图中，

S441依次计算航拍图截图中的每个像素点Q(Q_x,Q_y)利用单应矩阵进行单应变换后在映射图的位置Q′(Q′_x,Q′_y)，具体计算如下：

设V1为三维列向量，其中，V1[0]＝Q_y，V1[1]＝Q_x，V1[2]＝1，设V2为经过单应矩阵H变换后的三维列向量：

V2＝H*V1

可得到单应变换后的点的位置坐标为:

Q′_x＝V2[1]/V2[2]

Q′_y＝V2[0]/V2[2]

S442用航拍图截图中的像素点的RGB值替换映射图中变换后位置像素点的RGB值，将原有的航拍图纹理填充至映射图中。

8.根据权利要求7所述的正射影像快速生成方法，其特征在于，所述S5包括：

S51对每个区块所对应的分块填充结果中超过原对应区块的部分去除，仅保留原本分块部分的填充结果，去除多余部分后获得单个分块映射结果；

S52将所有单个区块映射结果根据原本的区块划分方式重新合并，得到正射影像。

Images