CN114937123A - 基于多源影像融合的建筑建模方法、装置 - Google Patents

Abstract

本发明公开了一种基于多源影像融合的建筑建模方法、装置，所述方法包括：根据第一点云模型和第二点云模型，进而获得第一投影面和第二投影面，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；进行线段识别和匹配，确定第一投影面和第二投影面上线段的对应关系；计算第一投影面和第二投影面上同名语义线段之间的变换特征数值；若变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行融合建模。采用上述技术方案，有效建立了无人机影像和近景影像之间的准确对应关系，提高了三维融合建模的精度。

Description

基于多源影像融合的建筑建模方法、装置

技术领域

本发明涉及摄影测量、三维建模和计算机视觉技术领域，尤其涉及一种基于多源影像融合的建筑建模方法、装置。

背景技术

近年来，摄影测量成为获取三维地理信息的重要手段之一，无人机摄影可快速获取目标场景的多视角影像，但因摄影盲区易导致建筑物底部的建模较差，数码相机的地面拍摄灵活性强，但缺乏高层建筑物上部和顶部的影像信息。

现有技术中，为了解决单一摄影手段带来的限制，采用无人机影像和地面近景影像的融合建模方案。但是其中存在的问题是，两种不同的影像数据源，拍摄视角差异较大，两者之间的匹配精度低，进而严重影响融合模型精度、准确度和对目标场景的还原度。

发明内容

发明目的：本发明提供一种基于多源影像融合的建筑建模方法，旨在将异源影像的点云模型中的点的特征映射至投影面上，将异源投影面按照线段进行匹配，匹配度满足的线段认定存在对应关系，由此进行异源影像的点云模型的融合建模，有效建立无人机影像和近景影像之间的准确对应关系，提高三维融合建模的精度。

技术方案：本发明提供一种基于多源影像融合的建筑建模方法，包括：获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

具体的，通过运动恢复结构和三维多视角立体视觉算法，基于第一影像序列和第二影像序列，分别计算得到第一密集点云模型和第二密集点云模型。

具体的，几何语义的计算方法，包括：逐个计算点云模型中各点的空间姿态，将各点与局部领域内其他点进行拟合，形成拟合面；以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角，以拟合面与水平面之间的夹角作为倾向，以拟合面的弯曲程度作为曲率，计算得到拟合面的几何特征；同一拟合面上的点的几何特征相同。

具体的，使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面，分别获得第一投影面和第二投影面；所述第一投影面和第二投影面均包括多个虚拟面，并且之间存在对应关系。

具体的，对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作，提取图像特征，输出节点图、热线图和描述符图；所述节点图用于描述像素点形成线段端点的概率，所述热线图用于描述像素点位于线段上的概率，所述描述符图用于构建像素级的局部描述符；对第一几何投影面和第二几何投影面进行线段识别和匹配，采用相同的步骤。

具体的，所述串联沙漏网络模型的训练包括：对于节点图，采用交叉熵函数计算节点损失，对于热线图，采用二进制交叉熵函数计算热线损失，对于描述符图，采用三重态损失函数计算描述符损失；通过动态加权的多任务学习，计算总损失，以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。

具体的，对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：

采用分数矩阵Score（m，n）优化线段匹配，所述分数矩阵如下：

Score（m,n）=max（Score（m-1,n）+gapScore（m,n-1）+ gapScore（m-1,n-1）+D^mTD’ⁿ，

其中，所述分数矩阵Score（m，n）为（a+1）×（a’+1）的网格，线段l包括a个点，线段l’包括a’个点，线段l来自第一颜色投影面，线段l’来自第二颜色投影面，D^mT表示线段l前m个点的描述符D^m的转置矩阵，D’ⁿ表示线段l’前n个点的描述符，gap表示差距分数，gapScore表示在线段l和l’上的点没有匹配需要跳过时记的分数；利用最大匹配分数进行线段匹配；对第一几何投影面和第二几何投影面进行线段匹配，采用相同的步骤。

具体的，计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，采用如下公式计算：

A_rgb（a₁ ¹，a₂ ¹）=A T_rgb（l₁，l₂）+ R_rgb（l₁，l₂），

其中，A表示用于度量匹配结果一致性的线段（a₁，a₂），A_rgb（a₁ ¹，a₂ ¹）表示计算结果，T_rgb（l₁，l₂）=（d₂ ¹- d₁ ²）/（d₁ ¹- d₂ ²），R_rgb（l₁，l₂）=（d₁ ¹ d₁ ²- d₂ ¹d₂ ²）/（d₁ ¹- d₂ ²），（d₁ ¹，d₁ ²）和（d₂ ¹，d₂ ²）分别表示同名语义线段l₁和l₂的端点；所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值，采用与A_rgb（a₁ ¹，a₂ ¹）相同的公式，代入第一几何投影面和第二几何投影面上同名语义线段，计算得到A_geo（a₁ ²，a₂ ²）。

具体的，颜色变换特征数值和几何变换特征数值之间的偏差，采用以下公式计算：

d（A_rgb，A_geo）=|| a₁ ¹- a₂ ¹||+|| a₁ ²-a₂ ²||。

本发明还提供一种基于多源影像融合的建筑建模装置，包括：点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元，其中：所述点云模型建立单元，用于获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；所述投影面建立单元，用于确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；所述线段识别和匹配单元，用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；所述一致性度量单元，用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；所述融合建模单元，用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

有益效果：与现有技术相比，本发明具有如下显著优点：有效建立了无人机影像和近景影像之间的准确对应关系，提高了三维融合建模的精度。

附图说明

图1为本发明提供的基于多源影像融合的建筑建模方法的流程示意图；

图2为本发明提供的基于虚拟相机位置的建筑立面点云投影示意图；

图3为本发明提供的投影面对的线段识别和匹配的示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参阅图1，其为本发明提供的基于多源影像融合的建筑建模方法的流程示意图。

步骤1，获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型。

本发明实施例中，通过运动恢复结构（Structure from Motion）和三维多视角立体视觉算法PMVS（PMVS，the patch-based MVS algorithm），基于第一影像序列和第二影像序列，分别计算得到第一密集点云模型和第二密集点云模型。

在具体实施中，飞行器一般指向无人机，以从上往下的角度拍摄目标建筑，拍摄装置一般指设置于地面或者目标建筑底部的数码相机，以从下往上的角度拍摄目标建筑。

参阅图2，其为本发明提供的基于虚拟相机位置的建筑立面点云投影示意图。

步骤2，确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面。

本发明实施例中，逐个计算点云模型中各点的空间姿态，将各点与局部领域内其他点进行拟合，形成拟合面；以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角，以拟合面与水平面之间的夹角作为倾向，以拟合面的弯曲程度作为曲率，计算得到拟合面的几何特征；同一拟合面上的点的几何特征相同。

在具体实施中，根据第一点云模型和第二点云模型中各点的单点特征，逐个计算各点的空间姿态。第一点云模型和第二点云模型中各点的几何特征语义的计算方法相同。

在具体实施中，拟合面的垂直法向量投影在水平面坐标系中的角度，是指投影与水平面坐标系X轴的夹角。

在具体实施中，拟合面的几何特征语义包括倾角、倾向和曲率，点的几何特征语义与所在的拟合面相同。

本发明实施例中，使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面（立面），分别获得第一投影面和第二投影面；所述第一投影面和第二投影面均包括多个虚拟面，并且之间存在对应关系。第一投影面和第二投影面是异源投影面。

在具体实施中，法向量一致性是指，归属于同一建筑立面的点云法向量无显著性差异，由此可以确定点云模型中目标建筑的平面，之后可以建立对应于平面的虚拟投影面（虚拟面），由于目标建筑的平面一般是多个的，所以虚拟投影面也是多个的，相应的，第一点云模型对应的第一投影面实际包括多个虚拟投影面（虚拟面），第二点云模型对应的第二投影面实际也包括多个虚拟投影面（虚拟面）。在后续线段检测过程中，线段通常是目标建筑的轮廓，也即是目标建筑的平面之间的交界线。

在具体实施中，可以模拟投影面的拍摄位置（虚拟相机位置），建立点云模型上的点和投影面像素点之间的对应关系。

在具体实施中，例如，设目标建筑物立面宽W，高H，点云模型中任意一点P_i的三维模型坐标（X_i，Y_i，Z_i），点云模型空间分辨率s，令垂直于目标建筑物立面朝外的方向为X轴正方向，平行与地面水平线为Y轴，垂直向上为Z轴，建立目标建筑立面坐标系O_f- x_fy_fz_f，可以通过以下公式将点P_i的三维模型坐标变换为立面坐标（X_f，Y_f，Z_f）：

，

其中，R和T分别为两坐标系之间的旋转矩阵和平移参数。

建立与目标建筑立面平行的虚拟投影面O_v- y_vz_v，设投影面宽W_v，高H_v，分别将点云模型的颜色（RGB）语义和几何语义以像素颜色形式在图像中表示，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面，每个点P_i的两种语义在虚拟投影面中的像素点坐标为：

，

其中，Y_imax和Z_imin分别为点云坐标在立面模型坐标系中Y轴的最大值和Z轴的最小值。

在具体实施中，第一点云模型中的目标建筑立面和第二点云模型中的目标建筑立面之间，具有对应关系，进一步的，投影面之间也存在相应的对应关系。

参阅图3，其为本发明提供的投影面对的线段识别和匹配的示意图。

步骤3，对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系。

在具体实施中，第一颜色投影面和第二颜色投影面合称为颜色投影面对，第一几何投影面和第二几何投影面合称为几何投影面对。颜色投影面对和几何投影面对之间的线段识别和匹配的方法步骤相同。

本发明实施例中，采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作，提取图像特征，输出节点图、热线图和描述符图；所述节点图用于描述像素点形成线段端点的概率，所述热线图用于描述像素点位于线段上的概率，所述描述符图用于构建像素级的局部描述符；对第一几何投影面和第二几何投影面进行线段识别和匹配，采用相同的步骤。

本发明实施例中，对于节点图，采用交叉熵函数计算节点损失，对于热线图，采用二进制交叉熵函数计算热线损失，对于描述符图，采用三重态损失函数计算描述符损失；通过动态加权的多任务学习，计算总损失，以总损失低于训练阈值（可以根据实际应用场景进行相应的设定）作为训练条件对所述串联沙漏网络模型进行训练。

在具体实施中，沙漏网络通过一系列标准卷积和池化操作获取图像（投影面）中不同尺度的特征，再通过上采样恢复到输入图片的大小，用于捕捉图片中全部特征并做出像素级预测。串联沙漏网络即将多个沙漏网络相连接，即本发明中节点图、热线图和描述符图均是单独沙漏网络，均产生各自损失，最终将这三个损失相加，通过总损失完成训练。

在具体实施中，h和w分别为节点图的高和宽，m和n分别为节点的坐标，q表示节点。

在具体实施中，输出节点图J^c，定义真值节点j∈{1,...,65}^((h/8)×(w/8))，用于暗示每一个真节点位置的概率，节点损失的定义是J^c和j之间的交叉熵损失：

。

在具体实施中，基于给定的的二进制地面真值H^gt，通过二进制交叉熵函数计算热线损失：

。

在具体实施中，通过带有自定义的W三元损失函数计算损失：

。

其中，l表示在颜色投影面对和几何投影面对上检测到的沿直线采用的点对于的描述符的总数，P_m表示投影面对中的两图像之间描述符的正向距离，N_m表示图像中的一个点和它最难区分的负样本之间的负向距离。

基于以上计算的三种损失，通过动态加权的多任务学习，计算总损失：

。

本发明实施中，采用分数矩阵Score（m，n）优化线段匹配，所述分数矩阵如下：

Score（m,n）=max（Score（m-1,n）+gapScore（m,n-1）+ gapScore（m-1,n-1）+D^mTD’ⁿ，

其中，所述分数矩阵Score（m，n）为（a+1）×（a’+1）的网格，线段l包括a个点，线段l’包括a’个点，线段l来自第一颜色投影面，线段l’来自第二颜色投影面，D^mT表示线段l前m个点的描述符D^m的转置矩阵，D’ⁿ表示线段l’前n个点的描述符，gap表示差距分数，gapScore表示在线段l和l’上的点没有匹配需要跳过时记的分数；利用最大匹配分数进行线段匹配；对第一几何投影面和第二几何投影面进行线段匹配，采用相同的步骤。

在具体实施中，投影面对中的两条线段是基于它们各自的点描述符序列进行比较，采用逐行填充分数矩阵的动态规划返回最大化匹配总分的最佳匹配序列。网格的首行和首列都由差距分数初始化，并使用存储在上、左以及左上单元格中的分数逐行依次填充。

步骤4，计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值。

本发明实施例中，所述同名语义线段指，在颜色投影面对和几何投影面对中，经过线段识别和匹配后，认定具有对应关系的两条线段，即在不同语义图中具有对应关系，并表示真实三维环境中同一线段的两条线段。例如，第一颜色投影面上的一条线段，和第二颜色投影面上的一条线段，两者之间匹配，则两条线段称为同名语义线段。

本发明实施例中，第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，采用如下公式计算：

A_rgb（a₁ ¹，a₂ ¹）=A T_rgb（l₁，l₂）+ R_rgb（l₁，l₂），

其中，A表示用于度量匹配结果一致性的假设线段（a₁，a₂），A_rgb（a₁ ¹，a₂ ¹）表示计算结果，T_rgb（l₁，l₂）=（d₂ ¹- d₁ ²）/（d₁ ¹- d₂ ²），R_rgb（l₁，l₂）=（d₁ ¹ d₁ ²- d₂ ¹d₂ ²）/（d₁ ¹- d₂ ²），（d₁ ¹，d₁ ²）和（d₂ ¹，d₂ ²）分别表示同名语义线段l₁和l₂的端点；所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值，采用与A_rgb（a₁ ¹，a₂ ¹）相同的公式，代入第一几何投影面和第二几何投影面上同名语义线段，计算得到A_geo（a₁ ²，a₂ ²）。

在具体实施中，A_rgb（a₁ ¹，a₂ ¹）和A_geo（a₁ ²，a₂ ²）中的a₁ ¹、a₂ ¹、 a₁ ²和a₂ ²，是按照上述公式进行计算后，得到的线段端点形式的数值。

在具体实施中，颜色变换特征数值和几何变换特征数值，分别表征颜色投影面对的同名语义线段之间的匹配程度，和几何投影面对的同名语义线段之间的匹配程度。

步骤5，若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

本发明实施例中，所述颜色变换特征数值和几何变换特征数值之间的偏差，采用以下公式计算：

d（A_rgb，A_geo）=|| a₁ ¹- a₂ ¹||+|| a₁ ²-a₂ ²||。

在具体实施中，标准阈值可以根据实际应用场景进行相应的设定，一般可以设定为3。

在具体实施中，如果颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值内，表示颜色投影对和几何投影面对中的同名语义线段的匹配准确，进一步的，相应的第一点云模型和第二点云模型中的线段可以认定具有对应关系，在多条线段具有对应关系的情况下，可以进行融合建模。效建立了无人机影像和近景影像之间的准确对应关系，提高了三维融合建模的精度。

本发明还提供一种基于多源影像融合的建筑建模装置，包括：点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元，其中：

所述点云模型建立单元，用于获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；

所述投影面建立单元，用于确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；

所述线段识别和匹配单元，用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；

所述一致性度量单元，用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；

所述融合建模单元，用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

本发明实施例中，点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元执行的步骤，参考本发明提供的基于多源影像融合的建筑建模方法。

Claims (10)

1.一种基于多源影像融合的建筑建模方法，其特征在于，包括：

获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；

确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；

对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；

计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；

若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

2.根据权利要求1所述的基于多源影像融合的建筑建模方法，其特征在于，所述分别计算得到第一点云模型和第二点云模型，包括：

通过运动恢复结构和三维多视角立体视觉算法，基于第一影像序列和第二影像序列，分别计算得到第一密集点云模型和第二密集点云模型。

3.根据权利要求2所述的基于多源影像融合的建筑建模方法，其特征在于，所述几何语义的计算方法，包括：

逐个计算点云模型中各点的空间姿态，将各点与局部领域内其他点进行拟合，形成拟合面；

以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角，以拟合面与水平面之间的夹角作为倾向，以拟合面的弯曲程度作为曲率，计算得到拟合面的几何特征；同一拟合面上的点的几何特征相同。

4.根据权利要求3所述的基于多源影像融合的建筑建模方法，其特征在于，所述确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，包括：

使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面，分别获得第一投影面和第二投影面；所述第一投影面和第二投影面均包括多个虚拟面，并且之间存在对应关系。

5.根据权利要求4所述的基于多源影像融合的建筑建模方法，其特征在于，所述对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：

采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作，提取图像特征，输出节点图、热线图和描述符图；所述节点图用于描述像素点形成线段端点的概率，所述热线图用于描述像素点位于线段上的概率，所述描述符图用于构建像素级的局部描述符；对第一几何投影面和第二几何投影面进行线段识别和匹配，采用相同的步骤。

6.根据权利要求5所述的基于多源影像融合的建筑建模方法，其特征在于，所述串联沙漏网络模型的训练包括：

对于节点图，采用交叉熵函数计算节点损失，对于热线图，采用二进制交叉熵函数计算热线损失，对于描述符图，采用三重态损失函数计算描述符损失；

通过动态加权的多任务学习，计算总损失，以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。

7.根据权利要求5所述的基于多源影像融合的建筑建模方法，其特征在于，所述对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：

采用分数矩阵Score（m，n）优化线段匹配，所述分数矩阵如下：

Score（m,n）=max（Score（m-1,n）+gapScore（m,n-1）+ gapScore（m-1,n-1）+D^mTD’ⁿ，

其中，所述分数矩阵Score（m，n）为（a+1）×（a’+1）的网格，线段l包括a个点，线段l’包括a’个点，线段l来自第一颜色投影面，线段l’来自第二颜色投影面，D^mT表示线段l前m个点的描述符D^m的转置矩阵，D’ⁿ表示线段l’前n个点的描述符，gap表示差距分数，gapScore表示在线段l和l’上的点没有匹配需要跳过时记的分数；利用最大匹配分数进行线段匹配；对第一几何投影面和第二几何投影面进行线段匹配，采用相同的步骤。

8.根据权利要求7所述的基于多源影像融合的建筑建模方法，其特征在于，所述计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，采用如下公式计算：

A_rgb（a₁ ¹，a₂ ¹）=A T_rgb（l₁，l₂）+ R_rgb（l₁，l₂），

其中，A表示用于度量匹配结果一致性的线段（a₁，a₂），A_rgb（a₁ ¹，a₂ ¹）表示计算结果，T_rgb（l₁，l₂）=（d₂ ¹- d₁ ²）/（d₁ ¹- d₂ ²），R_rgb（l₁，l₂）=（d₁ ¹ d₁ ²- d₂ ¹d₂ ²）/（d₁ ¹- d₂ ²），（d₁ ¹，d₁ ²）和（d₂ ¹，d₂ ²）分别表示同名语义线段l₁和l₂的端点；所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值，采用与A_rgb（a₁ ¹，a₂ ¹）相同的公式，代入第一几何投影面和第二几何投影面上同名语义线段，计算得到A_geo（a₁ ²，a₂ ²）。

9.根据权利要求8所述的基于多源影像融合的建筑建模方法，其特征在于，所述颜色变换特征数值和几何变换特征数值之间的偏差，采用以下公式计算：

d（A_rgb，A_geo）=|| a₁ ¹- a₂ ¹||+|| a₁ ²-a₂ ²||。

10.一种基于多源影像融合的建筑建模装置，其特征在于，包括：点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元，其中：

所述点云模型建立单元，用于获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；

所述投影面建立单元，用于确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；

所述线段识别和匹配单元，用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；

所述一致性度量单元，用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；

所述融合建模单元，用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。

Images