CN114937123B - 基于多源影像融合的建筑建模方法、装置 - Google Patents
基于多源影像融合的建筑建模方法、装置 Download PDFInfo
- Publication number
- CN114937123B CN114937123B CN202210845741.4A CN202210845741A CN114937123B CN 114937123 B CN114937123 B CN 114937123B CN 202210845741 A CN202210845741 A CN 202210845741A CN 114937123 B CN114937123 B CN 114937123B
- Authority
- CN
- China
- Prior art keywords
- projection surface
- geometric
- point cloud
- color
- cloud model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多源影像融合的建筑建模方法、装置,所述方法包括:根据第一点云模型和第二点云模型,进而获得第一投影面和第二投影面,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;进行线段识别和匹配,确定第一投影面和第二投影面上线段的对应关系;计算第一投影面和第二投影面上同名语义线段之间的变换特征数值;若变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行融合建模。采用上述技术方案,有效建立了无人机影像和近景影像之间的准确对应关系,提高了三维融合建模的精度。
Description
技术领域
本发明涉及摄影测量、三维建模和计算机视觉技术领域,尤其涉及一种基于多源影像融合的建筑建模方法、装置。
背景技术
近年来,摄影测量成为获取三维地理信息的重要手段之一,无人机摄影可快速获取目标场景的多视角影像,但因摄影盲区易导致建筑物底部的建模较差,数码相机的地面拍摄灵活性强,但缺乏高层建筑物上部和顶部的影像信息。
现有技术中,为了解决单一摄影手段带来的限制,采用无人机影像和地面近景影像的融合建模方案。但是其中存在的问题是,两种不同的影像数据源,拍摄视角差异较大,两者之间的匹配精度低,进而严重影响融合模型精度、准确度和对目标场景的还原度。
发明内容
发明目的:本发明提供一种基于多源影像融合的建筑建模方法,旨在将异源影像的点云模型中的点的特征映射至投影面上,将异源投影面按照线段进行匹配,匹配度满足的线段认定存在对应关系,由此进行异源影像的点云模型的融合建模,有效建立无人机影像和近景影像之间的准确对应关系,提高三维融合建模的精度。
技术方案:本发明提供一种基于多源影像融合的建筑建模方法,包括:获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型;确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系;计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值;所述同名语义线段指具有对应关系的两条线段;若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
具体的,通过运动恢复结构和三维多视角立体视觉算法,基于第一影像序列和第二影像序列,分别计算得到第一密集点云模型和第二密集点云模型。
具体的,几何语义的计算方法,包括:逐个计算点云模型中各点的空间姿态,将各点与局部领域内其他点进行拟合,形成拟合面;以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角,以拟合面与水平面之间的夹角作为倾向,以拟合面的弯曲程度作为曲率,计算得到拟合面的几何特征;同一拟合面上的点的几何特征相同。
具体的,使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面,分别获得第一投影面和第二投影面;所述第一投影面和第二投影面均包括多个虚拟面,并且之间存在对应关系。
具体的,对第一颜色投影面和第二颜色投影面进行线段识别和匹配,包括:采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作,提取图像特征,输出节点图、热线图和描述符图;所述节点图用于描述像素点形成线段端点的概率,所述热线图用于描述像素点位于线段上的概率,所述描述符图用于构建像素级的局部描述符;对第一几何投影面和第二几何投影面进行线段识别和匹配,采用相同的步骤。
具体的,所述串联沙漏网络模型的训练包括:对于节点图,采用交叉熵函数计算节点损失,对于热线图,采用二进制交叉熵函数计算热线损失,对于描述符图,采用三重态损失函数计算描述符损失;通过动态加权的多任务学习,计算总损失,以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。
具体的,对第一颜色投影面和第二颜色投影面进行线段识别和匹配,包括:
采用分数矩阵Score(m,n)优化线段匹配,所述分数矩阵如下:
Score(m,n)=max(Score(m-1,n)+gapScore(m,n-1)+ gapScore(m-1,n-1)+DmTD’n,
其中,所述分数矩阵Score(m,n)为(a+1)×(a’+1)的网格,线段l包括a个点,线段l’包括a’个点,线段l来自第一颜色投影面,线段l’来自第二颜色投影面,DmT表示线段l前m个点的描述符Dm的转置矩阵,D’n表示线段l’前n个点的描述符,gap表示差距分数,gapScore表示在线段l和l’上的点没有匹配需要跳过时记的分数;利用最大匹配分数进行线段匹配;对第一几何投影面和第二几何投影面进行线段匹配,采用相同的步骤。
具体的,计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,采用如下公式计算:
Argb(a1 1,a2 1)=A Trgb(l1,l2)+ Rrgb(l1,l2),
其中,A表示用于度量匹配结果一致性的线段(a1,a2),Argb(a1 1,a2 1)表示计算结果,Trgb(l1,l2)=(d2 1- d1 2)/(d1 1- d2 2),Rrgb(l1,l2)=(d1 1 d1 2- d2 1d2 2)/(d1 1- d2 2),(d1 1,d1 2)和(d2 1,d2 2)分别表示同名语义线段l1和l2的端点;所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值,采用与Argb(a1 1,a2 1)相同的公式,代入第一几何投影面和第二几何投影面上同名语义线段,计算得到Ageo(a1 2,a2 2)。
具体的,颜色变换特征数值和几何变换特征数值之间的偏差,采用以下公式计算:
d(Argb,Ageo)=|| a1 1- a2 1||+|| a1 2-a2 2||。
本发明还提供一种基于多源影像融合的建筑建模装置,包括:点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元,其中:所述点云模型建立单元,用于获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型;所述投影面建立单元,用于确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;所述线段识别和匹配单元,用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系;所述一致性度量单元,用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值;所述同名语义线段指具有对应关系的两条线段;所述融合建模单元,用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
有益效果:与现有技术相比,本发明具有如下显著优点:有效建立了无人机影像和近景影像之间的准确对应关系,提高了三维融合建模的精度。
附图说明
图1为本发明提供的基于多源影像融合的建筑建模方法的流程示意图;
图2为本发明提供的基于虚拟相机位置的建筑立面点云投影示意图;
图3为本发明提供的投影面对的线段识别和匹配的示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1,其为本发明提供的基于多源影像融合的建筑建模方法的流程示意图。
步骤1,获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型。
本发明实施例中,通过运动恢复结构(Structure from Motion)和三维多视角立体视觉算法PMVS(PMVS,the patch-based MVS algorithm),基于第一影像序列和第二影像序列,分别计算得到第一密集点云模型和第二密集点云模型。
在具体实施中,飞行器一般指向无人机,以从上往下的角度拍摄目标建筑,拍摄装置一般指设置于地面或者目标建筑底部的数码相机,以从下往上的角度拍摄目标建筑。
参阅图2,其为本发明提供的基于虚拟相机位置的建筑立面点云投影示意图。
步骤2,确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面。
本发明实施例中,逐个计算点云模型中各点的空间姿态,将各点与局部领域内其他点进行拟合,形成拟合面;以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角,以拟合面与水平面之间的夹角作为倾向,以拟合面的弯曲程度作为曲率,计算得到拟合面的几何特征;同一拟合面上的点的几何特征相同。
在具体实施中,根据第一点云模型和第二点云模型中各点的单点特征,逐个计算各点的空间姿态。第一点云模型和第二点云模型中各点的几何特征语义的计算方法相同。
在具体实施中,拟合面的垂直法向量投影在水平面坐标系中的角度,是指投影与水平面坐标系X轴的夹角。
在具体实施中,拟合面的几何特征语义包括倾角、倾向和曲率,点的几何特征语义与所在的拟合面相同。
本发明实施例中,使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面(立面),分别获得第一投影面和第二投影面;所述第一投影面和第二投影面均包括多个虚拟面,并且之间存在对应关系。第一投影面和第二投影面是异源投影面。
在具体实施中,法向量一致性是指,归属于同一建筑立面的点云法向量无显著性差异,由此可以确定点云模型中目标建筑的平面,之后可以建立对应于平面的虚拟投影面(虚拟面),由于目标建筑的平面一般是多个的,所以虚拟投影面也是多个的,相应的,第一点云模型对应的第一投影面实际包括多个虚拟投影面(虚拟面),第二点云模型对应的第二投影面实际也包括多个虚拟投影面(虚拟面)。在后续线段检测过程中,线段通常是目标建筑的轮廓,也即是目标建筑的平面之间的交界线。
在具体实施中,可以模拟投影面的拍摄位置(虚拟相机位置),建立点云模型上的点和投影面像素点之间的对应关系。
在具体实施中,例如,设目标建筑物立面宽W,高H,点云模型中任意一点Pi的三维模型坐标(Xi,Yi,Zi),点云模型空间分辨率s,令垂直于目标建筑物立面朝外的方向为X轴正方向,平行与地面水平线为Y轴,垂直向上为Z轴,建立目标建筑立面坐标系Of- xfyfzf,可以通过以下公式将点Pi的三维模型坐标变换为立面坐标(Xf,Yf,Zf):
其中,R和T分别为两坐标系之间的旋转矩阵和平移参数。
建立与目标建筑立面平行的虚拟投影面Ov- yvzv,设投影面宽Wv,高Hv,分别将点云模型的颜色(RGB)语义和几何语义以像素颜色形式在图像中表示,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面,每个点Pi的两种语义在虚拟投影面中的像素点坐标为:
其中,Yimax和Zimin分别为点云坐标在立面模型坐标系中Y轴的最大值和Z轴的最小值。
在具体实施中,第一点云模型中的目标建筑立面和第二点云模型中的目标建筑立面之间,具有对应关系,进一步的,投影面之间也存在相应的对应关系。
参阅图3,其为本发明提供的投影面对的线段识别和匹配的示意图。
步骤3,对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系。
在具体实施中,第一颜色投影面和第二颜色投影面合称为颜色投影面对,第一几何投影面和第二几何投影面合称为几何投影面对。颜色投影面对和几何投影面对之间的线段识别和匹配的方法步骤相同。
本发明实施例中,采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作,提取图像特征,输出节点图、热线图和描述符图;所述节点图用于描述像素点形成线段端点的概率,所述热线图用于描述像素点位于线段上的概率,所述描述符图用于构建像素级的局部描述符;对第一几何投影面和第二几何投影面进行线段识别和匹配,采用相同的步骤。
本发明实施例中,对于节点图,采用交叉熵函数计算节点损失,对于热线图,采用二进制交叉熵函数计算热线损失,对于描述符图,采用三重态损失函数计算描述符损失;通过动态加权的多任务学习,计算总损失,以总损失低于训练阈值(可以根据实际应用场景进行相应的设定)作为训练条件对所述串联沙漏网络模型进行训练。
在具体实施中,沙漏网络通过一系列标准卷积和池化操作获取图像(投影面)中不同尺度的特征,再通过上采样恢复到输入图片的大小,用于捕捉图片中全部特征并做出像素级预测。串联沙漏网络即将多个沙漏网络相连接,即本发明中节点图、热线图和描述符图均是单独沙漏网络,均产生各自损失,最终将这三个损失相加,通过总损失完成训练。
在具体实施中,h和w分别为节点图的高和宽,m和n分别为节点的坐标,q表示节点。
在具体实施中,输出节点图Jc,定义真值节点j∈{1,...,65}^((h/8)×(w/8)),用于暗示每一个真节点位置的概率,节点损失的定义是Jc和j之间的交叉熵损失:
在具体实施中,基于给定的的二进制地面真值Hgt,通过二进制交叉熵函数计算热线损失:
在具体实施中,通过带有自定义的W三元损失函数计算损失:
其中,l表示在颜色投影面对和几何投影面对上检测到的沿直线采用的点对于的描述符的总数,Pm表示投影面对中的两图像之间描述符的正向距离,Nm表示图像中的一个点和它最难区分的负样本之间的负向距离。
基于以上计算的三种损失,通过动态加权的多任务学习,计算总损失:
本发明实施中,采用分数矩阵Score(m,n)优化线段匹配,所述分数矩阵如下:
Score(m,n)=max(Score(m-1,n)+gapScore(m,n-1)+ gapScore(m-1,n-1)+DmTD’n,
其中,所述分数矩阵Score(m,n)为(a+1)×(a’+1)的网格,线段l包括a个点,线段l’包括a’个点,线段l来自第一颜色投影面,线段l’来自第二颜色投影面,DmT表示线段l前m个点的描述符Dm的转置矩阵,D’n表示线段l’前n个点的描述符,gap表示差距分数,gapScore表示在线段l和l’上的点没有匹配需要跳过时记的分数;利用最大匹配分数进行线段匹配;对第一几何投影面和第二几何投影面进行线段匹配,采用相同的步骤。
在具体实施中,投影面对中的两条线段是基于它们各自的点描述符序列进行比较,采用逐行填充分数矩阵的动态规划返回最大化匹配总分的最佳匹配序列。网格的首行和首列都由差距分数初始化,并使用存储在上、左以及左上单元格中的分数逐行依次填充。
步骤4,计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值。
本发明实施例中,所述同名语义线段指,在颜色投影面对和几何投影面对中,经过线段识别和匹配后,认定具有对应关系的两条线段,即在不同语义图中具有对应关系,并表示真实三维环境中同一线段的两条线段。例如,第一颜色投影面上的一条线段,和第二颜色投影面上的一条线段,两者之间匹配,则两条线段称为同名语义线段。
本发明实施例中,第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,采用如下公式计算:
Argb(a1 1,a2 1)=A Trgb(l1,l2)+ Rrgb(l1,l2),
其中,A表示用于度量匹配结果一致性的假设线段(a1,a2),Argb(a1 1,a2 1)表示计算结果,Trgb(l1,l2)=(d2 1- d1 2)/(d1 1- d2 2),Rrgb(l1,l2)=(d1 1 d1 2- d2 1d2 2)/(d1 1- d2 2),(d1 1,d1 2)和(d2 1,d2 2)分别表示同名语义线段l1和l2的端点;所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值,采用与Argb(a1 1,a2 1)相同的公式,代入第一几何投影面和第二几何投影面上同名语义线段,计算得到Ageo(a1 2,a2 2)。
在具体实施中,Argb(a1 1,a2 1)和Ageo(a1 2,a2 2)中的a1 1、a2 1、 a1 2和a2 2,是按照上述公式进行计算后,得到的线段端点形式的数值。
在具体实施中,颜色变换特征数值和几何变换特征数值,分别表征颜色投影面对的同名语义线段之间的匹配程度,和几何投影面对的同名语义线段之间的匹配程度。
步骤5,若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
本发明实施例中,所述颜色变换特征数值和几何变换特征数值之间的偏差,采用以下公式计算:
d(Argb,Ageo)=|| a1 1- a2 1||+|| a1 2-a2 2||。
在具体实施中,标准阈值可以根据实际应用场景进行相应的设定,一般可以设定为3。
在具体实施中,如果颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值内,表示颜色投影对和几何投影面对中的同名语义线段的匹配准确,进一步的,相应的第一点云模型和第二点云模型中的线段可以认定具有对应关系,在多条线段具有对应关系的情况下,可以进行融合建模。效建立了无人机影像和近景影像之间的准确对应关系,提高了三维融合建模的精度。
本发明还提供一种基于多源影像融合的建筑建模装置,包括:点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元,其中:
所述点云模型建立单元,用于获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型;
所述投影面建立单元,用于确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;
所述线段识别和匹配单元,用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系;
所述一致性度量单元,用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值;所述同名语义线段指具有对应关系的两条线段;
所述融合建模单元,用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
本发明实施例中,点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元执行的步骤,参考本发明提供的基于多源影像融合的建筑建模方法。
Claims (8)
1.一种基于多源影像融合的建筑建模方法,其特征在于,包括:
获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型;
确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;
对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系;
计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值;所述同名语义线段指具有对应关系的两条线段;采用如下公式计算颜色变换特征数值:
Argb(a1 1,a2 1)=A Trgb(l1,l2)+ Rrgb(l1,l2),
其中,A表示用于度量匹配结果一致性的线段(a1,a2),Argb(a1 1,a2 1)表示计算结果,Trgb(l1,l2)=(d2 1- d1 2)/(d1 1- d2 2),Rrgb(l1,l2)=(d1 1 d1 2- d2 1d2 2)/(d1 1- d2 2),(d1 1,d1 2)和(d2 1,d2 2)分别表示同名语义线段l1和l2的端点;所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值,采用与Argb(a1 1,a2 1)相同的公式,代入第一几何投影面和第二几何投影面上同名语义线段,计算得到Ageo(a1 2,a2 2);
若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
2.根据权利要求1所述的基于多源影像融合的建筑建模方法,其特征在于,所述分别计算得到第一点云模型和第二点云模型,包括:
通过运动恢复结构和三维多视角立体视觉算法,基于第一影像序列和第二影像序列,分别计算得到第一密集点云模型和第二密集点云模型。
3.根据权利要求2所述的基于多源影像融合的建筑建模方法,其特征在于,所述几何语义的计算方法,包括:
逐个计算点云模型中各点的空间姿态,将各点与局部领域内其他点进行拟合,形成拟合面;
以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角,以拟合面与水平面之间的夹角作为倾向,以拟合面的弯曲程度作为曲率,计算得到拟合面的几何特征;同一拟合面上的点的几何特征相同。
4.根据权利要求3所述的基于多源影像融合的建筑建模方法,其特征在于,所述确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,包括:
使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面,分别获得第一投影面和第二投影面;所述第一投影面和第二投影面均包括多个虚拟面,并且之间存在对应关系。
5.根据权利要求4所述的基于多源影像融合的建筑建模方法,其特征在于,所述对第一颜色投影面和第二颜色投影面进行线段识别和匹配,包括:
采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作,提取图像特征,输出节点图、热线图和描述符图;所述节点图用于描述像素点形成线段端点的概率,所述热线图用于描述像素点位于线段上的概率,所述描述符图用于构建像素级的局部描述符;对第一几何投影面和第二几何投影面进行线段识别和匹配,采用相同的步骤。
6.根据权利要求5所述的基于多源影像融合的建筑建模方法,其特征在于,所述串联沙漏网络模型的训练包括:
对于节点图,采用交叉熵函数计算节点损失,对于热线图,采用二进制交叉熵函数计算热线损失,对于描述符图,采用三重态损失函数计算描述符损失;
通过动态加权的多任务学习,计算总损失,以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。
7.根据权利要求5所述的基于多源影像融合的建筑建模方法,其特征在于,所述颜色变换特征数值和几何变换特征数值之间的偏差,采用以下公式计算:
d(Argb,Ageo)=|| a1 1- a2 1||+|| a1 2-a2 2||。
8.一种基于多源影像融合的建筑建模装置,其特征在于,包括:点云模型建立单元、投影面建立单元、线段识别和匹配单元、一致性度量单元和融合建模单元,其中:
所述点云模型建立单元,用于获取飞行器拍摄的目标建筑的第一影像序列,获取拍摄装置拍摄的目标建筑的第二影像序列,基于第一影像序列和第二影像序列,分别计算得到第一点云模型和第二点云模型;
所述投影面建立单元,用于确定第一点云模型和第二点云中的目标建筑的平面,以平面作为投影面,分别获得第一投影面和第二投影面,按照点云模型中的点与投影面上的点之间的对应关系,将点的颜色语义和几何语义投影至投影面,分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面;
所述线段识别和匹配单元,用于对第一颜色投影面和第二颜色投影面进行线段识别和匹配,确定第一颜色投影面和第二颜色投影面上线段的对应关系;对第一几何投影面和第二几何投影面进行线段识别和匹配,确定第一几何投影面和第二几何投影面上线段的对应关系;
所述一致性度量单元,用于计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值,计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值;所述同名语义线段指具有对应关系的两条线段;采用如下公式计算颜色变换特征数值:
Argb(a1 1,a2 1)=A Trgb(l1,l2)+ Rrgb(l1,l2),
其中,A表示用于度量匹配结果一致性的线段(a1,a2),Argb(a1 1,a2 1)表示计算结果,Trgb(l1,l2)=(d2 1- d1 2)/(d1 1- d2 2),Rrgb(l1,l2)=(d1 1 d1 2- d2 1d2 2)/(d1 1- d2 2),(d1 1,d1 2)和(d2 1,d2 2)分别表示同名语义线段l1和l2的端点;所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值,采用与Argb(a1 1,a2 1)相同的公式,代入第一几何投影面和第二几何投影面上同名语义线段,计算得到Ageo(a1 2,a2 2);
所述融合建模单元,用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内,则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系,根据对应关系进行第一点云模型和第二点云模型的融合建模。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210845741.4A CN114937123B (zh) | 2022-07-19 | 2022-07-19 | 基于多源影像融合的建筑建模方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210845741.4A CN114937123B (zh) | 2022-07-19 | 2022-07-19 | 基于多源影像融合的建筑建模方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114937123A CN114937123A (zh) | 2022-08-23 |
CN114937123B true CN114937123B (zh) | 2022-11-04 |
Family
ID=82867880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210845741.4A Active CN114937123B (zh) | 2022-07-19 | 2022-07-19 | 基于多源影像融合的建筑建模方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114937123B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005580A (zh) * | 2015-06-05 | 2015-10-28 | 北京世纪安图数码科技发展有限责任公司 | 一种用于显示水库地形的方法及其装置 |
CN105761308A (zh) * | 2016-02-29 | 2016-07-13 | 武汉大学 | 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法 |
CN114463521A (zh) * | 2022-01-07 | 2022-05-10 | 武汉大学 | 一种面向空地影像数据融合的建筑目标点云快速生成方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103017739B (zh) * | 2012-11-20 | 2015-04-29 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
CN103093466B (zh) * | 2013-01-21 | 2016-05-25 | 武汉大学 | 基于LiDAR点云和影像的建筑物三维变化检测方法 |
CN103871072B (zh) * | 2014-04-04 | 2017-06-27 | 武汉大学 | 基于投影数字高程模型的正射影像镶嵌线自动提取方法 |
WO2016024203A2 (en) * | 2014-08-12 | 2016-02-18 | Mantisvision Ltd. | System, method and computer program product to project light pattern |
CN104330074B (zh) * | 2014-11-03 | 2017-01-18 | 广州欧科信息技术股份有限公司 | 一种智能测绘平台及其实现方法 |
CN106874436B (zh) * | 2017-01-31 | 2018-01-05 | 杭州市公安局上城区分局 | 三维警用地理信息平台的多源影像融合成像系统 |
US10657689B2 (en) * | 2018-04-13 | 2020-05-19 | Sony Corporation | Method and apparatus for point cloud color processing |
EP3895431A1 (en) * | 2018-12-14 | 2021-10-20 | PCMS Holdings, Inc. | System and method for procedurally colorizing spatial data |
CN111815776A (zh) * | 2020-02-04 | 2020-10-23 | 山东水利技师学院 | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 |
US12065139B2 (en) * | 2020-11-10 | 2024-08-20 | Honda Motor Co., Ltd. | System and method for completing risk object identification |
CN113362439A (zh) * | 2021-06-11 | 2021-09-07 | 广西东方道迩科技有限公司 | 基于真正射影像融合数字表面模型数据的方法 |
CN113361499B (zh) * | 2021-08-09 | 2021-11-12 | 南京邮电大学 | 基于二维纹理和三维姿态融合的局部对象提取方法、装置 |
CN114170402B (zh) * | 2022-02-15 | 2022-05-10 | 南京邮电大学 | 隧洞结构面提取方法、装置 |
-
2022
- 2022-07-19 CN CN202210845741.4A patent/CN114937123B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005580A (zh) * | 2015-06-05 | 2015-10-28 | 北京世纪安图数码科技发展有限责任公司 | 一种用于显示水库地形的方法及其装置 |
CN105761308A (zh) * | 2016-02-29 | 2016-07-13 | 武汉大学 | 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法 |
CN114463521A (zh) * | 2022-01-07 | 2022-05-10 | 武汉大学 | 一种面向空地影像数据融合的建筑目标点云快速生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114937123A (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN112102458B (zh) | 基于激光雷达点云数据辅助的单镜头三维图像重构方法 | |
CN110276768B (zh) | 图像分割方法、图像分割装置、图像分割设备及介质 | |
CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
CN110009732A (zh) | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
CN116258817A (zh) | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 | |
CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
CN113256696B (zh) | 基于自然场景的激光雷达和相机的外参标定方法 | |
CN111028281A (zh) | 基于光场双目系统的深度信息的计算方法及装置 | |
CN113361499B (zh) | 基于二维纹理和三维姿态融合的局部对象提取方法、装置 | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN117456114B (zh) | 基于多视图的三维图像重建方法及系统 | |
CN114627491A (zh) | 一种基于极线汇聚的单人三维姿态估计方法 | |
CN112929626A (zh) | 一种基于智能手机影像的三维信息提取方法 | |
CN114170402B (zh) | 隧洞结构面提取方法、装置 | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
CN112907573A (zh) | 一种基于3d卷积的深度补全方法 | |
Liu et al. | Dense stereo matching strategy for oblique images that considers the plane directions in urban areas | |
JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
CN117333548A (zh) | 一种基于类环面的相机位姿估计方法、系统和存储介质 | |
CN114937123B (zh) | 基于多源影像融合的建筑建模方法、装置 | |
CN115830116A (zh) | 一种鲁棒视觉里程计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |