CN113361499B - 基于二维纹理和三维姿态融合的局部对象提取方法、装置 - Google Patents

基于二维纹理和三维姿态融合的局部对象提取方法、装置 Download PDF

Info

Publication number
CN113361499B
CN113361499B CN202110906188.6A CN202110906188A CN113361499B CN 113361499 B CN113361499 B CN 113361499B CN 202110906188 A CN202110906188 A CN 202110906188A CN 113361499 B CN113361499 B CN 113361499B
Authority
CN
China
Prior art keywords
probability
image
dimensional
fusion
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110906188.6A
Other languages
English (en)
Other versions
CN113361499A (zh
Inventor
张荣春
衣雪峰
李�浩
杨立君
卢官明
解琨
江畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110906188.6A priority Critical patent/CN113361499B/zh
Publication of CN113361499A publication Critical patent/CN113361499A/zh
Application granted granted Critical
Publication of CN113361499B publication Critical patent/CN113361499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，所述方法包括：获取的影像序列；根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。采用上述方案，在二维纹理语义的基础上融合三维姿态语义，提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。

Description

基于二维纹理和三维姿态融合的局部对象提取方法、装置
技术领域
本发明涉及测绘技术领域，尤其涉及一种基于二维纹理和三维姿态融合的局部对象提取方法、装置。
背景技术
随着智慧城市的迅速发展，数字实景城市的需求和工作增长迅速，虽然通过无人机等方式可以获取建筑物较为完整的整体轮廓和影像序列。为了满足进一步精细化的数字实景城市的智能管理需求，需要在建筑物或者其他物体上提取出更为细节的影像特征，例如门窗、屋顶、广告牌、管道或外置部件等局部的细节元素。
现有技术中，在面对提取细节元素或局部对象提取的需求时，通常采用的方式是，基于影像的纹理颜色特征，利用超像素分割或者图像特征提取等方式分割提取出影像中的细节元素。
但是，仅仅基于影像的纹理颜色特征进行细节元素的提取，在数字实景城市的应用场景下存在较大的局限性，提取结果的准确度较低。原因在于，数字实景城市的影像不同于普通的图像，其影像的尺度很大，而分辨率相对较低、显示较为模糊，特别是阴影区域不可避免，细节元素的边界界线更是难以分辨，同时细节元素在纹理颜色上与周围部分相似，受此限制，基于纹理颜色进行划分提取的方式难以有效、准确的实现局部对象、细节元素的提取，不具备实用性。
发明内容
发明目的：本发明提供一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，旨在提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。
技术方案：本发明提供的一种基于二维纹理和三维姿态融合的局部对象提取方法，包括：
获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；
通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；
将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；
依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
具体的，点云中的点与局部邻域内其他的点进行拟合，形成拟合面；倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0°~360°；倾斜角度β表示拟合面与水平面之间的夹角，取值范围为0°~90°；曲率c表示拟合面的曲率。
具体的，将影像整体预先划分为多个格网单元，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
具体的，根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点；根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
具体的，所述第一全卷积网络的训练过程包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M1)=∑p1||fLab(p1)- fLab ’(p1)||2+m/s||p1-p1’||2，
其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（xcol , yrow）T表示像素点平面位置坐标，s表示采样间隔，m表示权重控制参数，fLab(p1)=(L,a,b)T表示像素点p1的颜色属性，
fLab ’(p1)= ∑G1∈N0(colorG1·qG1(p1))，
p1’=∑G1∈N0(positionG1·qG1(p1))，
qG1(p1)表示像素点p1与格网单元G1之间的第一归属概率，N0表示像素点P1周围预设数量格网单元的集合，
colorG1=(∑p1:G1∈N0 (fLab(p1)·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
positionG1=(∑p1:G1∈N0 (p1·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
∑p1:G1∈N0表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。
具体的，所述第二全卷积网络的训练过程包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M2)=∑p2||fαβc(p2)- fαβc ’(p2)||2+m/s||p2-p2’||2，
其中，M2表示第二归属概率，p2表示影像上的像素点，p2=（xcol ’, yrow ’）T表示像素点张量元素平面位置坐标，fαβc (p2)=( α,β,c)T表示像素点p2的三维姿态语义，
fαβc ’(p2)= ∑G2∈N0(occurrenceG2·qG2(p2))，
p2’=∑G2∈N0(positionG2·qG2(p2))，
qG2(p2)表示像素点p2与格网单元G2之间的第二归属概率，N0表示像素点P2周围预设数量格网单元的集合，
occurrenceG2=(∑p2:G2∈N0 (fαβc (p2)·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
positionG2=(∑p2:G2∈N0 (p2·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
∑p2:G2∈N0表示在N0范围内与格网单元G2之间存在归属概率的所有像素点p2。
具体的，所述将第一归属概率和第二归属概率进行融合，包括：
将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1。
具体的，逐个将像素点划分至最高融合概率所指向的格网单元，形成多个相似语义单元，利用相似语义单元内的像素点的纹理、倾斜方位和倾斜角度的均值构建特征向量，对相邻的相似语义单元的特征向量进行相似性度量，将相似度最大的相似语义单元进行合并聚类，形成相似语义单元集合；计算相似语义单元集合内的像素点的曲率均值，将相邻的相似语义单元集合的曲率均值之差用于相似性度量，将相似度最大的相似语义单元集合进行合并聚类。
本发明还提供一种基于二维纹理和三维姿态融合的局部对象提取装置，包括：转换单元、概率计算单元、融合单元和提取单元，其中：
所述转换单元，用于获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；
所述概率计算单元，用于通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；
所述融合单元，用于将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；
所述提取单元，用于依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
具体的，所述融合单元，用于将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1，M1表示第一归属概率，M2表示第二归属概率。
有益效果：与现有技术相比，本发明具有如下显著优点：基于点云的真实三维坐标计算影像上各个点的三维姿态语义，在二维纹理语义的基础上融合三维姿态语义，提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。
附图说明
图1为本发明提供的基于二维纹理和三维姿态融合的局部对象提取方法的示意图；
图2为应用本发明后的提取结果。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明提供的基于二维纹理和三维姿态融合的局部对象提取方法的示意图。
步骤1，获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系。
在具体实施中，本发明的重点之一在于融合三维姿态语义进行影像的局部对象提取，有效应用于包括建筑物等设施的城市场景影像，原因在于建筑物的表面结构具有起伏变化，三维姿态语义具有较强的参考价值。因此，在本发明实施例中，包括建筑物等设施的非平地的场景，可以认定为是城市场景。
在具体实施中，真实坐标指城市场景下的实际坐标，由此可以计算判断点云中各点的三维姿态语义。
在具体实施中，数码相机或无人机可以采集建筑物对象的多视角或倾斜影像序列，布设的像控点，使用GPS测量像控点坐标，基于运动恢复结构方法生成真实坐标下的SfM密集点云，同时得到影像与点云的转换关系模型。
步骤2，通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率。
本发明实施例中，其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率。
本发明实施例中，通过密集点云中的点的三维坐标，逐个计算各点的三维姿态语义(α，β，c)，其中：点云中的点与局部邻域内其他的点进行拟合，形成拟合面；倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0°~360°；倾斜角度β表示拟合面与水平面之间的夹角，取值范围为0°~90°；曲率c表示拟合面的曲率。
在具体实施中，第一全卷积网络可以根据二维纹理语义进行影像的局部对象提取和划分，在实际应用中，对于影像上的每个像素点，其周围可以有多个区域（邻域），第一全卷积网络可以计算特定像素点归属于每个邻域的概率。例如特定像素点周围存在9个邻域，第一全卷积网络可以基于纹理语义计算得到特定像素点的9个第一归属概率，其中包括，特定像素点归属于第一个邻域的概率，归属于第二个邻域的概率，……，归属于第9个邻域的概率。
在具体实施中，选择倾斜方位、倾斜角度和曲率三个因素作为三维姿态语义，原因在于倾斜方位和倾斜角度对建筑立面、倾斜及水平屋顶等建筑物三维结构的表征性较强，曲率对圆弧型屋顶或其他流线型建筑物结构特征的表征性较强，利用这些因素可以准确的、快速的描述建筑物的三维结构特征，即三维姿态语义。
在具体实施中，可以根据建筑物等对象的结构复杂程度设定局部邻域的范围，以及其中的邻点。点云中的目标点，可以和相邻的局部邻域内的点云进行拟合，得到建筑物局部面片，也即拟合面，通过拟合面计算得到三维姿态语义。其中，倾斜方位表示倾斜的方向，通过拟合面的法向量在水平面坐标系中的角度表示。
在具体实施中，点云中各个点的三维姿态语义可以根据各个点的真实三维坐标计算得到，之后根据与城市场景影像之间的转换关系，可以映射至影像上对应的像素点，赋予影像上的像素点三维姿态语义。
在具体实施中，和第一全卷积网络类似，第二全卷积网络可以根据三维姿态语义进行影像的局部对象提取和划分，在实际应用中，对于影像上的每个像素点，其周围可以有多个邻域，第二全卷积网络可以计算特定像素点归属于每个邻域的概率。
本发明实施例中，将影像整体预先划分为多个格网单元，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
本发明实施例中，根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点；根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
在具体实施中，影像需要预先进行的格网单位划分，例如可以均为划分为1000个格网单元，然后分别输入第一全卷积网络和第二全卷积网络。对于每个像素点而言，其归属的格网单元（邻域）是其周围的格网单元（像素点所在格网单元也属于其周围），因此可以仅计算像素点和其周围预设数量格网单元之间的归属概率，通常预设数量设定为9，也即像素点周围一圈的格网单元，由此可以准确的判断每个像素点的归属邻域，后续划分结果的准确度也有显著的提升。
本发明实施例中，所述第一全卷积网络的训练过程包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M1)=∑p1||fLab(p1)- fLab ’(p1)||2+m/s||p1-p1’||2，
其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（xcol , yrow）T表示像素点平面位置坐标，s表示采样间隔，也即格网单元的尺寸，m表示权重控制参数，即控制纹理、姿态语义差异与像素点平面位置差异的权重，fLab(p1)=(L,a,b)T表示像素点p1的CIELab颜色属性，下标2表示向量的范数为欧几里得范数。
在具体实施中，在损失函数的结果小于或等于预设阈值时，表明全卷积网络的准确度达到训练标准。
在具体实施中，为了构建与纹理颜色语义、像素点位置相关的损失函数，提出如下的公式：
fLab ’(p1)= ∑G1∈N0(colorG1·qG1(p1))，
p1’=∑G1∈N0(positionG1·qG1(p1))，
qG1(p1)表示像素点p1与格网单元G1之间的第一归属概率，满足∑G1∈N0 qG1(p1)=1，N0表示像素点P1周围预设数量格网单元的集合。
在具体实施中，基于像素点的纹理颜色语义和位置，构建格网单元与像素点之间的关系，提出如下公式：
colorG1=(∑p1:G1∈N0 (fLab(p1)·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
positionG1=(∑p1:G1∈N0 (p1·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
∑p1:G1∈N0表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。
本发明实施例中，采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M2)=∑p2||fαβc(p2)- fαβc ’(p2)||2+m/s||p2-p2’||2，
其中，M2表示第二归属概率，p2表示影像上的像素点（与p1含义相同，为区分公式而使用不同的标识指代），p2=（xcol ’, yrow ’）T表示像素点张量元素平面位置坐标，fαβc (p2)=( α,β,c)T表示像素点p2的三维姿态语义，
在具体实施中，为了构建与三维姿态语义、像素点位置相关的损失函数，提出如下的公式：
fαβc ’(p2)= ∑G2∈N0(occurrenceG2·qG2(p2))，
p2’=∑G2∈N0(positionG2·qG2(p2))，
qG2(p2)表示像素点p2与格网单元G2之间的第二归属概率，满足∑G2∈N0 qG2(p2)=1，N0表示像素点P2周围预设数量格网单元的集合。
在具体实施中，基于像素点的三维姿态语义和位置，构建格网单元与像素点之间的关系，提出如下公式：
occurrenceG2=(∑p2:G2∈N0 (fαβc (p2)·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
positionG2=(∑p2:G2∈N0 (p2·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
∑p2:G2∈N0表示在N0范围内与格网单元G2之间存在归属概率的所有像素点p2。
步骤3，将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率。
在具体实施中，将第一归属概率和第二归属概率进行融合，例如特定像素点与其周围的第一个格网单元（邻域）之间有第一归属概率和第二归属概率，融合后得到特定像素点指向第一个格网单元的融合概率，特定像素点与其周围的第二个格网单元之间的第一归属概率和第二归属概率进行融合，得到特定像素点指向第二个格网单元的融合概率，由此类推，可以计算得到特定像素点与其周围的格网单元之间的多个融合概率，然后可以逐个像素点计算对应的融合概率。
本发明实施例中，将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1。
在具体实施中，计算得到像素点与周围预设数量格网单元之间的融合概率，即综合二维纹理语义和三维姿态语义，确定像素点归属于周围格网单元的概率，在城市场景下的应用十分有效，三维姿态语义可以更加有效地表征影像上的像素点与其周围表面之间的三维结构关系，特别是在局部对象的边界界线和阴影部分，受到数字实景城市影像的分辨率限制，局部对象之间的边界界线部分的纹理颜色较为模糊，阴影部分难以通过颜色纹理语义进行分割，通过三维姿态语义可以更好的进行边界界线和阴影部分的划分和确定，相比单纯考虑纹理语义的分割提取方案，准确度有显著的提升。
步骤4，依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
本发明实施例中，逐个将像素点划分至最高融合概率所指向的格网单元，形成多个相似语义单元；利用相似语义单元内的像素点的纹理、倾斜方位和倾斜角度的均值构建特征向量，对相邻的相似语义单元的特征向量进行相似性度量，将相似度最大的相似语义单元进行合并聚类，形成相似语义单元集合；计算相似语义单元集合内的像素点的曲率均值，将相邻的相似语义单元集合的曲率均值之差用于相似性度量，将相似度最大的相似语义单元集合进行合并聚类。
在具体实施中，各像素点与其周围的格网单元之间存在多个融合概率，其中最高的融合概率表明像素点归属于对应的格网单元的概率最高，因此，可以将像素点分配给其最高融合概率所指向的格网单元，分配得到像素点后的格网单元形成相似语义单元。
在具体实施中，建立相似语义单元集合的拓扑邻接图R1，是利用相似语义单元内的各个像素点的纹理均值、倾斜方位均值和角度均值（共三个均值）构建特征向量，将每一相似语义单元与其邻接单元的特征向量进行相似性度量，取相似度最大的两个单元执行合并聚类，在合并聚类后可以继续合并聚类，在最大相似度低于预定值时可以停止合并聚类，可实现一般表面为平直的建筑等对象的局部对象提取。
在具体实施中，每个相似语义单元集合包括若干个相似语义单元。
在具体实施中，在上述合并聚类结果的基础上，可以进一步建立各单元集合的拓扑邻接图R2，利用相邻的单元集合的曲率均值（由单元集合内的各个像素点的曲率得到）之差的绝对值进行相似性度量，取相似度最大的两个单元集合执行合并聚类，在合并聚类后可以继续合并聚类，在最大相似度低于预定值时可以停止合并聚类，可实现表面为拱形、柱状等曲形的建筑等对象的局部对象提取。
参阅图2，应用本发明后的提取结果。可以从图中看出，对于表面为柱状等曲形的墙面凸起、窗户，以及对于草木等不规则的局部对象的提取结果十分准确。
本发明还提供一种基于二维纹理和三维姿态融合的局部对象提取装置，包括：转换单元、概率计算单元、融合单元和提取单元，其中：
所述转换单元，用于获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；
所述概率计算单元，用于通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；
所述融合单元，用于将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；
所述提取单元，用于依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
本发明实施例中，所述概率计算单元，用于通过密集点云中的点的三维坐标，逐个计算各点的三维姿态语义(α，β，c)，其中：点云中的点与局部邻域内其他的点进行拟合，形成拟合面；倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0°~360°；倾斜角度β表示拟合面与水平面之间的夹角，取值范围为0°~90°；曲率c表示拟合面的曲率。
本发明实施例中，所述概率计算单元，用于将影像整体预先划分为多个格网单元，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
本发明实施例中，所述概率计算单元，用于根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点；根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
本发明实施例中，所述概率计算单元，用于第一全卷积网络的训练过程，包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M1)=∑p1||fLab(p1)- fLab ’(p1)||2+m/s||p1-p1’||2，
其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（xcol , yrow）T表示像素点平面位置坐标，s表示采样间隔，m表示权重控制参数，fLab(p1)=(L,a,b)T表示像素点p1的颜色属性，
fLab ’(p1)= ∑G1∈N0(colorG1·qG1(p1))，
p1’=∑G1∈N0(positionG1·qG1(p1))，
qG1(p1)表示像素点p1与格网单元G1之间的第一归属概率，N0表示像素点P1周围预设数量格网单元的集合，
colorG1=(∑p1:G1∈N0 (fLab(p1)·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
positionG1=(∑p1:G1∈N0 (p1·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
∑p1:G1∈N0表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。
本发明实施例中，所述概率计算单元，用于第二全卷积网络的训练过程，包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M2)=∑p2||fαβc(p2)- fαβc ’(p2)||2+m/s||p2-p2’||2，
其中，M2表示第二归属概率，p2表示影像上的像素点，p2=（xcol ’, yrow ’）T表示像素点张量元素平面位置坐标，fαβc (p2)=( α,β,c)T表示像素点p2的三维姿态语义，
fαβc ’(p2)= ∑G2∈N0(occurrenceG2·qG2(p2))，
p2’=∑G2∈N0(positionG2·qG2(p2))，
qG2(p2)表示像素点p2与格网单元G2之间的第二归属概率，N0表示像素点P2周围预设数量格网单元的集合，
occurrenceG2=(∑p2:G2∈N0 (fαβc (p2)·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
positionG2=(∑p2:G2∈N0 (p2·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
∑p2:G2∈N0表示在N0范围内与格网单元G2之间存在归属概率的所有像素点p2。
本发明实施例中，所述融合单元，用于将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1。
本发明实施例中，所述提取单元，用于逐个将像素点划分至最高融合概率所指向的格网单元，形成多个相似语义单元；
利用相似语义单元内的像素点的纹理、倾斜方位和倾斜角度的均值构建特征向量，对相邻的相似语义单元的特征向量进行相似性度量，将相似度最大的相似语义单元进行合并聚类，形成相似语义单元集合；
计算相似语义单元集合内的像素点的曲率均值，将相邻的相似语义单元集合的曲率均值之差用于相似性度量，将相似度最大的相似语义单元集合进行合并聚类。

Claims (9)

1.一种基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，包括：
获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；
将影像整体预先划分为多个格网单元，通过第一全卷积网络，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；
将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；
依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
2.根据权利要求1所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，通过密集点云中的点的三维坐标，逐个计算各点的三维姿态语义(α，β，c)，其中：
点云中的点与局部邻域内其他的点进行拟合，形成拟合面；
倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0°~360°；
倾斜角度β表示拟合面与水平面之间的夹角，取值范围为0°~90°；
曲率c表示拟合面的曲率。
3.根据权利要求2所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述将三维姿态语义投影至影像上对应的像素点，包括：
根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点。
4.根据权利要求3所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述第一全卷积网络的训练过程包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M1)=∑p1||fLab(p1)- fLab ’(p1)||2+m/s||p1-p1’||2，
其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（xcol, yrow）T表示像素点平面位置坐标，s表示采样间隔，m表示权重控制参数，fLab(p1)=(L,a,b)T表示像素点p1的颜色属性，
fLab ’(p1)= ∑G1∈N0(colorG1·qG1(p1))，
p1’=∑G1∈N0(positionG1·qG1(p1))，
qG1(p1)表示像素点p1与格网单元G1之间的第一归属概率，N0表示像素点P1周围预设数量格网单元的集合，
colorG1=(∑p1:G1∈N0 (fLab(p1)·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
positionG1=(∑p1:G1∈N0 (p1·qG1(p1)))/(∑p1:G1∈N0(qG1(p1)))，
∑p1:G1∈N0表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。
5.根据权利要求4所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述第二全卷积网络的训练过程包括：
采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：
Loss(M2)=∑p2||fαβc(p2)- fαβc ’(p2)||2+m/s||p2-p2’||2，
其中，M2表示第二归属概率，p2表示影像上的像素点，p2=（xcol ’, yrow ’）T表示像素点张量元素平面位置坐标，fαβc (p2)=( α,β,c)T表示像素点p2的三维姿态语义，
fαβc ’(p2)= ∑G2∈N0(occurrenceG2·qG2(p2))，
p2’=∑G2∈N0(positionG2·qG2(p2))，
qG2(p2)表示像素点p2与格网单元G2之间的第二归属概率，N0表示像素点P2周围预设数量格网单元的集合，
occurrenceG2=(∑p2:G2∈N0 (fαβc (p2)·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
positionG2=(∑p2:G2∈N0 (p2·qG2(p2)))/(∑p2:G2∈N0(qG2(p2)))，
∑p2:G2∈N0表示在N0范围内与格网单元G2之间存在归属概率的所有像素点p2。
6.根据权利要求5所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述将第一归属概率和第二归属概率进行融合，包括：
将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1。
7.根据权利要求6所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分，包括：
逐个将像素点划分至最高融合概率所指向的格网单元，形成多个相似语义单元；
利用相似语义单元内的像素点的纹理、倾斜方位和倾斜角度的均值构建特征向量，对相邻的相似语义单元的特征向量进行相似性度量，将相似度最大的相似语义单元进行合并聚类，形成相似语义单元集合；
计算相似语义单元集合内的像素点的曲率均值，将相邻的相似语义单元集合的曲率均值之差用于相似性度量，将相似度最大的相似语义单元集合进行合并聚类。
8.一种基于二维纹理和三维姿态融合的局部对象提取装置，其特征在于，包括：转换单元、概率计算单元、融合单元和提取单元，其中：
所述转换单元，用于获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；
所述概率计算单元，用于将影像整体预先划分为多个格网单元，通过第一全卷积网络，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；
所述融合单元，用于将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；
所述提取单元，用于依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
9.根据权利要求8所述的基于二维纹理和三维姿态融合的局部对象提取装置，其特征在于，所述融合单元，用于将像素点的第一归属概率与第二归属概率进行融合，计算后分别得到像素点与周围预设数量格网单元之间的融合概率；采用如下公式进行融合计算：
Mfuse=M1×γ+M2×（1-γ），
其中，Mfuse表示像素点与周围一个格网单元之间的融合概率，γ表示线性变换权重系数，取值范围为0～1，M1表示第一归属概率，M2表示第二归属概率。
CN202110906188.6A 2021-08-09 2021-08-09 基于二维纹理和三维姿态融合的局部对象提取方法、装置 Active CN113361499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906188.6A CN113361499B (zh) 2021-08-09 2021-08-09 基于二维纹理和三维姿态融合的局部对象提取方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906188.6A CN113361499B (zh) 2021-08-09 2021-08-09 基于二维纹理和三维姿态融合的局部对象提取方法、装置

Publications (2)

Publication Number Publication Date
CN113361499A CN113361499A (zh) 2021-09-07
CN113361499B true CN113361499B (zh) 2021-11-12

Family

ID=77540739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906188.6A Active CN113361499B (zh) 2021-08-09 2021-08-09 基于二维纹理和三维姿态融合的局部对象提取方法、装置

Country Status (1)

Country Link
CN (1) CN113361499B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937123B (zh) * 2022-07-19 2022-11-04 南京邮电大学 基于多源影像融合的建筑建模方法、装置
CN114972763B (zh) * 2022-07-28 2022-11-04 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN117475110B (zh) * 2023-12-27 2024-04-05 北京市农林科学院信息技术研究中心 叶片的语义三维重建方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957066B (zh) * 2016-04-22 2019-06-25 北京理工大学 基于自动上下文模型的ct图像肝脏分割方法及系统
CN109035293B (zh) * 2018-05-22 2022-07-15 安徽大学 适用于视频图像中显著人体实例分割的方法
CN110163910B (zh) * 2019-03-22 2021-09-28 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110148146B (zh) * 2019-05-24 2021-03-02 重庆大学 一种利用合成数据的植物叶片分割方法及系统
CN110414379A (zh) * 2019-07-10 2019-11-05 武汉大学 结合高程图Gabor纹理特征和LiDAR点云特征的建筑物提取算法

Also Published As

Publication number Publication date
CN113361499A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113361499B (zh) 基于二维纹理和三维姿态融合的局部对象提取方法、装置
CN111486855B (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
CN108242079B (zh) 一种基于多特征视觉里程计和图优化模型的vslam方法
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN110276768B (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN105809687A (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN109631911B (zh) 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN114549956B (zh) 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN108133496A (zh) 一种基于g2o与随机蕨类的稠密地图创建方法
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
Gao et al. Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report
CN110160503A (zh) 一种顾及高程的无人机景观匹配定位方法
CN114758087B (zh) 一种城市信息模型的构建方法及装置
CN113822999B (zh) 一种数字乡村三维模型的建筑物分割方法
CN115830116A (zh) 一种鲁棒视觉里程计方法
Li et al. Learning dense consistent features for aerial-to-ground structure-from-motion
CN114119891A (zh) 一种机器人单目半稠密地图三维重建方法和重建系统
CN111508067B (zh) 一种基于垂直平面和垂直线的轻量级室内建模方法
CN114820768A (zh) 一种大地坐标系与slam坐标系对齐方法
Ren et al. A Novel Scene Matching Algorithm via Deep Learning for Vision-Based UAV Absolute Localization
CN114937123B (zh) 基于多源影像融合的建筑建模方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant