CN114219958A - 一种多视角遥感影像的分类方法、装置、设备和存储介质 - Google Patents
一种多视角遥感影像的分类方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114219958A CN114219958A CN202111371577.XA CN202111371577A CN114219958A CN 114219958 A CN114219958 A CN 114219958A CN 202111371577 A CN202111371577 A CN 202111371577A CN 114219958 A CN114219958 A CN 114219958A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- pixel
- classification
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000013145 classification model Methods 0.000 claims abstract description 82
- 230000004927 fusion Effects 0.000 claims abstract description 73
- 238000002372 labelling Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 54
- 238000012545 processing Methods 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种多视角遥感影像的分类方法、装置、设备和存储介质，方法包括：获得多视角遥感影像；基于多视角遥感影像构建地表的数字表面模型；确定数字表面模型的像素在多视角遥感影像上的投影像素；根据投影像素建立所述数字表面模型与多视角遥感影像的投影关系；提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于投影关系和分类特征对多视角遥感影像的特征进行融合，获得多视角遥感影像的融合特征图；获得人工标注数字表面模型，基于人工标注数字表面模型确定标注影像；基于融合特征图和标注影像确定多视角遥感影像的分类模型；根据分类模型对多视角遥感影像中的地物进行分类。
Description
技术领域
本发明涉及遥感影像处理技术领域，尤其涉及一种多视角遥感影像的分类方法、装置、设备和存储介质。
背景技术
现有的基于航空遥感影像的地物分类方法主要使用数字正射影像(DigitalOrthophoto Map，DOM)或者真正射影像(True Digital Orthophoto Map，TDOM)而舍弃了多视影像的信息，或者仅仅利用影像生成的数字表面模型(Digital Surface Model，DSM)来提供地物的高度信息以增强分类效果。多视影像可以提供更多有关地物侧面纹理和三维结构的信息，因此基于多视影像的地物识别方法相比基于DOM的方法具有优势。
部分研究者使用多角度遥感技术进行地物分类，将不同视角的卫星影像用于植被、裸土、水体等地物识别，但是这些方法使用的遥感影像分辨率较低，没有考虑地物的三维模型，不适用于高分辨率遥感影像分类。而目前尚无有效解决方案。
发明内容
有鉴于此，本发明实施例期望提供一种多视角遥感影像的分类方法、装置、设备和存储介质。
本发明实施例的技术实施例是这样实现的：
本发明实施例提供一种多视角遥感影像的分类方法，所述方法包括：
获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；
确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；
提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；
获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；
基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
在上述方案中，所述基于所述多视角遥感影像构建地表的数字表面模型，包括：
确定所述多视角遥感影像之间的同名像素点；
复原所述多视角遥感影像的内外方位元素；
基于所述同名像素点和所述内外方位元素确定所述数字表面模型。
在上述方案中，所述确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素，包括：
获得所述数字表面模型的像素的三维坐标以及所述多视角遥感影像的内外方位元素；
根据所述三维坐标和所述内外方位元素确定所述投影像素。
在上述方案中，所述方法还包括：
将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离；其中，n为大于1的整数；所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；
比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值；
基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像；
根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果；
在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
在上述方案中，所述根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果，包括：
将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；
判断所述距离差是否小于等于预设阈值；
在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点；
在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
在上述方案中，所述分类特征至少包括像素的光谱、几何、纹理特征；所述基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图，包括：
根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；
将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；
确定所述融合特征中每个维度特征的最大特征值；
根据所述最大特征值和所述投影关系确定所述融合特征图。
在上述方案中，所述基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型，包括：
将所述融合特征图和所述标注影像进行组合，构建数据集；
基于所述数据集获得训练数据；
将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
在上述方案中，所述方法还包括：
根据所述数据集获得测试数据；
基于所述测试数据对所述分类模型进行精度评估。
在上述方案中，所述基于所述测试数据对所述分类模型进行精度评估，包括：
将所述测试数据输入至所述分类模型，获得预测分类结果；
将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；
根据所述精度值评估所述分类模型的精度。
本发明实施例提供一种多视角遥感影像的分类装置，所述装置包括：获得单元、建立单元、融合单元、确定单元和分类单元，其中：
所述获得单元，用于获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；
所述建立单元，用于确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；
所述融合单元，用于提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；
所述确定单元，用于获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；
所述分类单元，用于基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
在上述方案中，所述获得单元，还用于确定所述多视角遥感影像之间的同名像素点；复原所述多视角遥感影像的内外方位元素；基于所述同名像素点和所述内外方位元素确定所述数字表面模型。
在上述方案中，所述建立单元，还用于获得所述数字表面模型的像素的三维坐标以及所述多视角遥感影像的内外方位元素；根据所述三维坐标和所述内外方位元素确定所述投影像素。
在上述方案中，所述装置还包括检测单元，用于将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离；其中，n为大于1的整数；所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值；基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像；根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果；在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
在上述方案中，所述检测单元，还用于将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；判断所述距离差是否小于等于预设阈值；在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点；在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
在上述方案中，所述分类特征至少包括像素的光谱、几何、纹理特征；所述融合单元，还用于根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；确定所述融合特征中每个维度特征的最大特征值；根据所述最大特征值和所述投影关系确定所述融合特征图。
在上述方案中，所述分类单元，还用于将所述融合特征图和所述标注影像进行组合，构建数据集；基于所述数据集获得训练数据；将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
在上述方案中，所述装置还包括评估单元；
所述获得单元，还用于根据所述数据集获得测试数据；
所述评估单元，用于基于所述测试数据对所述分类模型进行精度评估。
在上述方案中，所述评估单元，还用于将所述测试数据输入至所述分类模型，获得预测分类结果；将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度。
本发明实施例提供一种多视角遥感影像的分类设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的任一步骤。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述方法的任一步骤。
本发明实施例提供的一种多视角遥感影像的分类方法、装置、设备和存储介质，其中，包括：获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。采用本发明实施例的技术方案，通过提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类，有效提高地物分类精度。
附图说明
图1为本发明实施例一种多视角遥感影像的分类方法实现流程示意图；
图2为本发明实施例一种多视角遥感影像的分类方法中改进的深度缓冲区算法的示意图；
图3为本发明实施例多视角遥感影像的分类装置的组成结构示意图；
图4为本发明实施例中多视角遥感影像的分类设备的一种硬件实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例提出一种多视角遥感影像的分类方法，该方法应用于设计设备，该方法所实现的功能可以通过设计设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算设备至少包括处理器和存储介质。
本实施例提出一种多视角遥感影像的分类方法，图1为本发明实施例一种多视角遥感影像的分类方法实现流程示意图，如图1所示，该方法包括：
步骤S101：获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型。
本实施例中，一种多视角遥感影像的分类方法可以为一种航空多视角遥感影像分类方法。在实际应用中，所述一种航空多视角遥感影像分类方法也可以称为一种航空多视遥感影像分类方法。
获得多视角遥感影像可以为获得多个不同视角的遥感影像，作为一种示例，所述获得多个不同视角的遥感影像可以为获得航空多个不同视角的遥感影像。
基于所述多视角遥感影像构建地表的数字表面模型可以为基于所述多视角遥感影像恢复多视角影像的内外方位元素，根据所述内外方位元素构建地表的数字表面模型。在实际应用中，可以利用多视影像空中三角测量算法恢复多视影像的内外方位元素，并利用密集匹配技术获取密集点云，并以此构建地表的DSM。
步骤S102：确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系。
本实施例中，确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素可以为获得所述多视角遥感影像的内外方位元素，根据所述内外方位元素确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素。
根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系可以为根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影一致性关系。作为一种示例，根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影一致性关系可以为根据所述投影像素计算DSM与多视影像的几何投影一致性关系。
在实际应用中，根据所述内外方位元素确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素可以为根据多视影像内外方位元素和共线方程计算多视影像与DSM像素级对应关系，其中DSM每个像素点可能对应多个不同视角影像上的像素。
步骤S103：提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图。
本实施例中，提取所述多视角遥感影像中每个视角遥感影像的分类特征可以为对多视角遥感影像的每一幅影像独立的提取传统单视影像的分类特征；其中，所述分类特征可以根据实际情况进行确定，在此不做限定，作为一种示例，所述分类特征至少可以包括像素的光谱、几何、纹理等分类特征。
基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图可以为基于所述分类特征将具有空间一致性的多视影像像素的特征进行融合，确定融合特征；根据所述投影关系和所述融合特征获得所述多视角遥感影像的融合特征图。作为一种示例，基于所述分类特征将具有空间一致性的多视影像像素的特征进行融合，确定融合特征；根据所述投影关系和所述融合特征获得所述多视角遥感影像的融合特征图可以为根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；确定所述融合特征中每个维度特征的最大特征值；根据所述最大特征值和所述投影关系确定所述融合特征图。
在实际应用中，本发明利用多视影像与DSM之间严格的像素一致性关系，通过提出的最大值融合法在DSM的栅格图上融合多视影像特征。首先对多视影像的每一幅影像独立的提取传统单视影像的分类特征，之后利用最大值融合法将每组具有空间一致性的多视影像像素的特征进行融合。最大值融合法指的是对一组具有相同维度的特征逐维度地进行特征最大值计算，以得到多视影像的融合特征图。
步骤S104：获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像。
本实施例中，获得人工标注数字表面模型可以为获得人工标注DSM中不同地物类别的图斑。
基于所述人工标注数字表面模型确定标注影像可以为基于人工标注DSM中不同地物类别的图斑生成与原始DSM像素空间关系一致的标注影像，标注影像上像素值代表地物类别。
在实际应用中，可以在DSM上标注建筑、道路、水体、植被和背景共5个类别，并生成对应的标注影像。
步骤S105：基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
本实施例中，基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型可以为基于所述融合特征图和所述标注影像构建数据集；根据所述数据集确定所述多视角遥感影像的分类模型。作为一种示例，基于所述融合特征图和所述标注影像构建数据集可以为将所述融合特征图和所述标注影像进行组合，构建数据集；根据所述数据集确定所述多视角遥感影像的分类模型可以为基于所述数据集获得训练数据；将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
根据所述分类模型对所述多视角遥感影像中的地物进行分类可以为将所述多视角遥感影像中输入至所述分类模型，获得地物的分类结果。
本发明实施例提供的遥感影像的分类方法，通过提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类，有效提高地物分类精度。
在本发明一种可选实施例中，所述基于所述多视角遥感影像构建地表的数字表面模型，包括：确定所述多视角遥感影像之间的同名像素点；复原所述多视角遥感影像的内外方位元素；基于所述同名像素点和所述内外方位元素确定所述数字表面模型。
本实施例中，确定所述多视角遥感影像之间的同名像素点可以为通过预设算法计算所述多视角遥感影像之间的同名像素点。其中，所述预设算法可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设算法可以为尺度不变特征变换(Scale-invariant feature transform，SIFT)影像匹配算法。通过预设算法确定所述多视角遥感影像之间的同名像素点可以为利用SIFT影像匹配算法计算多视影像之间的同名像素点。
复原所述多视角遥感影像的内外方位元素可以为通过预设算法恢复所述多视角遥感影像的内外方位元素；其中，所述预设算法可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设算法可以为多视影像空中三角测量算法或光束法平差算法。在实际应用中，复原所述多视角遥感影像的内外方位元素可以为利用多视影像空中三角测量算法恢复多视影像的内外方位元素或利用光束法平差算法计算多视影像精确的内外方位元素。
基于所述同名像素点和所述内外方位元素确定所述数字表面模型可以为基于所述同名像素点和所述内外方位元素获得密集点云；根据所述密集点云确定所述数字表面模型。作为一种示例，基于所述同名像素点和所述内外方位元素获得密集点云可以为基于所述同名像素点和所述内外方位元素通过密集匹配算法获得密集点云。根据所述密集点云确定所述数字表面模型可以为对所述密集点云进行处理，构建所述数字表面模型；其中，所述处理可以根据实际情况进行确定，在此不做限定，作为一种示例，所述处理至少可以包括点云预处理、法向量计算处理和泊松表面重建算法处理。
在实际应用中，首先利用尺度不变特征变换SIFT影像匹配算法计算多视影像之间的同名像素点，再利用光束法平差算法计算多视影像精确的内外方位元素。之后通过密集匹配算法获得密集点云，通过点云预处理、法向量计算和泊松表面重建算法后，生成DSM。
在本发明一种可选实施例中，所述确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素，包括：获得所述数字表面模型的像素的三维坐标以及所述多视角遥感影像的内外方位元素；根据所述三维坐标和所述内外方位元素确定所述投影像素。
本实施例中，获得所述数字表面模型的像素的三维坐标可以为获得所述数字表面模型的像素的高程坐标和平面坐标；根据所述高程坐标和所述平面坐标确定所述三维坐标。其中，所述高程坐标可以为DSM像素值。在实际应用中，DSM像素值代表了像素的高程坐标，结合像素本身的平面坐标可以得到像素的三维坐标。
获得所述多视角遥感影像的内外方位元素可以为通过预设算法获得所述多视角遥感影像的内外方位元素；其中，所述预设算法可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设算法可以为多视影像空中三角测量算法或光束法平差算法。在实际应用中，获得所述多视角遥感影像的内外方位元素可以为利用多视影像空中三角测量算法获得多视影像的内外方位元素或利用光束法平差算法获得多视影像精确的内外方位元素。
根据所述三维坐标和所述内外方位元素确定所述投影像素可以为根据所述三维坐标和所述内外方位元素确定DSM的像素在多视角影像上的投影像素。在实际应用中，根据所述三维坐标和所述内外方位元素确定DSM的像素在多视角影像上的投影像素可以为利用共线方程，点的三维坐标和多视影像的内外方位元素可以计算DSM的像素在多视影像上的投影像素。
在本发明一种可选实施例中，所述方法还包括：将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离；其中，n为大于1的整数；所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值；基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像；根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果；在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
本实施例中，设计了一种改进的深度缓冲区算法进行遮挡检测，以确定多视影像与DSM之间严格的像素一致性关系。通过将传统深度缓冲区算法中用单个像素来填充深度缓冲区改进为使用正方形模板来填充缓冲区，解决了传统缓冲区算法由于稀疏点云而导致的虚假可见性问题。
所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；为了方便理解，所述第一像素可以记为像素A，也可以称为点A；所述第二像素可以记为像素B，也可以称为点B。
将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离可以为将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得点A的距离和点B的距离。
比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值可以为比较点A的距离和点B的距离的大小，如果点A的距离小于点B的距离，则距离图像中的n×n像素的距离值被更新为较小的距离。
基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像可以为基于所述像素投影距离值对所有点进行反投影，获得所有像素的反投影图像。
根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果可以为根据所述反投影图像和所述深度缓冲影像获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；判断所述距离差是否小于等于预设阈值；获得所述距离差是小于等于所述预设阈值或所述距离差是大于所述预设阈值的判断结果；其中，所述预设阈值可以根据实际情况进行确定，在此不做限定，所述预设阈值可以记阈值T。
在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素可以理解为在第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
在实际应用中，采用正方形模板而不是单个像素来填充深度缓冲区，投影在深度缓冲区上的每个点都将扩展为n×n像素，并存储为相同的距离值。仅通过共线方程计算的多视影像与DSM之间的像素级对应关系无法顾及遮挡的情况，因此需要进行遮挡检测。本发明通过改进传统的深度缓冲区算法进行遮挡检测，以确定多视影像与DSM之间严格的像素一致性关系。深度缓冲区算法有一个深度缓冲器用于保存每个可见像素的深度值，首先计算表面点和相机透视中心之间的距离，并存储在图像空间的深度缓冲区中。如果将两个点投影到相同的深度缓冲区像素上，则将最短的距离保留。传统的深度缓冲区算法是一种像素级的消隐算法，没有利用图形像素的连续性。
针对这个问题，本发明采用正方形模板而不是单个像素来填充深度缓冲区，投影在深度缓冲区上的每个点都将扩展为n×n像素，并存储为相同的距离值。如果点A的距离小于点B的距离，则距离图像中的n×n像素的距离值被更新为较小的距离。最后再次对所有点进行反投影，并将它们与深度缓冲区图像进行比较。如果它们的绝对距离差小于一个阈值T，则将该点视为可见。如图2所示，图2为本发明实施例一种多视角遥感影像的分类方法中改进的深度缓冲区算法的示意图，地物点A和B的n×n模板在深度缓冲影像上存在重叠，其中重叠部分像素的深度值为A和B深度值中较小的一个。
在本发明一种可选实施例中，所述根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果，包括：将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；判断所述距离差是否小于等于预设阈值；在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点；在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
本实施例中，将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差可以为将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的绝对距离差。
判断所述距离差是否小于等于预设阈值；其中，所述预设阈值可以根据实际情况进行确定，在此不做限定，所述预设阈值可以记阈值T。判断所述距离差是否小于等于预设阈值可以为判断所述距离差是否小于等于T。
在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点可以为在所述距离差是小于等于T的情况下，确定所述判断结果为所述第一像素不是被遮挡的点。
在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点可以为在所述距离差是大于T的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
在本发明一种可选实施例中，所述分类特征至少包括像素的光谱、几何、纹理特征；所述基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图，包括：根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；确定所述融合特征中每个维度特征的最大特征值；根据所述最大特征值和所述投影关系确定所述融合特征图。
本实施例中，为了方便理解，这里示例说明，假设所述多视角遥感影像中的每个视角遥感影像记为第i个视角遥感影像，i为大于等于1的整数；第i个视角的组合特征记Xi，假设特征维度为N，N为大于等于1的整数，则
其中，
代表第i个视角的第j维特征值。所述融合特征记为X，对于X第j维特征值记为xj，j为大于等于1的整数。
根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征可以为根据所述分类特征获得
将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征可以为根据
确定X＝{x1，x2，…，xN}。
确定所述融合特征中每个维度特征的最大特征值可以理解为对于X第j维特征值，计算多视影像像素对应维度特征值的最大值，即：
根据所述最大特征值和所述投影关系确定所述融合特征图可以为根据所述最大特征值和所述投影关系生成所述融合特征图。在实际应用中，根据所述最大特征值和所述投影关系生成所述融合特征图可以为根据所述最大特征值和所述投影关系生成与TDOM空间关系一致的融合特征图。
在本发明一种可选实施例中，所述基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型，包括：将所述融合特征图和所述标注影像进行组合，构建数据集；基于所述数据集获得训练数据；将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
本实施例中，将所述融合特征图和所述标注影像进行组合，构建数据集可以为将所述融合特征图和所述标注影像对应像素组合，构建数据集。在实际应用中，可以将标注的像素和对应的融合特征组成一组数据，有多少标注像素就有多少组数据，并组成一个数据集。
基于所述数据集获得训练数据可以为将所述数据集中预设比例的数据作为训练数据。其中，所述预设比例可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设比例可以为百分之十。在实际应用中，将所述数据集中预设比例的数据作为训练数据可以为随机选择数据集中百分之十的数据作为训练数据。
将所述训练数据输入至预设的分类器进行训练，确定所述分类模型可以为选择一个预设的分类器对训练数据进行训练，得到基于多视影像融合特征的地物分类模型。其中，所述预设的分类器可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设的分类器可以为随机森林算法作为的分类器。在实际应用中，所述选择一个预设的分类器对训练数据进行训练，得到基于多视影像融合特征的地物分类模型可以为使用随机森林算法作为分类器，算法参数中树的数目为100，特征数目为输入特征维度数目的平方根，利用训练集数据训练随机森林分类器，得到训练模型，即所述地物分类模型。
在本发明一种可选实施例中，所述方法还包括：根据所述数据集获得测试数据；基于所述测试数据对所述分类模型进行精度评估。
本实施例中，根据所述数据集获得测试数据可以为将所述数据集中预设比例的数据作为测试数据。其中，所述预设比例可以根据实际情况进行确定，在此不做限定，作为一种示例，所述预设比例可以为百分之九十。在实际应用中，可以随机选择数据集中百分之十的数据作为训练数据，剩下百分之九十作为测试数据。其中，所述训练数据也可以称为训练集；所述测试数据也可以称为测试集。
基于所述测试数据对所述分类模型进行精度评估可以为根据所述测试数据和所述分类模型确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度。作为一种示例，根据所述测试数据和所述分类模型确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度可以为将所述测试数据输入至所述分类模型，获得预测分类结果；将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度。
在本发明一种可选实施例中，所述基于所述测试数据对所述分类模型进行精度评估，包括：将所述测试数据输入至所述分类模型，获得预测分类结果；将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度。
本实施例中，将所述测试数据输入至所述分类模型，获得预测分类结果可以为将所述测试数据输入至所述分类模型，计算所述测试数据的预测分类结果。
将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值可以为将所述预测分类结果与所述标注影像进行比较，计算所述分类模型的整体精度值；其中，所述整体精度值计算方法为分类正确的像素个数除以所有像素的个数。
根据所述精度值评估所述分类模型的精度可以为判断所述精度值是否大于等于预设阈值；在所述精度值大于等于所述预设阈值的情况下，则评估所述分类模型精度达标，可以用作遥感影像分类；在所述精度值小于所述预设阈值的情况下，则评估所述分类模型精度不达标，不可以用作遥感影像分类。
为了方便理解，本发明示例出一种多视角遥感影像的分类方法为一种航空多视遥感影像分类方法，其步骤如下：
第一步：首先利用多视影像空中三角测量算法恢复多视影像的内外方位元素，并利用密集匹配技术获取密集点云，并以此构建地表的DSM。
本实施例中，首先利用尺度不变特征变换(Scale-invariant featuretransform，SIFT)影像匹配算法计算多视影像之间的同名像素点，再利用光束法平差算法计算多视影像精确的内外方位元素。之后通过密集匹配算法获得密集点云，通过点云预处理、法向量计算和泊松表面重建算法后，生成DSM。
第二步：根据多视影像内外方位元素和共线方程计算多视影像与DSM像素级对应关系，其中DSM每个像素点可能对应多个不同视角影像上的像素。
DSM像素值代表了像素的高程坐标，结合像素本身的平面坐标可以得到像素的三维坐标。利用共线方程，点的三维坐标和多视影像的内外方位元素可以计算DSM的像素在多视影像上的投影像素，从而可以建立DSM与多视影像的几何投影一致性关系。
第三步：设计了一种改进的深度缓冲区算法进行遮挡检测，以确定多视影像与DSM之间严格的像素一致性关系。通过将传统深度缓冲区算法中用单个像素来填充深度缓冲区改进为使用正方形模板来填充缓冲区，解决了传统缓冲区算法由于稀疏点云而导致的虚假可见性问题。
本发明采用正方形模板而不是单个像素来填充深度缓冲区，投影在深度缓冲区上的每个点都将扩展为n×n像素，并存储为相同的距离值。仅通过共线方程计算的多视影像与DSM之间的像素级对应关系无法顾及遮挡的情况，因此需要进行遮挡检测。本发明通过改进传统的深度缓冲区算法进行遮挡检测，以确定多视影像与DSM之间严格的像素一致性关系。深度缓冲区算法有一个深度缓冲器用于保存每个可见像素的深度值，首先计算表面点和相机透视中心之间的距离，并存储在图像空间的深度缓冲区中。如果将两个点投影到相同的深度缓冲区像素上，则将最短的距离保留。传统的深度缓冲区算法是一种像素级的消隐算法，没有利用图形像素的连续性。
针对这个问题，本发明采用正方形模板而不是单个像素来填充深度缓冲区，投影在深度缓冲区上的每个点都将扩展为n×n像素，并存储为相同的距离值。如果点A的距离小于点B的距离，则距离图像中的n×n像素的距离值被更新为较小的距离。最后再次对所有点进行反投影，并将它们与深度缓冲区图像进行比较。如果它们的绝对距离差小于一个阈值T，则将该点视为可见。可结合图2进行理解，图2为本发明实施例一种多视角遥感影像的分类方法中改进的深度缓冲区算法的示意图，地物点A和B的n×n模板在深度缓冲影像上存在重叠，其中重叠部分像素的深度值为A和B深度值中较小的一个。
第四步：利用多视影像与DSM之间严格的像素一致性关系，提出最大值融合法在DSM的栅格图上融合多视影像特征。即首先对多视影像的每一幅影像独立的提取传统单视影像的分类特征，之后利用最大值融合法将每组具有空间一致性的多视影像像素进行融合。最大值融合法即对一组具有相同维度的特征逐维度的进行特征最大值计算，以得到多视影像的融合特征。
本实施例中，首先对于DSM栅格上的像素，根据该像素与多视影像的空间一致性关系找到在多视影像上对应的像素，独立的提取这些像素的光谱、几何、纹理等分类特征，并将提取特征叠加得到组合特征，并将第i个视角的组合特征记Xi，假设特征维度为N，那么
其中
代表第i个视角的第j维特征值。
对多视影像的像素特征进行融合，令得到的融合特征记为X，那么：X＝{x1，x2，...，xN}。
对于X第j维特征值，计算多视影像像素对应维度特征值的最大值，即：
特征融合后可以生成与TDOM空间关系一致的融合特征图。
第五步：人工标注DSM中不同地物类别的图斑，并生成与原始DSM像素空间关系一致的标注影像，标注影像上像素值代表地物类别。将融合特征图和标注影像对应像素组合，构建数据集。最后再将数据集分为训练数据和验证数据，分别用于分类模型训练和精度验证。
本实施例中，在DSM上标注建筑、道路、水体、植被和背景共5个类别，并生成对应的标注影像。将标注的像素和对应的融合特征组成一组数据，有多少标注像素就有多少组数据，并组成一个数据集。随机选择数据集中百分之十的数据作为训练集，剩下百分之九十作为测试集合。
第六步：选择一个分类器对构建的训练数据集进行训练，得到基于多视影像融合特征的地物分类模型；利用验证数据集对分类模型进行检测并评价精度。
本实施例中，使用随机森林算法作为分类器，算法参数中树的数目为100，特征数目为输入特征维度数目的平方根。利用训练集数据训练随机森林分类器，得到训练模型后再去计算测试数据的预测分类结果，与真实标注影像进行比较，计算整体精度，整体精度计算方法为分类正确的像素个数除以所有像素的个数，若整体精度达到设定的阈值，则认为该分类模型精度达标，可以用作遥感影像分类。
本发明对比现阶段已有技术，具有如下优点和效果：
第一、本发明针对现有的多视遥感影像分类方法没有考虑地物的三维模型，仅适用于低分辨率遥感影像的问题，本发明根据地表三维模型和遥感影像的内外方位元素，计算多视影像之间的空间一致性关系，为多视影像特征融合提供了几何基础信息。
第二、针对现有的基于航空遥感影像的地物分类方法没有考虑多视影像信息的问题，本发明设计了一个多视遥感影像分类方法与系统，通过本发明提出的融合策略将多视影像之间具有空间一致性关系的像素特征进行融合，以提高地物分类精度。
本实施例提出一种多视角遥感影像的分类装置，图3为本发明实施例多视角遥感影像的分类装置的组成结构示意图，如图3所示，所述装置200包括：获得单元201、建立单元202、融合单元203、确定单元204和分类单元205，其中：
所述获得单元201，用于获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；
所述建立单元202，用于确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；
所述融合单元203，用于提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；
所述确定单元204，用于获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；
所述分类单元205，用于基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
在其他的实施例中，所述获得单元201，还用于确定所述多视角遥感影像之间的同名像素点；复原所述多视角遥感影像的内外方位元素；基于所述同名像素点和所述内外方位元素确定所述数字表面模型。
在其他的实施例中，所述建立单元202，还用于获得所述数字表面模型的像素的三维坐标以及所述多视角遥感影像的内外方位元素；根据所述三维坐标和所述内外方位元素确定所述投影像素。
在其他的实施例中，所述装置200还包括检测单元，用于将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离；其中，n为大于1的整数；所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值；基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像；根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果；在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
在其他的实施例中，所述检测单元，还用于将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；判断所述距离差是否小于等于预设阈值；在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点；在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
在其他的实施例中，所述分类特征至少包括像素的光谱、几何、纹理特征；所述融合单元，还用于根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；确定所述融合特征中每个维度特征的最大特征值；根据所述最大特征值和所述投影关系确定所述融合特征图。
在其他的实施例中，所述分类单元，还用于将所述融合特征图和所述标注影像进行组合，构建数据集；基于所述数据集获得训练数据；将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
在其他的实施例中，所述装置200还包括评估单元；
所述获得单元201，还用于根据所述数据集获得测试数据；
所述评估单元，用于基于所述测试数据对所述分类模型进行精度评估。
在其他的实施例中，所述评估单元，还用于将所述测试数据输入至所述分类模型，获得预测分类结果；将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；根据所述精度值评估所述分类模型的精度。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的一种多视角遥感影像的分类方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台多视角遥感影像的分类设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
对应地，本发明实施例提供一种多视角遥感影像的分类设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例提供的一种多视角遥感影像的分类方法中的步骤。
对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例提供的一种多视角遥感影像的分类方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和设备实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
需要说明的是，图4为本发明实施例中多视角遥感影像的分类设备的一种硬件实体结构示意图，如图4所示，该多视角遥感影像的分类设备300的硬件实体包括：处理器301和存储器303，可选地，所述多视角遥感影像的分类设备300还可以包括通信接口302。
可以理解，存储器303可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器303旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器301可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器303，处理器301读取存储器303中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，多视角遥感影像的分类设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个观测量，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其他形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例的目的。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明实施例上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台多视角遥感影像的分类设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明是实例中记载的基于确定卫星观测量质量方法、装置和计算机存储介质只以本发明所述实施例为例，但不仅限于此，只要涉及到该基于确定卫星观测量质量方法、装置和计算机存储介质均在本发明的保护范围。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种多视角遥感影像的分类方法，其特征在于，所述方法包括：
获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；
确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；
提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；
获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；
基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多视角遥感影像构建地表的数字表面模型，包括：
确定所述多视角遥感影像之间的同名像素点；
复原所述多视角遥感影像的内外方位元素；
基于所述同名像素点和所述内外方位元素确定所述数字表面模型。
3.根据权利要求1所述的方法，其特征在于，所述确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素，包括：
获得所述数字表面模型的像素的三维坐标以及所述多视角遥感影像的内外方位元素；
根据所述三维坐标和所述内外方位元素确定所述投影像素。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述数字表面模型的像素投影到所述多视角遥感影像上的时候进行遮挡检测，将投影在深度缓冲影像上的每个像素扩展为n×n像素，获得第一像素和第二像素分别到所述深度缓冲影像的第一距离和第二距离；其中，n为大于1的整数；所述第一像素为所述数字表面模型上的任一像素；所述第二像素为所述数字表面模型上除所述第一像素以外的任一像素；
比较所述第一距离和所述第二距离的大小，在所述第一距离小于所述第二距离的情况下，确定所述第一距离作为像素投影距离值；
基于所述像素投影距离值对所述数字表面模型的所有像素进行反投影，获得所有像素的反投影图像；
根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果；
在所述判断结果表明所述第一像素不是被遮挡的点的情况下，确定所述第一像素在所述多视角遥感影像上的投影像素。
5.根据权利要求4所述的方法，其特征在于，所述根据所述反投影图像和所述深度缓冲影像判断所述第一像素是否为被遮挡的点，获得判断结果，包括：
将所述反投影图像和所述深度缓冲影像进行比较，获得所述数字表面模型的所有像素分别到所述反投影图像上对应的像素与所述深度缓冲影像上对应的像素的距离差；
判断所述距离差是否小于等于预设阈值；
在所述距离差是小于等于所述预设阈值的情况下，确定所述判断结果为所述第一像素不是被遮挡的点；
在所述距离差是大于所述预设阈值的情况下，确定所述判断结果为所述第一像素是被遮挡的点。
6.根据权利要求5所述的方法，其特征在于，所述分类特征至少包括像素的光谱、几何、纹理特征；所述基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图，包括：
根据所述分类特征获得所述每个视角遥感影像对应各个维度的组合特征；
将多个所述组合特征中具备相同维度的特征进行叠加，确定所述多视角遥感影像的融合特征；
确定所述融合特征中每个维度特征的最大特征值；
根据所述最大特征值和所述投影关系确定所述融合特征图。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型，包括：
将所述融合特征图和所述标注影像进行组合，构建数据集；
基于所述数据集获得训练数据；
将所述训练数据输入至预设的分类器进行训练，确定所述分类模型。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述数据集获得测试数据；
基于所述测试数据对所述分类模型进行精度评估。
9.根据权利要求8所述的方法，其特征在于，所述基于所述测试数据对所述分类模型进行精度评估，包括：
将所述测试数据输入至所述分类模型，获得预测分类结果；
将所述预测分类结果与所述标注影像进行比较，确定所述分类模型的精度值；
根据所述精度值评估所述分类模型的精度。
10.一种多视角遥感影像的分类装置，其特征在于，所述装置包括：获得单元、建立单元、融合单元、确定单元和分类单元，其中：
所述获得单元，用于获得多视角遥感影像；基于所述多视角遥感影像构建地表的数字表面模型；
所述建立单元，用于确定所述数字表面模型的像素在所述多视角遥感影像上的投影像素；根据所述投影像素建立所述数字表面模型与所述多视角遥感影像的投影关系；
所述融合单元，用于提取所述多视角遥感影像中每个视角遥感影像的分类特征；基于所述投影关系和所述分类特征对所述多视角遥感影像的特征进行融合，获得所述多视角遥感影像的融合特征图；
所述确定单元，用于获得人工标注数字表面模型，基于所述人工标注数字表面模型确定标注影像；
所述分类单元，用于基于所述融合特征图和所述标注影像确定所述多视角遥感影像的分类模型；根据所述分类模型对所述多视角遥感影像中的地物进行分类。
11.一种多视角遥感影像的分类设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371577.XA CN114219958B (zh) | 2021-11-18 | 2021-11-18 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371577.XA CN114219958B (zh) | 2021-11-18 | 2021-11-18 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219958A true CN114219958A (zh) | 2022-03-22 |
| CN114219958B CN114219958B (zh) | 2024-07-09 |
Family
ID=80697561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111371577.XA Active CN114219958B (zh) | 2021-11-18 | 2021-11-18 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219958B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346009A (zh) * | 2022-05-18 | 2022-11-15 | 上海航遥信息技术有限公司 | 基于高光谱数据和倾斜三维数据的地理实体语义建模方法 |
| CN117765292A (zh) * | 2023-12-26 | 2024-03-26 | 哈尔滨理工大学 | 一种基于图卷积流形正则化伪标签引导的非完备多视角遥感数据聚类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085710A (zh) * | 2017-04-26 | 2017-08-22 | 长江空间信息技术工程有限公司(武汉) | 一种基于多光谱LiDAR数据的单木自动提取方法 |
| US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
| CN111898688A (zh) * | 2020-08-04 | 2020-11-06 | 沈阳建筑大学 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
| CN112529075A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 一种利用楼宇外立面对建筑物进行分类的方法 |
-
2021
- 2021-11-18 CN CN202111371577.XA patent/CN114219958B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
| CN107085710A (zh) * | 2017-04-26 | 2017-08-22 | 长江空间信息技术工程有限公司(武汉) | 一种基于多光谱LiDAR数据的单木自动提取方法 |
| CN111898688A (zh) * | 2020-08-04 | 2020-11-06 | 沈阳建筑大学 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
| CN112529075A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 一种利用楼宇外立面对建筑物进行分类的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘培;王光彦;邹友峰;韩瑞梅;: "遥感信息融合和分类器集成的地类高精度识别", 遥感信息, no. 04, 15 August 2016 (2016-08-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346009A (zh) * | 2022-05-18 | 2022-11-15 | 上海航遥信息技术有限公司 | 基于高光谱数据和倾斜三维数据的地理实体语义建模方法 |
| CN117765292A (zh) * | 2023-12-26 | 2024-03-26 | 哈尔滨理工大学 | 一种基于图卷积流形正则化伪标签引导的非完备多视角遥感数据聚类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114219958B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887247B2 (en) | Visual localization | |
| US8810779B1 (en) | Shape matching automatic recognition methods, systems, and articles of manufacture | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| Carozza et al. | Markerless vision‐based augmented reality for urban planning | |
| US7983474B2 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
| AU2011362799B2 (en) | 3D streets | |
| Menderes et al. | Automatic detection of damaged buildings after earthquake hazard by using remote sensing and information technologies | |
| Maurer et al. | Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection | |
| JP2012517652A (ja) | シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合 | |
| Sui et al. | A novel 3D building damage detection method using multiple overlapping UAV images | |
| CN109242855A (zh) | 基于多分辨率三维统计信息的屋顶分割方法、系统及设备 | |
| CN110998671B (zh) | 三维重建方法、装置、系统和存储介质 | |
| TWI716874B (zh) | 影像處理裝置、影像處理方法、及影像處理程式 | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
| US9128188B1 (en) | Object instance identification using template textured 3-D model matching | |
| Shin et al. | True Orthoimage Generation Using Airborne LiDAR Data with Generative Adversarial Network‐Based Deep Learning Model | |
| Li et al. | 3D map system for tree monitoring in hong kong using google street view imagery and deep learning | |
| CN114219958B (zh) | 一种多视角遥感影像的分类方法、装置、设备和存储介质 | |
| KR20060127519A (ko) | 이미지 기반의 공간 정보 구축 방법 및 시스템 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| KR101619486B1 (ko) | 좌표변환 매트릭스를 이용한 3차원 큐브 파노라마 장치 | |
| Skuratovskyi et al. | Outdoor mapping framework: from images to 3d model | |
| JP5425045B2 (ja) | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム | |
| KR102416216B1 (ko) | 영상인식을 이용한 3차원 실체 형상 데이터 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |