CN110110621A - 基于多特征整合深度学习模型的倾斜摄影点云分类方法 - Google Patents

Abstract

本发明公开了摄影测量数据处理技术领域的基于多特征整合深度学习模型的倾斜摄影点云分类方法，首先，通过研究顾及视觉注意力机制的点云分类优化，实现点云立体视觉注意特征分析方法，以及基于深度学习的立体目标视觉注意力评估方法，并进行识别目标注意力强弱评估与排序；其次，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，开展点云初级特征描述及自学习子模型研究；最后，经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云；本发明在应用上，取得具有实用价值的倾斜摄影实景点云分类技术，以期切实地推进倾斜摄影应用由“可视化”向“可计算”方向发展。

Description

基于多特征整合深度学习模型的倾斜摄影点云分类方法

技术领域

本发明涉及摄影测量数据处理技术领域，具体涉及基于多特征整合深度学习模型的倾斜摄影点云分类方法。

背景技术

倾斜摄影技术由于突破了传统航空摄影难以获取地形地物的侧面纹理和三维信息的限制，目前已被广泛应用于大比例尺地形图测绘、城市空间数据基础设施建设、城市快速真三维建模等，倾斜摄影信息提取的自动化程度直接影响着大规模的数据生产、广泛的行业应用、以及数据的充分应用。目前，倾斜摄影外业数据经过“影像预处理、自动联合空三解算、影像密集匹配、三维点云生成、三角网构建、纹理映射”等步骤，便可快速高效、全自动化地获得区域真实可量测立体模型，去除纹理信息，该模型即为数字表面模型DSM。然而，这种全自动获得的三维立体模型和DSM产品其实质是一张整体相连接的含纹理贴图的不规则三角网，这使得倾斜摄影应用普遍面临着“只能看”、“不能算”的瓶颈问题，倾斜摄影地物目标识别与分类自动化研究远远落后于倾斜摄影硬件和处理系统的快速发展，不能满足人们对其应用的要求。

深度学习作为促进无人机倾斜摄影技术发展的重要驱动力，已得到该领域学者们的普遍关注，但现有研究主要聚焦于无人机影像目标识别与语义分割，将影像自动识别纳入无人机系统以实现智能控制，无人机导航控制、DTM提取、以及无人机其他传感器的目标识别等，对于倾斜摄影点云分类深度学习方面，研究不多，仍主要停留传统方法上，如面向对象分类方法、监督分类和非监督分类方法、随机森林方法等。虽然，近年来，激光点云深度学习研究已涌现出一些优秀成果，但倾斜摄影点云在拍摄角度、数据源、工作流程、关注目标等方面具有自身特点，迫切必要研究适用于倾斜摄影的点云分类深度学习方法。

在当前技术条件下，基于深度学习的倾斜摄影点云分类，主要面临如下挑战：1)“目标多样、形态结构复杂、目标遮挡和重叠以及空间密度差别迥异等现象，是三维点云自动精细分类的共同难题”，相对于激光点云，摄影测量点云噪声更多、分布更加不均匀，需要更加稳健的算法；2)一直以来，倾斜摄影信息提取大都围绕“人工立体测图”模式开展，其生产和应用流程大多缺乏倾斜摄影点云分类这一环节，造成倾斜摄影点云分类研究未受到重视，相关研究不多，深度学习训练样本难以获取，缺乏公开样本数据集；3)虽然当前研究呈现出人工特征先验知识与深度学习模型相融合的技术发展方向，提出了若干点云特征学习策略和模型构建方法，但在在人眼立体视觉经验的利用上仍缺乏研究；4)实用化的深度学习模型是以取代实际人工操作为目标，倾斜摄影人工立体测图中，即使在存在明显数据缺漏、数据遮挡与数据重叠、形状或纹理扭曲、阴影干扰、飞点或脏点等数据异常情况下，人眼视觉通过综合感知地物目标的立体形状、颜色、纹理等特征，也是能够轻松而明确地识别出植被、水域、地面、建筑物、以及更精细的地物类型。因此，研究能达到“立体测图条件下的人眼识别”效果的倾斜摄影点云分类深度学习方法是一极具挑战性的任务，要求方法在鲁棒性、小样本、精度、适用性等方面都要有很大提升。基于此，本发明设计了基于多特征整合深度学习模型的倾斜摄影点云分类方法，以解决上述问题。

发明内容

本发明的目的在于提供基于多特征整合深度学习模型的倾斜摄影点云分类方法，以“倾斜摄影点云分类方法达到倾斜摄影人眼识别效果”为核心目标，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别任务，在此思想指导下，设计了顾及视觉注意力机制的点云分类优化流程，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：

步骤一、顾及视觉注意力机制的点云分类优化流程

在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括

1)倾斜摄影点云的立体视觉注意特征分析；

2)倾斜摄影点云场景的注意力计算方法；

3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；

步骤二、识别目标注意力强弱评估与排序

根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；

步骤三、点云场景视觉注意力机制过滤

为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；

步骤四、前注意阶段--点云的初级特征描述及自学习子模型

主要包括

1)分析前注意阶段倾斜摄影点云的初级特征感知规律；

2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；

3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；

4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；

5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；

步骤五、特征整合阶段--倾斜摄影语义目标特征及特征整合的深度学习子模型

主要包括

1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；

2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；

3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；

4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即建筑物、植被、道路等6类；

5)探索初级特征与目标语义特征之间的映射关系，研究如何利用地物目标语义特征来优化深度学习模型；

步骤六、点云目标识别整体模型及点云分类系统实现

主要包括

1)剖析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的特征传递关系；

2)利用伪孪生网络和DenseNet网络的模型构架思想，设计并实现支持多特征并行自学习及特征整合机制的点云目标识别DenseCNNs模型；

3)研究倾斜摄影点云分类的样本库及其建立方法；

4)结合具有视觉注意力机制的点云分类优化流程，研究基于注意的特征整合倾斜点云自动分类方法，并与现有典型点云分类模型进行分类精度、方法鲁棒性等方面的对比研究，现有典型点云分类模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So-net网络、DGCNN网络、NormalNet、以及后续的新模型等；

5)方法的鲁棒性和适用性研究：利用存在明显数据缺漏、形状或纹理扭曲、阴影干扰等问题的数据，开展方法的鲁棒性验证；分城乡交接带、城市边缘区、中心城区，或住宅区、商业区、公园等不同类型城市景观，以及不同倾斜摄影采集数据源，开展本项目方法的适用性研究；

步骤七、按目标视觉注意力强弱次序的“目标识别-点云擦除-再识别”循环过程，将步骤三中经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云，并利用支持特征自学习和特征整合机制的点云目标深度学习识别模型进行具体目标识别，并按目标视觉注意力强弱次序建立“目标识别-点云擦除-再识别”的点云分类目标识别循环过程。当待识别目标为最后一类目标，即将剩余点云作为该目标识别结果，得到全部点云分类结果。

优选的，所述步骤一为步骤二和步骤三环节中的目标识别顺序判断以及点云目标识别前的目标注意力指数计算提供具体方法。

优选的，所述步骤四、五、六为步骤七提供支持特征自学习和特征整合机制的点云目标识别深度学习模型，也是整个项目的研究重点。

优选的，所述步骤一和步骤六涉及到整个方法模型、流程和系统实现。

与现有技术相比，本发明的有益效果是：本发明沿着“人工特征先验知识与深度学习模型相融合”的技术发展方向，针对当前点云分类深度学习研究仍缺乏多特征整合相关研究的现状，将人眼立体视觉认知相关理论与深度模型相结合，创建支持多特征并行自学习和多特征整合的点云分类深度学习模型，为小样本条件下深度学习模型研究提供方法参考。同时，本发明紧密结合倾斜摄影人工立体测图的数据特点、人工立体感知和识别经验，建立倾斜摄影人工立体特征感知与识别的先验知识表达，构建有代表性的倾斜摄影点云分类样本库，在此基础上，研究多特征整合的倾斜摄影点云分类深度学习模型方法，研发高精度的、具有实用价值的倾斜摄影点云全自动分类技术，为后续倾斜摄影点云目标特征提取建模奠定基础，以期切实推进倾斜摄影应用由“可视化”向“可计算”方向发展。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明点云分类优化流程整体设计图。

图2为本发明点云目标识别实施流程图。

图3为本发明实施例样本需覆盖的典型情况表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：

步骤一、顾及视觉注意力机制的点云分类优化流程

在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括

1)倾斜摄影点云的立体视觉注意特征分析；

2)倾斜摄影点云场景的注意力计算方法；

3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；

步骤二、识别目标注意力强弱评估与排序

根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；

步骤三、点云场景视觉注意力机制过滤

为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；

步骤四、前注意阶段--点云的初级特征描述及自学习子模型

主要包括

1)分析前注意阶段倾斜摄影点云的初级特征感知规律；

2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；

3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；

4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；

5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；

步骤五、特征整合阶段--倾斜摄影语义目标特征及特征整合的深度学习子模型

主要包括

1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；

2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；

3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；

4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即建筑物、植被、道路等6类；

5)探索初级特征与目标语义特征之间的映射关系，研究如何利用地物目标语义特征来优化深度学习模型；

步骤六、点云目标识别整体模型及点云分类系统实现

主要包括

1)剖析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的特征传递关系；

2)利用伪孪生网络和DenseNet网络的模型构架思想，设计并实现支持多特征并行自学习及特征整合机制的点云目标识别DenseCNNs模型；

3)研究倾斜摄影点云分类的样本库及其建立方法；

4)结合具有视觉注意力机制的点云分类优化流程，研究基于注意的特征整合倾斜点云自动分类方法，并与现有典型点云分类模型进行分类精度、方法鲁棒性等方面的对比研究，现有典型点云分类模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So-net网络、DGCNN网络、NormalNet、以及后续的新模型等；

5)方法的鲁棒性和适用性研究：利用存在明显数据缺漏、形状或纹理扭曲、阴影干扰等问题的数据，开展方法的鲁棒性验证；分城乡交接带、城市边缘区、中心城区，或住宅区、商业区、公园等不同类型城市景观，以及不同倾斜摄影采集数据源，开展本项目方法的适用性研究；

步骤七、按目标视觉注意力强弱次序的“目标识别-点云擦除-再识别”循环过程，将步骤三中经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云，并利用支持特征自学习和特征整合机制的点云目标深度学习识别模型进行具体目标识别，并按目标视觉注意力强弱次序建立“目标识别-点云擦除-再识别”的点云分类目标识别循环过程。当待识别目标为最后一类目标，即将剩余点云作为该目标识别结果，得到全部点云分类结果。

其中，步骤一为步骤二和步骤三环节中的目标识别顺序判断以及点云目标识别前的目标注意力指数计算提供具体方法；步骤四、五、六为步骤七提供支持特征自学习和特征整合机制的点云目标识别深度学习模型，也是整个项目的研究重点；步骤一和步骤六涉及到整个方法模型、流程和系统实现。

本实施例的一个具体应用为：

(1)倾斜摄影测量点云分类体系及样本库构建方案

由于点云分类的具体要素类型与特征描述策略、样本库等紧密相关，本发明在综合考虑当前倾斜摄影应用的普遍需要和倾斜摄影点云分类研究现状的基础上，确定拟解决的倾斜摄影点云分类的具体要素为:非地面(建筑物、植被)和地面(道路、水域、草地、其他)2大类、6小类。非地面和地面2大类分类的设置主要是为了便于后续DEM提取，而6小类则为目前倾斜摄影应用中普遍关注的地物要素类型。对于后续精细类型需求(如建筑物需要细分为不同类型房屋和构筑物、或屋顶和立面等不同建筑物部件)，可在建立的技术体系基础上，通过扩展样本、扩展特征描述、模型改进等手段，进一步开展精细点云分类方法和应用研究。

受到天气状况、太阳角度、光照条件、成像倾斜角、成像分辨率、地形起伏、地面反射、地面景观类型等多种因素的影响，使得倾斜摄影点云数据质量不同，特别是由于倾斜角度大、受拍角度、背光、逆光的影响，造成倾斜摄影点云普遍存在明显的数据缺漏、数据遮挡与数据重叠、形状或纹理扭曲、阴影干扰、飞点或脏点等数据异常，这些都增加了倾斜摄影点云分类难度。

利用深度学习进行倾斜摄影点云分类，本项目除了引入立体视觉机制研究适用于点云的深度学习模型和分类优化流程之外，另外需要建立尽可能全面覆盖这些因素和数据异常情况的倾斜摄影点云深度学习的训练样本库。

1)训练库构建主要流程：本发明结合倾斜摄影生产和应用的实际，首先设计训练样本采样原则，在系统化梳理倾斜摄影点云数据质量的影响因素和典型数据情况的基础上，结合现有倾斜摄影数据资源、成果状态等，有针对性采集并补充倾斜摄影数据，研究构建不同地物目标(具体为非地面和地面2大类，建筑物、植被等6小类)的样本库构建方法、并开发样本处理与生成相关工具，再利用点云目标样本处理工具再结合人工立体交互编辑方式，最后再利用点云样本增强和点云样本模拟技术，对点云样本进行增强处理和样本模拟，以保证训练库的样本类型合理、类型分布合理、代表性强、样本成像条件复杂多样、并具有一定规模。

2)训练库构建原则：样本选取要具有代表性，每种目标类型的样本需要覆盖不同采集来源、不同分辨率、典型成像条件、典型地面景观类型、典型数据异常等不同情况(具体见表1)；各目标、覆盖各种典型情况的样本的数量尽可能分布均匀；每种目标类型、覆盖各种典型情况的样本数量需达到一定数量。

3)样本需覆盖的典型情况表。

4)点云样本增强技术和点云样本模拟技术：通过对原始点云样本进行点云样本进行增强预处理，主要包括随机多角度多轴旋转、随机缩放点云尺寸，颜色方面(亮度、对比度、饱和度、色相)等随机调节、点云样本随机子区截取等，并将样本增强结果放入整体样本库。该项技术简单实用，可以有效增加样本库的丰富度，减少比例尺、旋转、角度、等因素对图像目标识别模型的影响，提高模型的鲁棒性。此外，对于某些难以获取的训练样本，还可以通过点云样本模拟技术进行样本模拟(例如可通过增加随机点云噪声的方法，模拟具有飞点的点云样本)，从而保证样本对典型情况的全部覆盖。

(2)倾斜摄影点云目标识别深度学习模型的处理

1)倾斜摄影点云目标识别的初级特征的确定：根据倾斜摄影目标识别视觉经验，在点云数据(其信息项具体为：三维坐标和颜色)所表示的立体环境中，人眼视觉主要通过综合感知地物目标的立体形状、颜色、纹理特征，就能轻松而明确地识别出建筑物、植被、水域、地面或更精细的地物类型。因此，本项目拟将点云几何形状特征、点云颜色特征、点云三维纹理特征这三类特征作为前注意阶段感知的初级特征。在几何形状特征具体描述方面，重点研究尺度不变特征转换PointSIFT方法在特征点局部三维空间关系感知性能，通过PointSIFT蕴含着对点云法向量、方向、梯度、点的重要性等感知能力，派生出对点云立体形状的自学习功能；开展PointSIFT、点云法向量、3D霍夫变换等典型算法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，选择与识别目标类型相匹配的几何形状特征具体计算的优化算法。在点云三维纹理方面，鉴于倾斜摄影测量点云数据主要描述的是地物表层，主要选择点云粗糙度来描述点云三维纹理；

2)点云目标识别视觉感知机制：根据前期研究中对点云目标识别视觉规律的剖析：“在立体视觉特征整合机制的作用下，点云目标识别任务可划分为点云多初级特征感知的前注意阶段和形成语义目标判断的特征整合阶段”，又由于初级特征感知在横向上是一个多类型特征并行感知的过程，在纵向上是一个多层次特征串行累积感知、形成目标语义特征的过程。并且，并行多类型特征感知和串行多层次特征整合并不完全孤立，它们在纵横两个方向上不断地进行多层次特征累积传递、以及多特征的累积与整合，即前注意阶段与特征整合阶段相对独立，但又密切地进行着多类型、多层次特征的累积传递和信息交互。因此，本项目研究的重点问题和创新点是：运用如何深度学习理论和方法，模拟支持初级特征感知的多特征并行自学习机制、特征整合阶段的多特征累积整合机制、以及前注意阶段与特征整合阶段之间的这种多层次特征累积传递、多特征的整合、以及多层次多特征的累积整合的关系；

3)点云目标识别整体框架设计思路：基于上述规律分析，为更好地设计这种顾及注意的特征整合机制的倾斜摄影点云目标识别模型，本发明在剖析现有主要深度学习模型构架思想及特点基础上，采用伪孪生神经网络和DenseNet深度学习网络的思想进行模型的整体框架设计。其中，将伪孪生神经网络思想用于实现前注意阶段点云初级特征的并行自学习模型机制，而DenseNet网络思想由于具有强大的特征抽取、特征累积传递和特征复用能力，将其应用到点云单个特征自学习子模块、以及支持多特征累积传递与整合的整体深度学习模型构架。实现初级特征不断累积感受，从而形成目标语义的高级特征的过程。

4)支持多特征并行自学习、多特征整合机制的点云目标识别模型，如图2所示，点云目标识别模型整体框架由三个子模块组成，模拟前注意阶段的多特征多层次并行自学习子模块、模拟特征整合阶段的多特征整合子模块、局部注意力多特征融合的上采样解码子模块。

①模拟前注意阶段的多特征多层次并行自学习子模块,首先利用DenseNet网络思想在多层次特征累积自学习的优势，分别建立点云三维形状、点云颜色、点云三维纹理自学习子网络：3DShapeDenseCNNs、3DColorDenseCNNs、3DTextureDenseCNNs，再利用伪孪生神经网络思想构建这三种特征的并行自学习网络结构，从而实现多特征自学习和多特征并行自学习网络构架；

②模拟特征整合阶段的多特征整合子模块,仍然主要利用DenseNet网络思想在多层次特征累积传递、多类型特征特征的技术优势，将前注意阶段获得的多类型、多层次特征自学习分量作为模型输入，通过特征整合子模块MFInteDenseCNNs，将某层次提取分特征整合为该层次上的总特征，例如将第1层次提取分量FShapeL1,FcolorL1,FTextL1，整合为第1层次的全面特征描述F-ALL-L1，然后，再将第1层次的全面特征描述F-ALL-L1，以及第2层次提取分量FShapeL2,FcolorL2,FTextL2作为整合子模块的模型输入，从而建立多类型特征整合、多层次特征传递与整合的特征整合深度学习子模型机制；

③局部注意力多特征融合的上采样解码子模块，通过局部注意力多特征融合卷积层，在进行累积解码的同时，不断地结合对应层次的全面特征描述，以实现上采样解码；最后通过SoftMax分类器实现语义目标识别。

整个模型构建，在横向上是一个多类型特征并行自学习子模块，在纵向上是一个多层次特征串行累积传递、形成目标语义特征的特征整合子模块，二者之间又不是完全独立，通过特征传递，构建了二者之间的多类型、多层次特征的累积传递关系，设计了从多类型、多层次的初级特征自学习到多类型、多层次特征的整合，从而形成目标语义特征的自学习深度学习模型机制，以实现对注意的特征整合视觉机制的完全支持和模拟。

(3)倾斜摄影点云目标识别深度学习模型的实现

鉴于谷歌TensorFlow深度学习开发体系在模型支持、异构分布式学习、跨平台等方面优势，本发明采用TensorFlow深度学习框架来实现支持多特征并行自学习、多特征整合机制的点云目标识别模型。利用伪孪生神经网络结构能够对同一目标进行不同角度特征的并行、多层次自感知、以及横向上多特征整合的能力，本发明首先将原始倾斜摄影点云数据通过伪孪生神经网络的子网络(3DShapeDenseCNNs、3DColorDenseCNNs、3DTextureDenseCNNs)进行三维立体形状、颜色、三维纹理等不同角度特征的自学习感知与提取，并通过Densenet多特征累积传递、整体融合方面的特征，在横向上进行同一层次、多特征融合，得到不同层次不断抽象的全感知整体特征；之后，通过DenseNet模型思想构建对不同层次、不同类型特征的全感知特征进行反卷积运算，得到分类结果；最后，结合训练数据集中的标签XH构建网络的误差代价函数，通过误差后向反馈机制，进行网络的迭代求解。拟采用的伪孪生神经网络误差代价函数为：

其中，{W,B}表示卷积神经网络中各节点的权值与偏差，X_ci为输入数据中第i个原始数据，Y_Hi表示第i个数据的标签，j为孪生的子网络总个数，并项目中设置j为3，表示从几何形状、颜色、三维纹理三个方面进行多特征并行自学习。

在目标函数优化方面，拟采用自适应运动估计Adam优化算法对目标函数进行优化求解，从而建立稳健倾斜摄影点云分类模型。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，其特征在于，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：

步骤一、顾及视觉注意力机制的点云分类优化流程

在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括

1)倾斜摄影点云的立体视觉注意特征分析；

2)倾斜摄影点云场景的注意力计算方法；

3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；

步骤二、识别目标注意力强弱评估与排序

根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；

步骤三、点云场景视觉注意力机制过滤

为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；

步骤四、前注意阶段--点云的初级特征描述及自学习子模型

主要包括

1)分析前注意阶段倾斜摄影点云的初级特征感知规律；

2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；

3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；

4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；

5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；

步骤五、特征整合阶段--倾斜摄影语义目标特征及特征整合的深度学习子模型

主要包括

1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；

2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；

3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；

4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即建筑物、植被、道路等6类；

5)探索初级特征与目标语义特征之间的映射关系，研究如何利用地物目标语义特征来优化深度学习模型；

步骤六、点云目标识别整体模型及点云分类系统实现

主要包括

1)剖析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的特征传递关系；

2)利用伪孪生网络和DenseNet网络的模型构架思想，设计并实现支持多特征并行自学习及特征整合机制的点云目标识别DenseCNNs模型；

3)研究倾斜摄影点云分类的样本库及其建立方法；

4)结合具有视觉注意力机制的点云分类优化流程，研究基于注意的特征整合倾斜点云自动分类方法，并与现有典型点云分类模型进行分类精度、方法鲁棒性等方面的对比研究，现有典型点云分类模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So-net网络、DGCNN网络、NormalNet、以及后续的新模型等；

5)方法的鲁棒性和适用性研究：利用存在明显数据缺漏、形状或纹理扭曲、阴影干扰等问题的数据，开展方法的鲁棒性验证；分城乡交接带、城市边缘区、中心城区，或住宅区、商业区、公园等不同类型城市景观，以及不同倾斜摄影采集数据源，开展本项目方法的适用性研究；

步骤七、按目标视觉注意力强弱次序的“目标识别-点云擦除-再识别”循环过程，将步骤三中经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云，并利用支持特征自学习和特征整合机制的点云目标深度学习识别模型进行具体目标识别，并按目标视觉注意力强弱次序建立“目标识别-点云擦除-再识别”的点云分类目标识别循环过程。当待识别目标为最后一类目标，即将剩余点云作为该目标识别结果，得到全部点云分类结果。

2.根据权利要求1所述的基于多特征整合深度学习模型的倾斜摄影点云分类方法，其特征在于：所述步骤一为步骤二和步骤三环节中的目标识别顺序判断以及点云目标识别前的目标注意力指数计算提供具体方法。

3.根据权利要求1所述的基于多特征整合深度学习模型的倾斜摄影点云分类方法，其特征在于：所述步骤四、五、六为步骤七提供支持特征自学习和特征整合机制的点云目标识别深度学习模型，也是整个项目的研究重点。

4.根据权利要求1所述的基于多特征整合深度学习模型的倾斜摄影点云分类方法，其特征在于：所述步骤一和步骤六涉及到整个方法模型、流程和系统实现。