CN115409069A - 村镇建筑的识别方法、分类方法、装置、电子设备和介质 - Google Patents

Abstract

本公开提供了一种村镇建筑的识别方法、分类方法、装置、电子设备和介质。该村镇建筑的识别方法包括：基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，区域三维图像包括多个单体村镇建筑三维子图像；从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据；对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点；根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

Description

村镇建筑的识别方法、分类方法、装置、电子设备和介质

技术领域

本公开涉及图像识别技术领域，具体涉及一种村镇建筑的识别方法、分类方法、装置、电子设备和存储介质。

背景技术

在土地规划与设计中，通常需要对区域内的单体建筑物进行调查，以便对当前的土地景观进行评估和分析建设管理，并改进未来的土地规划和建筑设计。

目前，此类研究多聚焦在城市领域。村镇建筑的建设量与城市建筑的建设量相当，且现有的数据中几乎没有村镇建筑的街景数据。又由于村镇建筑的外观多样性，对村镇建筑的相关信息的获取与模型建构都存在着一定的不便性。因此，针对村镇建筑的识别与特征分析，在实际工作中具有重要的应用价值。

发明内容

鉴于上述问题，本公开提供了一种村镇建筑的识别方法、分类方法、装置、电子设备和存储介质。

根据本公开的第一个方面，提供了一种村镇建筑的识别方法，包括：基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，区域三维图像包括多个单体村镇建筑三维子图像；从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据；对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点；根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

根据本公开的实施例，从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据，包括：获取区域三维图像的三维点云数据和俯视图像；将俯视图像投影至三维点云数据上，以从三维点云数据中分别筛选出多个单体村镇建筑三维子图像的第一点云数据和第二点云数据，第一点云数据表征单体村镇建筑三维子图像的边界，第二点云数据表征单体村镇建筑三维子图像的纹理；根据第一点云数据，从区域三维图像中分别分割得到多个单体村镇建筑三维子图像的空间结构；根据第二点云数据，对多个单体村镇建筑三维子图像的空间结构分别进行纹理贴图，得到多个单体村镇建筑三维子图像；以及分别提取多个单体村镇建筑三维子图像的立面图像数据。

根据本公开的实施例，对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，包括：采用多个标注模型对立面图像数据的每个立面数据标注多个标签，多个标注模型分别用于标注多个类型的标签；采用多个标注模型对标注后的立面图像数据进行交叉验证；以及在确定对标注后的立面图像数据验证通过的情况下，根据多个标签，为多个立面图像数据的每个立面图像数据设置多个离散变量，得到多个单体村镇建筑三维子图像的标识数据。

根据本公开的实施例，多个单体村镇建筑三维子图像的标识数据包括训练集数据、验证集数据和测试集数据；根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，包括：针对多个候选识别模型中的每个候选识别模型，执行以下操作，得到多个测试结果：利用训练集数据对候选识别模型进行训练，得到训练后的候选识别模型；利用验证集数据对训练后的候选识别模型进行验证，得到验证结果；以及在确定验证结果为通过的情况下，利用测试集数据对训练后的候选识别模型进行测试，得到针对候选识别模型的测试结果。

根据本公开的实施例，根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，还包括：根据多个测试结果中的最优测试结果，从多个候选识别模型中确定目标识别模型。

根据本公开的实施例，根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，还包括：通过目标检测器，从多个三维子图像中，分别提取多个单体村镇建筑的门数据、窗数据和立面图像数据；以及结合多个标签，通过门数据、窗数据和立面图像数据，对目标识别模型进行迭代训练，以得到优化后的目标识别模型。

根据本公开的实施例，目标检测器包括卷积层、目标检测层和筛选层，通过目标检测器，从多个三维子图像中，分别提取多个单体村镇建筑的门数据、窗数据和立面图像数据，包括：通过卷积层从多个三维子图像中提取多个初始特征数据；通过目标检测层对多个初始特征数据进行特征检测，得到初始门数据、初始窗数据和初始立面图像数据；以及通过筛选层从初始门数据、初始窗数据和初始立面图像数据中，分别筛选出门数据、窗数据和立面图像数据。

根据本公开的实施例，利用目标识别模型，识别目标区域内的单体村镇建筑，包括：获取目标区域的倾斜摄影数据；基于目标区域的倾斜摄影数据，构建目标区域的区域三维图像；从区域三维图像中提取多个单体村镇建筑的立面图像数据；以及将立面数据输入至目标识别模型，得到目标区域内的多个单体村镇建筑的建筑特点。

根据本公开的实施例，该识别方法，还包括：获取单体村镇建筑的立面图像数据和与单体村镇建筑相关联的多个标签；以及根据立面图像数据和多个标签，生成可视化图像，可视化图像表征单体村镇建筑的建筑特点。

本公开的第二方面提供了一种基于三维遥感影像进行村镇建筑性质自动分类方法，包括获取研究区域内建筑的图像数据；根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练；通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。

根据本公开的实施例，获取研究区域内建筑的图像数据包括：通过无人机倾斜摄影采集研究区域的视频数据，对视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取研究区域内建筑的图像数据。

根据本公开的实施例，村镇建筑性质，包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。

根据本公开的实施例，该方法还包括：根据建筑分类结果对图像识别模型的参数进行调整；或通过测试数据对图像识别模型进行测试，根据测试结果对图像识别网络的参数进行调整。

本公开的第三方面提供了一种村镇建筑的识别装置，包括：构建模块，用于基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，区域三维图像包括多个单体村镇建筑三维子图像；提取模块，用于从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据；标注模块，用于对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点；生成模块，用于根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及识别模块，用于利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

本公开的第四方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述的村镇建筑的识别方法或基于三维遥感影像进行村镇建筑性质自动分类方法。

本公开的第五方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述村镇建筑的识别方法或基于三维遥感影像进行村镇建筑性质自动分类方法。

本公开提供了一种村镇建筑的识别方法，以携带有多类标签的图像数据为基础，对多个识别模型进行训练和优化，确定最适合村镇建筑的目标识别模型。由此得到的目标识别模型不仅仅关注单体建筑的单一属性，而是可以基于多类标签识别出单体建筑的多类属性。此外，利用目标检测器提取村镇建筑的门窗特征，可以辅助目标识别模型对单体村镇建筑的识别，提高识别准确性。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1A示意性示出了根据本公开实施例的村镇建筑的识别方法的流程图；

图1B示意性示出了根据本公开实施例的单体村镇建筑三维子图像的示意图；

图1C示意性示出了根据本公开实施例的立面图像数据的示意图；

图2示意性示出了根据本公开实施例的提取立面图像数据的流程图；

图3示意性示出了根据本公开实施例的立面图像数据标注标签的流程图；

图4A示意性示出了根据本公开实施例的基于三维遥感影像进行村镇建筑性质自动分类方法的流程图；

图4B示意性示出了根据本公开实施例的基于三维遥感影像进行村镇建筑性质自动分类方法的示意图；

图4C示意性示出了根据本公开实施例的图像识别模型结构示意图；

图4D示意性示出了根据本公开实施例的建筑分类结果示意图；

图5A示意性示出了根据本公开实施例的村镇建筑的识别方法的示意图；

图5B示意性示出了根据本公开实施例的建筑层数的识别结果的示意图；

图6示意性示出了根据本公开实施例的村镇建筑的识别装置的结构框图；以及

图7示意性示出了根据本公开实施例的村镇建筑的识别方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种村镇建筑的识别方法，包括：基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，区域三维图像包括多个单体村镇建筑三维子图像；从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据；对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点；根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

图1A示意性示出了根据本公开实施例的村镇建筑的识别方法的流程图。图1B示意性示出了根据本公开实施例的单体村镇建筑三维子图像的示意图。图1C示意性示出了根据本公开实施例的立面图像数据的示意图。

如图1A所示，该实施例的村镇建筑的识别方法包括操作S110～操作S150。

在操作S110，基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像。

样本倾斜摄影数据可以来自无人机倾斜摄影。由于村镇建筑的分布情况复杂且无序，利用无人机的灵活、高效和人工成本低的特点，可以快速且全面地获取村镇建筑的形貌特征。

倾斜影像数据可以从多个观测角度真实地反映建筑物的实际情况，利用倾斜影像还可采集建筑物的侧面纹理。倾斜摄影数据的数据量小，易于存储和运算。对倾斜摄影数据获取经过影像加工处理，例如光影分析和几何校正等操作，再通过专用测绘软件可以是生成倾斜摄影三维模型，例如三维图像。

区域三维图像可以包括多个单体村镇建筑三维子图像。例如，村镇建筑区域可以是一个村庄的建筑区域，对应的区域三维图像可以是该村庄建筑区域的三维图像。单体村镇建筑可以是村庄内每一幢居民楼，对应的单体村镇建筑三维子图像可以是该居民楼的三维图像。

无人机具有高精度定位的特点的。例如，在无人机上搭载高精度差分定位定向(Real-timekinematic，RTK)模块。例如，采用少量的地面定位参考点，实现对区域三维模型在地理空间定位，或者对单体村镇建筑进行空间定位。

通过图像重建算法可以实现对于无人机图像的超分辨率重建，增强三维图像的细节，使三维图像能够更好地被应用于后续的图像提取任务。重建的三维模型还可以满足复测要求，例如，相对于人工勘察，三维模型的使用可以满足随时复查三维模型并进行高精度的如尺寸距离等空间度量的需求。

在操作S120，从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据。

例如，提取立面图像数据的过程可以包括先从区域三维图像中分割得到每一个单体村镇建筑的三维子图像，例如图1B示出的单体村镇建筑的三维子图像，再从该三维子图像中提取立面图像数据，例如图1C示出的单体村镇建筑的立面图像数据。

从每个单体村镇建筑的三维子图像中可以提取至少一个立面图像数据。例如，可以选择优先从每个单体村镇建筑的三维子图像中提取正视视角的立面图像数据。还可以选择从每个单体村镇建筑的三维子图像中提取多个视角的立面图像数据，例如前视、后视、俯视等视角的立面图像数据。

立面图像数据可以是建筑外立面数据，建筑外立面数据可以表征建筑和建筑的外部空间直接接触的界面，例如建筑外立面数据可以包括建筑屋顶部分和建筑墙体外围部分。立面图像数据可以表征建筑物的结构和外部形貌。

在本公开实施例中，从单体村镇建筑的三维子图像中提取建筑立面，可以实现对于不易进入和不易调查的建筑物图像的采集工作。例如，闲置无人的院落、封闭的院落或结构不安全的建筑等。

在操作S130，对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点。

由于村镇建筑多以自建房为主，相比于城市建筑，村镇建筑的建筑差异较大。因此需要从多个角度对单体村镇建筑的建筑特点进行标签标注。此外，通过多个标签对单体村镇建筑进行多个类型的建筑特点可以更加全面的描述单体村镇建筑的建筑特点。

例如，单体村镇建筑三维子图像的标识数据可以为携带有多个标签的立面图像数据，也可以为由立面图像数据和标签转换而成的函数数据，也可以是描述立面图像数据和标签的文字数据。

多标签的设置可以满足村镇建筑实际测绘工作对建筑勘察的多种需求，以从多个角度描述村镇建筑的特点。此外，在满足基本描述需求的基础上，根据实际需要扩展标签，以实现因地制宜的效果。

在操作S140，根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型。

例如，以多个单体村镇建筑三维子图像的标识数据为数据库，设计并训练神经网络，可以得到用于识别单体村镇建筑的目标识别模型。

再例如，以多个单体村镇建筑三维子图像的标识数据为数据库，训练并优化现有的神经网络，也可以得到用于识别单体村镇建筑的目标识别模型。

神经网络具备持续学习的特点，在训练样本的数据量的不断增加的情况下，还可以对目标识别模型进行多次迭代优化。目标识别模型的准确度也会随着数据量的提高而进一步提高。

在操作S150，利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

在本公开实施例中，利用单体村镇建筑三维子图像的标识数据训练得到目标识别模型，可以基于单体村镇建筑的建筑特点，对村镇建筑区域内的单体村镇建筑进行识别，从而获取单体村镇建筑的相关信息，以便于对单个村镇建筑进行数据分析。

通过本公开实施例，以携带有多类标签的单体村镇建筑的标识数据为基础，训练得到适用于单体村镇建筑识别的识别模型。由此得到的目标识别模型不仅仅关注单体建筑的单一属性，还可以基于多类标签识别出单体建筑的多类属性。此外，采用无人机倾斜摄影技术采集样本倾斜摄影数据可以缩短样本数据的采集，且提高了对完整数据采集的效率，增强了适用性。

图2示意性示出了根据本公开实施例的提取立面图像数据的流程图。

如图2所示，操作S120从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据的步骤包括操作S210～操作S250。

在操作S210，获取区域三维图像的三维点云数据和俯视图像。

在操作S220，将俯视图像投影至三维点云数据上，以从三维点云数据中分别筛选出多个单体村镇建筑三维子图像的第一点云数据和第二点云数据。

在操作S230，根据第一点云数据，从区域三维图像中分别分割得到多个单体村镇建筑三维子图像的空间结构。

在操作S240，根据第二点云数据，对多个单体村镇建筑三维子图像的空间结构分别进行纹理贴图，得到多个单体村镇建筑三维子图像。

在操作S250，分别提取多个单体村镇建筑三维子图像的立面图像数据。

在本公开实施例中，三维点云数据可以是通过无人机对村镇建筑进行360°环绕飞行时拍摄得到的。俯视图像为无人机对村镇建筑以俯视角度拍摄的俯视图。例如，三维点云数据可以是整个村镇建筑区域的整体三维点云数据，也可是村镇建筑区域的多个单体村镇建筑的三维点云子数据的集合。三维点云数据可以包括描述建筑结构的点云数据和描述建筑外观的点云数据。

将俯视图像随机投影到三维点云数据上，并结合多投影视图的辅助，可以从三维点云数据中筛选出每个单体村镇建筑三维子图像的第一点云数据和第二点云数据，由此实现从村镇建筑的区域三维图像中分割出单体村镇建筑三维子图像。第一点云数据可以表征单体村镇建筑三维子图像的边界，用于描述建筑结构。第二点云可以数据表征单体村镇建筑三维子图像的纹理，用于描述建筑外观。

例如，根据第一点云数据可以描述单体村镇建筑的边界，从而构建得到单体村镇建筑三维子图像的空间结构。空间结构可以是单体村镇建筑的三维白模型。白模型可以描述单体村镇建筑的结构特点，例如建筑层数、建筑面积和建筑形状等特点。

例如，根据第二点云数据可以描述单体村镇建筑的空间结构的纹理。纹理可以描述单体村镇建筑的外观特点，例如建筑风貌、建筑体系和建筑年代等特点。为白模型进行纹理贴图，可以形成单体村镇建筑的外观，从而构建得到单体村镇建筑三维子图像。

通过本公开实施例，先从区域三维图像中分割出单体村镇建筑的三维子图像，再从三维子图像中提取对应的单体村镇建筑的立面图像数据，可以避免单体村镇建筑的立面图像数据的部分缺失，和避免紧邻的两个单体村镇建筑的立面图像数据之间出现难以分割的问题。此外，通过三维点云数据和俯视图像相结合的方法，可以快速且准确地定位三维点云数据中与每个单体村镇建筑对应的点云数据，提高立面图像数据的提取速率和提取效果。通过多投影视图的三维点云分割方法，利用例如俯视图像等二维视图以及二维视图之间的相关性，避免需要对邻近点点云进行修正，以便更快的分割三维点云实体，进一步地提高对单体建筑分割的速度。

图3示意性示出了根据本公开实施例的立面图像数据标注标签的流程图。

如图3所示，操作S130对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，的步骤包括操作S310～操作S350。

在操作S310，采用多个标注模型对立面图像数据的每个立面数据标注多个标签。

在操作S320，采用多个标注模型对标注后的立面图像数据进行交叉验证。

在操作S330，在确定对标注后的立面图像数据验证通过的情况下，根据多个标签，为多个立面图像数据的每个立面图像数据设置多个离散变量，得到多个单体村镇建筑三维子图像的标识数据。

在本公开实施例中，标注模型可以是经过深度学习后的神经网络。多个标注模型分别用于标注多个类型的标签。

每个标注模型可以较为擅长对某一特定类型的标签进行标注。例如，每个标注模型可以是针对某一特定类型的标签标注进行较为深层次的深度学习，对其他类型的标签标注进行了广泛的深度学习。每个标注模型也可以擅长对多个类型的标签进行标注。例如，每个标注模型可以是针对多类型的标签标注进行深度学习。

需要说明的是，每个标注模型也需要对多个类型的标签标注进行标注，以确保每个标注模型也可以对于非擅长类型的标签进行标注，且保证可适用的准确率。

例如，标注模型对擅长类型的标签的标注速度高于对非擅长类型的标签的标注速度，对擅长类型的标签的标注准确度与对非擅长类型的标签的标注准确度相近。

例如，多个标注模型包括三个标注模型。提取到的多个立面图像数据依次可以输入到三个标注模型中，三个标注模型可以对每个立面图像数据仅标注自身擅长类型的标签。

在标签标注过程中，三个标注模型对每个立面图像数据进行非重复类型的标签标注，例如，假设第一标注模型和第二标注模型均擅长对类型A的标签进行标注。在确定第一标注模型对立面图像数据已经标注了类型A的标签的情况下，该标注后的立面图像数据输入至第二标注模型时，第二标注模型不再重复标注类型A的标签。

在交叉验证过程中，三个标注模型对多个立面图像数据的标签进行交叉验证，每个标注模型可验证非自身标注的标签是否通过。验证过程可以包括将标注后的立面图像数据依次输入至三个标识模型中，每个标注模型对非自身标注的标签类型进行再次标注。

在确定再次标注的标签与前一次标注的标签一致，可认为该类型的标签标注验证通过，并保留前一次标注的标签。在确定再次标注的标签与前一次标注的标签不一致，可认为该类型的标签标注验证不通过，则记录该立面图像数据，等待通过其他标识模型进行下一轮的重新标注。在完成重新标注过程后，依然再次进行交叉验证。

在验证通过的情况下，还需要根据标注的标签，为多个立面图像数据的每个立面图像数据设置多个离散变量。例如，标注的标签可能为文字数据，因此需要为每个立面数据设置于标签对应的离散变量，使得标签由文字数据转换成神经网络模型可以识别的机器语言。

本公开提供一种多类型标签的实施例以对多个类型的标签进行示意性的说明。多类型的标签可以用于量化描述建筑的建筑性质。例如，量化类型可以包括描述性、历史性、感知性和理性认知性。例如，多个类型的标签可以包括建筑功能、建筑层数、建筑质量、结构体系、建筑风貌、建筑年代以及是否废弃。

需要说明的是，本公开提供的7个类型的标签仅为示意性的说明。本公开可以从7个角度量化地描述单体村镇建筑的建筑特点。本领域技术人员可以根据实际的描述需求，相应地扩展标签的类型。本公开对标签的数量和类型均不做限定。

示例性地，多个类型的标签的释义如表1所示。

表1

例如，标注模型对立面图像数据的建筑功能标注的标签为居住建筑，从而为立面图像数据设置该类型标签的离散变量为0。标注模型对立面图像数据的建筑风貌标注的标签为与周边风貌协调度表现很差，从而为立面图像数据设置该类型标签的离散变量为2。

相比于城市建筑，由于村镇建筑的结构和外观差异性较大，通过单一类型的标签无法全面的描述村镇建筑的特点。例如，通过建筑功能和建筑层数标签可以表述村镇建筑的基础特点。通过建筑废弃判别、建筑年代和建筑质量标签可以描述村镇建筑的居住环境特点，以便根据建筑废弃判别、建筑年代和建筑质量标签判断该村镇建筑是否需要修缮或拆除。通过建筑风貌标签可以描述村镇建筑的规划特点和建筑风格，以便根据建筑风貌标签进行村镇规划管理。

例如，区域内相邻近的两个单体村镇建筑可能均为三层居民楼，但第一个单体村镇建筑处于废弃状态，第二个单体村镇建筑处于使用状态。若仅仅基于建筑层数和建筑功能进行标注，可能会导致第一个单体村镇建筑处于“废弃状态”的特点被忽略，从而导致错过对该建筑的最佳修缮时期。

在本公开实施例中，标签还可以包括门位置和窗位置。例如，通过门坐标描述门位置，通过窗坐标描述窗位置。门位置和窗位置可以用于辅助识别单体村镇建筑的特点。例如，在为立面图像数据标注了两个窗位置的标签，并在通过两个窗位置的坐标确定两个窗户沿垂直地面方向排布的情况下，可认为该单体建筑的建筑层数为两层。

通过本公开实施例，利用多个类型的标签从多个层面对单体建筑的特点进行描述，不仅可以提高对同一区域内的单体建筑的识别准确度，和还可以实现细粒度的特征识别，充分单体建筑特征的差异性，从而增加对识别结果的使用价值。

图4A示意性示出了根据本公开实施例的基于三维遥感影像进行村镇建筑性质自动分类方法的流程图。图4B示意性示出了根据本公开实施例的基于三维遥感影像进行村镇建筑性质自动分类方法的示意图。

如图4A所示，基于三维遥感影像进行村镇建筑性质自动分类方法包括操作S410～操作S440。

在操作S410，获取研究区域内建筑的图像数据。

本公开的实施例能够针对农村建筑监测的便捷省时地、易于操作的工作流程，在工作流程的设计中还考虑到建筑环境在农村与城市中的地区差异。首先是获取研究区域内建筑的图像数据，研究区域可以为农村地区。

可选地，获取研究区域内建筑的图像数据包括：通过无人机倾斜摄影采集研究区域的视频数据，对视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取研究区域内建筑的图像数据。例如，可以采取无人机倾斜摄影，获取研究区域原始数据。原始数据可以是视频数据，从视频数据中可以采集得到相应的图像数据。无人机采集具有灵活、高效、人工成本较低的优点。在本公开实施例中，对中国天津蓟州区四个村子(大巨各庄、小穿芳峪、西果园、桃花寺)进行了航测图像，航测区域面积为8.7平方公里，分辨率精度小于10cm。对于获取的航拍数据，对航拍图像进行超分辨率重建、三维模型生成和建筑立面图的提取工作。

在操作S420，根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库。

例如，村镇建筑性质包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。对于建筑的认知层面，普遍上可以分为描述性、历史性、感知性以及理性认知四个层面。参考建筑学领域经典文献对于建筑特征要素的分类以及乡村发展的需要，本公开重点对农村建筑如下七个特征进行分析：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。

根据乡村建筑特征在数据预处理步骤中，对每一组建筑单体进行编号，邀请三组专业人员，对其进行统一培训后，根据表1，分别对建筑质量各项指标进行人工离散变量标注。为了降低不确定性，保证每位专家仅标注一类建筑特征的所有图片，并由其余专家进行交叉检查。对于标注不相同的图片经由讨论达成一致，最终得到标注训练库。

在操作S430，根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练。

构建模型——对比评价优选最佳模型：考虑到样本量和乡村建筑数据特征，本公开选取了四种在现今图像分类比赛中效果表现较好的几种网络结构：Resnet50、Resnet101、Xception和EfficientNet_B7，如图4C所示(从左到右依次为Xception，Resnet50，Resnet101，EfficientNet)。这些模型在处理大规模图像识别分类方面表现突出，例如：Resnet它解决了增加传统CNN为解决由于网络深度过大产生的梯度消失而导致的退化问题，通过构建卷积层块之间的恒等映射，在不断扩展网络深度情况下解决了信息的丢失和损耗。此实验中，选择了Resnet网络下的具有不同深度的Resnet50和Resnet101进行测试。Xception和Inception的网络结构具有相同的关注点：相比于Resnet加深网络结构，通过加宽网络结构而在不增加计算成本的前提下扩展神经网络。Xception比Inception更进步了：将跨通道的相关性和空间相关性完全分离而不进行联合映射。并且也取得了很好的效果。EfficentNet模型提出了一种新的模型缩放方法，区别于传统方法的任意缩放网络维度，它基于神经网络搜索技术可以获得最优的一组参数。EfficentNet拥有一个高效的复合系数从网络深度，宽度和输入图像分辨率三个维度放大网络。通过迁移学习，EfficientNets在多个知名数据集上均达到了当时最先进的水平。

由于在乡村尺度下，一层建筑过多，居住用房过多等原因造成的样本不均匀性，使得采集到的数据往往是不平衡的。因此，本公开对选取的CNN架构进行优化处理。

在损失函数设计上，采用了focal loss函数，其通过focal loss从样本难易分类角度出发，解决样本非平衡造成的模型性能问题，对简单样本有较大的惩罚度，可以达到集中去优化难例和少例子样本的效果。在数据组织上，采用欠采样的方法。通过聚类选取综述最多的一簇并随机丢掉该簇一部分数据。对于少样本数据在每个batch中采取抽取再放回的策略，保证在每个Batch中数据的均衡性。

在本公开中选择了ACC、Recall和F1评估了泛化性和实际应用两种场景下的CNN架构自动识别分类的精度。为了确保所报告模型的稳定性，采用常用做法，将数据集随机拆分为三个部分：训练(60％)、验证(20％)和测试(20％)。以分层的形式进行拆分，以便在所有拆分中都能保持类别比例，每个数据分布具有从原始数据集中随机生成的不同训练、验证、测试子集。

四个模型架构在七个建筑特征分类上的性能表现如表2所示，根据模型优选的结果，从而挑选出最适宜的模型架构为Resnet 50。

表2

注：表中加粗表示四个模型中性能最优者。

在操作S440，通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。

对上述建立的模型训练完之后，对单一行政村进行自动识别分类验证。

基于实际乡村建筑评估与监测等工作应用场景的需要，选取数据集中的单一行政村落(大巨各庄)样本作为测试对象，其他三个村落样本作为训练。最后评估优选出的模型(Resnet 50)的分类准确度和可行性。该场景是作为实际工作场景的模拟，在实践中更加具有实用性。对大巨各庄的实例测试accuracy结果如图4D所示。每项指标均达到了0.8以上，说明Resnet 50对于具体行政村的预测结果是表现优异的。本文仅展示了最为直观和最有现实意义的Accuracy结果。

运用ArcGIS软件将模型分类结果自动输出成实际需要的平面图纸。通过对于建筑矢量轮廓与模型预测结果的空间对位，分别输出7组建筑特征平面图，如图4D所示。

可选地，在本公开的实施例中，基于三维遥感影像进行村镇建筑性质自动分类方法还包括：根据建筑分类结果对图像识别模型的参数进行调整；或通过测试数据对图像识别模型进行测试，根据测试结果对图像识别网络的参数进行调整。

为了使模型分类效果更佳，不断对图像识别模型进行优化。

本公开提出的工作流程能够大大地缩短农村住房调查所需时间，且易于操作。以天津蓟州区941个村子为例，平均每个村子建筑数量为200个。传统的田野调查方式中，根据经验，每个调查员每天平均能调查80个建筑。十人组成的传统调研团队需要235天才能完成研究区内数据样本的采集工作。而由两个人组成的无人机影像采集团队每天平均能完成8个村子数据收集。十人组成的采用本文中方法的调研团队仅需24天即可完成全部信息采集工作。仅在数据采集方面就能减少10倍的时间。后期的数据处理本公开提出的方法同样能大大减少工作时间。

本公开的方法可以快速地得到对一个村子整体情况的评估，也可以聚焦于单一属性的评价上。通过本方法，可以有助于相关部分对于区域内村庄的整体情况有宏观的了解，并且可以作为后续深入调研的工作开展的依据。而且，在某些研究中，需要对某一个单一属性进行调查。可是即便是只研究房屋废弃与否这一个单一建筑特征，传统方法也需要调查人员对每一个建筑进行评估。因此本公开提出的方法也可以大大提高专类调查的效率。

通过标准化的数据处理流程，本公开可以方便在不同地区的推广，也可以满足同一地区的数据迭代更新需求。本文通过运用标注训练库进行的模型优选，选出了对于华北地区农村建筑最为适合与鲁棒的模型架构Resnet 50。由于在实际工作中更多的实际需求是将调研的情况与平面图纸相对应，因此在最后展示了模型输出结果与ArcGIS地理信息平台是如何合作来完成图纸输出的。构建了对于农村建筑特征采集从前期数据的收集到最后输出的完整工作流程，而且工作流程均可以根据所研究区域进行调整和标准化操作。运用本工作流程能够极大的提高农村建筑的调查工作效率，并可以辅助相关政策的制定与精准实施。

根据本公开实施例提出的基于三维遥感影像进行村镇建筑性质自动分类方法，获取研究区域内建筑的图像数据；根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练；通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。本公开挑选出具有区分度与描述性的七个农村建筑特征，并邀请专业人员进行离散化人工赋值，进而作为机器学习的样本，快速且易于操作的获得村庄整体建筑特征情况，以单体建筑属性表和村庄矢量七个特征平面图形式输出成果，分类效率高，且具有较高的准确性，能够实现对于指定村庄的建筑特征变化监测与识别。

图5A示意性示出了根据本公开实施例的村镇建筑的识别方法的示意图。

如图5A所示，村镇建筑的识别方法包括数据收集510、数据预处理520、模型选择530、实例验证540和图形输出550。

在本公开实施例中，数据收集510与本公开操作S210～操作S250相似，不再赘述。数据预处理520与操作S310～操作S330类似，不再赘述。

模型选择530可以执行操作S140根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型的步骤。

在多个单体村镇建筑三维子图像的标识数据包括训练集数据、验证集数据和测试集数据的情况下，操作S140根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型的步骤，包括：针对多个候选识别模型中的每个候选识别模型，执行以下操作，得到多个测试结果：利用训练集数据对候选识别模型进行训练，得到训练后的候选识别模型；利用验证集数据对训练后的候选识别模型进行验证，得到验证结果；以及在确定验证结果为通过的情况下，利用测试集数据对训练后的候选识别模型进行测试，得到针对候选识别模型的测试结果。以及根据多个测试结果中的最优测试结果，从多个候选识别模型中确定目标识别模型。

在本公开实施例中，通过对多个候选识别模型进行训练和优化，选择识别性能测试结果最优的候选识别模型为目标识别模型。多个候选识别模型可以包括Resnet50、Resnet101、Xception和EfficientNet_B7网络结构。

训练数据集用于对候选识别模型进行深度学习训练，使得训练后的候选识别模型可以识别出每个单体村镇建筑的建筑特点。验证数据集用于对候选识别模型进行验证和优化。例如，在训练后的候选识别模型通过验证的情况下，可利用测试数据集测试训练后的候选识别模型的识别性能。在训练后的候选识别模型未通过验证的情况下，对该候选模型进行优化，并再次进行训练，直至验证通过。由此可以避免训练后的候选识别模型在实际应用时产生较大的误差。测试数据集用于对训练后的候选识别模型进行识别性能的测试，以检验训练后的候选识别模型的准确度。

在本公开实施例中，操作S140根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型的步骤，在生成目标识别模型后还包括：通过目标检测器，从多个三维子图像中，分别提取多个单体村镇建筑的门数据、窗数据和立面图像数据；以及结合多个标签，通过门数据、窗数据和立面图像数据，对目标识别模型进行迭代训练，以得到优化后的目标识别模型。

利用门数据、窗数据和立面图像数据可以辅助识别单体村镇建筑的建筑特点。例如，门数据和窗数据可以分别包括门坐标和窗坐标。结合门坐标、窗坐标和立面图像数据，可确定门和窗在该单体村镇建筑中的排布位置，从而识别出单体村镇建筑的建筑层数。例如，门数据和窗数据可以分别包括门样式和窗样式。结合门样式和窗样式和立面图像数据，可确定该单体村镇建筑中的建筑风格，从而识别出单体村镇建筑的建筑风貌。

例如，目标检测器可以是基于Yolo网络实现的，例如，Yolov5网络。Yolo网络通过边界包围盒检测图像中的目标对象，并直接输出回归边界包围盒的位置和边界包围盒所属类别。Yolo网络可实现45帧每秒的运算速度，能够满足实时性要求。

基于Yolo网络实现的目标检测器可以包括三个部分：卷积层，目标检测层和筛选层。筛选层可以为非极大抑制(non-max suppression，NMS)筛选层。

在本公开实施例中，通过目标检测器，从多个三维子图像中，分别提取多个单体村镇建筑的门数据、窗数据和立面图像数据，包括：

通过卷积层从多个三维子图像中提取多个初始特征数据；通过目标检测层对多个初始特征数据进行特征检测，得到初始门数据、初始窗数据和初始立面图像数据；以及通过筛选层从初始门数据、初始窗数据和初始立面图像数据中，分别筛选出门数据、窗数据和立面图像数据。

例如，卷积层可以采用Google inceptionV1网络，共20层。卷积层用于进行特征提取，从而提高模型泛化能力。卷积核可以为一个1x1的卷积核并联一个3x3的卷积核。

例如，目标检测层可以包括4个卷积层和2个全连接层。初始门数据、初始窗数据和初始立面图像数据输入目标检测层后可以生成7x7x30的输出。4个卷积层可以提高模型泛化能力。

例如，NMS筛选层可以在多个边界包围盒中筛选出最合适的边界包围盒。例如，先过滤掉得分低于阈值的边界包围盒，对剩下的边界包围盒进行NMS非极大值抑制，去以除掉重叠度比较高的边界包围盒，从而得到了最合适的边界包围盒和边界包围盒的类别。损失函数可以包含位置误差，confidence误差和分类误差。

在通过目标检测器不能检测到门窗数据的情况下，可以直接采用目标识别模型对单体村镇建筑的建筑特点进行识别。

在通过目标检测器能够检测到门窗数据的情况下，可以结合目标检测器和目标识别模型进行单体村镇建筑的识别，得到单体村镇建筑的建筑特点。对于多个单体建筑而言，基于识别出的建筑特点，可以对多个单体建筑进行分类，使得同一类的村镇建筑具有相同的建筑特点。需要说明的是，同一个村镇建筑可以基于多个的建筑特点被分为多个类别中。此外，还可以利用多层感知机(Multilayer Perceptron，MLP)对分类结果进行再次卷积计算，得到更为准确的分类结果。

多层感知机可为人工神经网络(Artificial Neural Network，ANN)。多层感知机可用于输入多组图像以自动识别分类。

例如，多层感知机可以为两层全连接多层感知机，隐藏单元个数为1024，且可以调试学习率等超参数。多层感知机的输入数据的权重可以采用随机参数初始化，并通过训练自动学习。使用sigmoid或tanh等连续函数模拟多层感知机中神经元对激励的响应。

在本公开实施例中，通过yolo目标检测器检测已标记的立面图像数据是否包含门窗信息。在确定立面图像数据包括门窗信息的情况下，通过目标识别模型分别对门、窗、正视图(立面图像)的图像数据进行卷积，得到单体村镇建筑的建筑特点识别结果。基于识别结果对多个单体村镇建筑进行分类，分类结果可以为x1、x2、x3。将分类结果(x1、x2、x3)作为多层感知机的输入数据。激活函数可以选用softmax函数。输入数据的权重可以采用随机参数初始化并通过训练自动学习。经过多层感知机的运算后，可以输出多个单体村镇建筑更为准确的分类结果。

本公开还对目标识别模型、目标检测器和多层感知器相结合的识别性能进行测试，测试结果如表3和表4所示。表3所示的测试数据为由样本倾斜摄影数据生成标识数据，标识数据包括的训练集数据、验证集数据和测试集数的比例为8：1：1。表4所示的测试数据为新采样的村庄倾斜摄影数据。识别对象包括建筑功能、建筑层数、建筑质量、建筑结构、建筑风貌、建筑年代和废弃与否七个类型的建筑特点。

表3

表4

如表3所示，目标识别模块Resnet50与目标检测器yolov5结合后，对七个类型的标签的测试准确率均达到了85％。其中，建筑层数、建筑结构、建筑风貌、建筑年代和废弃与否达到了90％，建筑质量和建筑功能达到了87％，综合实力表现最好。如表4所示，建筑层数、建筑质量、建筑结构、建筑年代和废弃与否的准确率均达到了90％。

目标识别模块Resnet50与目标检测器yolov5结合的识别模型相可以与单独的目标识别模块Resnet50形成优势互补，以实现对七个类型的标签更为准确的分类预测。

在本公开实施例中，实例验证540可以执行操作S150利用目标识别模型，识别目标区域内的单体村镇建筑的建筑特点的步骤，包括：

获取目标区域的倾斜摄影数据；基于目标区域的倾斜摄影数据，构建目标区域的区域三维图像；从区域三维图像中提取多个单体村镇建筑的立面图像数据；以及将立面数据输入至目标识别模型，得到目标区域内的多个单体村镇建筑的建筑特点。

例如，目标区域的倾斜摄影数据可以为待检测区域的倾斜摄影数据，可以由无人机进行倾斜摄影得到。

目标区域还可以包括多个目标区域。例如，目标区域包括4个村庄区域。分别从4个村庄区域中提取每个单体村镇建筑的立面图像数据，并可以以其中一个村庄区域的立面图像数据为验证数据集，其余三个村庄区域的立面图像数据为训练数据集。根据上述验证数据集和训练数据集可以对目标识别模块Resnet50与目标检测器yolov5结合模型进行泛化测试。

从区域三维图像中提取多个单体村镇建筑的立面图像数据的步骤与操作S210～操作S250类似，不再赘述。

将每个单体村镇建筑的立面数据输入至目标识别模型中，目标识别模型可以对单体村镇建筑的建筑特点进行识别。

在本公开实施例中，图形输出550可以执行操作：获取单体村镇建筑的立面图像数据和与单体村镇建筑相关联的多个标签；以及根据立面图像数据和多个标签，生成可视化图像，可视化图像表征单体村镇建筑的建筑特点。

例如，在对单体村镇建筑进行建筑特征识别后，识别结果可以将单体村镇建筑的立面图像数据和对应的多个标签进行可视化关联展示。例如，在可视化界面上，在点击建筑风貌分类中的单体村镇建筑的立面图像数据后，可以相应的展示该单体村镇建筑的建筑风貌的详细信息。类似地，还可以关联展示该单体村镇建筑的建筑特点的详细信息。

例如，识别结果还可以将单体村镇建筑的建筑平面图像和多个标签可视化关联展示。建筑平面图像可以是俯视图或者俯视图。

图5B示意性示出了根据本公开实施例的建筑层数的识别结果的示意图。如图5所示，对多个单体村镇建筑的建筑层数的识别结果也可以进行可视化展示。具有不同建筑层数的单体村镇建筑可以采用不同的图例表示。可视化图像中代表每个单体村镇建筑的图例可以依据对应的每个单体村镇建筑在目标区域的分布情况而排列。在可视化图像中点击任意图例时，可显示该图例对应的单体村镇建筑的相关信息。例如坐标信息和高程信息。

通过本公开实施例，对单体村镇建筑的立面图像数据和多个标签进行关联展示，可以直接明了地展示每个单体村镇建筑的多个建筑特点，使得可以根据区域内每个单体村镇建筑的多个建筑特点制定相应的村镇规划策略，提高对识别结果的利用率。通过对识别结果进行可视化展示，并将可视化图像与数据交互界面的相配合，能够满足实际工作中快速查询单体建筑的多个属性特点或同一属性特点村镇建筑分布的需求。

基于上述村镇建筑的识别方法，本公开还提供了一种村镇建筑的识别装置。以下将结合图6对该装置进行详细描述。

图6示意性示出了根据本公开实施例的村镇建筑的识别装置的结构框图。

如图6所示，该实施例的村镇建筑的识别装置600包括构建模块610、提取模块620、标注模块630、生成模块640和识别模块650。

构建模块610用于基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，区域三维图像包括多个单体村镇建筑三维子图像。在一实施例中，构建模块610可以用于执行前文描述的操作S110，在此不再赘述。

提取模块620用于从区域三维图像中，分别提取多个单体村镇建筑三维子图像的立面图像数据。在一实施例中，提取模块620可以用于执行前文描述的操作S120，在此不再赘述。

标注模块630用于对多个立面图像数据的每个立面图像数据标注多个标签，得到多个单体村镇建筑三维子图像的标识数据，多个标签分别表征单体村镇建筑三维子图像的多个类型的建筑特点。在一实施例中，标注模块630可以用于执行前文描述的操作S130，在此不再赘述。

生成模块640用于根据多个单体村镇建筑三维子图像的标识数据，生成目标识别模型。在一实施例中，生成模块640可以用于执行前文描述的操作S140，在此不再赘述。

识别模块650用于利用目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。在一实施例中，识别模块650可以用于执行前文描述的操作S150，在此不再赘述。

根据本公开的实施例，构建模块610、提取模块620、标注模块630、生成模块640和识别模块650中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，构建模块610、提取模块620、标注模块630、生成模块640和识别模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，构建模块610、提取模块620、标注模块630、生成模块640和识别模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于实现村镇建筑的识别方法的电子设备的方框图。

如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分707加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的村镇建筑的识别方法或基于三维遥感影像进行村镇建筑性质自动分类方法。

在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种村镇建筑的识别方法，包括：

基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，所述区域三维图像包括多个单体村镇建筑三维子图像；

从所述区域三维图像中，分别提取所述多个单体村镇建筑三维子图像的立面图像数据；

对多个所述立面图像数据的每个立面图像数据标注多个标签，得到所述多个单体村镇建筑三维子图像的标识数据，所述多个标签分别表征所述单体村镇建筑三维子图像的多个类型的建筑特点；

根据所述多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及

利用所述目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

2.根据权利要求1所述的识别方法，其中，所述从所述区域三维图像中，分别提取所述多个单体村镇建筑三维子图像的立面图像数据，包括：

获取所述区域三维图像的三维点云数据和俯视图像；

将所述俯视图像投影至所述三维点云数据上，以从所述三维点云数据中分别筛选出所述多个单体村镇建筑三维子图像的第一点云数据和第二点云数据，所述第一点云数据表征单体村镇建筑三维子图像的边界，所述第二点云数据表征单体村镇建筑三维子图像的纹理；

根据所述第一点云数据，从所述区域三维图像中分别分割得到所述多个单体村镇建筑三维子图像的空间结构；

根据所述第二点云数据，对所述多个单体村镇建筑三维子图像的空间结构分别进行纹理贴图，得到所述多个单体村镇建筑三维子图像；以及分别提取所述多个单体村镇建筑三维子图像的立面图像数据。

3.根据权利要求1所述的识别方法，其中，所述对多个所述立面图像数据的每个立面图像数据标注多个标签，得到所述多个单体村镇建筑三维子图像的标识数据，包括：

采用多个标注模型对所述立面图像数据的每个立面数据标注多个标签，所述多个标注模型分别用于标注多个类型的标签；

采用所述多个标注模型对标注后的立面图像数据进行交叉验证；以及

在确定对所述标注后的立面图像数据验证通过的情况下，根据所述多个标签，为所述多个立面图像数据的每个立面图像数据设置多个离散变量，得到所述多个单体村镇建筑三维子图像的标识数据。

4.根据权利要求1所述的识别方法，其中，所述多个单体村镇建筑三维子图像的标识数据包括训练集数据、验证集数据和测试集数据；所述根据所述多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，包括：

针对多个候选识别模型中的每个候选识别模型，执行以下操作，得到多个测试结果：

利用所述训练集数据对所述候选识别模型进行训练，得到训练后的候选识别模型；

利用所述验证集数据对所述训练后的候选识别模型进行验证，得到验证结果；以及

在确定所述验证结果为通过的情况下，利用所述测试集数据对训练后的候选识别模型进行测试，得到针对所述候选识别模型的测试结果。

5.根据权利要求4所述的识别方法，其中，所述根据所述多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，还包括：

根据所述多个测试结果中的最优测试结果，从所述多个候选识别模型中确定所述目标识别模型。

6.根据权利要求4或5所述的识别方法，其中，所述根据所述多个单体村镇建筑三维子图像的标识数据，生成目标识别模型，还包括：

通过目标检测器，从多个所述三维子图像中，分别提取所述多个单体村镇建筑的门数据、窗数据和立面图像数据；以及

结合所述多个标签，通过所述门数据、所述窗数据和所述立面图像数据，对所述目标识别模型进行迭代训练，以得到优化后的目标识别模型。

7.根据权利要求6所述的识别方法，其中，所述目标检测器包括卷积层、目标检测层和筛选层，所述通过目标检测器，从多个所述三维子图像中，分别提取所述多个单体村镇建筑的门数据、窗数据和立面图像数据，包括：

通过所述卷积层从多个所述三维子图像中提取多个初始特征数据；

通过所述目标检测层对所述多个初始特征数据进行特征检测，得到初始门数据、初始窗数据和初始立面图像数据；以及

通过所述筛选层从所述初始门数据、初始窗数据和初始立面图像数据中，分别筛选出所述门数据、所述窗数据和所述立面图像数据。

8.根据权利要求1所述的识别方法，其中，所述利用所述目标识别模型，识别目标区域内的单体村镇建筑，包括：

获取所述目标区域的倾斜摄影数据；

基于所述目标区域的倾斜摄影数据，构建所述目标区域的区域三维图像；

从所述区域三维图像中提取多个单体村镇建筑的立面图像数据；以及

将所述立面数据输入至所述目标识别模型，得到所述目标区域内的多个单体村镇建筑的建筑特点。

9.根据权利要求1所述的识别方法，还包括：

获取所述单体村镇建筑的立面图像数据和与所述单体村镇建筑相关联的多个标签；以及

根据所述立面图像数据和所述多个标签，生成可视化图像，所述可视化图像表征所述单体村镇建筑的建筑特点。

10.一种基于三维遥感影像进行村镇建筑性质自动分类方法，其中，包括以下步骤：

获取研究区域内建筑的图像数据；

根据村镇建筑性质对所述图像数据进行分类及标注，得到标注数据库；

根据图像识别算法构建图像识别模型，并通过所述标注数据库对所述图像识别模型进行训练；

通过训练后的所述图像识别模型识别待分类区域内的建筑图像，得到所述待分类区域的建筑分类结果。

11.根据权利要求10所述的方法，其中，获取研究区域内建筑的图像数据包括：

通过无人机倾斜摄影采集所述研究区域的视频数据，对所述视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取所述研究区域内建筑的图像数据。

12.根据权利要求10所述的方法，其中，所述村镇建筑性质，包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。

13.根据权利要求10所述的方法，其中，还包括：

根据所述建筑分类结果对所述图像识别模型的参数进行调整；或

通过测试数据对所述图像识别模型进行测试，根据测试结果对所述图像识别网络的参数进行调整。

14.一种村镇建筑的识别装置，包括：

构建模块，用于基于样本倾斜摄影数据，构建村镇建筑区域的区域三维图像，所述区域三维图像包括多个单体村镇建筑三维子图像；

提取模块，用于从所述区域三维图像中，分别提取所述多个单体村镇建筑三维子图像的立面图像数据；

标注模块，用于对多个所述立面图像数据的每个立面图像数据标注多个标签，得到所述多个单体村镇建筑三维子图像的标识数据，所述多个标签分别表征所述单体村镇建筑三维子图像的多个类型的建筑特点；

生成模块，用于根据所述多个单体村镇建筑三维子图像的标识数据，生成目标识别模型；以及

识别模块，用于利用所述目标识别模型，识别目标区域内的多个单体村镇建筑的建筑特点。

15.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～9或10～13中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～9或10～13中任一项所述的方法。

Images