CN111931743B - 建筑违章监控方法、系统和电子设备 - Google Patents

Abstract

本申请公开了一种基于航拍图像结合模型框架信息的建筑违章监控方法、系统和电子设备。所述方法，包括：获取包含待检测建筑物的航拍图像；获取所述待检测建筑物的模型外立面图像；将所述航拍图像输入卷积神经网络以获得第一特征图；将所述模型外立面图像输入所述卷积神经网络以获取第二特征图；融合所述第一特征图与所述第二特征图以获得分类特征图；以及，基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。这样，结合航拍图像和待检测建筑物的模型框架信息以深度神经网络准确地确定所述待检测建筑物是否违章。

Description

建筑违章监控方法、系统和电子设备

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种基于航拍图像结合模型框架信息的建筑违章监控方法、系统和电子设备。

背景技术

“智慧城市”将信息技术与先进的城市经营服务理念进行有效融合，通过对城市的地理、资源、环境、经济等进行数字网络化管理，为城市提供更便捷、高效、灵活的公共管理的创新服务模式。

对于违章建筑的监控一直是城市管理领域中一个困难问题，尤其是在比较稀疏的建筑群落，比如，别墅区等，比较普遍地存在乱搭乱建等情况。这样建筑违章问题往往仅能够通过群众举报的方式来处理，缺乏主动的监控手段。

近年来，深度学习尤其是神经网络的发展为建筑违章监控的检测提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于航拍图像结合模型框架信息的建筑违章监控方法、系统和电子设备，其结合航拍图像和待检测建筑物的模型框架信息以深度神经网络准确地确定所述待检测建筑物是否违章。

根据本申请的一个方面，提供了一种基于航拍图像结合模型框架信息的建筑违章监控方法，其包括：

获取包含待检测建筑物的航拍图像；

获取所述待检测建筑物的模型外立面图像；

将所述航拍图像输入卷积神经网络以获得第一特征图；

将所述模型外立面图像输入所述卷积神经网络以获取第二特征图；

融合所述第一特征图与所述第二特征图以获得分类特征图；以及

基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，获取包括待检测建筑物的航拍图像，包括：获取包含多个建筑物的整体航拍图像；以及，对所述整体航拍图像进行分割以获得包括待检测建筑物的单体图像的航拍图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，获取所述待检测建筑物的模型外立面图像，包括：获取所述待检测建筑物的位置坐标；基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及，提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，获取所述待检测建筑物的模型外立面图像，包括：获取所述待检测建筑物的计算机辅助设计图；基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及，提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，获取所述待检测建筑物的模型外立面图像，包括：获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，将所述模型外立面图像输入所述第一卷积神经网络以获得第二特征图，包括：将所述两个或者两个以上的不同角度的模型外立面图像输入所述第一卷积神经网络以获得两个或者两个以上的角度特征图；以及，计算所述两个或者两个以上的角度特征图的按位置均值以获得所述第二特征图。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，融合所述第一特征图与所述第二特征图以获得分类特征图，包括：基于所述第二特征图计算所述第二特征图的每个位置的参考值；以及，以所述参考值对所述第一特征图的各个位置进行加权以获得所述分类特征图。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，基于所述第二特征图计算所述第二特征图的每个位置的参考值包括：对于所述第二特征图中的每个位置，计算以其为中心的N*N个位置的特征值的均值，以作为所述位置的参考值。

在上述基于航拍图像结合模型框架信息的建筑违章监控方法中，所述卷积神经网络通过有标签的航拍图像和有标签的建筑外立面图像的有监督训练获得。

根据本申请的另一方面，提供了一种基于航拍图像结合模型框架信息的建筑违章监控系统，其包括：

航拍图像获取单元，用于获取包含待检测建筑物的航拍图像；

模型外立面图像获取单元，用于获取所述航拍图像获取单元获得的所述待检测建筑物的模型外立面图像；

第一特征图生成单元，用于将所述航拍图像获取单元获得的所述航拍图像输入卷积神经网络以获得第一特征图；

第二特征图生成单元，用于将所述模型外立面图像获取单元获得的所述模型外立面图像输入所述卷积神经网络以获取第二特征图；

融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图与所述第二特征图生成单元获得的所述第二特征图以获得分类特征图；以及

分类单元，用于基于所述融合单元获得的所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述航拍图像获取单元，进一步用于：获取包含多个建筑物的整体航拍图像；以及，对所述整体航拍图像进行分割以获得包括待检测建筑物的单体图像的航拍图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述模型外立面图像获取单元，包括：位置坐标获取子单元，用于获取所述待检测建筑物的位置坐标；地理信息获取子单元，用于基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；三维模型构建子单元，用于基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元，用于提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述模型外立面图像获取单元，包括：计算机辅助设计图获取子单元，用于获取所述待检测建筑物的计算机辅助设计图；三维模型构建子单元，用于基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元，用于提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述模型外立面图像获取单元，进一步用于：获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述第二特征图生成单元，进一步用于：将所述两个或者两个以上的不同角度的模型外立面图像输入所述第一卷积神经网络以获得两个或者两个以上的角度特征图；以及，计算所述两个或者两个以上的角度特征图的按位置均值以获得所述第二特征图。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述融合单元，进一步用于：基于所述第二特征图计算所述第二特征图的每个位置的参考值；以及，以所述参考值对所述第一特征图的各个位置进行加权以获得所述分类特征图。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述融合单元，进一步用于：对于所述第二特征图中的每个位置，计算以其为中心的N*N个位置的特征值的均值，以作为所述位置的参考值。

在上述基于航拍图像结合模型框架信息的建筑违章监控系统中，所述卷积神经网络通过有标签的航拍图像和有标签的建筑外立面图像的有监督训练获得。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于航拍图像结合模型框架信息的建筑违章监控方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于航拍图像结合模型框架信息的建筑违章监控方法。

与现有技术相比，本申请提供的基于航拍图像结合模型框架信息的建筑违章监控方法、系统和电子设备，其结合航拍图像和待检测建筑物的模型框架信息以深度神经网络准确地确定所述待检测建筑物是否违章。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法的应用场景图。

图2图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法的流程图。

图3图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中获取所述待检测建筑物的模型外立面图像的流程图。

图4图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中获取所述待检测建筑物的模型外立面图像的流程图的另一流程图。

图5图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控系统的框图。

图6图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控系统中模型外立面图像获取单元的框图。

图7图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控系统中模型外立面图像获取单元的另一框图。

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，对于违章建筑的监控一直是城市管理领域中一个困难问题，尤其是在比较稀疏的建筑群落，比如，别墅区等，比较普遍地存在乱搭乱建等情况。这样建筑违章问题往往仅能够通过群众举报的方式来处理，缺乏主动的监控手段。

相较于道路两旁的建筑，可以方便地获取街景图像并通过图像语义分析技术来进行建筑物是否违章检测，但是，对于比如别墅区内的建筑来说，其一般远离公共道路，无法通过街景图像来进行检测。

近年来，随着无人机等无人监控手段的普及，获取预定区域的航拍图像变得更加便利，因此，本申请发明人考虑可以通过航拍图像来对建筑物违章情况进行监控。但是，由于航拍图像仅能够呈现出建筑物的俯视图，尽管可以通过图像的深度信息处理等方式来获得图像的相对立体的信息，但这种信息的精确性难以保证，尤其是通过卷积神经网络提取其高维特征之后，精确性方面的微小扰动都会被放大到注意影响分类准确性的程度。

基于此，本申请的申请人进一步考虑额外获取建筑物的三维立体信息，比如建筑物的框架信息，以与航拍图像结合来进行违章建筑的监控。并且，相对于直接将建筑物的框架信息转换为特征向量的方式，生成建筑物的模型外立面图像并通过卷积神经网络提取其特征更有利于与航拍图像的特征图进行融合，从而提高分类结果的准确度。

值得注意的是，在本申请中，模型外立面图像不仅包括模型的框架线条，而且基于框架线条对于建筑物的外立面进行了填充，使得从模型外立面图像提取的特征不仅包括建筑物的框架特征，而且能够包括建筑物的外立面的连续性特征，即建筑物的整体轮廓特征，这有助于增加能够识别的违章类型，比如识别破坏了建筑外立面连续性的违章，例如在墙壁上搭建外露台等。

基于此，本申请提出了一种基于航拍图像结合模型框架信息的建筑违章监控方法，其包括：获取包含待检测建筑物的航拍图像；获取所述待检测建筑物的模型外立面图像；将所述航拍图像输入卷积神经网络以获得第一特征图；将所述模型外立面图像输入所述卷积神经网络以获取第二特征图；融合所述第一特征图与所述第二特征图以获得分类特征图；以及，基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。

图1图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法的应用场景图。

如图1所示，在该应用场景中，通过无人机等航拍设备（例如，如图1中所示意的UAV）采集包括待检测建筑物（例如，如图1中所示意的B）的航拍图像。然后，通过相关手段生成所述待检测建筑物的模型外立面图像（例如，如图1中所示意的Fm）。接着，将所述航拍图像和所述模型外立面图像输入至部署有基于航拍图像结合模型框架信息的建筑违章监控算法的服务器中（例如，如图1所示意的S），其中，所述服务器能够基于航拍图像结合模型框架信息的建筑违章监控算法对所述航拍图像和所述模型外立面图像进行处理，以检测出所述待检测建筑物是否违章。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法的流程图。如图2所示，根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法，包括：S110，获取包含待检测建筑物的航拍图像；S120，获取所述待检测建筑物的模型外立面图像；S130，将所述航拍图像输入卷积神经网络以获得第一特征；S140，将所述模型外立面图像输入所述卷积神经网络以获取第二特征图；S150，融合所述第一特征图与所述第二特征图以获得分类特征图；以及，S160，基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。

在步骤S110中，获取包含待检测建筑物的航拍图像。在具体实施中，可通过诸如无人机之类的航拍设备采集包含待检测建筑物的航拍图像，之所以使用航拍设备的原因在于：一方面，所述待检测建筑物并非位于道路旁，通常设置于道路旁的监控设备无法获取其图像；另一方面，很多建筑物违章建筑发生在建筑物的较高处，例如，在屋顶搭建菜园、在墙壁上搭建外露台等，这些情况下，高度较低的监控设备无法采集到包含目标待检测区域的图像。

在本申请一具体示例中，获取包括待检测建筑物的航拍图像的过程，包括：首先，获取包含多个建筑物的整体航拍图像；然后，对所述整体航拍图像进行分割以获得包括待检测建筑物的单体图像的航拍图像。也就是，首选获取多个建筑物的整体航拍图像，然后，从所述整体航拍图像中筛选出所述待检测建筑物。

在该示例中，考虑到通常所述待检测建筑物的模型框架信息是基于单个建筑物的，因此，为了提高对建筑物违章检测的针对性，将所述整体航拍图像进行分割，以识别出单体的所述待检测图像。在具体实施中，可通过图像语义分割技术或者其他对象识别技术，从所述整体航拍图像中获取所述待检测建筑物。

在步骤S120中，获取所述待检测建筑物的模型外立面图像。这里，所述待检测建筑物的模型外立面图像包含所述待检测建筑物的三维立体信息，从而能够结合航拍图像来进行违章建筑的监控。

并且，应注意到在本申请实施中，相对于直接将建筑物的框架信息转换为特征向量的方式，生成建筑物的模型外立面图像并通过卷积神经网络提取其特征更有利于与航拍图像的特征图进行融合，从而提高分类结果的准确度。进一步地，在本申请实施例中，所述模型外立面图像不仅包括模型的框架线条，而且基于框架线条对于建筑物的外立面进行了填充，使得从模型外立面图像提取的特征不仅包括建筑物的框架特征，而且能够包括建筑物的外立面的连续性特征，即建筑物的整体轮廓特征，这有助于增加能够识别的违章类型，比如识别破坏了建筑外立面连续性的违章，例如在墙壁上搭建外露台等。

在本申请一具体示例中，获取所述待检测建筑物的模型外立面图像的过程，包括如下步骤。

首先，获取所述待检测建筑物的位置坐标。例如，通过GPS定位系统获得所述待检测建筑物的位置坐标。

然后，基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围。这里，通过基于位置坐标来检索地理信息数据库，可以通过比较容易的手段来获得所述待检测建筑物的地理坐标范围，从而基于地理坐标范围构建出大致的待检测建筑物的三维模型。

接着，基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型。这里，因为几乎所有建筑物均包括在地理信息数据库中，因此通过该方式可以容易地构建出建筑物的三维模型，而不存在无法获得用于构建三维模型的相关信息的情况。

然后，提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像。这里应注意到，由于建筑物的地理坐标范围仅能够反映出建筑物的外围轮廓形状，构建出的三维模型的精度不是很高，也相应地影响了模型外立面图像中的建筑物框架特征的充足性。

图3图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中获取所述待检测建筑物的模型外立面图像的流程图。如图3所示，获取所述待检测建筑物的模型外立面图像，包括步骤：S210，获取所述待检测建筑物的位置坐标；S220，基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；S230，基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及，S240，提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像。

在本申请另一示例中，获取所述待检测建筑物的模型外立面图像的过程，包括如下步骤。

首先，获取所述待检测建筑物的计算机辅助设计图。这里，计算机辅助设计图，即通常熟知的CAD图。

接着，基于所述计算机辅助设计图构建所述待检测建筑物的三维模型。这里，因为所述计算机辅助设计图能够精确地描绘建筑物的三维形状，因此通过计算机辅助设计图可以构建建筑物的精确的三维模型，这样，所提取的模型外立面图像能够精确地表示建筑物的外形特征，从而提高分类的精度。

然后，提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。值得一提的是，通过该示例所展示的方法能够准确地获取表示建筑物的外形特征，但是，由于待检测建筑物的CAD图并不总是能够方便地获得，因此在提高精确性的同时也降低了便利性。

图4图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中获取所述待检测建筑物的模型外立面图像的流程图的另一流程图。如图4所示，获取所述待检测建筑物的模型外立面图像，包括步骤：S310，获取所述待检测建筑物的计算机辅助设计图；S320，基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及，S330，提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。

值得一提的是，在上述两个示例中，在获取所述待检测建筑物的模型外立面图像的过程中，可获取所述待检测建筑物的一张模型外立面图像，因为即使只使用一个角度的模型外立面图像，也可以通过高维特征来显示出建筑物的形状特征，而并不是像直观图像那样只能够反映出建筑物的一个角度的外观形状，因此，即使只有一张模型外立面图像，也可以通过卷积神经网络提取特征并使用分类函数分类获得比较准确的计算结果。

当然，也可以获得多张所述待检测建筑物的模型外立面图像。优选地，当获得多张所述待检测建筑物的模型外立面图像时，所述待检测建筑物的多张模型外立面图像为所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像，这样可进一步丰富卷积神经网络所提取出的建筑物的高维形状特征，从而进一步提高分类的准确性。例如，当包括两张不同角度的模型外立面图像时，两个角度可以是相对的两个角度、当包括三张不同角度的模型外立面图像时，三个角度可以彼此呈120度，对此，并不为本申请所局限。

也就是，在本申请实施例中，获取所述待检测建筑物的模型外立面图像，进一步包括：获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

在步骤S130中，将所述航拍图像输入卷积神经网络以获得第一特征图。也就是，通过卷积神经网络提取所述航拍图像的图像特征。

在步骤S140中，将所述模型外立面图像输入所述卷积神经网络以获取第二特征图。也就是，通过卷积神经网络提取所述模型外立面图像的高维特征，其不仅包括所述待检测建筑物的框架特征，还包括所述待检测建筑物的外立面的连续性特征，即，所述待检测建筑物的轮廓特征。

值得一提的是，当包括多张所述待检测建筑物的所述模型外立面图像时，将所述模型外立面图像输入所述第一卷积神经网络以获得第二特征图，包括：将所述两个或者两个以上的不同角度的模型外立面图像输入所述第一卷积神经网络以获得两个或者两个以上的角度特征图；以及，计算所述两个或者两个以上的角度特征图的按位置均值以获得所述第二特征图。

特别地，通过简单地将多个特征图进行平均，可以从建筑物的整体角度来体现建筑物的全局性的高维形状特征。并且，也是由于无法判断哪个角度的模型外立面图像在用于建筑物违章检测中具有更重要的作用，因此进行平均化的处理。

在步骤S150中，融合所述第一特征图与所述第二特征图以获得分类特征图。也就是，结合所述待检测建筑物的三维立体信息和航拍图像的特征，来对所述待检测建筑物是否违章进行检测。

在本申请一具体示例中，融合所述第一特征图与所述第二特征图以获得分类特征图的过程，包括：首先，基于所述第二特征图计算所述第二特征图的每个位置的参考值；然后，以所述参考值对所述第一特征图的各个位置进行加权以获得所述分类特征图。

也就是，使用第二特征图中的高维形状特征作为参考，来对第一特征图中的各个位置的值进行优化，从而在第一特征图的高维特征中体现与图像的框架和外立面形状信息相关联的特征，以充分利用建筑物图像的框架和轮廓信息，提高分类精度。

在该示例中，基于所述第二特征图计算所述第二特征图的每个位置的参考值，包括：对于所述第二特征图中的每个位置，计算以其为中心的N*N个位置的特征值的均值，以作为所述位置的参考值。值得一提的是，通过计算区域均值，可以更好地利用图像的框架和轮廓中的连续性信息，以基于连续性特征地对第一特征图进行加权，有助于提高第一特征图中的各个位置的特征之间的关联性，从而进一步提高分类精度。

在步骤S160中，基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。这里，所述分类函数可被实施为Softmax分类函数，即，二元分类函数，其标签为所述待检测建筑物违章和所述待检测建筑物不违章。当然，在本申请其他示例，所述分类函数还可以被设置为其他分类函数，对此，并不为本申请所局限。

综上，基于本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控方法被阐明，其结合航拍图像和待检测建筑物的模型框架信息以深度神经网络准确地确定所述待检测建筑物是否违章。

值得一提的是，根据本申请实施例的所述卷积神经网络通过有标签的航拍图像和有标签的建筑外立面图像的有监督训练获得。应可以理解，有监督学习方式可以促进所述卷积神经网络以更快的速度和以较少的计算量往梯度下降最快的方向收敛。

示例性系统

图5图示了根据本申请实施例的基于航拍图像结合模型框架信息的建筑违章监控系统的框图。

如图5所示，根据本申请实施例的建筑违章监控系统500，包括：航拍图像获取单元510，用于获取包含待检测建筑物的航拍图像；模型外立面图像获取单元520，用于获取所述航拍图像获取单元510获得的所述待检测建筑物的模型外立面图像；第一特征图生成单元530，用于将所述航拍图像获取单元510获得的所述航拍图像输入卷积神经网络以获得第一特征图；第二特征图生成单元540，用于将所述模型外立面图像获取单元520获得的所述模型外立面图像输入所述卷积神经网络以获取第二特征图；融合单元550，用于融合所述第一特征图生成单元530获得的所述第一特征图与所述第二特征图生成单元540获得的所述第二特征图以获得分类特征图；以及，分类单元560，用于基于所述融合单元550获得的所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章。

在一个示例中，在上述建筑违章监控系统500中，所述航拍图像获取单元510，进一步用于：获取包含多个建筑物的整体航拍图像；以及，对所述整体航拍图像进行分割以获得包括待检测建筑物的单体图像的航拍图像。

在一个示例中，在上述建筑违章监控系统500中，如图6所示，所述模型外立面图像获取单元520，包括：位置坐标获取子单元521A，用于获取所述待检测建筑物的位置坐标；地理信息获取子单元522A，用于基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；三维模型构建子单元523A，用于基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元524A，用于提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像。

在一个示例中，在上述建筑违章监控系统500中，如图7所示，所述模型外立面图像获取单元520，包括：计算机辅助设计图获取子单元521B，用于获取所述待检测建筑物的计算机辅助设计图；三维模型构建子单元522B，用于基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元523B，用于提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。

在一个示例中，在上述建筑违章监控系统500中，所述模型外立面图像获取单元520，进一步用于：获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

在一个示例中，在上述建筑违章监控系统500中，所述第二特征图生成单元540，进一步用于：将所述两个或者两个以上的不同角度的模型外立面图像输入所述第一卷积神经网络以获得两个或者两个以上的角度特征图；以及，计算所述两个或者两个以上的角度特征图的按位置均值以获得所述第二特征图。

在一个示例中，在上述建筑违章监控系统500中，所述融合单元550，进一步用于：基于所述第二特征图计算所述第二特征图的每个位置的参考值；以及，以所述参考值对所述第一特征图的各个位置进行加权以获得所述分类特征图。

在一个示例中，在上述建筑违章监控系统500中，所述融合单元550，进一步用于：对于所述第二特征图中的每个位置，计算以其为中心的N*N个位置的特征值的均值，以作为所述位置的参考值。

在一个示例中，在上述建筑违章监控系统500中，所述卷积神经网络通过有标签的航拍图像和有标签的建筑外立面图像的有监督训练获得。

这里，本领域技术人员可以理解，上述建筑违章监控系统500中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于航拍图像结合模型框架信息的建筑违章监控方法描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的建筑违章监控系统500可以实现在各种终端设备中，例如用于监控建筑违章的服务器等。在一个示例中，根据本申请实施例的建筑违章监控系统500可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该建筑违章监控系统500可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该建筑违章监控系统500同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该建筑违章监控系统500与该终端设备也可以是分立的设备，并且该建筑违章监控系统500可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图8来描述根据本申请实施例的电子设备。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如航拍图像、模型外立面图等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于航拍图像结合模型框架信息的建筑违章监控方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种基于航拍图像结合模型框架信息的建筑违章监控方法，其特征在于，包括：获取包含待检测建筑物的航拍图像；获取所述待检测建筑物的模型外立面图像；将所述航拍图像输入卷积神经网络以获得第一特征图；将所述模型外立面图像输入所述卷积神经网络以获取第二特征图；融合所述第一特征图与所述第二特征图以获得分类特征图；以及基于所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章；

其中，获取包括待检测建筑物的航拍图像，包括：获取包含多个建筑物的整体航拍图像；以及对所述整体航拍图像进行分割以获得包括待检测建筑物的单体图像的航拍图像；

其中，获取所述待检测建筑物的模型外立面图像，包括：获取所述待检测建筑物的位置坐标；基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像；

其中，获取所述待检测建筑物的模型外立面图像，包括：获取所述待检测建筑物的计算机辅助设计图；基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像。

2.根据权利要求1所述的基于航拍图像结合模型框架信息的建筑违章监控方法，其中，获取所述待检测建筑物的模型外立面图像，包括：

获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

3.根据权利要求2所述的基于航拍图像结合模型框架信息的建筑违章监控方法，其中，将所述模型外立面图像输入所述卷积神经网络以获得第二特征图，包括：

将所述两个或者两个以上的不同角度的模型外立面图像输入所述卷积神经网络以获得两个或者两个以上的角度特征图；以及

计算所述两个或者两个以上的角度特征图的按位置均值以获得所述第二特征图。

4.根据权利要求1所述的基于航拍图像结合模型框架信息的建筑违章监控方法，其中，融合所述第一特征图与所述第二特征图以获得分类特征图，包括：

基于所述第二特征图计算所述第二特征图的每个位置的参考值；以及

以所述参考值对所述第一特征图的各个位置进行加权以获得所述分类特征图。

5.根据权利要求4所述的基于航拍图像结合模型框架信息的建筑违章监控方法，其中，基于所述第二特征图计算所述第二特征图的每个位置的参考值包括：

对于所述第二特征图中的每个位置，计算以其为中心的N*N个位置的特征值的均值，以作为所述位置的参考值。

6.一种基于航拍图像结合模型框架信息的建筑违章监控系统，其特征在于，包括：

航拍图像获取单元，用于获取包含待检测建筑物的航拍图像；

模型外立面图像获取单元，用于获取所述航拍图像获取单元获得的所述待检测建筑物的模型外立面图像；

第一特征图生成单元，用于将所述航拍图像获取单元获得的所述航拍图像输入卷积神经网络以获得第一特征图；

第二特征图生成单元，用于将所述模型外立面图像获取单元获得的所述模型外立面图像输入所述卷积神经网络以获取第二特征图；

融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图与所述第二特征图生成单元获得的所述第二特征图以获得分类特征图；以及

分类单元，用于基于所述融合单元获得的所述分类特征图使用分类函数以获得所述航拍图像的分类结果，所述分类结果用于表示所述待检测建筑物是否违章；

所述模型外立面图像获取单元包括：位置坐标获取子单元，用于获取所述待检测建筑物的位置坐标；地理信息获取子单元，用于基于所述位置坐标检索地理信息数据库以获得所述待检测建筑物的地理信息，所述地理信息至少包括所述待检测建筑物的地理坐标范围；三维模型构建子单元，用于基于所述待检测建筑物的地理坐标范围构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元，用于提取所述三维模型的模型框架信息并填充外立面以生成所述模型外立面图像，

所述模型外立面图像获取单元还包括：计算机辅助设计图获取子单元，用于获取所述待检测建筑物的计算机辅助设计图；三维模型构建子单元，用于基于所述计算机辅助设计图构建所述待检测建筑物的三维模型；以及，外立面图像生成子单元，用于提取所述三维模型的模型框架信息并填充以生成所述模型外立面图像；

所述模型外立面图像获取单元，进一步用于：获取所述待检测建筑物的两个或者两个以上的不同角度的模型外立面图像。

7.一种电子设备，包括：

处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的基于航拍图像结合模型框架信息的建筑违章监控方法。

Images