CN112633114A - 面向建筑物变化事件的无人机巡查智能预警方法和装置 - Google Patents

面向建筑物变化事件的无人机巡查智能预警方法和装置 Download PDF

Info

Publication number
CN112633114A
CN112633114A CN202011495674.5A CN202011495674A CN112633114A CN 112633114 A CN112633114 A CN 112633114A CN 202011495674 A CN202011495674 A CN 202011495674A CN 112633114 A CN112633114 A CN 112633114A
Authority
CN
China
Prior art keywords
image
image block
building
detected
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011495674.5A
Other languages
English (en)
Other versions
CN112633114B (zh
Inventor
李先美
陈壮壮
柯小龙
曾崛
刘桂彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Woven Brain Intelligence Technology Co ltd
Original Assignee
Shenzhen Zhongke Baotai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Baotai Technology Co ltd filed Critical Shenzhen Zhongke Baotai Technology Co ltd
Priority to CN202011495674.5A priority Critical patent/CN112633114B/zh
Publication of CN112633114A publication Critical patent/CN112633114A/zh
Application granted granted Critical
Publication of CN112633114B publication Critical patent/CN112633114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种面向建筑物变化事件的无人机巡查智能预警方法和装置，用于对无人机的采查数据进行智能处理，智能预警，提高建筑物变化检测效率，降低建筑物变化检测成本。该方法可以包括：确定待采查区域的基准图和基准标注图；获取待检测图，待检测图为无人机按照预设航线进行飞行作业的过程中，通过搭载的图像采集装置对采查区域的待检测建筑物进行图像采集得到的影像数据；使用建筑物变化检测算法对待检测图、基准图和基准标注图进行处理，得到建筑物变化检测结果；根据建筑物变化检测结果进行预警，并将所述待检测图更新为新的基准图。

Description

面向建筑物变化事件的无人机巡查智能预警方法和装置
技术领域
本申请属于人工智能和无人机技术领域，尤其涉及一种面向建筑物变化事件的无人机巡查智能预警方法和装置。
背景技术
目前，一般是采用卫星地图的方式或者人工的方式去肉眼查看的方式，来对建筑物进行变化检测。卫星地图的方式，价格高昂周期长，分辨率低，识别精度低，而人工的方式，消耗时间长，需要大量的人力,当需要检测很多建筑物区域的异常情况时，面临着需要花费大量的时间及效率低等问题。
另外，随着无人机技术的不断发展，无人机的应用也越来越广泛，无人机巡采巡查则是一种较为常见的应用。
无人机巡采巡查替代人力巡采巡查，不仅可以提高巡采巡查效率，还可以减少人力成本。但是，现有的无人巡查过程中，不能对采查数据进行智能处理，不能进行智能预警。
发明内容
本申请实施例提供一种面向建筑物变化事件的无人机巡查智能预警方法和装置，可以对无人机的采查数据进行智能处理，智能预警，还提高了建筑物变化检测效率，降低了建筑物变化检测成本。
第一方面，本申请实施例提供一种面向建筑物变化的无人机巡查智能预警方法，该方法包括：
确定待采查区域的基准图和基准标注图，基准标注图为对基准图中的建筑物进行标注得到的图像；
获取待检测图，待检测图为无人机按照预设航线进行飞行作业的过程中，通过搭载的图像采集装置对待采查区域的待检测建筑物进行图像采集得到的影像数据；
使用建筑物变化检测算法对待检测图、基准图和基准标注图进行处理，得到建筑物变化检测结果；
根据所述建筑物变化检测结果进行预警，并将待检测图更新为新的基准图。
本申请实施例在获取到无人机采集的待检测图之后，使用建筑物变化检测算法进行建筑物变化检测，得到建筑物变化检测结果，最后根据建筑物变化检测结果进行预警，实现了对无人机采查数据的智能处理，智能预警。另外，通过无人机拍摄的待检测图像和基准图等，实现了建筑物变化检测，相较于人工检测，提高了检测效率，降低了检测成本。
在第一方面的一些可能的实现方式中，在确定待采查区域的基准图和基准标注图之前，还包括：
确定建筑物变化事件和待采查区域；
规划出待采查区域的所述预设航线；
对建筑物变化事件配置建筑物变化检测算法；
获取待采查区域的基准图，基准图为无人机按照预设航线飞行的过程中采集的图像；
对基准图进行标注，得到基准标注图。在第一方面的一些可能的实现方式中，上述使用建筑物变化检测算法对待检测图、基准图和基准标注图进行处理，得到建筑物变化检测结果的过程可以包括：
提取基准标注图中各个建筑物的图像块作为待匹配图像块，并将待匹配图像块与待检测图输入至深度学习匹配模型，获得深度学习匹配模型输出的，各个待匹配图像块与待检测图中对应待检测建筑物的图像块之间的匹配值和匹配位置；
根据匹配值和匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块；
根据待检测图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块，目标变化区域图像块对应的建筑物为已发生变化的建筑物。
在第一方面的一些可能的实现方式中，上述根据匹配值和匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块的过程可以包括：
比较匹配值与预设匹配值阈值之间的大小；
根据匹配位置，计算待匹配图像块的中心点和待检测图中与待匹配图像块对应的图像块的中心点之间的偏移量；
比较偏移量与偏移量阈值之间的大小；
将匹配值小于预设匹配值阈值，和/或，偏移量大于偏移量阈值对应的待匹配图像块，确定为符合预设条件的待匹配图像块，并作为候选变化区域图像块。
在第一方面的一些可能的实现方式中，该方法还可以包括：
将匹配值大于预设匹配值阈值，且偏移量小于偏移量阈值对应的待匹配图像块作为目标待匹配图像块；
将每个目标待匹配图像块的中心点，以及待检测图中与目标待匹配图像块对应的图像块的中心点作为一组匹配点，得到第一匹配点集合；
和/或，
提取基准图的特征点，提取待检测图的特征点；
计算基准图的特征点和待检测图的特征点之间的匹配度；
将匹配度大于预设匹配度阈值的基准图的特征点和待检测图的特征点作为一组匹配点，得到第二匹配点集合。
在第一方面的一些可能的实现方式中，上述根据待检测图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块的过程可以包括：
对待检测图进行矫正，得到待检测图的矫正图；
使用矫正图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块。
在第一方面的一些可能的实现方式中，对待检测图进行矫正，得到待检测图的矫正图，包括：
使用第一匹配点集合和/或第二匹配点集合，对基准图和待检测图进行仿射变换，得到待检测图的矫正图。
在第一方面的一些可能的实现方式中，上述使用矫正图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块的过程可以包括：
从矫正图和基准图提取各个候选变化区域图像块对应的图像块对，图像块对包括矫正图中与候选变化区域图像块对应的图像块，以及基准图中与候选变化区域图像块对应的图像块；
根据各图像块对中两个图像块之间的相似度，从图像块对中确定目标图像块对；
将目标图像块对对应的候选变化区域图像块作为目标变化区域图像块。
在第一方面的一些可能的实现方式中，上述根据各图像块对中两个图像块之间的相似度，从图像块对中确定目标图像块对的过程可以包括：
对图像块对进行阴影处理，得到阴影处理后的图像块对；
计算阴影处理后的图像块对中每个图像块的光照强度；
过滤光照强度小于光照强度阈值的图像块对应的图像块对，得到光照过滤后的图像块对；
计算光照过滤后的图像块对中两个图像块之间的相似度；
将相似度低于预设相似度阈值对应的图像块对作为目标图像块对。
在第一方面的一些可能的实现方式中，根据建筑物变化检测结果进行预警的过程可以包括：
当建筑物变化检测结果为建筑物已发生变化时，向后台系统发送预警信息。
在第一方面的一些可能的实现方式中，建筑物变化包括：加建、插建、接建以及倒塌。
第二方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。
第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。
第四方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的面向建筑物变化事件的无人机巡查智能预警方法的流程的示意框图；
图2为本申请实施例提供的建筑物变化检测过程的流程示意框图；
图3为本申请实施例提供的基准标注图过程的流程示意框图；
图4为本申请实施例提供的基于无人机的建筑物变化检测过程的另一种流程示意框图；
图5为本申请实施例提供的基准图的示意图；
图6为本申请实施例提供的基准标注图的示意图；
图7为本申请实施例提供的带框的检测图的示意图；
图8为本申请实施例提供的待检测图的矫正图的示意图；
图9为本申请实施例提供的面向建筑物变化事件的无人机巡查智能预警装置的结构示意框图；
图10为本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。
在无人机飞行作业(或常态化采查作业)前，需要确定出建筑物变化事件和待采查区域，并规划出相应的航线等过程。
下面结合图1对无人机飞行作业，具体是无人机飞行作业前以及进行飞行作业过程时的面向建筑物变化事件的无人机巡查智能预警方法的相关流程进行介绍说明，图1将无人机常态化作业前的流程(即步骤S101～S103)涵盖进面向建筑物变化事件的无人机巡查智能预警方法的流程进行说明。
当然，因为步骤S101～S103为无人机常态化作业前的流程，也可不被涵盖进该过程进行说明。
参见图1，为本申请实施例提供的面向建筑物变化事件的无人机巡查智能预警方法的流程的示意框图，该过程可以包括以下步骤：
步骤S101、确定建筑物变化事件和待采查区域。
需要说明，上述建筑物变化事件包括一个或多个采查任务，且这多个采查任务一般是针对建筑物的楼顶或者基于建筑物的楼顶的采查任务。示例性地，采查任务包括但不限于以下至少一项：楼顶加建、插建、接建和建筑物倒塌。
其中，加建指的是楼顶加建建筑物或者工棚等。
插建指的是在建筑物或者房屋之间较窄的范围插建建筑物。
接建指的是在建筑物旁边接建建筑物或者工棚等。
上述待采查区域是指无人机进行巡采巡查，执行建筑物变化事件包含的采查任务的区域。该待采查区域可以根据用户需求确定，例如，用户需要对A区域进行建筑物变化事件的巡采巡查，A区域则为待采查区域。
具体地，用户可以在无人机的地面站系统中选择待采查区域，选择采查任务，以确定建筑物变化事件等。
步骤S102、规划待采查区域的预设航线。
上述无人机航线是指确定得到待采查区域后，基于建筑物变化事件，获取待采查区域内的建筑物信息，规划出的无人机的航线(简称无人机航线)。
可以理解，在待采查区域内可能存在多个建筑物，先获取待采查区域内的各个建筑物的信息，各个建筑物信息包括各个建筑物的地理位置信息，或者各个建筑物的楼顶位置信息。该建筑物或者楼顶位置信息可以具体为建筑物或者楼顶的经纬度信息。
再根据建筑物或者楼顶位置信息，使用航线规划算法，规划出无人机的航线，该航线可以覆盖待采查区域内各个建筑物或者各个建筑物的楼顶。
在规划出预设航线后，将预设航线等相关信息加载到无人机。然后，无人机则可以按照预设航线进行飞行，对待采查区域内的建筑物进行图像采集，得到对应的影像数据。
步骤S103、对建筑物变化事件配置建筑物变化检测算法。
具体地，对建筑物变化事件的各个采查任务配置对应的人工智能算法，无人机地面站系统在确定出建筑物变化事件和待采查区域之后，可以给每个采查任务配置对应的人工智能算法。
在给采查任务配置人工智能算法时，通常是根据采查任务的内容进行配置的。例如，对于楼顶加建、接建、插建或者建筑物倒塌等采查任务，配置的人工智能算法则为建筑物变化检测算法。
上述建筑物变化建筑算法是预先设置好的。例如，针对建筑物变化检测算法，采用深度学习匹配模型(Quality-Aware Template Matching For Deep Learning，QATM)确定匹配位置和匹配值，再根据匹配位置和匹配值，确定出建筑物是否发生变化。
可以理解，给各个采查任务配置对应的人工智能算法可以是指将采查任务和各个人工智能算法关联起来，后续可以根据采查任务找到对应的人工智能算法。
步骤S104、获取待采查区域的基准图，该基准图是无人机按照预设航线飞行的过程中采集的图像。
在执行完上述步骤之后，无人机地面站系统将预设航线等相关信息加载到无人机，无人机则可以按照所加载的航线进行飞行作业。
在飞行作业的过程中，无人机通过搭载的摄像头拍摄影像数据，并实时将拍摄得到的影像数据回传到地面站系统。
无人机地面站系统实时接收无人机回传的影像数据，无人机地面站系统将当次采集的影像数据作为待采查区域的基准图。
由于规划的无人机航线覆盖了各个建筑物或者各个建筑物的楼顶，故拍摄得到影像数据可以查看到各个建筑物或者各个建筑物的楼顶的情况。
通常情况下，在对待采查区域进行勘探，或者进行常态化飞行作业之前，无人机先按照预设航线进行飞行，并拍摄得到影像数据。该影像数据作为常态化飞行作业时的基准图。
步骤S105、对基准图进行标注，得到基准标注图。
上述基准图为无人机使用规划得到的无人机航线进行飞行作业或者勘探勘查作业，通过搭载的摄像头拍摄得到的图像。
在得到基准图之后，对该基准图进行标注，得到基准标注图。
在一些实施例中，标注过程可以如图2所示。参见图2，为本申请实施例提供的基准标注图过程的流程示意框图，该过程可以包括以下步骤：
步骤S201、对基准图中的各个建筑物进行编号。
步骤S202、对编号后的各个建筑物进行标注，得到基准标注图。
在标注之前，可以先按照栋级给每一栋建筑物编号，然后使用数据标注软件(例如，Lableme)，分别给每栋建筑物进行次级编号标注，即将一栋建筑物分成几个小块进行标注。
例如，按照100*100的大小，将建筑物分成几个小块进行标注。具体地，按照栋级，给建筑物A的编号为2，按照100*100的大小，将建筑物A分为4块，分别为每一个进行次级编号标注，这4块的编号分别为No2_1、No2_2、No2_3和No2_4。依此，对基准图中的每一栋建筑物进行标注，即可得到基准图的基准标注图。
当然，在其它一些实施例中，也可以按照大于20*20的大小，对基准图中的建筑物进行标注，在此不作限定。
在基准标注图中，每栋建筑物都会被标注为几个小块。在一些实施例中，可以根据标注情况，先提取出基准标注图中各个建筑物的图像块。例如，基准标注图中的建筑物A分为4块，编号分别为No2_1、No2_2、No2_3和No2_4。基于建筑物A的标注，可以提取出：No2_1对应的图像块，No2_2对应的图像块，No2_3对应的图像块，以及No2_4对应的图像块。依此，提取基准标注图中各个建筑物的图像块。为了便于描述，将基准标注图中各个建筑物的图像块作为待匹配图像块。
需要说明，上述步骤S101～S105的流程可以在无人机的地面站系统上执行。通过步骤S101～步骤S105，可以得到预设航线、基准图、基准标注图、建筑物变化事件以及待采查区域等相关信息。
在执行完步骤S101～S105对应的流程之后，无人机则可以进行常态化飞行作业，即进行建筑物变化检测。
也就是说，无人机可以按照所加载的预设航线进行飞行作业，进行面向建筑物变化事件的无人机巡查智能预警过程。
在飞行作业的的过程中，无人机通过搭载的摄像头拍摄影像数据，并实时将拍摄得到的影像数据回传到地面站系统。
地面站系统实时接收无人机回传的影像数据，并对影像数据进行人工智能处理，得到建筑物变化检测结果，最后根据建筑物变化检测结果进行预警。
下面将对无人机进行常态化作业的面向建筑物变化事件的无人机巡查智能预警方法的过程进行介绍说明。该方法还可以包括以下步骤：
步骤S106、确定待采查区域的基准图和基准标注图。
具体应用中，无人机地面站系统可以通过读取预先存储的基准图和基准标注图，以确定出基准图和基准标注图。
步骤S107、按照预设航线进行飞行并获得待检测图。
上述待检测图为无人机按照预设航线进行常态化采查作业的过程中，通过搭载的图像采集装置对待采查区域的待检测建筑物进行图像采集得到的影像数据。
具体地，在无人机按照预设航线对待采查区域进行常态化采查作业过程中，地面站系统实时接收无人机回传的影像数据，以获取到待检测图。
该待检测图可以是无人机在航线模式下，在某个航点处，通过搭载的图像采集设备，采集得到图像数据。该待检测图中包括一个或多个建筑物，这一个或多个建筑物为待检测建筑物。
航线模式是指无人机按照航线飞行，在固定航点拍照。
步骤S108、使用建筑物变化检测算法对待检测图、基准图和基准标注图进行处理，得到建筑物变化检测结果。
步骤S109、根据建筑物变化检测结果进行预警，并将待检测图更新为新的基准图。
可以理解，针对建筑物变化检测结果，其具体表现为建筑物已发生变化和建筑物没有发生变化，此时，当判断出建筑物已发生变化时，则向后台系统发送一个预警信息；反之，如果建筑物没有发生变化，则不进行预警。
具体应用中，该预警信息可以包括图像信息和位置信息等。例如，当判断出某处建筑物已发生变化时，则将该处建筑物的图像和建筑物所处位置一并作为预警信息发送给后台系统。后台系统接收到预警信息后，将预警信息分拨到对应的管理部门进行处置。
需要说明，将待检测图更新为新的基准图是指：将当次的待检测图作为下一次无人机常态化作业的基准图。
也就是说，可能需要进行多次建筑物变化检测，每一次的建筑物变化检测的基准图均可以是上次建筑物变化检测的待检测图。
例如，假设上述步骤S104中无人机为获取影像数据进行飞行为第一次飞行；
步骤S107中无人机为获取待影像数据进行飞行为第二次飞行。步骤S104中的无人机采集的影像为基准图，即第一次飞行的影像数据是第二次飞行的影像数据的基准图。
同理，在无人机进行第三次飞行，以获得下一次建筑物变化检测的影像数据时，步骤S107中无人机采集的影像数据则更新为基准图。本申请实施例实现了对无人机采查数据智能处理，智能预警，具体是面向建筑物变化事件的无人机巡查得到的数据的智能处理，智能预警。还实现了降低了建筑物变化检测成本，提高了检测效率。
基于上述实施例，下面结合图3，对上述步骤S108的建筑物变化检测过程进行介绍。
参见图3，为本申请实施例提供的建筑物变化检测过程的流程示意框图，该过程可以包括以下步骤：
步骤S301、提取基准标注图中各个建筑物的图像块作为待匹配图像块，并将待匹配图像块与待检测图中的待检测建筑物进行匹配，得到各个待匹配图像块与待检测图中的待检测建筑物对应的图像块之间的匹配值和匹配位置。
其中，基准标注图为对基准图中的建筑物进行标注得到的图像。而基准图和待检测图为无人机在两次不同的飞行过程中，在同一个位置采集的图像。
在同一个位置采集的图像可以理解成无人机在同一个航点处采集的图像。即，基准图和待检测图为无人机在两次飞行过程中，使用相同的航线模式，且在同一个航点处采集的图像。这两次飞行过程可以是前后两次不同的飞行过程，但具体先后顺序可以是任意的。即可以先采集基准图，再采集待检测图；也可以先采集待检测图，再采集基准图。
一般情况下，在采集待检测图之前，先设置无人机的航线模式，并且，无人机使用该航线模式，拍摄得到建筑物图像，将该次飞行过程中采集得到的图像定义为基准图。后面无人机再使用该航线模式在相同航点处采集得到的建筑物图像则为待检测图。
例如，无人机第一次使用设定的航线模式飞行作业时，在各个固定航点处拍摄得到建筑物图像，将该建筑物图像定义为基准图。从第一次往后，无人机使用该航线模式进行飞行作业时，拍摄得到的建筑物图像则为待检测图。
当然，除了可以将第一次使用航线模式拍摄得到建筑物图像定义为基准图，还可以将第二次、第三次或者第n次使用该航线模式拍摄得到的建筑物图像定义为基准图。
也就是说，基准图和待检测图的采集先后顺序可以是任意的。通常情况下，可以先采集到基准图，然后，再使用相同的航线模式，在同一个航点采集到待检测图。
当然，在一些实施例中，也可以先采集到待检测图，然后，再使用相同的航线模式，在同一个航点采集到基准图。例如，无人机使用航线模式，在第n次飞行过程中，在航点A采集得到待检测图。在第n+1次飞行过程中，无人机使用相同的航线模式，在航点A采集得到待检测图的基准图。
在基准标注图中，每栋建筑物都会被标注为几个小块。根据标注情况，先提取出基准标注图中各个建筑物的图像块。例如，基准标注图中的建筑物A分为4块，编号分别为No2_1、No2_2、No2_3和No2_4。基于建筑物A的标注，可以提取出：No2_1对应的图像块，No2_2对应的图像块，No2_3对应的图像块，以及No2_4对应的图像块。依此，提取基准标注图中各个建筑物的图像块。为了便于描述，将基准标注图中各个建筑物的图像块作为待匹配图像块。
提取出基准标注图中各个建筑物的图像块之后，将各个待匹配图像块与待检测图中的建筑物图像块进行匹配，以确定出待检测图中，与待匹配图像块相匹配的图像块，并计算待匹配图像块和待检测图中与之相匹配的图像块之间的匹配值(又称匹配分数)和匹配位置。
具体应用中，确定各个待匹配图像块在待检测图中的匹配值和匹配位置的方式可以是任意的。
在一些实施例中，可以通过深度学习匹配模型，得到匹配值和匹配位置。具体地，将各个待匹配图像块和待检测图输入至预先训练好的深度学习匹配模型。深度学习匹配模型输出各个待匹配图像块的匹配值和匹配位置。
可以理解，匹配值是指待匹配图像块和待检测图中与该待匹配图像块匹配(或对应)的图像块之间的匹配值。而匹配位置是指待检测图中，与该待匹配图像块相匹配的图像块的位置。
比如，某一个待匹配图像块为图像块A，该图像块A是基准标注图中的建筑物的图像块，将图像块A和待检测图输入至深度学习匹配模型，深度学习匹配模型将图像块A和待检测图中的各个建筑物图像块进行匹配。深度学习匹配模型输出图像块A的匹配值和匹配位置，该匹配值是图像块A和图像块B之间的匹配值，该图像块B是待检测图中与图像块A匹配的图像块。匹配位置是图像块B在待检测图中的像素位置。
深度学习匹配模型为现有模型，相关介绍不再赘述。
步骤S302、根据匹配值和匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块。
具体地，针对每个待匹配图像块，比较其匹配值和预设匹配值阈值之间的大小，以及比较匹配位置的偏移量与偏移量阈值之间的大小。当待匹配图像块的匹配值小于预设匹配值阈值，和/或，匹配位置的偏移量大于偏移量阈值时，则确定该待匹配图像块符合预设条件，将该待匹配图像块作为候选变化区域图像块。
被纳为候选变化区域图像块的待匹配图像块，则表明该待匹配图像块与待检测图上对应的图像块相比，发生了变化。而图像块是建筑物的图像块，图像块发生了变化，则可以表明待检测图上与该待匹配图像块对应的图像块的建筑物，与基准标注图中的待匹配图像块对应的建筑物相比，发生了变化。
匹配位置的偏移量是指两个图像块的中心点之间的位置偏移量。具体可以将两个图像块的中心点位置相减后再取绝对值，即可得到两个图像块的匹配位置的偏移量。
具体应用中，先判断待匹配图像块和待检测图上对应的图像块之间的匹配值大小，如果匹配值小于预设匹配值阈值，则将该待匹配图像块纳为候选变化区域图像块；如果匹配值大于预设匹配值阈值，则计算这两个图像块中心点的位置偏移量。再比较偏移量和偏移量阈值之间的大小，如果偏移量大于偏移量阈值，则将该待图像块纳为候选变化区域图像块；如果偏移量小于偏移量阈值，则将这两个图像块的中心点作为一组匹配点，纳入到第一匹配点集合。
例如，某个待匹配图像块为图像块A，图像块A是建筑物A的图像块。待检测图上与图像块A对应的图像块为图像块B。深度学习匹配模型输出图像块A和图像块B之间的匹配值和匹配位置。当图像块A和图像块B之间的匹配值小于预设匹配值阈值，则将图像块A纳入到候选变化区域框，即认为图像块A对应的建筑物A发生变化，也即相较于基准标注图上的建筑物A，待检测图上的建筑物A发生了变化。
如果匹配值大于预设匹配值阈值，则计算图像块A的中心点A1和图像块B的中心点B1之间的偏移量。偏移量小于偏移量阈值时，则将A1和B1作为一个一组匹配点，纳入到第一匹配点集合。如果偏移量大于偏移量阈值，则将图像块A纳为候选变化区域图像块。
需要说明的是，第一匹配点集合可以用于对待检测图进行矫正。在一些实施例中，也可以不计算第一匹配点集合，即可以只根据匹配值和匹配位置，确定出候选变化区域图像块。在另一些实施例中，也可以计算出第一匹配点集合，用于对待检测图进行矫正，即可以根据匹配值和匹配位置，确定出候选变化区域图像块和第一匹配点集合。
具体应用中，偏移量阈值和预设匹配值阈值的大小均可以根据实际情况设定。在使用该深度学习匹配模型前，设置好匹配位置的偏移量阈值和预设匹配值阈值。例如，可将预设匹配值阈值设置为0.001，将匹配位置的偏移量阈值设置为100。
步骤S303、根据待检测图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块，该目标变化区域图像块对应的建筑物为已发生变化的建筑物。
需要说明的是，候选变化区域图像块对应的图像块是候选的已发生变化的建筑物对应的图像块，需要进一步从候选变化区域图像块中筛选出目标变化区域图像块，从而最终得到发生变化的建筑物。
在一些实施例中，考虑到无人机在不同时刻拍摄的图片，即使航线模式一样，也可能会有位置的偏差和相机轻微的旋转等，进而导致拍摄的待检测图，相较于基准图会有平移等情况。因此，可以先对待检测图进行矫正。然后，再使用矫正图和基准图，筛选出目标变化区域图像块。
此时，从矫正图中提取出各个候选变化区域图像块对应的图像块，从基准图中提取出各个候选变化区域图像块对应的图像块，将矫正图和基准图这两个图像中，同一个候选变化区域图像块对应的图像块组成一组图像块对。例如，矫正图中的图像块A和基准图中的图像块B对应同一个候选变化区域图像块，则将图像块A和图像块B组成一组图像块对。
得到各个候选变化区域图像块对应的各图像块对之后，根据各个图像块对中两个图像块之间的相似度，从图像块对中筛选出目标图像块对，将目标图像块对对应的候选变化区域图像块作为目标变化区域图像块。
在一些情况中，实际建筑物区域可能会存在阴影，这些阴影区域可能会对图像块的相似度有影响。为了进一步提高检测准确性，可以先对各图像块对进行阴影处理。具体地，对每个候选变化区域图像块对应的图像块对进行阴影检测，再对图像块的阴影进行阴影处理(或称打马赛克)，得到阴影掩码区域；最后，再利用掩码图像对图像块中的阴影掩码区域进行覆盖，使得图像块不存在阴影区域代理的变化，进而不影响各图像块对的相似度计算。
在一些情况中，考虑到实际中可能会存在比较强的光照，进而导致拍摄得到的基准图和待检测图存在偏差，进而导致一些本来不该纳为候选变化区域图像块的图像块，纳为了候选变化区域图像块中。为了解决这些问题，可以对阴影处理后的图像块对光照过滤，以进一步提高检测准确性。
具体地，对阴影处理后的图像块对进行光照强度计算，根据光照强度过滤掉一些候选变化区域图像块。当某一对图像块中的图像块，其光照强度大于光照强度阈值，则将该图像块所在的图像块对对应的候选变化区域图像块过滤掉。光照强度阈值可以例如为50。例如，某一图像块对A中的图像块b，图像块b的光照强度大于50，则将图像块对A对应的候选变化区域图像块过滤掉。
光照过滤之后，再对剩下的图像块对进行相似度计算，即针对各个图像块对，计算两个图像块之间的相似度，当相似度大于预设相似度阈值时，将该图像块对对应的候选变化区域图像块过滤掉，或者说，当相似度小于预设相似度阈值时，将该图像块对作为目标图像块对，将目标图像块对对应的候选变化区域图像块作为目标变化区域图像块，该目标变化区域图像块对应的建筑物即为已发生变化的建筑物。
该预设相似度阈值可以根据实际应用情况设置，例如，该预设相似度阈值设置为0.5，相似度大于0.5则表示相似度较高，两个图像块没有发生变化，则将该组图像块所对应的候选变化区域图像块过滤掉。相似度小于0.5则表示相似度较低，两个图像块发生了变化，则将该图像块对对应的候选变化区域图像块作为目标变化区域图像块。
具体应用中，可以使用深度学习模型预测各图像块对之间的相似度距离。该深度学习模型是预先训练完成的。训练的过程具体包括：分别将公共数据集的每个异常的图像块x和现有图像块x0输入预先搭建的深度学习模型，深度学习模型的各层提取并处理x与x0的特征；再计算对应特征之间的距离(即相似度)求和取平均值得到d0；之后将d0与d1进行比对，判断两距离值是否接近；距离越近代表两个图像块越相似；迭代多次，直到Loss值最小时，得到训练好的深度学习模型。
当然，也可以通过其它方式计算两个图像块之间的相似度距离，在此不作限定。
在上述过程中，先进行阴影处理、光照过滤后，再计算图像块的相似度，根据相似度高低，筛选出目标变化区域图像块。在其它一些实施例中，也可以不进行阴影处理、光照过滤等过程，而是直接计算各图像块对中两个图像块之间的相似度，根据相似度高低，筛选出目标变化区域图像块。或者，也可以只进行其中的一部分步骤，例如，只进行阴影处理或者光照过滤，然后再计算图像块之间的相似度，根据相似度高低，筛选出目标变化区域图像块。相较而言，进行阴影处理、光照过滤后，再根据相似度筛选目标变化区域图像块的的检测准确率更高。
在另一些实施例中，也可以不对待检测图进行矫正，而是直接使用待检测图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块。
此时，可以先从待检测图中提取各个候选变化区域图像块对应的图像块，从基准图中提取出各个候选变化区域图像块对应的图像块，将矫正图和基准图这两个图像中，同一个候选变化区域图像块对应的图像块组成一组图像块对。
得到各个候选变化区域图像块对应的图像块对之后，可以根据各个图像块对中两个图像块之间的相似度，从图像块对中筛选出目标图像块对，将目标图像块对对应的候选变化区域图像块作为目标变化区域图像块。根据图像块之间的相似度，筛选出目标变化区域图像块的过程与上文使用矫正图和基准图，筛选目标变化区域图像块的过程相同，即可以先对图像块对进行阴影处理、光照过滤后，再计算相似度；也可以不进行阴影处理、光照过滤等，直接计算相似度。具体过程可以参见上文相应内容，在此不再赘述。
相较而言，使用矫正图和基准图筛选出目标变化区域图像块，和直接使用待检测图和基准图筛选出目标变化区域图像块，前者的建筑物变化检测准确率更高。
在一些实施例中，检测出的目标变化区域图像块可能会存在偏差，此时，可以在检测出已发生变化的建筑物之后，人工进行二次筛选。或者，在检测出已发生变化的建筑物后，使用目标检测算法进行二次检测，进一步检测出发生变化的建筑物为何种情况，例如，检测出为建筑物倒塌、楼顶加建等。
需要说明的是，检测出已发生变化的建筑物可能是违章建筑物或者建筑物倒塌等，也可能不是违章建筑物或者建筑物倒塌等。通常情况下，检测结果表示建筑物发生变化，将所检测出的已发生变化的建筑物，进行预警等操作。
需要说明的是，在原来建筑物的基础上进行加建或者拆迁后，会导致建筑物发生变化。这些变化的建筑物可能是违章建筑。违章建筑存在侵占安全通道和非法占用耕地、影响城市公共空间、破坏生态环境等特点，并且很多违章建筑还隐匿在合法建筑里面。为了能及时发现违章建筑，可以对建筑物进行变化检测。
现有技术，一般是采用卫星地图的方式或者人工的方式去肉眼查看的方式，来对建筑物进行变化检测。卫星地图的方式，价格高昂周期长，分辨率低，识别精度低，而人工的方式，消耗时间长，需要大量的人力,当需要检测很多建筑物区域的异常情况时，面临着需要花费大量的时间及效率低等问题。
相较而言，本申请实施例基于无人机拍摄的基准图和待检测图，智能检测出已发生变化的建筑物，提高了建筑物变化检测效率，降低了建筑物变化检测成本。
具体应用中，对待检测图进行图像矫正，以得到待检测图的矫正图的方式可以是任意的。下面将示例性地对图像矫正过程进行介绍。
在一些实施例中，可以只使用上述第一匹配点集合，对待检测图和基准图进行仿射变换，以对待检测图进行矫正，得到矫正图。具体地，将基准图投影到待检测图上，结合第一匹配点集合中的各组匹配点，对待检测图进行矫正，得到矫正图。
在另一些实施例中，也可以只使用第二匹配点集合，对待检测图进行矫正。
该第二匹配点集合可以是对基准图和待检测图使用特征提取算法和匹配算法，得到的匹配点集合。
具体地，先使用特征提取算法，从基准图中提取出特征点；使用特征提取算法，从待检测图中提取出特征点。特征提取算法不同，特征点的类型也可能会有所不同。该特征提取算法可以例如为尺度不变特征变换(Scale-invariant feature transform，SIFT)算法。
然后，对提取出的基准图的特征点和待检测图的特征点使用匹配算法，将匹配度大于预设匹配度阈值的特征点纳入到第二匹配点集合，以得到第二匹配点集合。
第二匹配点集合中的特征点也是以组为单位的，即第二匹配点集合包括一对或多对匹配点。
匹配算法可以例如为k-最近邻算法(k-nearest neighbors，KNN)或者交叉匹配算法等。
在该实施例中，上述步骤S302中，可以不用计算出第一匹配点集合。而是只根据第二匹配点集合，对待检测图和基准图进行仿射变换。此时，将基准图投影到待检测图上，结合第二匹配点集合中的各组匹配点，对待检测图进行矫正。
在又一些实施例中，还可以根据第一匹配点集合和第二匹配点集合，对待检测图和基准图进行仿射变换。此时，将基准图投影到待检测图上，结合第一匹配点集合和第二匹配点集合中的各组匹配点，对待检测图进行矫正。
相较于只使用第一匹配点集合或者只使用第二匹配点集合，同时使用第一匹配点集合和第二匹配点集合进行图像矫正，图像矫正效果更好，进而进一步提高了建筑物变化检测准确率。
下面结合附图对包括图像矫正步骤的建筑物变化检测过程进行介绍。
在一些实施例中，可以根据第一匹配点集合和第二匹配点集合，对待检测图进行矫正。下面将对该过程进行介绍。
参见图4，为本申请实施例提供的基于无人机的建筑物变化检测过程的另一种流程示意框图，该方法可以包括以下步骤：
步骤S401、获取待检测图，待检测图包括待检测建筑物。
步骤S402、提取基准标注图中各个建筑物的图像块作为待匹配图像块，并将待匹配图像块与待检测图中的待检测建筑物进行匹配，得到各个待匹配图像块与待检测图中的待检测建筑物对应的图像块之间的匹配值和匹配位置。
示例性地，该基准图可以如图5所示。对图5进行标注，可以得到图6所示的基准标注图。
在一些实施例中，如果使用深度学习匹配模型，计算匹配值和匹配位置时，深度学习匹配模型除了输出匹配值和匹配位置之外，还可以得到如图7所示的带框的检测图。
检测图上的框是跟基准标注图进行匹配后，将与基准标注图上的图像块在待检测图上所对应的图像块框出来，最后得到带框的检测图。一般而言，基准标注图上的图像块在待检测图上有对应的框出来的图像块。
步骤S403、根据匹配值和匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块，并得到第一匹配点集合。
步骤S404、对基准图和待检测图使用特征提取算法和匹配算法，得到第二匹配点集合。
步骤S405、结合第一匹配点集合和第二匹配点集合，对基准图和待检测图进行仿射变换，得到待检测图的矫正图。
示例性地，对待检测图进行矫正，得到如图8所示的矫正图。
步骤S406、使用矫正图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块，目标变化区域图像块对应的建筑物为已发生变化的建筑物。
需要说明的是，本实施例与上述实施例的相同之处，请参见上文相应内容，在此不再赘述。
在另一些实施例中，也可以只根据第一匹配点集合或第二匹配点集合，对待检测图进行矫正。此时，当只根据第一匹配点集合进行图像矫正时，可以不用进行上述步骤S404。当只根据第二匹配点集合进行图像矫正时，上述步骤S403中，可以不用计算第一匹配点集合。
需要说明的是，在上述实施例中，上述图1的步骤S104～S106、图2、图3和图4的流程可以是在地面站系统一侧执行的，即地面站系统实时接收无人机回传的影像数据，对影像数据进行智能处理，得到检测结果，并根据检测结果进行智能预警。
在其它一些实施例中，图1的步骤S104～S106、图2、图3和图4的一部分步骤是在无人机一侧执行的，一部分步骤是在地面站系统一侧执行的。
示例性地，预先将建筑物变化检测算法加载到无人机上。无人机在按照航线进行飞行作业时，拍摄到影像数据之后，使用预先加载的建筑物变化检测算法对影像数据进行处理，得到建筑物变化检测结果。最后，无人机再将检测结果回传到地面站系统，地面站系统再根据检测结果进行预警。
也就是说，建筑物变化检测过程可以在无人机上进行，得到检测结果之后，无人机再将检测结果回传到地面站系统。
当然，在另外一些实施例中，无人机在得到检测结果之后，也可以直接根据检测结果进行预警，不用将检测结果回传到地面站系统。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的面对建筑物变化事件的无人机巡查智能预警方法，图9示出了本申请实施例提供的面对建筑物变化事件的无人机巡查智能预警装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图9，该装置包括：
基准图确定模块91，用于确定待采查区域的基准图和基准标注图，基准标注图为对基准图中的建筑物进行标注得到的图像；
图像获取模块92，用于获取待检测图，待检测图为无人机按照预设航线进行飞行作业的过程中，通过搭载的图像采集装置对待采查区域的待检测建筑物进行图像采集得到的影像数据；
检测模块93，用于使用建筑物变化检测算法对待检测图、基准图和基准标注图进行处理，得到建筑物变化检测结果；
预警更新模块94，用于根据建筑物变化检测结果进行预警，并将待检测图更新为新的基准图。
在第一方面的一些可能的实现方式中，该装置还包括：
确定模块，用于确定建筑物变化事件和待采查区域；
航线规划模块，用于规划出待采查区域的所述预设航线；
配置模块，用于对建筑物变化事件配置建筑物变化检测算法；
基准图获取模块，用于获取待采查区域的基准图，基准图为无人机按照预设航线飞行的过程中采集的图像；
标注模块，用于对基准图进行标注，得到基准标注图。
在一些可能的实现方式中，上述检测模块具体用于：
提取基准标注图中各个建筑物的图像块作为待匹配图像块，并将待匹配图像块与待检测图输入至深度学习匹配模型，获得深度学习匹配模型输出的，各个待匹配图像块与待检测图中对应待检测建筑物的图像块之间的匹配值和匹配位置；
根据匹配值和匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块；
根据待检测图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块，目标变化区域图像块对应的建筑物为已发生变化的建筑物；
其中，基准标注图为对基准图中的建筑物进行标注得到的图像，基准图和待检测图为无人机在两次不同的飞行过程中，在同一个位置采集的图像。
在一些可能的实现方式中，上述检测模块具体用于：
比较匹配值与预设匹配值阈值之间的大小；
根据匹配位置，计算待匹配图像块的中心点和待检测图中与待匹配图像块对应的图像块的中心点之间的偏移量；
比较偏移量与偏移量阈值之间的大小；
将匹配值小于预设匹配值阈值，和/或，偏移量大于偏移量阈值对应的待匹配图像块，确定为符合预设条件的待匹配图像块，并作为候选变化区域图像块。
在一些可能的实现方式中，上述检测模块还用于：
将匹配值大于预设匹配值阈值，且偏移量小于偏移量阈值对应的待匹配图像块作为目标待匹配图像块；
将每个目标待匹配图像块的中心点，以及待检测图中与目标待匹配图像块对应的图像块的中心点作为一组匹配点，得到第一匹配点集合；
和/或，
提取基准图的特征点，提取待检测图的特征点；
计算基准图的特征点和待检测图的特征点之间的匹配度；
将匹配度大于预设匹配度阈值的基准图的特征点和待检测图的特征点作为一组匹配点，得到第二匹配点集合。
在一些可能的实现方式中，上述检测模块具体用于：
对待检测图进行矫正，得到待检测图的矫正图；
使用矫正图和基准图，从候选变化区域图像块中筛选出目标变化区域图像块。
在一些可能的实现方式中，上述检测模块具体用于：
使用第一匹配点集合和/或第二匹配点集合，对基准图和待检测图进行仿射变换，得到待检测图的矫正图。
在第一方面的一些可能的实现方式中，上述检测模块可以包括：
从矫正图和基准图提取各个候选变化区域图像块对应的图像块对，图像块对包括矫正图中与候选变化区域图像块对应的图像块，以及基准图中与候选变化区域图像块对应的图像块；
根据各图像块对中两个图像块之间的相似度，从图像块对中确定目标图像块对；
将目标图像块对对应的候选变化区域图像块作为目标变化区域图像块。
在一些可能的实现方式中，上述检测模块具体用于：
对图像块对进行阴影处理，得到阴影处理后的图像块对；
计算阴影处理后的图像块对中每个图像块的光照强度；
过滤光照强度小于光照强度阈值的图像块对应的图像块对，得到光照过滤后的图像块对；
计算光照过滤后的图像块对中两个图像块之间的相似度；
将相似度低于预设相似度阈值对应的图像块对作为目标图像块对。
在一些可能的实现方式中，上述预警模块具体用于：
当建筑物变化检测结果为建筑物已发生变化时，向后台系统发送预警信息。
在一些可能的实现方式中，建筑物变化包括：加建、插建、接建以及倒塌。
上述面对建筑物变化事件的无人机巡查智能预警装置具有实现上述面对建筑物变化事件的无人机巡查智能预警方法的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。
需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图10为本申请一实施例提供的终端设备的结构示意图。如图10所示，该实施例的终端设备10包括：至少一个处理器100、存储器101以及存储在所述存储器101中并可在所述至少一个处理器100上运行的计算机程序102，所述处理器100执行所述计算机程序102时实现上述任意各个方法实施例中的步骤。
所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是终端设备10的举例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器100可以是中央处理单元(Central Processing Unit，CPU)，该处理器100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101在一些实施例中可以是所述终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种面向建筑物变化事件的无人机巡查智能预警方法，其特征在于，包括：
确定待采查区域的基准图和基准标注图，所述基准标注图为对所述基准图中的建筑物进行标注得到的图像；
获取待检测图，所述待检测图为无人机按照预设航线进行飞行作业的过程中，通过搭载的图像采集装置对所述待采查区域的待检测建筑物进行图像采集得到的影像数据；
使用建筑物变化检测算法对所述待检测图、所述基准图和所述基准标注图进行处理，得到建筑物变化检测结果；
根据所述建筑物变化检测结果进行预警，并将所述待检测图更新为新的基准图。
2.根据权利要求1所述的方法，其特征在于，在确定待采查区域的基准图和基准标注图之前，还包括：
确定建筑物变化事件和所述待采查区域；
规划出所述待采查区域的所述预设航线；
对所述建筑物变化事件配置建筑物变化检测算法；
获取所述待采查区域的所述基准图，所述基准图为无人机按照所述预设航线飞行的过程中采集的图像；
对所述基准图进行标注，得到所述基准标注图。
3.根据权利要求1所述的方法，其特征在于，使用建筑物变化检测算法对所述待检测图、所述基准图和所述基准标注图进行处理，得到建筑物变化检测结果，包括：
提取所述基准标注图中各个建筑物的图像块作为待匹配图像块，并将所述待匹配图像块与所述待检测图输入至深度学习匹配模型，获得所述深度学习匹配模型输出的，各个所述待匹配图像块与所述待检测图中对应待检测建筑物的图像块之间的匹配值和匹配位置；
根据所述匹配值和所述匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块；
根据所述待检测图和所述基准图，从所述候选变化区域图像块中筛选出目标变化区域图像块，所述目标变化区域图像块对应的建筑物为已发生变化的建筑物。
4.根据权利要求3所述的方法，其特征在于，根据所述匹配值和所述匹配位置，将符合预设条件的待匹配图像块作为候选变化区域图像块，包括：
比较所述匹配值与预设匹配值阈值之间的大小；
根据所述匹配位置，计算所述待匹配图像块的中心点和所述待检测图中与所述待匹配图像块对应的图像块的中心点之间的偏移量；
比较所述偏移量与偏移量阈值之间的大小；
将所述匹配值小于所述预设匹配值阈值，和/或，所述偏移量大于所述偏移量阈值对应的待匹配图像块，确定为符合所述预设条件的待匹配图像块，并作为所述候选变化区域图像块。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述匹配值大于所述预设匹配值阈值，且所述偏移量小于所述偏移量阈值对应的待匹配图像块作为目标待匹配图像块；
将每个所述目标待匹配图像块的中心点，以及所述待检测图中与所述目标待匹配图像块对应的图像块的中心点作为一组匹配点，得到第一匹配点集合；
和/或，
提取所述基准图的特征点，提取所述待检测图的特征点；
计算所述基准图的特征点和所述待检测图的特征点之间的匹配度；
将匹配度大于预设匹配度阈值的所述基准图的特征点和所述待检测图的特征点作为一组匹配点，得到第二匹配点集合。
6.根据权利要求5所述的方法，其特征在于，根据所述待检测图和所述基准图，从所述候选变化区域图像块中筛选出目标变化区域图像块，包括：
对所述待检测图进行矫正，得到所述待检测图的矫正图；
使用所述矫正图和所述基准图，从所述候选变化区域图像块中筛选出目标变化区域图像块。
7.根据权利要求6所述的方法，其特征在于，对所述待检测图进行矫正，得到所述待检测图的矫正图，包括：
使用所述第一匹配点集合和/或第二匹配点集合，对所述基准图和所述待检测图进行仿射变换，得到所述待检测图的矫正图。
8.根据权利要求6所述的方法，其特征在于，使用所述矫正图和所述基准图，从所述候选变化区域图像块中筛选出目标变化区域图像块，包括：
从所述矫正图和所述基准图提取各个所述候选变化区域图像块对应的图像块对，所述图像块对包括所述矫正图中与所述候选变化区域图像块对应的图像块，以及所述基准图中与所述候选变化区域图像块对应的图像块；
根据各所述图像块对中两个图像块之间的相似度，从所述图像块对中确定目标图像块对；
将所述目标图像块对对应的候选变化区域图像块作为所述目标变化区域图像块。
9.根据权利要求8所述的方法，其特征在于，根据各所述图像块对中两个图像块之间的相似度，从所述图像块对中确定目标图像块对，包括：
对所述图像块对进行阴影处理，得到阴影处理后的图像块对；
计算阴影处理后的图像块对中每个图像块的光照强度；
过滤光照强度小于光照强度阈值的图像块对应的图像块对，得到光照过滤后的图像块对；
计算光照过滤后的图像块对中两个图像块之间的相似度；
将相似度低于预设相似度阈值对应的图像块对作为目标图像块对。
10.根据权利要求3至9任一项所述的方法，其特征在于，根据所述建筑物变化检测结果进行预警，包括：
当建筑物变化检测结果为建筑物已发生变化时，向后台系统发送预警信息。
11.根据权利要求10所述的方法，其特征在于，所述建筑物变化事件包括：加建、插建、接建以及倒塌。
12.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的方法。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的方法。
CN202011495674.5A 2020-12-17 2020-12-17 面向建筑物变化事件的无人机巡查智能预警方法和装置 Active CN112633114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011495674.5A CN112633114B (zh) 2020-12-17 2020-12-17 面向建筑物变化事件的无人机巡查智能预警方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011495674.5A CN112633114B (zh) 2020-12-17 2020-12-17 面向建筑物变化事件的无人机巡查智能预警方法和装置

Publications (2)

Publication Number Publication Date
CN112633114A true CN112633114A (zh) 2021-04-09
CN112633114B CN112633114B (zh) 2024-04-26

Family

ID=75316358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011495674.5A Active CN112633114B (zh) 2020-12-17 2020-12-17 面向建筑物变化事件的无人机巡查智能预警方法和装置

Country Status (1)

Country Link
CN (1) CN112633114B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762183A (zh) * 2021-09-13 2021-12-07 墙管家建筑科技(上海)有限公司 一种既有建筑安全的智能检查分析系统及操作方法
CN117808807A (zh) * 2024-02-29 2024-04-02 中国人民解放军国防科技大学 光学卫星遥感图像实例级变化检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761737A (zh) * 2011-04-28 2012-10-31 财团法人工业技术研究院 用于处理压缩视频图像中阴影的系统及方法
CN109670515A (zh) * 2018-12-13 2019-04-23 南京工业大学 一种用于无人机影像中建筑物变化的检测方法及系统
CN109871875A (zh) * 2019-01-21 2019-06-11 大连理工大学 一种基于深度学习的建筑物变化检测方法
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
CN111368615A (zh) * 2019-06-26 2020-07-03 杭州海康威视系统技术有限公司 一种违章建筑预警方法、装置及电子设备
CN111476112A (zh) * 2020-03-20 2020-07-31 深圳中科保泰科技有限公司 无人机多混合任务巡采巡查方法及平台系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761737A (zh) * 2011-04-28 2012-10-31 财团法人工业技术研究院 用于处理压缩视频图像中阴影的系统及方法
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
CN109670515A (zh) * 2018-12-13 2019-04-23 南京工业大学 一种用于无人机影像中建筑物变化的检测方法及系统
CN109871875A (zh) * 2019-01-21 2019-06-11 大连理工大学 一种基于深度学习的建筑物变化检测方法
CN111368615A (zh) * 2019-06-26 2020-07-03 杭州海康威视系统技术有限公司 一种违章建筑预警方法、装置及电子设备
CN111476112A (zh) * 2020-03-20 2020-07-31 深圳中科保泰科技有限公司 无人机多混合任务巡采巡查方法及平台系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庄姊琪: "基于Siamese卷积神经网络的高分影像城市地物变化检测", 中国优秀硕士学位论文全文数据库基础科技辑, no. 09, pages 008 - 156 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762183A (zh) * 2021-09-13 2021-12-07 墙管家建筑科技(上海)有限公司 一种既有建筑安全的智能检查分析系统及操作方法
CN117808807A (zh) * 2024-02-29 2024-04-02 中国人民解放军国防科技大学 光学卫星遥感图像实例级变化检测方法
CN117808807B (zh) * 2024-02-29 2024-05-14 中国人民解放军国防科技大学 光学卫星遥感图像实例级变化检测方法

Also Published As

Publication number Publication date
CN112633114B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN110705405B (zh) 目标标注的方法及装置
CA2994508C (en) Vegetation management for power line corridor monitoring using computer vision
KR101105795B1 (ko) 항공 화상의 자동 처리
KR101797006B1 (ko) 드론을 이용한 토지 조사 시스템 및 방법
CN103679674A (zh) 一种无人飞行器实时图像拼接方法及系统
CN108369651B (zh) 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质
CN110207671B (zh) 一种天基智能成像系统
CN107742276A (zh) 一种基于无人机遥感图像机载一体化快速处理系统和方法
CN112633114B (zh) 面向建筑物变化事件的无人机巡查智能预警方法和装置
CN112836683B (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
Castillo-Carrión et al. SIFT optimization and automation for matching images from multiple temporal sources
CN111832515B (zh) 一种密集行人检测方法、介质、终端和装置
CN114648709A (zh) 一种确定图像差异信息的方法与设备
CN110781195B (zh) 一种兴趣点信息更新的系统、方法和装置
CN116170660A (zh) 用于摄像头的算法调度方法、装置、计算机设备及介质
CN117312591B (zh) 一种基于虚拟现实的图像数据存储管理系统及方法
CN111758118B (zh) 一种视觉定位方法、装置、设备及可读存储介质
CN114821513B (zh) 一种基于多层网络的图像处理方法及装置、电子设备
CN111985497B (zh) 架空输电线路下吊车作业识别方法及系统
CN111860331A (zh) 无人机在安防未知域的人脸识别系统
CN118196214B (zh) 基于三维场景模拟的野外摄像机布控方法以及设备
CN117576076B (zh) 一种裸土检测方法、装置和电子设备
KR102525764B1 (ko) 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법
US11651511B2 (en) Computer vision systems and methods for determining roof shapes from imagery using segmentation networks
CN116109956A (zh) 一种无人机自适应变焦高精度目标检测智能巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220215

Address after: 518000 2515, building 2, Huilong business center, North Station community, Minzhi street, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Zhongke Baotai Aerospace Technology Co.,Ltd.

Address before: Room 1101-1102, building 1, Changfu Jinmao building, No.5, Shihua Road, free trade zone, Fubao street, Futian District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen Zhongke Baotai Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230116

Address after: 1602, 16th floor, building B, Datang times commercial complex, 2203 Meilong Avenue, Qinghua community, Longhua street, Longhua District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen Woven Brain Intelligence Technology Co.,Ltd.

Address before: 518000 2515, building 2, Huilong business center, North Station community, Minzhi street, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Zhongke Baotai Aerospace Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant