CN108154082A - 航拍影像自动物体侦测的方法及系统 - Google Patents

航拍影像自动物体侦测的方法及系统 Download PDF

Info

Publication number
CN108154082A
CN108154082A CN201711235978.6A CN201711235978A CN108154082A CN 108154082 A CN108154082 A CN 108154082A CN 201711235978 A CN201711235978 A CN 201711235978A CN 108154082 A CN108154082 A CN 108154082A
Authority
CN
China
Prior art keywords
images
region
dsm
aerial images
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711235978.6A
Other languages
English (en)
Other versions
CN108154082B (zh
Inventor
罗正方
陈姿秀
柯长荣
吴俊毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingwei Polytron Technologies Inc
Original Assignee
Jingwei Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingwei Polytron Technologies Inc filed Critical Jingwei Polytron Technologies Inc
Publication of CN108154082A publication Critical patent/CN108154082A/zh
Application granted granted Critical
Publication of CN108154082B publication Critical patent/CN108154082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明公开一种用于侦测航拍影像中物体的方法及系统。根据特定具体实施例，该方法可包括获得一区域的数字地表模型(DSM，Digital Surface Model)影像。该方法也可包括获得一个或多个目标物体的DSM影像。该方法可进一步包括根据该区域以及一个或多个目标物体的该等DSM影像，来侦测该区域内的该目标物体。该方法可进一步包括利用人工智能辨识该等已侦测的目标物体。该方法可进一步包括获取该等已辨识目标物体的位置。该方法可进一步包括计算该等已辨识目标物体的数量。

Description

航拍影像自动物体侦测的方法及系统
技术领域
本发明一般涉及侦测航拍影像内物体的方法及系统，且具体而言，涉及通过人工智能技术进行模板匹配(template matching)以侦测及辨识感兴趣区域的航拍影像(anaerial image of an area of interest)内物体的方法及系统。
背景技术
自动物体侦测对于在影像内找出并识别目标物体非常有用。尽管人类稍微努力就可识别影像中的一或几个目标物体，但是对于人类而言，在影像内找出并识别大量目标物体就具有挑战性。当影像内的目标物体以不同大小与比例显示时，或甚至在不同旋转视角内，从不同视点看起来就不相同。某些计算机实施方法可根据外观或特征来侦测目标物体，然而，对于某些应用来说，例如经济作物或某些农业应用，这些物体侦测方法的精确度可能不够好。
因此当感兴趣区域内潜在目标物体的数量增加并且航拍影像的分辨率受限时，来自航拍影像的物体侦测就变得更具挑战性。当在大比例面积内有可观数量的潜在目标物体时，依靠人类寻找并识别目标物体就变得不切实际。增加航拍影像的分辨率对于提高物体侦测的精确度可能有所帮助，然而在同一时间上，在高分辨率影像上执行物体辨识与侦测会增加计算复杂度，而限制了特定应用的可行性与效率。
因此，需要快速并精准从感兴趣区域航拍影像中侦测目标物体的方法及系统。所揭示的方法及系统旨在克服或改善上面揭露的一个或多个问题及/或先前技术内其他问题。
发明内容
本发明的一个方面涉及储存指令的一种非暂时性计算机可读介质，其中当执行所述指令时会导致一个或多个处理器执行侦测航拍影像中物体的操作。所述操作可包括获得一区域的数字地表模型(Digital Surface Model，DSM)影像。所述操作可进一步包括获得一个或多个目标物体的DSM影像。所述操作可进一步包括根据该区域以及一个或多个目标物体的所述DSM影像，来侦测该区域内的该目标物体。所述操作可进一步包括取得对应至该区域中该DSM影像的该区域的航拍影像。所述操作可进一步包括获取该区域航拍影像上所述已侦测目标物体的一个或多个位置。所述操作可进一步包括获取所述已侦测目标物体的一个或多个位置上一个或多个局部航拍影像。所述操作可进一步包括从所述一个或多个局部航拍影像提取一个或多个纹理特征，作为一个或多个特征向量。所述操作可进一步包括获得多个训练数据，该训练数据包括作为该目标物体的相同种类物体的多个航拍影像。所述操作可进一步包括根据所述多个训练数据训练分类器。该操作可进一步包括根据所述一个或多个特征向量，由该受过训练的分类器分类所述一个或多个局部航拍影像。所述操作可进一步包括基于所述分类结果，辨识所述一个或多个局部航拍影像之间的所述目标物体。所述操作可进一步包括获取所述已辨识目标物体的一个或多个位置。所述操作可进一步包括计算所述已辨识目标物体的数量。
本发明的另一个方面系涉及一种从航拍影像中侦测物体的方法，所述方法利用一个或多个集成电路、一个或多个现场可程序门阵列、执行实现所述方法的指令的一个或多个处理器或控制器或上述的任意组合来执行。该方法可包括获得一区域的DSM影像。该方法可进一步包括获得一个或多个目标物体的DSM影像。该方法可进一步包括根据该区域以及一个或多个目标物体的所述DSM影像，来侦测该区域内的该目标物体。该方法可进一步包括取得对应至该区域中该DSM影像的该区域的航拍影像。该方法可进一步包括获取该区域的该航拍影像上已侦测目标物体的一个或多个位置。该方法可进一步包括获取所述已侦测目标物体的一个或多个位置上一个或多个局部航拍影像。该方法可进一步包括从所述一个或多个局部航拍影像提取一个或多个纹理特征，作为一个或多个特征向量。该方法可进一步包括获得多个训练数据，该训练数据包括作为该目标物体的相同种类物体的多个航拍影像。该方法可进一步包括根据所述多个训练数据训练一分类器。该方法进一步包括根据所述一个或多个特征向量，由该受过训练的分类器分类所述一个或多个局部航拍影像。该方法可进一步包括基于所述分类结果，辨识所述一个或多个局部航拍影像之间的所述目标物体。该方法可进一步包括获取所述已辨识目标物体的一个或多个位置。该方法可进一步包括计算所述已辨识目标物体的数量。
仍旧是本发明的另一个方面，其涉及一种用于侦测航拍影像中物体的系统。用于侦测航拍影像中物体的系统可包括航拍影像单元、目标影像单元以及侦测单元。该航拍影像单元可设置成获得一区域的DSM影像。该目标影像单元可设置成获得一个或多个目标物体的DSM影像。该侦测单元可设置成根据该区域以及所述一个或多个目标物体的所述DSM影像，来侦测该区域内的该目标物体。
用于侦测航拍影像中物体的系统还可进一步包括定位单元、局部航拍影像单元、提取单元以及分类与辨识单元。该航拍影像单元可进一步设置成获得对应至该区域中该DSM影像的该区域的航拍影像。该定位单元可设置成获取该区域航拍影像上所述已侦测目标物体的一个或多个位置。该局部航拍影像获取单元可设置成获取所述已侦测目标物体的一个或多个位置上一个或多个局部航拍影像。该提取单元可设置成从所述一个或多个局部航拍影像提取一个或多个纹理特征，作为一个或多个特征向量。该分类与辨识单元可设置成获得多个训练数据，该训练数据包括作为该目标物体的相同种类物体的多个航拍影像。该分类与辨识单元可进一步设置成根据所述多个训练数据来训练一分类器。该分类与辨识单元可进一步设置成根据所述一个或多个特征向量，由该受过训练的分类器分类所述一个或多个局部航拍影像。该分类与辨识单元可进一步设置成基于所述分类结果，辨识所述一个或多个局部航拍影像上的所述目标物体。该分类与辨识单元可进一步设置成获取所述已辨识目标物体的一个或多个位置。该分类与辨识单元可进一步设置成计算所述已辨识目标物体的数量。
附图说明
图1是根据所揭示具体实施例，在一区域内用于自动物体侦测的示例航拍影像的示意图。
图2是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的示例方法的流程图。
图3是根据所揭示具体实施例，说明与图1中该区域的该示例航拍图像对应的用于自动物体侦测的该区域示例DSM影像的示意图。
图4是根据所揭示具体实施例，用于自动物体侦测的示例目标物体种类的两个示例DSM影像示意图。
图5是根据所揭示具体实施例，来自用于自动物体侦测的图3内该区域示例DSM影像与图4内该示例范本影像之间配对率示例计算的配对率示例影像的示意图。
图6是根据所揭示具体实施例，依照用于图2内自动物体侦测的该示例方法，标记该等已侦测示例目标物体的位置的该区域示例航拍影像示意图。
图7是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的另一个示例方法的流程图。
图8是根据所揭示具体实施例，依照用于图2内自动物体侦测的该示例方法，标记该等已侦测示例目标物体的位置的该区域示例航拍影像的部分放大示意图。
图9是根据所揭示具体实施例，可用来训练示例分类器进行自动物体侦测的多个示例训练数据的示意图。
图10是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，在该等已侦测目标物体的位置上标示该分类结果的该区域示例航拍影像的部分放大示意图。
图11是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，标记该等已正确侦测和辨识的示例目标物体位置的该区域示例航拍影像的部分放大示意图。
图12是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，在该等已侦测和已分类示例目标物体位置上标记该分类结果的该区域示例航拍影像示意图。
图13是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的示例系统的方块图。
具体实施方式
本发明一般涉及用来侦测航拍影像内物体的方法及系统。预期目标物体可以是植物、树、油棕榈树、物体、建筑物、设施、陆地、地貌特征或其任意组合。一般而言，待侦测的目标物体可包括任何东西，像是物体、建筑物、设施、植物、树、动物，甚至人类。目标物体在颜色、形状及/或外观上可具有许多特征，目标物体的这些特征可用来侦测感兴趣区域中影像内的目标物体。
图1是根据所揭示具体实施例，用于自动物体侦测的一区域的示例航拍影像的示意图。例如油棕榈树为该区域航拍影像待侦测的示例目标物体，这些油棕榈树具有特定的离地高度。在某些具体实施例内，所揭示的方法及系统可包括根据该区域航拍影像内目标物体的高度信息，来侦测目标物体。例如，一区域的DSM可包括地表以及所有物体，以及该地表与所有物体的相关高度信息。预期所揭示方法及系统可包括通过感兴趣区域DSM内含的高度信息来侦测目标物体。在某些具体实施例内，所揭示的方法及系统可包括侦测内含高度信息的许多区域模型及/或影像内的目标物体，像是区域的数字高程模型(DEM，DigitalElevation Model)。
在某些具体实施例内，所揭示的方法及系统可包括使用一个或多个光侦测与测距(Light Detection And Ranging，LiDAR)传感器、实时DSM传感器、后生产DSM传感器、多个该区域航拍影像的计算或这些的任意组合，来获得一区域的DSM、DEM及/或航拍影像。在某些具体实施例内，所揭示的方法及系统可包括使用前述传感器之一及/或无人航拍机(Unmanned Aerial Vehicle，UAV)100(如图13所示)、无人靶机、飞行器、直升机、气球或卫星的相机，来收集一区域的DSM、DEM及/或航拍影像。在某些具体实施例内，所揭示的方法及系统可进一步包括通过无线连接，像是蓝牙、Wi-Fi、蜂巢式(例如GPRS(General PacketRadio Service，通用封包无线服务)、WCDMA(Wideband Code Division Multiple Access，宽带分码多重存取)、HSPA(High Speed Packet Access，高速封包存取)、LTE(Long TermEvolution，长期演进技术)、或更新一代的蜂巢式通讯系统)，以及卫星连线或有线连接，像是USB线或光缆线(Lighting line)，接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的一区域的DSM、DEM及/或航拍影像的相关数据。
在某些具体实施例内，所揭示的方法及系统可包括从该区域各部分中多个DSM、DEM及/或航拍影像内获得用于目标侦测的区域的DSM、DEM及/或航拍影像。例如，所揭示的方法及系统可包括组合或拼接(stitching)该区域各部分的多个航拍影像，以获得图1内该区域的航拍影像，用于物体侦测。所揭示的方法及系统包括决定将一个影像内像素坐标关联于另一个影像内像素坐标来进行影像对准的适当算术模型(appropriate mathematicalmodel)。所揭示的方法及系统可进一步包括通过直接像素对像素比较(direct pixel-to-pixel comparisons)与梯度下降(gradient descent)的组合，来估计与许多航拍影像配对(pairs of aerial images)相关的正确对准。所揭示的方法及系统可进一步包括识别与配对部分区域航拍影像内的不同特征，来建立航拍影像配对之间的对应关系。所揭示的方法及系统可进一步包括决定最终合成表面，在其上扭曲或投影变换和放置所有对准的航拍影像。所揭示的方法及系统可进一步包括无缝混合重叠的航拍影像，即使存在视差、透镜失真、场景运动和曝光差异的情况下也是如此。
图2是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的示例方法200的流程图。本发明的一个方面涉及储存指令的一种非暂时性计算机可读介质，其中当执行该等指令时会导致一个或多个处理器执行图2内的示例方法200，来侦测航拍影像中的物体。该计算机可读介质可包括易失性或非易失性、磁性、半导体、磁带、光学、可移除、不可移除或其他种计算机可读介质或计算机可读取储存装置。例如，该计算机可读介质可为其内储存该等计算机指令的储存单元或内存模块，如所揭示。在某些具体实施例内，该计算机可读介质可为其内储存该等计算机指令的光盘或闪存盘。在某些具体实施例内，该计算机可读介质可为其内储存该等计算机指令的云端或远程储存装置，这些指令可下载到另一个装置来执行。
方法200可包括以下步骤：获得一区域的DSM影像(步骤220)、获得一目标物体的DSM影像(步骤240)、以及根据步骤220和240内该区域与该目标物体的DSM影像来侦测该区域内的该目标物体(步骤260)。请注意，一区域的DSM内含该区域的高度信息。通过使用该区域的高度信息作为该区域灰度影像的灰度值，可获得该区域的DSM影像，反之亦然。因此，若合适，在整个本发明内可交替使用「DSM」和「DSM影像」。
步骤220可包括获得感兴趣区域的DSM影像。例如，获得一区域的DSM影像的步骤220可包括存取来自计算机可读介质或计算机可读取储存装置的感兴趣区域DSM影像。针对另一个范例，获得一区域的DSM影像的步骤220可包括从外部输入，像是影像输入120(将在所揭示系统内说明)，接收感兴趣区域的DSM影像。影像输入120可通讯连线至例如UAV 100、无人靶机、飞行器、直升机、气球或卫星。换言之，获得一区域的DSM影像的步骤220可包括从UAV 100、无人靶机、飞行器、直升机、气球或卫星接收感兴趣区域的DSM影像。在某些具体实施例内，获得一区域的DSM影像的步骤220可包括获得该区域各部分的多个DSM影像，并且组合或拼接(stitching)该区域各部分的多个DSM影像，来获得感兴趣区域的DSM影像。例如，获得一区域的DSM影像的步骤220可包括获得该区域各部分的多个DSM影像，并且识别与匹配该区域各部分的多个DSM影像的不同特征，来建立DSM影像配对之间的对应关系。获得一区域的DSM影像的步骤220可进一步包括根据该已建立的该等DSM影像配对之间对应关系，来混合该区域各部分的多个DSM影像，以获得感兴趣区域的DSM影像。
在某些具体实施例内，获得一区域的DSM影像的步骤220可包括获得一区域的多个航拍影像、组合或拼接(stitching)该区域各部分的这些航拍影像来获得该区域的航拍影像，以及将该区域的已拼接(stitching)航拍影像转换成该区域的DSM影像。例如，获得一区域的DSM影像的步骤220可包括接收一区域各部分的多个航拍影像，并且拼接(stitching)该区域各部分的多个航拍影像，来获得图1内所示该区域的航拍影像。该区域各部分的这些航拍影像可关联于该区域各部分的多个DSM。换言之，该区域各部分的多个航拍影像可对应于该区域各部分的多个DSM。步骤220可包括根据该等航拍影像与该区域各部分的DSM间的对应关系，获得对应至图1内该区域已拼接(stitching)航拍影像的图3内该区域的DSM影像。图3是根据所揭示具体实施例，说明对应至图1内该区域的该示例航拍影像，用于自动物体侦测的该区域一示例DSM影像的示意图。
在某些具体实施例内，获得该区域的DSM影像的步骤220可包括使用一个或多个LiDAR传感器、实时DSM传感器、后生产DSM传感器、多个该区域航拍影像的计算或这些的任意组合，来收集该区域或该区域各部分的DSM及/或航拍影像。在某些具体实施例内，获得该区域的DSM影像的步骤220可包括通过使用上述传感器之一及/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机，收集一区域或该区域各部分的DSM及/或航拍影像。在某些具体实施例内，获得该区域的DSM影像的步骤220可进一步包括通过无线连接，像是蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新一代的蜂巢式通讯系统)以及卫星连线或有线连接，像是USB线或光纤缆线，接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该区域中DSM及/或航拍影像的已收集数据。
在某些具体实施例内，获得该区域的DSM影像的步骤220可进一步包括获得对应至该区域DSM影像的该区域彩色航拍影像、获得目标物体的彩色航拍影像、根据该区域的彩色航拍影像以及该目标物体的色彩来识别该区域的一个或多个子区域作为一个或多个目标子区域。
例如，获得一区域的DSM影像的步骤220可进一步包括获得图1内该区域对应至图3内感兴趣区域DSM影像的该RGB航拍影像。此外，获得一区域的DSM影像的步骤220可进一步包括获得油棕榈树(该目标物体)的RGB航拍影像。再者，获得一区域的DSM影像的步骤220可进一步包括将绿色识别为该油棕榈树的特定原色。更进一步，获得一区域的DSM影像的步骤220可进一步包括当该区域航拍影像的像素中个别G值大于个别R和B值，则将这些像素识别为油棕榈树的可能像素。例如，以下条件运算可用来检查一像素是否识别为油棕榈树的可能像素：「If(Pixel.G>Pixel.R&&Pixel.G>Pixel.B)Get Pixel」，其中的Pixel.R、Pixel.G和Pixel.B代表该像素的各自R、G和B水平(level)。更进一步，获得一区域的DSM影像的步骤220可进一步包括将特定数量的该油棕榈树相邻可能像素识别为一目标子区域。
在某些具体实施例内，获得一区域的DSM影像的步骤220可进一步包括识别该目标物体的特定原色。例如，识别该目标物体的特定原色的步骤220可包括比较该目标物体航拍影像像素之内个别R、G和B水平，并决定这些像素的代表性原色。此外，识别该目标物体的特定原色的步骤220可进一步包括计算这些像素的代表性原色数量，并将像素的最大数量代表性原色识别为该目标物体的特定原色。例如，识别该目标物体的特定原色的步骤220系可包括：当绿色为该油棕榈树航拍影像中具有最大数量像素的该代表性原色时，将该绿色识别为该油棕榈树的特定原色。
在某些具体实施例内，获得一区域的DSM影像的步骤220可进一步包括增强该区域的DSM影像上一个或多个目标子区域的影像对比度。例如，增强该目标子区域对比度的步骤220可包括利用直方图等化，增强对应至该区域航拍影像中该已识别目标子区域的该区域DSM影像的该目标子区域的对比度。例如通过使用直方图等化增强对比度的步骤220可包括计算该等目标子区域像素的机率质量函数、根据灰度计算累积分布函数(CDF，cumulativedistributive function)值、用(灰度-1)乘上CDF值，并且将新灰度值映像至该等目标子区域的像素。增强对比度的步骤220可包括：通过其他算法增强对比度，像是全局拉伸、非等向性扩散、非直线锥体技术、多尺度型态学技术、多分辨率样条(multi-resolutionsplines)、山丛集(mountain clustering)、视网膜皮层理论(retinex theory)、小波变换(wavelet transformations)、曲线变换(curvelet transformations)、k-sigma剪辑(k-sigma clipping)、模糊逻辑、遗传算法或贪心演算法。
步骤240可包括获得目标物体的DSM影像。图4是根据所揭示具体实施例，用于自动物体侦测的示例目标物体种类的两个示例DSM影像示意图。例如，获得目标物体的DSM影像的步骤240可包括存取图4内来自计算机可读介质或计算机可读取储存装置的油棕榈树的DSM影像。针对另一个范例，获得目标物体的DSM影像的步骤240可包括从外部输入，像是影像输入120(将在所揭示系统内说明)，接收图4(a)内油棕榈树的DSM影像。针对另一个范例，获得一目标物体的DSM影像的步骤240可包括从内部输入，像是影像输入120，接收选择信号。该选择信号可包括将步骤220内该区域的DSM影像一部分识别为目标物体的DSM影像。例如，该选择信号可包括将该区域的DSM影像上围绕油棕榈树DSM影像的一区域识别为该目标物体，当用户使用鼠标光标、其手指或笔来选择显示画面上该区域时。
在某些具体实施例内，获得目标物体的DSM影像的步骤240可包括存取或接收目标物体的多个DSM影像，并且选择其一作为目标物体的DSM影像。选择该目标物体的DSM影像的步骤240可包括根据该目标物体的形状，选择该目标物体的DSM影像。例如，选择该目标物体的DSM影像的步骤240可包括选择形状类似于大多数同一种目标物体的该目标物体的DSM影像。在某些具体实施例内，选择该目标物体的DSM影像的步骤240可包括根据目标物体的DSM影像的对比度，选择该目标物体的DSM影像。例如，选择该目标物体的DSM影像的步骤240可包括选择对比度比其他物体都要好的该目标物体的DSM影像。在某些具体实施例内，获得该目标物体的DSM影像的步骤240可包括获得该目标物体一个以上的DSM影像。例如，获得该目标物体的DSM影像的步骤240可包括分别根据该目标物体的形状以及该目标物体的DSM影像的对比度，获得该目标物体的两个DSM影像。
在某些具体实施例内，获得该目标物体的DSM影像的步骤240可包括使用一个或多个LiDAR传感器、实时DSM传感器、后生产DSM传感器、该区域多个航拍影像的计算或这些的任意组合，来收集该目标物体的一个或多个DSM及/或航拍影像。在某些具体实施例内，获得该目标物体的DSM影像的步骤240可进一步包括使用上述传感器之一及/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机，收集该目标物体的一个或多个DSM及/或航拍影像。在某些具体实施例内，获得该目标物体的DSM影像的步骤240可进一步包括通过无线连接，像是蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新一代的蜂巢式通讯系统)以及卫星连线或有线连接，像是USB线或光纤缆线，接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该目标物体DSM及/或航拍影像。
在某些具体实施例内，获得该目标物体的DSM影像的步骤240可包括获得对应至目标物体中一个或多个DSM影像的目标物体的一个或多个航拍影像，并且根据该目标物体的形状及/或该目标物体航拍影像的对比度，选择目标物体的一个或多个DSM影像。
步骤260可包括根据步骤220和240内该区域与该目标物体的该DSM影像，侦测该区域内该目标物体。在某些具体实施例内，侦测该目标物体的步骤260可包括计算该目标物体的DSM影像与该区域的多个DSM子影像间的配对率，并且根据该配对率决定该区域的一个或多个DSM子影像作为该目标物体。例如，侦测该目标物体的步骤260可包括计算)图4(a)内油棕榈树的该DSM影像与来自图3内该区域DSM影像的该区域的多个DSM子影像间的配对率。该区域的该等多个DSM子影像可具有与该油棕榈树的该DSM影像相同或类似尺寸。例如，该区域的该等多个DSM子影像的尺寸可为300x300像素，而图4(a)内该油棕榈树的该DSM影像可为300x300像素或类似尺寸。例如，该区域的该等多个DSM子影像可包括该区域中该DSM影像的每1、2、5或10像素上300x300像素的子影像。换言之，侦测该目标物体的步骤260可包括利用每滑动1、2、5或10个像素时，比较该油棕榈树(T)的该范本DSM影像与该区域(I)的该DSM影像，例如，针对该区域的该DSM影像上该滑动的每一位置(x,y)，该配对率R可计算如下：
其中x’和y’代表该油棕榈树(T’)的该范本DSM影像以及该区域(I’)的该DSM子影像之内的像素位置。
图5是根据所揭示具体实施例，来自用于自动物体侦测的图3内该区域示例DSM影像与图4内该示例范本影像之间配对率示例计算的配对率示例影像的示意图。在图5内，一位置越亮，该位置是目标物体的可能性就越高。例如，图5内配对率的影像上的亮点可为感兴趣区域内油棕榈树的位置。
在某些具体实施例内，计算配对率的步骤260可包括根据常规范本配对方法，像是平方差方法、归一化平方差方法、互相关方法、归一化互相关方法、相关系数法、归一化相关系数法或其任何组合，来计算配对率。
在某些具体实施例内，决定该区域的DSM子影像作为目标物体的步骤260可包括当与该目标物体的该范本影像的配对率Rs高于一配对临界值，像是该油棕榈树(T)的该范本DSM影像自配对率之80％、70％或60％时，将该区域的一个或多个DSM子影像决定为该等油棕榈树。
在某些具体实施例内，侦测该目标物体的步骤260可包括降低步骤220与240内该区域和该目标物体的DSM影像的分辨率，并根据该区域与该目标物体的该分辨率降低的DSM影像，来侦测该区域内该目标物体。例如，侦测该目标物体的步骤260可包括将图3内该区域以及图4(a)内该油棕榈树的DSM影像的分辨率降低为原始分辨率的0.1倍。侦测该目标物体的步骤260可进一步包括计算该油棕榈树的分辨率降低的DSM影像与该区域的多个分辨率降低的DSM子影像间的配对率，并且根据该配对率决定该区域的一个或多个DSM子影像作为该目标物体。
在某些具体实施例内，侦测该目标物体的步骤260可包括根据步骤220内该区域的DSM的影像以及步骤240内目标物体的一个以上影像，侦测该区域内该目标物体。例如，侦测该目标物体的步骤260可包括分别计算图4(a)和图4(b)内该等油棕榈树的两个DSM影像与该区域的多个DSM子影像间的配对率，并且根据来自该等油棕榈树的两DSM影像的该等配对率，将该区域的一个或多个DSM子影像决定为该等油棕榈树。例如，侦测该目标物体的步骤260可包括计算根据步骤240内该目标物体的形状所选取的油棕榈树的DSM影像与该区域的多个DSM子影像间的配对率。侦测该目标物体的步骤260也可包括计算根据步骤240内该影像对比度所选取的油棕榈树的另一个DSM影像与该区域的多个DSM子影像间的配对率。侦测该目标物体的步骤260可进一步包括当来自根据该目标物体形状或该影像对比度所选择油棕榈树的该范本DSM影像的其配对率高于一配对临界值时，将该区域的一个或多个DSM子影像决定为该油棕榈树。针对另一个范例，决定该等油棕榈树的步骤260可包括当来自根据该油棕榈树形状与该油棕榈树影像对比度所选择油棕榈树的该范本DSM影像的其配对率高于一配对临界值时，将该区域的一个或多个DSM子影像决定为该油棕榈树。
在某些具体实施例内，将该区域的DSM子影像决定为该目标物体的步骤260包括根据以下两标准的一个或二者来决定该目标物体。在该区域的航拍影像上一距离(D1)之内，该区域的一个或多个DSM子影像的配对率为最大。该区域的该等一个或多个DSM子影像的高度比另一个距离(D2)之内最低位置的高度高出一高度临界值(H1)。例如，决定该等油棕榈树的步骤260可包括当其配对率高于其他配对率2米之内(即D1＝2米)，一油棕榈树航拍影像的示例半径，则将该区域的一个或多个DSM子影像决定为该油棕榈树。针对另一个范例，决定该等油棕榈树的步骤260可包括利用2.5米的示例高度临界值(即H1＝2.5米)，当其高度高于最低位置高度3米之内(即D2＝3米)，就是一油棕榈树和该陆地同时存在的一单独区域的示例半径，则将该区域的一个或多个DSM子影像决定为该油棕榈树。根据前述D1、D2和H1参数，可侦测高出地面2.5米的油棕榈树。根据其高度与分布，可针对许多目标物体来调整这些因子。
在某些具体实施例内，步骤260可包括：根据步骤220内该区域的该已增强DSM影像以及该目标物体的该DSM影像，来侦测该区域内的该目标物体。例如，侦测该目标物体的步骤260可包括根据图4内该油棕榈树的一个或两个DSM影像，以及目标子区域已经在步骤220内识别并增强对比度的该区域的该对比度增强DSM影像，来侦测该区域内的该油棕榈树。
在某些具体实施例内，方法200可进一步包括获取步骤260内所侦测的该等目标物体的一个或多个位置。例如，获取该等目标物体的位置可包括获取图3内该区域的该DSM影像上所侦测到的该油棕榈树的该等位置。针对另一个范例，获取该等目标物体的位置的步骤290可包括根据该区域的DSM影像与该区域的航拍影像之间对应关系，获取在该区域航拍影像上所侦测到的该等油棕榈树的该等位置。图6是根据所揭示具体实施例，标记依照用于图2内自动物体侦测的该示例方法所侦测到该等示例目标物体的位置的该区域示例航拍影像示意图。在图6内，在该区域的航拍影像内将该等已侦测油棕榈树画上红圈。
在某些具体实施例内，步骤290可进一步包括在该区域航拍影像或地图上显示该已侦测目标物体的位置。例如，显示该等已侦测物体的步骤290可包括将该等一个或多个已侦测油棕榈树的位置显示在该区域的航拍影像内，如图6内红色圆圈所显示。针对另一个范例，显示该等已侦测目标物体的步骤290可包括根据该区域的DSM影像上与该区域的该地图上(未显示)的该等位置间之关联性或对应关系，在该区域的地图上显示该等一个或多个已侦测油棕榈树的位置。例如，该区域的DSM影像上一位置可关联于一组经度、纬度以及海拔高度。步骤290可包括获得该已侦测油棕榈树的经度、纬度与海拔高度的组合，并根据经度、纬度及/或海拔高度的该组合，在地图上显示该等已侦测油棕榈树。例如，显示该等已侦测油棕榈树的步骤290可包括根据经度与纬度组合，在一地理信息系统(GeographicInformation System，GIS)地图上显示该等已侦测油棕榈树。针对另一个范例，显示该等已侦测油棕榈树的步骤290可包括根据经度、纬度与海拔高度的该组合，例如一3D GIS地图，在一地图上显示该等已侦测的油棕榈树。
在某些具体实施例内，步骤290可进一步包括计算该等已侦测目标物体的数量。例如，计算该等已侦测目标物体的步骤290可包括计算图6内所示该等已侦测的油棕榈树。
图7是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的另一个示例方法700的流程图。方法700可包括步骤220、240和260，并且可进一步包括：获取对应至该区域的该DSM影像的该区域航拍影像(步骤710)；获取该区域航拍影像上该等已侦测目标物体的一个或多个位置(步骤720)；获取该等已侦测目标物体的一个或多个位置上或周围的一个或多个局部航拍影像(步骤730)；从该等一个或多个局部航拍影像提取一个或多个纹理特征，作为一个或多个特征向量(步骤740)；获取多个训练数据(步骤750)；根据该等多个训练数据来训练一分类器(步骤760)；根据该等一个或多个特征向量，由该受过训练的分类器分类该等一个或多个局部航拍影像(步骤770)；以及基于该等分类结果，辨识该等一个或多个局部航拍影像之间的该等目标物体(步骤780)。该训练数据可包括作为该等目标物体的同一种物体的多个航拍影像。
步骤710可包括获取该区域的航拍影像，其对应至步骤220内该区域DSM影像。例如，步骤710可包括获取图1中感兴趣区域的该航拍影像，其对应至图3内该感兴趣区域的DSM影像。例如，获取该区域的航拍影像的步骤710可包括存取来自计算机可读介质或计算机可读取储存装置的感兴趣区域的航拍影像。针对另一个范例，获取该区域的航拍影像的步骤710可包括从外部输入，像是影像输入120(将在所揭示系统内说明)，接收该区域的该DSM影像。在某些具体实施例内，获取该区域的航拍影像的步骤710可包括获取该区域各部分的多个航拍影像，并且组合或拼接(stitching)该区域各部分的该等多个航拍影像，来获得该区域的航拍影像。例如，获取该区域的航拍影像的步骤710可包括获取图1内该区域各部分的多个航拍影像，并拼接(stitching)该区域各部分的该等多个航拍影像，来获得该感兴趣区域的航拍影像。
在某些具体实施例内，获得该区域的该航拍影像的步骤710可包括在许多色彩空间内获取该区域的该航拍影像。例如，获得该区域的该航拍影像的步骤710可包括获得包含至少RGB(Red-Green-Blue，红-绿-蓝三原色)、灰度、HIS(Hue-Saturation-Intensity，色向-饱和度-强度)、L*a*b、多光谱空间或这些的任意组合之一的色彩空间内该区域的该航拍影像。
在某些具体实施例内，获得该区域的航拍影像的步骤710可包括使用一个或多个LiDAR传感器、实时DSM传感器、后生产DSM传感器、该区域多个航拍影像的计算或这些的任意组合，来收集该区域或该区域各部分的航拍影像。在某些具体实施例内，获得该区域的航拍影像的步骤710可包括使用上述传感器之一及/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机，收集该区域或该区域各部分的航拍影像。在某些具体实施例内，获得该区域的航拍影像的步骤710可进一步包括通过无线连接，像是蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新一代的蜂巢式通讯系统)，以及卫星连线或有线连接，像是USB线或光纤缆线，接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该区域中航拍影像的已收集数据。
步骤720可包括获得该区域航拍影像上步骤260内该等已侦测的目标物体的一个或多个位置。例如，获取该等已侦测目标物体的位置的步骤720可包括根据该区域的DSM影像与该区域的航拍影像间的对应关系，获取在图3内该区域DSM影像上该等已侦测油棕榈树的该等位置，并且获取在图1内该区域航拍影像上该等已侦测油棕榈树的该等位置。换言之，获取该已侦测目标物体的位置的步骤720可包括获取图6内红色圆圈，也就是该等已侦测油棕榈树，的位置。
步骤730可包括获取该等已侦测目标物体的一个或多个位置上或周围的一个或多个局部航拍影像。图8是根据所揭示具体实施例，依照用于图2内自动物体侦测的该示例方法，标记该等已侦测示例目标物体的位置的该区域示例航拍影像的部分放大示意图。例如，获取该等局部航拍影像的步骤730可包括根据步骤720内获取的该位置，从步骤710内该区域的航拍影像获取图8内已侦测油棕榈树801、802、803上的300x300局部航拍影像。例如，获取该等局部航拍影像的步骤730可包括将步骤720内已侦测位置作为该等300x300局部航拍影像的中心，获取已侦测油棕榈树的300x300局部航拍影像。针对另一个范例，获取该等局部航拍影像的步骤730可包括将步骤720内已侦测位置作为该等圆心，获取已侦测油棕榈树上圆形局部航拍影像。该已侦测油棕榈树的该圆形航拍影像的半径可包括例如150个像素。该等已侦测目标物体的该等局部航拍影像的形状可包括其他形状，像是矩形、三角形或类似于该等目标物体形状的其他形状。
在某些具体实施例内，获取该等局部航拍影像的步骤730可包括使用该等已侦测目标物体的该等位置作为原点，来建立一个或多个坐标，并且获取这些原点周围的一个或多个300x300局部航拍影像。这些坐标可用来代表或指称该等已获取的局部航拍影像。
在某些具体实施例内，获取该等局部航拍影像的步骤730可包括获取许多色彩空间内该等已侦测目标物体的一个或多个位置上的一个或多个局部航拍影像。例如，获取该等局部航拍影像的步骤730可包括在像是RGB、灰度、HSI、L*a*b、多光谱空间或这些的任意组合的色彩空间内获取该等已侦测油棕榈树的一个或多个300x300局部航拍影像。例如，获取该等局部航拍影像的步骤730可包括从步骤710中该等上述色彩空间内该区域的该航拍影像，获取该等上述色彩空间内该已侦测油棕榈树的这些局部航拍影像。在某些具体实施例内，获取该等局部航拍影像的步骤730可包括：获取一色彩空间内的该等已侦测目标物体的一个或多个局部航拍影像，并且将该色彩空间内该等已侦测目标物体的一个或多个局部航拍影像转换成另一个色彩空间内的相对部分。例如，获取该等局部航拍影像的步骤730可包括获取该等已侦测油棕榈树的一个或多个RGB局部航拍影像，并将这些影像转换成灰度相对部分。就另一个范例而言，获取该等局部航拍影像的步骤730可包括获取该等已侦测油棕榈树的一个或多个RGB局部航拍影像，并将这些影像转换成HSI相对部分。
步骤740可包括从该等一个或多个局部航拍影像中提取一个或多个纹理特征，将其作为步骤260内该等已侦测目标物体的一个或多个特征向量。例如，提取该等纹理特征的步骤740可包括根据Gabor滤波器、灰度共生矩阵(Gray-Level Co-occurrence Matrix，GLCM)、局部二进制模式(Local Binary Pattern，LBP)、定向梯度直方图(Histograms ofOriented Gradients，HOG)、第一阶特征描述、第二阶特征描述或其任意组合，提取该等一个或多个纹理特征。提取特征的步骤740可包括利用上述方法提取该等局部航拍影像的信息与非冗余特征，以帮助步骤770内的后续分类。
在某些具体实施例内，提取一个或多个纹理特征的步骤740可包括从一个色彩空间内至少该等一个或多个局部航拍影像之一，及/或另一个色彩空间内该等一个或多个局部航拍影像，提取该等一个或多个纹理特征。例如，提取一个或多个纹理特征的步骤740可包括根据多区块局部二进制模式(Multi-block Local Binary Pattern，MB-LBP)，从以灰度呈现的该已侦测油棕榈树的一个或多个局部航拍影像中提取该等一个或多个纹理特征。针对另一个范例，提取一个或多个纹理特征的步骤740可包括根据Gabor滤波器，从以RGB呈现的该已侦测油棕榈树的一个或多个局部航拍影像中提取该等一个或多个纹理特征。针对另一个范例，提取一个或多个纹理特征的步骤740可包括根据多区块局部二进制模式(MB-LBP)，从以灰度和RGB两者呈现的该已侦测油棕榈树的一个或多个局部航拍影像中提取该等一个或多个纹理特征。针对另一个范例，提取一个或多个纹理特征的步骤740可包括根据GLCM，从以灰度呈现的该已侦测油棕榈树的一个或多个局部航拍影像提取该等一个或多个纹理特征，并且根据HOG，从以L*a*b呈现的该已侦测油棕榈树的一个或多个局部航拍影像提取该等一个或多个纹理特征。
步骤750可包括获得多个训练数据。该训练数据可包括与该等目标物体相当的同类物体的多个航拍影像。图9是根据所揭示具体实施例，可用来训练示例分类器进行自动物体侦测的多个示例训练数据的示意图。例如，步骤750可包括获得油棕榈树的多个航拍影像，如图9(a)内所示，作为该训练数据。在某些具体实施例内，步骤750可进一步包括获得非目标物体的多个航拍影像，如图9(b)内所示，作为该训练数据的一部分。例如，获得该训练数据的步骤750可包括存取来自计算机可读介质或计算机可读取储存装置的该训练数据。针对另一个范例，获得该训练数据的步骤750可包括从外部输入，像是影像输入120(将在所揭示系统内说明)，接收该训练数据。
步骤760可包括根据步骤750内该等多个训练数据来训练一分类器。分类器为使用模式配对来决定最接近配对的函数，可依照训练数据来调整。训练数据可包括观察结果或模式，例如在监督学习(supervised learning)当中，每个模式都属于特定预定等级。等级可视为要做的决策。所有与观察结果的等级标签结合的观察结果都被称为数据集。当已接收新的观察结果时，则根据先前的经验来分类该观察结果。例如，训练该分类器的步骤760可包括利用图9内油棕榈树以及非目标物体的训练数据，训练至少一支持向量机(SupportVector Machine，SVM)分类器、人造神经网络(Artificial Neural Network，ANN)分类器、决策树分类器、贝式分类器(Bayes classifier)、或其任意组合之一。针对另一个范例，训练该分类器的步骤760可包括利用含有图9(a)内油棕榈树以及随机产生的非目标物体的训练数据，训练至少一支持向量机(SVM)分类器、人造神经网络(ANN)分类器、决策树分类器、Bayes分类器、或其任意组合之一。
步骤770可包括根据步骤740内该等一个或多个特征向量，利用步骤760内的该已训练的分类器来分类步骤730内的该等一个或多个局部航拍影像。例如，分类该等局部航拍影像的步骤770可包括根据由步骤740内Gabor滤波器与GLCM所提取的该等一个或多个特征向量，利用步骤760内该已训练的SVM分类器，来分类步骤730内该已侦测油棕榈树的该等一个或多个局部航拍影像。针对另一个范例，分类该等局部航拍影像的步骤770可包括根据由步骤740内LBP与HOG所提取的该等一个或多个特征向量，利用步骤760内该已训练ANN分类器，来分类步骤730内该已侦测油棕榈树的该等一个或多个局部航拍影像。针对另一个范例，分类该等局部航拍影像的步骤770可包括根据由步骤740内Gabor滤波器、GLCM、LBP与HOG所提取的该等一个或多个特征向量，利用步骤760内该已训练的ANN分类器，来分类步骤730内该已侦测油棕榈树的该等一个或多个局部航拍影像。方法700可包括上述纹理提取算法与该等分类器的任意组合。
分类器的分类结果可包括两种结果或多种结果。例如，当根据该已侦测油棕榈树的局部航拍影像的特征向量，将其分类为图9(a)内相同种类物体时，则SVM分类器可输出「0」。当根据该已侦测油棕榈树的局部航拍影像的特征向量，将其分类为图9(b)内相同种类物体时，则SVM分类器可输出「1」。图10是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，在该等已侦测目标物体的位置上标示该分类结果的该区域示例航拍影像的部分放大示意图。将在位置1001、1002、1003上用粉色圆圈标记的局部航拍影像分类为该等目标油棕榈树。将在位置1016、1017、1018上用蓝色圆圈标记的局部航拍影像分类为该等非目标物体。
步骤780可包括基于该等分类结果，辨识该等一个或多个局部航拍影像之间的该等目标物体。例如，辨识该等目标物体的步骤780可包括根据步骤770内的分类结果，在步骤730内该等已侦测油棕榈树的该等一个或多个局部航拍影像之间辨识出该等油棕榈树。例如，图10内已侦测油棕榈树1001、1002、1003的该等局部航拍影像可分类为与图9(a)内相同物体，并且从该SVM分类器对这些的输出全都为「0」。因此，辨识该等目标物体的步骤780可包括根据其分类结果「0」，将已侦测油棕榈树1001、1002、1003的该等局部航拍影像辨识为该等目标油棕榈树。例如，图(10)内已侦测油棕榈树1016、1017、1018的该等局部航拍影像可分类为与图9(b)内相同物体，并且从该SVM分类器对这些的输出全都为「1」。因此，辨识该等目标物体的步骤780可包括根据其分类结果「1」，将已侦测油棕榈树1016、1017、1018的该等局部航拍影像辨识为该等非目标物体。
在某些具体实施例内，方法700可进一步包括步骤790，其获取步骤780内该等已辨识目标物体的一个或多个位置。例如，获取该等已辨识目标物体的位置的步骤790可包括获取该区域航拍影像上已辨识油棕榈树1001、1002、1003的位置。在图10内，在该区域航拍影像以粉色圆圈标记该等已辨识油棕榈树，而图中在该区域航拍影像以蓝色圆圈标记该等已辨识非目标物体。获取该等已辨识目标物体的位置的步骤790可包括获取该区域航拍影像内以粉色圆圈标记的该等已辨识油棕榈树的位置。
在某些具体实施例内，步骤790可进一步包括在该区域航拍影像或地图上显示该已辨识目标物体的一个或多个位置。例如，显示该等已辨识目标物体的步骤790可包括在该区域航拍影像上显示一个或多个已辨识油棕榈树1001、1002、1003的位置。就另一个范例而言，显示该等已辨识目标物体的步骤790可包括根据该区域的航拍影像上与该区域的该地图上(未显示)的该等位置间的关联性或对应关系，在该区域的地图上显示该等一个或多个已辨识油棕榈树的位置。例如，该区域的航拍影像上一位置可关联于一组经度、纬度以及海拔高度。在某些具体实施例内，显示该等已辨识目标物体的步骤790可包括获得该已辨识的油棕榈树的经度、纬度与海拔高度的组合，并根据经度、纬度及/或海拔高度的该组合，在地图上显示该等已辨识的油棕榈树。例如，显示该等已辨识油棕榈树的步骤790可包括根据经度与纬度组合，在一地理信息系统(GIS)地图上显示该等已辨识油棕榈树。针对另一个范例，显示该等已辨识油棕榈树的步骤790可包括根据经度、纬度与海拔高度的该组合，在地图上，例如在3D GIS地图上，显示该等已辨识油棕榈树。
在某些具体实施例内，步骤790可包括计算该等已辨识目标物体的数量。例如，步骤790可包括计算该等已辨识油棕榈树。
图11是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，标记该等已正确侦测和辨识的示例目标物体位置的该区域示例航拍影像的部分放大示意图。当该等目标物体的地面真像(Ground Truth)信息可用时，则可评估上述物体侦测方法的准确率(accuracy)。图11内的白色圆圈1101、1102、1103为示例正确侦测并辨识的油棕榈树。
图12是根据所揭示具体实施例，依照用于图7内自动物体侦测的该示例方法，在该等已侦测和已分类示例目标物体位置上标记该分类结果的该区域示例航拍影像示意图。在示意图中，将用粉色圆圈标记的局部航拍影像辨识为该等目标油棕榈树，而用蓝色圆圈标记的局部航拍影像分类为该等非目标物体。在一个具体实施例内，当采用MB-LBP进行特征提取且影像的地面取样距离为3公分时，来自航拍影像的物体侦测的精确率与召回率(precision and recall)分别可达90.6％和83.4％。
本发明的另一个方面涉及从航拍影像中侦测物体的方法，所述方法利用一个或多个集成电路、一个或多个现场可程序门阵列、执行实现所述方法的指令的一个或多个处理器或控制器、或上述任意组合来执行。该方法可包括但不受限于所有上述方法及具体实施例。在某些具体实施例内，前述方法或具体实施例内的部分步骤可远程或分开执行。在某些具体实施例内，该方法可由一个或多个分布式系统来执行。
仍旧是本发明的另一个方面涉及一种用于侦测航拍影像中物体的系统。图13是根据所揭示具体实施例，说明用于航拍影像中自动物体侦测的示例系统400的方块图。自动物体侦测系统400可包括设置成获得一区域DSM影像的航拍影像单元410、设置成获得目标物体DSM影像的目标影像单元420，以及设置成根据该区域与该目标物体的DSM影像来侦测该区域内该目标物体的侦测单元430。
航拍影像单元410可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行上述步骤220内的操作。航拍影像单元410可设置成获得一区域的DSM影像。在某些具体实施例内，航拍影像单元410可通信连接至影像输入120。影像输入120可将上述许多影像输入提供给航拍影像单元410。例如，影像输入120可从UAV 100、无人靶机、飞行器、直升机、气球或卫星接收该区域的航拍影像、该区域的DSM及/或该区域的DEM，并且将该区域的这些影像、DSM及/或DEM传输至航拍影像单元410。在某些具体实施例内，航拍影像单元410也可通信连接至侦测单元430。航拍影像单元410可设置成将该区域的DSM影像以及该区域或该区域各部分的航拍影像提供给侦测单元430。在某些具体实施例内，航拍影像单元410也可通信连接至目标影像单元420。航拍影像单元410可设置成将来自影像输入120的该等已接收的目标影像传送至目标影像单元420。
目标影像单元420可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行上述步骤240内的操作。目标影像单元420可设置成获得目标物体的DSM影像。在某些具体实施例内，目标影像单元420也可通信连接至用户接口140。目标影像单元420可设置成接收来自用户接口140的目标影像。在某些具体实施例内，目标影像单元420可设置成接收来自用户接口140的该等目标影像的选择。在某些具体实施例内，目标影像单元420也可通信连接至侦测单元430。目标影像单元420可设置成将目标影像传送至侦测单元430，用于物体侦测。
侦测单元430可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行步骤260内的上述操作。侦测单元430可设置成根据来自航拍影像单元410和目标影像单元420的该区域与该目标物体的DSM影像，侦测该区域内该目标物体。在某些具体实施例内，侦测单元430可设置成获取该等已侦测目标物体的一个或多个位置，如上述步骤290内的操作。在某些具体实施例内，侦测单元430也可通信连接至一显示器160。侦测单元430可设置成在显示器160上的该区域航拍影像或地图上显示该等已侦测目标物体的一个或多个位置，如上述步骤290内的操作。在某些具体实施例内，侦测单元430可设置成计算该等已侦测目标物体的数量，如上述步骤290内的操作。在某些具体实施例内，侦测单元430也可通信连接至输出180。侦测单元430可设置成将计算出来的该等已侦测目标物体数量传送至输出180。
在某些具体实施例内，自动物体侦测系统400可包括航拍影像单元410、目标影像单元420、侦测单元430、定位单元440、局部航拍影像单元450、提取单元460以及分类与辨识单元470。
航拍影像单元410可进一步设置成获得对应至该区域中该DSM影像的该区域的该航拍影像，如上述步骤710内的操作。
定位单元440可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行上述步骤720内的操作。定位单元440可进一步设置成获取该区域航拍影像上该等已侦测目标物体的一个或多个位置。在某些具体实施例内，定位单元440可通信连接至侦测单元430。定位单元440可设置成接收来自侦测单元430的该等已侦测目标物体，并获取该区域航拍影像上该等已侦测目标物体的一个或多个位置。在某些具体实施例内，定位单元440也可通信连接至局部航拍影像单元450。定位单元440可设置成将该等已侦测目标物体的位置传送至局部航拍影像单元450。在某些具体实施例内，定位单元440也可通信连接至分类与辨识单元470。定位单元440可设置成将该等已侦测目标物体的已获取位置传送至分类与辨识单元470。
局部航拍影像单元450可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行步骤730内的上述操作。局部航拍影像获取单元可设置成获取该等已侦测目标物体的一个或多个位置上一个或多个局部航拍影像。在某些具体实施例内，局部航拍影像单元450也可通信连接至侦测单元430。局部航拍影像单元450可设置成接收来自侦测单元430的该区域的该等已侦测目标物体及/或航拍影像。在某些具体实施例内，局部航拍影像单元450也可通信连接至提取单元460。局部航拍影像单元450可设置成将该等已侦测目标物体的一个或多个位置上的已获取的局部航拍影像传送至提取单元460。在某些具体实施例内，局部航拍影像单元450也可通信连接至分类与辨识单元470。局部航拍影像单元450可设置成将该等已侦测目标物体的一个或多个位置上的已获取的局部航拍影像传送至分类与辨识单元470。
提取单元460可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行步骤740内的上述操作。提取单元460可设置成从该等一个或多个局部航拍影像提取一个或多个纹理特征，作为一个或多个特征向量。在某些具体实施例内，提取单元460也可通信连接至局部航拍影像单元450。提取单元460可设置成接收来自局部航拍影像单元450的该等已侦测目标物体中一个或多个位置上的已获取的局部航拍影像。在某些具体实施例内，提取单元460也可通信连接至用户接口140。提取单元460可设置成接受来自用户接口140的提取算法的用户输入或选择。在某些具体实施例内，提取单元460也可通信连接至分类与辨识单元470。提取单元460可设置成将该等已提取一个或多个特征向量传送至分类与辨识单元470。
分类与辨识单元470可包括适当种类的硬件，像是集成电路与现场可程序门阵列，或软件，像是可在处理器或控制器上执行的指令集、子程序或函数(即函数程序)，来执行步骤750、760、770与780内的上述操作。在某些具体实施例内，分类与辨识单元470也可通信连接至用户接口140。分类与辨识单元470可设置成从用户接口140获得多个训练数据。在某些具体实施例内，分类与辨识单元470也可通信连接至定位单元440。分类与辨识单元470可设置成接收来自定位单元440的该等已侦测目标物体的已获取位置。在某些具体实施例内，分类与辨识单元470也可通信连接至局部航拍影像单元450。分类与辨识单元470可设置成接收来自局部航拍影像单元450的该等已侦测目标物体中一个或多个位置上的已获取的局部航拍影像。在某些具体实施例内，分类与辨识单元470也可通信连接至提取单元460。分类与辨识单元470可设置成接收来自提取单元460的该等已提取一个或多个特征向量。
分类与辨识单元470可设置成获得多个训练数据，该训练数据包括作为该目标物体的相同种类物体的多个航拍影像。分类与辨识单元470可进一步设置成根据该等多个训练数据来训练一分类器。分类与辨识单元470可进一步设置成根据该等一个或多个特征向量，由该受过训练的分类器分类该等一个或多个局部航拍影像。分类与辨识单元470可进一步设置成基于该等分类结果，辨识该等一个或多个局部航拍影像之间的该等目标物体。
在某些具体实施例内，分类与辨识单元470可进一步设置成获取该等已辨识的目标物体的一个或多个位置，如上述步骤790内的操作。在某些具体实施例内，分类与辨识单元470也可通信连接至显示器160。分类与辨识单元470可设置成在显示器160上该区域航拍影像或地图上显示该等已辨识目标物体的一个或多个位置，如上述步骤790内的操作。在某些具体实施例内，分类与辨识单元470可设置成计算该等已侦测目标物体的数量，如上述步骤790内的操作。在某些具体实施例内，分类与辨识单元470也可通信连接至输出180。分类与辨识单元470可设置成将计算出来的该等已辨识目标物体数量传送至输出180。
本领域技术人员将了解，可对用于侦测航拍影像内物体的所揭示方法及系统进行许多修改以及变化。从用于侦测航拍影像内物体的所揭示方法及系统的规格与实践考虑中，本领域技术人员也可了解其他具体实施例。在此所考虑的说明书与范例都仅为范例，本发明确切的范围都列示于下列权利要求书其相等项内。
符号说明
100无人航拍机 430侦测单元
120影像输入 440定位单元
140用户接口 450局部航拍影像单元
160显示器 460提取单元
180输出 470分类与辨识单元
200方法 700方法
220、240、260、290步骤 710～790步骤
400自动物体侦测系统 801、802、803油棕榈树
410航拍影像单元 1001、1002、1003粉色圆圈
420目标影像单元 1016、1017、1018蓝色圆圈

Claims (42)

1.一种储存指令的非暂时性计算机可读介质，当执行时会导致一个或多个处理器执行侦测航拍影像内物体的操作，其特征在于，所述操作包括：
获得一区域的数字地表模型(DSM)影像；
获得一个或多个目标物体的DSM影像；以及
根据所述区域以及所述一个或多个目标物体的所述DSM影像，来侦测所述区域内的所述目标物体。
2.如权利要求1所述的非暂时性计算机可读介质，其特征在于，
根据所述一个或多个目标物体的形状或对比度，或根据其形状与对比度的组合，来获得所述一个或多个目标物体的所述DSM影像。
3.如权利要求1所述的非暂时性计算机可读介质，其特征在于，所述操作进一步包括：
在侦测所述目标物体之前，降低所述区域以及所述一个或多个目标物体的所述DSM影像的分辨率。
4.如权利要求1所述的非暂时性计算机可读介质，其特征在于，
其中获得所述区域的所述DSM影像进一步包括：
在所述区域的所述DSM影像上识别一个或多个目标子区域；
增强所述一个或多个目标子区域的对比度；
以及，其中侦测所述目标物体包括：
根据所述区域的所述已增强DSM影像以及所述一个或多个目标物体的所述DSM影像，侦测所述目标物体。
5.如权利要求4所述的非暂时性计算机可读介质，其特征在于，
其中识别所述一个或多个目标子区域包括：
获得对应至所述区域中所述DSM影像的所述区域的彩色航拍影像，以及所述一个或多个目标物体的彩色航拍影像；
根据所述区域的所述彩色航拍影像以及所述一个或多个目标物体的所述彩色影像，识别所述一个或多个目标子区域。
6.如权利要求1所述的非暂时性计算机可读介质，其特征在于，
其中侦测所述区域内所述目标物体进一步包括：
计算所述一个或多个目标物体的所述DSM影像与所述区域的一个或多个DSM子影像间的配对率；以及
根据所述配对率，决定所述区域的所述一个或多个DSM子影像作为所述目标物体。
7.如权利要求6所述的非暂时性计算机可读介质，其特征在于，
其中决定所述区域的所述一个或多个DSM子影像为所述目标物体，包括根据以下至少之一来决定：
在第一距离之内，所述区域的所述一个或多个DSM子影像的所述配对率为最大；或
所述区域的所述一个或多个DSM子影像的高度比第二距离之内所述最低位置的高度高出一高度临界值。
8.如权利要求1所述的非暂时性计算机可读介质，其特征在于，
其中获得所述区域的所述DSM影像包括：
利用一无人航拍机、无人靶机、飞行器、直升机、气球或卫星来收集所述区域的所述DSM；以及
接收来自所述无人航拍机、无人靶机、飞行器、直升机、气球或卫星的所述区域的所述DSM。
9.如权利要求1所述的非暂时性计算机可读介质，其特征在于，所述操作进一步包括：
获取所述已侦测目标物体的一个或多个位置。
10.如权利要求1所述的非暂时性计算机可读介质，其特征在于，所述操作进一步包括：
计算所述已侦测目标物体的数量。
11.如权利要求1所述的非暂时性计算机可读介质，其特征在于，所述操作进一步包括：
获取所述一个或多个已侦测目标物体上的一个或多个局部航拍影像；
获得一分类器；
利用所述分类器分类所述一个或多个局部航拍影像；以及
根据所述分类结果，在所述一个或多个局部航拍影像之间辨识所述目标物体。
12.如权利要求11所述的非暂时性计算机可读介质，其特征在于，
其中获得一分类器进一步包括：
获取多个训练数据；以及
根据所述训练数据训练所述分类器。
13.如权利要求12所述的非暂时性计算机可读介质，其特征在于，
所述多个训练数据包括：
所述目标物体的一个或多个航拍影像；以及
非目标物体的一个或多个航拍影像。
14.如权利要求13所述的非暂时性计算机可读介质，其特征在于，
其中分类所述一个或多个局部航拍影像进一步包括：
提取来自所述一个或多个局部航拍影像的一个或多个特征向量；以及
根据所述一个或多个特征向量，分类所述一个或多个局部航拍影像。
15.如权利要求14所述的非暂时性计算机可读介质，其特征在于，
其中提取所述一个或多个特征向量包括：
根据Gabor滤波器、灰度共生矩阵(GLCM)、局部二进制模式(LBP)、定向梯度直方图(HOG)、第一阶特征描述、第二阶特征描述或其任意组合来提取。
16.如权利要求11所述的非暂时性计算机可读介质，其特征在于，
在第一色彩空间内获取所述一个或多个局部航拍影像，并转换进入第二色彩空间。
17.如权利要求14所述的非暂时性计算机可读介质，其特征在于，
其中获取所述一个或多个局部航拍影像包括：
获取第一色彩空间内所述一个或多个局部航拍影像；以及
将所述第一色彩空间内的所述一个或多个局部航拍影像转换成第二色彩空间内一个或多个局部航拍影像，以及
其中提取所述一个或多个特征向量包括从至少以下之一提取：
所述第一色彩空间内所述一个或多个局部航拍影像；或
所述第二色彩空间内所述一个或多个局部航拍影像。
18.如权利要求17所述的非暂时性计算机可读介质，其特征在于，
所述第一和第二色彩空间包括RGB、灰度、HSI、L*a*b、多光谱空间或其任意组合。
19.如权利要求11所述的非暂时性计算机可读介质，其特征在于，
其中获取所述一个或多个局部航拍影像包括：
获得所述区域各部分的多个航拍影像；
拼接所述区域各部分的所述多个航拍影像，以获得所述区域的所述航拍影像；以及
从所述区域的所述航拍影像获取所述一个或多个局部航拍影像。
20.如权利要求11所述的非暂时性计算机可读介质，其特征在于，
所述分类器包括支持向量机(SVM)分类器、人造神经网络(ANN)分类器、决策树分类器、贝式分类器或其任意组合。
21.一种从航拍影像中侦测物体的方法，所述方法利用一个或多个集成电路、一个或多个现场可程序门阵列、执行实现所述方法的指令的一个或多个处理器或控制器、或上述的任意组合来执行，其特征在于，所述方法包括：
获得一区域的数字地表模型(DSM)影像；
获得一个或多个目标物体的DSM影像；以及
根据所述区域以及所述一个或多个目标物体的所述DSM影像，来侦测所述区域内的所述目标物体。
22.如权利要求21所述的方法，其特征在于，
根据所述一个或多个目标物体的形状或对比度，或根据其形状与对比度的组合，来获得所述一个或多个目标物体的所述DSM影像。
23.如权利要求21所述的方法，其特征在于，所述方法进一步包括：
在侦测所述目标物体之前，降低所述区域以及所述一个或多个目标物体的所述DSM影像的分辨率。
24.如权利要求21所述的方法，其特征在于，
其中获得所述区域的所述DSM影像进一步包括：
在所述区域的所述DSM影像上识别一个或多个目标子区域；
增强所述一个或多个目标子区域的所述对比度；以及
其中侦测所述目标物体包括：
根据所述区域的所述已增强DSM影像以及所述一个或多个目标物体的所述DSM影像，侦测所述目标物体。
25.如权利要求24所述的方法，其特征在于，
其中识别所述一个或多个目标子区域包括：
获得对应至所述区域中所述DSM影像的所述区域的彩色航拍影像，以及所述一个或多个目标物体的彩色航拍影像；
根据所述区域的所述彩色航拍影像以及所述一个或多个目标物体的所述彩色影像，识别所述一个或多个目标子区域。
26.如权利要求21所述的方法，其特征在于，
其中侦测所述区域内所述目标物体进一步包括：
计算所述一个或多个目标物体的所述DSM影像与所述区域的一个或多个DSM子影像间的配对率；以及
根据所述配对率，决定所述区域的所述一个或多个DSM子影像作为所述目标物体。
27.如权利要求26所述的方法，其特征在于，
其中决定所述区域的所述一个或多个DSM子影像作为所述目标物体包括根据以下至少之一来决定：
在第一距离之内，所述区域的所述一个或多个DSM子影像的所述配对率为最大；或
所述区域的所述一个或多个DSM子影像的高度比第二距离之内所述最低位置的高度高出一高度临界值。
28.如权利要求21所述的方法，其特征在于，
其中获得所述区域的所述DSM影像包括：
利用一无人航拍机、无人靶机、飞行器、直升机、气球或卫星来收集所述区域的所述DSM；以及
接收来自所述无人航拍机、无人靶机、飞行器、直升机、气球或卫星的所述区域的所述DSM。
29.如权利要求21所述的方法，其特征在于，所述方法进一步包括：
获取所述已侦测目标物体的一个或多个位置。
30.如权利要求21所述的方法，其特征在于，所述方法进一步包括：
计算所述已侦测目标物体的数量。
31.如权利要求21所述的方法，其特征在于，所述方法进一步包括：
获取所述一个或多个已侦测目标物体上的一个或多个局部航拍影像；
获得一分类器；
利用所述分类器分类所述一个或多个局部航拍影像；以及
基于所述分类结果，辨识所述一个或多个局部航拍影像之间的所述目标物体。
32.如权利要求31所述的方法，其特征在于，
其中获得一分类器进一步包括：
获取多个训练数据；以及
根据所述训练数据训练所述分类器。
33.如权利要求32所述的方法，其特征在于，
其中所述多个训练数据包括：
所述目标物体的一个或多个航拍影像；以及
非目标物体的一个或多个航拍影像。
34.如权利要求33所述的方法，其特征在于，
其中分类所述一个或多个局部航拍影像进一步包括：
提取来自所述一个或多个局部航拍影像的一个或多个特征向量；以及
根据所述一个或多个特征向量，分类所述一个或多个局部航拍影像。
35.如权利要求34所述的方法，其特征在于，
其中提取所述一个或多个特征向量包括：
根据Gabor滤波器、灰度共生矩阵(GLCM)、局部二进制模式(LBP)、定向梯度直方图(HOG)、第一阶特征描述、第二阶特征描述或其任意组合来提取。
36.如权利要求31所述的方法，其特征在于，
在第一色彩空间内获取所述一个或多个局部航拍影像，并转换进入第二色彩空间。
37.如权利要求34所述的方法，其特征在于，
其中获取所述一个或多个局部航拍影像包括：
获取第一色彩空间内所述一个或多个局部航拍影像；以及
将所述第一色彩空间内的所述一个或多个局部航拍影像转换成第二色彩空间内一个或多个局部航拍影像，以及
其中提取所述一个或多个特征向量包括从至少以下之一提取：
所述第一色彩空间内所述一个或多个局部航拍影像；或
所述第二色彩空间内所述一个或多个局部航拍影像。
38.如权利要求37所述的方法，其特征在于，
所述第一和第二色彩空间包括RGB、灰度、HSI、L*a*b、多光谱空间或其任意组合。
39.如权利要求31所述的方法，其特征在于，
其中获取所述一个或多个局部航拍影像包括：
获得所述区域各部分的多个航拍影像；
拼接所述区域各部分的所述多个航拍影像，以获得所述区域的所述航拍影像；以及
从所述区域的所述航拍影像获取所述一个或多个局部航拍影像。
40.如权利要求31所述的方法，其特征在于，
所述分类器包括支持向量机(SVM)分类器、人造神经网络(ANN)分类器、决策树分类器、贝式分类器或其任意组合。
41.一种侦测航拍影像中物体的系统，其特征在于，所述系统包括：
航拍影像单元，其获得一区域的DSM影像；
目标影像单元，其获得一个或多个目标物体的DSM影像；以及
侦测单元，其根据所述区域以及所述一个或多个目标物体的所述DSM影像，来侦测所述区域内的所述目标物体。
42.如权利要求41所述的系统，其特征在于，所述系统进一步包括：
局部航拍影像获取单元，其获取所述一个或多个已侦测目标物体上的一个或多个局部航拍影像；
分类与辨识单元，其：
获得一分类器；
利用所述分类器分类所述一个或多个局部航拍影像；以及
基于所述分类结果，辨识所述一个或多个局部航拍影像之间的所述目标物体。
CN201711235978.6A 2016-12-02 2017-11-30 航拍影像自动物体侦测的方法及系统 Active CN108154082B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/367,975 US10546195B2 (en) 2016-12-02 2016-12-02 Methods and systems for automatic object detection from aerial imagery
US15/367,975 2016-12-02

Publications (2)

Publication Number Publication Date
CN108154082A true CN108154082A (zh) 2018-06-12
CN108154082B CN108154082B (zh) 2021-10-29

Family

ID=62243227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711235978.6A Active CN108154082B (zh) 2016-12-02 2017-11-30 航拍影像自动物体侦测的方法及系统

Country Status (7)

Country Link
US (1) US10546195B2 (zh)
JP (2) JP6771449B2 (zh)
CN (1) CN108154082B (zh)
HK (1) HK1255087A1 (zh)
MY (1) MY198109A (zh)
PH (1) PH12017000344A1 (zh)
TW (2) TWI709109B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120056A (zh) * 2019-05-21 2019-08-13 闽江学院 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN110598619A (zh) * 2019-09-06 2019-12-20 中国农业科学院农业资源与农业区划研究所 一种利用无人机影像进行果树识别和计数的方法和系统
CN111062404A (zh) * 2018-10-17 2020-04-24 新汉智能系统股份有限公司 自动建立物件辨识模型的方法
CN114926753A (zh) * 2022-06-16 2022-08-19 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751020B1 (ko) * 2015-12-08 2017-07-11 한국해양과학기술원 다중 위성 기반 위험유해물질 연속 탐지 방법 및 장치
WO2017176487A1 (en) 2016-04-08 2017-10-12 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
NL2016718B1 (en) * 2016-05-02 2017-11-10 Cyclomedia Tech B V A method for improving position information associated with a collection of images.
CN110402456B (zh) * 2017-02-28 2023-06-23 株式会社OPTiM 异常检测系统、异常检测方法以及存储介质
US10460431B2 (en) * 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
US10691944B2 (en) * 2018-05-21 2020-06-23 The Boeing Company Geo-registering an aerial image by an object detection model using machine learning
US10775174B2 (en) * 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations
US11428817B2 (en) * 2018-10-11 2022-08-30 Baidu Usa Llc Automatic LIDAR calibration based on cross validation for autonomous driving
US11144758B2 (en) 2018-11-15 2021-10-12 Geox Gis Innovations Ltd. System and method for object detection and classification in aerial imagery
KR102275572B1 (ko) * 2018-12-21 2021-07-09 한국전자통신연구원 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
KR102318522B1 (ko) * 2018-12-31 2021-10-29 한국전자통신연구원 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
US11049404B2 (en) * 2019-02-06 2021-06-29 Motorola Mobility Llc Methods and systems for unmanned aircraft monitoring in response to Internet-of-things initiated investigation requests
KR102038141B1 (ko) * 2019-02-18 2019-11-26 아주대학교산학협력단 부동산 정보를 제공하는 방법, 이를 이용하는 서버 및 시스템
JP7114082B2 (ja) * 2019-03-20 2022-08-08 株式会社アクセルスペース 情報処理装置、情報処理方法及びプログラム
CN109975780B (zh) * 2019-04-17 2022-12-06 西安电子工程研究所 基于脉冲多普勒雷达时域回波的直升机型号识别算法
US11228501B2 (en) * 2019-06-11 2022-01-18 At&T Intellectual Property I, L.P. Apparatus and method for object classification based on imagery
TWI760782B (zh) * 2019-07-08 2022-04-11 國立臺灣大學 用於地理區域上果園辨識之系統及方法
US11323890B2 (en) 2019-07-10 2022-05-03 At&T Intellectual Property I, L.P. Integrated mobility network planning
TWI709921B (zh) * 2019-08-27 2020-11-11 騰擎科研創設股份有限公司 物體辨識系統及方法
WO2021051264A1 (zh) * 2019-09-17 2021-03-25 深圳市大疆创新科技有限公司 基于机器视觉的树木识别方法及装置
CN110910403A (zh) * 2019-11-16 2020-03-24 厦门梓蔓生物科技有限公司 一种基于图像处理的工业大麻种子计数方法
KR102314038B1 (ko) * 2019-12-18 2021-10-19 한국항공우주연구원 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
TWI785436B (zh) * 2019-12-20 2022-12-01 經緯航太科技股份有限公司 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
EP3839804A1 (en) * 2019-12-20 2021-06-23 KWS SAAT SE & Co. KGaA Method and system for automated plant image labeling
JP7271413B2 (ja) * 2019-12-26 2023-05-11 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置および物体検出方法
JP7236377B2 (ja) * 2019-12-26 2023-03-09 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置および物体検出方法
US11222245B2 (en) * 2020-05-29 2022-01-11 Raytheon Company Systems and methods for feature extraction and artificial decision explainability
US11238307B1 (en) 2020-09-24 2022-02-01 Eagle Technology, Llc System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11302071B1 (en) * 2020-09-24 2022-04-12 Eagle Technology, Llc Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods
US11587249B2 (en) 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
EP4288931A1 (en) * 2021-02-03 2023-12-13 Spark Insights, Inc. Damage detection and image alignment based on polygonal representation of objects
WO2022200948A1 (en) * 2021-03-21 2022-09-29 B.G. Negev Technologies & Applications Ltd. Palm tree mapping
TWI764635B (zh) * 2021-03-22 2022-05-11 江俊昇 具被遮蔽區域地面模型建立之方法
JP2023042205A (ja) 2021-09-14 2023-03-27 株式会社島津製作所 対象物検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222235A (zh) * 2010-04-14 2011-10-19 同济大学 基于对象集成高度信息的面向对象的高光谱分类处理方法
CN104221031A (zh) * 2011-11-18 2014-12-17 美塔欧有限公司 将影像特征与参考特征相匹配之方法及其所用集成电路
CN104237887A (zh) * 2014-09-29 2014-12-24 中国测绘科学研究院 一种sar遥感影像匹配方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212670B1 (en) 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
JP4004332B2 (ja) * 2002-05-22 2007-11-07 株式会社パスコ 森林情報処理システム
US8737720B2 (en) 2003-04-30 2014-05-27 Deere & Company System and method for detecting and analyzing features in an agricultural field
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
US20050276443A1 (en) 2004-05-28 2005-12-15 Slamani Mohamed A Method and apparatus for recognizing an object within an image
JP4339289B2 (ja) * 2005-07-28 2009-10-07 Ｎｅｃシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US7310606B2 (en) 2006-05-12 2007-12-18 Harris Corporation Method and system for generating an image-textured digital surface model (DSM) for a geographical area of interest
JP4378571B2 (ja) 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8427505B2 (en) * 2008-11-11 2013-04-23 Harris Corporation Geospatial modeling system for images and related methods
WO2010068186A1 (en) * 2008-12-09 2010-06-17 Tele Atlas B.V. Method of generating a geodetic reference database product
JP5464915B2 (ja) * 2009-06-09 2014-04-09 三菱電機株式会社 対象物検出装置及び対象物検出方法
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
JP5384316B2 (ja) * 2009-12-24 2014-01-08 株式会社パスコ 変位計測装置、変位計測方法、及び変位計測プログラム
JP5642561B2 (ja) * 2011-01-11 2014-12-17 株式会社パスコ 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム
US8994821B2 (en) * 2011-02-24 2015-03-31 Lockheed Martin Corporation Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
TWI482121B (zh) * 2011-04-28 2015-04-21 Univ Nat Central The method of correcting the color of the image
US20140362082A1 (en) * 2011-05-03 2014-12-11 Google Inc. Automated Overpass Extraction from Aerial Imagery
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9041711B1 (en) * 2012-05-08 2015-05-26 Google Inc. Generating reduced resolution textured model from higher resolution model
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration
US9171355B2 (en) * 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP6347061B2 (ja) 2013-12-27 2018-06-27 国際航業株式会社 計測結果の整合性判定方法、及び計測結果の整合性判定装置
JP6200826B2 (ja) 2014-02-12 2017-09-20 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
US10089766B2 (en) * 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
US9177214B1 (en) * 2014-04-10 2015-11-03 Xerox Corporation Method and apparatus for an adaptive threshold based object detection
US20160063516A1 (en) * 2014-08-29 2016-03-03 The Nielsen Company (Us), Llc Methods and apparatus to estimate commercial characteristics based on geospatial data
SE542194C2 (en) * 2014-10-30 2020-03-10 Icomera Ab Wireless communication system for trains using voice over wifi (vowifi)
US9367743B1 (en) * 2014-12-16 2016-06-14 Vricon Systems Aktiebolag Method and system for classifying a terrain type in an area
US10339422B2 (en) * 2015-03-19 2019-07-02 Nec Corporation Object detection device, object detection method, and recording medium
CN104820830B (zh) * 2015-05-08 2018-01-02 南京林业大学 一种基于全波形LiDAR冠层剖面模型的树种识别方法
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
JP6577347B2 (ja) * 2015-11-20 2019-09-18 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
SE540352C2 (en) * 2016-01-29 2018-07-24 Icomera Ab Wireless communication system and method for trains and other vehicles using trackside base stations
SE539532C2 (en) * 2016-01-29 2017-10-10 Icomera Ab Wireless communication system and method for trains and other vehicles using trackside base stations
KR102630227B1 (ko) * 2016-07-21 2024-01-29 한화비전 주식회사 감시 데이터 제공 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222235A (zh) * 2010-04-14 2011-10-19 同济大学 基于对象集成高度信息的面向对象的高光谱分类处理方法
CN104221031A (zh) * 2011-11-18 2014-12-17 美塔欧有限公司 将影像特征与参考特征相匹配之方法及其所用集成电路
CN104237887A (zh) * 2014-09-29 2014-12-24 中国测绘科学研究院 一种sar遥感影像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAPARAS DALIMAN等: "Oil Palm Tree Enumeration Based on Template Matching", 《WORLD VIRTUAL CONFERENCE ON APPLIED SCIENCES AND ENGINEERING APPLICATIONS (WVCASEA2015)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062404A (zh) * 2018-10-17 2020-04-24 新汉智能系统股份有限公司 自动建立物件辨识模型的方法
CN110120056A (zh) * 2019-05-21 2019-08-13 闽江学院 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN110598619A (zh) * 2019-09-06 2019-12-20 中国农业科学院农业资源与农业区划研究所 一种利用无人机影像进行果树识别和计数的方法和系统
CN114926753A (zh) * 2022-06-16 2022-08-19 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法
CN114926753B (zh) * 2022-06-16 2023-10-13 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法

Also Published As

Publication number Publication date
PH12017000344A1 (en) 2018-07-30
HK1255087A1 (zh) 2019-08-02
TW201921316A (zh) 2019-06-01
TWI709109B (zh) 2020-11-01
CN108154082B (zh) 2021-10-29
JP6771449B2 (ja) 2020-10-21
TWI684164B (zh) 2020-02-01
JP7113044B2 (ja) 2022-08-04
JP2020144922A (ja) 2020-09-10
US10546195B2 (en) 2020-01-28
TW201828253A (zh) 2018-08-01
JP2018092628A (ja) 2018-06-14
US20180157911A1 (en) 2018-06-07
MY198109A (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN108154082A (zh) 航拍影像自动物体侦测的方法及系统
US10699119B2 (en) Methods and systems for automatic object detection from aerial imagery
Kitpo et al. Early rice disease detection and position mapping system using drone and IoT architecture
AU2017262615A1 (en) Recognition of weed in a natural environment
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN111062441A (zh) 基于自监督机制和区域建议网络的场景分类方法及装置
CN113343976B (zh) 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法
US11804025B2 (en) Methods and systems for identifying topographic features
Polewski et al. Detection of single standing dead trees from aerial color infrared imagery by segmentation with shape and intensity priors
CN114972646B (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN111339953B (zh) 一种基于聚类分析的薇甘菊监测方法
TWI785436B (zh) 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
JP2020091640A (ja) 物体分類システム、学習システム、学習データ生成方法、学習済モデル生成方法、学習済モデル、判別装置、判別方法、およびコンピュータプログラム
KR20220168875A (ko) 인공지능을 이용하여 벼 도복 피해면적을 산정하는 장치 및 방법
CN111339954B (zh) 一种基于图像识别的薇甘菊监测方法
Krzywicki Weather and a part of day recognition in the photos using a KNN methodology
CN113421301B (zh) 一种田间作物中心区域定位方法及系统
Hamzah et al. Drone Aerial Image Identification of Tropical Forest Tree Species Using the Mask R-CNN
Givens et al. A method to generate sub-pixel classification maps for use in DIRSIG three-dimensional models
Ameslek et al. Identification and mapping of Individual Trees from Unmanned Aerial Vehicle Imagery Using an object oriented Convolutional Neural Network
Usman et al. Shadow removal of individual tree crowns in a high resolution satellite imagery
Hamzah et al. Visualization of Tree Species Identification Using Mask RCNNs for Tropical Forests in Malaysia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1255087

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant