CN113011416A - 航拍图像自动物体侦测的方法及系统 - Google Patents

航拍图像自动物体侦测的方法及系统 Download PDF

Info

Publication number
CN113011416A
CN113011416A CN202011494713.XA CN202011494713A CN113011416A CN 113011416 A CN113011416 A CN 113011416A CN 202011494713 A CN202011494713 A CN 202011494713A CN 113011416 A CN113011416 A CN 113011416A
Authority
CN
China
Prior art keywords
image
images
target object
training
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011494713.XA
Other languages
English (en)
Inventor
罗正方
陈姿秀
柯长荣
吴俊毅
郑雅文
陈光宇
林德哲
温修贤
张庭荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geosat Aerospace and Technology Inc
Original Assignee
Geosat Aerospace and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/724,041 external-priority patent/US10699119B2/en
Application filed by Geosat Aerospace and Technology Inc filed Critical Geosat Aerospace and Technology Inc
Publication of CN113011416A publication Critical patent/CN113011416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供公开了一种从航拍图像侦测物体的方法与系统,该方法包含获得区域的图像,从该区域的该图像获得多个局部航拍图像,由分类器将该多个局部航拍图像分类为第一类或第二类,其中:该第一类表示局部航拍图像包含目标物体,该第二类表示局部航拍图像不包含目标物体,且该分类器通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体,以及在该第一类中的局部航拍图像中辨识目标物体。

Description

航拍图像自动物体侦测的方法及系统
本发明在此将2016年12月2日提出的美国第15/367,975号专利以引用方式将其全文明确地并入本文中。
技术领域
本发明一般关于侦测航拍图像内物体的方法及系统,且具体而言,关于通过人工智能技术进行模板匹配(template matching)以侦测及辨识感兴趣区域的航拍图像(anaerial image of an area of interest)内物体的方法及系统。
背景技术
自动物体侦测对于在图像内找出并识别目标物体非常有用。人类稍微努力就可识别图像中的一或几个目标物体,不过对于人类而言,在图像内找出并识别大量目标物体就具有挑战性。当图像内的目标物体以不同大小与比例显示时,或甚至在不同旋转视角内,从不同视点看起来就不相同。某些计算机实施方法可根据外观或特征来侦测目标物体,然而,对于某些应用来说,例如经济作物或某些农业应用,这些物体侦测方法的精确度可能不够好。
因此当感兴趣区域内潜在目标物体的数量增加并且航拍图像的解析度受限时,来自航拍图像的物体侦测就变得更具挑战性。当在大比例面积内有可观数量的潜在目标物体时,依靠人类寻找并识别目标物体就变得不切实际。增加航拍图像的解析度对于提高物体侦测的精确度可能有所帮助,然而在同一时间上,在高解析度图像上执行物体辨识与侦测会增加计算复杂度,而限制了特定应用的可行性与效率。
因此,需要快速并精准从感兴趣区域航拍图像中侦测目标物体的方法及系统。该等公开方法及系统旨在克服或改善上面公开的一或多个问题和/或现有技术内其他问题。
发明内容
本发明的一个实施方式涉及一种从航拍图像侦测物体的系统。该系统包含用于储存指令的存储器以及至少一处理器,其设置成执行该指令以:获得区域的图像,从该区域的该图像获得多个局部航拍图像,由分类器将该多个局部航拍图像分类为第一类或第二类,其中:该第一类表示局部航拍图像包含目标物体,该第二类表示局部航拍图像不包含目标物体,且该分类器系通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体,以及在该第一类中的局部航拍图像中辨识目标物体。
本发明的另一个实施方式涉及一种侦测航拍图像内物体的方法,该方法包含:获得区域的图像,从该区域的该图像获得多个局部航拍图像,由分类器将该多个局部航拍图像分类为第一类或第二类,其中:该第一类表示局部航拍图像包含目标物体,该第二类表示局部航拍图像不包含目标物体,且该分类器系通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体,以及在该第一类中的局部航拍图像中辨识目标物体。
仍旧是本发明的另一个实施方式,其涉及一种储存指令的非暂时性计算机可读取介质,当执行时会导致一或多个处理器执行从航拍图像侦测物体的操作,该操作包含:获得区域的图像,从该区域的该图像获得多个局部航拍图像,由分类器将该多个局部航拍图像分类为第一类或第二类,其中:该第一类表示局部航拍图像包含目标物体,该第二类表示局部航拍图像不包含目标物体,且该分类器系通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体,以及在该第一类中的局部航拍图像中辨识目标物体。
前述内容概括地仅描述了本发明的一些示例实施方式。应了解的是,前述的概括描述与以下的详细描述两者均是示例性质及说明性质的,且其并不用于限制本发明的专利范围。
附图说明
图1是根据所公开的具体实施例,在区域内用于自动物体侦测的示例航拍图像的图式。
图2是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例方法的流程图。
图3是根据所公开的具体实施例,说明与图1中该区域的该示例航拍图像对应的用于自动物体侦测的该区域示例DSM图像的图式。
图4是根据所公开的具体实施例,用于自动物体侦测的示例目标物体种类的两示例DSM图像图式。
图5是根据所公开的具体实施例,来从用于自动物体侦测的图3内该区域示例DSM图像与图4内该示例范本图像之间配对率示例计算的配对率示例图像的图式。
图6是根据所公开的具体实施例,依照用于图2内自动物体侦测的该示例方法,标记该等已侦测示例目标物体的位置的该区域示例航拍图像图式。
图7是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的另一个示例方法的流程图。
图8是根据所公开的具体实施例,依照用于图2内自动物体侦测的该示例方法,标记该等已侦测示例目标物体的位置的该区域示例航拍图像的部分放大图式。
图9是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测的多个示例训练数据的图式。
图10是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,在该等已侦测目标物体的位置上标示该分类结果的该区域示例航拍图像的部分放大图式。
图11是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,标记该等已正确侦测和辨识的示例目标物体位置的该区域示例航拍图像的部分放大图式。
图12是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,在该等已侦测和已分类示例目标物体位置上标记该分类结果的该区域示例航拍图像图式。
图13是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例系统的方框图。
图14是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例方法的流程图。
图15是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同亮度的目标物体的多个示例训练数据的图式。
图16是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同对比的目标物体的多个示例训练数据的图式。
图17是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同色彩饱和度的目标物体的多个示例训练数据的图式。
图18是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同解析度的目标物体的多个示例训练数据的图式。
图19是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同旋转角度的目标物体的多个示例训练数据的图式。
图20是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同尺寸的目标物体的多个示例训练数据的图式。
图21是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了两个以上的目标物体的多个示例训练数据的图式。
图22是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了在该区域的该图像中的非目标物体的多个示例训练数据的图式。
图23是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不在该区域的该图像中的非的目标物体的多个示例训练数据的图式。
图24是根据所公开的具体实施例,该区域中的具有植物疾病的目标物体的图式。
附图标记说明:
100 淹水预测系统
120 图像输入
140 使用者界面
160 显示器
180 输出
200 方法
220、240、260、290 步骤
400 自动物体侦测系统
410 航拍图像单元
420 目标图像单元
430 侦测单元
440 定位单元
450 局部航拍图像单元
460 撷取单元
470 分类与辨识单元
700 方法
710~790 步骤
801、802、803 油棕榈树
1001、1002、1003 粉色圆圈/油棕榈树/位置
1016、1017、1018 蓝色圆圈/油棕榈树/位置
1101、1102、1103 白色圆圈
1400 方法
1410~1450 步骤
2401、2402 油棕榈树
具体实施方式
本发明一般涉及用来侦测航拍图像内物体的方法及系统。预期目标物体可以是植物、树、油棕榈树、物体、建筑物、设施、陆地、地貌特征或其任意组合。一般而言,待侦测的目标物体可包括任何东西,例如物体、建筑物、设施、植物、树、动物,甚至人类。目标物体在颜色、形状和/或外观上可具有许多特征,目标物体的这些特征可用来侦测感兴趣区域中图像内的目标物体。
图1是根据所公开的具体实施例,用于自动物体侦测的区域的示例航拍图像的图式。例如油棕榈树为该区域航拍图像待要侦测的示例目标物体,这些油棕榈树具有特定的离地高度。在某些具体实施例内,所公开的方法及系统可包括根据该区域航拍图像内目标物体的高度信息,来侦测目标物体。例如,区域的DSM可包括地表以及所有物体,以及该地表与所有物体的相关高度信息。预期所公开的方法及系统可包括通过感兴趣区域DSM内含的高度信息来侦测目标物体。在某些具体实施例内,所公开的方法及系统可包括侦测内含高度信息的许多区域模型和/或图像内的目标物体,例如区域的数值高程模型(DEM,DigitalElevation Model)。
在某些具体实施例内,所公开的方法及系统可包括使用一或多个光侦测与测距(Light Detection And Ranging,LiDAR)感测器、即时DSM感测器、后生产DSM感测器、多个该区域航拍图像的计算或这些的任意组合,来获得区域的DSM、DEM和/或航拍图像。在某些具体实施例内,所公开的方法及系统可包括使用前述感测器的一个和/或无人航拍机(Unmanned Aerial Vehicle,UAV)100(如图13所示)、无人靶机、飞行器、直升机、气球或卫星的相机,来收集区域的DSM、DEM和/或航拍图像。在某些具体实施例内,所公开的方法及系统可进一步包括通过无线连接,例如蓝牙、Wi-Fi、蜂巢式(例如GPRS(General PacketRadio Service,通用封包无线服务)、WCDMA(Wideband Code Division Multiple Access,宽频分码多重存取)、HSPA(High Speed Packet Access,高速封包存取)、LTE(Long TermEvolution,长期演进技术)、或更新世代的蜂巢式通信系统),以及卫星连接或有线连接,例如USB线或光缆线(Lighting line),接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的区域的DSM、DEM和/或航拍图像的相关数据。
在某些具体实施例内,所公开的方法及系统可包括从该区域各部分中多个DSM、DEM和/或航拍图像内获得用于目标侦测的区域的DSM、DEM和/或航拍图像。例如,所公开的方法及系统可包括组合或拼接(stitching)该区域各部分的多个航拍图像,以获得图1内该区域的航拍图像,用于物体侦测。所公开的方法及系统包括决定将一个图像内像素坐标关联于另一个图像内像素坐标来进行图像对准的适当算术模型(appropriate mathematicalmodel)。所公开的方法及系统可进一步包括通过直接像素对像素比较(direct pixel-to-pixel comparisons)与梯度下降(gradient descent)的组合,来估计与许多航拍图像配对(pairs of aerial images)相关的正确对准。所公开的方法及系统可进一步包括识别与配对部分区域航拍图像内的不同特征,来建立航拍图像配对之间的对应关系。所公开的方法及系统可进一步包括决定最终合成表面,在其上扭曲或投影变换和放置所有对准的航拍图像。所公开的方法及系统可进一步包括无缝混合重叠的航拍图像,即使存在视差、透镜失真、场景运动和曝光差异的情况下也是如此。
图2是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例方法200的流程图。本发明的一个实施方式涉及储存指令的一种非暂时性计算机可读取介质,其中当执行该等指令时会导致一或多个处理器执行图2内的示例方法200,来侦测航拍图像中的物体。该计算机可读取介质可包括易失性或非易失性、磁性、半导体、磁带、光学、可移除、不可移除或其他种类的计算机可读取介质或计算机可读取储存装置。例如,该计算机可读取介质可为其内储存该等计算机指令的储存单元或存储器模块,如所公开。在某些具体实施例内,该计算机可读取介质可为其内储存该等计算机指令的光盘或随身盘。在某些具体实施例内,该计算机可读取介质可为其内储存该等计算机指令的云端或远端储存装置,这些指令可下载到另一个装置来执行。
方法200可包括以下步骤:获得区域的DSM图像(步骤220)、获得目标物体的DSM图像(步骤240)、以及根据步骤220和240内该区域与该目标物体的DSM图像来侦测该区域内的该目标物体(步骤260)。请注意,区域的DSM内含该区域的高度信息。通过使用该区域的高度信息当成该区域灰度图像的灰度值,可获得该区域的DSM图像,反之亦然。因此,若合适,在整个本发明内可交替使用“DSM”和“DSM图像”。
步骤220可包括获得感兴趣区域的DSM图像。例如,获得区域的DSM图像的步骤220可包括存取来自计算机可读取介质或计算机可读取储存装置的感兴趣区域DSM图像。针对另一个范例,获得区域的DSM图像的步骤220可包括从外部输入,例如图像输入120(将在所公开系统内说明),接收感兴趣区域的DSM图像。图像输入120可通信连接至例如UAV 100、无人靶机、飞行器、直升机、气球或卫星。换言之,获得区域的DSM图像的步骤220可包括从UAV100、无人靶机、飞行器、直升机、气球或卫星接收感兴趣区域的DSM图像。在某些具体实施例内,获得区域的DSM图像的步骤220可包括获得该区域各部分的多个DSM图像,并且组合或拼接(stitching)该区域各部分的多个DSM图像,来获得感兴趣区域的DSM图像。例如,获得区域的DSM图像的步骤220可包括获得该区域各部分的多个DSM图像,并且识别与匹配该区域各部分的多个DSM图像的不同特征,来建立DSM图像配对之间的对应关系。获得区域的DSM图像的步骤220可进一步包括根据该已建立的该等DSM图像配对之间对应关系,来混合该区域各部分的多个DSM图像,以获得感兴趣区域的DSM图像。
在某些具体实施例内,获得区域的DSM图像的步骤220可包括获得区域的多个航拍图像、组合或拼接(stitching)该区域各部分的这些航拍图像来获得该区域的航拍图像,以及将该区域的已拼接(stitching)航拍图像转换成该区域的DSM图像。例如,获得区域的DSM图像的步骤220可包括接收区域各部分的多个航拍图像,并且拼接(stitching)该区域各部分的多个航拍图像,来获得图1内所示该区域的航拍图像。该区域各部分的这些航拍图像可关联于该区域各部分的多个DSM。换言之,该区域各部分的多个航拍图像可对应于该区域各部分的多个DSM。步骤220可包括根据该等航拍图像与该区域各部分的DSM间的对应关系,获得对应至图1内该区域已拼接(stitching)航拍图像的图3内该区域的DSM图像。图3是根据所公开的具体实施例,说明对应至图1内该区域的该示例航拍图像,用于自动物体侦测的该区域示例DSM图像的图式。
在某些具体实施例内,获得该区域的DSM图像的步骤220可包括使用一或多个LiDAR感测器、即时DSM感测器、后生产DSM感测器、多个该区域航拍图像的计算或这些的任意组合,来收集该区域或该区域各部分的DSM和/或航拍图像。在某些具体实施例内,获得该区域的DSM图像的步骤220可包括通过使用上述感测器的一个和/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机,收集区域或该区域各部分的DSM和/或航拍图像。在某些具体实施例内,获得该区域的DSM图像的步骤220可进一步包括通过无线连接,像是蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通信系统)以及卫星连接或有线连接,像是USB线或光纤缆线,接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该区域中DSM和/或航拍图像的已收集数据。
在某些具体实施例内,获得该区域的DSM图像的步骤220可进一步包括获得对应至该区域DSM图像的该区域彩色航拍图像、获得目标物体的彩色航拍图像、根据该区域的彩色航拍图像以及该目标物体的色彩来识别该区域的一或多个子区域作为一或多个目标子区域。
例如,获得区域的DSM图像的步骤220可进一步包括获得图1内该区域对应至图3内感兴趣区域DSM图像的该RGB航拍图像。此外,获得区域的DSM图像的步骤220可进一步包括获得油棕榈树(该目标物体)的RGB航拍图像。再者,获得区域的DSM图像的步骤220可进一步包括将绿色识别为该油棕榈树的特定原色。更进一步,获得区域的DSM图像的步骤220可进一步包括当该区域航拍图像的像素中每个G值大于每个R和B值,则将这些像素识别为油棕榈树的可能像素。例如,以下条件运算可用来检查像素是否识别为油棕榈树的可能像素:“If(Pixel.G>Pixel.R&&Pixel.G>Pixel.B)Get Pixel”,其中的Pixel.R、Pixel.G和Pixel.B代表该像素的每个R、G和B位准。更进一步,获得区域的DSM图像的步骤220可进一步包括将特定数量的该油棕榈树相邻可能像素识别为一目标子区域。
在某些具体实施例内,获得区域的DSM图像的步骤220可进一步包括识别该目标物体的特定原色。例如,识别该目标物体的特定原色的步骤220可包括比较该目标物体航拍图像像素之内每个R、G和B位准,并决定这些像素的代表性原色。此外,识别该目标物体的特定原色的步骤220可进一步包括计算这些像素的代表性原色数量,并将像素的最大数量代表性原色识别为该目标物体的特定原色。例如,识别该目标物体的特定原色的步骤220可包括:当绿色为该油棕榈树航拍图像中具有最大数量像素的该代表性原色时,将该绿色识别为该油棕榈树的特定原色。
在某些具体实施例内,获得区域的DSM图像的步骤220可进一步包括增强该区域的DSM图像上一或多个目标子区域的图像对比。例如,增强该目标子区域对比的步骤220可包括利用直方图等化,增强对应至该区域航拍图像中该已识别目标子区域的该区域DSM图像的该目标子区域的对比。例如通过使用直方图等化增强对比的步骤220可包括计算该等目标子区域像素的机率质量函数、根据灰度计算累积分布函数(CDF,cumulativedistributive function)值、用(灰度-1)乘上CDF值,并且将新灰度值映射至该等目标子区域的像素。增强对比的步骤220可包括:通过其他算法增强对比,例如全域拉伸、非等向性扩散、非直线锥体技术、多尺度型态学技术、多解析度样条(multi-resolution splines)、山丛集(mountain clustering)、视网膜皮层理论(retinex theory)、小波变换(wavelettransformations)、曲线变换(curvelet transformations)、k-sigma剪辑(k-sigmaclipping)、模糊逻辑、遗传算法或贪心算法。
步骤240可包括获得目标物体的DSM图像。图4是根据所公开的具体实施例,用于自动物体侦测的示例目标物体种类的两示例DSM图像图式。例如,获得目标物体的DSM图像的步骤240可包括存取图4内来自计算机可读取介质或计算机可读取储存装置的油棕榈树的DSM图像。针对另一个范例,获得目标物体的DSM图像的步骤240可包括从外部输入,例如图像输入120(将在所公开系统内说明),接收第四(a)图内油棕榈树的DSM图像。针对另一个范例,获得目标物体的DSM图像的步骤240可包括从内部输入,例如图像输入120,接收选择信号。该选择信号可包括将步骤220内该区域的DSM图像一部分识别为目标物体的DSM图像。例如,该选择信号可包括将该区域的DSM图像上围绕油棕榈树DSM图像的区域识别为该目标物体,当使用者使用鼠标游标、其手指或笔来选择显示画面上的该区域时。
在某些具体实施例内,获得目标物体的DSM图像的步骤240可包括存取或接收目标物体的多个DSM图像,并且选择其一作为目标物体的DSM图像。选择该目标物体的DSM图像的步骤240可包括根据该目标物体的形状,选择该目标物体的DSM图像。例如,选择该目标物体的DSM图像的步骤240可包括选择形状类似于大多数同一种目标物体的该目标物体的DSM图像。在某些具体实施例内,选择该目标物体的DSM图像的步骤240可包括根据目标物体的DSM图像的对比,选择该目标物体的DSM图像。例如,选择该目标物体的DSM图像的步骤240可包括选择对比比其他物体都要好的该目标物体的DSM图像。在某些具体实施例内,获得该目标物体的DSM图像的步骤240可包括获得该目标物体一个以上的DSM图像。例如,获得该目标物体的DSM图像的步骤240可包括分别根据该目标物体的形状以及该目标物体的DSM图像的对比,获得该目标物体的两个DSM图像。
在某些具体实施例内,获得该目标物体的DSM图像的步骤240可包括使用一或多个LiDAR感测器、即时DSM感测器、后生产DSM感测器、该区域多个航拍图像的计算或这些的任意组合,来收集该目标物体的一或多个DSM和/或航拍图像。在某些具体实施例内,获得该目标物体的DSM图像的步骤240可进一步包括使用上述感测器的一个和/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机,收集该目标物体的一或多个DSM和/或航拍图像。在某些具体实施例内,获得该目标物体的DSM图像的步骤240可进一步包括通过无线连接,例如蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通信系统)以及卫星连接或有线连接,像是USB线或光纤缆线,接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该目标物体DSM和/或航拍图像。
在某些具体实施例内,获得该目标物体的DSM图像的步骤240可包括获得对应至目标物体中一或多个DSM图像的目标物体的一或多个航拍图像,并且根据该目标物体的形状和/或该目标物体航拍图像的对比,选择目标物体的一或多个DSM图像。
步骤260可包括根据步骤220和240内该区域与该目标物体的该DSM图像,侦测该区域内该目标物体。在某些具体实施例内,侦测该目标物体的步骤260可包括计算该目标物体的DSM图像与该区域的多个DSM子图像间的配对率,并且根据该配对率决定该区域的一或多个DSM子图像当成该目标物体。例如,侦测该目标物体的步骤260可包括计算图4(a)内油棕榈树的该DSM图像与来从图3内该区域DSM图像的该区域的多个DSM子图像间的配对率。该区域的该等多个DSM子图像可具有与该油棕榈树的该DSM图像相同或类似尺寸。例如,该区域的该等多个DSM子图像的尺寸可为300x300像素,而图4(a)内该油棕榈树的该DSM图像可为300x300像素或类似尺寸。例如,该区域的该等多个DSM子图像可包括该区域中该DSM图像的每1、2、5或10像素上300x300像素的子图像。换言之,侦测该目标物体的步骤260可包括利用每滑动1、2、5或10个像素时,比较该油棕榈树(T)的该范本DSM图像与该区域(I)的该DSM图像,例如,针对该区域的该DSM图像上该滑动的每一位置(x,y),该配对率R可计算如下:
Figure BDA0002841788450000141
其中x’和y’代表该油棕榈树(T’)的该范本DSM图像以及该区域(I’)的该DSM子图像之内的像素位置。
图5是根据所公开的具体实施例,来自用于自动物体侦测的图3内该区域示例DSM图像与图4内该示例范本图像之间配对率示例计算的配对率示例图像的图式。在图5内,位置越亮,该位置是目标物体的可能性就越高。例如,图5内配对率的图像上的亮点可为感兴趣区域内油棕榈树的位置。
在某些具体实施例内,计算配对率的步骤260可包括根据常规范本配对方法,例如平方差方法、归一化平方差方法、互相关方法、归一化互相关方法、相关系数法、归一化相关系数法或其任何组合,来计算配对率。
在某些具体实施例内,决定该区域的DSM子图像作为目标物体的步骤260可包括当与该目标物体的该范本图像的配对率Rs高于配对临界值,例如该油棕榈树(T)的该范本DSM图像自配对率的80%、70%或60%时,将该区域的一或多个DSM子图像决定为该等油棕榈树。
在某些具体实施例内,侦测该目标物体的步骤260可包括降低步骤220与240内该区域和该目标物体的DSM图像的解析度,并根据该区域与该目标物体的该解析度降低的DSM图像,来侦测该区域内该目标物体。例如,侦测该目标物体的步骤260可包括将图3内该区域以及图4(a)内该油棕榈树的DSM图像的解析度降低为原始解析度的0.1倍。侦测该目标物体的步骤260可进一步包括计算该油棕榈树的解析度降低的DSM图像与该区域的多个解析度降低的DSM子图像间的配对率,并且根据该配对率决定该区域的一或多个DSM子图像当成该目标物体。
在某些具体实施例内,侦测该目标物体的步骤260可包括根据步骤220内该区域的DSM的图像以及步骤240内目标物体的一个以上图像,侦测该区域内该目标物体。例如,侦测该目标物体的步骤260可包括分别计算图4(a)和图4(b)内该等油棕榈树的两DSM图像与该区域的多个DSM子图像间的配对率,并且根据来自该等油棕榈树的两DSM图像的该等配对率,将该区域的一或多个DSM子图像决定为该等油棕榈树。例如,侦测该目标物体的步骤260可包括计算根据步骤240内该目标物体的形状所选取的油棕榈树的DSM图像与该区域的多个DSM子图像间的配对率。侦测该目标物体的步骤260也可包括计算根据步骤240内该图像对比所选取的油棕榈树的另一个DSM图像与该区域的多个DSM子图像间的配对率。侦测该目标物体的步骤260可进一步包括当来自根据该目标物体形状或该图像对比所选择油棕榈树的该范本DSM图像的其配对率高于配对临界值时,将该区域的一或多个DSM子图像决定为该油棕榈树。针对另一个范例,决定该等油棕榈树的步骤260可包括当来自根据该油棕榈树形状与该油棕榈树图像对比所选择油棕榈树的该范本DSM图像的其配对率高于配对临界值时,将该区域的一或多个DSM子图像决定为该油棕榈树。
在某些具体实施例内,将该区域的DSM子图像决定为该目标物体的步骤260包括根据以下两标准的一或两个来决定该目标物体。在该区域的航拍图像上距离(D1)之内,该区域的一或多个DSM子图像的配对率为最大。该区域的该等一或多个DSM子图像的高度比另一个距离(D2)之内最低位置的高度高出高度临界值(H1)。例如,决定该等油棕榈树的步骤260可包括当其配对率高于其他配对率2米之内(即D1=2米),油棕榈树航拍图像的示例半径,则将该区域的一或多个DSM子图像决定为该油棕榈树。针对另一个范例,决定该等油棕榈树的步骤260可包括利用2.5米的示例高度临界值(即H1=2.5米),当其高度高于最低位置高度3米之内(即D2=3米),就是油棕榈树和该陆地同时存在的单独区域的示例半径,则将该区域的一或多个DSM子图像决定为该油棕榈树。根据前述D1、D2和H1参数,可侦测高出地面2.5米的油棕榈树。根据其高度与分布,可针对许多目标物体来调整这些因数。
在某些具体实施例内,步骤260可包括:根据步骤220内该区域的该已增强DSM图像以及该目标物体的该DSM图像,来侦测该区域内的该目标物体。例如,侦测该目标物体的步骤260可包括根据图4内该油棕榈树的一或两DSM图像,以及目标子区域已经在步骤220内识别并增强对比的该区域的该对比增强DSM图像,来侦测该区域内的该油棕榈树。
在某些具体实施例内,方法200可进一步包括获取步骤260内所侦测的该等目标物体的一或多个位置。例如,获取该等目标物体的位置可包括获取图3内该区域的该DSM图像上所侦测到的该油棕榈树的该等位置。针对另一个范例,获取该等目标物体的位置的步骤290可包括根据该区域的DSM图像与该区域的航拍图像之间对应关系,获取在该区域航拍图像上所侦测到的该等油棕榈树的该等位置。图6是根据所公开的具体实施例,标记依照用于图2内自动物体侦测的该示例方法所侦测到该等示例目标物体的位置的该区域示例航拍图像图式。在图6内,在该区域的航拍图像内将该等已侦测油棕榈树画上红圈。
在某些具体实施例内,步骤290可进一步包括在该区域航拍图像或地图上显示该已侦测目标物体的位置。例如,显示该等已侦测物体的步骤290可包括将该等一或多个已侦测油棕榈树的位置显示在该区域的航拍图像内,如图6内红色圆圈所显示。针对另一个范例,显示该等已侦测目标物体的步骤290可包括根据该区域的DSM图像上与该区域的该地图上(未显示)的该等位置间的关联性或对应关系,在该区域的地图上显示该等一或多个已侦测油棕榈树的位置。例如,该区域的DSM图像上一位置可关联于一组经度、纬度以及海拔高度。步骤290可包括获得该已侦测油棕榈树的经度、纬度与海拔高度的组合,并根据经度、纬度和/或海拔高度的该组合,在地图上显示该等已侦测油棕榈树。例如,显示该等已侦测油棕榈树的步骤290可包括根据经度与纬度组合,在地理信息系统(Geographic InformationSystem,GIS)地图上显示该等已侦测油棕榈树。针对另一个范例,显示该等已侦测油棕榈树的步骤290可包括根据经度、纬度与海拔高度的该组合,例如3D GIS地图,在地图上显示该等已侦测的油棕榈树。
在某些具体实施例内,步骤290可进一步包括计算该等已侦测目标物体的数量。例如,计算该等已侦测目标物体的步骤290可包括计算图6内所示该等已侦测的油棕榈树。
图7是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的另一个示例方法700的流程图。方法700可包括步骤220、240和260,并且可进一步包括:获取对应至该区域的该DSM图像的该区域航拍图像(步骤710);获取该区域航拍图像上该等已侦测目标物体的一或多个位置(步骤720);获取该等已侦测目标物体的一或多个位置上或周围的一或多个局部航拍图像(步骤730);从该等一或多个局部航拍图像撷取一或多个纹理特征,作为一或多个特征向量(步骤740);获取多个训练数据(步骤750);根据该等多个训练数据来训练分类器(步骤760);根据该等一或多个特征向量,由该受过训练的分类器分类该等一或多个局部航拍图像(步骤770);以及基于该等分类结果,辨识该等一或多个局部航拍图像之间的该等目标物体(步骤780)。该训练数据可包括当成该等目标物体的同一种物体的多个航拍图像。
步骤710可包括获取该区域的航拍图像,其对应至步骤220内该区域DSM图像。例如,步骤710可包括获取图1中感兴趣区域的该航拍图像,其对应至图3内该感兴趣区域的DSM图像。例如,获取该区域的航拍图像的步骤710可包括存取来自计算机可读取介质或计算机可读取储存装置的感兴趣区域的航拍图像。针对另一个范例,获取该区域的航拍图像的步骤710可包括从外部输入,像是图像输入120(将在所公开系统内说明),接收该区域的该DSM图像。在某些具体实施例内,获取该区域的航拍图像的步骤710可包括获取该区域各部分的多个航拍图像,并且组合或拼接(stitching)该区域各部分的该等多个航拍图像,来获得该区域的航拍图像。例如,获取该区域的航拍图像的步骤710可包括获取图1内该区域各部分的多个航拍图像,并拼接(stitching)该区域各部分的该等多个航拍图像,来获得该感兴趣区域的航拍图像。
在某些具体实施例内,获得该区域的该航拍图像的步骤710可包括在许多色彩空间内获取该区域的该航拍图像。例如,获得该区域的该航拍图像的步骤710可包括获得包含至少RGB(Red-Green-Blue,红-绿-蓝三原色)、灰度、HIS(Hue-Saturation-Intensity,色向-饱和度-强度)、L*a*b、多光谱空间或这些的任意组合的一个的色彩空间内该区域的该航拍图像。
在某些具体实施例内,获得该区域的航拍图像的步骤710可包括使用一或多个LiDAR感测器、即时DSM感测器、后生产DSM感测器、该区域多个航拍图像的计算或这些的任意组合,来收集该区域或该区域各部分的航拍图像。在某些具体实施例内,获得该区域的航拍图像的步骤710可包括使用上述感测器的一个和/或通过UAV 100、无人靶机、飞行器、直升机、气球或卫星的相机,收集该区域或该区域各部分的航拍图像。在某些具体实施例内,获得该区域的航拍图像的步骤710可进一步包括通过无线连接,像是蓝牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通信系统),以及卫星连接或有线连接,像是USB线或光纤缆线,接收来自UAV 100、无人靶机、飞行器、直升机、气球或卫星的该区域中航拍图像的已收集数据。
步骤720可包括获得该区域航拍图像上步骤260内该等已侦测的目标物体的一或多个位置。例如,获取该等已侦测目标物体的位置的步骤720可包括根据该区域的DSM图像与该区域的航拍图像间的对应关系,获取在图3内该区域DSM图像上该等已侦测油棕榈树的该等位置,并且获取在图1内该区域航拍图像上该等已侦测油棕榈树的该等位置。换言之,获取该已侦测目标物体的位置的步骤720可包括获取图6内红色圆圈,也就是该等已侦测油棕榈树的位置。
步骤730可包括获取该等已侦测目标物体的一或多个位置上或周围的一或多个局部航拍图像。图8是根据所公开的具体实施例,依照用于图2内自动物体侦测的该示例方法,标记该等已侦测示例目标物体的位置的该区域示例航拍图像的部分放大图式。例如,获取该等局部航拍图像的步骤730可包括根据步骤720内获取的该位置,从步骤710内该区域的航拍图像获取图8内已侦测油棕榈树801、802、803上的300x300局部航拍图像。例如,获取该等局部航拍图像的步骤730可包括将步骤720内已侦测位置当成该等300x300局部航拍图像的中心,获取已侦测油棕榈树的300x300局部航拍图像。针对另一个范例,获取该等局部航拍图像的步骤730可包括将步骤720内已侦测位置当成该等圆心,获取已侦测油棕榈树上圆形局部航拍图像。该已侦测油棕榈树的该圆形航拍图像的半径可包括例如150个像素。该等已侦测目标物体的该等局部航拍图像的形状可包括其他形状,像是矩形、三角形或类似于该等目标物体形状的其他形状。
在某些具体实施例内,获取该等局部航拍图像的步骤730可包括使用该等已侦测目标物体的该等位置当成原点,来建立一或多个坐标,并且获取这些原点周围的一或多个300x300局部航拍图像。这些坐标可用来代表或指称该等已获取的局部航拍图像。
在某些具体实施例内,获取该等局部航拍图像的步骤730可包括获取许多色彩空间内该等已侦测目标物体的一或多个位置上的一或多个局部航拍图像。例如,获取该等局部航拍图像的步骤730可包括在像是RGB、灰度、HSI、L*a*b、多光谱空间或这些的任意组合的色彩空间内获取该等已侦测油棕榈树的一或多个300x300局部航拍图像。例如,获取该等局部航拍图像的步骤730可包括从步骤710中该等上述色彩空间内该区域的该航拍图像,获取该等上述色彩空间内该已侦测油棕榈树的这些局部航拍图像。在某些具体实施例内,获取该等局部航拍图像的步骤730可包括:获取一色彩空间内的该等已侦测目标物体的一或多个局部航拍图像,并且将该色彩空间内该等已侦测目标物体的一或多个局部航拍图像转换成另一个色彩空间内的相对部分。例如,获取该等局部航拍图像的步骤730可包括获取该等已侦测油棕榈树的一或多个RGB局部航拍图像,并将这些图像转换成灰度相对部分。就另一个范例而言,获取该等局部航拍图像的步骤730可包括获取该等已侦测油棕榈树的一或多个RGB局部航拍图像,并将这些图像转换成HSI相对部分。
步骤740可包括从该等一或多个局部航拍图像中撷取一或多个纹理特征,将其当成步骤260内该等已侦测目标物体的一或多个特征向量。例如,撷取该等纹理特征的步骤740可包括根据Gabor滤波器、灰度共生矩阵(Gray-Level Co-occurrence Matrix,GLCM)、局部二进制模式(Local Binary Pattern,LBP)、定向梯度直方图(Histograms ofOriented Gradients,HOG)、第一阶特征描述、第二阶特征描述或其任意组合,撷取该等一或多个纹理特征。撷取特征的步骤740可包括利用上述方法撷取该等局部航拍图像的信息与非冗余特征,以帮助步骤770内的后续分类。
在某些具体实施例内,撷取一或多个纹理特征的步骤740可包括从一个色彩空间内至少该等一或多个局部航拍图像的一个,和/或另一个色彩空间内该等一或多个局部航拍图像,撷取该等一或多个纹理特征。例如,撷取一或多个纹理特征的步骤740可包括根据多区块局部二进制模式(Multi-block Local Binary Pattern,MB-LBP),从以灰度呈现的该已侦测油棕榈树的一或多个局部航拍图像中撷取该等一或多个纹理特征。针对另一个范例,撷取一或多个纹理特征的步骤740可包括根据Gabor滤波器,从以RGB呈现的该已侦测油棕榈树的一或多个局部航拍图像中撷取该等一或多个纹理特征。针对另一个范例,撷取一或多个纹理特征的步骤740可包括根据多区块局部二进制模式(MB-LBP),从以灰度和RGB两者呈现的该已侦测油棕榈树的一或多个局部航拍图像中撷取该等一或多个纹理特征。针对另一个范例,撷取一或多个纹理特征的步骤740可包括根据GLCM,从以灰度呈现的该已侦测油棕榈树的一或多个局部航拍图像撷取该等一或多个纹理特征,并且根据HOG,从以L*a*b呈现的该已侦测油棕榈树的一或多个局部航拍图像撷取该等一或多个纹理特征。
步骤750可包括获得多个训练数据。该训练数据可包括与该等目标物体相当的同类物体的多个航拍图像。图9是根据所公开具体实施例,可用来训练示例分类器进行自动物体侦测的多个示例训练数据的图式。例如,步骤750可包括获得油棕榈树的多个航拍图像,如图9(a)内所示,当成该训练数据。在某些具体实施例内,步骤750可进一步包括获得非目标物体的多个航拍图像,如图9(b)内所示,当成该训练数据的一部分。例如,获得该训练数据的步骤750可包括存取来从计算机可读取介质或计算机可读取储存装置的该训练数据。针对另一个范例,获得该训练数据的步骤750可包括从外部输入,像是图像输入120(将在所公开系统内说明),接收该训练数据。
步骤760可包括根据步骤750内该等多个训练数据来训练分类器。分类器为使用模式配对来决定最接近配对的函数,可依照训练数据来调整。训练数据可包括观察结果或模式,例如在监督学习(supervised learning)当中,每个模式都属于特定预定等级。等级可视为要做的决策。所有与观察结果的等级标签结合的观察结果都被称为数据集。当已接收新的观察结果时,则根据现有的经验来分类该观察结果。例如,训练该分类器的步骤760可包括利用图9内油棕榈树以及非目标物体的训练数据,训练至少一支援向量机(SupportVector Machine,SVM)分类器、人造神经网络(Artificial Neural Network,ANN)分类器、决策树分类器、贝式分类器(Bayes classifier)、或其任意组合的一个。针对另一个范例,训练该分类器的步骤760可包括利用含有图9(a)内油棕榈树以及随机产生的非目标物体的训练数据,训练至少一支援向量机(SVM)分类器、人造神经网络(ANN)分类器、决策树分类器、Bayes分类器、或其任意组合的一个。
步骤770可包括根据步骤740内该等一或多个特征向量,利用步骤760内的该已训练的分类器来分类步骤730内的该等一或多个局部航拍图像。例如,分类该等局部航拍图像的步骤770可包括根据由步骤740内Gabor滤波器与GLCM所撷取的该等一或多个特征向量,利用步骤760内该已训练的SVM分类器,来分类步骤730内该已侦测油棕榈树的该等一或多个局部航拍图像。针对另一个范例,分类该等局部航拍图像的步骤770可包括根据由步骤740内LBP与HOG所撷取的该等一或多个特征向量,利用步骤760内该已训练ANN分类器,来分类步骤730内该已侦测油棕榈树的该等一或多个局部航拍图像。针对另一个范例,分类该等局部航拍图像的步骤770可包括根据由步骤740内Gabor滤波器、GLCM、LBP与HOG所撷取的该等一或多个特征向量,利用步骤760内该已训练的ANN分类器,来分类步骤730内该已侦测油棕榈树的该等一或多个局部航拍图像。方法700可包括上述纹理撷取算法与该等分类器的任意组合。
分类器的分类结果可包括两种结果或多种结果。例如,当根据该已侦测油棕榈树的局部航拍图像的特征向量,将其分类为图9(a)内相同种类物体时,则SVM分类器可输出“0”。当根据该已侦测油棕榈树的局部航拍图像的特征向量,将其分类为图9(b)内相同种类物体时,则SVM分类器可输出“1”。图10是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,在该等已侦测目标物体的位置上标示该分类结果的该区域示例航拍图像的部分放大图式。将在位置1001、1002、1003上用粉色圆圈标记的局部航拍图像分类为该等目标油棕榈树。将在位置1016、1017、1018上用蓝色圆圈标记的局部航拍图像分类为该等非目标物体。
步骤780可包括基于该等分类结果,辨识该等一或多个局部航拍图像的间的该等目标物体。例如,辨识该等目标物体的步骤780可包括根据步骤770内的分类结果,在步骤730内该等已侦测油棕榈树的该等一或多个局部航拍图像的间辨识出该等油棕榈树。例如,图10内已侦测油棕榈树1001、1002、1003的该等局部航拍图像可分类为与图9(a)内相同物体,并且从该SVM分类器对这些的输出全都为“0”。因此,辨识该等目标物体的步骤780可包括根据其分类结果“0”,将已侦测油棕榈树1001、1002、1003的该等局部航拍图像辨识为该等目标油棕榈树。例如,图10内已侦测油棕榈树1016、1017、1018的该等局部航拍图像可分类为与图9(b)内相同物体,并且从该SVM分类器对这些的输出全都为“1”。因此,辨识该等目标物体的步骤780可包括根据其分类结果“1”,将已侦测油棕榈树1016、1017、1018的该等局部航拍图像辨识为该等非目标物体。
在某些具体实施例内,方法700可进一步包括步骤790,其获取步骤780内该等已辨识目标物体的一或多个位置。例如,获取该等已辨识目标物体的位置的步骤790可包括获取该区域航拍图像上已辨识油棕榈树1001、1002、1003的位置。在图10内,在该区域航拍图像以粉色圆圈标记该等已辨识油棕榈树,而图中在该区域航拍图像以蓝色圆圈标记该等已辨识非目标物体。获取该等已辨识目标物体的位置的步骤790可包括获取该区域航拍图像内以粉色圆圈标记的该等已辨识油棕榈树的位置。
在某些具体实施例内,步骤790可进一步包括在该区域航拍图像或地图上显示该已辨识目标物体的一或多个位置。例如,显示该等已辨识目标物体的步骤790可包括在该区域航拍图像上显示一或多个已辨识油棕榈树1001、1002、1003的位置。就另一个范例而言,显示该等已辨识目标物体的步骤790可包括根据该区域的航拍图像上与该区域的该地图上(未显示)的该等位置间的关联性或对应关系,在该区域的地图上显示该等一或多个已辨识油棕榈树的位置。例如,该区域的航拍图像上一位置可关联于一组经度、纬度以及海拔高度。在某些具体实施例内,显示该等已辨识目标物体的步骤790可包括获得该已辨识的油棕榈树的经度、纬度与海拔高度的组合,并根据经度、纬度和/或海拔高度的该组合,在地图上显示该等已辨识的油棕榈树。例如,显示该等已辨识油棕榈树的步骤790可包括根据经度与纬度组合,在地理信息系统(GIS)地图上显示该等已辨识油棕榈树。针对另一个范例,显示该等已辨识油棕榈树的步骤790可包括根据经度、纬度与海拔高度的该组合,在地图上,例如在3D GIS地图上,显示该等已辨识油棕榈树。
在某些具体实施例内,步骤790可包括计算该等已辨识目标物体的数量。例如,步骤790可包括计算该等已辨识油棕榈树。
图11是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,标记该等已正确侦测和辨识的示例目标物体位置的该区域示例航拍图像的部分放大图式。当该等目标物体的地面真像(Ground Truth)信息可用时,则可评估上述物体侦测方法的准确率(accuracy)。图11内的白色圆圈1101、1102、1103为示例正确侦测并辨识的油棕榈树。
图12是根据所公开的具体实施例,依照用于图7内自动物体侦测的该示例方法,在该等已侦测和已分类示例目标物体位置上标记该分类结果的该区域示例航拍图像图式。在图式中,将用粉色圆圈标记的局部航拍图像辨识为该等目标油棕榈树,而用蓝色圆圈标记的局部航拍图像分类为该等非目标物体。在一个具体实施例内,当采用MB-LBP进行特征撷取且图像的地面取样距离为3公分时,来从航拍图像的物体侦测的精确率与召回率(precision and recall)分别可达90.6%和83.4%。
本发明的另一个实施方式涉及利用一或多个集成电路、一或多个场可编程门阵列、执行指令实现该方法的一或多个处理器或控制器或上述任意组合,执行航拍图像中物体侦测的方法。该方法可包括但不受限于所有上述方法及具体实施例。在某些具体实施例内,前述方法或具体实施例内的部分步骤可远端或分开执行。在某些具体实施例内,该方法可由一或多个分散式系统来执行。
仍旧是本发明的另一个实施方式涉及一种用于侦测航拍图像中物体的系统。图13是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例系统400的方框图。自动物体侦测系统400可包括设置成获得区域DSM图像的航拍图像单元410、设置成获得目标物体DSM图像的目标图像单元420,以及设置成根据该区域与该目标物体的DSM图像来侦测该区域内该目标物体的侦测单元430。
航拍图像单元410可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行上述步骤220内的操作。航拍图像单元410可设置成获得区域的DSM图像。在某些具体实施例内,航拍图像单元410可通信连接至图像输入120。图像输入120可将上述许多图像输入提供给航拍图像单元410。例如,图像输入120可从UAV 100、无人靶机、飞行器、直升机、气球或卫星接收该区域的航拍图像、该区域的DSM和/或该区域的DEM,并且将该区域的这些图像、DSM和/或DEM传输至航拍图像单元410。在某些具体实施例内,航拍图像单元410也可通信连接至侦测单元430。航拍图像单元410可设置成将该区域的DSM图像以及该区域或该区域各部分的航拍图像提供给侦测单元430。在某些具体实施例内,航拍图像单元410也可通信连接至目标图像单元420。航拍图像单元410可设置成将来从图像输入120的该等已接收的目标图像传送至目标图像单元420。
目标图像单元420可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行上述步骤240内的操作。目标图像单元420可设置成获得目标物体的DSM图像。在某些具体实施例内,目标图像单元420也可通信连接至使用者界面140。目标图像单元420可设置成接收来自使用者界面140的目标图像。在某些具体实施例内,目标图像单元420可设置成接收来自使用者界面140的该等目标图像的选择。在某些具体实施例内,目标图像单元420也可通信连接至侦测单元430。目标图像单元420可设置成将目标图像传送至侦测单元430,用于物体侦测。
侦测单元430可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行步骤260内的上述操作。侦测单元430可设置成根据来自航拍图像单元410和目标图像单元420的该区域与该目标物体的DSM图像,侦测该区域内该目标物体。在某些具体实施例内,侦测单元430可设置成获取该等已侦测目标物体的一或多个位置,如上述步骤290内的操作。在某些具体实施例内,侦测单元430也可通信连接至显示器160。侦测单元430可设置成在显示器160上的该区域航拍图像或地图上显示该等已侦测目标物体的一或多个位置,如上述步骤290内的操作。在某些具体实施例内,侦测单元430可设置成计算该等已侦测目标物体的数量,如上述步骤290内的操作。在某些具体实施例内,侦测单元430也可通信连接至输出180。侦测单元430可设置成将计算出来的该等已侦测目标物体数量传送至输出180。
在某些具体实施例内,自动物体侦测系统400可包括航拍图像单元410、目标图像单元420、侦测单元430、定位单元440、局部航拍图像单元450、撷取单元460以及分类与辨识单元470。
航拍图像单元410可进一步设置成获得对应至该区域中该DSM图像的该区域的该航拍图像,如上述步骤710内的操作。
定位单元440可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行上述步骤720内的操作。定位单元440可进一步设置成获取该区域航拍图像上该等已侦测目标物体的一或多个位置。在某些具体实施例内,定位单元440可通信连接至侦测单元430。定位单元440可设置成接收来自侦测单元430的该等已侦测目标物体,并获取该区域航拍图像上该等已侦测目标物体的一或多个位置。在某些具体实施例内,定位单元440也可通信连接至局部航拍图像单元450。定位单元440可设置成将该等已侦测目标物体的位置传送至局部航拍图像单元450。在某些具体实施例内,定位单元440也可通信连接至分类与辨识单元470。定位单元440可设置成将该等已侦测目标物体的已获取位置传送至分类与辨识单元470。
局部航拍图像单元450可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行步骤730内的上述操作。局部航拍图像获取单元可设置成获取该等已侦测目标物体的一或多个位置上一或多个局部航拍图像。在某些具体实施例内,局部航拍图像单元450也可通信连接至侦测单元430。局部航拍图像单元450可设置成接收来自侦测单元430的该区域的该等已侦测目标物体和/或航拍图像。在某些具体实施例内,局部航拍图像单元450也可通信连接至撷取单元460。局部航拍图像单元450可设置成将该等已侦测目标物体的一或多个位置上的已获取的局部航拍图像传送至撷取单元460。在某些具体实施例内,局部航拍图像单元450也可通信连接至分类与辨识单元470。局部航拍图像单元450可设置成将该等已侦测目标物体的一或多个位置上的已获取的局部航拍图像传送至分类与辨识单元470。
撷取单元460可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行步骤740内的上述操作。撷取单元460可设置成从该等一或多个局部航拍图像撷取一或多个纹理特征,当成一或多个特征向量。在某些具体实施例内,撷取单元460也可通信连接至局部航拍图像单元450。撷取单元460可设置成接收来自局部航拍图像单元450的该等已侦测目标物体中一或多个位置上的已获取的局部航拍图像。在某些具体实施例内,撷取单元460也可通信连接至使用者界面140。撷取单元460可设置成接受来自使用者界面140的撷取算法的使用者输入或选择。在某些具体实施例内,撷取单元460也可通信连接至分类与辨识单元470。撷取单元460可设置成将该等已撷取一或多个特征向量传送至分类与辨识单元470。
分类与辨识单元470可包括适当种类的硬件,例如集成电路与场可编程门阵列,或软件,例如可在处理器或控制器上执行的指令集、子程序或函数(即函数程序),来执行步骤750、760、770与780内的上述操作。在某些具体实施例内,分类与辨识单元470也可通信连接至使用者界面140。分类与辨识单元470可设置成从使用者界面140获得多个训练数据。在某些具体实施例内,分类与辨识单元470也可通信连接至定位单元440。分类与辨识单元470可设置成接收来自定位单元440的该等已侦测目标物体的已获取位置。在某些具体实施例内,分类与辨识单元470也可通信连接至局部航拍图像单元450。分类与辨识单元470可设置成接收来从局部航拍图像单元450的该等已侦测目标物体中一或多个位置上的已获取的局部航拍图像。在某些具体实施例内,分类与辨识单元470也可通信连接至撷取单元460。分类与辨识单元470可设置成接收来从撷取单元460的该等已撷取一或多个特征向量。
分类与辨识单元470可设置成获得多个训练数据,该训练数据包括当成该目标物体的相同种类物体的多个航拍图像。分类与辨识单元470可进一步设置成根据该等多个训练数据来训练分类器。分类与辨识单元470可进一步设置成根据该等一或多个特征向量,由该受过训练的分类器分类该等一或多个局部航拍图像。分类与辨识单元470可进一步设置成基于该等分类结果,辨识该等一或多个局部航拍图像的间的该等目标物体。
在某些具体实施例内,分类与辨识单元470可进一步设置成获取该等已辨识的目标物体的一或多个位置,如上述步骤790内的操作。在某些具体实施例内,分类与辨识单元470也可通信连接至显示器160。分类与辨识单元470可设置成在显示器160上该区域航拍图像或地图上显示该等已辨识目标物体的一或多个位置,如上述步骤790内的操作。在某些具体实施例内,分类与辨识单元470可设置成计算该等已侦测目标物体的数量,如上述步骤790内的操作。在某些具体实施例内,分类与辨识单元470也可通信连接至输出180。分类与辨识单元470可设置成将计算出来的该等已辨识目标物体数量传送至输出180。
图14是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例方法1400的流程图。方法1400可包含以下步骤:获得区域的图像(步骤1410)、从该区域的该图像获得多个局部航拍图像(步骤1420)、由分类器将该多个局部航拍图像分类为第一类或第二类,其中:该第一类表示局部航拍图像包含目标物体,该第二类表示局部航拍图像不包含目标物体,且该分类器通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体(步骤1430)、在该第一类中的局部航拍图像中辨识目标物体(步骤1440)以及当该已辨识目标物体上的优化土壤调整植生指数低于植物疾病临界值时,决定该已辨识目标物体具有植物疾病(步骤1450)
步骤1410可包含获得区域的图像。例如,获得区域的图像的步骤1410可包含存取来自计算机可读取介质或计算机可读取储存装置的显示于图1中的感兴趣区域的图像。针对另一个范例,获得区域的图像的步骤1410可包含从外部输入,例如图13中的图像输入120,接收感兴趣区域的图像。图像输入120可通信连接至例如UAV 100、无人靶机、飞行器、直升机、气球或卫星。换言之,获得区域的图像的步骤1410可包含从UAV 100、无人靶机、飞行器、直升机、气球或卫星接收感兴趣区域的图像。
在某些具体实施例中,获得区域的图像的步骤1410可包含获得该区域各部分的多个图像,并且组合或拼接(stitching)该区域各部分的多个图像,以获得感兴趣区域的图像。例如,获得区域的图像的步骤1410可包含获得该区域各部分的多个RGB图像,并且识别与匹配该区域各部分的多个RGB图像的不同特征,以建立RGB图像配对的间的对应关系。获得区域的图像的步骤1410可进一步包含根据该已建立的该等RGB图像配对之间对应关系,来混合该区域各部分的多个RGB图像,以获得感兴趣区域的RGB图像。
步骤1420可包含从该区域的该图像获得多个局部航拍图像。例如,从该区域的该图像获得多个局部航拍图像的步骤1420可包含从图1中的该区域的航拍图像获得多个300x300局部航拍图像。在某些具体实施例中,从该区域的该图像获得多个局部航拍图像的步骤1420可包含在方法700中所描述的获取局部航拍图像的步骤730。
在某些具体实施例中,获得多个局部航拍图像的步骤1420可包含根据基于该区域的数值地表模型(DSM)图像与目标物体的DSM图像而在该区域的该图像上侦测到的多个位置,以获得多个局部航拍图像,如方法200与方法700中所描述的。可选地,获得多个局部航拍图像的步骤1420可包含根据该区域的该图像上的多个候选位置以获得该多个局部航拍图像。该多个候选位置可例如为该区域的该图像上每一像素、每十像素或每五十像素的候选位置。
在某些具体实施例中,当该区域的该图像的地面取样距离(GSD)小于或等于GSD临界值时,获得多个局部航拍图像的步骤1420可包含根据基于该区域与该目标物体的DSM图像而在该区域的该图像上侦测到的该多个位置,以获得该多个局部航拍图像,如方法200与方法700中所描述的。可选地,当该区域的该图像的该GSD大于该GSD临界值时,获得多个局部航拍图像的步骤1420可包含根据该区域的该图像的该多个候选位置,以获得该多个局部图像。
步骤1430可包含由分类器将该多个局部航拍图像分类为第一类或第二类。该第一类表示局部航拍图像包含目标物体。该第二类表示局部航拍图像不包含目标物体。该分类器通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体。
例如,将该多个局部航拍图像分类为第一类或第二类的步骤1430可包含将在步骤1420中所获得的该多个局部航拍图像分类为表示局部航拍图像包含目标物体的第一类或表示局部航拍图像不包含目标物体的第二类。当目标物体为图1中的油棕榈树时,分类该多个局部航拍图像的步骤1430可包含将该多个局部航拍图像中的一或多者分类为第一类,其中局部航拍图像包含油棕榈树。可选地,分类该多个局部航拍图像的步骤1430可包含将该多个局部航拍图像中的一或多个分类为第二类,其中局部航拍图像不包含油棕榈树。
在步骤1430中,分类该多个局部航拍图像可包含借由分类器以分类该多个局部航拍图像。该分类器通过第一与第二训练数据所训练。该第一训练数据可包含第一训练图像其包含目标物体,例如在图9(a)中的油棕榈树。在某些具体实施例中,步骤1430的该分类器可如方法700中的步骤760所训练。
该第二训练数据可包含第二训练图像,其包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体。例如,第二训练图像可包含一或多个图像其包含了显示于图15中的具有不同亮度的油棕榈树、图16中的具有不同对比的油棕榈树、图17中的具有不同色彩饱和度的油棕榈树、图18中的具有不同解析度的油棕榈树、图19中的具有不同旋转角度的油棕榈树,其借由调整图9(a)中的油棕榈树的亮度、对比、色彩饱和度、解析度和/或旋转角度所获得的。
在某些具体实施例中,当第二训练数据包含借由调整第一训练图像的亮度、对比、色彩饱和度、解析度以及旋转角度的每一个所获得的第二训练图像时,该分类器可提高对于油棕榈树的识别率,例如从70%提高至90%。
在某些具体实施例中,分类该多个局部航拍图像的步骤1430包含决定训练图像中的目标物体的外观是否旋转对称,以及响应于决定该目标物体的该外观并非旋转对称,借由调整该第一训练图像的该旋转角度以获得该第二训练图像。例如,油棕榈树的航拍图像可能并非旋转对称。换言之,旋转角度后,油棕榈树在航拍图像中看起来不同。分类该多个局部航拍图像的步骤1430可包含决定油棕榈树的外观并非旋转对称。响应于此决定,步骤1430也可包含借由调整油棕榈树的旋转角度以获得第二训练图像。因此,该训练器将由具有不同旋转角度的油棕榈树图像所训练。
可选地,当目标物体为篮球时,其航拍图像可为旋转对称的,步骤1430可包含决定篮球的外观为旋转对称。响应于此决定,步骤1430也可不包含借由调整油棕榈树的旋转角度以获得第二训练图像。该训练器并非由具有不同旋转角度的油棕榈树图像所训练。
在某些具体实施例中,该旋转角度包含角度其大于0度且小于360度。例如,在旋转大于0度且小于360度的角度后,人或动物的航拍图像可看起来不同。
步骤1440可包含在该第一类中的局部航拍图像中辨识目标物体。例如,在该第一类中辨识目标物体的步骤1440可包含在步骤1430中被分类为第一类的一或多个图像中辨识油棕榈树。在某些具体实施例中,在该第一类中辨识目标物体的步骤1440可包含方法700中的辨识该目标物体的步骤780。
步骤1450可包含当该已辨识目标物体上的优化土壤调整植生指数低于植物疾病临界值时,决定该已辨识目标物体具有植物疾病。例如,决定该已辨识目标物体具有植物疾病的步骤1450可包含在第一类中的已辨识油棕榈树上获得多个优化土壤调整植生指数(Optimized Soil-Adjusted Vegetation Indices,OSAVIs),将该多个优化土壤调整植生指数与植物疾病临界值进行比较,以及当一或多个油棕榈树的OSAVIs低于该植物疾病临界值时,决定该一或多个油棕榈树具有植物疾病。用于油棕榈树的该植物疾病临界值可例如为0.85,即OSAVI=0.85。当一或多个已辨识油棕榈树上的多个OSAVI小于0.85时,决定该一或多个已辨识目标物体具有植物疾病。
OSAVI为植生指数,其解释了通过植生冠层的红色与近红外的不同程度的消光。OSAVI将来自涉及了红色与近红外(Near-Infrared,NIR)波长的光谱植生指数的土壤亮度影响最小化。OSAVI可借由以下方式获得:OSAVI=(1+L)*(NIR-RED)/(NIR+RED+L),其中L=0.16,NIR为已辨识目标物体上的近红外波段指数,而RED为已辨识目标物体上的红色波段指数。可从借由多光谱相机所拍摄的感兴趣区域的多光谱图像中获得NIR与RED。
图15是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同亮度的目标物体的多个示例训练数据的图式。图15(a)、图15(b)、图15(c)、图15(d)、图15(e)、图15(f)、图15(g)、图15(h)以及图15(i)为包含了油棕榈树的图像,其分别具有-60%、-45%、-30%、-15%、0%、+15%、+30%、+45%以及+60%的不同亮度级。此些具有不同亮度的图像中的一或多个可被用于训练步骤1430的分类器。由于区域的航拍图像可于亮度上变化,借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从70%提高至80%。
图16是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同对比的目标物体的多个示例训练数据的图式。图16(a)、图16(b)、图16(c)、图16(d)、图16(e)、图16(f)、图16(g)、图16(h)以及图16(i)为包含了油棕榈树的图像,其分别具有-60%、-45%、-30%、-15%、0%、+15%、+30%、+45%以及+60%的不同对比级。此些具有不同对比的图像中的一或多个可被用于训练步骤1430的分类器。由于区域的航拍图像可于对比上变化,借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从75%提高至85%。
图17是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同色彩饱和度的目标物体的多个示例训练数据的图式。图17(a)、图17(b)、图17(c)、图17(d)、图17(e)、图17(f)、图17(g)、图17(h)以及图17(i)为包含了油棕榈树的图像,其分别具有0%、25%、50%、75%、100%、175%、250%、325%以及400%的不同色彩饱和度级。此些具有不同色彩饱和度的图像中的一或多个可被用于训练步骤1430的分类器。由于区域的航拍图像可于色彩饱和度上变化,借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从72%提高至80%。
图18是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同解析度的目标物体的多个示例训练数据的图式。图18(a)、图18(b)、图18(c)以及图18(d)为包含了油棕榈树的图像,其分别具有0、15、30以及45的不同模糊度级。此些具有不同色彩饱和度的图像中的一或多个可被用于训练步骤1430的分类器。由于区域的航拍图像可于解析度上变化,借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从72%提高至86%。
图19是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同旋转角度的目标物体的多个示例训练数据的图式。图19(a)、图19(b)、图19(c)、图19(d)、图19(e)以及图19(f)为包含了油棕榈树的图像,其分别具有0度、30度、45度、60度、90度以及180度的不同旋转角度级。此些具有不同旋转角度的图像中的一或多个可被用于训练步骤1430的分类器。由于区域的航拍图像可于角度上变化,借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从75%提高至86%。
图20是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不同尺寸的目标物体的多个示例训练数据的图式。如图20(a)所示,训练图像包含小的年轻棕榈树以做为目标物体。如图20(b)所示,训练图像包含大的成熟棕榈树以做为另一目标物体。步骤1430的第一训练图像中的目标物体可包含此两个不同尺寸的棕榈树。借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从82%提高至86%,因为其可辨识感兴趣区域中的那些年轻油棕榈树以及成熟油棕榈树。
图21是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了两个以上的目标物体的多个示例训练数据的图式。如图21(a)所示,训练图像包含两个棕榈树以做为目标物体。如图21(b)所示,训练图像包含三个棕榈树以做为目标物体。步骤1430的第一训练图像中的目标物体可包含此两个或多个棕榈树。借由此些训练图像所训练的分类器可提高油棕榈树的识别率,例如从81%提高至85%,因为其可辨识局部航拍图像中的两个或多个油棕榈树。在步骤1420中获得的局部航拍图像中可能无可避免地会具有两个或多个油棕榈树,因为固定的图像尺寸,例如300x300,可被用于所有的局部航拍图像,而油棕榈树可随机分散于区域中。
图22是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了在该区域的该图像中的非目标物体的多个示例训练数据的图式。图22(a)、图22(b)、图22(c)以及图22(d)分别包含房子、另一房子、车子以及两个车子。步骤1430的分类器可训练从包含了图9(a)与图15至图21中该第一与第二多个训练图像的第一数量的训练图像,以及包含了图9(b)和/或图22中非目标图像的第二数量的训练图像。训练图像的该第一数量可实质上相等于训练图像的该第二数量。例如第一与第二数量可皆为一万。借由此些训练图像所训练的分类器可提高油棕榈树的识别率至例如为90%,因为此些训练图像为分类器提供了不同的特征。
图23是根据所公开的具体实施例,可用来训练示例分类器进行自动物体侦测,且包含了不在该区域的该图像中的非的目标物体的多个示例训练数据的图式。图23(a)、图23(b)、图23(c)、图23(d)、图23(e)以及图23(f)包含了海滩的场景,其并不在图1中的该区域的该图像中。步骤1430的分类器可训练从包含了图9(a)与图15至图21中该第一与第二训练图像的第一数量的训练图像、包含了图9(b)和/或图22中的图像中的非目标图像的第二数量的训练图像,以及包含了图23中的不在该区域的该图像中的非目标物体的第三数量的训练图像。在某些具体实施例中,训练图像的该第一数量、该第二数量与该第三数量实质上相等。例如,该第一数量、该第二数量与该第三数量可皆为八千。
图24是根据所公开的具体实施例,该区域中的具有植物疾病的目标物体的图式。如图24所示,油棕榈树2401、2402具有枯叶。这些枯叶可能在不同的波段(例如蓝色,绿色,红色与近红外波段)引起不同的反射。UAV 100也可被设置为借由多光谱相机拍摄该区域的多光谱图像。油棕榈树2401、2402的OSAVIs分别为0.79与0.81。
在借由步骤1440辨识油棕榈树2401、2402后,决定该已辨识目标物体具有植物疾病的步骤1450可包含将油棕榈树2401、2402的OSAVI与植物疾病临界值(例如,0.85)进行比较,并决定油棕榈树2401、2402两者皆具有植物疾病。农夫可借由本文的方法获得此些具有植物疾病的油棕榈树的位置,并采取措施营救这些油棕榈树。
本发明的另一个实施方式涉及一种从航拍图像侦测物体的系统。图13是根据所公开的具体实施例,说明用于航拍图像中自动物体侦测的示例系统的方框图。自动物体侦测系统400可被设置以执行如上所述且显示于图14至图24的方法1400。
仍旧是本发明的另一个实施方式,其涉及一种储存指令的非暂时性计算机可读取介质,当执行时会导致一或多个处理器执行从航拍图像侦测物体的操作。该操作可包含,但不限于所有前述方法与实施例。在某些具体实施例中,前述操作或实施例中的一部分步骤的可远程地或分开地执行。在某些具体实施例中,该操作可由一或多个分布式系统所执行。
本领域技术人员将了解,可对用于侦测航拍图像内物体的所公开方法及系统进行许多修改以及变化。从用于侦测航拍图像内物体的所公开方法及系统的规格与实践考量中,本领域技术人员可了解其他具体实施例。在此所考量的说明书与范例都仅为示例,本发明确切的范围都列示于下列权利要求书内。

Claims (23)

1.一种从航拍图像侦测物体的系统,该系统包含:
用于储存指令的存储器;
至少一处理器,设置成执行该指令以:
获得区域的图像;
从该区域的该图像获得多个局部航拍图像;
由分类器将该多个局部航拍图像分类为第一类或第二类,其中:
该第一类表示局部航拍图像包含目标物体,
该第二类表示局部航拍图像不包含目标物体,且
该分类器通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体;以及
在该第一类中的局部航拍图像中辨识目标物体。
2.根据权利要求1所述的系统,其中所述分类该多个局部航拍图像包含:
决定训练图像中的目标物体的外观是否旋转对称;以及
响应于决定该目标物体的该外观并非旋转对称,借由调整该第一训练图像的该旋转角度以获得该第二训练图像。
3.根据权利要求1所述的系统,其中该旋转角度包含角度其大于0度且小于360度。
4.根据权利要求1所述的系统,其中所述获得该多个局部航拍图像包含:
根据基于该区域的数值地表模型(DSM)图像与目标物体的DSM图像而在该区域的该图像上侦测到的多个位置,以获得该多个局部航拍图像;或
根据该区域的该图像上的多个候选位置以获得该多个局部航拍图像。
5.根据权利要求4所述的系统,其中:
当该区域的该图像的地面取样距离(GSD)小于或等于GSD临界值时,所述获得该多个局部航拍图像包含根据基于该区域与该目标物体的该DSM图像而在该区域的该图像上侦测到的该多个位置,以获得该多个局部航拍图像;以及
当该区域的该图像的该GSD大于该GSD临界值时,所述获得该多个局部航拍图像包含根据该区域的该图像的该多个候选位置,以获得该多个局部图像。
6.根据权利要求1所述的系统,其中该第一训练图像的该目标物体包含两个不同的尺寸。
7.根据权利要求1所述的系统,其中该第一训练图像其中一个包含两个目标物体。
8.根据权利要求1所述的系统,其中该分类器训练:
第一数量的训练图像,其包含该第一与第二多个训练图像;以及
第二数量的训练图像,其包含非目标物体,
其中该第一数量的训练图像大致上相等于该第二数量的训练图像。
9.根据权利要求1所述的系统,其中该分类器训练:
第一数量的训练图像,其包含该第一与第二训练图像;
第二数量的训练图像,其包含该区域的该图像中的非目标物体;以及
第三数量的训练图像,其包含不在该区域的该图像中的非目标物体。
10.根据权利要求9所述的系统,其中训练图像的该第一、第二与第三数量是大致相等的。
11.根据权利要求1所述的系统,其中该至少一处理器设置成执行该指令以:
当该已辨识目标物体上的优化土壤调整植生指数低于植物疾病临界值时,决定该已辨识目标物体具有植物疾病。
12.一种侦测航拍图像内物体的方法,该方法包含:
获得区域的图像;
从该区域的该图像获得多个局部航拍图像;
由分类器将该多个局部航拍图像分类为第一类或第二类,其中:
该第一类表示局部航拍图像包含目标物体,
该第二类表示局部航拍图像不包含目标物体,且
该分类器系通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体;以及
在该第一类中的局部航拍图像中辨识目标物体。
13.根据权利要求12所述的方法,其中所述分类该多个局部航拍图像包含:
决定训练图像中的目标物体的外观是否旋转对称;以及
响应于决定该目标物体的该外观并非旋转对称,借由调整该第一训练图像的该旋转角度以获得该第二训练图像。
14.根据权利要求12所述的方法,其中所述获得该多个局部航拍图像包含:
根据基于该区域的数值地表模型(DSM)图像与目标物体的DSM图像而在该区域的该图像上侦测到的多个位置,以获得该多个局部航拍图像;或
根据该区域的该图像上的多个候选位置以获得该多个局部航拍图像。
15.根据权利要求14所述的方法,其中:
当该区域的该图像的地面取样距离(GSD)小于或等于GSD临界值时,所述获得该多个局部航拍图像包含根据基于该区域与该目标物体的该DSM图像而在该区域的该图像上侦测到的该多个位置,以获得该多个局部航拍图像;以及
当该区域的该图像的该GSD大于该GSD临界值时,所述获得该多个局部航拍图像包含根据该区域的该图像的该多个候选位置,以获得该多个局部图像。
16.根据权利要求12所述的方法,其中该第一训练图像的该目标物体包含两个不同的尺寸。
17.根据权利要求12所述的方法,其中该分类器训练:
第一数量的训练图像,其包含该第一与第二多个训练图像;以及
第二数量的训练图像,其包含非目标物体,
其中该第一数量的训练图像大致上相等于该第二数量的训练图像。
18.请求项12所述的方法,其中该分类器训练:
第一数量的训练图像,其包含该第一与第二训练图像;
第二数量的训练图像,其包含该区域的该图像中的非目标物体;以及
第三数量的训练图像,其包含不在该区域的该图像中的非目标物体。
19.根据权利要求18所述的方法,其中训练图像的该第一、第二与第三数量是大致相等的。
20.根据权利要求12所述的方法,包含:
当该已辨识目标物体上的优化土壤调整植生指数低于植物疾病临界值时,决定该已辨识目标物体具有植物疾病。
21.一种储存指令的非暂时性计算机可读取介质,当执行时会导致一或多个处理器执行从航拍图像侦测物体的操作,该操作包含:
获得区域的图像;
从该区域的该图像获得多个局部航拍图像;
由分类器将该多个局部航拍图像分类为第一类或第二类,其中:
该第一类表示局部航拍图像包含目标物体,
该第二类表示局部航拍图像不包含目标物体,且
该分类器系通过第一与第二训练数据所训练,其中该第一训练数据包含第一训练图像,该第一训练图像包含目标物体,且该第二训练数据包含第二训练图像,该第二训练图像包含借由调整该第一训练图像的亮度、对比、色彩饱和度、解析度或旋转角度其中至少一个所获得的目标物体;以及
在该第一类中的局部航拍图像中辨识目标物体。
22.根据权利要求21所述的非暂时性计算机可读取介质,其中所述分类该多个局部航拍图像包含:
决定训练图像中的目标物体的外观是否旋转对称;以及
响应于决定该目标物体的该外观并非旋转对称,借由调整该第一训练图像的该旋转角度以获得该第二训练图像。
23.根据权利要求21所述的非暂时性计算机可读取介质,其中该操作包含:
当该已辨识目标物体上的优化土壤调整植生指数低于植物疾病临界值时,决定该已辨识目标物体具有植物疾病。
CN202011494713.XA 2019-12-20 2020-12-17 航拍图像自动物体侦测的方法及系统 Pending CN113011416A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/724,041 2019-12-20
US16/724,041 US10699119B2 (en) 2016-12-02 2019-12-20 Methods and systems for automatic object detection from aerial imagery

Publications (1)

Publication Number Publication Date
CN113011416A true CN113011416A (zh) 2021-06-22

Family

ID=76383528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011494713.XA Pending CN113011416A (zh) 2019-12-20 2020-12-17 航拍图像自动物体侦测的方法及系统

Country Status (2)

Country Link
CN (1) CN113011416A (zh)
TW (1) TWI785436B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI819438B (zh) * 2021-12-21 2023-10-21 緯創資通股份有限公司 影像辨識裝置及影像辨識方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311302B2 (en) * 2015-08-31 2019-06-04 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
CN110298227B (zh) * 2019-04-17 2021-03-30 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法

Also Published As

Publication number Publication date
TWI785436B (zh) 2022-12-01
TW202125324A (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
US10699119B2 (en) Methods and systems for automatic object detection from aerial imagery
CN108154082B (zh) 航拍影像自动物体侦测的方法及系统
US9390348B2 (en) Method for categorizing objects in image
Neal et al. Measuring shape
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
JP7142420B2 (ja) 画像処理装置、学習方法、学習済モデル、画像処理方法
Aliero et al. The usefulness of unmanned airborne vehicle (UAV) imagery for automated palm oil tree counting
Polewski et al. Detection of single standing dead trees from aerial color infrared imagery by segmentation with shape and intensity priors
Lee et al. Automatic recognition of flower species in the natural environment
CN112560623A (zh) 一种基于无人机的红树植物种类快速识别方法
KR20210143634A (ko) 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법
Finn et al. Unsupervised spectral-spatial processing of drone imagery for identification of pine seedlings
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
TWI785436B (zh) 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
WO2022254211A1 (en) Cloud-free analytics from satellite input
CN112016484B (zh) 植物侵扰评估方法、装置、计算机设备及存储介质
KR20220168875A (ko) 인공지능을 이용하여 벼 도복 피해면적을 산정하는 장치 및 방법
Hamzah et al. Drone Aerial Image Identification of Tropical Forest Tree Species Using the Mask R-CNN
Han et al. Automated Kauri trees detection in high resolution aerial images
Lawrence Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques
Wijesingha et al. Mapping invasive Lupinus polyphyllus Lindl. in semi-natural grasslands using object-based analysis of UAV-borne images
Sharma et al. Object-Based Image Analysis of Hyper Spectral Imagery Using Semantic Segmentation Techniques
Nematzadeh Development of In-Field Data Acquisition Systems and Machine Learning-Based Data Processing and Analysis Approaches for Turfgrass Quality Rating and Peanut Flower Detection
Choukuljaratsiri et al. Plant cover detection from visible satellite imagery
Jin et al. Automatic Detection of Dead Trees Based on Lightweight YOLOv4 and UAV Imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination