CN107426958A - 农业监控系统和方法 - Google Patents

农业监控系统和方法 Download PDF

Info

Publication number
CN107426958A
CN107426958A CN201580073902.0A CN201580073902A CN107426958A CN 107426958 A CN107426958 A CN 107426958A CN 201580073902 A CN201580073902 A CN 201580073902A CN 107426958 A CN107426958 A CN 107426958A
Authority
CN
China
Prior art keywords
airborne
flight
view data
imaging sensor
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580073902.0A
Other languages
English (en)
Other versions
CN107426958B (zh
Inventor
阿米汗·戈尔尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AAA Tara Nice Vision Co Ltd
Original Assignee
AAA Tara Nice Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AAA Tara Nice Vision Co Ltd filed Critical AAA Tara Nice Vision Co Ltd
Publication of CN107426958A publication Critical patent/CN107426958A/zh
Application granted granted Critical
Publication of CN107426958B publication Critical patent/CN107426958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/005Precision agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/02Methods for working soil combined with other agricultural processing, e.g. fertilising, planting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Catching Or Destruction (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种农业监控系统,所述农业监控系统包括:成像传感器,当所述成像传感器为机载时,被配置并用于以亚毫米图像分辨率采集作物生长的部分农业区域的图像数据;通信模块,被配置并用于将基于所述机载成像传感器采集的图像数据的图像数据内容发送到外部系统;以及连接器,用于将成像传感器和通信模块连接到机载平台。

Description

农业监控系统和方法
技术领域
本发明涉及农业监控的系统、方法和计算机程序产品,具体涉及基于由机载成像传感器采集的图像数据的农业监视的系统、方法和计算机程序产品。
背景技术
公开号CN203528823,名称为“一种带彩色水稻病害图像识别仪防治水稻白叶枯病的无人机”的中国实用新型专利,涉及一种带彩色水稻病害图像识别仪防治水稻白叶枯病的无人机,属于农业航空植物保护技术领域。防治水稻白叶枯病的智能无人机在稻田上方飞行,侦察水稻白叶枯病的发生,安装在防治水稻白叶枯病的智能无人机的下方光电吊舱中的相机、摄像机将感知到的水稻田中的彩色稻病图像输入彩色稻病图像储存系统进行储存,接着输入彩色水稻病害图像识别仪与已储存的彩色水稻病害标准图像进行比较,识别并确认病害种类和危害情况,将白叶枯病的危害信息输入计算机喷药治病指令信息系统进行处理,制定出喷药治病指令,压力泵按照喷药治病指令向治病化学农药液体施加压力,加压后的化学农药液体通过治白叶枯病化学农药液体的喷雾器喷向稻田。
公开号CN203528822,名称为“一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机”的中国实用新型专利,涉及一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机,属于农业航空植物保护新技术领域。防治水稻纹枯病的智能无人机的下方的光电吊舱中的摄像机、相机将感知到的水稻田中的彩色稻病图像输入彩色稻病图像储存系统进行储存,接着输入彩色水稻病害图像识别仪与已储存的彩色水稻病害标准图像进行比较,识别水稻纹枯病的危害状况,将纹枯病的危害信息输入计算机喷药治病指令信息系统进行处理,计算机喷药治病指令信息系统发出的喷药治病指令通过喷药治病指令信息传输线调控压力泵向治病化学农药液体施加的压力,调控已加压的化学农药液体通过治纹枯病化学农药液体的喷雾器喷向稻田。
公开号CN103523226A,名称为“一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机”的中国发明专利申请,涉及一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机,属于农业航空植物保护新技术领域。防治水稻纹枯病的智能无人机的下方的光电吊舱中的摄像机、相机将感知到的稻田中的彩色稻病图像输入彩色稻病图像储存系统进行储存,接着输入彩色水稻病害图像识别仪与已储存的彩色水稻病害标准图像进行比较,识别水稻纹枯病的危害情况,将纹枯病的危害信息输入计算机喷药治病指令信息系统进行处理,计算机喷药治病指令信息系统发出的喷药治病指令通过喷药治病指令信息传输线调控压力泵向治病化学农药液体施加的压力,调控已加压的化学农药液体通过治纹枯病化学农药液体的喷雾器喷向稻田防治水稻纹枯病。
公开号 JPH11235124A,名称为“精准农业”的日本发明专利申请,论述了一种精准农业的方法,通过监测农田作物生长状态,自动形成农田作物生长图,基于所形成的作物生长图数据施用肥料、农药等,能防止肥料和农药的过度或不足,提高肥料和农药的应用效率,提高作物产量。该专利申请论述了一种精准农业的方法,包括,如通过安装在直升机上的摄像机70空中拍摄农田作物生长状态,从配置有颜色传感器的摄像机70拍摄的图片中检测作物叶绿素含量,来监测农田作物生长状态,随后形成农田作物生长图。
申请号US11/353,351,名称为"灌溉遥感系统"的美国专利申请论述了一种与农业灌溉系统相关联的数据收集装置,该系统包括至少一个与灌溉系统活动连接的摄像机。
发明内容
根据本发明的一个方面,公开了一种农业监控方法,该方法包括:(a)在作物生长的农业区域上方沿着飞行路线飞行机载成像传感器;(b)通过所述机载成像传感器采集部分所述农业区域的图像数据,其中,在沿着所述飞行路线的一组成像位置处执行所述图像数据的采集,所述成像位置能够以亚毫米图像分辨率采集所述图像数据;以及(c)向外部系统发送基于由机载成像传感器采集的图像数据的图像数据内容。
根据本发明的另一个方面,所述方法可包括将所述图像数据内容发送到所述外部系统,以向远程位置的农学家显示基于所述图像数据内容的农学图像数据,从而使得农学家能够远程分析农业区域
根据本发明的另一个方面,所述飞行路线为地形跟随飞行路线。
根据本发明的另一个方面,所述采集包括在所述一组成像位置处采集图像数据,同时所述机载成像传感器沿着所述成像位置以不低于所述机载平台沿着飞行路线的平均速度的50%的速度飞行。
根据本发明的另一个方面,所述采集包括将所述机载成像传感器的至少一个部件相对于负载的机载平台机械移动,用于补偿在采集期间所述机载成像传感器相对于作物的运动。
根据本发明的另一个方面,所述采集包括:(a)将所述机载成像传感器的至少一个光学部件相对于负载的机载平台机械旋转,用于补偿在采集期间所述机载成像传感器相对于所述作物的运动;以及(b)在所述至少一个光学组件旋转的同时,对于所述图像数据的多个帧中的每一帧:在采集光轴与垂直轴的角度大于 20°时,启动成像传感器的聚焦过程,当采集光轴与垂直轴的角度小于20°时,利用垂直成像采集图像数据。
根据本发明的另一个方面,所述采集包括在采集期间对作物进行照明,以补偿在采集期间所述机载成像传感器相对于作物的运动。
根据本发明的另一个方面,所述飞行包括沿着飞行路线飞行机载成像传感器,该飞行路线延伸至第一所有者的至少第一农业资产和除第一所有者之外的第二所有者的第二农业资产,其中所述方法包括采集部分第一农业资产的第一图像数据并采集部分第二农业资产的第二图像数据;基于第一图像数据生成第一图像数据内容,并基于第二图像数据生成第二图像数据内容;用于向第一消息中的第一实体提供第一图像数据内容,以及用于向第二消息中的第二实体提供第二数据内容。
根据本发明的另一个方面,所述采集包括采集地面车辆到达不了的部分农业区域的图像数据。
根据本发明的另一个方面,所述采集包括采集步行到达不了的部分农业区域的图像数据。
根据本发明的另一个方面,所述飞行包括通过被配置为作物保护产品的空中应用的农用飞机飞行所述成像传感器。
根据本发明的另一个方面,所述方法进一步包括基于所述图像数据的处理,选择所述农用飞机空中应用作物保护产品的空中应用参数。
根据本发明的另一个方面,沿飞行路线的所述一组成像位置位于生长在农业区域中的作物顶部上方不到20米处。
根据本发明的另一个方面,所述采集包括以低于500平方米/公顷的覆盖率采集农业区域的图像数据。
根据本发明的另一个方面,所述发送之后紧接着是飞行、采集和发送的后续实例,其中所述方法进一步包括基于先前实例中采集的图像数据,为后续飞行实例规划路线。
根据本发明的另一个方面,所述采集包括在所述图像数据采集期间补偿所述成像传感器的运动。
根据本发明的另一个方面,所述图像数据的采集包括使用垂直成像采集图像数据。
​根据本发明的另一个方面,所述方法进一步包括将计算机化的处理算法应用于所述图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
根据本发明的另一个方面,所述飞行、采集和发送在几个星期内重复进行,其中所述方法进一步包括处理在所述几个星期的不同时间采集的图像数据,用于测定农业区域中植物的生长参数。
根据本发明的另一个方面,所述方法进一步包括将计算机化的处理算法应用于所述图像数据以识别所选择的农学重要数据,以及基于所选择的农学重要数据,生成传输到远程系统的农学图像数据。
根据本发明的另一个方面,所述方法进一步包括将计算机化的处理算法应用于所选择的农学重要数据,以便基于可能接收者的农学专长,从多个可能的接收者中选出农学图像数据的接收者。
根据本发明的另一个方面,在所述飞行之前为机载监视系统制定监视飞行计划,监视飞行计划包括指示多个成像位置的采集位置计划,其中,根据所述监视飞行计划,在农业区域上方沿着飞行路线飞行的机载传感器是飞行机载监视系统的一部分。
根据本发明的另一个方面,所述飞行路线为地形跟随飞行路线;其中飞行包括通过被配置为作物保护产品的空中应用的农用飞机飞行成像传感器;其中沿飞行路线的所述一组成像位置位于生长在农业区域中的作物顶部上方不到20米处;其中所述采集包括:(a)在所述一组成像位置处采集图像数据,同时机载成像传感器沿着所述成像位置以不低于所述机载平台沿着飞行路线的平均速度的50%的速度飞行;以及(b)通过在采集期间对作物进行照明,并通过将所述机载成像传感器的至少一个部件相对于负载的机载平台机械移动,来补偿采集期间所述机载成像传感器相对于作物的运动;其中,所述发送包括将图像数据内容发送到外部系统,以向远程位置的农学家显示基于所述图像数据内容的农学图像数据,从而使农学家能够对农业区域进行远程分析;其中,所述方法进一步包括:在所述飞行之前为机载监视系统制定监视飞行计划,所述监视飞行计划包括指示多个成像位置的采集位置计划,其中,根据所述监视飞行计划,在农业区域上方沿着飞行路线飞行的所述机载传感器是飞行所述机载监视系统的一部分。
根据本发明的一个方面,公开了一种农业监控方法,所述方法包括:(a)为机载监视系统制定监视飞行计划,所述监视飞行计划包括指示多个成像位置的采集位置计划;(b)基于所述的监视飞行计划,所述机载监视系统在作物生长的农业区域上方沿着飞行路线飞行;(c)基于所述采集位置计划,在所述机载监视系统的飞行过程中以亚毫米图像分辨率采集部分农业区域的图像数据;(d)将基于所述机载监视系统采集的图像数据的图像数据内容发送到外部系统。
根据本发明的另一个方面,通过接收与多个独立实体相关联的监视请求,来制定所述监视飞行计划,并且包括制定监视飞行计划以指示多个独立实体中的每一个的作物的成像位置。
根据本发明的另一个方面,所述农业区域包括至少有两种类型作物生长的多个田地,其中监视飞行计划的制定包括为不同品种作物相关联的成像位置制定不同的采集参数。
根据本发明的一个方面,公开了一种农业监控系统,所述农业监控系统包括:(a)成像传感器,当所述成像传感器为机载时,被配置并用于以亚毫米图像分辨率采集作物生长的部分农业区域的图像数据;(b)一通信模块,被配置并用于将基于所述机载成像传感器采集的图像数据的图像数据内容发送到外部系统;以及(c)连接器,用于将成像传感器和通信模块连接到机载平台。
根据本发明的另一个方面,所述农业监控系统进一步包括一个机载式平台,所述机载式平台在农业区域上方沿着飞行路线飞行所述机载成像传感器。
根据本发明的另一个方面,所述农业监控系统进一步包括可拆卸的联接器,用于将机载成像传感器可拆卸地联接到机载平台上。
根据本发明的另一个方面,所述成像传感器被配置并用于在生长在农业区域中的作物顶部上方不到20米处采集图像数据。
根据本发明的另一个方面,所述成像传感器被配置并用于当飞行速度超过10m/s时采集图像数据。
根据本发明的另一个方面,所述农业监控系统进一步包括至少一个机械联接器,其将所述成像传感器的至少一个部件联接到发动机,通过所述发动机的运动将所述成像传感器的至少一个部件相对于所述机载平台机械移动,同时通过所述成像传感器采集图像数据。
根据本发明的另一个方面,所述农用监控系统进一步包括发动机,所述发动机可用于将所述成像传感器的至少一个光学部件相对于所述机载平台机械旋转,用来补偿采集过程中所述成像传感器相对于作物的运动;其中所述成像传感器被配置并用于:(a)在采集光轴与垂直轴的角度大于 20°时,旋转所述至少一个光学组件的同时启动聚焦过程,以及(b)当采集光轴与垂直轴的角度小于20°时,利用垂直成像采集图像数据。
根据本发明的另一个方面,所述农业监控系统进一步包括照明单元,其被配置并用于在所述成像传感器采集图像数据的过程中对所述作物进行照明。
根据本发明的另一个方面,所述成像传感器被配置并用于使用垂直成像采集图像数据。
根据权利要求23所述的农业监控系统,进一步包括处理器,所述处理器被配置并用于处理图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
根据本发明的另一个方面,所述农业监控系统进一步包括处理器,所述处理器被配置并用于处理图像数据内容以识别所选择的农学重要数据,以及基于所选择的农学重要数据,生成用于发送给远程系统的农学图像数据。
根据本发明的一个方面,公开了一种农业监控方法,所述方法包括:(a)接收基于农业区域图像数据的图像数据内容,其中,所述图像数据是在沿着农业区域上方延伸的飞行路线的一组成像位置处由机载成像传感器采集的亚毫米图像分辨率图像数据;(b)处理图像数据内容以生成包括农学图像数据的农学数据;以及(c)发送农学数据到终端用户远程系统。
根据本发明的另一个方面,所述处理包括分析所述图像数据内容以识别所述图像数据内容内所选择的农学重要数据;并对所述农学重要数据进行处理,以提供所述农学数据。
根据本发明的另一个方面,所述处理包括将计算机化的处理算法应用于所述图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
根据本发明的另一个方面,所述接收包括接收于不同天数采集的农业区域图像数据内容,其中所述处理包括处理所述图像数据内容以测定农业区域中植物的生长参数。
根据本发明的另一个方面,该方法进一步包括将计算机化的处理算法应用于农学数据,以便基于可能接收者的农学专长,从多个可能的接收者中选出农学图像数据的接收者。
根据本发明的另一个方面,所述图像数据内容包括第一所有者的第一农业资产的第一图像数据内容,以及第一所有者之外的第二所有者的第二农业资产的第二图像数据内容;其中,所述发送包括在第一消息中发送所述第一图像数据内容,以及在第二消息中发送第二数据内容。
根据本发明的另一个方面,所述图像数据内容基于沿着飞行路线的一组成像位置处采集的图像数据,所述成像位置位于生长在农业区域中的作物顶部上方不到20米处。
附图说明
为了理解本发明并了解如何在实践中实施本发明,现在将参考附图描述各实施例,这些实施例仅作为非限制性实例,其中:
​图1A为根据本公开主题的实例示出了一种实例环境中系统实例的功能框图;
图1B为根据本公开主题的实例示出了一种实例环境中系统实例的功能框图;
图1C为根据本公开主题的实例示出了一种实例环境中系统实例的功能框图;
图2为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
​图3为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
图4A根据本公开主题的实例示出了一种系统、一片农业区域和飞行路线;
​图4B根据本公开主题的实例示出了一种系统、一片农业区域、飞行路线、服务器以及多个示例性实体,可以接受基于由系统采集的图像数据的农业重要数据;
​图5A到5E根据本公开主题的实例示出了农业监控方法的可选阶段;
​图6为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
图7为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
​图8为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
​图9为根据本公开主题的实例示出了一种农业监控系统实例的功能框图;
​图10为根据本公开主题的实例示出了一种农业监控系统实例的功能框图;
图11A、11B、11C和11D为根据本公开主题的实例示出了一种具有运动补偿机制的农用监控系统实例的功能框图;
​图12为根据本公开主题的实例示出了一种农业监控系统实例的功能框图;
​图13根据本公开主题的实例示出了根据一种农业监控方法由机载成像传感器采集的若干个图像;
图14根据本公开主题的实例示出了图像数据中的单个叶子的裁剪;
​图15为根据本公开主题的实例示出了一种农业监控方法实例的流程图;
​图16为根据本公开主题的实例示出了一种用于农业监控的服务器实例的功能框图;
图17为根据本公开主题的实例示出了一种地面区域监控方法的实例的流程图;
​图18为根据本公开主题的实例示出了一种地面区域监控方法的实例的流程图;
​图19为根据本公开主题的实例示出了一种用于地面区域监控的服务器实例的功能框图。
​应当理解,出于简化和阐明解释的目的,附图中示出的要素未必按比例绘制。例如,为了清楚起见,一些元件的尺寸可能相对于其它元件被放大。此外,在认为适当的情况下,附图标记可在各附图中重复以指示相应或类似的元件。
​具体实施方式
在下面的详细描述中,阐述了许多具体细节以便对本发明理解透彻。但是,本领域技术人员可以理解,可以在没有这些特定细节的情况下实施当前公开的主题。在其他情况下,未详细描述公知的方法、过程和组件,以免混淆当前公开的主题。
在所示的附图和说明中,相同的附图标记表示那些不同实施例或配置中共同的部件。
除非另有说明,从下面的论述中可以明显看出,在整个说明书中,使用诸如“处理”、“计算”、“算出”、“确定”、“生成”、“设置”、“配置”、“选择”、“制定”或者类似的,包括操纵和/或转换成其他数据的计算机的动作和/或过程,所述数据表示为物理量,例如电子数量,和/或所述数据表示物理对象。术语“计算机”、“处理器”和“控制器”应被广泛地解释为涵盖具有数据处理能力的任何类型的电子设备,包括,这些电子设备作为非限制性示例,个人计算机、服务器、计算系统、通信设备、处理器(例如数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等),任何其它电子计算设备,和/或其任意组合。
可通过存储于计算机可读存储介质中的计算机程序、通过出于希望的目的特别构建的计算机或者通过出于希望的目的特别配置的通用计算机执行根据这里的教导的动作。
如本文所使用的,短语“例如”、“诸如”、“比如”及其变体描述了本公开主题的非限制性实施例。说明书中对“一种情况”、“某些情况”、“其他情况”或其变体意味着在当前公开的主题的至少一个实施例中包括关于实施例描述的特定的特征、结构或特性。因此,短语“一种情况”、“某些情况”、“其他情况”或其变体的出现并不一定指相同的实施例。
应当理解,为了清楚起见,在不同实施例中描述的本公开主题的某些特征也可以在单个实施例中以组合提供。相反,为了简洁起见,在单个实施例中描述的本公开主题的不同特征也可以单独提供或者以任何合适的子组合提供。
在本公开主题的实例中,附图中所示的一个或多个阶段可以以不同的顺序执行,和/或可以同时执行一个或多个阶段,反之亦然。附图示出了根据本公开主题的一个实例的系统架构的一般示意图。附图中的每个模块可以由执行本文定义和解释功能的软件、硬件和/或固件的任何组合形式组成。附图中的模块可以集中在一个位置或分散在多个位置。
图1A为根据本公开主题的实例示出了一种实例环境中系统10实例的功能框图。系统10是机载系统,其包括携带成像传感器210的机载平台100。如下面更详细地讨论,成像传感器210通过机载平台100在农业区域上飞行,以使成像传感器210能够采集农业区域的图像数据。然后将基于采集的图像数据的图像数据内容从系统10传送到远程位置,在该位置可以对其进行分析以获得农学重要数据。
可以使用不同类型的机载平台作为机载平台100。例如,机载平台100可以是以下机载平台类型中的任何一种:飞机、直升机、多旋翼直升机(例如四足直升机)、无人驾驶飞行器(UAV)、动力降落伞(也称为电动降落伞、PPC和滑翔降落软翼机)等。机载平台100的类型可以基于诸如空气动力学参数(例如,速度、飞行高度、机动能力、稳定性和承载能力等)、手动控制或自动化控制程度以及机载平台的其它使用需求来确定。
除成像传感器210之外,系统10还包括处理器220和通信模块230,所有这些都连接到机载平台100。成像传感器210、处理器220和通信模块230(或由机载平台100携带的系统10任何其它组件)连接到机载平台100可以是可拆卸的连接,但并不一定如此。例如,上述部件210、220和/或230中的任何一个可被设计成容易地安装在机载平台100上,并从机载平台100移除,当系统10的相关组件未安装在其上时,可用于其它用途。
图1B为根据本公开主题的实例示出了一种实例环境中系统10实例的功能框图。从图1B的实例可以看出,系统10的一些部件(特别是成像传感器210)可以包括在根据需要从一个或多个飞行器附接和分离的独立的可拆卸吊舱280中。这样的独立吊舱280可以包括如图9-11C论述的农业监测系统200。
图1C为根据本公开主题的实例示出了一种实例环境中系统10实例的功能框图。在图1C的实例中。系统10的实现农业利用的一些组件位于外部吊舱280中,而其他功能由机载平台100的组件(在所示实例中,通信模块230)实现。
如图1B和1C所示,可拆卸吊舱280为相对于机载平台100可拆卸的吊舱。例如,可拆卸吊舱280可以可拆卸地连接到机载平台100的机身(例如,如图1B所示连接到腹部)或连接到机载平台100的机翼(如图1C所示)。
应当注意,系统10可以包括附加部件,例如高度计,空速指示器,俯仰、翻滚和/或偏航传感器,用于连接到航空电子设备和机载平台100其他系统的接口等。
图2为根据本公开主题的实例示出了一种农业监控方法500实例的流程图。参考前面附图的实例,方法500可以由系统10执行。在下面关于方法500的论述之后,提供与系统10相关的附加讨论和细节。
方法500的阶段510包括在作物生长的农业区域上方沿着飞行路线飞行机载成像传感器。参考前面附图所述的实例,机载成像传感器可以是成像传感器210,阶段510的飞行可以由机载平台100执行。
要注意的是,不同类型的作物可在上述农业区域生长,作物可以包括一种或多种植物类型。例如,农业区域可能是耕地(一年生作物如谷物、棉花、土豆、蔬菜等),用于种植长期作物的土地(如果园,葡萄园,水果种植园等)。应当注意的是,农业区域也可以是海洋(或其他以水为基础的)农业区域,例如,用于种植藻类(藻类养殖)的水面。此外,方法500可以用于耕地的农业监控,但也可以用于非耕地(如天然林场、牧场和草地等)的农业监控。在这种情况下,在这些区域生长的植物可以作为这些区域的作物进行监测。正在使用方法500进行农业监控的农业区域可以包括一种或多种类型的农业区域(例如上述示例中的任何一种或多种,例如,包括果园和马铃薯田地)。
方法500的阶段520包括通过机载成像传感器采集部分农业区域的图像数据,其中图像数据的采集包括机载成像传感器在沿着飞行路线的一组成像位置处采集图像数据的至少一部分,该成像位置能够以亚毫米图像分辨率采集图像数据。参照前面附图所述的示例,阶段520的采集可以由成像传感器210执行。
在阶段520中采集的图像数据可以包括一个或多个独立图像,一个或多个视频序列及其组合,并且还可以包括本领域已知的任何其他类型的图像数据。 在阶段520中图像数据的采集可以包括采集可见光或其他电磁辐射(例如紫外光(UV)、红外光(IR)或电磁光谱的其它部分)。还可以使用其他图像采集技术在光的采集基础上使用或者代替光的采集。例如,阶段520可以包括通过合成孔径雷达(SAR)传感器采集图像数据。
在阶段520中采集图像数据包括以亚毫米分辨率采集图像数据的至少一部分。也就是说,在由机载成像传感器采集的图像数据的至少一部分中,农业区域的一部分以细节级别成像,使得农业区域这些部分的分辨细节比一平方毫米(mm2)更细(即更小)。应注意的是,图像数据的可分辨细节可以显著小于一平方毫米,例如,小于0.01平方毫米。
应当注意的是,阶段520可以包括通过机载成像传感器以比成像作物的平均叶子尺寸至少精细一个数量级的图像分辨率采集部分农业区域的图像数据。也就是说,在图像数据的至少一部分中,作物的多个叶片以能够分辨叶片的至少十个独立可分辨的部分的分辨率成像。可选地,阶段520可以包括通过机载成像传感器以比成像作物的平均叶子尺寸至少精细两个数量级的图像分辨率采集部分农业区域的图像数据。可选地,阶段520可以包括通过机载成像传感器以比成像作物的平均叶子尺寸至少精细三个数量级或者更多数量级的图像分辨率采集部分农业区域的图像数据。
图像数据中的作物单个叶片用多个单独可分辨区域(例如多于100个单独可分辨区域)成像,使得能够使用这些图像数据来检测作物的叶子状况,例如,识别不同的叶子疾病、识别叶子上的昆虫和寄生虫、鉴定寄生虫对叶片(例如食用部分)的影响等等。
应该注意的是,阶段520可以包括以多于一种分辨率和/或多于一个图像采集技术采集部分农业区域的图像数据。在这种情况下,以不同分辨率和/或技术拍摄的农业区域的同一部分的不同图像(或视频)可以同时或不同时间(例如在飞行路线的不同部分,可能在另一个方向、另一个高度飞行等)拍摄。可以通过单个传感器(例如,在不同的时间,使用不同的透镜、使用不同的光学滤波器、使用不同的电子滤波器等等)拍摄不同分辨率和/或电磁频谱的不同部分的图像。
方法500的阶段540包括向外部系统发送基于由机载成像传感器采集的图像数据的图像数据内容。 参照前面附图所述的示例,阶段540的发送可以由通信模块230执行。在阶段540中发送的图像数据内容可以包括在阶段520中采集的一些或全部图像数据。可选地(或另外),在阶段540中发送的图像数据可以包括通过处理在阶段520中采集的图像数据而创建的图像数据内容。
阶段540的发送可以包括以无线方式发送图像数据内容,而携带机载平台的机载平台仍处于空中。然而,这并不一定如此,阶段540中发送的一些(或全部)图像数据内容可以在该飞机降落之后发送。图像数据内容的发送可以包括以无线方式(例如,使用无线电通信、基于卫星的通信、蜂窝网络等),以有线的方式(特别是如果在飞机着陆之后发送数据,例如使用通用串行总线(USB)通信)或其任何组合发送图像数据内容。在阶段540中的图像数据内容的发送可以实时地或接近实时地执行(在采集与所成像的农业区域的另一部分相对应的图像数据之前,传送与所成像的农业区域的一部分相对应的图像数据),但是这并不一定如此。
如将在下面更详细地论述的,图像数据内容可以被发送到不同类型的实体,并且由这些实体实施不同的应用。例如,图像数据内容可以发送到异地系统,由专家审查和/或由计算机化系统处理,以便确定农业区域和/或内部作物的农学重要数据。在另一例子中,图像数据内容可以被传送到空中应用系统(例如,农用飞机或地面控制系统),用于确定空中应用的农药(作物喷粉)和/或肥料(空中追肥)的空中应用参数。应该注意的是,空中应用可以指应用来自飞机的各种材料—肥料、农药、种子等,这样的飞机可以是飞机或直升机,但是也可以使用其他类型的飞机器(例如热气球)。应当注意的是,在本公开的内容中,农用飞机(特别是空中应用飞机)可以是载人飞机,也可以是无人驾驶飞机。
图3为根据本公开主题的实例示出了一种农业监控方法600实例的流程图。参照前面附图所述的示例,方法600可以由系统10执行。方法600是方法500的一个示例,并且方法600的阶段以方法500相应的参考数字编号(即,阶段610是阶段510的示例,阶段620是阶段520的示例,等等)。应当指出,在适用的情况下,参考方法500(在本公开中上述或下述提及的)论述的变化和示例也与方法600相关。
如方法600的示例中所实现的方法500包括使用由飞机所携带的机载成像传感器在低高度飞行,能够在高速率下采集作物的极高分辨率图像(用相对较少的时间在农业区域大面积采样)。发送机载系统上生成的图像数据内容,以便在远程异地分析服务器处进行处理。图像数据内容由分析服务器处理,然后被分发给管理界面(例如个人计算机、手持计算机等),其被提供给农学家、给管理者发给另一些专业人员或者给专门的系统进行进一步分析。在阶段620中获得的高分辨率图像使得能够分析单个叶片,可以用于例如检测叶病和/或指示寄生对叶片的影响等。
如下面更详细地阐述,并不是所有的农业区域都要成像,可以选择其代表样品。应当注意的是,农学家检查农业区域(例如田地、果园)的叶子疾病通常通过步行对农业区域进行采样,沿着设计代表部分农业区域的采样路径采样。使用机载成像传感器,以高速率提供农业区域叶片的亚毫米级分辨率图像,不仅比农业区域的步行抽样更快,而且还能够使行人无法访问的部分农业区域成像。 例如,树梢上的叶子以及位于密集植被或崎岖地形下的植物可能被成像。
方法600的阶段610包括在作物生长的农业区域上方沿着飞行路线飞行机载成像传感器,该飞行路线包括能够以亚毫米图像分辨率采集图像数据的多个低空成像位置。飞行路线可以包括连续的低空飞行航段(飞行航段是两个航点之间的飞行计划的一部分)。参照前面附图所述的示例,机载成像传感器可以是成像传感器210,并且阶段610的飞行可以由机载平台100执行。
可选地,阶段610可以包括沿着地形跟随飞行路线飞行机载成像传感器(也称为“贴地飞行”)。 根据不同的考虑因素(例如空气动力学问题、成像传感器的光学要求、作物的尺寸等)地形跟随飞行路线在地面上方高度不同(根据情况,以地球表面或植被为基准测量)。例如,阶段610可以包括在农业区域上以低于地面上方30米(30m)的高度飞行成像传感器。 例如,阶段610可以包括在农业区域上以低于地面上方20m的高度飞行成像传感器。 例如,阶段610可以可以包括在农业区域上以低于地面上方10米的高度飞行成像传感器。应当注意的是,沿着飞行路线的地面高度可以以农业区域中生长的植物上方为基准测量(例如,这些作物的顶部上方为基准,低于10m、20m或30m)。
图4A根据本公开主题的实例示出了一种系统10、一片农业区域900和飞行路线910;在所示的示例中,农业区域900包括两个分开的区域-麦田901和果园902。
飞行路线910还包括两种主要类型的飞行航段—成像飞行航段911,机载成像传感器沿着该成像飞行航段采集农业区域的图像数据,以及转换飞行航段912,在该转换飞行航段,机载平台从一个成像飞行航段911的终点和/或飞到另一个成像飞行航段911的起点。成像飞行航段911用连续的箭头示出,而转换飞行航段用虚线箭头示出。转换飞行航段912 设在对农学需要并不感兴趣的区域上方,但也可以设在感兴趣的农业区域上方,例如,如果该区域已经采集到足够的数据。
要注意的是,农业区域900的两个部分(即,区域901和902)可以属于不同的实体。例如,麦田901可能属于农民马基高,而果园902可能是农业公司的研究园。 因此,在简单的飞行中,方法500(并且因此也是方法600)可以包括收集独立实体的农业资产的图像数据。
显然,麦田901和果园902在农业和农学两个方面彼此不同。因此,这两个不同区域的成像可能需要不同的操作参数—机载平台(例如速度、地面高度、稳定性等)和/或机载成像传感器(例如曝光时间、f数、透镜焦距、分辨率、检测器灵敏度、速度补偿等)。应当注意的是,在阶段520(并且因此也在阶段620中)采集的图像数据可以包括使用不同的采集模式(在空气动力学和/或传感器参数中彼此不同,例如如上所述)来采集农业区域的不同部分的图像数据。
回到图3,方法600的620阶段包括通过机载成像传感器以亚毫米级分辨率采集部分农业区域的图像数据。要注意的是,部分农业区域也可以以较低分辨率(例如,用于产生定向图像,亚毫米图像数据可以与其相关联)成像。然而,大部分农业区域在阶段620中成像优选地被成像为亚毫米分辨率。如上文关于方法500所提到的,任选地,该成像的农业区域可以是在方法600中获得农学分析的农业区域的样本。 如上所述,以亚毫米分辨率成像的相同部分也可以以较低分辨率成像。参照前面附图所述的示例,可以通过成像传感器210来执行阶段620的采集。
在阶段620的农业区域的成像包括以足以分析成像作物的单个叶片的图像分辨率(例如比成像作物的平均叶尺寸细了至少一个或两个数量级)采集农业区域具有代表性部分(例如,在跨越农业区域的不同采样位置采样)的图像数据的成像数据。图13示出了根据本公开主题示例根据方法600由机载成像传感器采集的若干图像1000。从不同的说明可以看出,可以分析不同类型的叶子条件(例如干燥、害虫、疾病等)。
回到图3,注意到由机载成像传感器采集的图像数据的图像分辨率取决于几个因素—其中一些因素取决于成像传感器本身(例如,透镜、检测器的像素密度等),以及一些取决于机载平台(例如地面高度、速度、稳定性等)。
可以为采集的图像数据定义地面采样间隔(GSD)为在地面上测量的像素中心之间的距离。 例如,在具有500纳米GSD的图像数据(对应于单个图像或视频数据)中,相邻像素图像位置在地面上相隔500纳米。应注意的是,由于相邻像素的分辨数据构成附加要求(例如用于成像的透镜的光学分辨质量),图像的GSD不等于其分辨率。GSD也称为地面投影采样间隔(GSI)或地面投影瞬时视场(GIFOV)。
作为一般考虑,给定特定的成像传感器,GSD与成像传感器和成像对象之间的距离成反比。阶段510的低空飞行可以有助于以亚毫米分辨率采集图像数据。可选地,在阶段620中采集的图像数据的GSD低于0.75mm(即每个像素覆盖小于0.75x0.75mm2的地面积)。可选地,在阶段620中采集的图像数据的GSD小于0.5mm(即每个像素覆盖小于0.5×0.5mm 2的地面积)。
方法600的阶段630包括由机载处理单元处理图像数据,以提供包括作物叶片的高质量图像的图像数据内容。 机载处理单元由在农业区域飞行机载成像传感器的同一个机载平台携带。参照前面附图所述的示例,阶段630可由处理器220执行。
阶段630的处理可以包括对图像数据进行滤波(例如,丢弃质量不够的图像数据或者为每个区域选择代表性图像)、压缩图像数据、改进图像数据(例如,应用图像增强处理算法)、选择农学重要数据或上述的任何组合,以及本领域已知的其它可能的处理技术。
例如,阶段630的处理可以包括处理所采集的图像数据,以过滤掉不够质量的所采集的图像,分析一些所采集图像中剩余图像以识别农业区域作物的叶片(例如,基于预先加载到处理模块的叶识别参数),选择包括代表样本的高质量的可识别叶片的图像,并且压缩所选择的图像以提供要发送到外部系统的图像数据内容。
方法600的阶段640包括向异地远程服务器无线地发送图像数据内容,以分配给终端用户。参照前面附图所述的示例,阶段640的发送可由通信模块230执行。 阶段640中的图像数据内容的无线发送可以以不同的方式(例如,使用无线电通信、基于卫星的通信、蜂窝网络等)来执行。
基于图像数据内容的图像数据内容或农学重要数据可以从服务器被分发到诸如农民、农学家、飞行员,机载系统等各种实体。
图4B根据本公开主题实例示出了一种系统10、一片农业区域900、飞行路线910、服务器300以及多个示例性实体,可以接受基于由系统10采集的图像数据的农业重要数据。
可选地,服务器可以将各种计算机化的处理算法应用于图像数据,用于识别所选择的农学重要数据,以及基于所选择的农学重要数据生成用于传输到远程系统的农学图像数据。
例如,可以将图像数据内容(无论是否被处理)提供给农学家992(在所示示例中,通过卫星连接994完成)。农学家992(例如在其他地区专门从事奎奴亚藜的农学家)可以分析所提供的数据,并作出反馈,给出接下来应该执行的步骤。这种信息可以提供给农民993或农业区域的所有者,或直接提供给另一个实体(例如,向作物喷洒作物保护产品的空中应用指令,直接提供给可以将此类产品应用于农业区域的农用飞机991 )。
应注意,系统10的系统机载平台100可以作为用于空中喷粉的农用飞机使用。在这种情况下,由机载成像传感器采集图像数据可以在空中应用飞行中执行(与空中应用同时运行,或在其他飞行时间)。这样,专用的机载成像传感器可以安装在旨在飞越农业区域的农用飞机上,并且由此可以使用飞行来收集农业感兴趣的图像数据的附加益处。
这样的方向或建议不一定要求农学家参与,任选的其他实体(例如农民993或服务器300本身)可以分析基于系统10采集的图像数据的信息,以提供建议、指令、分析或可用于改善农业区域和/或其中种植的作物的状况的信息。
此外,关于由系统10成像的农业区域收集的信息可以用于确定如何改善除了成像的农业区域之外的区域的状况 例如,如果成像数据能够识别农业区域中的蚜虫,则也可以基于该信息喷洒附近的田地。
图5A到5E根据本公开主题的实例示出了农业监控方法500的可选阶段。图 5A至5E示出了可以作为方法500的一部分实施的先前呈现的阶段的附加阶段和变化。应当注意的是,并不是所有这些阶段和变化都必须在本发明的单个实例中一起实现。关于方法500讨论的变化阶段的所有组合可以实施,并且构成本公开的一部分。
参考阶段510,可选地,飞行路线为地形跟随飞行路线。换句话说,阶段510可以包括沿地形跟随飞行路线飞行机载成像传感器的可选阶段511。在成像飞行航段期间,在地面上地形跟随飞行路线可能低于预定高度,例如,低于地面上方20m(或作物高度上方,如适用,例如茂密森林上方)。
应注意的是,阶段510可以包括在一定高度飞行机载平台,该高度能降低成像传感器的光学像差的影响以及成像传感器和/或负载的机载平台的振动对成像数据的影响,以便能够采集亚毫米级分辨率的成像数据。
如下面相对于阶段520所讨论的那样,可选地,当机载平台运动时由机载成像传感器采集图像数据,可能不需要机载平台减速。 这样,系统10作为一个整体可以在给定的时间对农业区域的大部分进行成像。 这个阶段510可以包括以超过10m /s的速度飞行跨越前述一组成像位置的每个成像位置(在此执行以亚毫米图像分辨率采集图像数据)的阶段512。
假定沿着包括多个上述成像位置的成像航段的机载平台的平均速度,阶段510的飞行可以包括沿着该成像航段的成像位置以不低于沿着成像航段平均速度的50%的速度飞行机载成像传感器的阶段513。
阶段510可以包括由配置为作物保护产品的空中应用的农业飞行器飞行机载成像传感器的阶段514。 要注意的是,在这种情况下阶段520的采集可以与空中应用并行执行(通常在作物上方非常低的高度执行,例如在作物上方3-5米的高度,甚至可能更低),或者在飞行过程中的其它航段执行(例如,当农用飞机在两个区域之间转换时)。 如下面更详细地讨论的,应用本身可以基于在方法500中采集的图像数据的处理,或者基于通过相同的机载系统或者通过先前飞行中采集的图像数据处理采集的图像数据的实时处理。
参考关于前述附图所述的示例,阶段511、512、513和514中的每个阶段可以由机载平台100执行。
如上所述,农业区域可能包括与不同实体相关的不同区域。 因此,应注意的是,阶段510可以包括沿着飞行路线飞行机载成像传感器,该飞行路线延伸至第一所有者的至少第一农业资产和除第一所有者之外的第二所有者的第二农业资产。在这种情况下,阶段520中的采集可以包括采集部分第一农业资产的第一图像数据并采集部分第二农业资产的第二图像数据,并且该方法还可以包括基于第一图像数据生成第一图像数据内容,并且基于第二图像数据生成第二图像数据内容。这使得能够将第一图像数据内容提供给第一消息中的第一实体,并且将第二数据内容提供给第二消息中的第二实体。第一消息和第二消息中的每一个可以包括识别相应农业资产所有者的信息,和/或可以被寻址到与相应所有者相关联的系统和/或另一个实体。注意,第一图像数据内容和第二图像数据内容之间的区分不一定在板载系统200上执行,还可以由服务器300执行。
现在参考阶段520,其包括通过机载成像传感器采集部分农业区域的图像数据,其中图像数据的采集包括由机载成像传感器在沿着飞行路线的一组成像位置处采集图像数据的至少一部分,所述成像位置能够以亚毫米图像分辨率采集所述图像数据。
如上所述,图像数据在机载平台以规定的速度沿着飞行路线前进时,不需要减慢其飞行速度就可以采集。可选地,阶段520可以包括以不低于沿着飞行路线的机载平台的平均速度的50%的速度沿着成像位置飞行机载成像传感器的同时在该组成像位置处采集图像数据(其中的一部分或全部)的阶段521。
应当注意的是,根本不需要减慢飞行速度,阶段520的采集可以在不降低机载成像传感器沿着飞行路线飞行的速度的情况下执行。可选地,阶段520的采集可以包括补偿在图像数据采集期间成像传感器的移动。这可以例如通过使用一种或多种运动补偿技术来实现。
这些运动补偿技术可以使用,例如,以避免在携带机载成像传感器的机载平台向前飞行时采集图像所导致的图像模糊。
可用作方法500的一部分的一种这样的运动补偿技术是在采集图像数据的过程中移动机载成像传感器(或其一部分)。当实际收集图像数据时(例如,当机载成像传感器的检测器,例如电荷耦合器件、CCD正在收集从农业区域到达的光),可以执行机载成像传感器(或其一个或多个相关部分)的移动,但也可以在图像数据采集过程的其他部分(例如在收集光之前的聚焦过程中)执行。
这种运动补偿可以通过移动机载成像传感器的一个或多个部件而不使传感器的光收集部件的光轴旋转来实现(例如,将传感器沿与飞行方向相反的方向移动),和/或通过移动或旋转机载成像传感器的部件以使其光收集光轴旋转来实现(例如通过旋转将从农业区域的成像位置到达的光引导到传感器的光记录部件例如CCD上的反射镜或棱镜)。
因此,阶段520可以包括阶段522,阶段522相对于负载的机载平台机械地移动机载成像传感器的至少一个部件,用于补偿在采集期间机载成像传感器相对于作物的运动。
阶段520中的运动补偿可以将成像的位置和光记录部件之间的相对速度减小为零,或者减小到两者之间的相对运动对图像质量的影响低于预定义阈值。
如上所述,通过旋转机载成像传感器的部件的运动补偿开始于聚焦阶段,应当注意的是,聚焦开始于当光采集的光轴与水平线呈对角时,并且图像数据的实际采集可以发生在当旋转运动使朝向成像作物的光轴(例如,成像叶自)垂直于水平线时。
可选地,阶段520的采集可以包括:机载成像传感器的至少一个光学部件(例如旋转镜213、棱镜212等)相对于负载的机载平台机械旋转,以补偿在采集期间机载成像传感器相对于作物的运动,至少一个光学部件的旋转的同时,对于图像数据多个帧中的每个帧:在采集光轴与垂直轴的角度大于 20°时,启动聚焦过程,采集光轴与垂直轴的角度小于20°时,利用垂直成像采集图像数据。采集光轴是连接在给定帧中的农业区域(由特定图像帧覆盖的区域)的成像位置的中心和开口(例如,透明窗口219)的中心的线,光朝向旋转的光学部件通过该开口进入成像系统。
通常,无论是否使用运动补偿,在阶段520图像数据的采集可以包括采用垂直成像(严格的垂直成像或陡峭的倾斜成像,例如,距垂直轴不到20度)采集一些或所有的图像数据。
另外或替代,其他运动补偿技术可配置为方法500的一部分。例如,阶段520可以包括阶段523,阶段523在采集期间对作物照明,用于补偿在采集期间机载成像传感器相对于作物的运动。 阶段523的照明可以包括闪光照明、稳定照明(至少在采集阶段持续,但也可以更长)或其他类型的照明。可选地,照明可以开始于当图像采集之前的聚焦过程开始时。
如上所述,如方法500所公开的那样,从机载平台采集图像数据(特别是亚毫米分辨率的图像数据)使得能够在不可达到,不可访问或访问缓慢、危险、昂贵和/或对作物产生伤害的地方收集具有农业和农学意义的图像数据。例如,树梢上的叶子以及位于密集植被或崎岖地形下的植物可能被成像。可选地,阶段520可以包括采集部分着陆车辆不可访问的农业区域的图像数据的阶段524。虽然可能设计和制造出可以到达热带雨林树梢的地面车辆,但是这样做是复杂和昂贵的,并且可能对自然环境有害。阶段524的无法访问尤其适用于农业通常使用的陆路车辆,如拖拉机、皮卡车、中心枢纽灌溉设备、联合收割机、摘棉机等。要注意的是,阶段520可以包括采集步行(如人走路、远足等)不能访问的部分农业区域的图像数据。
如上所述,在阶段520中由成像传感器采集的图像数据不需要显示所有的农业区域,它可以对其代表性样品进行成像。
由成像传感器成像的农业区域的相对部分可以在不同作物种类之间不同。可以为每种类型的作物定义不同的最小覆盖面积。 可以用于定义覆盖面积的基准标记是与由地面人类检查员步行可能实现的覆盖面或更高百分比的比较。例如,如果徒步检查员预期检查非随机2-3%的田地,集中在检查员可以步行或开车到达的田地外部区域,可以计划飞行路线,以便它将产生一个随机的覆盖范围,包括至少3-5%的田地,且包括田地内部部分(而不仅仅是外部覆盖)。
可选地,阶段520可以包括以低于500平方米/公顷的覆盖率采集农业区域的图像数据的阶段525(即低于农业区域的5%被图像数据覆盖)。
注意,阶段520可以包括在成像传感器收集光之前聚焦成像传感器的阶段526。应该注意的是,成像传感器的聚焦可能比较困难,特别是如果在机载平台以显著速度飞行时执行(例如速度高于10m/s,速度不低于沿着飞行路线的机载平台的平均速度的50%等,例如在阶段521所讨论的那样)。聚焦可能不仅受到来自机载平台相对于成像位置的运动的影响,还可能受成像系统内的移动影响(例如阶段522所讨论的)。应当注意的是,可以选择成像系统(例如系统200)和/或负载的机载平台的操作参数,以便能够进行聚焦。例如,可以选择高于作物顶部的最大高度,以便能够在飞行期间有效地聚焦成像传感器。
方法500的阶段530包括由机载处理单元处理图像数据,以提供包括作物叶片的高质量图像的图像数据内容。机载处理单元由在农业区域上方飞行机载成像传感器的同一机载平台携带。参照前面附图所述的示例,阶段530可由处理器220执行。
阶段530的处理可以包括对图像数据进行过滤(例如,丢弃质量较差的图像数据,或者选择每个区域的代表图像)、压缩图像数据、改进图像数据(例如应用图像增强处理算法)、选择农学重要数据或上述的任意组合,以及本领域已知的其它可能的处理技术。
例如,阶段530的处理可以包括处理所采集的图像数据,以过滤掉质量较差的采集图像,分析剩余图像以识别一些采集图像中的农业区域作物的叶片(例如,基于处理模块中预先载入的叶片识别参数),选择包括具有代表性的高质量的可识别叶片图像,并且压缩所选择的图像以提供要发送到外部系统的图像数据内容。
在飞行路线和图像收集期间,机载系统可选地执行初始图像分析,例如,定义照片质量、模糊级别和图像分辨率,以排除不在远程图像分析服务器最低要求中的图像,从而节省分析时间并将数据传输到远程位置,无论是最终产品的服务器还是接口。
如上所述,阶段540包括向外部系统发送基于由机载成像传感器采集的图像数据的图像数据内容。
阶段540可以包括阶段541,阶段541将图像数据内容发送到外部系统的,以便向在远程位置的农学家显示基于图像数据内容的农学图像数据,从而使农学家能够远程分析农业区域。 注意,图像数据内容可以直接地或经由中间系统(例如,服务器)发送到外部系统,并且外部系统可以将农学图像数据直接显示给农学家,或者向另一个能够将农学图像数据展示给农学家的系统提供信息,(例如,农学家的手持计算机,如智能手机)。应注意的是,这样的农学图像数据(例如所选的感染叶子的图像)可以被传送给一个或多个农学家和/或其他实体,如图4B所讨论的那样。关于可选阶段541的附加细节将在下面讨论。
图5D中示出了可以包括在方法500中的几个可选阶段。应当注意,在阶段530和任何更高编号阶段之间示出不同的路线是可选的,并且在方法500的不同实例中可以以不同的方式达到一些阶段。 例如,阶段580可以在阶段540之后直接执行,或者在阶段550这一中间阶段执行之后再执行(其可以包括阶段550的子阶段的不同组合)。应当注意,虽然图5D中示出了全面的阶段路线(指示执行顺序),但是这些路线并没有含净所有可能的选择,还可以选择其它路线,这取决于对于本领域技术人员自然呈现的各种考虑。
图像数据内容可以以各种方式被处理和使用。它可以作为各种决定和行动的基础,例如应以何种方式处理作物、需要哪个步骤进一步监控农业区域、如何处理相邻(或甚至遥远)农业区域的作物、何时作物成熟、预计农业区域作物的产量以及收获时间等等。
方法500可以包括处理图像数据内容(或基于它的信息)以提供决策促进信息。该处理可以由机载系统承载的机载处理器(表示为551)、由服务器(表示为552)和/或由终端用户设备(表示为553)执行。该处理可以涉及人类输入(例如在终端用户设备中,农学家可以基于他对图像数据内容的分析来输入指令,或者为农民标记寻找何种迹象以查看建议的处理方法是否正常工作。
例如,阶段550的处理可以包括检测单个叶子,并且从图像数据中仅剪切叶子,如图14所示。图14示出了根据本公开主题的示例从图像数据中剪切单个叶子。图像1000经过处理以检测叶边缘(图像1010),然后去除部分成像的叶子,以提供仅包括单个叶子信息的图像(图像1020)。应用于图像数据的叶子剪切或其他图像处理算法可以基于多季节多种数据库的叶子图像、参数和/或数据。
该处理或阶段530可以提供例如以下的任何一个或多个:叶尺寸统计、叶密度统计、叶色和光谱分析以及形态统计。
图像数据内容可以以各种方式被处理和使用。可选地,其可以被发送到一个或多个实体,如上所述(例如图4B所述)。图像数据内容也可以用于确定执行方法500的机载系统的参数。这样的参数可以是与方法500另一个实例中进一步图像数据的采集有关的参数,可以是机载平台的空气动力学参数或操作参数,可以是由机载平台携带的另一系统的操作参数(例如农业喷洒参数)等。
方法500可以包括基于在阶段520中收集的图像数据来获得机载系统和/或其上安装的系统的操作参数的阶段560。参照前面附图所述的示例,阶段560可以由通信模块230执行。
可选地,方法500可以包括基于在方法500中获得的图像数据内容来规划接下来的飞行。该计划可以基于图像数据内容以及农业考虑和/或其他考虑。方法500可以包括在步骤540之后的阶段510、520、530和540的另一个示例。在这种情况下,方法500可以包括基于先前采集实例获得的采集图像数据为随后的飞行规划路线的阶段561。
可选地,方法500可以包括阶段562,阶段562基于图像数据的处理来选择航空应用参数,用于作物保护产品通过农业飞行器的空中应用。
上述讨论的所有阶段是在携带用于采集阶段520的成像传感器的机载平台上进行的(其中阶段550也可以部分地或完全地在远程系统上执行)。 其他阶段也可以由其他实体(不由机载平台携带)执行,例如服务器或终端用户单元。
可选阶段570包括通过位于远离机载平台的服务器向终端用户设备发送基于图像数据内容的决策促进信息。参照前面附图所述的示例,阶段570可由服务器300执行。可以无线地和/或通过有线通信介质执行发送,并且可以由一个或多个中间系统(例如,因特网路由器等)来促进发送。以上提供了基于图像数据内容并且可以有助于决定的信息的各种示例以及因此采用的决定的示例。
可选阶段580包括分析基于图像数据内容的信息,以提供农学和/或农业决策。参考关于前述附图所述的示例,阶段580可以由终端用户设备诸如由农民或农学家使用的计算机(无论是否是便携式计算机)执行,也可以由用户界面(UI)直接连接到服务器执行,等等。 应当注意,阶段580的分析可以完全计算机化(例如仅使用专用硬件、软件和/或固件),或者涉及各种程度的人类输入(例如,农学家基于多年的专业经验分析接收到的叶片图像)。阶段580的结果可以被发送到任何一个其他实体(例如,服务器、机载系统等)。
方法500可以包括阶段590,阶段590向在远程位置(即,远离农业区域,可能在另一个乡村)的农学家呈现基于图像数据内容的农学图像数据,从而使农学家能够远程分析农业区域。参考前面附图所述的例子,阶段590可以由终端用户设备执行,例如由农民或农学家使用的计算机(无论是否是便携式计算机),通过用户界面(UI)直接连接到服务器,等等。
回到阶段550,其包括处理图像数据内容或基于其的信息以提供决策促进信息,但是应注意,该处理可以包括各种处理程序。
阶段550可以包括阶段554,阶段554将计算机化处理算法应用于图像数据内容(直接地或间接地基于图像数据内容的信息),用于农业区域中一种或多种植物中检测疾病和/或指示寄生虫对叶片的影响。应当注意的是,无论是否计算机化,阶段554中的疾病的检测可以用作进一步分析的基础。例如,计算机化处理算法可以用于检测被寄生虫吃掉的叶子,然后将这些图像转移到农学家以评估寄生虫的类型,以及应当采取哪些措施来帮助作物。
阶段550可以包括基于农业区域中的许多个体植物的高分辨率图像来确定大规模水平(例如对于整个田地,对于一公顷森林,一个县,一个国家等)的健康参数的阶段555。这样的参数可以包括,例如:灌溉间隙或一般灌溉水平、氮、超过某一覆盖范围对整个田地、每种作物、生长季节的时间产生影响的叶病,如可能为晚疫病的情况,或可能为科罗拉多甲虫昆虫入侵的情况,当在达到某种识别的情况下,在田地的分散位置可以通过识别其的照片的GPS位置来定义,然后将整个田地定义为被感染。附加参数是生长早期的出苗百分比,由低飞的分散飞行模式测定,并能在全场水平上定义出苗。
阶段550可以包括阶段556,阶段556处理在多个星期的不同时间采集的图像数据的,以确定农业区域中的植物的生长参数。图像数据可以通过在多个星期内多次重复飞行、采集和发送的阶段来获取。这些阶段的重复可以由单个机载系统或不同的机载系统执行。
阶段550可以包括阶段557,阶段557将计算机化处理算法应用于图像数据(直接地或间接地,例如应用于图像数据内容),用于识别所选择的农学重要数据,以及基于所选择的农学重要数据生成农学图像数据发送到远程系统。例如,这可以用于确定哪些数据可以由农学家发送以供审阅。
阶段550还可以包括选择所处理信息的收件人,例如农学家(或其他专家或系统)应向其传达信息。阶段550可以包括阶段558,阶段558将计算机化处理算法应用于所选择的农学重要数据,用于基于可能的接收者的农学专业知识从多个可能的接收者中选择农学图像数据的接收者。
图6为根据本公开主题的实例示出了一种农业监控方法700实例的流程图。参考关于前述附图所述的示例,方法700可以由系统10执行。方法700是方法500的示例,并且方法700的各个阶段以与方法500相对应的附图标记编号(即阶段710是阶段510的示例,阶段720是阶段520的示例,等等)。应当注意的是,在适用的情况下,参考方法500讨论的变化和示例(在本公开的上述或下述中)也与方法700相关。
如方法700的示例中所实现的方法500包括使用由飞行器携带的机载成像传感器以非常低的高度飞行,在高速度下采集作物的极高分辨率图像(以相对较少的时间实现农业区域的大面积采样)。发送机载系统上生成的图像数据内容,以便在远程异地分析服务器处进行处理。 图像数据内容由分析服务器处理,然后被分发给管理界面(例如个人计算机,手持计算机等),在管理界面被提供给农学家,给管理者发送给另一专业人员或者给专门的系统进行进一步分析。在阶段720中获得的图像的高分辨率使得能够分析单个叶片水平,其可以用于例如检测叶片疾病或指示寄生物对叶片的作用。
方法700的阶段710包括由农用飞机(例如,如图6所示的喷洒飞机)在马铃薯生长区域上方飞行机载数字照相机,以10至15m/s的速度沿着包括在作物水平以上约40英尺的多个低空成像位置的飞行路线飞行,使其能够以亚毫米图像分辨率采集图像数据。
方法700的阶段720包括通过机载数字照相机以大约0.4mm的亚毫米分辨率采集部分马铃薯区域的图像数据。在单个图像中数字照相机覆盖的地面区域由在田地上绘制的梯形图示出。
方法700的阶段730包括由农用飞机携带的机载处理单元处理图像数据,以提供包括马铃薯叶片的高质量图像的图像数据内容。在所示示例中,阶段720中采集的图像的一部分被裁剪,使得仅有在采集的图像中检测到的可疑点周围的区域能在阶段740中进行传送。在所示示例中,可疑点实际上是表现出早期枯萎病害的叶面积。
方法700的阶段740包括向异地远程服务器无线地发送图像数据内容,以分发给终端用户,诸如农学家。
图7为根据本公开主题的实例示出了一种农业监控方法800实例的流程图。参考关于前述附图所示的示例,方法800可以由系统10执行。在下面关于方法800的讨论之后,提供关于系统10的附加讨论和细节。
方法800包括制定监视飞行计划的阶段(下面将讨论的阶段805),其后是基于监视飞行计划采集和利用农业区域的图像数据。阶段805之后的方法800的阶段可以是方法500的相应阶段的变化(这两种方法的对应阶段以对应的附图标记编号,即阶段810对应于阶段510,阶段820对应于阶段520等等)。 应当注意的是,在适用的情况下,细节上作必要的修改后,参照方法500讨论的变化和例子也适用于方法800。在适用的情况下,阶段510、520以及可能还有530、540以及后续阶段的相关变化可以在方法800相应的阶段(即810、820等)中实现,方法800基于在阶段805制定的监视飞行计划执行。
方法800的阶段805包括为机载监视系统制定监视飞行计划,监视飞行计划包括指示多个成像位置的采集位置计划。
参考关于前面附图所述的示例,阶段805可以由不同实体执行,诸如机载系统10、服务器300和终端用户设备(如农学家992、农民993、附图未标出的规划中心等)或其任意组合(如农学家可以建议一个计划,然后由机载系统10根据气象条件进行修改)。
阶段805的制定可以基于各种考虑。 例如,可以制定监视飞行路线和可能的附加参数,以便能够以所需的质量进行图像采集。阶段805可以包括例如以下子阶段
•根据从客户获得的信息,确定所需的农业区域(也称为“地块”);
•接收地块的地理信息系统(GIS)信息,以及有关地块结构的信息(如关于灌溉管道、道路或地块结构的其他方面的GIS信息)。
•可选地,接收关于农业区域中生长作物信息,如作物种类、作物年龄(从种植时间计算)、品种等。
•根据GIS信息(可能还需要其它附加信息),在每个地块和周围的地块,绘制地形图和障碍物,如田地部署的灌溉系统,高树电线路,固定机械以及其它,
•使用飞行计划工具制定监视飞行路线计划,根据每种作物的一般准则对每个作物和每个地块制定监视飞行路线计划(例如土豆或其他扁平作物的目标是5-20Ha的地块,每个地块通过高空单拍接收高空照片。通过GPS坐标到田地的中心使用整个田地的磁头来计划单个高空拍摄,以便在单次拍摄中获得直立的高空照片。 在这个阶段计划低空以设定飞行路线。低空飞行路线被计划为X模式,照片之间的距离为10-20米用于低空极限分辨率)。这些定义根据作物种类或客户端的特定请求进行更改。应当注意的是,可选地,在整个季节中,在每个地块上进行相同的飞行路线多次。
应当注意的是,监视飞行计划可能会更新。 例如,在实际飞行当天(如果预先设定监视飞行计划),飞机组人员和/或当地联络人到达农业区域,为低飞行验证障碍物,脸颊感受风向通过顺风或逆风飞行来优化飞行路线(例如,最好采用顺风而不是逆风拍照)。
方法800的810阶段包括根据监视飞行计划在作物生长的农业区域上沿着飞行路线飞行机载监视系统。参考前面附图所述的示例,机载监视系统可以是成像传感器210或整个机载系统10,并且阶段810的飞行可由机载平台100执行。应当注意的是,关于阶段510讨论的所有可选的变化、实施和子阶段可以被调整为适合基于监视飞行计划执行的阶段810。
方法800的阶段820包括在飞行期间由机载监视系统基于采集位置计划,以亚毫米级图像分辨率采集部分农业区域的图像数据。参照前面附图所述的示例,机载监视系统可以是成像传感器210或整个机载系统10。应当注意的是,关于阶段520讨论的所有可选的变化、实施和子阶段可以被调整为适合基于监视飞行计划执行的阶段820。
方法800可以包括可选阶段830(图8所示),其包括由机载处理单元处理图像数据,以提供包括作物叶片的高质量图像的图像数据内容。机载处理单元由在农业区域飞行机载监视系统的同一机载平台承载。参照前面附图所述的示例,阶段830可由处理器220执行。应当注意的是,关于阶段530讨论的所有可选的变化、实施和子阶段可以适用于阶段830。阶段830可以基于阶段805中定义的监视飞​​行计划来执行,但这不一定是这样。例如,可选阶段830的处理可以基于关于作物类型或所寻找的疾病类型的信息,该信息包括在监视飞行计划中。应当注意的是,监视飞行计划(或为监视飞行定义的一般计划,这个计划包括监视飞行计划以及附加信息)可以包括影响可选阶段830的处理的参数和/或指令(例如应该向阶段840中的外部系统传送多少信息的指令)。
要注意的是,方法800还可包括用于提供其他决策促进信息的图像数据的处理,类似于关于阶段550讨论的处理(例如,关于阶段551)。像阶段830一样,图像数据的这种处理可以基于监视飞行计划,但不一定是这样的。
方法800的阶段840包括向外部系统发送基于由机载监视系统采集的图像数据的图像数据内容。 参考前面附图所述的示例,阶段840的发送可以由通信模块230执行。应当注意的是,关于阶段520讨论的所有可选的变化、实施和子阶段可以被调整为适合基于监视飞行计划执行的阶段820。
方法800还可以包括分别对应于阶段550、560、570、580和590的阶段850、860、870、880和890。阶段850、860、870、880和890中的每一个可以包括子阶段,这些子阶段对应于方法500相应阶段550、560、570、580和590在先前讨论的子阶段。阶段850、860、870、880和890(及其子阶段)中的每一个可以基于阶段805中定义的监视飞​​行计划,但不一定是这样。
图8为根据本公开主题的实例示出了一种农业监控方法800实例的流程图。方法800可选地包括阶段801(在阶段805之前),其包括接收与多个独立实体相关联的监视请求。在这种情况下阶段805可以包括制定监视飞行计划以指示多个独立实体中每一个的作物成像位置的阶段806。如上所述,这样的实体可以是不同的农业区域(例如田地和果园),不同客户端的农业区域(例如,一个客户端的田地和属于另一个客户端的另一片田地)等等。
如关于上述方法500所讨论的(例如,如图4A所述),多于一种类型的作物可能在所述农业区域中生长。阶段805可以包括为与不同类型的作物相关联的成像位置定义不同的采集参数的阶段807。
这种采集参数可以包括机载平台的操作参数(例如,速度、地面高度、稳定性等)和/或机载监视系统的特征,特别是其传感器的参数(例如曝光时间、f数、透镜焦点长度、分辨率、检测灵敏度、速度补偿等)。
图9为根据本公开主题的实例示出了一种农业监控系统200实例的功能框图。农业监控系统200(为方便起见也称为系统200)的一些组件可以在系统10中具有模拟结构、功能和/或作用(反之亦然),因此使用相同的附图标记表示这样的模拟组件。应当注意的是,系统200的不同组件可以执行方法500、600、700和800的不同阶段(例如,如下所示),并且系统200作为整体可以执行包括这些方法的两个或多个阶段的过程。
农业监控系统200至少包括成像传感器210、通信模块230和连接器290,并且可以包括附加组件,例如(但不限于)下面讨论的组件。
成像传感器210被配置和用于在成像传感器空机载时,以亚毫米图像分辨率获采集作物生长的部分农业区域900的图像数据。成像传感器210为机载,其可用于由飞行器飞行时采集图像数据。 然而应当注意的是,成像传感器210当其不被飞行器携带时也可以用于采集图像。此外,可以使用标准成像传感器(例如,诸如Canon EOS 60D或Nikon D3200的标准数码相机)作为成像传感器210。
应当注意的是,虽然成像传感器210采集的图像数据的至少一部分以亚毫米分辨率采集,但成像传感器210还可选地以较低分辨率(例如,2mm、1cm的GSD,等等)采集部分农业区域的图像数据。成像传感器210可以被配置为以低分辨率采集图像数据,其使用与采集亚毫米级分辨率相同的配置(例如,如果携带成像传感器210的机载平台在较高的高度飞行时)或使用其他配置。这种其他配置可以用于例如采集可以载有高分辨率图像数据的取向质量图像(例如,具有2cm的GSD)。
如上文关于方法500的阶段520所讨论的那样,成像传感器210可以用于以比成像作物的平均叶尺寸更精细至少一个数量级的图像分辨率采集部分农业区域的图像数据。也就是说,在图像数据的至少一部分中,作物的多个叶片以能够分辨叶片的至少十个独立可分辨部分的分辨率成像。可以测量叶片的这些可分辨部分中的每一个的不同强度水平。可选地,成像传感器210可以用于以比成像作物的平均叶尺寸更精细至少两个数量级的图像分辨率来采集部分农业区域的图像数据(并且可选地更精细至少三个数量级)。
可以使用不同种类的成像传感器210作为系统200的一部分。例如,图像传感器210可以是半导体电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或N型金属氧化物半导体(NMOS)图像传感器。应当注意的是,系统200中可以包括多于一个的成像传感器210。例如,系统200可以包括用于农业区域的低空摄影的第一机载成像传感器和用于农业区域(也可能是其周围环境)的高空定向摄影的第二成像传感器210。此外,系统200可以包括不同类型的成像传感器210。例如,系统200可以包括对电磁频谱的不同部分敏感的成像传感器210。
除了那些可以并入到成像传感器210中的光学器件之外,系统200还可以包括用于将来自农业区域的光引导到成像传感器210光收集表面上的附加光学器件(例如图11A中的元件211、212和213)(例如可选的透镜211)。这样的附加光学器件可以在将引导到成像传感器210之前调控其收集的光。例如,附加光学器件可以滤除部分电谱,可以滤出和/或改变收集的光的偏振等等。
可选地,系统200可以用于在低空飞行(例如高出地面不到10m,例如高出地面不到20m,例如高出地面不到30m)中对部分农业区域进行成像。可选地,成像传感器210可以被配置和用于以采集在农业区域生长的作物顶部不到20米的高度的图像数据。
系统200的飞行高度的选择可以取决于几个因素。首先,在农业区域上方的机载系统的高度决定了在图像数据采集期间到达成像传感器210的光量,因此也决定了可用于收集光的曝光时间以及孔径。因此,虽然低飞行可以限制成像传感器的视野,但是它能够使用短曝光时间和小光圈来采集图像数据,从而在以相当大的速度飞行时便于系统200捕获图像数据。
决定运行飞行高度的另一个考虑因素是噪声和噪声的消除,特别是当以相当大的飞行速度(例如超过10m/s)采集图像数据时。如关于运动补偿所讨论的,在采集期间用于补偿机载平台运动的一种方法可以通过相对于农业区域旋转成像传感器210或者旋转光学部件(例如,棱镜212或旋转镜213)将来自农业区域的光引导到成像传感器210上来实现。在这种情况下,旋转光学器件的旋转速度应补偿机载系统相对于农业区域上的固定点的角速度(例如,采集的图像数据帧的中心)。给定机载平台的固定线速度v(假设它垂直于地面飞行),机载平台相对于地面的角速度与机载平台高于地面的高度成反比。
然而,机载平台相对于农业区域的实际角速度不仅取决于其飞行速度和高度,而且取决于噪声和运动(俯仰、偏航、滚动、振动、漂移等)。因此,角速度由机载平台的飞行速度形成的分量和由这种噪声导致的分量组成。如果V是机载平台的水平飞行速度,R是其高于地面的高度,则角速度为 QUOTE 。 因此,低空飞行降低了噪声对角速度的相对影响,提高了图像质量。要注意的是,旋转光学部件的角速度也可以由关于ω噪声的信息确定,例如关于由IMU 270收集的机载平台的运动信息。
系统200进一步包括通信模块220,其被配置和用于向外部系统发送基于由机载成像传感器采集的图像数据的图像数据内容。外部系统不是系统200的一部分,可选地是未安装在承载系统200的飞行器上的系统。应该注意的是,通信模块230可以用于将图像数据内容直接发送到远离载有系统200的机载平台的外部系统。可选地,通信模块230可以通过经由机载平台的通信模块(或安装在机载平台上的通信系统)进行通信来将图像数据内容传送到这样的远程系统。例如,如果机载平台配备连接到地面单元的无线电连接和/或卫星通信,则通信模块230可以将图像数据内容发送到无线电单元和/或卫星通信单元,然后将其传输到地面单元。如关于方法500的阶段540所述,通信模块230可以用于将图像数据内容无线地传输到外部系统。如关于方法500的阶段540所述,通信模块230可以用于将图像数据内容实时(或接近实时)传输到外部系统。
可以将不同种类的通信模块230作为系统200的一部分。例如,可以使用互联网通信模块,可以使用光纤通信模块和基于卫星的通信模块。
通信模块230可选地是机载通信模块,其意思是用于由飞行器飞行时传送图像数据。然而,应注意的是,当飞行器返回地面时,通信模块也可以发送图像数据内容。当通信模块发送图像数据内容时,系统200可以连接到机载平台,但并不一定如此。
系统200进一步包括用于将成像传感器210连接到机载平台的连接器290。即使连接装置不是机械的(例如电磁或化学连接),成像传感器210与机载平台的连接是机械连接(即这两个物体由于连接器而在空间上保持彼此靠近)。
不同种类的连接器290可用于连接成像传感器210。例如,以下连接器类型(以及其任意组合)可以作为连接器290:胶水、焊接、一个或多个螺钉、机械闩锁、夹具、钩扣、铆钉、夹子和/或螺栓、钩环紧固件、磁性和/或电磁紧固件等。
应当注意的是,连接器290可以将成像传感器210直接(即,传感器直接与平台接触或连接器作为二者的唯一间隔)或间接地(例如将系统200的壳体连接到机载平台,其中成像传感器210连接到壳体)连接到机载平台。
应当注意的是,连接器290可以将系统200的其他部件连接到机载平台—直接或间接地。例如,一个或多个连接器290可用于将通信模块230、可选择的处理器220和/或可选的系统200的壳体(图中未示出)连接到机载平台。这些部件中的每一个可以由连接器290直接或间接连接到机载平台。应当注意的是,连接器290可以包括许多连接部件,其可以用于将系统200的不同部分连接到机载平台。参考图1A-1C的示例,连接器290可以包括将一种通信模块230焊接到飞机后部的焊接,以及将成像传感器210连接到飞行器前部的四个螺钉。
应当注意的是,连接器290可用于将系统200的一个或多个部件以可拆卸的方式(例如使用螺钉、钩环紧固件、卡扣等)连接到机载平台。应当注意的是,连接器290可用于将系统200的一个或多个部件以不可拆卸的方式(例如使用焊接、胶水等。虽然这样的连接器可以使用专门的方式来分离,但是它不是设计成经常地或多于一次地拆卸)连接到机载平台。 成像传感器210可以使用可拆卸和/或不可拆卸的连接器290连接到机载平台。使用可拆卸连接器290可以是有用的,例如,如果系统200是基于需要连接到不同飞机的便携式单元(例如,根据当天的喷洒计划连接至喷洒农用飞机)。
图10为根据本公开主题的实例示出了一种农业监控系统200实例的功能框图。
可选地,系统200可以包括处理器220。处理器220可用于接收由成像传感器210采集的图像数据,以处理该数据,并将其转移到基于图像数据的处理的另一部件、单元或系统信息(这样的信息可以包括例如指令、图像数据内容等)。应当注意的是,可选处理器220可以将其处理基于除了由成像传感器210采集的图像数据之外的另一信息源。通常,处理器220可以被配置和用于执行关于方法500的阶段530和550所讨论的一个或多个处理、分析和计算过程的任意组合。
处理器220包括硬件组件,并且还可以包括专用软件和/或固件。可以专门设计处理器220的硬件组件,以便加快图像数据的处理。可替换的(或另外)使用通用处理器(例如现场可编程门阵列,FPGA,AMD皓龙16核阿布扎比MCM处理器等)。
例如,处理器220可以被配置并用于处理图像数据内容,用于农业区域中的一个或多个植物中检测叶片疾病和/或指示寄生虫对叶片的影响。例如,处理器220可以被配置并用于处理图像数据内容,以识别所选择的农学重要数据,并且基于所选择的农学重要数据生成传输到远程系统的农学图像数据。
可选地,成像传感器210可以被配置和用于在超过10m/s的飞行速度下采集图像数据。可选地,成像传感器210可以被配置和用于在不低于沿着飞行路线或沿着成像航段911的机载平台的平均速度的50%的飞行速度下采集图像数据,如图4B所述。
负载的机载平台以较高的速度飞行时采集的图像可以覆盖农业区域的较大部分。也可以通过对农业区域进行抽样,从其代表性的样本中采集图像数据,从而有助于农业区域的大范围覆盖(如图4B所述)。例如,系统200可以用于以低于每公顷500平方米的覆盖率采集农业区域的图像数据。
图11A、11B、11C和11D为根据本公开主题的实例示出了一种具有运动补偿机制的农用监控系统200实例的功能框图。
在图11A的例子中,通过旋转棱镜实现运动补偿,光通过该棱镜被引导到成像传感器210。在图11A的例子中,系统200包括将成像传感器210(在这种情况下为棱镜212)的至少一个部件连接到发动机240的一个或多个机械连接241(在所示示例中为轴)。通过机械连接241,发动机240的运动相对于负载的机载平台(图11A中未示出)机械地移动成像传感器210的至少一个部件(在所示示例中,即移动棱镜212)。发动机的运动将成像传感器210的单独的部件(或多个部件)移动的同时到由成像传感器210采集图像数据。应当注意的是,为了方便起见,棱镜212、透镜211和旋转镜213在成像传感器210的盒子的外侧标示,实际上它们属于成像传感器210。应当注意的是,即使光学组件未被封闭在保护成像传感器210的光敏表面的同一外壳中,也可能属于成像传感器210。
应当注意的是,可以使用将光偏转到成像传感器210的光敏表面上的其它部件来代替棱镜(例如可旋转的镜子。如图11B所示,整个成像传感器210由发动机240相对于负载的机载平台移动的同时以采集图像数据。
成像传感器210相对于机载平台的一个或多个部件的运动可用于在采集期间补偿机载成像传感器相对于作物的运动。因此,成像传感器210可以在系统200内操作,以便当负载的机载平台速度较高时(例如高于10m/s)采集农业区域的图像数据,并因此形成农业区域的高覆盖率。
可以选择机械连接241移动成像传感器210的各个部件的速度,使得成像传感器210的光收集表面(图11B中的214)和农业区域的成像部分(在这种图像数据采集的情况下)之间的相对速度为零或接近零,但不一定如此。
成像传感器210可以包括聚焦机构(未示出),用于将从部分农业区域传来的光聚焦到成像传感器210的光敏表面上。例如,为了实现在地面以上的不同高度飞行时采集图像数据可能需要聚焦机构。聚焦机构可以自动操作(通过未示出的聚焦控制处理器)。当来自农业区域的第一部分的光被投射到成像传感器210的光收集表面上时,聚焦控制处理器可以被配置和用于聚焦成像传感器210的光学,因为成像传感器210采集的来自农业区域的第二部分的后续图像数据与农业区域的第一部分不完全重叠。参考图11B的示例,这可以用于例如当光线对角地(相对于地面)到达成像传感器210时聚焦图像,以及当来自农业区域的光垂直到达成像传感器210时采集图像数据。
可选地,发动机240可用于成像传感器210的至少一个光学部件相对于机载平台机械旋转(例如经由一个或多个机械连接241),以补偿在采集期间成像传感器210相对于作物的运动。在这种情况下,成像传感器210可以被配置和用于:(a)当采集光轴与垂直轴的角度大于20°时,旋转至少一个光学部件同时启动聚焦过程,以及(b)当采集光轴与垂直轴的角度小于20°时,使用垂直成像采集图像数据。
在图11C的示例中,使用照明实现运动补偿。可选地,系统200包括照明单元250(例如,投影仪和/或闪光单元),其被配置和用于在由机载成像传感器采集图像数据期间照亮作物。例如,可以使用LED(发光二极管)照明。照明可以用于在采集期间补偿机载成像传感器相对于作物的运动。可以使用各种类型的照明(例如,取决于能量消耗考量相对于系统200的其他设计因素的相对重要性)。应该注意的是,可以使用闪光照明来减少成像传感器210的光敏表面214应暴露于来自农业区域900的光中以产生图像的时间,这反过来又降低了运动对所得图像数据模糊的影响。
在图11D的例子中,农业监视系统200包括高度计250。例如,高度计250可以是激光高度计,其激光束穿过农业监视系统200的相应窗口(表示为“高度计窗口252”)。 系统200还可以包括惯性测量单元(IMU)270,其使用一个或多个加速度计、陀螺仪和/或磁力计的组合来测量和报告飞行器的速度、方向和重力。系统200还可以包括旋转编码器230,该旋转编码器230测量旋转镜213的旋转速率(或如上所述的旋转棱镜212的速率)。
发动机控制器248可以使用来自IMU 270、高度计250和旋转编码器260的信息来确定发动机240的转速(并且由此延伸到旋转镜的转速)。
应注意的是,成像平面的角速度(例如从农业区域900向成像传感器210传送光的透明窗口219的角速度)取决于各种因素,包括飞行器的空速、其俯仰角及其高于农业区域900的高度。此外,来自激光高度计的信息也可能需要基于俯仰角和倾斜角数据的校正。
可选地,旋转镜213的旋转轴线平行于地平线并垂直于飞行器的主轴线。然而,由于飞行器飞行方向不一定平行于飞行器的主轴线(例如,由于侧风可能漂移,或者因为机动原因),系统200还可以补偿垂直于飞机主轴线的部件。
图12为根据本公开主题的实例示出了一种农业监控系统200实例的功能框图。如上所述,可选地,农业监控系统200可以包括机载平台100,其可用于在农业区域上方沿着飞行路线飞行机载成像传感器。
可以使用不同类型的机载平台作为机载平台100。例如,机载平台100可以是以下机载平台类型中的任何一种:飞机、直升机、多旋翼直升机(例如四足直升机)、无人驾驶飞行器(UAV)、动力降落伞(也称为电动降落伞、PPC和滑翔降落软翼机)等。机载平台100的类型可以基于诸如空气动力学参数(例如,速度、飞行高度、机动能力、稳定性和承载能力等)、手动控制或自动化控制程度以及机载平台的其它使用需求来确定。
可选地,包括在系统200中的机载平台100可以包括可在飞行期间推进机载平台100的发动机。可选地,包括在系统200中的机载平台100可以包括机翼(无论是固定的还是旋转的),其可用于在飞行期间向机载平台100提供升力。
图15为根据本公开主题的实例示出了一种农业监控方法1100实例的流程图。参考关于前述附图所述的示例,方法1100可由服务器300执行。参考方法500,应注意的是,方法1100的执行可以在传送图像数据内容的阶段540完成之后启动,但也可以在阶段540的执行期间启动。也就是说,在由机载系统生成所有的图像数据内容之前,服务器可以开始接收、处理和利用一些图像数据内容。可能是这种情况,例如,假如机载系统在采集飞行期间处理和发送图像数据内容。
方法1100从接收基于农业区域图像数据的图像数据内容的阶段1110开始,其中图像数据是由机载成像传感器在农业区域上方延伸的飞行路线的一组成像位置处采集的亚毫米图像分辨率图像数据。 参考关于前述附图所述的示例,在阶段1110中接收的图像数据内容可以是在方法500的阶段540中发送的图像数据内容中的部分或全部,和/或由系统200的通信模块230发送的图像数据内容的部分或全部内容。 阶段1110可以由服务器300的通信模块310执行。
方法1100继续进行阶段1120,阶段1120处理图像数据内容以生成包括农学图像数据的农学数据。参考关于以下附图所述的示例,阶段1120可由服务器处理模块320执行。应当注意的是,可以在阶段1120中执行图像数据内容的不同类型的处理。特别地,关于阶段550讨论的任何处理技术可以包括在阶段1120中。
可选地,阶段1120的处理可以包括分析图像数据内容以识别图像数据内容内所选的农学重要数据,并处理这些农学重要数据以提供农学数据。
可选地,阶段1120的处理可以包括将计算机化的处理算法应用于图像数据内容,用于农业区域的一种或多种植物中检测叶子疾病或指出寄生虫对叶子的影响。
方法1100的阶段1130包括将农学数据发送到终端用户远程系统。参考关于下述附图所述的示例,阶段1130可以由服务器300的通信模块310执行。
参照前面附图所述的示例,在阶段1130中传送的农学数据可以传送到各种实体,例如农用飞机991、农学家992和/或农民993。
应当注意的是,方法1100由支持关于方法500所述的各种变形的服务器(例如服务器300)执行。例如,关于检测农业区域的作物的生长,阶段1110的接收可以包括在不同天数(可能延续数周)采集(被至少一个成像传感器采集)的农业区域的图像数据内容,并且阶段1120的处理可以包括处理图像数据内容用于确定农业区域中的植物的生长参数。
关于监视多个实体的农业区域的另一示例,应当注意的是,可选地,图像数据内容可以包括第一所有者的第一农业资产的第一图像数据内容和除第一所有者以外的第二所有者的第二农业资产的第二图像数据内容,并且阶段1130的发送可以包括在第一消息中发送第一图像数据内容,以及在第二消息中发送第二数据内容。第一消息和第二消息中的每一个可以包括识别相应农业资产所有者的信息,和/或可以被寻址到与相应所有者相关联的系统和/或另一个实体。
方法1100可以进一步包括将计算机化的处理算法应用于农学重要数据,以便基于可能接收者的农学专长,从多个可能的接收者中选出农学图像数据的接收者。阶段1130的发送可以基于选择的结果来执行。
图16为根据本公开主题的实例示出了一种用于农业监控的服务器300实例的功能框图。服务器300可以包括通信模块310和服务器处理模块320,以及为了简化而省略的附加组件(例如电源、用户界面等)。
如上详细所述,图像数据内容的接收可以基于在农业区域低飞行中采集的图像数据。特别地,图像数据内容可以基于在沿着飞行路线的一组成像位置处采集的图像数据,该组成像位置位于作物生长的农业区域上方不到20米处。
上文所述的系统和方法,在监控作物生长的农业区域的背景下描述。对于本领域技术人员来说,这些方法和系统也可用于(例如,对人体工程学有用)监控当前没有任何作物生长在其上的地面区域。例如,这些系统和方法可用于确定这些土壤中的土壤类型、其物质组成、这些区域的灌溉水平,用于确定寄生虫或杂草等。因此,应注意的是,上述系统经过必要的修改可以适用于监控有或没有作物的情况下的地面区域。此外,上述方法经过必要的修改可以适用于监控有或没有作物的情况下的地面区域。在这两种情况下,地面区域的成像仍然以亚毫米分辨率进行,并且可以以上述任何方式来实现(例如利用运动补偿等)。一些例子在图17、18和19中提供。
图17为根据本公开主题的实例示出了一种地面区域监控方法1800的实例的流程图。参考关于前面附图所述的示例,方法1800可以由系统10执行。
方法1800包括制定监视飞行计划的阶段(下面将讨论的阶段1805),其后是基于监视飞行计划,采集和利用地面区域的图像数据。步骤1805之后的方法1800的阶段可以是方法500的相应阶段的变化(这两种方法的对应阶段以对应的附图标记编号,即阶段1810对应于阶段510,阶段1820对应于阶段520等),经过修改,地面区域不一定为有作物生长的农业区域。例如,可以为作物生长前(生长后)的农业区域(例如播种后),与农业区域(例如因为粉末或寄生虫可能会影响地面区域)相邻的地面区域,或另一种类型的地面区域。
253应当注意的是,如果适用的话,参照方法500讨论的变型和实例经过必要的修改也适用于方法1800。 在适用的情况下,阶段510、520以及可能还有530、540以及后续阶段的相关变化可以在基于阶段1805制定的监视飞行计划执行的方法1800的相应阶段中实现—经过修改,地面区域不一定为有作物生长的农业区域。
方法1800的阶段1805包括为机载监视系统制定监视飞行计划,监视飞行计划包括指示多个成像位置的采集位置计划。
参考关于前述附图所述的示例,阶段1805可以由不同的实体来执行,诸如机载系统10、服务器300和终端用户设备(如农学家992、农民993、没有示出的规划中心等)或其任何组合(例如,农学家992可以提出计划,然后由机载系统10根据气象条件进行修改)。
阶段1805的制定可以基于各种考虑。例如,可以制定监视飞行路线和可能的附加参数,以便能够以所需的质量进行图像采集。阶段1805可以包括例如以下子阶段:
•根据从客户获得的信息,确定所需的一个或多个地面区域;
•接收一个或多个地面区域的地理信息系统(GIS)信息,以及有关一个或多个地面区域结构的信息(如关于灌溉管道、道路或结构的其他方面的GIS信息)。
•可选地,接收关于地面区域地面土壤的信息,例如土壤类型、品种等。
•根据GIS信息(可能还需要其它附加信息),在一个或多个地面区域以及一个或多个地面区域周围中的每一个绘制地形图和障碍物,如田地部署的灌溉系统、高树电线路、固定机械以及其它。
•使用飞行计划工具制定监视飞行路线计划,对一个或多个地面区域(或其细分)中的每一个制定监视飞行计划。应当注意的是,可选地,一般准则适用于不同类型的土壤或一个或多个地面区域的其他不同子区域。
应当注意的是,监视飞行计划可能会更新。例如,在实际飞行当天(如果预先设定了监视飞行计划),飞机组人员和/或当地联络人到达地面区域,为低飞行验证障碍物,脸颊感受风向通过顺风或逆风飞行来优化飞行路线(例如,最好采用顺风而不是逆风拍照)。
方法1800的阶段1810包括基于监视飞行计划在地面区域上方沿着飞行路线飞行机载监视系统(术语“地面区域”在前面的段落中已解释)。参考前面附图所述的例子,机载监视系统可以是成像传感器210或整个机载系统10(经过修改,地面区域不一定为有作物生长的农业区域),并且阶段1810的飞行可以由机载平台100执行。应当注意的是,关于阶段510讨论的所有可选的变化、实施和子阶段可以被调整为适合基于监视飞行计划而执行的阶段1810。
方法1800的阶段1820包括在飞行期间由机载监视系统基于采集位置计划以亚毫米图像分辨率采集部分地面区域的图像数据。参考前面附图所述的例子,机载监视系统可以是成像传感器210或整个机载系统10(经过修改,地面区域不一定为有作物生长的农业区域)。应当注意的是,关于阶段520讨论的所有可选的变化、实施和子阶段可以被调整为适合基于监视飞行计划而执行的阶段1820。
方法1800可以包括可选阶段1830,其包括由机载处理单元处理图像数据,以提供包括地面和/或在地面上的(或部分暴露于地面的)物体的高质量图像的图像数据内容。例如,一块泥土、一小块泥土(例如2厘米×2厘米)、有机层或残留物(O土壤层,包括L、F和/或H层)、表土(A土壤层)、岩石、石头、管道、喷水器、活体动物(如昆虫、蠕虫、寄生虫等)等。
阶段1830的机载处理单元由在地面区域飞行机载监视系统的同一机载平台承载。参考关于前面附图所述的示例,阶段1830可以由阶段1810系统的处理器(例如,经过必要的修改后的处理器220)来执行。应当注意的是,关于阶段530讨论的所有可选的变化、实施和子阶段可以适用于阶段1830。
阶段1830可以基于1805阶段制定的监视飞​​行计划执行,但并不一定是这样。例如,可选阶段1830的处理可以基于包括在监视飞行计划中的关于所寻找的土壤类型或农业条件类型(例如土壤湿度、地面均匀度等)的信息。应当注意的是,监视飞行计划(或为监视飞行定义的更一般的计划,包括监视飞行计划以及附加信息的的计划)可能包括影响可选阶段1830的处理的参数和/或指令(例如关于在阶段1840中应该向外部系统传输多少信息的指令)。
应当注意的是,方法1800还可以包括处理用于提供其他决策促进信息的图像数据,类似于关于阶段550讨论的处理(例如,关于阶段551),经过必要的修改。像阶段1830,图像数据的这种处理可以基于监视飞行计划,但并不一定是这样的。
方法1800的阶段1840包括向外部系统发送基于由机载监视系统采集的图像数据的图像数据内容。参考关于前述附图所述的示例,阶段1840的发送可以由通信模块230进行必要的修改来执行。应当注意的是,关于阶段520讨论的所有可选的变化、实施和子阶段经过必要的修改可以适应于基于监视飞行计划而执行的阶段1820。
方法1800还可以包括阶段1850、1860、1870、1880和1890,其分别对应于阶段550、560、570、580和590(经过修改,地面区域不一定是作物生长的农业区域)。阶段1850、1860、1870、1880和1890中的每一个可以包括子阶段,这些子阶段对应于方法500相应阶段550、560、570、580和590在先前讨论的子阶段(经过修改,地面区域不一定是作物生长的农业区域)。阶段1850,1860,1870,1880和1890(及其子阶段)中的每一个可以基于阶段1805中制定的监视飞​​行计划,但并不一定是这样。
参考方法1800,可以使用方法1800(以及监视飞行计划的设计,特别地),例如,为了看看播种的农业区域是否已经发芽,地面区域是否适合于农业用途,为了确定管道和/或浇水系统和/或灌溉系统和/或其他农业系统正在起作用等等。
例如,地面区域可以包括不同类型的土壤,并且所述采集可以包括采集地面区域中不同位置的图像数据,以生成地面区域的土壤图(例如在机载平台和/地面系统上)。
例如,采集可以包括采集指示地面区域中不同位置的物质组成的图像数据。这种物质组合物可以包括不同类型的地面和/或石头、不同类型的矿物质等。
例如,采集可以包括采集指示地面区域中不同位置的农业备灾水平的图像数据。
应注意的是,多于一种类型的土壤(或在地面上、地面上空或部分暴露于地面的其他物体)可能存在于地面区域中。阶段1805可以包括为与不同类型的地面(或如本段先前提到的那些其他对象)相关联的成像位置定义不同的采集参数。
这种采集参数可以包括机载平台的操作参数(例如,速度、地面高度、稳定性等)和/或机载监视系统的参数,特别是其传感器的参数(例如曝光时间、f数、透镜焦点长度、分辨率、检测灵敏度、速度补偿等)。
图18为根据本公开主题的实例示出了一种地面区域监控方法1900的实例的流程图。参考关于以下附图阐述的示例,方法1900可由服务器1300执行。
参考方法1800,应当注意的是,方法1900的执行可以在传送图像数据内容的阶段1840完成之后启动,但也可以在阶段1840的执行期间启动。也就是说,在机载系统生成所有图像数据内容之前,服务器可以开始接收、处理和利用一些图像数据内容。可能是这种情况,例如,假如机载系统在采集飞行期间处理和发送图像数据内容。
方法1900从接收基于地面区域图像数据的图像数据内容的阶段1910开始,其中图像数据是由机载成像传感器在沿着地面区域上方延伸的飞行路线的一组成像位置处采集的亚毫米图像分辨率图像数据。 参照前面附图所述的示例,在阶段1910中接收的图像数据内容可以是在方法1800的阶段1840中发送的图像数据内容的部分或全部,和/或由系统200的通信模块230发送的部分或全部图像数据内容(经过必要的修改)。阶段1910可由服务器1300的通信模块1310执行。
方法1900继续进行阶段1920,阶段1920处理图像数据内容以生成包括地面图像数据的地面数据。参考关于以下附图阐述的示例,阶段1920可由服务器处理模块320执行(经必要的修改)。应当注意的是,可以在阶段1920中执行图像数据内容的不同类型的处理。特别地,关于阶段550讨论的任何处理技术可以包括在阶段1920中。
“地面数据”一词与涉及地面和/或地面的数据有关。在本发明的一些实施方案中,术语“地面数据”可以被广义地解释为包括触及地面的物体,无论是生物体(例如蠕虫、落叶)还是无生命物体(例如管线、喷洒器)。然而,方法1900(和服务器1300)的一些实施方式以更严格的方式实现,其中术语“地面数据”仅适用于地面本身(表土和石头等)。
可选地,阶段1920的处理可以包括分析图像数据内容以识别图像数据内容内所选的农学重要数据,并处理这些农学重要数据以提供地面数据。例如,所选的农学数据可能选择清楚地显示地面类型的图像,显示寄生虫、蠕虫或其他生物的图像,显示出管道断裂或磨损的图像等等。
可选地,阶段1920的处理可以包括分析图像数据内容以识别图像数据内容内所选的地面重要数据的,并处理这些地面重要数据以提供地面数据。例如,所选择的地面重要数据可以包括显示地面类型的图像、指示可能在一些区域中暴露的较低层土壤(低于表层土)含量的图像等。
可选地,阶段1920的处理可以包括将计算机化处理算法应用于图像数据内容,以区分地面区域中具有不同类型土壤的区域。不同类型的土壤可能是不同类型的土、岩石、石块和/或其他矿物质。
可选地,阶段1920的处理可以包括确定地面区域中的物质组成,以及根据确定的结果来生成地面数据。
方法1900的阶段1930包括将地面数据发送到终端用户远程系统。参考关于以下附图所述的示例,阶段1930可以由服务器1300的通信模块1310来执行。
参照前面附图所述的示例,在阶段1930中发送的地面数据可以传送到各种实体,例如农用飞机991、农学家992、土壤学家、地质学家和/或农民993。
应当注意的是,方法1900可由服务器(例如服务器1300)来执行,经过必要的修改,该服务器支持关于方法1800所讨论的各种变化。
方法1900还可以包括将计算机化处理算法应用于地面数据,以便基于可能接收者的地面专业知识从多个可能的接收者中选择地面图像数据的接收者的阶段。阶段1930的发送可以基于选择的结果来执行。
参考方法1900,应当注意的是,图像数据内容可以基于在沿着飞行路线的一组成像位置处采集的图像数据,该组成像位置位于地面区域上方不到20米处。
图16为根据本公开主题的实例示出了一种用于农业监控的服务器300实例的功能框图。服务器1300可以包括通信模块1310和服务器处理模块1320,以及为简化起见而省略的附加组件(例如电源,用户界面等)。
如上详细所述,接收到的图像数据内容可以基于在地面区域上低空飞行中采集的图像数据。特别地,图像数据内容可以基于在沿着飞行路线的一组成像位置处采集的图像数据,该组成像位置位于地面区域上方不到20米处。
尽管在本文中已经说明和描述了本发明的某些特征,但是本领域普通技术人员可以对其进行许多修改、替换、变化和等同。因此,应当理解,所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和变化。
应当理解,通过示例的方式引用上述实施例,并且可以改变和修改它的各种特征以及这些特征的组合。
虽然已经示出和描述了各种实施例,但是应当理解的是,并不意图通过这样的公开来限制本发明,而是旨在覆盖落入本发明范围内的所有修改和替代结构,如本文所附权利要求。

Claims (48)

1.一种农业监控方法,所述方法包括:在作物生长的农业区域上方沿着飞行路线飞行机载成像传感器;通过所述机载成像传感器采集部分所述农业区域的图像数据,其中,在沿着所述飞行路线的一组成像位置处执行所述图像数据的采集,所述成像位置能够以亚毫米图像分辨率采集所述图像数据;并且向外部系统发送基于由机载成像传感器采集的图像数据的图像数据内容。
2.根据权利要求1所述的方法,该方法包括:将所述图像数据内容发送到所述外部系统,以向远程位置的农学家显示基于所述图像数据内容的农学图像数据,从而使得农学家能够远程分析农业区域。
3.根据权利要求1所述的方法,其特征在于,所述飞行路线为地形跟随飞行路线。
4.根据权利要求1所述的方法,其特征在于,所述采集包括在所述一组成像位置处采集图像数据,同时所述机载成像传感器沿着所述成像位置以不低于所述机载平台沿着飞行路线的平均速度的50%的速度飞行。
5.根据权利要求4所述的方法,其中所述采集包括将所述机载成像传感器的至少一个部件相对于负载的机载平台机械移动,用于补偿在采集期间所述机载成像传感器相对于作物的运动。
6.根据权利要求4所述的方法,其特征在于,所述采集包括将所述机载成像传感器的至少一个光学部件相对于负载的机载平台机械旋转,用于补偿在采集期间所述机载成像传感器相对于所述作物的运动;并且在所述至少一个光学组件旋转的同时,对于所述图像数据的多个帧中的每一帧:在采集光轴与垂直轴的角度大于 20°时,启动成像传感器的聚焦过程,当采集光轴与垂直轴的角度小于20°时,利用垂直成像采集图像数据。
7.根据权利要求4所述的方法,其特征在于,所述采集包括在采集期间对作物进行照明,以补偿在采集期间所述机载成像传感器相对于作物的运动。
8.根据权利要求1所述的方法,其特征在于,飞行包括沿着飞行路线飞行机载成像传感器,该飞行路线延伸至第一所有者的至少第一农业资产和除第一所有者之外的第二所有者的第二农业资产,其中所述方法包括采集部分第一农业资产的第一图像数据并采集部分第二农业资产的第二图像数据;基于第一图像数据生成第一图像数据内容,并基于第二图像数据生成第二图像数据内容;用于向第一消息中的第一实体提供第一图像数据内容,以及用于向第二消息中的第二实体提供第二数据内容。
9.根据权利要求1所述的方法,其特征在于,所述采集包括采集地面车辆无法到达的部分农业区域的图像数据。
10.根据权利要求1所述的方法,其特征在于,飞行包括通过被配置为作物保护产品的空中应用的农用飞机飞行所述成像传感器。
11.根据权利要求10所述的方法,进一步包括基于所述图像数据的处理,选择所述农用飞机空中应用作物保护产品的空中应用参数。
12.根据权利要求1所述的方法,其特征在于,沿飞行路线的所述一组成像位置位于生长在农业区域中的作物顶部上方不到20米处。
13.根据权利要求1所述的方法,其特征在于,所述发送之后紧接着是飞行、采集和发送的后续实例,其中所述方法进一步包括基于先前实例中采集的图像数据,为后续飞行实例规划路线。
14.根据权利要求1所述的方法,进一步包括将计算机化的处理算法应用于所述图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
15.根据权利要求1所述的方法,其特征在于,所述飞行、采集和发送在几个星期内重复进行,其中所述方法进一步包括处理在所述几个星期的不同时间采集的图像数据,用于测定农业区域中植物的生长参数。
16.根据权利要求1所述的方法,进一步包括将计算机化的处理算法应用于所述图像数据以识别所选择的农学重要数据,以及基于所选择的农学重要数据,生成传输到远程系统的农学图像数据。
17.根据权利要求16所述的方法,进一步包括将计算机化的处理算法应用于所选择的农学重要数据,以便基于可能接收者的农学专长,从多个可能的接收者中选出农学图像数据的接收者。
18.根据权利要求1所述的方法,其特征在于,在所述飞行之前为机载监视系统制定监视飞行计划,监视飞行计划包括指示多个成像位置的采集位置计划,其中,根据所述监视飞行计划,在农业区域上方沿着飞行路线飞行的机载传感器是飞行机载监视系统的一部分。
19.根据权利要求1所述的方法,其特征在于,所述飞行路线为地形跟随飞行路线;其中飞行包括通过被配置为作物保护产品的空中应用的农用飞机飞行成像传感器;其中沿飞行路线的所述一组成像位置位于生长在农业区域中的作物顶部上方不到20米处;其中所述采集包括:(a)在所述一组成像位置处采集图像数据,同时机载成像传感器沿着所述成像位置以不低于所述机载平台沿着飞行路线的平均速度的50%的速度飞行;以及(b)通过在采集期间对作物进行照明,并通过将所述机载成像传感器的至少一个部件相对于负载的机载平台机械移动,来补偿采集期间所述机载成像传感器相对于作物的运动;其中,所述发送包括将图像数据内容发送到外部系统,以向远程位置的农学家显示基于所述图像数据内容的农学图像数据,从而使农学家能够对农业区域进行远程分析;其中,所述方法进一步包括:在所述飞行之前为机载监视系统制定监视飞行计划,所述监视飞行计划包括指示多个成像位置的采集位置计划,其中,根据所述监视飞行计划,在农业区域上方沿着飞行路线飞行的所述机载传感器是飞行所述机载监视系统的一部分。
20.一种农业监控方法,所述方法包括:为机载监视系统制定监视飞行计划,所述监视飞行计划包括指示多个成像位置的采集位置计划;基于所述的监视飞行计划,所述机载监视系统在作物生长的农业区域上方沿着飞行路线飞行;基于所述采集位置计划,在所述机载监视系统的飞行过程中以亚毫米图像分辨率采集部分农业区域的图像数据;并且将基于所述机载监视系统采集的图像数据的图像数据内容发送到外部系统。
21.根据权利要求20所述的方法,其特征在于,通过接收与多个独立实体相关联的监视请求,来制定所述监视飞行计划,并且包括制定监视飞行计划以指示多个独立实体中的每一个的作物的成像位置。
22.根据权利要求20所述的方法,其特征在于,所述农业区域包括至少有两种类型作物生长的多个田地,其中监视飞行计划的制定包括为不同品种作物相关联的成像位置制定不同的采集参数。
23.一种地面区域监控方法,所述方法包括:为机载监视系统制定监视飞行计划,监视飞行计划包括指示多个成像位置的采集位置计划;基于所述的监视飞行计划,所述机载监视系统在地面区域上方沿着飞行路线飞行;基于所述的采集位置计划,在所述机载监视系统的飞行过程中以亚毫米图像分辨率采集部分地面区域的图像数据;并且将基于所述机载监视系统采集的图像数据的图像数据内容发送到外部系统。
24.根据权利要求23所述的方法,其特征在于,所述地面区域包括不同种类的土壤,其中所述采集包括采集地面区域中不同位置的图像数据以生成地面区域的土壤图。
25.根据权利要求23所述的方法,其特征在于,所述采集包括采集指示所述地面区域中不同位置的材料组成的图像数据。
26.根据权利要求23所述的方法,其中所述采集包括采集指示所述地面区域中不同位置的农业备灾水平的图像数据。
27.一种农业监控系统,所述农业监控系统包括:成像传感器,当所述成像传感器为机载时,被配置并用于以亚毫米图像分辨率采集作物生长的部分农业区域的图像数据;通信模块,被配置并用于将基于所述机载成像传感器采集的图像数据的图像数据内容发送到外部系统;以及连接器,用于将成像传感器和通信模块连接到机载平台。
28.根据权利要求27所述的农业监控系统,进一步包括一个机载式平台,所述机载式平台在农业区域上方沿着飞行路线飞行所述机载成像传感器。
29.根据权利要求27所述的农业监控系统,其特征在于,所述成像传感器被配置并用于在生长在农业区域中的作物顶部上方不到20米处采集图像数据。
30.根据权利要求27所述的农业监控系统,其特征在于,所述成像传感器被配置并用于当飞行速度超过10m/s时采集图像数据。
31.根据权利要求30所述的农业监控系统,包括至少一个机械联接器,其将所述成像传感器的至少一个部件联接到发动机,通过所述发动机的运动将所述成像传感器的至少一个部件相对于所述机载平台机械移动,同时通过所述成像传感器采集图像数据。
32.根据权利要求30所述的农业监控系统,包括发动机,所述发动机可用于将所述成像传感器的至少一个光学部件相对于所述机载平台机械旋转,用来补偿采集过程中所述成像传感器相对于作物的运动;其中所述成像传感器被配置并用于:(a)在采集光轴与垂直轴的角度大于 20°时,旋转所述至少一个光学组件的同时启动聚焦过程,以及(b)当采集光轴与垂直轴的角度小于20°时,利用垂直成像采集图像数据。
33.根据权利要求30所述的农业监控系统,进一步包括照明单元,其被配置并用于在所述成像传感器采集图像数据的过程中对所述作物进行照明。
34.根据权利要求27所述的农业监控系统,进一步包括处理器,所述处理器被配置并用于处理图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
35.根据权利要求27所述的农业监控系统,进一步包括处理器,所述处理器被配置并用于处理图像数据内容以识别所选择的农学重要数据,以及基于所选择的农学重要数据,生成用于发送给远程系统的农学图像数据。
36.一种农业监控方法,所述方法包括:接收基于农业区域图像数据的图像数据内容,其中,所述图像数据是在沿着农业区域上方延伸的飞行路线的一组成像位置处由机载成像传感器采集的亚毫米图像分辨率图像数据;处理图像数据内容以生成包括农学图像数据的农学数据;以及发送农学数据到终端用户远程系统。
37.根据权利要求36所述的方法,其特征在于,所述处理包括分析所述图像数据内容以识别所述图像数据内容内所选择的农学重要数据;并对所述农学重要数据进行处理,以提供所述农学数据。
38.根据权利要求36所述的方法,其特征在于,所述处理包括将计算机化的处理算法应用于所述图像数据内容以用于检测所述农业领域中的一种或多种植物中的叶子疾病或指出寄生虫对叶子的影响。
39.根据权利要求36所述的方法,其特征在于,所述接收包括接收于不同天数采集的农业区域图像数据内容,其中所述处理包括处理所述图像数据内容以测定农业区域中植物的生长参数。
40.根据权利要求36所述的方法,进一步包括将计算机化的处理算法应用于农学数据,以便基于可能接收者的农学专长,从多个可能的接收者中选出农学图像数据的接收者。
41.根据权利要求36所述的方法,其特征在于,所述图像数据内容包括第一所有者的第一农业资产的第一图像数据内容,以及第一所有者之外的第二所有者的第二农业资产的第二图像数据内容;其中,所述发送包括在第一消息中发送所述第一图像数据内容,以及在第二消息中发送第二数据内容。
42.根据权利要求36所述的方法,其特征在于,所述图像数据内容基于沿着飞行路线的一组成像位置处采集的图像数据,所述成像位置位于生长在农业区域中的作物顶部上方不到20米处。
43.一种地面区域监控方法,所述方法包括:接收基于地面区域图像数据的图像数据内容,其中所述图像数据是在沿着地面区域上方延伸的飞行路线的一组成像位置处由机载成像传感器采集的亚毫米图像分辨率图像数据;处理图像数据内容以生成包括地面图像数据的地面数据;并将地面数据发送到终端用户远程系统。
44.根据权利要求43所述的方法,其特征在于,所述处理包括分析所述图像数据内容以识别所述图像数据内容内所选择的农学重要数据;并对农学重要数据进行处理,以提供农学数据。
45.根据权利要求43所述的方法,其特征在于,所述处理包括分析所述图像数据内容以识别所述图像数据内容内所选择的地面重要数据;并对地面重要数据进行处理,以提供指示地面区域土壤质量的地面数据。
46.根据权利要求43所述的方法,其特征在于,所述处理包括将计算机化处理算法应用于图像数据内容,以区分地面区域中具有不同类型土壤的区域。
47.根据权利要求43所述的方法,其特征在于,所述图像数据内容基于在沿着所述飞行路线的一组成像位置处采集的图像数据,所述成像位置位于所述地面区域上方不到20米处。
48.根据权利要求43所述的方法,其特征在于,所述处理包括测定所述地面区域中的材料组成,以及根据所述测定的结果来生成所述地面数据。
CN201580073902.0A 2015-01-11 2015-12-02 农业监控系统和方法 Active CN107426958B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL236606 2015-01-11
IL236606A IL236606B (en) 2015-01-11 2015-01-11 Standards and methods for agricultural monitoring
PCT/IL2015/051169 WO2016110832A1 (en) 2015-01-11 2015-12-02 Systems and methods for agricultural monitoring

Publications (2)

Publication Number Publication Date
CN107426958A true CN107426958A (zh) 2017-12-01
CN107426958B CN107426958B (zh) 2020-08-25

Family

ID=56355589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073902.0A Active CN107426958B (zh) 2015-01-11 2015-12-02 农业监控系统和方法

Country Status (11)

Country Link
US (2) US10182214B2 (zh)
EP (1) EP3242544A4 (zh)
CN (1) CN107426958B (zh)
AU (1) AU2015376053B2 (zh)
BR (1) BR112017014855B1 (zh)
CA (1) CA2973319C (zh)
EA (1) EA037035B1 (zh)
IL (1) IL236606B (zh)
MX (1) MX2017009061A (zh)
WO (1) WO2016110832A1 (zh)
ZA (1) ZA201705448B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711272A (zh) * 2018-12-04 2019-05-03 量子云未来(北京)信息科技有限公司 农作物智能化管理方法、系统、电子设备及存储介质
CN110691181A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 摄像设备、摄像机及无人机
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111435135A (zh) * 2019-01-11 2020-07-21 通用电气航空系统有限公司 经由uav收集数据的土地监测系统和方法
CN111512256A (zh) * 2018-01-25 2020-08-07 通用电气公司 自动和自适应的三维机器人现场勘测

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL236606B (en) 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
WO2016165793A1 (fr) * 2015-04-15 2016-10-20 Viel Pierre-Emmanuel Drone de nettoyage.
US10322801B1 (en) * 2015-06-12 2019-06-18 Amazon Technologies, Inc. Unmanned aerial vehicle based surveillance as a service
US10313638B1 (en) 2015-06-12 2019-06-04 Amazon Technologies, Inc. Image creation using geo-fence data
CN107131877B (zh) * 2016-02-29 2021-07-02 星克跃尔株式会社 无人飞行器航线构建方法及系统
US10474144B2 (en) * 2016-08-01 2019-11-12 The United States Of America, As Represented By The Secretary Of The Navy Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance
ES2905856T3 (es) * 2016-08-18 2022-04-12 Tevel Aerobotics Tech Ltd Dispositivo, sistema y método para la cosecha y el clareo utilizando drones aéreos, para huertos, plantaciones e invernaderos
US10791037B2 (en) 2016-09-21 2020-09-29 Iunu, Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
US11244398B2 (en) 2016-09-21 2022-02-08 Iunu, Inc. Plant provenance and data products from computer object recognition driven tracking
US11538099B2 (en) 2016-09-21 2022-12-27 Iunu, Inc. Online data market for automated plant growth input curve scripts
US10635274B2 (en) 2016-09-21 2020-04-28 Iunu, Inc. Horticultural care tracking, validation and verification
WO2018071727A1 (en) 2016-10-12 2018-04-19 Aker Technologies, Inc. System for monitoring crops and soil conditions
RU2770465C2 (ru) * 2016-10-13 2022-04-18 Маккейн Фудс Лимитед Способ, носитель и система для обнаружения вируса картофеля на изображении сельскохозяйственной культуры
WO2018085452A1 (en) 2016-11-07 2018-05-11 FarmX Inc. Systems and Methods for Soil Modeling and Automatic Irrigation Control
US10533956B2 (en) 2016-12-14 2020-01-14 FarmX Inc. Multi-depth soil moisture monitoring systems and methods to evaluate soil type, packaged in small round polyvinyl chloride tube, with potting and rodent protection, for effective measurements and installation
US10445877B2 (en) 2016-12-30 2019-10-15 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10664702B2 (en) 2016-12-30 2020-05-26 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10586105B2 (en) * 2016-12-30 2020-03-10 International Business Machines Corporation Method and system for crop type identification using satellite observation and weather data
US11519896B2 (en) 2017-01-13 2022-12-06 FarmX Inc. Soil moisture monitoring systems and methods for measuring mutual inductance of area of influence using radio frequency stimulus
US10746720B2 (en) 2017-01-13 2020-08-18 FarmX Inc. Soil moisture monitoring systems and methods for measuring mutual inductance of area of influence using radio frequency stimulus
US11266054B2 (en) 2017-01-24 2022-03-08 Cnh Industrial America Llc System and method for automatically estimating and adjusting crop residue parameters as a tillage operation is being performed
US10123475B2 (en) 2017-02-03 2018-11-13 Cnh Industrial America Llc System and method for automatically monitoring soil surface roughness
US10909367B2 (en) 2017-03-02 2021-02-02 Basecamp Networks, LLC Automated diagnosis and treatment of crop infestations
CN110418572A (zh) * 2017-03-12 2019-11-05 株式会社尼罗沃克 作物拍摄用无人机
CN108688801A (zh) * 2017-04-05 2018-10-23 中交遥感载荷(北京)科技有限公司 一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机
JP7218722B2 (ja) * 2017-04-05 2023-02-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7152836B2 (ja) * 2017-04-28 2022-10-13 株式会社オプティム 無人飛行体のアクションプラン作成システム、方法及びプログラム
US10262206B2 (en) 2017-05-16 2019-04-16 Cnh Industrial America Llc Vision-based system for acquiring crop residue data and related calibration methods
US10438302B2 (en) 2017-08-28 2019-10-08 The Climate Corporation Crop disease recognition and yield estimation
US10514554B2 (en) * 2017-09-30 2019-12-24 Pixart Imaging Inc. Optical motion detecting device for a flight vehicle
US10423850B2 (en) * 2017-10-05 2019-09-24 The Climate Corporation Disease recognition from images having a large field of view
LT6619B (lt) * 2017-10-10 2019-05-10 Robotopia, UAB Skystų cheminio apdorojimo priemonių išpurškimo įrenginys su pakeičiama skysčio posisteme ir išpurškimo sistema jų pagrindu
US10631477B2 (en) 2017-10-30 2020-04-28 Valmont Industries, Inc. System and method for irrigation management
US10779458B2 (en) * 2017-12-01 2020-09-22 International Business Machines Corporation Monitoring aerial application tasks and recommending corrective actions
US10705204B2 (en) * 2017-12-08 2020-07-07 International Business Machines Corporation Crop classification and growth tracking with synthetic aperture radar
US10621434B2 (en) * 2018-01-25 2020-04-14 International Business Machines Corporation Identification and localization of anomalous crop health patterns
US11062516B2 (en) 2018-02-07 2021-07-13 Iunu, Inc. Augmented reality based horticultural care tracking
US10769466B2 (en) 2018-02-20 2020-09-08 International Business Machines Corporation Precision aware drone-based object mapping based on spatial pattern recognition
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US10719709B2 (en) * 2018-04-06 2020-07-21 Cnh Industrial America Llc Augmented reality for plant stand management
US10679056B2 (en) * 2018-04-06 2020-06-09 Cnh Industrial America Llc Augmented reality for plant stand management
US20210169023A1 (en) * 2018-05-21 2021-06-10 Autonomous Pivot Ltd. System and method for turning irrigation pivots into a social network of autonomous ai farming robots
EP3574751A1 (en) * 2018-05-28 2019-12-04 Bayer Animal Health GmbH Apparatus for fly management
CN108594856A (zh) * 2018-05-29 2018-09-28 农业部南京农业机械化研究所 多源信息融合智能决策自主飞行植保无人机及控制方法
US11144775B2 (en) * 2018-06-25 2021-10-12 Cnh Industrial Canada, Ltd. System and method for illuminating the field of view of a vision-based sensor mounted on an agricultural machine
DE102018120753A1 (de) * 2018-08-24 2020-02-27 naiture GmbH & Co. KG Mobile Analyse- und Bearbeitungsvorrichtung
US11166404B2 (en) 2018-09-02 2021-11-09 FarmX Inc. Systems and methods for virtual agronomic sensing
US10660277B2 (en) * 2018-09-11 2020-05-26 Pollen Systems Corporation Vine growing management method and apparatus with autonomous vehicles
US10779476B2 (en) * 2018-09-11 2020-09-22 Pollen Systems Corporation Crop management method and apparatus with autonomous vehicles
US11108849B2 (en) 2018-12-03 2021-08-31 At&T Intellectual Property I, L.P. Global internet of things (IOT) quality of service (QOS) realization through collaborative edge gateways
US20200217830A1 (en) * 2019-01-08 2020-07-09 AgroScout Ltd. Autonomous crop monitoring system and method
US10659144B1 (en) 2019-01-31 2020-05-19 At&T Intellectual Property I, L.P. Management of massively distributed internet of things (IOT) gateways based on software-defined networking (SDN) via fly-by master drones
JP2020166584A (ja) * 2019-03-29 2020-10-08 トヨタ自動車株式会社 画像情報収集システム及び車両
CN110070417A (zh) * 2019-04-19 2019-07-30 北方天途航空技术发展(北京)有限公司 农业植保无人机作业管理系统及方法
CN110050619A (zh) * 2019-05-10 2019-07-26 广西润桂科技有限公司 基于精准气象保障技术的无人机甘蔗病虫害防治喷药方法
US10957036B2 (en) 2019-05-17 2021-03-23 Ceres Imaging, Inc. Methods and systems for crop pest management utilizing geospatial images and microclimate data
JP6765738B1 (ja) * 2019-06-21 2020-10-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム
JP7415348B2 (ja) * 2019-07-03 2024-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、センシングシステム
TWI760782B (zh) * 2019-07-08 2022-04-11 國立臺灣大學 用於地理區域上果園辨識之系統及方法
CN110647935B (zh) * 2019-09-23 2023-07-25 云南电网有限责任公司电力科学研究院 一种输电线路区域树木生长趋势的预测方法及装置
US11357153B2 (en) * 2019-12-11 2022-06-14 Cnh Industrial Canada, Ltd. System and method for determining soil clod size using captured images of a field
US11720980B2 (en) 2020-03-25 2023-08-08 Iunu, Inc. Crowdsourced informatics for horticultural workflow and exchange
WO2021221704A1 (en) * 2020-04-29 2021-11-04 Pollen Systems Corporation Crop management method and apparatus with autonomous vehicles
US20220036537A1 (en) * 2020-07-28 2022-02-03 The Board Of Trustees Of The University Of Alabama Systems and methods for detecting blight and code violations in images
US11464179B2 (en) 2020-07-31 2022-10-11 FarmX Inc. Systems providing irrigation optimization using sensor networks and soil moisture modeling
US11666004B2 (en) 2020-10-02 2023-06-06 Ecoation Innovative Solutions Inc. System and method for testing plant genotype and phenotype expressions under varying growing and environmental conditions
US20220107297A1 (en) * 2020-10-02 2022-04-07 Ecoation Innovative Solutions Inc. Platform for real-time identification and resolution of spatial production anomalies in agriculture
CN112129757A (zh) * 2020-10-15 2020-12-25 安阳工学院 一种植物病虫害自适应检测系统和方法
US11719681B2 (en) 2020-10-30 2023-08-08 International Business Machines Corporation Capturing and analyzing data in a drone enabled environment for ecological decision making
US11719682B2 (en) 2020-10-30 2023-08-08 International Business Machines Corporation Capturing and analyzing data in a drone enabled environment for ecological decision making
CN112612299B (zh) * 2020-12-01 2023-05-23 北京麦飞科技有限公司 一种微型无人机集群变量植保方法
CN112836725A (zh) * 2021-01-11 2021-05-25 中国农业科学院农业信息研究所 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法
JP2024505411A (ja) * 2021-01-11 2024-02-06 アグトノミー 作物ビューおよび灌漑モニタリング
US20220350989A1 (en) * 2021-04-30 2022-11-03 Cnh Industrial America Llc Agricultural systems and methods using image quality metrics for vision-based detection of surface conditions
US11941880B2 (en) * 2021-06-02 2024-03-26 Ping An Technology (Shenzhen) Co., Ltd. System and method for image-based crop identification
CN114066887B (zh) * 2022-01-11 2022-04-22 安徽高哲信息技术有限公司 大米垩白区域检测方法、装置、设备及存储介质
CN114402995B (zh) * 2022-01-19 2023-03-24 北京市农林科学院智能装备技术研究中心 空地协同的玉米去雄方法、系统及空中无人去雄机
CN114461741B (zh) * 2022-01-24 2022-11-04 北京师范大学 一种监测样点布设方法及装置
CN116434126B (zh) * 2023-06-13 2023-09-19 清华大学 农作物的微振动速度检测方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6422508B1 (en) * 2000-04-05 2002-07-23 Galileo Group, Inc. System for robotic control of imaging data having a steerable gimbal mounted spectral sensor and methods
US20120101796A1 (en) * 2010-10-25 2012-04-26 Lindores Robert J Water erosion management incorporating topography, soil type, and weather statistics
CN103523224A (zh) * 2013-10-31 2014-01-22 无锡同春新能源科技有限公司 一种带彩色稻病图像识别仪防治水稻白叶枯病的无人机
US20140089045A1 (en) * 2012-09-27 2014-03-27 Superior Edge, Inc. Methods, apparatus and systems for determining stand population, stand consistency and stand quality in an agricultural crop and alerting users
DE202014002338U1 (de) * 2014-03-15 2014-05-14 Volker Jung Weitgehend autonom fliegende UAV-Hubschrauber-Drohne zur Ausbringung von Pflanzenschutzmitteln in der Landwirtschaft, Forstwirtschaft und im Weinanbau (bis zu einem max. Abfluggewicht von 150kg)
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
US20140354996A1 (en) * 2010-03-10 2014-12-04 Drexell University Tunable electro-optic filter stack
CN104199425A (zh) * 2014-09-15 2014-12-10 中国农业科学院农业信息研究所 一种智能农业监控预警系统及方法
US20140365084A1 (en) * 2013-05-20 2014-12-11 Elwha Llc Systems and methods for detecting soil characteristics

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517193A (en) 1993-04-30 1996-05-14 International Business Machines Corporation Meteorological workstation
US5467271A (en) * 1993-12-17 1995-11-14 Trw, Inc. Mapping and analysis system for precision farming applications
US5798786A (en) 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
US6266063B1 (en) 1997-10-20 2001-07-24 Baron Services, Inc. Real-time three-dimensional weather display method and weathercast system
JP3932222B2 (ja) 1998-02-23 2007-06-20 ヤンマー農機株式会社 精密農法
FI112402B (fi) 1999-10-28 2003-11-28 Diware Oy Menetelmä puustotunnusten määrittämiseksi sekä tietokoneohjelma menetelmän suorittamiseksi
AU2002216339B2 (en) 2000-12-15 2006-03-02 Nooly Technologies Ltd. Location-based weather nowcast system and method
US7149366B1 (en) * 2001-09-12 2006-12-12 Flight Landata, Inc. High-definition hyperspectral imaging system
RU2207504C1 (ru) 2001-12-06 2003-06-27 Закрытое акционерное общество "ЦКМ" Способ крупномасштабной аэрофотосъемки
US6653947B2 (en) 2002-02-20 2003-11-25 Honeywell International Inc. Apparatus for the display of weather and terrain information on a single display
WO2007007323A2 (en) 2005-07-07 2007-01-18 Rafael - Armament Development Authority Ltd. Detection of partially occluded targets in ladar images
US20070188605A1 (en) 2006-02-14 2007-08-16 Deere & Company, A Delaware Corporation Irrigation remote sensing system
US7417210B2 (en) 2006-06-30 2008-08-26 Northrop Grumman Corporation Multi-spectral sensor system and methods
US7917346B2 (en) 2008-02-19 2011-03-29 Harris Corporation Geospatial modeling system providing simulated tree trunks and branches for groups of tree crown vegetation points and related methods
US9274250B2 (en) 2008-11-13 2016-03-01 Saint Louis University Apparatus and method for providing environmental predictive indicators to emergency response managers
US8577518B2 (en) 2009-05-27 2013-11-05 American Aerospace Advisors, Inc. Airborne right of way autonomous imager
US8537337B2 (en) 2009-12-22 2013-09-17 Weyerhaeuser Nr Company Method and apparatus for analyzing tree canopies with LiDAR data
EP2529557A1 (en) * 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
WO2011094802A1 (en) 2010-02-02 2011-08-11 Australian Rain Technologies Pty Limited Estimation of weather modification effects
MY173920A (en) 2010-06-04 2020-02-27 Univ Malaysia Perlis A flying apparatus for aerial agricultural application
US8538695B2 (en) 2010-06-30 2013-09-17 Weyerhaeuser Nr Company System and method for analyzing trees in LiDAR data using views
US8897483B2 (en) 2010-11-09 2014-11-25 Intelescope Solutions Ltd. System and method for inventorying vegetal substance
WO2012092554A1 (en) 2010-12-30 2012-07-05 Utility Risk Management Corporation, Llc Method for locating vegetation having a potential to impact a structure
US9756844B2 (en) 2011-05-13 2017-09-12 The Climate Corporation Method and system to map biological pests in agricultural fields using remotely-sensed data for field scouting and targeted chemical application
US8775081B2 (en) 2011-09-26 2014-07-08 Weyerhaeuser Nr Company Method and apparatus for sorting LiDAR data
AU2012325242B2 (en) 2011-10-21 2015-07-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Optical device and method for measuring a complexly formed object
CA2856418C (en) 2011-11-22 2019-01-08 Precision Planting Llc Stalk sensor apparatus, systems, and methods
US9819964B2 (en) 2012-05-04 2017-11-14 Environmental Systems Research Institute, Inc. Limited error raster compression
US10520482B2 (en) 2012-06-01 2019-12-31 Agerpoint, Inc. Systems and methods for monitoring agricultural products
AR092105A1 (es) 2012-08-10 2015-03-25 Prec Planting Llc Sistemas y metodos para controlar, monitorear y mapear aplicaciones agricolas
US9063544B2 (en) 2012-09-19 2015-06-23 The Boeing Company Aerial forest inventory system
EP3909408A1 (en) 2012-12-17 2021-11-17 The Climate Corporation Plot placement systems and methods
US10327393B2 (en) 2013-03-07 2019-06-25 Blue River Technology Inc. Modular precision agriculture system
BR112015028728B1 (pt) 2013-05-17 2020-12-08 Precision Planting Llc método para estimar umidade do solo em um campo
US9767521B2 (en) 2013-08-30 2017-09-19 The Climate Corporation Agricultural spatial data processing systems and methods
WO2015102731A2 (en) * 2013-10-18 2015-07-09 Aerovironment, Inc. Privacy shield for unmanned aerial systems
CN203528823U (zh) 2013-10-31 2014-04-09 无锡同春新能源科技有限公司 一种带彩色稻病图像识别仪防治水稻白叶枯病的无人机
CN103523226B (zh) 2013-10-31 2015-09-30 无锡同春新能源科技有限公司 一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机
CN203528822U (zh) 2013-10-31 2014-04-09 无锡同春新能源科技有限公司 一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机
CA2930989C (en) 2013-11-25 2018-11-13 First Resource Management Group Inc. Apparatus for and method of forest-inventory management
WO2015156884A2 (en) 2014-01-22 2015-10-15 Izak Van Cruyningen Forward motion compensated flight path
US9974226B2 (en) 2014-04-21 2018-05-22 The Climate Corporation Generating an agriculture prescription
US9813601B2 (en) 2014-05-06 2017-11-07 Urugus S.A. Imaging device for scenes in apparent motion
CN104050649A (zh) * 2014-06-13 2014-09-17 北京农业信息技术研究中心 农业遥感系统
US9641736B2 (en) 2014-06-20 2017-05-02 nearmap australia pty ltd. Wide-area aerial camera systems
US9510586B2 (en) 2014-07-31 2016-12-06 Elwha Llc Systems and methods for deactivating plant material outside of a growing region
US9717178B1 (en) 2014-08-08 2017-08-01 The Climate Corporation Systems and method for monitoring, controlling, and displaying field operations
CN107148633B (zh) 2014-08-22 2020-12-01 克莱米特公司 用于使用无人机系统进行农艺和农业监测的方法
US10109024B2 (en) 2014-09-05 2018-10-23 The Climate Corporation Collecting data to generate an agricultural prescription
US9519861B1 (en) 2014-09-12 2016-12-13 The Climate Corporation Generating digital models of nutrients available to a crop over the course of the crop's development based on weather and soil data
CA2964275A1 (en) 2014-10-21 2016-04-28 Tolo, Inc. Remote detection of insect infestation
US10217188B2 (en) * 2014-11-12 2019-02-26 SlantRange, Inc. Systems and methods for aggregating and facilitating the display of spatially variable geographic data acquired by airborne vehicles
IL236606B (en) 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
USD768626S1 (en) 2015-03-05 2016-10-11 The Climate Corporation Data processing device
USD783609S1 (en) 2015-05-07 2017-04-11 The Climate Corporation Data storage device
AU2016264360B2 (en) 2015-05-19 2020-01-02 Climate Llc Protective connector and applications thereof
CN105116407B (zh) 2015-06-26 2017-08-08 北京师范大学 一种利用手持型激光测距仪测量植被覆盖度的方法
US9969492B2 (en) 2015-09-04 2018-05-15 Nutech Ventures Crop height estimation with unmanned aerial vehicles
US10025983B2 (en) 2015-09-21 2018-07-17 The Climate Corporation Ponding water detection on satellite imagery
US10046187B2 (en) 2015-10-09 2018-08-14 Leonard E. Doten Wildfire aerial fighting system utilizing lidar
US9721181B2 (en) 2015-12-07 2017-08-01 The Climate Corporation Cloud detection on remote sensing imagery
CN105527969B (zh) 2015-12-17 2018-07-06 中国科学院测量与地球物理研究所 一种基于无人机的山地植被垂直带调查监测方法
CA3029134A1 (en) 2015-12-18 2017-06-22 Realmfive, Inc. Autonomous integrated farming system
US11102940B2 (en) 2016-03-31 2021-08-31 Husqvarna Ab Forestry management device
US9881214B1 (en) 2016-07-13 2018-01-30 The Climate Corporation Generating pixel maps from non-image data and difference metrics for pixel maps
CN106408578A (zh) 2016-09-22 2017-02-15 北京数字绿土科技有限公司 一种单木分割方法及装置
US10028451B2 (en) 2016-11-16 2018-07-24 The Climate Corporation Identifying management zones in agricultural fields and generating planting plans for the zones
US10204270B2 (en) 2016-11-17 2019-02-12 Fruitspec Ltd Method and system for crop yield estimation
CN107238574A (zh) 2017-06-07 2017-10-10 江苏大学 面向棉花靶向施肥的植株长势检测与诊断方法
US11391820B2 (en) 2019-04-26 2022-07-19 Waymo L LC Mirrors to extend sensor field of view in self-driving vehicles

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6422508B1 (en) * 2000-04-05 2002-07-23 Galileo Group, Inc. System for robotic control of imaging data having a steerable gimbal mounted spectral sensor and methods
US20140354996A1 (en) * 2010-03-10 2014-12-04 Drexell University Tunable electro-optic filter stack
US20120101796A1 (en) * 2010-10-25 2012-04-26 Lindores Robert J Water erosion management incorporating topography, soil type, and weather statistics
US20140089045A1 (en) * 2012-09-27 2014-03-27 Superior Edge, Inc. Methods, apparatus and systems for determining stand population, stand consistency and stand quality in an agricultural crop and alerting users
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
US20140365084A1 (en) * 2013-05-20 2014-12-11 Elwha Llc Systems and methods for detecting soil characteristics
CN103523224A (zh) * 2013-10-31 2014-01-22 无锡同春新能源科技有限公司 一种带彩色稻病图像识别仪防治水稻白叶枯病的无人机
DE202014002338U1 (de) * 2014-03-15 2014-05-14 Volker Jung Weitgehend autonom fliegende UAV-Hubschrauber-Drohne zur Ausbringung von Pflanzenschutzmitteln in der Landwirtschaft, Forstwirtschaft und im Weinanbau (bis zu einem max. Abfluggewicht von 150kg)
CN104199425A (zh) * 2014-09-15 2014-12-10 中国农业科学院农业信息研究所 一种智能农业监控预警系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HTTP://OPTICS.ORG/NEWS/4/7/12: "Hyperspectral kit goes airborne", 《HYPERSPECTRAL KIT GOES AIRBORNE》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512256A (zh) * 2018-01-25 2020-08-07 通用电气公司 自动和自适应的三维机器人现场勘测
CN111512256B (zh) * 2018-01-25 2021-11-05 通用电气公司 自动和自适应的三维机器人现场勘测
CN109711272A (zh) * 2018-12-04 2019-05-03 量子云未来(北京)信息科技有限公司 农作物智能化管理方法、系统、电子设备及存储介质
CN111435135A (zh) * 2019-01-11 2020-07-21 通用电气航空系统有限公司 经由uav收集数据的土地监测系统和方法
CN110691181A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 摄像设备、摄像机及无人机
CN110691181B (zh) * 2019-09-09 2021-10-08 苏州臻迪智能科技有限公司 摄像设备、摄像机及无人机
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111114814B (zh) * 2020-01-16 2022-04-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台

Also Published As

Publication number Publication date
AU2015376053A1 (en) 2017-08-24
US20170374323A1 (en) 2017-12-28
EP3242544A1 (en) 2017-11-15
CA2973319A1 (en) 2016-07-14
US10182214B2 (en) 2019-01-15
MX2017009061A (es) 2018-03-15
EA037035B1 (ru) 2021-01-28
ZA201705448B (en) 2018-07-25
IL236606B (en) 2020-09-30
EP3242544A4 (en) 2018-08-22
CA2973319C (en) 2020-10-13
US20190253673A1 (en) 2019-08-15
WO2016110832A1 (en) 2016-07-14
CN107426958B (zh) 2020-08-25
BR112017014855A2 (pt) 2018-01-09
AU2015376053B2 (en) 2019-07-11
EA201791589A1 (ru) 2017-12-29
BR112017014855B1 (pt) 2021-06-08
US11050979B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
US11050979B2 (en) Systems and methods for agricultural monitoring
Kulbacki et al. Survey of drones for agriculture automation from planting to harvest
Krishna Agricultural drones: a peaceful pursuit
CN107148633B (zh) 用于使用无人机系统进行农艺和农业监测的方法
Katsigiannis et al. An autonomous multi-sensor UAV system for reduced-input precision agriculture applications
Pajares Overview and current status of remote sensing applications based on unmanned aerial vehicles (UAVs)
Zhang et al. The application of small unmanned aerial systems for precision agriculture: a review
Saari et al. Unmanned Aerial Vehicle (UAV) operated spectral camera system for forest and agriculture applications
US20180348760A1 (en) Automatic Change Detection System
AU2019466291A1 (en) Systems and methods for gathering data relating to crops and for managing crop growing operations
Agurob et al. Autonomous Vision-based Unmanned Aerial Spray System with Variable Flow for Agricultural Application.
Phade et al. IoT‐Enabled Unmanned Aerial Vehicle: An Emerging Trend in Precision Farming
do Amaral et al. Application of drones in agriculture
Yang Remote sensing technologies for crop disease and pest detection
Bindelle et al. Drone-based remote sensing of sward structure and biomass for precision grazing: state of the art and future challenges.
Percival et al. Potential for commercial unmanned aerial vehicle use in wild blueberry production
Rudd Data Collection by Unmanned Aircraft Systems (UAS) to Improve Cotton Plant Growth Regulator and Defoliant Application Methods
Palos Sánchez et al. Mapping multispectral Digital Images using a Cloud Computing software: applications from UAV images
Ruwanpathirana et al. Assessment of the Optimal Flight Time of RGB Image Based Unmanned Aerial Vehicles for Crop Monitoring
Trukhachev et al. THE USE OF UNMANNED AERIAL VEHICLES IN THE MONITORING OF AGRICULTURAL LAND IN THE STAVROPOL TERRITORY
Bolo et al. Application of unmanned aerial vehicle (uav) for small scale precision farming in Botswana
FERTU et al. THE IMPACT OF MONITORING THE STATE OF VEGETATION OF LAVENDER CROPS USING ANALYSIS DRONES.
Chaudhary et al. Introduction to Drone Technology for Natural Resource Management in Agriculture
Shanmuganathan et al. Elakkiya Elango, AhamedLebbe Hanees
Elango et al. Precision Agriculture: A Novel Approach on AI-Driven Farming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant