CN111656387A - 图像中的作物边界检测 - Google Patents

Abstract

在实施例中，获得与地理区域和时间段相关联的多个图像集，其中所述多个图像集中的每个图像集包括多频谱和时间序列图像，该多频谱和时间序列图像描绘在该时间段期间该地理区域的相应特定部分；以及预测在与所述多个图像集中的图像集相关联的地理区域的特定部分内的特定位置处的作物的存在。基于预测的在特定位置处的作物的存在来确定地理区域的特定部分内的作物边界位置，以及生成包括覆盖有作物地区的指示的图像集的多频谱和时间序列图像中的至少一个图像的作物指示图像，其中作物地区由所确定的作物边界位置限定。

Description

图像中的作物边界检测

相关申请的交叉引用

本申请要求于2018年1月23日提交的美国临时专利申请第62/620,908号的优先权，其全部公开内容通过引用并入本文。

技术领域

本公开一般而言涉及图像特征检测，并且特别地但非排他地涉及机器学习在图像特征检测中的使用。

背景技术

目前，约11％的地球陆地表面用于作物生产。虽然农业对于人类生存、环境影响、国家影响、商业企业、市场等都具有重要性，但是对在地理区域、县、州、国家、大洲、全球范围或上述任何部分内的所有农业田地没有一致的、可靠的和/或精确的识别。例如，如果知道关于农业田地的更多信息，那么种子和肥料公司就可以更好地确定其产品在不同地理区域的可用市场；作物保险公司可以更准确且更具成本效益地评估保费；银行可以更准确地提供农场贷款；和/或政府可以更好地评估税收、分配补贴、确定区域粮食容量、规划基础设施，等等。

在可能存在与农业用地相关的地图数据的程度上来说，对于许多实际用途，这样的数据倾向于不一致、不准确、过时和/或不完整。例如，政府实体可能对地理区域内的全部农业用地和/或农民的一小部分进行调查或采样，并将小的数据集外推来近似地理区域内实际存在的所有农业用地的田地位置、尺寸、形状、作物类型、计数等。由于采集此类数据的劳动密集型性质，农业用地数据倾向于不经常(或出于许多商业目的而太不经常)进行更新。

农业用地使用倾向于随地区、时间等而变化。发展中国家的农场规模倾向于比发达国家的小得多。对于同一田地，作物也可能随季节或年份而改变。可以将农业用地重新用于非农业用途(例如，住宅开发)。因此，对于一个或多个特定地理区域(例如，县、国家、星球)，在足够细粒度级别上准确地识别出农业用地，并廉价且足够频繁地维护农业用地特征信息将是有益的。

附图说明

参考以下各图描述了本发明的非限制性和非穷举性的实施例，其中除非另外指明，否则贯穿各个视图，相同的附图标记指代相同的部分。并非元素的所有实例都一定被标记，以免在适当的地方使附图杂乱。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。

图1描绘了根据一些实施例的图示了结合有本公开的作物边界检测技术的示例系统的网络视图的框图。

图2描绘了根据一些实施例的图示可以由图1的系统实现的示例处理的流程图。

图3描绘了根据一些实施例的根据本公开的作物边界检测技术的示例图像。

图4A-4B描绘了根据一些实施例的覆盖有作物边界以及识别出的作物田地和子田地的示例图像。

图5描绘了根据一些实施例的图示可以由图1的系统实现的另一个示例处理的流程图。

图6描绘了根据一些实施例的可以在本公开的图1的系统中实现的示例设备。

具体实施方式

本文描述了用于图像中的作物边界检测的系统、装置和方法的实施例。在一些实施例中，一种方法包括：获得与地理区域和时间段相关联的多个图像集，其中所述多个图像集中的每个图像集包括多频谱和时间序列图像(multi-spectral and time seriesimage)，这些多频谱和时间序列图像描绘了在所述时间段期间地理区域的相应特定部分；预测在与所述多个图像集中的图像集相关联的地理区域的特定部分内的特定位置处的作物的存在；基于预测的在特定位置处的作物的存在来确定地理区域的特定部分内的作物边界位置；以及生成作物指示图像，该作物指示图像包括覆盖有作物地区的指示的图像集的多频谱和时间序列图像中的至少一个图像，其中作物地区由确定的作物边界位置定义。

在以下描述中，阐述了许多具体细节以提供对实施例的透彻理解。但是，相关领域的技术人员将认识到，本文描述的技术可以在没有一个或多个具体细节的情况下，或者通过其它方法、部件、材料等来实践。在其它情况下，为了避免模糊某些方面，未详细示出或描述众所周知的结构、材料或操作。

在整个说明书中，对“一个实施例”或“实施例”的引用表示结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在实施例中”不一定都是指同一个实施例。此外，在一个或多个实施例中，可以以任何合适的方式组合特定特征、结构或特性。

图1描绘了根据一些实施例的图示了结合本公开的作物边界检测技术的示例系统100的网络视图的框图。系统100可以包括网络102、服务器104、数据库106、服务器108、数据库110、设备112和航空图像捕获设备116。服务器104、数据库106、服务器108、数据库110、设备112和航空图像捕获设备116中的一个或多个可以与网络102通信。至少服务器108可以包括本公开的作物边界检测技术，以促进以亚米分辨率自动检测图像中的作物边界，如下文更全面描述的。

网络102可以包括一个或多个有线和/或无线通信网络。网络102可以包括一个或多个网络元件(未示出)以物理地和/或逻辑地连接计算机设备以彼此交换数据。在一些实施例中，网络102可以是互联网、广域网(WAN)、个人区域网(PAN)、局域网(LAN)、园区网(CAN)、城域网(MAN)、虚拟局域网(VLAN)、蜂窝网络、载波网络、WiFi网络、WiMax网络，等等。此外，在一些实施例中，网络102可以是私有、公共和/或安全网络，其可以由单个实体(例如，企业、学校、政府机关、家庭、个人等)使用。虽然未示出，但是网络102可以包括但不限于服务器、数据库、交换机、路由器、网关、基站、中继器、软件、固件、中间服务器和/或其它部件，以促进通信。

服务器104可以包括一个或多个计算机、处理器、蜂窝基础设施、网络基础设施、回程基础设施、托管服务器、服务器、工作站、个人计算机、通用计算机、膝上型电脑、互联网电器、手持式设备、无线设备、物联网(IoT)设备、便携式设备等，其被配置为促进以一个或多个分辨率收集、管理和/或存储陆地表面的航空图像(也称为陆地表面图像、陆地图像、影像或图像)。例如，服务器104可以命令设备116获得一个或多个特定地理区域的图像，以遍历特定轨道、以用特定分辨率获得图像、以用特定频率获得图像、以获得特定地理区域在特定时间段的图像等。作为另一个示例，服务器104可以与设备116通信以接收由设备116捕获的图像。作为又一个示例，服务器104可以被配置为从政府来源、用户(例如，诸如用户114)等获得/接收具有包括的相关联的作物相关信息(例如，作物类型标识、作物边界、识别出的道路位置和/或其它注释的信息)的图像。如下面将详细讨论的，具有包括的相关联的作物相关信息的图像可以包括人类标记的图像、美国农业部(USDA)农田数据层(CDL)数据、美国农业服务局(FSA)公共土地单位(CLU)数据、地面真实数据(ground truth data)，等等。

服务器104可以与设备116彼此直接和/或经由网络102通信。在一些实施例中，服务器104可以包括一个或多个web服务器、一个或多个应用服务器、一个或多个中间服务器，等等。

数据库106可以包括一个或多个存储设备，以存储供服务器104、设备112、服务器108和/或数据库110使用的数据和/或指令。例如，数据库106可以包括由设备116提供的图像和相关联的元数据。可以经由网络102和/或直接由服务器104访问数据库106的内容。数据库106的内容可以以结构化的格式布置以促进选择性检索。在一些实施例中，数据库106可以包括多于一个数据库。在一些实施例中，数据库106可以被包括在服务器104内。

根据一些实施例，服务器108可以包括一个或多个计算机、处理器、蜂窝基础设施、网络基础设施、回程基础设施、托管服务器、服务器、工作站、个人计算机、通用计算机、便携式电脑、互联网电器、手持式设备、无线设备、物联网(IoT)设备、便携式设备等，其被配置为实现本公开的作物边界检测技术的一个或多个特征。服务器108可以被配置为使用由服务器104/数据库106提供的图像和可能的相关联数据来训练并生成基于机器学习的模型，该模型能够在预定级别的置信度/准确度内自动检测存在于陆地表面的多个图像中的每个图像内的作物边界。作物边界识别可以是亚米级别的粒度或分辨率。“经训练的”基于机器学习的模型可以被配置为在不受人类监督的情况下识别图像中的作物边界。可以通过实现监督的机器学习技术来训练模型。服务器108还可以促进对具有识别出的作物边界的图像的访问和/或使用。

服务器108可以直接或经由网络102与服务器104、数据库106、数据库110和/或设备112中的一个或多个通信。在一些实施例中，服务器108还可以与设备116通信以促进如上结合服务器104所述的一个或多个功能。在一些实施例中，服务器108可以包括一个或多个web服务器、一个或多个应用服务器、一个或多个中间服务器，等等。

服务器108可以包括硬件、固件、电路系统、软件和/或其组合，以促进本文描述的技术的各个方面。在一些实施例中，服务器108可以包括但不限于图像过滤逻辑120、作物/非作物检测逻辑122、训练逻辑124、作物边界检测逻辑126和后检测(post-detection)逻辑128。如将在下面详细描述的，图像过滤逻辑120可以被配置为对图像应用一个或多个过滤、“清洁”或去噪技术，以从图像去除伪像和其它不期望的数据。作物/非作物检测逻辑122可以被配置为确定图像的作物和非作物地区(也称为作物/非作物热图)。作物/非作物检测逻辑122可以包括“经训练的”基于机器学习的模型的至少一部分。训练逻辑124可以被配置为促进一个或多个机器学习技术的监督学习、训练和/或细化，以生成作物/非作物检测逻辑122。替代地，训练逻辑124可以被配置为支持无监督学习、半监督学习、强化学习、计算机视觉技术，等等。

作物边界检测逻辑126可以被配置为基于由作物/非作物检测逻辑122确定的图像的作物和非作物地区来检测或识别图像内的作物边界(例如，封闭边界)。唯一的作物田地或子田地可以与每个检测到的作物边界相关联。后检测逻辑128可以被配置为执行一个或多个后作物边界检测活动，诸如，但不限于，将唯一标识符分配给与检测到的作物边界相关联的每个唯一作物田地(或作物子田地)、提供作物田地(或子田地)搜索能力、作物边界检测更新能力，等等。

在一些实施例中，逻辑120-128中的一个或多个(或其一部分)可以被实现为包括将由服务器108中包括的一个或多个处理器执行的一个或多个指令的软件。在替代实施例中，逻辑120-128中的一个或多个(或其一部分)可以被实现为固件或硬件，诸如，但不限于，服务器108中包含的专用集成电路(ASIC)、可编程阵列逻辑(PAL)、现场可编程门阵列(FPGA)，等等。在其它实施例中，逻辑120-128中的一个或多个(或其一部分)可以被实现为软件，而逻辑120-128中的其它逻辑(或其一部分)可以被实现为固件和/或硬件。

虽然在图1中服务器108可以被描绘为单个设备，但是预期服务器108可以包括一个或多个服务器和/或逻辑120-128中的一个或多个可以分布在多个设备上。在一些实施例中，取决于计算资源或限制，可以在多个实例中实现逻辑120-128中的一个或多个。

数据库110可以包括一个或多个存储设备，用于存储供服务器108、设备112、服务器104和/或数据库110使用的数据和/或指令。例如，数据库110可以包括由服务器104/数据库106/设备116提供的图像、用于构建和/或训练作物/非作物检测逻辑122的地面真实数据、由作物/非作物检测逻辑122生成的作物/非作物热图、由作物边界检测逻辑126识别的作物边界、由作物边界检测逻辑126使用的先验知识数据、标识符和其它相关联的图像和/或作物边界信息、将由逻辑120-128中的任何一个使用的数据、由逻辑120-128中的任何一个生成的数据、将由用户114经由设备112访问的数据和/或将由用户114经由设备112提供的数据。数据库110的内容可以由服务器108经由网络102和/或直接访问。数据库110的内容可以以结构化格式布置以促进选择性检索。在一些实施例中，数据库110可以包括多于一个数据库。在一些实施例中，数据库110可以被包括在服务器108内。

设备112可以包括一个或多个计算机、工作站、个人计算机、通用计算机、膝上型电脑、互联网电器、手持式设备、无线设备、物联网(IoT)设备、便携式设备、智能电话、平板电脑，等等。在一些实施例中，用户114可以与设备112接口以提供要由逻辑120-128中的一个或多个使用的数据(例如，手动识别选择图像上的作物边界以用作地面真实数据、修改或修正根据作物边界检测逻辑126预测的作物边界)和/或请求与预测的作物边界相关联的数据(例如，搜索特定作物田地(或子田地)、请求覆盖有预测的作物边界的特定图像的可视显示)。至少训练逻辑124和/或后检测逻辑128可以促进与设备112相关联的功能。提供用于作物边界检测的数据的用户114可以与请求已经根据作物边界检测的执行生成的数据的用户相同或不同。

设备116可以包括卫星、飞机、无人机、热气球和/或能够捕获陆地表面的多个航空或空中照片的其它设备中的一个或多个。多个航空照片可以包括多个多频谱时间序列图像。设备116可以包括一个或多个位置跟踪机构(例如，全球定位系统(GPS))、多频谱成像机构、天气状况检测机构、时间日期戳生成机构、用于检测距陆地表面的距离的机构和/或相关联的图像元数据生成能力，以为捕获的多个图像中的每个图像提供相关联的图像信息。设备116可以是手动和/或自动操作的，并且捕获的图像可以经由有线或无线连接提供给服务器104、服务器108或其它设备。设备116还可以在特定时间段内多次部署在相同位置上，以捕获相同位置的时间序列图像。可以由设备116提供的或从设备116提供的图像生成的图像(与地面真实数据相关联，或者可能期望对其进行自动作物边界检测)的示例包括但不限于Landsat 7卫星图像、Landsat 8卫星图像、Google Earth图像，等等。

虽然以上结合图1讨论了分立部件，但是可以组合各部件。例如，服务器104和108可以包括单个部件，数据库106和110可以包括单个部件，和/或设备112可以与服务器108组合。

图2描绘了根据一些实施例的图示示例处理200的流程图，该处理可以由系统100实现以生成作物边界检测模型、使用生成的作物边界检测模型执行作物边界检测以及提供对与作物边界相关联的作物田地/子田地信息的各种访问。

在方框202处，训练逻辑124可以被配置为获得或接收地面真实数据，该地面真实数据包括具有识别出的作物边界的多个陆地表面图像。可以选择包括地面真实数据的多个图像，以涵盖具有各种陆地特征、作物边界等的图像，从而训练/生成能够处理可能存在于要进行检测的图像中的不同陆地特征和作物边界的检测模型。

在一些实施例中，多个图像可以包括包含多频谱数据(例如，红绿蓝(RGB)光谱、可见光谱、近红外(NIR)、归一化植被差异指数(NDVI)、红外(IR)等)的图像(也称为多频谱图像或影像)。多个图像还可以包括时间序列图像，其中相同的地理位置可以在特定时间段内被多次成像。特定时间段可以包括但不限于作物生长季节(例如，五月至十月)、一年、多年、2008年至2016年和/或其它预定时间。成像频率可以是每小时、每天、每周、每两周、每月、每季、几年等。与特定地理位置相关联以及可选地特定时间段内的图像可以被称为图像集。地面真实数据中可以包括多个图像集。

在一些实施例中，地面真实数据可以包括具有识别出的作物边界(或作物田地)的现有图像，其中可以以低(地面)分辨率(例如，大于一米分辨率、3至250米分辨率、30米分辨率等)来识别作物边界(或作物田地)。这样的图像可以是高频率的，诸如每天到每两周的刷新率。因为作物边界识别以低分辨率进行，因此这种识别可以被认为是“有噪声的”，近似的或不准确的。具有低分辨率识别的作物边界的现有图像的示例可以包括但不限于USDA CDL数据、FSA CLU数据、政府收集的数据、采样或基于调查的数据、农民报告，等等。具有识别出的作物边界的现有图像可以由服务器104获得、存储在数据库106中和/或提供给服务器108。

在一些实施例中，地面真实数据可以包括CDL和CLU数据(如以上所讨论的)和/或人类标记的数据。人类标记的数据可以包括图像中的由例如用户114经由设备112上提供的图形用户界面(GUI)机制手动识别、标记或注释的作物边界。这样的手动注释可以处于比可能与CDL和/或CLU数据相关联的分辨率更高的(地面)分辨率。例如，可以从设备116获得手动标记的图像。图像可以是若不是作物边界已经被人工识别出则原本可以应用于作物边界检测模型以用于作物边界检测的图像。训练逻辑124可以促进图像的选择、所选择的图像的呈现、人类标记的图像的使用，等等。地面真实数据也可以被称为训练数据、模型构建数据、模型训练数据，等等。

在一些实施例中，与地面真实数据相关联的时间段和/或(一个或多个)地理区域可以和与要为其检测作物边界(在方框216处)的图像相关联的时间段和/或(一个或多个)地理区域相同(或近似相同)。例如，对于要在方框216处对其进行操作的于2008至2016年期间拍摄的图像，可以使用来自2008年的CLU数据，可以使用来自2008-2016年的CDL数据，并且人类标记的数据可以包括2008至2016期间拍摄的图像。CLU和CDL数据可以包括美国的图像数据，并且人类标记数据也可以包括美国的图像数据。

接下来，在方框204处，图像过滤逻辑120可以被配置为对包括地面真实数据的一个或多个图像执行初步过滤。在一些实施例中，初步过滤可以包括在每个像素的基础上监视图像中包括的云、阴影、阴霾、雾、大气障碍物和/或其它陆地表面障碍物。在每个像素的基础上，如果检测到这样的障碍物，那么图像过滤逻辑120可以被配置为确定是否解决障碍物、如何校正障碍物、在方框206处构造模型时是否省略与感兴趣的像素相关联的图像信息，等等。例如，如果第一像素由于云而没有包括陆地表面信息，但是和与第一像素相邻的第二像素相关联的地理位置由于没有被云遮挡而被成像，则图像过滤逻辑120可以被配置为将第一像素值改变为第二像素值。作为另一个示例，给定图像中的已知不正确像素值可以用来自相同图像集内的另一个图像(例如，来自相同时间序列中针对相同地理位置的不同图像)中的对应像素的像素值代替。在其它实施例中，方框204可以是可选的。

在方框206处，利用获得的并且可选地对其进行初步过滤或校正的地面真实数据，可以将所得地面真实数据应用于一个或多个机器学习技术/系统，以生成或构建作物/非作物模型。在一些实施例中，作物/非作物模型可以包括作物/非作物检测逻辑122。机器学习技术/系统可以包括例如卷积神经网络(CNN)或监督学习系统。作物/非作物模型可以被配置为针对和与作为输入提供的图像集相关联的特定地理位置对应的每个像素提供作物或非作物的概率预测。由于地面真实数据包括具有准确识别出的作物边界的图像，因此机器学习技术/系统可以学习图像中的哪些陆地表面特征指示作物或不是作物。这样的知识，当足够详细和准确时，则可以用于自动识别对于其作物边界可能未知的图像中的作物边界。

在一些实施例中，作物/非作物模型可以与特定地理区域—在包括地面真实数据的图像中捕获的相同地理区域—相关联。例如，作物/非作物模型可以特定于美国境内的特定县。同样，作物/非作物模型也可以与特定时间段—与包括地面真实数据的图像相关联的同一时间段—相关联。随着地理区域变得更大，可能会出现数据不一致或区域差异，这可能导致不太准确的作物/非作物模型。

接下来，训练逻辑124可以被配置为确定作物/非作物模型的准确度是否等于或超过预定阈值。预定阈值可以是70％、80％、85％、90％等等。如果模型的准确度小于预定阈值(方框208的否分支)，那么处理200可以返回到方框202以获得/接收附加的地面真实数据以应用于机器学习技术/系统来细化当前的作物/非作物模型。向机器学习技术/系统提供附加的地面真实数据包括提供附加的监督学习数据，使得作物/非作物模型可以更好地被配置为预测像素是描绘作物(或位于作物田地内)还是不是作物(或不位于作物田地内)。可以进行方框202-208的一个或多个迭代，直到可以构建足够准确的作物/非作物模型为止。

如果模型的准确度等于或超过预定阈值(方框208的是分支)，那么作物/非作物模型可以被视为可接受用于其中作物边界(或作物田地)未知的图像的无监督或自动作物/非作物检测。在方框210处，可以获得或接收要应用于作物/非作物模型以进行自动检测的多个图像。多个图像可以是由设备116捕获的图像。

在一些实施例中，多个图像可以包括多个图像集，其中多个图像集中的每个图像集可以与共同包括可能期望为其识别位于其中的所有作物田地/子田地的地理区域(例如，美国)的多个部分/地区(例如，美国的所有县)的相应部分/地区(例如，美国的一个县)相关联。对于多个部分/地区中的每个部分/地区，相关联的图像集可以包括：(1)多个时间点(例如，5月1日、6月1日、7月1日、8月1日、9月1日和10月1日)中的每个时间点的至少一个图像，以及(2)对于多个时间点中的相应时间点，也可能存在一个或多个图像，其中每个图像可以提供特定的/与同一时间点拍摄的另一个图像不同的频谱信息(例如，5月1日拍摄的第一图像包括RGB图像，5月1日拍摄的第二图像包括NIR图像，5月1日拍摄的第三图像包括NDVI图像等)。

被多个图像覆盖的整个地理区域可以是与在方框202中用于生成作物/非作物模型的图像相关联的相同(或近似相同)的地理区域。换句话说，在方框206中生成的作物/非作物模型可能已经被专门开发定制用于在方框210中的图像上使用。这样的作物/非作物模型也可以被称为局部或局部化作物/非作物模型。在方框210中获得的多个图像也可以和与作物/非作物模型的时间段相同的时间段相关联。继续上面的示例，在方框206中生成的作物/非作物模型可以与美国和2008-2016年相关联(因为用于训练和构建模型的图像是在2008-2016年期间拍摄的美国的图像)并且方框210中的多个图像可以类似地是在2008-2016年期间拍摄的美国的图像。

图像集内的每个图像可以描绘相同的陆地位置(处于相同朝向并且处于距表面的相同距离处)，不同之处在于图像在多频谱和/或时间序列内容上彼此不同。因此，图像集内的每个图像可以是“相同”图像，不同之处在于陆地表面特征可能在不同时间和/或不同频谱/颜色组成方案上不同。在一些实施例中，包括方框202中的地面真实数据的图像集内的图像可以具有相似的特性。

然后，在方框212处，方框210的图像可以被图像过滤逻辑120初步过滤。在一些实施例中，方框212可以类似于方框204，不同之处在于进行操作的图像是方框210的图像而不是方框202的图像。在其它实施例中，如果拍摄(或根据需要重新拍摄)图像以确保图像中不存在云和其它障碍物，那么方框212可以是可选的。

接下来，在方框214处，作物/非作物检测逻辑122可以被配置为针对在方框210中获得的多个图像集中的每个(经过滤的)图像集确定作物/非作物热图。对于多个图像集中的每个图像集，可以将该图像集提供为在方框206中生成的作物/非作物模型的输入，并且作为响应，作物/非作物模型可以以每个像素为基础提供是否描绘作物的预测/确定。换句话说，预测在与相应图像集相关联的地理区域的特定部分内的特定位置处的作物的存在(或无作物)。热图的每个像素可以指示作物或不是作物的相对或绝对概率。例如，可以通过缺少指示符来指示作物的零概率，可以通过红色的最暗或最亮阴影来指示作物的最高概率，并且可以用无指示与最暗/最亮红色之间的颜色、阴影、色调、模式等来适当地分级介于两者之间的概率。在一些实施例中，可以根据栅格格式对热图进行向量化。

包括针对相同地理地区的图像集的多频谱和时间序列图像可以允许检测特定陆地表面特征随时间改变，这有助于确定特定地区是否更可能是作物地区。例如，作物颜色可能会随着生长季节的过程而改变。播种前、生长季节期间和收获后的作物田地看起来可能彼此不同。作物颜色随时间改变的特定模式可以指示生长的作物的类型(例如，小麦、大豆、玉米等)。何时种植和/或收获作物可以指示生长的作物的类型。如果第一年在给定作物田地中生长了第一类型的作物，然后第二年在同一作物田地中生长了与第一类型的作物不同的第二类型的作物，那么在这两年之间检测到的改变可以指示与该作物田地相关联的地理位置可能是作物地区。

在一些实施例中，可以通过使用覆盖在原始图像上的特定颜色、模式、阴影、色调或其它指示符来指示由热图提供的作物/无作物的概率预测。图3描绘了根据一些实施例的根据本公开的作物边界检测技术的示例图像。图像300描绘了来自图像集的原/原始图像，图像302描绘了覆盖有作物/非作物热图的图像300，并且图像304描绘了针对图像300的作物边界预测。在图像300中，显示了各种表面特征，包括建筑物322的屋顶。在方框214处，图像300以及与图像300对应的图像集中的其余图像可以应用于作物/非作物模型。作物/非作物模型输出的所得作物/非作物热图可以如图像302中所示。在图像302中，地区310(由与图像300中不同的颜色指示)可以包括由作物/非作物模型预测的作物地区。

返回图2，在方框216处，作物边界检测逻辑126可以被配置为针对方框210的多个图像集中的每个图像集基于作物/非作物热图确定作物边界。除了使用作物/非作物热图之外，作物边界位置确定还可以根据先验知识信息、去噪技术的应用、聚类和区域生长技术的应用，等等。

在一些实施例中，作物边界检测逻辑126可以被配置为在确定作物边界时使用先验知识信息。先验知识信息可以包括但不限于道路、水路、林地、建筑物、停车场、围栏、墙壁和其它物理结构的已知位置；关于农业或农耕实践的已知信息，诸如由与图像集相关联的地理位置附近的特定农业/农耕实践产生的特定边界形状(例如，在已知使用枢纽灌溉的情况下的直线边界或圆形边界)；作物类型；等等。可以实现去噪或过滤技术以确定作物边界和/或细化作物边界。适用的去噪或过滤技术可以包括但不限于平滑初步地确定的作物边界的技术(例如，由于在没有物理屏障的情况下，边界往往呈线性或遵循几何形状)。类似地，可以采用聚类和区域生长技术来确定或细化作物边界。非监督的聚类和区域生长技术可以用于将其中一些像素与其周围显著更大数量的像素偏离的地区中的杂散像素从非作物重新分类为作物，反之亦然。例如，如果在被分类为作物的较大地区内几个像素被分类为非作物，那么可以将这几个像素重新分类为作物。

与每个作物地区/田地/子田地相关联的作物边界可以被确定或识别为亚米(地面)分辨率、约0.15至0.2米的分辨率、小于0.5米的分辨率、小于约0.2米的分辨率，等等。

作物边界可以限定封闭形状的地区。作物边界可以包括作物田地边界，或者在图像集中存在足够信息和/或先验知识信息的情况下，可以包括作物子田地边界。作物田地边界可以限定作物田地，其可以包括由围栏、永久性水路、林地、道路等划定的物理地区。作物子田地可以包括作物田地的子集，其中作物田地的物理地区的一部分主要地包含与作物田地的物理地区的另一部分中的主要作物类型不同的特定作物类型。物理地区的每个不同作物类型部分都可以被视为作物子田地。因此，作物田地可以包含一个或多个作物子田地。例如，作物田地可以包括玉米的第一作物子田地和大豆的第二作物子田地。

在一些实施例中，由作物/非作物检测逻辑122提供的作物/非作物热图可以指示作物地区的可能性，而作物边界检测逻辑126可以被配置为对在作物/非作物热图中被指示可能描绘作物的像素中的哪些像素包括(一个或多个)作物田地或(一个或多个)作物子田地做出最终确定。作物田地或子田地的周界限定了相关联的作物田地或子田地边界。

在图3中，图像304包括由在方框216中针对包括图像300的图像集识别出的作物边界限定的作物地区312。道路324以及建筑物和周围地区320(与建筑物322相关联)被示出为非作物地区。图4A描绘了根据一些实施例的覆盖有作物边界以及由这样的作物边界限定的识别出的作物田地和子田地的示例图像400。在作物边界402内，可以存在第一作物子田地404和第二作物子田地406。相反，在作物边界408内，仅可以存在作物田地410。

在针对所有图像集识别出作物边界和相关联的作物田地/子田地的情况下，处理200可以进行到方框218，其中后检测逻辑128可以被配置为针对所有图像集(例如，针对整个地理区域)根据识别出的作物田地/子田地执行一个或多个后检测活动。对于已基于识别出的作物边界识别的每个作物田地/子田地，后检测活动可以包括但不限于计算作物田地/子田地的面积、为作物田地/子田地分配唯一标识符(例如，将永远不会在另一个作物田地/子田地上重复使用的唯一计算机生成的标识号(GUID))、在分类系统内对作物田地/子田地进行分类(例如，作物田地/子田地可以被分类、分配、标记或与特定大洲、国家、州、县等相关联)，和/或生成相关联的元数据以用于存储、检索、搜索和/或更新活动。在一些实施例中，后检测活动还可以包括在原始图像上覆盖识别出的作物田地/子田地的指示，以便在视觉上呈现作物田地/子田地检测结果，或者以其它方式用检测到的信息在视觉上增强原始图像。由后检测活动产生的数据可以被保持在数据库110中。

在一些实施例中，对于每个图像集，后检测逻辑128可以被配置为生成新图像(也被称为作物指示图像)，该新图像描绘类似于图4A的图像400的覆盖有作物田地和子田地(和/或作物边界)的指示符的原始图像(例如，包括图像集的多个图像中的至少一个图像)。图4B描绘了根据一些实施例的可以包括生成的新图像的另一个示例图像420。图像420示出了覆盖在原/原始照片图像上的四个作物边界422、426、430和434的指示。由作物边界422、426、430、434限定的每个封闭地区包括作物地区/田地/子田地。因此，作物边界422、426、430、434指示图像420中的相应作物区域/田地/子田地424、428、432、436。

如果执行涉及特定作物田地/子田地的查看、搜索或其它活动，那么可以将这种生成的新图像显示给用户。

接下来，在方框220处，后检测逻辑128可以被配置为确定是否要更新作物边界。可以基于新图像的可用性(例如，与一个或多个作物边界的潜在改变近乎实时地)、时间/日期事件(例如，新年、新的生长季节)、自上次更新以来经过足够的时间、一些预设的时间段(例如，周期性地、每周、每两周、每月、每季、每年等)等来触发更新。如果要执行更新(方框220的是分支)，那么处理200可以返回到方框210。如果没有更新要被执行(方框220的否分支)，那么处理200可以进行到方框222和224。

在方框222处，后检测逻辑128可以被配置为提供作物田地/子田地查看和搜索功能。可以实现应用编程接口(API)、网站、应用等，以使用户以各种方式访问作物田地/子田地数据。例如，用户可以按照纬度/经度、县、尺寸、形状、GUID或任何其它(一个或多个)搜索参数来搜索特定作物田地/子田地。可以将覆盖有作物边界和/或作物田地/子田地的图像显示给用户。用户可以例如经由设备112执行搜索并查看作物田地/子田地数据。

在方框224处，后检测逻辑128可以被配置为促进接受已经由授权用户自动识别的作物边界的修改。种植作物的农民可能会注意到数据库中为他/她的作物识别出的作物边界和/或作物田地/子田地不正确，并且可以用正确的作物边界手动标记图像。修改能力可以类似于在方框202中生成人类标记的图像。提供的修改(可能需要经过批准)随后可以用于更新数据库110。提供的修改也可以用作地面真实数据来细化作物/非作物模型。

以这种方式，粒度为亚米分辨率的给定地理区域(例如，县、州、国家、大洲、全球)的作物田地/子田地(或作物边界)的完整数据库可以被自动生成，并且可以在最少监督的情况下随着时间的推移保持最新。对于多个地理区域，假设存在多个地理区域中的相应地理区域的地面真实数据，那么可以针对多个地理区域中的每个地理区域执行处理200。

图5描绘了根据一些实施例的图示可以由系统100实现以使用现有的作物边界检测模型执行作物边界检测并以需要为基础修改作物边界检测模型的示例处理500的流程图。在一些实施例中，方框502、504、506、508可以类似于图2的相应方框210、212、214、216，不同之处在于为其执行作物边界检测的图像集可以与不同于与在方框506中使用的作物/非作物模型相关联的地理区域和/或时间段的地理区域和/或时间段相关联。

继续上面的示例，作物/非作物模型是基于2008-2016年期间拍摄的美国的图像生成的，而方框502的图像集可以是在2000-2007年期间拍摄的美国的图像。作为另一个示例，方框502的图像集可以是除美国之外的地理区域(例如，外国、中国、墨西哥、加拿大、非洲、东欧等)的图像。作为又一个示例，方框502的图像集可以是在除2008-2016之外的几年期间拍摄的特定地理区域的图像。即使作物/非作物模型可能未针对要处理的图像进行准确定制，但由于该模型已经存在，因此其可以用作起始点。对于美国以外的国家，可能不存在或存在不足够的公开可用的地面真实数据来容易地生成作物/非作物模型。

在一些实施例中，方框510-512可以与方框502-508同时执行、在其之前执行或在其之后执行。方框510、512可以类似于图2的相应方框202、204。在方框510中获得的地面真实数据可以和与方框502的图像集相同(或近似相同)的地理区域和/或时间段相关联。在一些实施例中，方框510的地面真实数据的量可以与方框202的地面真实数据的量不同。由于对于美国以外的国家或对于较早年份可能存在很少或没有政府/公共可用的作物数据，因此可能只有较少量的地面真实数据可用。

在方框514处，训练逻辑124可以被配置为通过与在方框510、512中提供的(经过滤的)地面真实数据中识别出的作物边界进行比较来评估在方框508中使用现有作物/非作物模型预测的作物边界的至少一个子集的准确度。在一些实施例中，可以将两组识别出的作物边界数据中与相同(或几乎相同)地理地区相关联的相应作物边界彼此进行比较。

如果预测的作物边界的准确度等于或超过阈值(方框514的是分支)，那么处理500可以进行到方框516-522。该阈值可以包括诸如75％、80％、85％、90％等的预设阈值。现有的作物/非作物模型可以被认为对于与方框502的感兴趣的图像相关联的特定地理区域和时间段是合适的(或足够准确的)。在一些实施例中，方框516、518、520、522可以类似于图2的相应方框218、220、222、224，不同之处在于感兴趣的作物边界是在方框508中确定的那些作物边界。在方框518中，如果作物边界要被更新(方框518的是分支)，那么处理500可以返回到方框502。对于作物边界更新，一旦模型的适用性/准确度已被最初确认，就可以不需要重复方框510、512和514。

如果预测的作物边界的准确度小于阈值(方框514的否分支)，那么处理500可以进行到方框524。可以生成和与在方框502中获得的图像相同(或几乎相同)的地理区域和时间段相关联的新的作物/非作物模型。新的作物/非作物模型可以包括对现有作物/非作物模型的修改，或者包括仅用对应于与感兴趣的图像匹配的地理区域和时间段的数据训练的模型。在方框524处，训练逻辑124可以被配置为基于应用于一个或多个机器学习技术/系统的方框512的(经过滤的)地面真实数据来生成新的作物/非作物模型。方框524可以类似于图2的方框206。

接下来，在方框526处，可以评估新的作物/非作物模型的准确度。如果准确度小于阈值(方框526的否分支)，那么在方框528处可以获得或接收附加的地面真实数据，并且可以通过返回到方框524来继续对新的作物/非作物模型的训练/细化/构建。如果准确度等于或超过阈值(方框526的是分支)，那么处理500可以进行到方框506以将新的作物/非作物模型与来自方框504的(经过滤的)图像集一起使用以生成与(经过滤的)图像集相关联的作物/非作物热图。在由于现有作物/非作物模型的准确度不足而已经生成新的作物/非作物模型的情况下，可以不需要重复方框510、512、514。

以这种方式，也可以成本低廉、准确和自动地确定在美国以外的国家中和/或除最近几年以外的时间段内的作物田地/子田地。因此，总的来说，可以识别出全球范围内的所有当前和过去(至航空图像数据可用的程度)的作物田地/子田地，并对其进行适当地编目/分类。

图6描绘了根据一些实施例的可以在本公开的系统100中实现的示例设备。图6的设备可以包括服务器104、数据库106、服务器108、数据库110、设备112和/或设备116中的任何一个的至少一部分。如图所示的平台600包括用于传送信息的总线或其它内部通信装置615，以及耦合到总线615用于处理信息的处理器610。该平台还包括耦合到总线615用于存储将由处理器610执行的信息和指令的随机存取存储器(RAM)或其它易失性存储设备650(在本文中替代地称为主存储器)。主存储器650还可以用于存储处理器610执行指令期间的临时变量或其它中间信息。平台600还包括耦合到总线615以存储用于处理器610的静态信息和指令的只读存储器(ROM)和/或静态存储设备620，以及数据存储设备625，诸如磁盘、光盘及其对应的盘驱动器、或便携式存储设备(例如，通用串行总线(USB)闪存驱动器、安全数字(SD)卡)。数据存储设备625耦合到总线615，用于存储信息和指令。

平台600还可以耦合到显示设备670，诸如通过总线665耦合到总线615以向计算机用户显示信息的阴极射线管(CRT)或液晶显示器(LCD)。在平台600向所创建和安装的显示设备提供计算能力和连接性的实施例中，显示设备670可以显示覆盖有如上所述的作物田地/子田地信息的图像。包括字母数字和其它键的字母数字输入设备675也可以通过总线665(例如，经由红外(IR)或射频(RF)信号)耦合到总线615，以将信息和命令选择传送到处理器610。附加的用户输入设备是光标控制设备680，诸如鼠标、轨迹球、触控笔或光标方向键，这些通过总线665耦合到总线615，用于将方向信息和命令选择传送给处理器610，并且用于控制在显示设备670上的光标移动。在利用触摸屏界面的实施例中，应该理解的是，显示器670、输入设备675和光标控制设备680可以全部集成到触摸屏单元中。

可以可选地耦合到平台600的另一个部件是用于经由网络访问分布式系统的其它节点的通信设备690。通信设备690可以包括许多商业上可用的联网外围设备中的任何一个，诸如用于耦合到以太网、令牌环、互联网或广域网的那些联网外围设备。通信设备690还可以是空调制解调器(null-modem)连接，或者是提供平台600与外界之间的连接性的任何其它机制。注意的是，图6所示的此系统的任何或所有部件以及相关联的硬件可以在本公开的各种实施例中使用。

根据计算机软件和硬件描述了上述处理。所描述的技术可以构成体现在有形或非暂态机器(例如，计算机)可读存储介质内的机器可执行指令，该机器可执行指令在被机器执行时将使机器执行所描述的操作。此外，处理可以被体现在硬件内，诸如专用集成电路(ASIC)或以其它方式体现。

有形的机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备等)可访问的非暂态形式提供(例如，存储)信息的任何机制。例如，机器可读存储介质包括可记录/非可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备，等等)。

包括摘要中描述的内容的本发明的说明性实施例的以上描述并非旨在穷举或将本发明限制为所公开的精确形式。虽然本文出于说明性目的描述了本发明的具体实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内各种修改是可能的。

可以根据以上详细描述对本发明进行这些修改。在所附权利要求中使用的术语不应被解释为将本发明限制为说明书中公开的具体实施例。而是，本发明的范围将完全由所附权利要求书来确定，所附权利要求书将根据权利要求解释的既定原则来解释。

Claims (26)

1.一种方法，包括：

获得与地理区域和时间段相关联的多个图像集，其中，所述多个图像集中的每个图像集包括多频谱和时间序列图像，所述多频谱和时间序列图像描绘在所述时间段期间所述地理区域的相应特定部分；

预测在与所述多个图像集中的图像集相关联的地理区域的所述特定部分内的特定位置处的作物的存在；

基于预测的在所述特定位置处的作物的存在来确定所述地理区域的所述特定部分内的作物边界位置；以及

生成作物指示图像，所述作物指示图像包括覆盖有作物地区的指示的图像集的多频谱和时间序列图像中的至少一个图像，其中，所述作物地区由所确定的作物边界位置限定。

2.如权利要求1所述的方法，其中，确定作物边界位置包括以亚米地面分辨率确定作物边界位置。

3.如权利要求1所述的方法，其中，确定作物边界位置包括：基于预测的在所述特定位置处的作物的存在，以及与图像集相关联的所述特定部分附近的物理结构或农业实践的先验知识的应用、作物边界位置像素的平滑以及非监督聚类和区域生长技术的应用中的一个或多个，来确定作物边界位置。

4.如权利要求1所述的方法，其中，预测在所述特定位置处的作物的存在包括将图像集应用于一个或多个机器学习系统或卷积神经网络(CNN)。

5.如权利要求4所述的方法，其中，所述一个或多个机器学习系统或CNN被配置为在对地面真实数据进行监督的训练之后，预测所述特定位置处的作物的存在。

6.如权利要求5所述的方法，其中，所述地面真实数据包括以下各项中的一项或多项：政府作物数据、公共可用的作物数据、具有以低地面分辨率识别出的作物地区的图像、具有人工识别出的作物边界的图像、作物调查数据、采样的作物数据和农民报告。

7.如权利要求5所述的方法，其中，与所述地面真实数据相关联的第一地理区域和第一时间段中的一个或两者和与所述多个图像集相关联的地理区域和时间段相匹配。

8.如权利要求5所述的方法，其中，与所述地面真实数据相关联的第一地理区域和第一时间段中的一个或两者和与所述多个图像集相关联的地理区域和时间段不同。

9.如权利要求1所述的方法，还包括，在预测在所述特定位置处的作物的存在之前，从所述多个图像集中过滤云、阴影、阴霾、雾和大气障碍物中的一个或多个，并且其中，预测在所述特定位置处的作物的存在包括使用与所述图像集相关联的经过滤的图像集来预测在所述特定位置处的作物的存在。

10.如权利要求1所述的方法，其中，作物边界位置的子集限定封闭地区，并且所述封闭地区包括作物田地或所述作物田地内的多个作物子田地。

11.如权利要求10所述的方法，还包括唯一地识别所述作物田地或所述多个作物子田地中的相应的作物子田地。

12.如权利要求1所述的方法，还包括根据更新触发来更新作物边界位置的确定。

13.如权利要求1所述的方法，其中，所述地理区域包括县、州、国家、大洲、星球或其一部分。

14.一个或多个计算机可读存储介质，包括：多个指令，以使装置响应于所述装置的一个或多个处理器的执行：

获得与地理区域和时间段相关联的多个图像集，其中，所述多个图像集中的每个图像集包括多频谱和时间序列图像，所述多频谱和时间序列图像描绘在所述时间段期间所述地理区域的相应特定部分；

预测在与所述多个图像集中的图像集相关联的地理区域的所述特定部分内的特定位置处的作物的存在；

基于预测的在所述特定位置处的作物的存在来确定所述地理区域的所述特定部分内的作物边界位置；以及

生成作物指示图像，所述作物指示图像包括覆盖有作物地区的指示的图像集的多频谱和时间序列图像中的至少一个图像，其中，所述作物地区由所确定的作物边界位置限定。

15.如权利要求14所述的计算机可读存储介质，其中，确定作物边界位置包括以亚米地面分辨率确定作物边界位置。

16.如权利要求14所述的计算机可读存储介质，其中，确定作物边界位置包括：基于预测的在所述特定位置处的作物的存在，以及与图像集相关联的所述特定部分附近的物理结构或农业实践的先验知识的应用、作物边界位置像素的平滑以及非监督聚类和区域生长技术的应用中的一个或多个，来确定作物边界位置。

17.如权利要求14所述的计算机可读存储介质，其中，预测在所述特定位置处的作物的存在包括将图像集应用于一个或多个机器学习系统或卷积神经网络(CNN)。

18.如权利要求17所述的计算机可读存储介质，其中，所述一个或多个机器学习系统或CNN被配置为在对地面真实数据进行监督的训练之后，预测在所述特定位置处的作物的存在。

19.如权利要求18所述的计算机可读存储介质，其中，所述地面真实数据包括以下各项中的一项或多项：政府作物数据、公共可用的作物数据、具有以低地面分辨率识别出的作物地区的图像、具有人工识别出的作物边界的图像、作物调查数据、采样的作物数据和农民报告。

20.如权利要求18所述的计算机可读存储介质，其中，与所述地面真实数据相关联的第一地理区域和第一时间段中的一个或两者和与所述多个图像集相关联的地理区域和时间段相匹配。

21.如权利要求18所述的计算机可读存储介质，其中，与所述地面真实数据相关联的第一地理区域和第一时间段中的一个或两者和与所述多个图像集相关联的地理区域和时间段不同。

22.如权利要求14所述的计算机可读存储介质，还包括指令，以使所述装置响应于所述装置的所述一个或多个处理器的执行：在预测在所述特定位置处的作物的存在之前，从所述多个图像集中过滤云、阴影、阴霾、雾和大气障碍物中的一个或多个，并且其中，预测在所述特定位置处的作物的存在包括使用与所述图像集相关联的经过滤的图像集来预测在所述特定位置处的作物的存在。

23.如权利要求14所述的计算机可读存储介质，其中，作物边界位置的子集限定封闭地区，并且所述封闭地区包括作物田地或所述作物田地内的多个作物子田地。

24.如权利要求23所述的计算机可读存储介质，还包括指令，以使所述装置响应于所述装置的所述一个或多个处理器的执行：唯一地识别所述作物田地或所述多个作物子田地中的相应的作物子田地。

25.如权利要求14所述的计算机可读存储介质，还包括指令，以使所述装置响应于所述装置的所述一个或多个处理器的执行：根据更新触发来更新作物边界位置的确定。

26.如权利要求14所述的计算机可读存储介质，其中，所述地理区域包括县、州、国家、大洲、星球或其一部分。

Images