CN111868782B - 使用彩色图像的盲源分离确定农作物残茬分数的系统和方法 - Google Patents

Abstract

描述了一种确定农作物残茬分数的系统。该系统包括安装在移动平台上并且用于生成移动平台前面或后面的场景的二维(2D)彩色视频图像的彩色视频摄像头。在操作中，系统将2D彩色视频图像分离为针对红色通道、绿色通道和蓝色通道的三个单独的一维(1D)混合信号。然后，使用盲源分离将三个1D混合信号分离为纯1D分量信号。将1D分量信号进行阈值化处理并将其转换为2D二进制像素级丰度图，然后可以对其进行整合以允许系统确定场景中农作物的总分量分数丰度。最后，该系统可以基于场景中农作物的总分量分数丰度来对例如收割机的移动平台进行控制。

Description

使用彩色图像的盲源分离确定农作物残茬分数的系统和方法

相关申请的交叉引用

本申请要求于2018年4月17日提交的美国专利申请62/659,041的权益，并且是该申请的非临时专利申请，其全部内容通过引用合并于此。

技术领域

本发明涉及用于确定农作物残茬的系统，更具体地，涉及用于使用视频影像实时地确定农作物残茬分数(fraction)以对农业机械进行控制的系统。

背景技术

农民通常进行农作物残茬测量，以帮助农场基于不断变化的田间条件来调整其农用拖拉机的作业。当前，没有可以安装在拖拉机上以实时测量农作物残茬从而改变机械的工作特性的低成本感测系统。相反，目前使用人工图像分析方法来进行基于地面的农作物残茬测量，这无法用于对农业机械进行控制。尽管现在搭载可见光和近红外(NIR)波段中的多光谱摄像头的无人机已被用于测量农作物的水分含量和健康状况，但尚未用于对农作物残茬量进行测量。这主要是因为现有的农作物残茬分析方法基于光谱模型，并使用短波红外(SWIR)波长范围内光谱特征的特定线性组合。此外，由于因水分含量、耕作后时间(timesince tillage)、大气水分含量和光照条件的变化而造成测得的残茬光谱具有很高的可变性，因此这种基于模型的技术对于基于地面的残茬地面覆盖率估计而言不够准确。SWIR高光谱摄像头对于无人机使用而言仍然太昂贵和笨重。目前，SWIR高光谱摄像头的高成本将自动化残茬感测限制于用于广域农业分析的卫星和飞机。

用于遥感农作物残茬测量的现有技术方法是基于在指定波长下测量特定光谱特征，这些光谱特征被组合起来以生成指示残茬相对量的指标，例如纤维素吸收指数(CAI)。由于植物、残茬和土壤的光谱很大程度上取决于诸如材料的干燥度和耕作后的经过时间等条件，因此必须进行校准。即使进行了校准，在使用这种光谱特征的情况下所估计的残茬水平的不确定性仍然很高。

因此，持续需要一种自动化系统，该自动化系统使用视频摄像头的颜色通道来实时确定农作物残茬并基于变化的农作物条件对农业机械进行控制。

发明内容

本公开提供了一种用于确定农作物残茬分数的系统。在各个方面中，所述系统包括彩色视频摄像头，该彩色视频摄像头安装在移动平台上，用于生成所述移动平台前面或后面的场景的二维(2D)彩色视频图像。此外，包括一个或多个处理器以及存储器。所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得当执行所述指令时，所述一个或更多个处理器执行若干操作，例如：将所述2D彩色视频图像分离为针对红色通道、绿色通道和蓝色通道的三个单独的一维(1D)混合信号；使用盲源分离将所述三个1D混合信号分离为纯1D分量信号；对所述1D分量信号进行阈值化并将其转换为2D二进制像素级丰度图；以及通过对所述丰度图进行整合来确定所述场景中的农作物总分量分数丰度。

在另一方面，所述系统执行以下操作：基于所述场景中的所述农作物总分量分数丰度来对所述移动平台进行控制。

在又一方面，所述盲源分离是独立分量分析。

在另一方面，所述丰度图表示所述移动平台前面或后面的所述场景中的植物、植物残茬和土壤的相对丰度水平。

最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的动作。

附图说明

根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将变清楚，其中：

图1是描绘根据本发明的各种实施方式的系统的组件的框图；

图2是具体实施本发明一个方面的计算机程序产品的例示图；

图3是例示根据本发明的各个实施方式的使用视频摄像头颜色通道的独立分量分析(ICA)来测量图像分量丰度的处理的流程图；

图4是描绘根据本发明的各个实施方式的基于ICA的植物、农作物残茬和土壤图像分割的示例确定的例示图；以及

图5是描绘根据各种实施方式的设备的控制的框图。

具体实施方式

本发明涉及一种用于确定农作物残茬的系统，更具体地，涉及一种用于使用视频影像实时地确定农作物残茬分数以控制农业机械的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。对于本领域技术人员来说显然可以有各种改动以及不同应用方面的多种用途，并且本文限定的一般原理可以被应用于广泛的方面。因此，本发明不旨在限于所呈现的方面，而是涵盖与本文所公开原理和新颖特征相一致的最广范围。

在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更透彻理解。然而，本领域技术人员应当明白，本发明可以在不必受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以免妨碍对本发明的理解。

也请读者留意与本说明书同时提交的所有文件和文档，这些文件和文档与本说明书一起开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有特征(包括任何所附权利要求、摘要以及附图)可以由用于相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的各个特征仅仅是一系列的等同或相似特征中的一个例子。

而且，权利要求中没有明确陈述用于执行指定功能的“装置”或用于执行特定功能的“步骤”的任何要素不应被解释为如在35U.S.C.Section 112,Paragraph 6中指定的“装置”或“步骤”条款。特别地，在本文的权利要求中使用“……的步骤”或“……的动作”不应触发35U.S.C.112,Paragraph 6的规定。

在详细描述本发明之前，首先提供了对本发明各个主要方面的描述。随后，向读者进行了介绍，使得能够对本发明有个总体上的理解。接下来，提供本发明各个实施方式的具体细节，以使得能够理解具体方面。最后，提供了关于使用根据本发明的各种实施方式的系统来控制各种设备的示例实现。

(1)主要方面

本发明的各种实施方式包括三个“主要”方面。第一个方面是用于确定农作物残茬分数的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的设备中。第二个主要方面是利用数据处理系统(计算机)进行操作的通常采用软件形式的方法。第三个主要方面是计算机程序产品。该计算机程序产品通常表示存储在诸如光学存储设备(例如，光盘(CD)或数字通用盘(DVD))或磁存储设备(例如软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制例包括：硬盘、只读存储器(ROM)，以及闪存。这些方面将在下面进行更详细描述。

图1中提供了示出本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面中，本文讨论的某些处理和步骤被实现为存在于计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，这些指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。

计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成对信息和指令进行处理。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。

计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取得的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，例如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子设备和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。

在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入设备112，其中，输入设备112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入设备112是字母数字输入设备(如键盘)，其可以包括字母数字键和/或功能键。另选地，输入设备112可以是除字母数字输入设备之外的其它输入设备。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制设备114，其中，光标控制设备114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制设备114利用诸如鼠标、轨迹球、轨迹板、光学跟踪设备或触摸屏的设备来实现。尽管如此，但在一方面，例如响应于使用与输入设备112相关联的特殊键和键序列命令，光标控制设备114经由来自输入设备112的输入而被引导和/或激活。在另一方面，光标控制设备114被配置成通过话音命令指引或引导。

在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选计算机可用数据存储设备，例如存储设备116。存储设备116被配置成存储信息和/或计算机可执行指令。在一个方面，存储设备116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储设备。依据一个方面，显示设备118与地址/数据总线102联接，其中，显示设备118被配置成显示视频和/或图形。在一方面，显示设备118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器，或者适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示设备。

本文所呈现的计算机系统100是根据一个方面的示例计算环境。然而，计算机系统100的非限制示例并不严格限于作为计算机系统。例如，一个方面规定了计算机系统100代表可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用由计算机执行的计算机可执行指令(例如程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现方式中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，例如，在该计算环境中，任务由通过通信网络链接的远程处理设备执行，或者例如，在该计算环境中，各种程序模块位于包括存储器-存储设备的本地和远程计算机存储介质中。

图2中示出了具体实施本发明的计算机程序产品(即，存储设备)的例示图。该计算机程序产品被示出为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，该计算机程序产品通常代表存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个、可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子设备(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，例如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。

(2)介绍

本公开提供了使用视频影像实时地确定农作物残茬分数以对农业机械或其他设备和系统进行控制的系统和方法。例如，可以使用在农田中工作的拖拉机或联合收割机上安装的彩色视频摄像头来实现该系统，以确定视频图像中可见的植物、植物残茬和土壤分量的位置和量。在这样的方面中，摄像头指向拖拉机前面的地面，使得在视频帧中仅可见植物、残茬和土壤。

该系统的独特之处在于将红色图像帧、绿色图像帧和蓝色图像帧解释为由不同颜色帧中各个分量的不同反射率限定的分量的不同混合体。假定这些分量在统计上是独立的，因此可以使用独立分量分析(ICA)来分离混合体，并将各个视频帧分割为各个分量的单独二进制图。通过将图像帧中植物、残茬和土壤物质的位置的二进制图进行整合，可以确定分量的分数量。

二进制图是按摄像头视频速率实时生成的，并且可用于对拖拉机设置进行自动调节并且适应于作业期间不断变化的条件，以便使农作物产量最大化。当前，尚不存在可以安装在拖拉机上以实时测量农作物残茬相对量从而自适应地控制拖拉机作业的低成本感测系统。本公开使得能够使用这种低成本且可靠的彩色视频摄像头来将视频图像分割成植物、残茬和土壤分量并确定它们的分数量。这样，可以使拖拉机和联合收割机使它们的作业自动地适应不断变化的农田条件，并改善耕作、播种和收割作业的质量和速度。它也可以用于任何图像分析应用，在这些应用中，图像被约束为包含限于固定场景、具有空间变化或纹理并且具有不同颜色属性的材料区域。具体细节如下。

(3)各个实施方式的具体细节

如上所述，本公开提供了使用视频影像实时地确定农作物残茬分数以对农业机械或其他设备和系统进行控制的系统和方法。该系统本质上用作对作物田进行分析的感测系统。该系统包括安装在移动平台(例如，诸如拖拉机、联合收割机之类的机械等)上的彩色视频摄像头，该摄像头指向移动中的移动平台前面的地面。由于视图仅限于平台前面的地面(例如作物田)，因此视频帧包含较少量的分量，这些分量对应于具有不同纹理和颜色的区域(例如植物、残茬和土壤)。如果分量在空间上不重叠，则各个分量的像素值在统计上是独立于其他分量的。本发明的一个关键方面是，由于这些分量在由安装在视频传感器上的滤色器限定的红色、绿色和蓝色帧或颜色通道中具有不同的相对反射率，因此可以将各个颜色通道视为植物、残茬和土壤的空间图像分量的不同混合体。

如果将各个二维(2D)颜色通道图像转换为一维(1D)混合信号，则可以使用独立分量分析(ICA)将混合体分成多个分量。然后，将这组混合信号用作ICA的输入。ICA是一种盲源分离(BSS)的形式，它通过使ICA输出的统计独立性最大化而将信号混合体分离为多个分量。然后，将分离出的1D信号分量重新格式化回2D图像分量，并对其进行阈值化处理，以创建代表植物、残茬和土壤分量的空间分布的分割的二进制图。分量的分数丰度可以通过对二进制图进行整合来测量。换句话说，ICA的输出是将图像分割为植物、残茬和土壤分量。例如，植物分量ICA输出是包含植物区域并且在非植物区域中为暗或低值的图像。因此，通过对分量图像进行阈值化处理，可以生成植物空间分布的二进制图。使用本发明获得了植物、残茬和土壤的空间分布。

由于ICA是一种不利用分量属性的先验知识的盲法，因此基于ICA的残茬测量系统不需要校准，并且它自动适应分量的变化条件或属性。该系统的其他优点包括以下事实：不需要图像或机器视觉处理(例如边缘检测)，并且仅可调整的参数是二进制图的阈值。

图3中示出了系统流程图。该系统从2-D RGB彩色图像302开始，该彩色图像302是从安装在移动平台上的视频摄像头300接收到的。2D RGB彩色图像302被分成针对红色通道、绿色通道和蓝色通道的三个1D混合信号304。如上所述，三个颜色通道304由安装在视频传感器上的滤色器限定，该传感器本质上将各个2D RGB彩色图像302分离为三个2D颜色通道图像304(或颜色通道)。在期望的方面，摄像头是常规的彩色视频摄像头，其中，滤色器安装在图像传感器芯片上。各个颜色通道图像304将是图像分量的不同混合体。然后，通过将图像的行或列连接，将各个2D颜色通道图像304向量化306或转换为1D信号向量。

然后，使用盲源分离308(例如独立分量分析(ICA)等)将向量化混合信号306盲分离为纯独立分量信号310。在这种情况下，纯分量信号是2D输入图像中的土壤、残茬或植物区域的1D表示。

然后，对1D分量信号310进行阈值化处理并将其转换312回2D二进制像素级丰度图314。通过将高于阈值的所有值设置为1并将低于阈值的所有值设置为0，对分量信号310进行阈值化处理并将其转换312为1D二进制信号。此外，一旦被阈值化，则通过使连接处理反转(通过将信号划分成行或列并将它们堆叠)而将1D二进制信号转换回残茬、植物和土壤的2D二进制像素级丰度图314。

然后，将2D二进制像素级丰度图314(或分量丰度图)进行整合，以估计总分量分数丰度。通过简单地对2D二进制丰度图314中的所有值进行求和并将该总和除以图像中像素的总数，来将这些单独的丰度图314进行整合。这样得到与各个丰度图相关联的分量分数丰度(component fractional abundance)。

基于二进制丰度图314，移动平台前面的各种区域被分类为包含植物、农作物残茬或土壤。这是通过将各个像素分类为植物、残茬或土壤来实现的，这取决于哪个二进制丰度图在该像素处不为零。

出于说明性目的，实现了本公开的系统并将其简化为使用包含植物、农作物残茬和土壤的输入彩色图像以及ICA的JADE实现来实践。图4例示了彩色图像输入400以及使用本发明生成的并且分别对应于植物、残茬和土壤的所得二进制丰度图402、404和406。在该示例中，土壤丰度图406表明土壤分数约为75.2％，而植物402和残茬404的丰度图表明植物分数和残茬分数分别为17.3％和8.3％。如本领域技术人员可以理解的，这种土壤条件的详细知识可以被农民和其他操作人员用于基于变化的田间条件来调整农用拖拉机作业(或其他适用的设备)。

(4)设备的控制

如图5所示，处理器500可用于基于确定移动平台前面或后面的土壤条件来控制设备502(例如，诸如农业机械的移动平台，包括拖拉机或轮机(turbine)等)。通过监测植物和农作物残茬的分数，可以调整耕作机、播种机和收割机的设置，从而针对每次作业获得残茬或植物的最佳分数覆盖。例如，用于耕作的圆盘耙的前进速度、角度和重量可以基于耕作后表面上残留的残茬量进行调整。如本领域技术人员所理解的，最佳量的残茬(例如，由操作员设定或根据用途和条件预编程)将能够保持水分，同时仍允许将种子插入到土壤中的适当深度处。因此，如本领域技术人员所理解的，可以基于残茬来调整圆盘耙的各种特征。

最后，虽然已经根据几个实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，可以有许多实施方式和实现。而且，所附的权利要求绝不是旨在将本发明的范围限制成上述具体实施方式。另外，任何“用于……的装置(means)”的用语旨在引发要素和权利要求的装置加功能的解读，而任何未特别使用“用于……的装置”用语的要素不应被解读为装置加功能要素，即使权利要求以其它方式包括了“装置”一词。而且，虽然已经按特定次序陈述了特定的方法步骤，但这些方法步骤可以按任何希望次序发生并且落入本发明的范围内。

Claims (9)

1.一种确定农作物残茬分数的系统，所述系统包括：

彩色视频摄像头，其安装在移动平台上，用于生成所述移动平台前面或所述移动平台后面的场景的二维2D彩色视频图像；

一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得当执行所述指令时，所述一个或更多个处理器执行以下操作：

将所述2D彩色视频图像分离为针对红色通道、绿色通道和蓝色通道的单独的三个一维1D混合信号；

使用独立分量分析将所述三个1D混合信号分离为纯1D分量信号；

对所述1D分量信号进行阈值化处理并将其转换为2D二进制像素级丰度图；以及

通过对所述丰度图进行整合来确定所述场景中的农作物总分量分数丰度。

2.根据权利要求1所述的系统，所述系统还包括以下操作：基于所述场景中的所述农作物总分量分数丰度来对所述移动平台进行控制。

3.根据权利要求1所述的系统，其中，所述丰度图表示所述移动平台前面或所述移动平台后面的所述场景中的植物、植物残茬和土壤的相对丰度水平。

4.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质编码有可执行指令，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：

接收移动平台前面或移动平台后面的场景的二维2D彩色视频图像；

将所述2D彩色视频图像分离为针对红色通道、绿色通道和蓝色通道的单独的三个一维1D混合信号；

使用独立分量分析将所述三个1D混合信号分离为纯1D分量信号；

对所述1D分量信号进行阈值化处理并将其转换为2D二进制像素级丰度图；以及

通过对所述丰度图进行整合来确定所述场景中的农作物总分量分数丰度。

5.根据权利要求4所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还编码有使所述一个或更多个处理器执行以下操作的指令：基于所述场景中的所述农作物总分量分数丰度对所述移动平台进行控制。

6.根据权利要求4所述的非暂时性计算机可读介质，其中，所述丰度图表示所述移动平台前面或所述移动平台后面的所述场景中的植物、植物残茬和土壤的相对丰度水平。

7.一种确定农作物残茬分数的计算机实现的方法，所述方法包括以下动作：

使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：

接收移动平台前面或移动平台后面的场景的二维2D彩色视频图像；

将所述2D彩色视频图像分离为针对红色通道、绿色通道和蓝色通道的单独的三个一维1D混合信号；

使用独立分量分析将所述三个1D混合信号分离为纯1D分量信号；

对所述1D分量信号进行阈值化处理并将其转换为2D二进制像素级丰度图；以及

通过对所述丰度图进行整合来确定所述场景中的农作物总分量分数丰度。

8.根据权利要求7所述的方法，所述方法还包括以下操作：基于所述场景中的所述农作物总分量分数丰度来对所述移动平台进行控制。

9.根据权利要求7所述的方法，其中，所述丰度图表示所述移动平台前面或所述移动平台后面的所述场景中的植物、植物残茬和土壤的相对丰度水平。