CN110909589A

CN110909589A - 谷粒质量控制系统和方法

Info

Publication number: CN110909589A
Application number: CN201910879186.5A
Authority: CN
Inventors: 史蒂芬·R·科班; 史科特·米勒; 赫尔曼·赫尔曼; 扎卡里·佩泽门蒂; 特伦顿·泰伯; 乔纳森·张
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2018-09-18
Filing date: 2019-09-17
Publication date: 2020-03-24
Also published as: US11818982B2; BR102019018551A2; US20200084967A1

Abstract

一种用于控制收割的谷粒质量的方法和系统包括通过一个或多个图像传感器在联合收割机的谷粒升降机内的采样位置处捕获一个或多个材料图像。所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示。一个或多个控制器接收与由一个或多个图像传感器捕获的所述一个或多个图像相关联的图像数据，并且选择样本图像，选定的样本图像由图像像素集的图像像素子集定义。一个或多个控制器将卷积神经网络(CNN)算法应用于选定的样本图像的图像像素子集的图像数据以确定分类特征。一个或多个控制器分析所确定的分类特征以调整联合收割机的操作参数。

Description

谷粒质量控制系统和方法

相关申请的交叉引用

本申请要求2018年9月18日提交的美国临时申请No.62/732,779的优先权。

技术领域

本公开总体上涉及农业联合收割机，更具体地涉及用于改善收割的谷粒质量的系统。

背景技术

散装谷粒的价值可取决于散装谷粒的质量。高质量的谷粒反映在清洁不间断谷粒的百分比高以及破碎谷粒和谷粒以外的材料(MOG)的百分比低。监测散装谷粒的质量有助于提高谷粒质量。对谷粒材料进行成像和分类可以是有效的监测技术。准确的分类部分取决于谷粒的可靠采样和成像。

发明内容

本公开提供了用于监测和控制由农业联合收割机收割的谷粒的谷粒质量控制系统和方法。

在一个方面，本公开提供了一种控制联合收割机中收割的谷粒质量的方法。一个或多个图像传感器在联合收割机的谷粒升降机内的采样位置处捕获一个或多个材料图像。所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示。一个或多个控制器接收与由所述一个或多个图像传感器捕获的所述一个或多个图像相关联的所述图像数据。一个或多个控制器从所捕获的图像中选择样本图像，选定的样本图像由所述图像像素集的图像像素子集定义；并且将卷积神经网络(CNN)算法应用于选定的样本图像的所述图像像素子集的图像数据。一个或多个控制器基于CNN算法应用于选定的样本图像的图像数据而确定所述分类特征；并且分析所确定的分类特征以调整联合收割机的操作参数。

在另一方面，本公开提供了一种用于控制联合收割机中收割的谷粒质量的系统，该系统包括一个或多个图像传感器和一个或多个控制器。一个或多个图像传感器用于在联合收割机的谷粒升降机内的采样位置处捕获材料图像。所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示。一个或多个控制器可操作地耦合到所述一个或多个图像传感器并且具有用于执行命令的一个或多个处理器。一个或多个控制器处理与从所捕获的图像中选出的选定的样本图像相关联的图像数据。选定的样本图像的图像数据由所述图像像素集的图像像素子集定义。一个或多个控制器将卷积神经网络(CNN)算法应用于选定的样本图像的图像像素子集的图像数据；并且基于CNN算法应用于选定的样本图像的图像数据来确定所述分类特征。一个或多个控制器分析所确定的分类特征以调整联合收割机的操作参数。

在附图和以下描述中阐述了一个或多个实施例的细节。根据说明书、附图和权利要求，其他特征和优点将变得显而易见。

附图说明

图1是包括根据本公开的谷粒质量控制系统的一个示例性农业联合收割机的示意图；

图2是与谷粒质量控制系统一起使用的图1的联合收割机的示例性谷粒尾料升降机的透视图；

图3是图2的谷粒尾料升降机的一部分的局部放大视图；

图4是图2的谷粒尾料升降机的一部分的简化局部横截面侧视图；

图5和6是根据本公开的示例性谷粒质量控制系统的示意图；

图7是根据本公开的用于实施谷粒质量控制系统的示例性方法的过程流程图；

图8是根据本公开的用于谷粒控制系统的示例性谷粒质量检测系统的示意图；

图9示出了根据本公开的来自谷粒质量控制系统的图像的某些材料分类的示例概率评估过程；

图10和11是图1的农业联合收割机的远程连接系统的示意图；和

图12A和12B是谷粒尾料的示例图像。

各附图中的相同参考符号表示相同元件。

具体实施方式

以下描述了所公开的谷粒质量控制系统和方法的一个或多个示例性实施方式，如以上简要描述的附图的附图中所示。本领域技术人员可以预期对示例性实施方式进行各种修改。

如本文所使用的，除非另外限制或修改，否则具有元件的列表(该列表中的元件由连词(例如，“和”)隔开并且还在前面具有短语“一个或多个”或“至少一个”的前缀)表示如下的配置或布置，该配置或布置可能包括列表的各个元件或这些元件的任何组合。例如，“A，B和C中的至少一个”或“A，B和C中的一个或多个”表示仅A，仅B，仅C或A、B和C中的两个或更多个的任意组合(例如，A和B；B和C；A和C；或A、B和C)的可能性。

此外，在详述本公开时，可以使用方向和方向的术语，例如“向前”，“前”，“向后”，“后”，“横向”，“水平”和“竖直”。这些术语至少部分地相对于作业车辆或机具在使用期间行进的方向来定义。例如，术语“向前”和“前”(包括“前”和任何其他衍生物或变体)指的是与主要行进方向相对应的方向，而术语“向后”和“后”(和衍生物和变体)指的是相反的方向。术语“纵向轴线”还可以指代沿前后方向延伸的轴。相比之下，术语“横向轴线”可以指垂直于纵向轴线并在水平面(也就是说，包含纵向轴线和横向轴线的平面)内延伸的轴线。这里出现的术语“竖直”是指与包含前后轴线和横向轴线的水平面正交的轴线或方向。

本公开提供了一种改进的谷粒质量控制系统，其用于农业联合收割机，以提高清洁谷粒产量的质量。本文公开的谷粒质量控制系统可以被理解为：在其通过联合收割机时监测正在收割的作物的组成成分以及基干对所收割的谷粒的质量的评估来主动控制联合收割机的各种操作参数。通过本文公开的改进的监测系统和方法，系统的机器控制方面能够更好地设定机器参数以产生更高的清洁谷粒产量。

在各种实施例中，谷粒质量控制系统使用包括一个或多个摄像机或图像传感器的视觉或成像系统监测收割的作物成分。因此，成像系统可以沿着作物在联合收割机中的流动在各个位置处在视觉上询问作物成分。这里描述的系统和方法不限于系统的确切位置或询问区域。

在某些实施例中，在作物流动通过联合收割机的仅运输部分期间完成成像，与其他作物加工区域相比，该期间提供了更好的成像环境。在各种实施例中，在一个或多个谷粒升降机处完成成像。如在传统系统中那样，可以在谷粒升降机(例如清洁谷粒升降机)的旁路区域或管道分支处进行成像，在该清洁谷粒升降机中，在清洁谷粒以比在清洁谷粒升降机本身中的行进速度低的行进速度行进的同时，清洁谷粒被转移到旁路管道用于成像。

本公开的改进的谷粒质量控制系统还通过直接在谷粒升降机(包括清洁谷粒升降机和/或谷粒尾料升降机)内对谷粒和/或谷壳进行成像来提供正在收割的作物的视觉询问。在各种实施例中，如下面详细描述的，所公开的谷粒质量控制系统可配置有成像硬件，其适于直接安装到谷粒升降机，以在不需要旁路的情况下直接对其中携带的谷粒或非谷粒材料进行成像。通过硬件的这种直接安装和适当定位，以便以更好的视角观察和协调与升降机特征和运动相关的图像采样，谷粒质量控制系统能够实时对谷粒和谷壳进行采样，并且分析样本图像，以提供增强的组成部分识别和分类。

在各种实施例中，通过结合深度学习能力的改进的逻辑架构来增强谷粒质量控制系统的图像处理能力(例如，改进的组成部分识别和分类)。与传统系统相比，本文公开的谷粒质量控制系统的深度学习方面允许改进的系统功能和操作(例如，提高的处理速度，减少的处理负荷，更高的采样速率等)。下面详细描述图像处理的深度学习方面的各种属性。

现在参考图1，可以关于示例性农业联合收割机20或关于各种其他农业联合收割机来实施谷粒质量控制系统。如图1中所示，示例性联合收割机20包括具有地面接合轮24或履带的底盘22。轮24可旋转地安装到底盘22并与地面接合以沿着行进方向T推进联合收割机20。还安装到底盘22的操作员驾驶室26容纳操作员以及各种装置来控制联合收割机20。联合收割机20的车轮24和其他装置由内燃机28提供动力，单独或与一个或多个电机(未示出)组合。

割台30安装在联合收割机20的前部，以从田地切割和收集作物材料。割台30由进料室32支撑，进料室32可枢转地安装到底盘22。进料室32可包括例如倾斜的输送器(未示出)，该输送器用于将切割的作物材料从割台30输送到联合收割机20的主体中。在经过引导鼓或进料加速器34之后，来自进料室32的作物材料到达通常前后定向的脱粒装置或分离器36。其他实施例可包括横向定向的脱粒装置或其它脱粒装置(未示出)。在所示的实施例中，分离器36包括转子38，各种脱粒元件安装在转子38上。转子38在一个或多个磨碎或筛分的脱粒筐或凹部40上方旋转，使得在转子38和凹部40之间通过的作物材料至少部分地分离成谷粒和谷壳(或除谷粒之外的其他材料(MOG，material other than grain))。MOG向后移动并从转子38和凹部40之间释放。在分离器36中分离的大部分谷粒(和一些MOG)通过凹部40中的孔向下落下。分离器损失传感器37感测到分离器36中的谷粒损失以作为单独的谷粒损失信号或组合或聚合信号。

穿过凹部40的谷粒和MOG落下(或被主动进给)到清洁子系统(或清粮室，cleaningshoe)42中以进一步清洁。清洁子系统42包括：由马达46驱动的风扇44，其产生大致向后的气流；以及筛子48和筛网50。筛子48和筛网50通过致动装置52相对于底盘22悬挂，该致动装置52可包括安装到盘(或其他装置)的枢转臂和摇臂。当风扇44将空气吹送穿过筛子48和筛网50时，致动装置52可以引起筛子48和筛网50的往复运动(例如，通过摇臂的运动)。筛子48和筛网50的这种运动与来自风扇44的空气流的组合通常使得较轻的谷壳在联合收割机20内被向上和向后吹，而较重的谷粒通过筛子48和筛网50落下，并且积聚在联合收割机20的基部附近的清洁谷粒槽54中。设置在清洁谷粒槽54中的清洁谷粒螺旋推运器56将物料运送到联合收割机20的一例并将谷粒沉积在清洁谷粒升降机58的下端。清洁谷粒升降机58提起的清洁谷粒被向上运送，直到它到达清洁谷粒升降机58的上部出口。然后清洁谷粒从清洁谷粒升降机58释放并落入谷粒箱60中。

然而，进入清洁子系统42的大部分谷粒不是向后运送，而是向下穿过筛网50，然后通过筛子48。在通过来自风扇44空气被运送到筛子48和筛网50后部的材料中，较小的MOG颗粒从联合收割机20的后部吹出。较大的MOG颗粒和谷粒不会从联合收割机20的后部吹出，而是从清洁子系统42上落到清粮室损失传感器62和清粮室损失传感器64上，其中清粮室损失传感器62位于清洁子系统42的一例且配置成检测清洁子系统42的那一例上的清粮室损失，并且清粮室损失传感器64位于清洁子系统42的另一例上且配置为检测清洁子系统42的那一例上的清粮室损失。清粮室损失传感器62、64可以提供输出信号，该输出信号指示清洁子系统42的右侧和左侧的谷粒损失量。在一个例子中，传感器62、64是撞击传感器，其对每单位时间(或每单位行进距离)的谷粒撞击进行计数以在单个信号或组合或聚合信号中提供清粮室谷粒损失的指示。

被携带到筛网50后部的较重材料从联合收割机20中掉出，并且可以被清粮室损失传感器62、64部分地检测到。带到筛子48后部的较重材料下落到盘上，并且然后通过重力将其输送到谷粒尾料槽66中。这种较重的物质称为“尾料”，并且通常是谷粒和MOG的混合物。尾料螺旋推运器68设置在尾料槽66中，并将谷粒尾料运送到联合收割机20的相对侧并进入谷粒尾料升降机70中。

尾料升降机70可以采用与清洁谷粒升降机58类似或不同的方式构造，使用各种已知的运输机构(例如螺旋推运器，带状皮带等)中的任何一种。由于谷粒质量控制系统在此将描述为询问尾料升降机70内的谷粒尾料，因此将仅详细描述示例性谷粒尾料升降机70的结构。然而，应该理解的是，本公开的原理可以用于询问清洁谷粒升降机58内的清洁谷粒，并且还可以将这种谷粒质量控制系统结合在其中。

还参见图2-4，谷粒尾料升降机70在谷粒尾料升降机70的进料口或入口开口71处与尾料螺旋推运器68连通，其中接收谷粒尾料以便运输以进行进一步处理。在所示的实施例中，链轮74(示出一个链轮)设置在谷粒尾料升降机壳体76的相对端，并且链条78(或其他柔性构件)安置在链轮74上以在链轮74之间传递动力。一系列桨叶80(或其它输送构件)由链条78支撑，使得当链轮74旋转时，链条78被移动以沿大致顺时针的椭圆形路径驱动桨叶80(从图4的视角看)。以这种方式，从尾料螺旋推运器68通过入口开口71被接收到尾料升降机壳体76中的谷粒尾料可以通过桨叶80沿着椭圆形路径的提升部分移动。链条78、链轮74和桨叶80因此为谷粒尾料升降机70提供输送装置82。在尾料升降机壳体76的顶端，提供出口开口(或其他卸载位置)84(见图1)，使得由桨叶80在谷粒尾料升降机70内提升的谷粒尾料通过出口开口84离开尾料升降机壳体76(例如，用于返回到脱粒机)。在通过出口开口84排出谷粒尾料之后，桨叶80可以沿椭圆形路径的返回部分继续(即，被链轮74和链条78移动)。在某些实施例中，可以在椭圆形路径的提升部分和返回部分之间设置分隔器(未示出)，使得可以防止由桨叶80移动的谷粒混合。桨叶80可以等距、不等距地隔开，或者是等距隔开和不等距隔开的组合。每个桨叶80具有前缘86和后缘88，前缘86比后缘88更靠近尾料升降机壳体76的前侧壁90。

在被动尾料实施方式中，谷粒尾料升降机70向上运送谷粒尾料并将它们沉积在转子38的前端上以进行再次脱粒和分离。然后通过排放搅拌器92接收谷粒尾料，在该排放搅拌器92中，释放谷粒的剩余内核。现在分离的MOG在联合收割机20后面被释放从而以堆料的形式落在地面上或者被输送到残余物子系统94，该子系统94可以包括切碎机96和铺展器98，在那里分离的MOG可以被切碎机96切碎并且通过铺展器98在田地上被铺开。另外，在主动尾料实施方式中，谷粒尾料升降机70可以将谷粒尾料向上输送到另外的脱粒单元(未示出)，该另外的脱粒单元(未示出)与分离器36分开并且谷粒尾料在被输送到清洁子系统42前面的主要作物流之前在这里被进一步脱粒。

再次参见图1，操作员驾驶室26包括具有一组用户界面机构的用户界面系统100，操作员可以使用该机构来控制和操纵联合收割机20。这种界面机构包括一个或多个显示设备，用于提供音频信息的音频设备，提供触觉反馈的触觉设备，控制杆，操纵杆，方向盘，踏板，按钮等。用户界面机构也可以是在用户界面显示器上显示的一组输入机构。例如，它们可以是链接、图标或其他用户可致动机构。

用户界面系统100还可以包括各种输入和输出功能，以用于通过由控制器102表示的一个或多个主(或其他)控制器经由各种传感器和致动器来连接各种机器组件(即，控制各种机器组件或接收来自各种机器组件的反馈)。还应当理解，除了清洁子系统42中的上述分离器损失传感器37，清粮室损失传感器62、64和致动装置52以及风扇44的电动机46之外，联合收割机20还可以包括其他传感器和致动器装置。例如，联合收割机20可包括地速传感器104，其感测联合收割机20在地面上的行进速度，例如，通过感测车轮、驱动轴、轴或其他部件的旋转速度。行进速度还可以由定位系统感测，例如全球定位系统(GPS)、航位推算系统、LORAN系统或提供行驶速度指示的各种其他系统或传感器。其他传感器和致动器可包括转子速度传感器106、脱粒间隙传感器108、谷粒产量传感器110、脱粒载荷传感器112，清洁谷粒质量传感器113，稻草或麦秆质量传感器114，割台高度传感器116，进料室质量流量传感器118，割台致动器120和脱粒间隙致动器122，124。所有这些和其他传感器和致动器可以被配置用于经由用户界面系统100与操作员相互交流，该用户界面系统100可以向谷粒质量控制系统提供输入以增强谷粒尾料监测和评估，从而增强联合收割机20的控制和产量性能，现在将结合各种示例实施例更详细地描述联合收割机20，其中成像硬件直接安装到并配置成在谷粒尾料升降机70内询问谷粒尾料。

还再次参见图2-4，成像系统130包括具有图像传感器134和壳体136的摄像机132。摄像机132可以具有被包含在壳体136内的其自己的壳体，或者替代地仅仅被容纳在壳体136内。壳体136可以在面向谷粒尾料升降机70的一例打开，或者它可以具有侧壁138，该侧壁138带有开口或者由半透明材料制成，以允许光进入以足以使摄像机132对谷粒尾料升降机70的内部进行成像。摄像机132可以是高分辨率和帧率摄像机，例如每秒10，000或更多帧的高分辨率(例如，1080p高清晰度)；然而，摄像机可能具有较低的分辨率(例如，5百万像素)和较低或较高的速度(例如，高达每秒1,000,000帧)。壳体136直接安装在尾料升降机壳体76的侧壁90上，使得开口侧或侧壁138以及因此图像传感器134与尾料升降机壳体76的前侧壁90中的窗口140对准。在其他实施例中，摄像机132可以直接安装到另一个侧壁，例如升降机壳体91的侧向侧壁91。摄像机132的图像传感器134在输送器装置82上被训练并且被配置为对通过输送器装置82而被输送通过谷粒尾料升降机70的谷粒尾料进行成像。在所示的例子中，壳体136通过闩锁142和铰链144安装到谷粒尾料升降机侧壁90上，铰链144提供与谷粒尾料升降机70的枢轴连接，从而例如用于更换和/或清洁摄像机132。替代地，壳体136可以使用一个或多个螺钉或任何其他紧固机构安装到尾料升降机侧壁90上。当桨叶80使谷粒尾料移动通过尾料升降机壳体76时，成像系统130在尾料升降机壳体76内对由尾桨叶80承载的谷粒尾料或在桨叶80之间的悬浮状态的谷粒尾料进行成像。其中摄像机132在所示的示例中在不使用旁路管道的情况下直接安装在谷粒尾料升降机70上，谷粒尾料不需要通过旁路管道改变方向，以便以较低的速度成像。因此，节省了旁路结构的费用，降低了复杂性，并避免了旁路谷粒尾料的相关流速降低。在各种实施方式中，清洁谷粒升降机58可配备有谷粒质量控制系统(以及伴随的控制硬件和软件)，该谷粒质量控制系统具有直接安装到清洁谷粒升降机壳体的一个或多个图像传感器或摄像机。替代地或另外地，清洁谷粒升降机可包括旁路管道(未示出)，其中清洁谷粒质量传感器113对清洁谷粒进行采样。可以对采样的清洁谷粒进行成像和分析，以改善谷粒的识别和分类。

如图所示，摄像机132通常位于尾料升降机壳体76的下半部分。在一种实施方式中，摄像机132在与尾料升降机壳体76的底端146相距距离D的位置处安装到尾料升降机壳体76上，该距离D大约是尾料升降机壳体76的总长度的四分之一到三分之一。将摄像机132安装在非常靠近链轮(例如，链轮74)的位置可能不利地影响由摄像机132捕获的图像的清晰度。因为桨叶80倾向于在链轮74附近加速。此外，在所示的示例中，摄像机132通常相对于尾料升降机壳体76的侧壁90的位置平行安装。在其他实施方式中，摄像机132可以相对于尾料升降机壳体76的侧壁90成一定角度定位，以帮助为摄像机132提供特定的视点(例如，更好地面对桨叶80的顶侧或允许从桨叶80的前缘到后缘进行检查)。

窗口140的形状通常跟踪摄像机132的视场的形状，并且在所示示例中是矩形的，实际上是方形的。预期其他合适的几何和非几何形状。窗口140可以是侧壁90中的开口(如图所示)，或者它可以是半透明或透明的片或板(例如，由塑料或玻璃制成)，以用于无障碍地观察尾料升降机壳体76的内部。

在所示的示例中，窗口140的宽度小于侧壁90的宽度。在其他实施方式中，窗口具有较大的宽度，该较大的宽度包括如下的宽度，该宽度大致是侧壁90的宽度或等于侧壁90的宽度(即，桨叶80的横向两侧之间的尺寸)，这可以更好地允许升降机桨叶80上的谷粒尾料的全宽图像，或者为多个摄像机或其他图像传感器提供空间。在一种实施方式中，摄像机132在尾料升降机壳体76内部在桨叶80的前缘86和后缘88之间的视野150处捕获谷粒尾料的图像。以这种方式，可以捕获桨叶80的整个顶表面上的谷粒的图像。

在示例性实施方式中，谷粒尾料升降机70可具有一个以上的传感器，例如图4中所示的传感器160和162。这些传感器160、162中的每一个可相对于壳体136被内部或外部定位。更多数量的传感器可以增强成像系统130的性能。例如，多个图像传感器(或摄像机)可以以立体方式并排放置，以增强摄像机视觉的深度感知，就像人类的双眼视觉。两个图像传感器(或摄像机)的相对焦点可以更好地指示桨叶上的物理位置以及谷粒尾料的深度。谷粒尾料的位置和深度可以证明它们的成分，因为破碎谷粒的材料特性往往不同于清洁谷粒的材料特性，相对于较轻或较不致密的谷粒材料而言，离心力通常导致更重或更密集的谷粒材料以不同的方式行进(例如，在径向方向上更远)(远离链轮74的旋转轴线)。尾料越靠近摄像机132(即，更靠近运送尾料的桨叶80的前缘86)，尾料越可能是破碎谷粒或MOG(非清洁)，因为尾料更重且更致密。相反地，尾料距离摄像机132最远(即，更靠近运送尾料的桨叶80的后缘88)，尾料更清洁，因为尾料更轻且密度更小。另外，关于立体成像，可以使用两个或更多个图像传感器(或摄像机)来指示深度信息，而一个图像传感器(或摄像机)可以提供例如颜色、聚焦/散焦、照明和曝光信息的主要指示。使用立体摄像机进行成像还允许更好地维护桨叶80和/或链条78。

此外，成像系统130可以与输送器装置82协调地操作。例如，在传感器在尾料升降机壳体76内在相对于摄像机132的特定位置处检测桨叶80时，或基于规定的时间延迟，一个或多个传感器可以通过触发摄像机132或向摄像机132(或其他图像传感器)发信号来启动图像的捕获。在一个实施方式中，例如，当每个桨叶80接近或到达摄像机132的视野150时，传感器(例如，传感器160)检测桨叶80的位置，使得在桨叶80的顶侧的全宽度在摄像机132的视场150内的时刻捕获图像，从而有利于对桨叶80支撑的谷粒尾料进行全宽和前后成像。在另一实施方式中，不使用额外的传感器，并且摄像机132被编程为以与桨叶80的行进同步的预定速率和周期捕获图像。在其他实施方式中，摄像机132以与桨速协调的速率的采样速率连续地捕获图像。

已经描述了谷粒质量控制系统的各种机械方面，现在还参考图5-11，参考对谷粒尾料的谷粒和非谷粒材料的评价，在上述的示例性谷粒尾料升降机的环境下，现在将详细描述示例谷粒质量控制系统200的控制和逻辑结构。应该理解的是，谷粒质量控制系统可以沿着谷粒流动通过联合收割机20的流动路径，基于在清洁谷粒升降机内的清洁谷粒或在其他位置处的清洁谷粒，而用于监测、评估和进行机器调整。谷粒质量控制系统200准确地估计或确定由联合收割机20收割的作物的谷粒尾料的谷粒材料质量或分类。如将描述的，谷粒质量控制系统200可以通过如下的项目来实现：联合收割机20的主控制器102、成像系统130的本地或远程处理器，远程处理设备(例如，便携式设备或远程计算机网络)或其组合。

通常，用户界面系统100通过无线或有线与谷粒质量控制系统200通信，以向联合收割机20的操作员显示关于谷粒尾料的监测、识别和分类信息。用户界面系统100可以配置以便操作员可以通过用户界面系统100启动与谷粒质量控制系统200的通信，以访问显示谷粒尾料状态的报告、图表或其他视觉显示。用户界面系统100可以显示与操作员和联合收割机20的操作有关的各种信息，例如特定作物的谷粒类型，允许操作员识别正由联合收割机20收割的作物的识别结果的潜在错误报告。操作员还可以通过用户界面系统100启动各种诊断过程，系统维护过程和测试过程。用户界面系统100可以显示关于谷粒尾料升降机70中的关于谷粒的各种启发式算法，该算法的实施例其中包括诊断、检测到的作物类型、置信水平和谷粒材料分类。当与用户界面系统100通信时，操作员可以物理地位于收割机20的驾驶室26中。替代地，操作员可以相对于用户界面系统100远程定位并且通过无线通信协议(例如Wi-Fi，蓝牙或JDLINK)与用户界面系统100通信。在一个实施例中，在操作系统的控制下，图形用户界面(GUI)可以实现用户界面系统100并捕获操作员和用户界面系统100之间的交互并且使得显示所请求的信息。

用户界面系统100将由操作员输入的消息和信息引导到控制器102，并且控制器102将操作员的输入中继到谷粒质量控制系统200的谷粒质量检测系统202。替代地，控制器102接收由本地或远程定位的机器或设备(例如本地计算机或基于云的web服务器)生成的输入。例如，基于云的web服务器继而可以通过因特网的web服务器由用户交互来控制。

控制器102响应来自操作员和谷粒质量检测系统202的输入并使用该信息来控制联合收割机20的各种传感器和致动器装置，例如上面列出的那些(例如风扇44的速度，筛子48和筛网50的运动等等)。谷粒质量检测系统202可以物理地结合在成像系统130中。替代地，这两个系统可以远程定位并且无线通信。在又一个实施例中，谷粒质量检测系统202是控制器102的一部分或谷粒质量检测系统202是控制分布式系统的一部分，其中谷粒质量检测系统202包括其自己的控制器，该控制器继而与主控制器102通信。由成像系统130的摄像机132生成的图像通过控制器102发送到谷粒质量检测系统202，或者由成像系统130直接发送到谷粒质量检测系统202。在前一实施例中，控制器102具有灵活性，以执行通常由谷粒质量检测系统202执行的一些处理任务以卸载谷粒质量检测系统202。前述实施例的应用是谷粒质量检测系统202远程与控制器102通信并且系统带宽是有限的。另外，控制器102处于协调联合收割机20的装置的活动的位置，例如上面提到的各种传感器和致动器装置。

谷粒质量检测系统202被配置为对来自成像系统130的样本图像(该样本图像是谷粒尾料升降机70中的谷粒尾料的样本图像)执行分析和诊断。利用高性能摄像机，例如摄像机132，在谷粒尾料升降机70内的采样位置处捕获样本图像。摄像机132的高性能特性与谷粒质量检测系统202的高级处理性能相结合，提供了增强的组成部分识别和分类。采样位置是谷粒尾料升降机70内的摄像机132的视野内的位置。样本图像由图像数据表示的一组图像像素定义。与样本图像相关联的分类特征描述了谷粒尾料的谷粒材料。谷粒材料和非谷粒材料的分类类别的非限制性列表可包括清洁谷粒、破碎谷粒、轻MOG、重MOG和未脱粒的谷粒。可以理解，被归类为“清洁”谷粒的谷粒尾料包括已经完全脱粒的谷粒，“破碎”的谷粒尾料包括部分清洁谷粒，例如以某种方式已经被切断或压碎的谷粒。“轻MOG”是相对的轻质谷壳或其他非谷粒材料，如叶子和外壳，其可以很容易地被风扇44吹。“重MOG”是非谷粒材料，它更密集或更重，不易被吹走，如枝条、树皮等。“未脱粒”的谷粒是未与外壳分离的谷粒。可以提供这些类别的各种其他定义。此外，额外的分类和子类别可以包括在谷粒质量控制系统200中。例如，一个补充分类可以被制成“空白空间”分类。“空白空间”是谷粒尾料之间的没有谷粒尾料的空间。该空白空间的分类有助于通过消除对错误的谷粒类型进行分类的可能性来准确地对谷粒尾料进行分类。此外，识别到该空白空间有助于通过避免将空隙潜在地错误标记为谷粒，MOG等来改善谷粒的分类。

现在参考图6，成像系统130选择要处理的一个或多个样本图像，选定的样本图像由图像数据的图像像素集的图像像素子集表示。成像系统130产生输出信号到存储器234。输出信号携带表示选定的样本图像的图像数据。

处理器232包括至少一个处理单元，其配置成分析从成像系统130接收的选定的图像的图像数据，并基于这种分析产生输出。出于本申请的目的，术语“处理单元”或“处理器”应表示当前开发的或未来开发的处理单元，其执行包含在存储器中的指令序列。执行指令序列使处理单元执行诸如产生控制信号的步骤。指令可以从只读存储器(ROM)、大容量存储设备或一些其他永久存储器加载到随机存取存储器(RAM)中，以便由处理单元执行。在其他实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现所描述的功能。例如，在其他实施方式中，处理器232体现为一个或多个专用集成电路(ASIC)的一部分。除非另有特别说明，否则控制器不限于硬件电路和软件的任何特定组合，也不限于处理单元执行的指令的任何特定源。

控制器102还可以包括一个或多个处理单元，其被配置为输出控制信号以指导一件谷粒处理设备(例如联合收割机20的各种部件)的操作。在一个实施例中，控制器102输出控制信号，该控制信号控制和调整联合收割机20的如上所列的操作参数。

用户界面系统100的显示器241可以包括一个或多个装置，通过该装置可视地呈现关于谷粒质量的信息。例如，显示器241可以包括一系列发光二极管，其提供关于谷粒质量的警报或通知。显示器241可以是显示屏，例如触摸屏，并且包括通过其传送信息的扬声器或其他听觉设备。

存储器234包括非暂时性计算机可读介质，其包含代码、软件、电路或指令形式的程序逻辑，该程序逻辑指导处理器232的操作。存储器234另外用作存储数据的持久存储设备。虽然存储器234被示为单个存储器，但是在其他实施方式中，它可以例如跨局域网或广域网而分布在多个存储器装置或存储器位置之间。在所示的示例中，存储器234包括软件模块，其执行谷粒质量的分析并且基于这种分析的结果提供直接输出。

在所示的示例中，存储器234包括图像捕获模块(ICM)236，数据存储模块(DS)237，卷积神经网络(CNN)模块239和输出模块(OM)238。ICM 236，DS模块237，OM 238和CNN模块239各自包括程序逻辑，以指导处理器232实施用于谷粒质量控制的方法288，如图7所示。成像系统130将从尾料升降机壳体76的内部获得的谷粒尾料的一个或多个样本图像传送到存储器234的ICM 236。成像系统130选择一个样品图像以进行处理，如图7的框290和292所示。在一个实施方式中，ICM 236将与选定的图像相对应的选定的图像数据保存在DS模块237中，并将其发送到处理器232以进行处理，或者将选定的图像数据的保存版本发送到处理器232以进行处理。

如图7中的框294所示，谷粒尾料的分类开始。在一个实施方式中，CNN模块239指示处理器232对选定的图像数据执行一个或多个处理，以通过以像素为基础将CNN算法应用于选定的图像数据来增强图像分析，如框296所示。图7.CNN算法是深度学习逻辑的一种形式，其可以在图像处理应用中用于检测或辨别图像的特征而无需任何或减少样本图像的预处理或预过滤。CNN算法在计算上是高效的，因为它们使用特殊的卷积和池化操作并执行参数共享。这使得CNN模型能够在各种处理装置上普遍运行，提供强大而有效的建模，以在图像处理应用中执行自动特征提取。可以实现各种CNN算法，其中之一是但不限于由CarnegieMellon University开发的PixeINet，详见“PixeINet：像素的表示，由像素表示和用于像素的表示”，可在http：//www.cs.cmu.edu/～aayushb/pixelNet/处获得，其全部内容通过引用并入本文。CNN算法通常由具有可调权重和乘数的多个可变滤波器阶段实现。在一个实施方式中，与选定的图像相关联的分类的数量至少部分地指示实现CNN算法的阶段和权重的数量。例如，十种类型的谷粒材料的分类特征可能需要比三种类型的谷粒材料的分类特征更多的阶段和权重。

继续，处理器232在CNN模块239的帮助下产生表示谷粒尾料分类概率的分类(或控制)信号，其可被视为谷粒尾料的实际分类。在完成将CNN算法应用于选定的图像数据后，OM238指示处理器232生成表示每个分类概率的信号，如图7的框298所示。因此，CNN模块239至少部分地基于选定的图像的分类实现CNN算法的特征，例如权重和阶段。

在一个实施方式中，ICM 236收集表示选定的图像的图像像素的图像数据，并基于唯一分类器算法(例如，与收割相关联的分类器算法)分析对应的选定的图像数据。ICM 236使用分类器算法更新分类或补充分类。来自处理器232的分类信号表示置信度，该置信度基于准确识别谷粒材料的概率。分类信号可以是谷粒尾料的分类特征的二元表示，其中谷粒尾料被分类为具有特定的分类特征或不具有特定的分类特征。

在一个实施例中，由ICM 236选择“N”个数量的谷粒尾料的样本图像，“N”表示整数值。N个样本图像由N个相应的图像像素集定义。CNN模块239结合处理器232在每个集上应用CNN算法，并且在完成CNN算法在一个集上的应用时，对每个剩余样本图像重复该过程，直到处理完所有N个集。在一个实施方式中，当N低于预定阈值时，处理停止并且CNN算法被宣布完全应用。通常，如上所述，处理更多数量的样本图像产生更高的置信度。

对于通常公开的谷粒质量控制系统200的组件的进一步细节，读者可以参考2017年10月3日由Wellington等人发布的题为“谷粒质量监测”的美国专利No.9,779,330，其公开内容通过引用并入本文，如同完整阐述一样。

在框299中，OM 238将表示谷粒尾料的分类的控制信号输出到控制器102，以调整联合收割机20的操作参数。例如，控制器102可以向上面指定的各种致动器装置中的任何一个发出控制命令，以用于调整联合收割机20的作物处理部件(例如，脱粒部件、清洁部件等)。

如图8所示，在一个实施例中，谷粒质量检测系统202从成像系统130接收谷粒尾料的样本图像242。样本图像242由图像分析器244和作物特定参数生成器246分析。图像分析器244包括一个或多个处理器和相关程序逻辑，该相关程序逻辑呈代码、软件和/或电路形式且存储在非暂时性计算机可读介质或存储器中，如图5所示。程序逻辑包括提供至控制器102的处理器的指令，该指令由处理器执行。图像分析器244包括图像选择模块250、图像质量模块252、重叠和填充检测模块254、CNN模块239、作物和品种检测器模块256、以及转换和过滤模块260。作物特定参数生成器246包括标签模块272和训练模块270。在一种实施方式中，作物特定参数生成器246可以包括一个或多个处理器。

图像选择模块250接收在尾料升降机70中捕获的谷粒尾料的图像242，并且如下所述对接收的样本图像执行突发成像和预过滤，以在选择图像时提供帮组以进行完全处理。如前所述，如图4所示，谷粒尾料升降机70的桨叶80输送谷粒尾料。谷粒尾料可能不均匀地分布在每对桨叶80之间。谷粒尾料的不均匀分布会对分类产生负面影响。另外，谷粒尾料的流动速度可能在成对的桨叶之间变化，也对分类结果产生负面影响。图像选择模块250采用图像传感器(例如用于在采样位置处对谷粒尾料进行分类的图像传感器134(并且在传感器160，162中的任一个是图像传感器的情况下))，并减少偏置、优化样本大小，并减少图像中的运动模糊。为了补偿不均匀的谷粒拖尾分布，图像选择模块250通过将图像选择算法应用于图像来预过滤每个图像输入或样本图像，以识别值得完全处理和分类的图像。图像选择模块250生成在预滤波处理中幸存的选定的图像，并将选定的图像发送到图像质量模块252。

由图像选择模块250采用的图像选择算法可以根据多种技术实现，并且主要集中于识别具有最大数量的谷粒的图像，并且还基于谷粒相对于它们的邻近谷粒的位置。这种图像选择算法的示例包括(但不限于)应用高斯能量算法、颜色分布测量、纹理分布测量、图像亮度分布测量，或识别运输谷粒的特定升降机桨叶。在一个实施方式中，可以识别桨叶80中的一个或多个以用于图像分类、模板匹配或模式识别。

如上所述，图像质量模块252从图像选择模块250接收选定的图像，并分析选定的图像以识别或检测受损图像。某些情况可能在采样时会损害图像的质量，例如焦点不佳、不良照明和颜色，以及窗口140上的外来物质、污迹、湿气或污垢。图像质量模块252移除受损图像，留下增强图像作为到重叠和填充检测模块254的输出。在一个实施例中，将受损图像输出到诊断模块248以进行诊断。响应于检测到差的图像质量，图像质量模块252可以向联合收割机20的操作员警告受损图像或损坏程度。例如，可以将预定阈值与不良图像的数量进行比较，并且当不良图像的数量超过预定阈值时，图像质量模块252可以采取额外的补救措施。这种另外的补救措施的例子，但不限于，包括数字掩蔽图像的劣质区域。在一些实施方式中，可以完全省略图像质量模块252。

根据具体情况，重叠和填充检测模块254分析来自图像质量模块252的增强图像或来自图像选择模块250的选定的图像。重叠和填充检测模块254监视和跟踪尾料升降机70内的谷粒尾料的移动。例如，重叠和填充检测模块254分析增强的图像以确定尾料升降机70填充谷粒尾料的程度。在一种实施方式中，基于强度梯度和其他图像特征来完成对谷粒尾料升降机70的消耗体积的评估。重叠和填充检测模块254产生与百分比填充信号262相对应的输出，该百分比填充信号262指示填充有谷粒尾料的图像的百分比。在一种实施方式中，基于检测到的尾料升降机70的填充，重叠和填充检测模块254指示处理器232(图6中所示)在谷粒尾料升降机70被充分填充时将控制信号输出到联合收割机20。在另一实施方式中，重叠和填充检测模块254识别图像的未填充部分并相应地输出信号。

重叠和填充检测模块254进一步跟踪尾料升降机70上的谷粒尾料的移动，以识别重叠的谷粒尾料图像并防止相同谷粒尾料样品的重复计数。在一个实施方式中，重叠和填充检测模块254假设谷粒尾料横跨谷粒尾料升降机70的大部分线性运动。在一个实施方式中，重叠和填充检测模块254分析连续的图像并生成图像的部分的相关性得分。基于相关性得分，重叠和填充检测模块254识别这些图像的重叠部分以避免对重叠部分进行重复计数。结果，处理器232(图6中所示)上的负载减小。在处理之后，重叠和填充检测模块254将处理后的图像输出到CNN模块239。

进一步参考图9，在一个实施方式中，重叠和填充检测模块254在框287中对框285的分类概率进行聚合，并在框289中将校准函数应用于聚合的样本概率以确定用于框280的整体输入图像的材料类别的质量/重量百分比值。重叠和填充检测模块254还在框291中应用过滤以输出材料类别的重量百分比的估值。

作物和品种检测器模块256分析与来自重叠和填充检测模块254的已处理图像的一个或多个特征相关联的值，以识别特定作物的类型以及当前正在收割的作物的可能特定品种。所确定或识别的作物类型和品种被输出作为信号264，该信号与正被联合收割机20遍历的特定的相关地理参考位置一起被记录。在一个实施方式中，可以在显示器241上查看所识别的作物类型和品种(示出在图6中)。例如，田地上可以播种多种类型的作物或多种品种的作物。当收割机越过田地时，作物和品种检测器模块256检测作物类型和品种的变化。作物和品种检测器模块256针对该田地中的不同地理参考位置记录这种变化。在一个实施方式中，谷粒质量结果可以存储在存储器234中且与所识别的特定作物品种和类型以及该田地中的特定地理参考位置相关联。在一个实施方式中，将检测到的作物类型输出到控制器102，使控制器102能够基于检测到的作物类型改变其控制策略。

作物和品种检测器模块256可以不存在于谷粒质量检测系统202中，或者可以被手动地超控，其中操作员向CNN模块239指定作物类型。在缺失作物和品种检测器模块256的实施方式中，CNN模块239使用通用参数将特征值链接到分类概率，其中将不同的查找表或数学关系或公式分配给特定类别的谷粒材料并用于该特定类别的谷粒材料，例如本文列出的那些。

在又一实施方式中，作物和品种检测器模块256将从CNN模块239接收的用于谷粒尾料的一个或多个特征的值与正常值、典型值或标准值或值范围进行比较，并确定置信度、置信水平或置信度量值，其表示从作物和品种检测器模块256接收的特定特征值确实是针对正在收割的作物的置信度、置信水平或置信度量值。在这样的实施方式中，作物和品种检测器模块256输出表示指示的信号，该指示例如是置信水平指示266。控制器102可以使用置信水平指示266来改变分类信号268的指示。例如，可以改变分类信号268的指示以表示谷粒尾料的质量。置信水平指示266可以经由显示器241呈现给操作员。在从CNN模块239接收的特征的值与正在收割的作物的典型或预期特征值显著不同的情况下，作物和品种检测器模块256可以输出信号，该信号表示极低的置信水平。在一个实施方式中，如果接收的特征值与预期的特征值之间的差异超过预定阈值，则可以向操作员显示或可听地呈现警告指示。这种差异可能表明存在各种问题，并且可能导致可能由操作员造成的低置信水平，例如输入错误的作物类型，或者这种差异可能是收割机暂时穿过田地的异常区域(该异常区域包含植株的异常部分)的结果。控制器102可以采用分类信号268和置信水平指示266来调整联合收割机20的操作参数并改善谷粒质量。

在一个实施方式中，CNN模块239指示处理器232在特定采样位置处确定不同谷粒材料分类的概率。例如，CNN模块239可以为特定采样位置分配多个不同分类中的每一个分类的概率。作为具体示例，CNN模块239可以为特定采样位置分配x％的概率和z％的概率等，该x％的概率表示图像样本正在描绘谷粒材料的第一分类的概率，该z％的概率表示采样位置正在描绘谷粒材料的第二分类的概率，其中概率之和不超过100％。在一个实施方式中，CNN模块239指示处理器232确定在摄像机132的位置处存在第一材料分类(例如破碎谷粒)的概率以及在摄像机132的位置处存在第二不同材料分类(例如重MOG或轻MOG)的概率。

在一个实施方式中，CNN模块239使用不同的滤波器权重，并根据一个特征集或多个特征集和不同材料分类的不同概率来调整滤波器权重，该不同材料分类的不同概率与针对不同特征组合的不同值相对应。在一个实施方式中，通过获取多个谷粒样本、捕获多个谷粒样本中的每一个的图像、并且让专家或训练的人类操作员对图像的不同部分进行标记以形成标签模块272，来生成概率条目。在另一实施方式中，训练人员手动地对图像的不同部分(例如，每个作物上的清洁谷粒、重MOG、轻MOG、破碎谷粒或未脱粒谷粒)进行标记。例如，作物可以由人类操作员标记为小麦、玉米、大豆和油菜。标记的图像被数字输入并且可以存储在存储器234的DS模块237中以供训练模块270使用。

根据各种实施方式，向操作员显示的分类的指示可以以用户友好的方式完成，例如图12A和12B的图像中所示。图12A显示了使用CNN算法处理的谷粒尾料的图像。如现有技术的谷粒质量控制技术所做的那样，每块谷粒不是有意地分段的。相反，分类的谷粒是突出显示的区域，如336所示。图12B示出了除了实例分割之外还经历了CNN处理的谷粒的图像，其允许产生覆盖图或注释图像，该覆盖图或注释图像选择谷粒材料的特定片段，如在338处所示。

训练模块270可以包括一个或多个处理器和相关联的程序逻辑，其通过使用大量特征向量和标签对来指导通过机器学习生成查找表或数学关系。训练模块270使用标签来确定谷粒尾料的谷粒材料的期望概率，并将这些期望的概率发送到CNN模块239。

在一个实施方式中，如图8所示，CNN模块239可以以各种模式之一操作(例如，可由操作员选择)，其中谷粒质量检测系统202分析谷粒尾料以用于谷粒材料的不同分类。如上所述，上面列出了材料的不同分类的示例，CNN模块239对这些材料的不同分类进行预测，这些示例可以包括空白空间。在一些实施方式中，CNN模块239可以根据特定的谷粒类型和从中收割谷粒的特定植物来预测材料的其他分类。可以在查找表或数学关系(查找表或数学关系生成为用于标签模块272和训练模块270)中提供这种其他分类的概率。

转换和过滤模块260对CNN模块239输出以及补充分类信号259作出响应，并且将来自CNN模块239和补充分类信号259的所有谷粒尾料样本图像上的图像样本分类概率转换或映射成谷粒尾料中的材料的不同分类(包括补充分类)的重量百分比输出。转换和滤波模块260基于概率(该概率是构成样本图像的不同图像样本的用于特定材料分类的概率)的聚合，确定并输出分类信号268，该分类信号268指示样本图像的谷粒质量。在所示的示例中，转换和过滤模块260向显示器241输出谷粒质量信息，例如清洁谷粒的质量/重量百分比，破碎谷粒的质量/重量百分比，轻MOG的质量/重量百分比，重MOG的质量/重量百分比，未脱粒谷粒的质量/重量百分比等。在一个实施方式中，转换和过滤模块260还计算关于这样的谷粒质量结果的统计数据，其中针对联合收割机20的显示、机器控制和存储模块计算瞬时的、过滤的和测量中的不确定性。

在所示示例中，转换和过滤模块260将校准函数应用于统计数据，该统计数据从不同图像样本的不同分类概率的聚合中导出。在一个实施方式中，转换和过滤模块260通过应用呈线性曲线形式的校准函数将图像上的图像样本分类概率转换为用于图像的材料分类的质量/重量百分比，其中该校准函数将谷粒尾料图像上的平均分类概率映射成用于谷粒材料的分类重量百分比或质量百分比。

参考图10和11，用于联合收割机20的远程连接系统300包括位于远程位置302的远程系统310。远程连接系统300还包括远程系统304和数据存储模块306。联合收割机20与远程位置302处的服务器中的元件通信。在一个实施方式中，远程系统304、310可各自提供计算，软件，数据访问和存储服务，其不需要最终用户知道提供服务的物理位置或配置。远程系统304、310可以包括一个或多个基于web的服务器或非基于web的服务器，并且可以使用适当的协议通过诸如因特网的广域网来提供服务，并且可以通过web浏览器或者通过任何其他计算组件而被访问。图6-9中所示的软件或组件以及相应的数据可以存储在远程位置的服务器上。远程服务器环境中的计算资源在远程数据中心位置处可以被合并，也可以被分散。远程服务器基础架构可以通过共享数据中心提供服务，即使它们作为用户的单一访问点出现。因此，可以使用远程服务器架构从远程位置的远程服务器提供这里描述的组件和功能。替代地，它们可以从传统服务器提供，或者它们可以直接或以其他方式安装在客户端设备上。

图10的体系结构设想图1的一些元件设置在远程位置302而其他元件不设置在远程位置302。举例来说，数据存储器306和远程系统304、310可以设置在与联合收割机20的位置分开的位置并且通过远程服务器访问。无论它们位于何处，它们都可以通过网络而被联合收割机20直接访问。远程系统304、310可以由服务托管在远程站点，或者它们可以作为服务提供，或者由驻留在远程位置的连接服务访问。数据存储器306可以相对于远程系统310和/或远程系统304本地或远程定位。数据存储器306可以由远程系统304、310共享。

远程连接系统300可以包括谷粒质量分析系统354和更新控制器356。在一个实施方式中，谷粒质量分析系统354是远程定位的中央系统。谷粒质量分析系统354和更新控制器356相对于联合收割机20被远程地定位。在一个实施例中，联合收割机20将处理或未处理的图像传送到谷粒质量分析系统354，以便通过信道328进行诊断或系统更新。谷粒质量分析系统354的软件模块326可以通过信道330将软件更新或诊断信息发送回联合收割机20。例如，联合收割机20的操作员可能对谷粒尾料的谷粒质量具有低置信度。联合收割机20将看似受损的谷粒尾料的图像传送到谷粒质量分析系统354以进行潜在的诊断。替代地，联合收割机20的软件或过程更新可由谷粒质量分析系统354初始化，并通过专用信道或信道330共用的信道通过更新控制器356传送。在一种实施方式中，谷粒质量分析系统354收集怀疑质量较低的图像并基于其诊断通过更新控制器356将软件或产品线更新发送到联合收割机20以改进谷粒质量分析。替代地，谷粒质量分析系统354从来自多个农场的农业机器收集信息，并且在分析信息时，，检测特定农场的作物相对于其他农场的作物或相对于标准或期望所特有问题，谷粒质量分析系统354向具有检测到的故障作物且需要帮助的农场发送诊断或更新信息。在另一种实施方式中，谷粒质量分析系统354直接或通过更新控制器356将软件更新发送到各种农场的农业机器来保证各种农场上的软件版本是最新的。

在一个实施方式中，更新控制器356通信地耦合到多于一个联合收割机，移用于更新或诊断多于一个农场的设备。替代地，每个农场可以通过不同的控制器或公共控制器(例如更新控制器356)远程地通信到中央位置，例如谷粒质量分析系统354。

在一个实施方式中，信道328和330是一个通信信道。它们可以通过蜂窝信道，Wi-Fi，JDLINK或任何其他合适的无线通信手段来实现。更新控制器356可以通过类似的无线通信协议与联合收割机20和/或谷粒质量分析系统354通信。在一个实施方式中，更新控制器356是谷粒质量分析系统354的一部分。

如果需要，谷粒质量分析系统354可以视情况远程更新分类器算法的分类或替换或更新联合收割机20的分类器算法。因此，谷粒质量分析系统354允许农业机械(例如联合收割机20)的分类、诊断和更新方面中的进一步灵活性。

通过联合收割机20将图像数据远程传输到谷粒质量分析系统354可以改善谷粒质量的置信水平和/或识别图像中的如下特征，该特征在当前图像数据集中不存在的特征和可能出乎意料。它还可以允许农业机械在当前不支持的条件下操作或与当前不支持的作物一起操作和/或允许机器的操作员指示和报告问题。

远程访问从联合收割机20到谷粒质量分析系统354的图像数据以及从谷粒质量分析系统354到联合收割机20的图像数据可以改善客户支持，允许分析系统性能，改善系统性能和/或允许更快地开发软件更新，该突软件更新通过正常的分发过程分发给多个农场/客户或直接分发给农场的农业机器。

CNN算法在由处理器232执行时，基于像素有效地执行样本图像的语义分割，以提供分类输出。替代地或另外地，CNN算法或单独的成像逻辑可以执行实例分割以测量联合收割机20的尾料升降机70的谷粒尾料的谷粒尺寸，这对于机器自动化是有用的。

尽管已经参考示例实施例描述了本公开，但是本领域技术人员将认识到，在不脱离所要求保护的主题的精神和范围的情况下，可以在形式和细节上进行改变。例如，尽管可能已经将不同的示例实施例描述为包括提供一个或多个益处的一个或多个特征，但是可以预期所描述的特征可以彼此互换或者替代地在所描述的示例实施例中或者在其他替代实施例彼此组合。因为本公开的技术相对复杂，所以并非技术的所有变化都是可预见的。参考示例实施例描述并在以下权利要求中阐述的本公开明显旨在尽可能广泛。例如，除非特别指出，否则叙述单个特定元件的权利要求也包括多个这样的特定元件。

此外，提供以下实施例，其编号以便于参考，如下所述。

1.一种控制联合收割机中收割的谷粒质量的方法，该方法包括：通过一个或多个图像传感器在联合收割机的谷粒升降机内的采样位置处捕获一个或多个材料图像，所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示；通过一个或多个控制器接收与由所述一个或多个图像传感器捕获的所述一个或多个图像相关联的所述图像数据；通过所述一个或多个控制器从所捕获的图像中选择样本图像，选定的样本图像由所述图像像素集的图像像素子集定义；通过所述一个或多个控制器将卷积神经网络(CNN)算法应用于选定的样本图像的所述图像像素子集的图像数据；通过所述一个或多个控制器基于卷积神经网络算法应用于选定的样本图像的图像数据而确定所述分类特征；和通过一个或多个控制器分析所确定的分类特征以调整联合收割机的操作参数。

2.如示例1所述的方法，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料；其中，所述分类特征选自分类类别，所述分类类别包括清洁谷粒、破碎谷粒、轻的除谷粒(MOG)之外的材料，重的除谷粒之外的材料和未脱粒的谷粒；其中，所述分类类别包括空白空间分类，所述空白空间分类将谷粒材料之间的空间或非谷粒材料之间的空间识别为没有材料。

3.如示例1所述的方法，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料；并且其中，所述卷积神经网络算法执行实例分割以测量所述部分脱粒的谷粒尾料的谷粒尺寸。

4.如示例1所述的方法，还包括由所述一个或多个控制器生成指示与所述分类特征相关联的概率的置信度量值。

5.如示例1所述的方法，还包括由所述一个或多个控制器在本地保存所述图像像素子集的图像数据，或者将所述图像像素子集的图像数据发送到远程系统。

6.如示例1所述的方法，还包括：通过所述一个或多个控制器从所捕获的图像中选择整数N个选定的样本图像，所述N个选定的样本图像由所述图像像素集的N个子集定义；和其中，所述应用和确定步骤包括：通过所述一个或多个控制器将卷积神经网络算法应用于所述N个选定的样本图像中的每个选定的样本图像的图像像素子集的图像数据，并且基于卷积神经网络算法应用于每个选定的样本图像，通过所述一个或多个控制器确定所述分类特征。

7.如示例1所述的方法，其中，所述选择步骤采用基于以下项目中的一个或多个的图像选择算法：高斯能量、颜色分布、纹理分布，图像亮度分布或材料在所述采样位置处的位置识别。

8.如示例1所述的方法，其中，所述捕获步骤包括使用立体视觉图像传感器在所述采样位置处捕获材料的图像。其中，所述选择步骤包括通过所述一个或多个控制器从所捕获的图像中选择使用所述立体视觉图像传感器捕获的样本立体图像，选定的样本立体图像由所述图像像素集的图像像素子集定义；和其中，所述应用和确定步骤包括：通过所述一个或多个控制器将卷积神经网络算法应用于选定的样本立体图像的图像像素子集的图像数据，并且基于卷积神经网络算法应用于选定的样本立体图像，通过所述一个或多个控制器确定所述分类特征。

9.一种用于控制联合收割机中收割的谷粒的质量的系统，该系统包括：一个或多个图像传感器，所述一个或多个图像传感器用于在联合收割机的谷粒升降机内的采样位置处捕获材料图像，所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示；和一个或多个控制器，所述一个或多个控制器可操作地耦合到所述一个或多个图像传感器并且具有用于执行命令以实现以下功能的一个或多个处理器：处理与从所捕获的图像中选出的选定的样本图像相关联的图像数据，选定的样本图像的图像数据由所述图像像素集的图像像素子集定义；将卷积神经网络(CNN)算法应用于选定的样本图像的图像像素子集的图像数据；基于卷积神经网络算法应用于选定的样本图像的图像数据来确定所述分类特征；和分析所确定的分类特征以调整联合收割机的操作参数。

10.如示例9所述的系统，其中，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料；其中，所述分类特征选自分类类别，所述分类类别包括清洁谷粒、破碎谷粒、轻的除谷粒(MOG)之外的材料，重的除谷粒之外的材料和未脱粒的谷粒；其中，所述分类类别空白空间分类，所述空白空间分类将谷粒材料之间的空间或非谷粒材料之间的空间识别为没有材料。

11.如示例9所述的系统，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料；其中，所述卷积神经网络算法执行实例分割以测量所述部分脱粒的谷粒尾料的谷粒尺寸。

12.如示例9所述的系统，其中，所述一个或多个控制器还被配置为生成指示与所述分类特征相关联的概率的置信度量值。

13.如示例9所述的系统，其中，所述一个或多个控制器还被配置为：通过将卷积神经网络算法应用于从所捕获的图像中选出的整数N个选定的样本图像中的每个选定的样本图像的图像像素子集的相关联图像数据，而确定用于每个选定的样本图像的所述分类特征。

14.如示例9所述的系统，其中，所述一个或多个控制器还被配置为处理图像选择算法，以基于以下项目中的一个或多个从所捕获的图像中选出所述选定的样本图像：高斯能量、颜色分布、纹理分布、图像亮度分布，或材料在所述采样位置处的位置识别。

15.如示例9所述的系统，其中，存在多个图像传感器，所述多个图像传感器使用立体视觉在所述采样位置处捕获立体图像；和其中，所述一个或多个控制器还用于：将卷积神经网络算法应用于选定的样本立体图像的图像像素子集的图像数据；和基于卷积神经网络算法应用于选定的样本立体图像的图像数据来确定所述分类特征。

如本领域的技术人员将理解的那样，本公开的主题的某些方面可以被描述为方法、系统(例如，包含在作业车辆中的作业车辆控制系统)或计算机程序产品。因此，特定实施例可以整体地被实施为硬件，软件(包括固件、常驻软件、微型代码等)，或者实施为软件和硬件方面的组合。此外，特定实施例可以采用计算机可用存储介质上的计算机程序产品的形式，该计算机可用存储介质具有嵌入在介质中的计算机可用程序代码。

可以使用任何适当的计算机可用或计算机可读介质。计算机可用介质可以是计算机可读信号介质或计算机可读存储介质。计算机可用或计算机可读存储介质(包括与计算装置或客户端电子设备相关的存储装置)可以是例如，但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置，或者前述系统、设备或装置的任意适当组合。计算机可读介质的更具体示例(非排他性列表)可以包括：具有一个或多个金属线的电气连接件、便携式计算机磁盘、硬盘、随机访问内存(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)，光线、便携式只读光盘存储器(CD-ROM)、光存储装置。在该文件的内容中，计算机可用或计算机可读存储介质可以是任何有形介质，该介质能够包括或存储由指令执行系统、设备或装置所使用的或与指令执行系统、设备或装置相关的程序。

计算机可读信号介质可以包括具有嵌入在其中的计算机可读程序代码的传播数据信号，该程序代码例如在基带中或者作为载波的一部分。此种传播信号可以采用多种形式，包括但不限于电磁、光学或它们的任何适当组合。计算机可读信号介质可以是非易失型的，并且可以是任何计算机可读介质，该计算机可读介质不是计算机可读存储介质并且能够传递、传播或运输由指令执行系统、设备或装置所使用的或与指令执行系统、设备或装置相关的程序。

本文参考根据本发明的实施例的流程图和/或方法方块图、设备(系统)和计算机程序产品描述了某些实施例的多个方面。应当理解，通过计算机程序指令可以执行任何流程图和/或方块图的各个方块、以及流程图和/或方块图的多个方块的组合。这些计算机程序指令可以被提供到通用目的计算机的处理器、专用目的计算机的处理器，或者其他可编程数据处理设备的处理器，以获得一种机器，使得经由计算机或其他的可编程数据处理设备的处理执行的指令创建用于执行流程图和/或方块图的方块或多个方块中规定的功能/行为的装置。

这些计算机程序指令也可以被存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其他的可编程数据处理设备以特定的方式起作用，从而存储在计算机可读存储器中的指令生成制造章程，该章程包括执行在流程图和/或方块图的方块或多个方块中特指的功能/行为。

计算机程序指令也可以被加载到计算机或其他的可编程数据处理设备从而在计算机或其他可编程设备上形成一系列待执行的操作步骤，以生成计算机执行处理，从而在计算机或其他可编程设备上执行的指令提供用于执行在流程图和/或方块图的方块或多个方块中特指的功能/行为的步骤。

附图中的流程图和方块图示出了根据本公开的各种实施例的算法、功能、系统、方法和计算机程序产品的可能实施例的操作。在此方面，流程图或方块图中的各个方块可以表示一个代码的一个模块、一个区段或一部分，该代码包括用于执行特定逻辑功能的一个或多个可执行指令。此外，在一些替代实施例中，多个方块中所提及的功能(或者在本文中以其他方式描述的功能)可以以附图中所提及的顺序之外的顺序发生。例如，连续示出的两个方块(或者连续描述的两个方框)事实上可以基本上被同时执行，或者根据所涉及的功能多个方块(或操作)有时可以以相反的顺序执行。也应当注意方块图和/或流程图的各个方块、方块图和/或流程图中的多个方块的组合，能够被专用目的基于硬件的系统所执行，该基于硬件的系统执行特定功能或行为，或者执行特定目的硬件和计算机指令的组合。

用在本文中的术语只是为了描述特定实施例，并不试图限定本公开。如在本文中所使用的，单数形式“一”、“一个”和“该”也试图包括复数形式，除非上下文明确规定。此外还应当理解：说明书中使用术语“包括”和/或“包含”中的任一个表示出现所列出的特征部、整体、步骤、操作、元件和/或部件，但是不排除出现或添加其他特征部、整体、步骤、操作、元件、部件中的一个或多个，和/或它们的组合。

本公开的说明书已经为了说明和描述的目的被示出，但是不试图是排他性的或者将本公开限制在公开的内容中。对于本领域的技术人员而言，在不脱离本公开的范围和精神的情况下，很多修改和改变是显而易见的。本文明确参考的实施例被选择和说明，是为了最好地解释本公开的原理和它们的实际应用，并且使得本领域的其他普通技术人员能够理解本公开，并且认识到所描述的示例的各种替代实施例、修改和改变。因此，除了那么已经明确说明的实施例和实施方式之外的各种实施方式位于以下的权利要求的范围之内。

Claims

1.一种控制联合收割机中收割的谷粒质量的方法，该方法包括：

通过一个或多个图像传感器在联合收割机的谷粒升降机内的采样位置处捕获一个或多个材料图像，所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示；

通过一个或多个控制器接收与由所述一个或多个图像传感器捕获的所述一个或多个图像相关联的所述图像数据；

通过所述一个或多个控制器从所捕获的图像中选择样本图像，选定的样本图像由所述图像像素集的图像像素子集定义；

通过所述一个或多个控制器将卷积神经网络(CNN)算法应用于选定的样本图像的所述图像像素子集的图像数据；

通过所述一个或多个控制器基于卷积神经网络算法应用于选定的样本图像的图像数据而确定所述分类特征；和

通过一个或多个控制器分析所确定的分类特征以调整联合收割机的操作参数。

2.根据权利要求1所述的方法，其中，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料。

3.根据权利要求2所述的方法，其中，所述分类特征选自分类类别，所述分类类别包括清洁谷粒、破碎谷粒、轻的除谷粒(MOG)之外的材料，重的除谷粒之外的材料和未脱粒的谷粒。

4.根据权利要求3所述的方法，其中，所述分类类别包括空白空间分类，所述空白空间分类将谷粒材料之间的空间或非谷粒材料之间的空间识别为没有材料。

5.根据权利要求2所述的方法，其中，所述卷积神经网络算法执行实例分割以测量所述部分脱粒的谷粒尾料的谷粒尺寸。

6.根据权利要求1所述的方法，还包括由所述一个或多个控制器生成指示与所述分类特征相关联的概率的置信度量值。

7.根据权利要求1所述的方法，还包括由所述一个或多个控制器在本地保存所述图像像素子集的图像数据，或者将所述图像像素子集的图像数据发送到远程系统。

8.根据权利要求1所述的方法，还包括为选定的样本图像标记所确定的分类特征。

9.根据权利要求1所述的方法，还包括：

通过所述一个或多个控制器从所捕获的图像中选择整数N个选定的样本图像，所述N个选定的样本图像由所述图像像素集的N个子集定义；和

其中，所述应用和确定步骤包括：通过所述一个或多个控制器将卷积神经网络算法应用于所述N个选定的样本图像中的每个选定的样本图像的图像像素子集的图像数据，并且基于卷积神经网络算法应用于每个选定的样本图像，通过所述一个或多个控制器确定所述分类特征。

10.根据权利要求1所述的方法，其中，所述选择步骤采用基于以下项目中的一个或多个的图像选择算法：高斯能量、颜色分布、纹理分布，图像亮度分布或材料在所述采样位置处的位置识别。

11.根据权利要求1所述的方法，其中，所述捕获步骤包括使用立体视觉图像传感器在所述采样位置处捕获材料的图像，

其中，所述选择步骤包括通过所述一个或多个控制器从所捕获的图像中选择使用所述立体视觉图像传感器捕获的样本立体图像，选定的样本立体图像由所述图像像素集的图像像素子集定义；和

其中，所述应用和确定步骤包括：通过所述一个或多个控制器将卷积神经网络算法应用于选定的样本立体图像的图像像素子集的图像数据，并且基于卷积神经网络算法应用于选定的样本立体图像，通过所述一个或多个控制器确定所述分类特征。

12.一种用于控制联合收割机中收割的谷粒的质量的系统，该系统包括：

一个或多个图像传感器，所述一个或多个图像传感器用于在联合收割机的谷粒升降机内的采样位置处捕获材料图像，所捕获的图像由图像像素集定义并且具有指示谷粒材料或非谷粒材料的分类特征，其中图像像素集由图像数据表示；和

一个或多个控制器，所述一个或多个控制器可操作地耦合到所述一个或多个图像传感器并且具有用于执行命令以实现以下功能的一个或多个处理器：

处理与从所捕获的图像中选出的选定的样本图像相关联的图像数据，选定的样本图像的图像数据由所述图像像素集的图像像素子集定义；

将卷积神经网络(CNN)算法应用于选定的样本图像的图像像素子集的图像数据；

基于卷积神经网络算法应用于选定的样本图像的图像数据来确定所述分类特征；和

分析所确定的分类特征以调整联合收割机的操作参数。

13.根据权利要求12所述的系统，其中，所述谷粒升降机是尾料升降机，并且所述采样位置处的材料包括部分脱粒的谷粒尾料。

14.根据权利要求13所述的系统，其中，所述分类特征选自分类类别，所述分类类别包括清洁谷粒、破碎谷粒、轻的除谷粒(MOG)之外的材料，重的除谷粒之外的材料和未脱粒的谷粒。

15.根据权利要求14所述的系统，其中，所述分类类别空白空间分类，所述空白空间分类将谷粒材料之间的空间或非谷粒材料之间的空间识别为没有材料。

16.根据权利要求13所述的系统，其中，所述卷积神经网络算法执行实例分割以测量所述部分脱粒的谷粒尾料的谷粒尺寸。

17.根据权利要求12所述的系统，其中，所述一个或多个控制器还被配置为生成指示与所述分类特征相关联的概率的置信度量值。

18.根据权利要求12所述的系统，其中，所述一个或多个控制器还被配置为：通过将卷积神经网络算法应用于从所捕获的图像中选出的整数N个选定的样本图像中的每个选定的样本图像的图像像素子集的相关联图像数据，而确定用于每个选定的样本图像的所述分类特征。

19.根据权利要求12所述的系统，其中，所述一个或多个控制器还被配置为处理图像选择算法，以基于以下项目中的一个或多个从所捕获的图像中选出所述选定的样本图像：高斯能量、颜色分布、纹理分布、图像亮度分布，或材料在所述采样位置处的位置识别。

20.根据权利要求1所述的系统，其中，存在多个图像传感器，所述多个图像传感器使用立体视觉在所述采样位置处捕获立体图像；和

其中，所述一个或多个控制器还用于：

将卷积神经网络算法应用于选定的样本立体图像的图像像素子集的图像数据；和

基于卷积神经网络算法应用于选定的样本立体图像的图像数据来确定所述分类特征。