CN114303615A - 使用预测图的机器控制 - Google Patents

使用预测图的机器控制 Download PDF

Info

Publication number
CN114303615A
CN114303615A CN202111156471.8A CN202111156471A CN114303615A CN 114303615 A CN114303615 A CN 114303615A CN 202111156471 A CN202111156471 A CN 202111156471A CN 114303615 A CN114303615 A CN 114303615A
Authority
CN
China
Prior art keywords
map
agricultural
pest
control
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111156471.8A
Other languages
English (en)
Inventor
诺埃尔·W·安德森
内森·R·范迪克
巴努·基兰·雷迪·帕拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN114303615A publication Critical patent/CN114303615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/005Precision agriculture
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/127Control or measuring arrangements specially adapted for combines
    • A01D41/1271Control or measuring arrangements specially adapted for combines for measuring crop flow
    • A01D41/1272Control or measuring arrangements specially adapted for combines for measuring crop flow for measuring grain flow
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/127Control or measuring arrangements specially adapted for combines
    • A01D41/1277Control or measuring arrangements specially adapted for combines for measuring grain quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Catching Or Destruction (AREA)

Abstract

由农业作业机器获得一个或多个信息图。一个或多个信息图映射田地的不同地理位置处的一个或多个农业特性值。农业作业机器上的现场传感器在农业作业机器移动穿过田地时感测农业特性。预测图生成器基于一个或多个信息图中的值和由现场传感器感测的农业特性之间的关系,生成预测田地中的不同位置处的预测农业特性的预测图。预测图可以被输出并用于自动机器控制。

Description

使用预测图的机器控制
技术领域
本说明书涉及农业机器、林业机器、建筑机器和草坪管理机器。
背景技术
存在各种各样不同类型的农业机器。一些农业机器包括收割机,诸如联合收割机、甘蔗收割机、棉花收割机、自走式饲料收割机和割晒机。一些收割机可以装配有不同类型的割台来收割不同类型的作物。
田地中存在的有害生物对收割操作有许多有害影响。例如,当收割机遇到田地中的受有害生物影响的区域时,收割机的机器性能可能劣化。因此,在收割操作期间,在遇到受有害生物影响的区域时,操作员可能试图修改收割机的控制。
以上讨论仅被提供为一般背景信息,并不旨在用于帮助确定所要求保护的主题的范围。
发明内容
由农业作业机器获得一个或多个信息图。一个或多个信息图映射田地的不同地理位置处的一个或多个农业特性值。农业作业机器上的现场传感器在农业作业机器移动穿过田地时感测农业特性。预测图生成器基于一个或多个信息图中的值和由现场传感器感测的农业特性之间的关系,生成预测田地中的不同位置处的预测农业特性的预测图。预测图可以被输出并用于自动机器控制。
提供本概述是为了以简化的形式介绍将在下面的详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的示例。
附图说明
图1是联合收割机的一个示例的局部示意图。
图2是根据本公开的一些示例更详细地示出农业收割机的一些部分的框图。
图3A至图3B(本文统称为图3)示出了图示农业收割机在生成图时的操作的示例的流程图。
图4是示出预测模型生成器和预测图生成器的一个示例的框图。
图5是示出农业收割机在接收信息图、检测有害生物特性以及生成用于在收割操作期间控制农业收割机的功能预测有害生物图中的操作示例的流程图。
图6A是示出预测模型生成器和预测图生成器的一个示例的框图。
图6B是示出现场传感器示例的框图。
图7示出了图示农业收割机的包括使用先验信息图和现场传感器输入生成功能预测图的操作的一个示例的流程图。
图8是示出控制区生成器的个示例的框图。
图9是图示图8中示出的控制区生成器的操作的一个示例的流程图。
图10图示了示出控制系统在选择目标设置值以控制农业收割机时的操作示例的流程图。
图11是示出操作员界面控制器的一个示例的框图。
图12是图示操作员界面控制器的一个示例的流程图。
图13是示出操作员界面显示的一个示例的示意图。
图14是示出与远程服务器环境通信的农业收割机的一个示例的框图。
图15至图17示出了可以用于农业收割机的移动设备的示例。
图18是示出可以用于农业收割机的计算环境的一个示例的框图。
具体实施方式
为了促进对本公开的原理的理解,现在将参考附图中图示的示例,并且将使用特定的语言来描述这些示例。然而,应当理解的是,并不打算限制本公开的范围。对所描述的设备、系统、方法的任何更改和另外修改,以及本公开的原理的任何进一步应用都是完全可预期的,如本公开所涉及领域的技术人员通常会想到的那样。特别地,完全可以设想,针对一个示例描述的特征、部件和/或步骤可以与针对本公开的其它示例描述的特征、部件和/或步骤相结合。
本说明书涉及结合先验数据(先前数据)使用与农业操作同时获取的现场数据,来生成预测图,诸如预测有害生物图。在一些示例中,预测图可以用于控制农业作业机器,诸如农业收割机。在一些示例中,预测有害生物图可以用于生成额外的预测图。如上讨论的那样,当农业收割机接合有害生物块时,可能使农业收割机的性能劣化。
基于许多不同的标准,农业收割机的性能可能会受到不利影响。例如,有害生物块中的有害生物的强度可能对农业收割机的操作具有有害影响。
有害生物可以包括病原体,例如细菌和病毒疾病、真菌、原生动物蠕虫;脊椎动物,如鸟类、鹿、麇鹿、野猪、其它哺乳动物等;无脊椎动物,如线虫、蠕虫、昆虫等。一些常见的有害生物包括玉米中的粘虫、冬小麦中的粗麻蝇、玉米中的欧洲玉米螟、豆类中的镰刀菌、花生中的黄曲霉毒素。请注意,这些只是示例,并且这些有害生物也可能与其它作物有关。
有害生物强度的量度可以是二进制值(诸如有害生物存在或有害生物不存在),或者是连续值(诸如在限定区域或体积中有害生物的百分比),或者是一组离散值(诸如低、中或高有害生物强度值)。类似地,农业收割机遇到的不同类型的有害生物可能会不同地影响农业收割机。例如,不同的有害生物类型可能会影响附近植株的物理结构(例如,更细的茎、更窄的叶子等)。当农业收割机与邻近此类有害生物的此类植株接合时,植株结构方面的这些变化也可能导致农业收割机的性能发生变化。
植被指数图示意性地映射了感兴趣的田地中的不同地理位置上的植被指数值(其可以指示植被生长)。植被指数的一个示例包括归一化差值植被指数(normalizeddifference vegetation index,NDVI)。还存在许多其它植被指数,并且所有这些植被指数都在本公开的范围内。在一些示例中,植被指数可以从由植株反射的一个或多个电磁辐射带的传感器读数中导出。非限制性地,这些带可以在电磁波谱的微波、红外线、可见光或紫外线部分中。
因此,植被指数图可以用于标识植被的存在和位置。在一些示例中,植被指数图使得能够在裸土、作物残体或其它植株(包括作物或杂草)存在的情况下标识作物并对其进行地理参考。例如,在生长季节即将开始时,当作物处于生长状态时,植被指数可以显示作物发育的进度。因此,如果植被指数图是在生长季节的早期或生长季节的中途生成的,则植被指数图可以指示作物植株的发育的进度。例如,植被指数图可以指示植株是否发育不良、是否建立了足够的冠层、或指示植株发育的其它植株属性。
侦察图可以由农业侦察机器人自动生成或由一个或多个人手动生成。例如,侦察机器人可以在生长季节期间沿着作物行在田地上导航,而不会对正在生长的植株产生重大影响。机器人可以感知受损的作物植株、患病的植株、动物标志、动物的存在、被吃的作物材料、连根拔起的植株、豆荚、穗、头部等的数量等等。
动物活动图可以由一个或多个人自动或手动生成。例如,动物活动图可以由监控田地的相机生成,该相机能够检测横跨田地的动物运动。或者,例如,一个人可以手动标识他们已经发现动物活动的位置。一些感兴趣的示例动物包括野猪、鸟类、浣熊、鹿、麋鹿等。可以在图上绘制检测到动物的位置。这些位置也可以作为发现动物的时间的时间参考。例如,这可能是有用的,因为在生长的早期阶段,动物可以将作物植株完全连根拔起,而在出现在后期生长阶段的某些动物对作物植株的影响较小。虽然在某些情况下,动物可以对后期阶段作物造成最低的损害,但会完全降低给定植株的谷物产量(例如,鹿吃植株的玉米穗)。时间参考也可以被聚集以随着时间标识田地中的动物活动的热点。这可能是有用的,例如,因为动物在田地中的给定位置的时间越长,由于该动物引起的作物损害的可能性就越大。
历史有害生物图示意性地绘制了自过去几年或当前生长季节的有害生物的过去位置。可以基于操作员在过去年份中的报告手动生成历史有害生物图。例如,当操作员在田地中观察有害生物或受有害生物影响的区域时,可以提供允许操作员将这些地理位置标记为包含有害生物或受有害生物影响的地理位置的界面。在其它示例中,历史有害生物图可以通过侦察、建模或其它方式从当前生长季节较早时候收集的数据中生成。
光学特性图示意性地映射了感兴趣的田地中的不同地理位置的电磁辐射值。电磁辐射值可以来自整个电磁频谱。本公开使用来自电磁频谱的红外线、可见光和紫外线部分的电磁辐射值仅作为示例,并且还设想了频谱的其它部分。光学特性图可以按波长(例如,上述植被指数)映射数据点。在其它示例中,光学特性图标识数据点的纹理、图案、颜色、形状或其它关系。数据点的纹理、图案或其它关系可以指示田地中对象的存在或标识,例如作物状态(例如,倒下/倒伏或站立的作物)、植株存在、植株类型、动物存在、昆虫存在、昆虫类型、哺乳动物类型、鸟类类型等。例如,植株类型可以通过可以用于标识植株的给定叶子图案来标识。或者,例如,可以使用昆虫轮廓或叶子中的咬合图案来标识昆虫。或者,例如,可以在植株上发现疾病。
因此,本讨论针对这样的系统进行,即,这些系统接收田地的先验信息图或在先验操作(先前操作)期间生成的图,并且还使用现场传感器来检测指示农业特性中的一个或多个的变量。该系统生成对先验信息图上的值和来自现场传感器的输出值之间的关系进行建模的模型。该模型用于生成功能预测图,该功能预测图预测在田地中的不同位置处的农业特性。在收割操作期间生成的功能预测图可以呈现给操作员或其他用户,或者用于在收割操作期间自动控制农业收割机,或者进行两者。功能预测图可以用于控制农业收割机。
图1是自走式农业收割机100的局部示意图。在示出的示例中,农业收割机100是联合收割机。另外,尽管在整个本公开中提供了联合收割机作为示例,但是应当理解的是,本描述也适用于其它类型的收割机,诸如棉花收割机、甘蔗收割机、自走式牧草收割机、割晒机或其它农业作业机器。因此,本公开旨在涵括所描述的各种类型的收割机,并且因此不限于联合收割机。而且,本公开涉及其它类型的作业机器,诸如其中可应用预测图的生成的农业播种机和喷雾器、建筑装备、林业装备和草坪管理装备。因此,本公开旨在涵括这些各种类型的收割机和其它作业机器,并且因此不限于联合收割机。
如图1所示,农业收割机100示意性地包括操作室101,该操作员室可以具有用于控制农业收割机100的各种不同的操作员界面机构。农业收割机100包括前端装备,诸如割台102以及总体以104指示的切割器。在图示的示例中,切割器104被包括在割台102上。农业收割机100还包括喂料室106、进料加速器108和通常以110指示的脱粒机。喂料室106和进料加速器108形成材料处理子系统125的一部分。割台102沿着枢转轴线105枢转地耦接到农业收割机100的框架103上。一个或多个致动器107驱动割台102围绕轴线105在通常由箭头109指示的方向上移动。因此,割台102在地面111上方的竖直位置(割台高度)是可通过致动致动器107来控制,该割台102在该地面上方行进。尽管在图1中未示出,农业收割机100还可以包括一个或多个致动器,该一个或多个致动器操作以向割台102或割台102的部分施加倾斜角、滚动角或两者。倾斜是指切割器104与作物接合的角度。例如,通过控制割台102使切割器104的远侧边缘113指向更加朝向地面来增加倾斜角。通过控制割台102使切割器104的远侧边缘113指向更背离地面来减小倾斜角。滚动角指的是割台102围绕农业收割机100的前后纵向轴向的取向。
脱粒机110示意性地包括脱粒转子112和一组凹部114。另外,农业收割机100还包括分离器116。农业收割机100还包括清粮子系统或清粮室(统称为清粮子系统118),该清粮子系统包括清粮风扇120、谷壳筛122和筛网124。材料处理子系统125还包括卸料脱粒滚筒126、尾料升运器128、干净谷物升运器130以及卸载螺旋输送器134和喷口136。干净谷物升运器将干净的谷物移动到干净粮箱132中。农业收割机100还包括残茬子系统138,该残茬子系统可以包括切碎机140和撒布机142。农业收割机100还包括推进子系统,该推进子系统包括驱动地面接合部件144(例如轮子或履带)的引擎。在一些示例中,本公开的范围内的联合收割机可以具有多于一个的以上提及的任何子系统。在一些示例中,农业收割机100可以具有左清粮子系统和右清粮子系统、分离器等,这些在图1中未示出。
在操作中,并且作为概述,农业收割机100示意性地在由箭头147指示的方向上移动穿过田地。在农业收割机100移动时,割台102(和相关联的拨禾轮164)接合待收割的作物,并朝向切割器104搜集作物。农业收割机100的操作员可以是本地人类操作员、远程人类操作员或自动化系统。操作员命令是操作员发出的命令。农业收割机100的操作员可以确定割台102的高度设置、倾斜角设置或滚动角设置中的一个或多个。例如,操作员向控制致动器107的控制系统输入一个或多个设置(下面将更详细地描述)。控制系统还可以接收来自操作员的、用于确立割台102的倾斜角和滚动角的设置,并且通过控制相关联的致动器(未示出)来实施输入的设置,该相关联的致动器操作用以改变割台102的倾斜角和滚动角。致动器107基于高度设置将割台102保持处于地面111上方的高度,并且在适用的情况下保持处于期望的倾斜和滚动角。高度、滚动和倾斜设置中的每一个都可以独立于其它设置来实施。控制系统以基于所选择的灵敏度水平确定的响应性来响应割台误差(例如,高度设置和割台104在地面111上方的测量高度之间的差异,以及在一些示例中倾斜角和滚动角误差)。如果灵敏度水平被设置处于较高的灵敏度水平,则控制系统响应较小的割台位置误差,并试图比灵敏度处于较低灵敏度水平的情况下更快地减少所检测的误差。
回到对农业收割机100的操作的描述,在作物被切割器104切割后,切断的作物材料通过喂料室106中的输送机朝向进料加速器108移动,该进料加速器加速作物材料进入脱粒机110。作物材料由转子112脱粒,该转子使作物抵靠凹部114旋转。脱粒后的作物材料由分离器116中的分离器转子移动,在该分离器中残茬中的一部分由卸料脱粒滚筒126朝向残茬子系统138移动。传送到残茬子系统138的该部分残茬由残茬切碎机140切碎,并由撒布机142撒布在田地上。在其它配置中,残茬从农业收割机100中释放成料堆。在其它示例中,残茬子系统138可以包括杂草种子排除器(未示出),诸如种子装袋机或其它种子收集器、或者种子破碎机或其它种子破坏器。
谷物落到清粮子系统118。谷壳筛122从谷物中分离较大的材料片中的一些,并且筛网124从干净的谷物中分离较细的材料片中的一些。干净谷物落到螺旋输送器上,该螺旋输送器将谷物移动到干净谷物升运器130的入口端,并且干净谷物升运器130将干净谷物向上移动,从而将干净谷物存放在干净粮箱132中。残茬通过由清粮风扇120生成的气流从清粮子系统118中移除。清粮风扇120引导空气沿着气流路径向上穿过筛网和谷壳筛。气流将农业收割机100中的残茬向后朝向残茬处理子系统138运送。
尾料升运器128将尾料返回脱粒机110,在该脱粒机中尾料被重新脱粒。替代性地,尾料也可以通过尾料升运器或另一运输装置被传递到分离的再脱粒机构,在该再脱粒机构中尾料也被再脱粒。
图1还示出在一个示例中,农业收割机100包括机器速度传感器146、一个或多个分离器损失传感器148、干净谷物相机150、可以呈立体相机或单目相机的形式的前视图像捕获机构151以及设置在清粮子系统118中的一个或多个损失传感器152。
机器速度传感器146感测农业收割机100在地面上的行进速度。机器速度传感器146可以通过感测地面接合部件(诸如轮子或履带)、驱动轴、轴或其它部件的旋转速度来感测农业收割机100的行进速度。在一些情况下,可以使用定位系统来感测行进速度,诸如全球定位系统(global positioning system,GPS)、航位推算系统、远程导航(long rangenavigation,LORAN)系统或提供行进速度的指示的各种其它系统或传感器。
损失传感器152示意性地提供指示在清粮子系统118的右侧和左侧中出现的谷物损失量的输出信号。在一些示例中,传感器152是撞击传感器,这些撞击传感器对每单位时间或每单位行进的距离的谷物撞击进行计数,以提供在清粮子系统118处发生的谷物损失的指示。用于清粮子系统118的右侧和左侧的撞击传感器可以提供单独的信号或组合或聚集的信号。在一些示例中,传感器152可以包括单个传感器,而不是为每个清粮子系统118提供单独的传感器。
分离器损失传感器148提供指示左分离器和右分离器(在图1中未单独示出)中的谷物损失的信号。分离器损失传感器148可以与左分离器和右分离器相关联,并可提供分离的谷物损失信号或组合或聚集的信号。在某些情况下,感测分离器中的谷物损失也可以使用各种不同类型的传感器进行。
农业收割机100还可以包括其它传感器和测量机构。例如,农业收割机100可以包括以下传感器中的一个或多个:割台高度传感器,其感测割台102在地面111上方的高度;稳定性传感器,其感测农业收割机100的振动或跳动(和振幅);残茬设置传感器,其被配置成感测农业收割机100是否被配置成切碎残茬、产生料堆等;清粮室风扇速度传感器,用于感测风扇120速度;凹部间隙传感器,其感测转子112和凹部114之间的间隙;脱粒转子速度传感器,其感测转子112的转子速度;谷壳筛间隙传感器,其感测谷壳筛122中的开口的尺寸;筛网间隙传感器,其感测筛网124中的开口的尺寸;除谷物以外的材料(material otherthan grain,MOG)湿度传感器,其感测穿过农业收割机100的MOG的湿度水平;一个或多个机器设置传感器,其被配置为感测农业收割机100的各种可配置设置;机器取向传感器,其感测农业收割机100的取向;以及作物性质传感器,其感测各种不同类型的作物性质(诸如作物类型、作物湿度和其它作物性质)。作物性质传感器也可以被配置成在作物材料被农业收割机100处理时感测切断的作物材料的特性。例如,在一些情况下,作物性质传感器可以感测:谷物品质(诸如破碎谷物、MOG水平);谷物成分(诸如淀粉和蛋白质);以及在谷物行进穿过喂料室106、干净谷物升运器130或农业收割机100中的其它地方时的谷物进料速率。作物性质传感器还可以感测通过喂料室106、分离器116或农业收割机100中的其它地方的生物量的进料速率。作物性质传感器也可以感测通过升运器130或通过农业收割机100的其它部分的进料速率作为谷物质量流率,或者提供指示其它感测变量的其它输出信号。作物性质传感器可以包括感测农业收割机正在收割的作物产量的一个或多个产量传感器。
(一个或多个)产量传感器可以包括谷物流量传感器,该谷物流量传感器检测材料处理子系统125或农业收割机100的其它部分中的作物例如谷物的流量。例如,产量传感器可以包括测量所收割的谷物的流量的伽马射线衰减传感器或利用辐射特性来确定产量的其它类型的辐射传感器。在另一个示例中,产量传感器包括撞击板传感器,该撞击板传感器检测谷物对感测板或感测表面的撞击以测量所收割的谷物的质量流量。在另一示例中,产量传感器包括一个或多个称重单元,该称重单元测量或检测所收割的谷物的载荷或质量。例如,一个或多个称重单元可以位于粮箱132的底部,其中在测量间隔期间粮箱132内的谷物重量或质量的变化指示在测量间隔期间的总产量。测量间隔可以增加以求平均或减少以进行更多的瞬时测量。在另一个示例中,产量传感器包括相机或光学感测装置,该相机或光学感测装置检测所收割的谷物的聚集块体的大小或形状,例如粮箱132中的谷物堆的形状或谷物堆的高度。测量间隔期间的谷物堆的形状或高度的变化指示测量间隔期间的总产量。在其它示例中,采用其它产量感测技术。例如,在一个示例中,产量传感器包括上述传感器中的两个或更多个,并且测量间隔的产量由多个不同类型传感器中的每一个输出的信号确定。例如,产量是基于来自伽马射线衰减传感器、撞击板传感器、粮箱132内的称重单元和沿粮箱132的光学传感器的信号来确定的。
在描述农业收割机100如何生成功能预测有害生物图并使用该功能预测有害生物图进行控制或者进行进一步处理之前,将首先描述农业收割机100上的一些项目及其操作的简要描述。图2和图3的描述描述:接收一般类型的先验信息图,并将来自先验信息图的信息与由现场传感器生成的地理参考传感器信号相结合,其中传感器信号指示田地中的特性,诸如田地中存在的有害生物的特性。该田地的特性可以包括但不限于田地的特性(诸如坡度、有害生物强度、有害生物类型、土壤湿度、表面品质);作物性质的特性(诸如作物高度、作物湿度、作物密度、作物状态);谷物性质的特性(诸如谷物湿度、谷物尺寸、谷物测试重量);以及机器性能的特性(诸如损失水平、作业品质、燃料消耗和功率利用)。从现场传感器信号获得的特性值和先验信息图值之间的关系被标识,并且该关系被用于生成新的功能预测图。功能预测图预测田地中的不同地理位置处的值,并且这些值中的一个或多个可以用于控制机器,诸如农业收割机的一个或多个子系统。在一些情况下,功能预测图可以呈现给用户,诸如农业作业机器的操作员,该农业作业机器可以是农业收割机。功能预测图可以以视觉的方式(诸如通过显示器)、以触觉的方式或以听觉的方式呈现给用户。用户可以与功能预测图交互以执行编辑操作和其它用户界面操作。在一些情况下,功能预测图可以用于控制农业作业机器(诸如农业收割机)、呈现给操作员或其他用户、以及呈现给操作员或用户以供操作员或用户交互中的一个或多个。
在参照图2和图3描述了一般方法之后,参照图4和图5描述用于生成功能预测有害生物图的更具体的方法,该功能预测有害生物图可以呈现给操作员或用户、或者用于控制农业收割机100或者这两者。再次,尽管本讨论是针对农业收割机,并且特别是联合收割机进行的,但是本公开的范围涵括其它类型的农业收割机或其它农业作业机器。
图2是示出示例农业收割机100的一些部分的框图。图2示出了农业收割机100示意性地包括一个或多个处理器或服务器201、数据存储装置202、地理位置传感器204、通信系统206以及一个或多个现场传感器208,该一个或多个现场传感器在收割操作的同时感测田地的一个或多个农业特性。农业特性可以包括能够具有对收割操作的影响的任何特性。农业特性的一些示例包括收割机器、田地、田地上的植株和天气的特性。其它类型的农业特性也包括在内。现场传感器208生成对应于所感测的特性的值。农业收割机100还包括预测模型或关系生成器(以下统称为“预测模型生成器210”)、预测图生成器212、控制区生成器213、控制系统214、一个或多个可控子系统216以及操作员界面机构218。农业收割机100还可以包括多种其它农业收割机功能220。现场传感器208包括例如机载传感器222、远程传感器224和在农业操作的过程期间感测田地的特性的其它传感器226。预测模型生成器210示意性地包括先验信息变量到现场变量模型生成器228,并且预测模型生成器210可以包括其它项230。控制系统214包括通信系统控制器229、操作员界面控制器231、设置控制器232、路径规划控制器234、进料速率控制器236、割台和拨禾轮控制器238、带式输送器带控制器240、台面板位置控制器242、残茬系统控制器244、机器清粮控制器245、区控制器247,并且系统214可以包括其它项246。可控子系统216包括机器和割台致动器248、推进子系统250、转向子系统252、残茬子系统138、机器清粮子系统254,并且子系统216可以包括多种其它子系统256。
图2还示出农业收割机100可以接收先验信息图258。如下所述,先验信息图258包括例如植被指数图或来自先验操作的植被图或预测有害生物图。然而,先验信息图258也可以涵括在收割操作之前获得的其它类型的数据或者来自先验操作的图。图2还示出了操作员260可以操作农业收割机100。操作员260与操作员界面机构218交互。在一些示例中,操作员界面机构218可以包括操纵杆、操纵杆、方向盘、连杆、踏板、按钮、转盘、小键盘、在用户界面显示设备上的用户可致动元件(诸如图标、按钮等)、麦克风和扬声器(其中提供语音识别和语音合成)以及各种其它类型的控制设备。在提供触敏显示系统的情况下,操作员260可以使用触摸手势与操作员界面机构218交互。上述这些示例是作为示意性示例提供的,并不旨在限制本公开的范围。因此,可以使用其它类型的操作员界面机构218,并且其它类型的操作员界面机构在本公开的范围内。
可以使用通信系统206或以其它方式将先验信息图258下载到农业收割机100上并将其存储在数据存储装置202中。在一些示例中,通信系统206可以是蜂窝通信系统、用于通过广域网或局域网进行通信的系统、用于通过近场通信网络进行通信的系统、或者被配置为通过各种其它网络中的任何一种或网络组合进行通信的通信系统。通信系统206还可以包括有助于将信息下载或传送到安全数字(secure digital,SD)卡或通用串行总线(universal serial bus,USB)卡或两者,并且从其下载或传送信息的系统。
地理位置传感器204示意性地感测或检测农业收割机100的地理位置或方位。地理位置传感器204可以包括但不限于从全球导航卫星系统(global navigation satellitesystem,GNSS)卫星发射器接收信号的GNSS接收器。地理位置传感器204还可以包括实时动态(real-time kinematic,RTK)部件,该部件被配置为提高从GNSS信号导出的位置数据的精度。地理位置传感器204可以包括航位推算系统、蜂窝三角测量系统或各种其它地理位置传感器中的任何一种。
现场传感器208可以是上面参照图1描述的传感器中的任何一个。现场传感器208包括安装在机载农业收割机100上的机载传感器222。这种传感器可以包括例如感知传感器(例如,前视单目或立体相机系统和图像处理系统)、农业收割机100内部的图像传感器。现场传感器208还包括捕获现场信息的远程现场传感器224。现场数据包括从装在收割机上的传感器获取的数据,或者由在收割操作期间检测到数据的任何传感器获取的数据。
预测模型生成器210生成指示由现场传感器208感测的值和由先验信息图258映射到田地的度量之间的关系的模型。例如,如果先验信息图258将植被指数值映射到田地中的不同位置,并且现场传感器208感测指示有害生物强度的值,则先验信息变量到现场变量模型生成器228生成对植被指数值和有害生物强度值之间的关系进行建模的预测有害生物模型。预测有害生物模型也可以基于来自先验信息图258的植被指数值和由现场传感器208生成的多个现场数据值来生成。然后,预测图生成器212使用由预测模型生成器210生成的预测有害生物模型来生成功能预测有害生物图,该功能预测有害生物图基于先验信息图258来预测由现场传感器208在田地中的不同位置处感测的有害生物性质(诸如强度)的值。
在一些示例中,功能预测图263中的值的类型可以与由现场传感器208感测的现场数据类型相同。在一些情况下,功能预测图263中的值的类型可以具有与由现场传感器208感测的数据不同的单位。在一些示例中,功能预测图263中的值的类型可以与由现场传感器208感测的数据类型不同,但是与由现场传感器208感测的数据类型有关系。例如,在一些示例中,由现场传感器208感测的数据类型可以指示功能预测图263中的值的类型。在一些示例中,功能预测图263中的数据的类型可以不同于先验信息图258中的数据类型。在一些情况下,功能预测图263中的数据的类型可以具有与先验信息图258中的数据不同的单位。在一些示例中,功能预测图263中的数据的类型可以不同于先验信息图258中的数据类型,但是与先验信息图258中的数据类型有关系。例如,在一些示例中,先验信息图258中的数据类型可以表示功能预测图263中的数据的类型。在一些示例中,功能预测图263中的数据的类型不同于由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者。在一些示例中,功能预测图263中的数据的类型与由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者相同。在一些示例中,功能预测图263中的数据的类型与由现场传感器208感测的现场数据类型或先验信息图258中的数据类型中的一个相同,而不同于另一种。
继续前面的示例,其中先验信息图258是植被指数图,并且现场传感器208感测指示有害生物强度的值,预测图生成器212可以使用先验信息图258中的植被指数值和由预测模型生成器210生成的模型,来生成预测田地中的不同位置处的有害生物强度的功能预测图263。预测图生成器212因此输出预测图264。
如图2所示,预测图264基于先验信息图258中的在在田地上的各个位置处的先验信息值并使用预测模型,来预测这些位置处的所感测的特性(由现场传感器208感测)的值或者与所感测的特性相关的特性。例如,如果预测模型生成器210已经生成了指示植被指数值和有害生物强度之间的关系的预测模型,那么,在给定田地上的不同位置处的植被指数值的情况下,预测图生成器212生成预测田地上的不同位置处的有害生物强度值的预测图264。从植被指数图获得的、这些位置处的植被指数值以及从预测模型获得的植被指数值和有害生物强度之间的关系被用于生成预测图264。
现在将描述在先验信息图258中映射的数据类型、由现场传感器208感测的数据类型以及在预测图264上预测的数据类型方面的一些变化。
在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,但是预测图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测产量图,该预测产量图将预测的产量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测图264然后可以是预测作物高度图,该预测作物高度图将预测的作物高度值映射到田地中的不同地理位置。
此外,在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,并且预测图264中的数据类型不同于先验信息图258中的数据类型和由现场传感器208感测的数据类型两者。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测图264然后可以是预测生物量图,该预测生物量图将预测的生物量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测速度图,该预测速度图将预测的收割机速度值映射到田地中的不同地理位置。
在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型不同于由现场传感器208感测的数据类型,但是预测图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在种植期间生成的种子种群图,并且由现场传感器208感测的变量可以是茎尺寸。预测图264然后可以是预测茎尺寸图,该预测茎尺寸图将预测的杆尺寸值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是播种混合图,并且由现场传感器208感测的变量可以是作物状态,诸如直立作物或倒伏作物。预测图264然后可以是预测作物状态图,该预测作物状态图将预测的作物状态值映射到田地中的不同地理位置。
在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型与由现场传感器208感测的数据类型相同,并且预测图264中的数据类型也与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在前一年期间生成的产量图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测产量图,该预测产量图将预测的产量值映射到田地中的不同地理位置。在这样的示例中,可以由预测模型生成器210使用来自先前一年的地理参考先验信息图258中的相对产量差异来生成对先验信息图258上的相对产量差异和当前收割操作期间由现场传感器208感测的产量值之间的关系进行建模的预测模型。预测模型然后被预测图生成器210用来生成预测产量图。
在另一示例中,先验信息图258可以是在先验操作期间生成的有害生物强度图(诸如来自喷雾器),并且由现场传感器208感测的变量可以是有害生物强度。预测图264然后可以是预测有害生物强度图,该预测有害生物强度图将预测的有害生物强度值映射到田地中的不同地理位置。在这样的示例中,喷洒时有害生物强度的图被以地理参考的方式记录并作为有害生物强度的先验信息图258提供给农业收割机100。现场传感器208可以检测田地中的地理位置处的有害生物强度,并且预测模型生成器210然后可以建立对收割时的有害生物强度和喷洒时的有害生物强度之间的关系进行建模的预测模型。这是因为喷雾器在喷洒时会影响有害生物强度,但到收割时有害生物仍可能在类似地区再次出现。然而,基于收割时间、天气、有害生物类型等,收割时的有害生物区域可能具有不同强度。
在一些示例中,预测图264可以被提供给控制区生成器213。控制区生成器213基于与那些相邻部分相关联的预测图264的数据值,将区域的相邻部分分组为一个或多个控制区。控制区可以包括区域(诸如田地)的两个或更多连续部分,对于该区域,对应于用于控制可控子系统的控制区的控制参数是恒定的。例如,更改可控子系统216的设置的响应时间可能不足以令人满意地响应于包含在诸如预测图264的图中的值方面的变化。在这种情况下,控制区生成器213解析图并标识具有限定的尺寸的控制区,以适应可控子系统216的响应时间。在另一示例中,控制区的尺寸可以被确定为减小由连续调节导致的过度致动器运动造成的磨损。在一些示例中,对于每个可控子系统216或可控子系统216群组,可以有不同的控制区组。控制区可以被添加到预测图264以获得预测控制区图265。预测控制区图265因此可以类似于预测图264,除了预测控制区图265包括限定控制区的控制区信息。因此,如本文所述,功能预测图263可以包括或不包括控制区。预测图264和预测控制区图265两者是功能预测图263。在一个示例中,功能预测图263不包括控制区,诸如预测图264。在另一示例中,功能预测图263确实包括控制区,诸如预测控制区图265。在一些示例中,如果实施间作生产系统,则田地中可能同时存在多种作物。在这种情况下,预测图生成器212和控制区生成器213能够标识两种或多种作物的位置和特性,并且然后相应地生成预测图264和预测控制区图265。
还应当理解的是,控制区生成器213可以对值进行聚类以生成控制区,并且控制区可以被添加到预测控制区图265或单独的图中,从而仅示出所生成的控制区。在一些示例中,控制区可以用于控制或校准农业收割机100或两者。在其它示例中,控制区可以呈现给操作员260并用于控制或校准农业收割机100,并且在其它示例中,控制区可以呈现给操作员260或另一用户或被存储以供以后使用。
预测图264或预测控制区图265或两者被提供给控制系统214,该控制系统基于预测图264或预测控制区图265或两者生成控制信号。在一些示例中,通信系统控制器229控制通信系统206将预测图264或预测控制区图265或基于预测图264或预测控制区图265的控制信号通信传送给正在相同田地中收割的其它农业收割机。在一些示例中,通信系统控制器229控制通信系统206向其它远程系统发送预测图264、预测控制区图265或两者。
操作员界面控制器231可操作以生成控制信号来控制操作员界面机构218。操作员界面控制器231还可操作以向操作员260呈现预测图264或预测控制区图265或从预测图264、预测控制区图265或两者导出的或基于预测图264、预测控制区图265的其它信息。操作员260可以是本地操作员或远程操作员。作为示例,控制器231生成控制信号以控制显示机构为操作员260显示预测图264和预测控制区图265中的一个或两个。控制器231可以生成操作员可致动机构,该操作员可致动机构被示出并且可以由操作员致动以与所显示的图交互。操作员可以通过例如基于操作员的观察校正图上显示的有害生物类型来编辑图。设置控制器232可以基于预测图264、预测控制区图265或两者生成控制信号以控制农业收割机100上的各种设置。例如,设置控制器232可以生成控制信号来控制机器和割台致动器248。响应于所生成的控制信号,机器和割台致动器248操作以控制例如筛网和谷壳筛设置、凹部间隙、转子设置、清粮风扇速度设置、割台高度、割台功能、拨禾轮速度、拨禾轮位置、带式输送器功能(其中农业收割机100耦接到带式输送器割台)、玉米割台功能、内部分配控制和影响农业收割机100的其它功能的其它致动器248中的一个或多个。路径规划控制器234示意性地生成控制信号以控制转向子系统252根据期望的路径使农业收割机100转向。路径规划控制器234可以控制路径规划系统来为农业收割机100生成路线,并且可以控制推进子系统250和转向子系统252来使农业收割机100沿着该路线转向。进料速率控制器236可以控制各种子系统(诸如推进子系统250和机器致动器248),以基于预测图264或预测控制区图265或两者来控制进料速率。割台和拨禾轮控制器238可以生成控制信号来控制割台或拨禾轮或其它割台功能。带式输送器带控制器240可以基于预测图264、预测控制区图265或两者生成控制信号以控制带式输送器带或其它带式输送器功能。台面板位置控制器242可以基于预测图264或预测控制区图265或两者生成控制信号以控制包括在割台上的台面板的位置,并且残茬系统控制器244可以基于预测图264或预测控制区图265或两者生成控制信号以控制残茬子系统138。机器清粮控制器245可以生成控制信号来控制机器清粮子系统254。例如,基于穿过机器100的不同类型的有害生物,可以控制特定类型的机器清粮操作或执行清粮操作的频率。农业收割机100上包括的其它控制器也可以基于预测图264或预测控制区图265或两者来控制其它子系统。
图3A和图3B(本文统称为图3)示出了流程图,其图示农业收割机100在基于先验信息图258生成预测图264和预测控制区图265时的操作的一个示例。
在280,农业收割机100接收先验信息图258。关于框281、282、284和286讨论了先验信息图258或接收先验信息图258的示例。如上所讨论那样,如框282所示,先验信息图258将对应于第一特性的变量的值映射到田地中的不同位置。如框281所示,接收先验信息图258可以包括选择可用的多个可能的先验信息图中的一个或多个。例如,一个先验信息图可以是从航空图像生成的植被指数图。另一先验信息图可以是在先前通过田地期间生成的图,其可以由在田地中执行前一操作的不同机器(诸如喷雾器或其它机器)执行。选择一个或多个先验信息图的过程可以是手动的、半自动的或自动的。先验信息图258基于在当前收割操作之前收集的数据。这由框284指示。例如,数据可以基于前一年期间或当前生长季节早期或其它时间拍摄的航空图像来收集。数据可以是基于以不同于使用航空图像的方式检测的数据。先验信息图258的数据可以使用通信系统206传输到农业收割机100,并存储在数据存储装置202中。先验信息图258的数据也可以使用通信系统206以其它方式提供给农业收割机100,并且这由图3的流程图中的框286表示。在一些示例中,先验信息图258可以由通信系统206接收。
在收割操作开始时,现场传感器208生成指示一个或多个现场数据值的传感器信号,该一个或多个现场数据值指示特性,例如植株特性,诸如有害生物特性,如框288所示。关于框222、290和226讨论了现场传感器288的示例。如上所解释那样,现场传感器208包括机载传感器222、远程现场传感器224(诸如每次飞行以搜集现场数据的基于UAV的传感器(如框290中示出))、或者由现场传感器226指定的其它类型的现场传感器。在一些示例中,使用来自地理位置传感器204的位置、航向或速度数据对来自机载传感器的数据进行地理参考。
预测模型生成器210控制先验信息变量到现场变量模型生成器228来生成对包含在先验信息图258中的映射值和由现场传感器208感测的现场值之间的关系进行建模的模型,如框292所示。由先验信息图258中的映射值和由现场传感器208感测的现场值表示的特性或数据类型可以是相同的特性或数据类型或者不同的特性或数据类型。
由预测模型生成器210生成的关系或模型被提供给预测图生成器212。预测图生成器212使用预测模型和先验信息图258来生成预测图264,其预测由现场传感器208感测的在正在被收割的田地中的不同地理位置处的特性、或者与由现场传感器208感测的特性相关的不同特性的值,如框294所示。
应当注意的是,在一些示例中,先验信息图258可以包括两个或更多个不同的图或者单个图的两个或更多个不同的图层。每个图层可以表示与另一图层的数据类型不同的数据类型,或者图层可以具有在不同时间获得的相同数据类型。两个或多个不同图中的每个图或图的两个或多个不同图层中的每个层将不同类型的变量映射到田地中的地理位置。在这样的示例中,预测模型生成器210生成对现场数据和由两个或多个不同图或两个或多个不同图层映射的不同变量中的每一个之间的关系进行建模的预测模型。类似地,现场传感器208可以包括两个或更多个传感器,每个传感器感测不同类型的变量。因此,预测模型生成器210生成对由先验信息图258映射的每种类型的变量和由现场传感器208感测的每种类型的变量之间的关系进行建模的预测模型。预测图生成器212可以使用预测模型和先验信息图258中的图或图层中的每一个来生成功能预测图263,该功能预测图预测由现场传感器208感测到的在正在被收割的田地中的不同位置处的每个感测的特性(或与感测的特性相关的特性)的值。
预测图生成器212配置预测图264,使得预测图264可由控制系统214操作(或消耗)。预测图生成器212可以将预测图264提供给控制系统214或提供给控制区生成器213或提供给两者。关于框296、295、299和297描述了可以配置或输出预测图264的不同方式的一些示例。例如,预测图生成器212配置预测图264,使得预测图264包括可以由控制系统214读取并且用作用于生成农业收割机100的不同可控子系统中的一个或多个的控制信号的基础的值,如框296所示。
控制区生成器213可以基于预测图264上的值将预测图264划分成控制区。在彼此的阈值内的连续地理定位的值可以被分组到控制区中。阈值可以是默认阈值,或者阈值可以基于操作员输入、基于来自自动化系统的输入或基于其它标准来设置。区的尺寸可以基于控制系统214、可控子系统216的响应性、基于磨损考虑、或者基于其它标准,如框295所示。预测图生成器212配置预测图264以便呈现给操作员或其他用户。控制区生成器213可以配置预测控制区图265以便呈现给操作员或其他用户。这由框299指示。当呈现给操作员或其他用户时,预测图264或预测控制区图265或两者的呈现可以包含预测图264上与地理位置相关的预测值、预测控制区图265上与地理位置相关的控制区、以及基于图264上的预测值或预测控制区图265上的区使用的设置值或控制参数中的一个或多个。在另一示例中,呈现可以包括更抽象的信息或更详细的信息。该呈现还可以包括置信水平,该置信水平指示预测图264上的预测值或预测控制区图265上的区符合在农业收割机100移动穿过田地时可以由农业收割机100上的传感器测量的测量值的精度。另外,在信息被呈现给多于一个的位置的情况下,可以提供认证和授权系统来实施认证和授权过程。例如,可能存在被授权查看和改变图和其它呈现信息的个人的层级。作为示例,机载显示设备可以在机器上近实时地本地显示图,或者图也可以在一个或多个远程位置处生成,或者两者均可。在一些示例中,每个位置处的每个物理显示设备可以与人或用户许可级别相关联。用户许可级别可以用于确定哪些显示标记在物理显示设备上是可见的,以及相对应的人可以改变哪些值。例如,机器100的本地操作员可能无法看到与预测图264相对应的信息或对机器操作进行任何改变。然而,诸如远程位置处的监管者的监管者可能能够在显示器上看到预测图264,但是被阻止进行任何改变。可能在分离的远程位置处的管理者可能能够看到预测图264上的所有元素,并且还能够改变预测图264。在一些情况下,预测图264可由位于远程的管理人员访问和改变,可以用于机器控制。这是可以实施的授权层级的一个示例。预测图264或预测控制区图265或两者也可以以其它方式配置,如框297所示。
在框298,由控制系统接收来自地理位置传感器204和其它现场传感器208的输入。特别地,在框300,控制系统214检测来自地理位置传感器204的标识农业收割机100的地理位置的输入。框302表示由控制系统214接收到指示农业收割机100的轨迹或航向的传感器输入,并且框304表示由控制系统214接收到农业收割机100的速度。框306表示由控制系统214从各种现场传感器208接收其它信息。
在框308,控制系统214基于预测图264或预测控制区图265或两者以及来自地理位置传感器204和任何其它现场传感器208的输入来生成控制信号以控制可控子系统216。在框310,控制系统214将控制信号应用于可控子系统。应当理解的是,被生成的特定控制信号和被控制的特定可控子系统216可以基于一个或多个不同的因素变化。例如,被生成的控制信号和被控制的可控子系统216可以基于正在使用的预测图264或预测控制区图265或两者的类型。类似地,被生成的控制信号、被控制的可控子系统216以及控制信号的定时可以基于通过农业收割机100的作物流的各种延迟和可控子系统216的响应性。
作为示例,呈预测有害生物图形式的所生成的预测图264可以用于控制一个或多个子系统216。可以使用从预测有害生物图或其它类型的预测图获得的值来生成多种控制信号,以控制可控子系统216中的一个或多个。
在框312,确定收割操作是否已经完成。如果收割没有完成,则处理前进到框314,在框314中,继续读取来自地理位置传感器204和现场传感器208(以及可能地其它传感器)的现场传感器数据。
在一些示例中,在框316,农业收割机100还可以检测学习触发标准,以对预测图264、预测控制区图265、由预测模型生成器210生成的模型、由控制区生成器213生成的区、由控制系统214中的控制器实施的一个或多个控制算法以及其它触发学习中的一个或多个执行机器学习。
学习触发标准可以包括多种不同标准中的任何一种。关于框318、320、321、322和324讨论检测触发标准的一些示例。例如,在一些示例中,触发学习可以包括当从现场传感器208获得阈值量的现场传感器数据时,重新创建用于生成预测模型的关系。在这样的示例中,从现场传感器208接收到的超过阈值的现场传感器数据量触发或使得预测模型生成器210生成由预测图生成器212使用的新的预测模型。因此,在农业收割机100继续收割操作时,从现场传感器208接收到阈值量的现场传感器数据触发创建由预测模型生成器210生成的预测模型表示的新关系。进一步,可以使用新的预测模型来重新生成新的预测图264、预测控制区图265或两者。框318表示检测用于触发新预测模型的创建的阈值量的现场传感器数据。
在其它示例中,学习触发标准可以基于来自现场传感器208的现场传感器数据的变化程度,诸如随着时间或与先前值相比的变化程度。例如,如果现场传感器数据内的变化(或者现场传感器数据和先验信息图258中的信息之间的关系)在所选择的范围内、或者小于所定义的量、或者在阈值之下,则新的预测模型不由预测模型生成器210生成。结果,预测图生成器212不生成新的预测图264、预测控制区图265或两者。然而,例如,如果现场传感器数据内的变化在所选择的范围之外、大于所定义的量、或者在阈值之上,则预测模型生成器210使用预测图生成器212用以生成新的预测图264的新接收的现场传感器数据中的全部或部分来生成新的预测模型。在框320,现场传感器数据方面的变化(诸如数据超出所选择的范围的量的大小或现场传感器数据和先验信息图258中的信息之间的关系的变化的大小)可以被用作导致生成新的预测模型和预测图的触发。继续以上描述的示例,阈值、范围和所定义的量可以被设置为默认值、由操作员或用户通过用户界面的交互来设置、由自动化系统设置、或者以其它方式设置。
也可以使用其它学习触发标准。例如,如果预测模型生成器210切换到不同的先验信息图(不同于最初选择的先验信息图258),则切换到不同的先验信息图可以触发预测模型生成器210、预测图生成器212、控制区生成器213、控制系统214或其它项进行的重新学习。在另一示例中,农业收割机100到不同地形或到不同控制区的转换也可以用作学习触发标准。
在一些情况下,操作员260还可以编辑预测图264或预测控制区图265或两者。编辑可以改变预测图264上的值、改变预测控制区图265上的控制区的尺寸、形状、位置或存在、或者改变两者。框321示出所编辑的信息可以用作学习触发标准。
在某些情况下,操作员260也可能观察到可控子系统的自动控制不是操作员期望的。在这种情况下,操作员260可以向可控子系统提供手动调节,这反映了操作员260期望可控子系统以不同于由控制系统214命令的方式操作。因此,由操作员260对设置的手动更改可能导致以下中的一个或多个:基于操作员260的调整(如框322所示),预测模型生成器210重新学习模型、预测图生成器212重新生成图264、控制区生成器213重新生成预测控制区图265上的一个或多个控制区、以及控制系统214重新学习控制算法或对控制系统214中的控制器部件232至246中的一个或多个执行机器学习。框324表示使用其它触发学习标准。
在其它示例中,重新学习可以周期性地或间歇地执行,例如基于所选择的时间间隔,诸如离散时间间隔或可变时间间隔,如框326所示。
如果重新学习被触发(无论是基于学习触发标准还是基于时间间隔的流逝,如框326所示),则预测模型生成器210、预测图生成器212、控制区生成器213和控制系统214中的一个或多个执行机器学习,以基于学习触发标准分别生成新的预测模型、新的预测图、新的控制区和新的控制算法。新的预测模型、新的预测图和新的控制算法是使用自上次执行学习操作以来收集的任何附加数据生成的。执行重新学习由框328指示。
如果收割操作已经完成,操作从框312移动到框330,在框330中,存储由预测模型生成器210生成的预测图264、预测控制区图265和预测模型中的一个或多个。预测图264、预测控制区图265和预测模型可以本地存储在数据存储装置202上,或者使用通信系统206发送到远程系统供以后使用。
将注意到的是,虽然本文中的一些示例描述了预测模型生成器210和预测图生成器212分别在生成预测模型和功能预测图时接收先验信息图,但是在其它示例中,预测模型生成器210和预测图生成器212可以在分别生成预测模型和功能预测图时接收其它类型的图,包括预测图,诸如在收割操作期间生成的功能预测图。
图4是图1中示出的农业收割机100的一部分的框图。特别地,图4尤其更详细地示出了预测模型生成器210和预测图生成器212的示例。图4还图示了所示出的不同部件之间的信息流。预测模型生成器210接收历史有害生物图329、光学图331、植被指数图332、侦察图333和动物活动图335中的一个或多个作为信息图。如图所示,在一些示例中,侦察图333和动物活动图335可以表示有害生物图而无需由生成器210进行分析。预测模型生成器210接收植被指数图332作为先验信息图。预测模型生成器210还从地理位置传感器204接收地理位置334或地理位置的指示。现场传感器208示意性地包括有害生物传感器(诸如有害生物传感器336)以及处理系统338。在一些情况下,有害生物传感器336可以位于农业收割机100上。在一些情况下,有害生物传感器336可以包括允许用户手动标识有害生物的操作员输入传感器。处理系统338处理从有害生物传感器336生成的传感器数据,以生成经处理的数据,其一些示例在下面描述。
在一些示例中,有害生物传感器336可以是生成待收割的田地的区域的图像的光学传感器(诸如相机)。在一些情况下,光学传感器可以布置在农业收割机100上,以收集邻近农业收割机100的区域的图像,诸如在农业收割机100在收割操作期间移动通过田地时,位于农业收割机100的前面、侧面、后面或相对于农业收割机100的另一方向上的区域。
处理系统338处理通过有害生物传感器336获得的一个或多个图像,以生成标识图像中的有害生物的一个或多个特性的处理后的图像数据。由处理系统338检测的有害生物特性可以包括图像中存在的有害生物的位置、图像中的有害生物的强度或图像中的有害生物的类型。
现场传感器208可以是或包括其它类型的传感器,诸如沿着被切断的材料在农业收割机100中行进的路径定位的相机(以下称为“过程相机”)。过程相机可以至少部分地观察农业收割机100的内部,并且可以在材料移动通过农业收割机100或从农业收割机100排出时捕获材料(包括有害生物的迹象,诸如受损的谷物或植株物质)的图像。在一些示例中,可以检测有害生物或有害生物的一部分。在其它示例中,可以检测有害生物的毒素、排泄物或副产品。
在一些示例中,来自有害生物传感器336的原始数据或经处理的数据可以经由操作员界面机构218呈现给操作员260。操作员260可以在农业收割机100上或在远程位置处。
本讨论针对有害生物传感器336是图像传感器(诸如相机)的示例进行。应当理解的是,这仅仅是一个示例,并且作为有害生物传感器336的其它示例,上面提及的传感器也在本文中被考虑。如图4所示,示例预测模型生成器210包括以下中的一个或多个:历史有害生物特性到有害生物特性生成器339、光学特性到有害生物特性模型生成器341、植被指数到有害生物特性模型生成器342、动物活动到有害生物特性模型生成器344,和侦察特性到有害生物特性模型生成器346。在其它示例中,相比于图4的示例中示出的那些部件,预测模型生成器210可以包括附加部件、更少的部件或不同的部件。因此,在一些示例中,预测模型生成器210也可以包括其它项348,这些项可以包括其它类型的预测模型生成器以生成其它类型的有害生物特性模型。
模型生成器339标识在图像数据340中检测到的在对应于获得图像数据340的地理位置处的有害生物特性与来自历史有害生物图329的对应于检测到有害生物特性的田地中的相同位置的历史有害生物特性之间的关系。基于由模型生成器339确立的这种关系,模型生成器339生成预测有害生物模型。由有害生物位置图生成器356使用预测有害生物模型,以基于包含在田地中的相同位置处的历史有害生物图329中的地理参考历史有害生物特性来预测田地中的不同位置处的有害生物特性。
模型生成器341标识在图像数据340中检测到的在对应于获得图像数据340的地理位置处的有害生物特性与来自光学图331的对应于检测到有害生物特性的田地中的相同位置的光学特性值之间的关系。基于由模型生成器341确立的这种关系,模型生成器341生成预测有害生物模型。由有害生物位置图生成器356使用预测有害生物模型,以基于包含在田地中的相同位置处的光学特性图331中的地理参考光学特性值来预测田地中的不同位置处的有害生物特性。
模型生成器342标识在图像数据340中检测到的在对应于获得图像数据340的地理位置处的有害生物特性与来自植被指数图332的对应于检测到有害生物特性的田地中的相同位置的植被指数值之间的关系。基于由模型生成器342确立的这种关系,模型生成器342生成预测有害生物模型。由有害生物位置图生成器356使用预测有害生物模型,以基于包含在田地中的相同位置处的植被指数图332中的地理参考植被指数值来预测田地中的不同位置处的有害生物特性。
模型生成器344标识在由经处理的图像数据340标识的在田地中的特定位置处的有害生物类型与在相同位置处的来自动物活动图335的动物活动值之间的关系。模型生成器344生成预测有害生物模型,有害生物类型图生成器356使用该预测有害生物模型,以基于田地中的特定位置处的动物活动值来预测田地中的该位置处的有害生物特性。
模型生成器346标识在经处理的数据340中表示的在与数据340相对应的地理位置处的有害生物特性与在相同的地理位置处的侦察值之间的关系。侦察值是包含在侦察图333中的地理参考的值。模型生成器346然后生成预测有害生物模型,有害生物图生成器356使用该预测有害生物模型,以基于田地中的某个位置处的侦察值来预测田地中的该位置处的有害生物特性。
鉴于以上内容,预测模型生成器210可操作来生成多个预测有害生物模型,诸如由模型生成器339、341、342、344、346和348生成的预测有害生物模型中的一个或多个。在另一示例中,以上描述的预测有害生物模型中的两个或多个可以组合成单个预测有害生物模型,该单个预测有害生物模型基于田地中的不同位置处的历史有害生物值、光学值、植被指数值、侦察值或者动物活动值来预测有害生物位置、有害生物强度和有害生物类型中的两个或多个。这些有害生物模型中的任何一个或其组合在图4中由有害生物模型350统一表示。
预测有害生物模型350被提供给预测图生成器212。在图4的示例中,预测图生成器212包括有害生物图生成器356。在其它示例中,预测图生成器212可以包括附加的、更少的或不同的图生成器。因此,在一些示例中,预测图生成器212可以包括其它项358,该其它项358可以包括用以生成用于其它有害生物特性的有害生物图的其它类型的图生成器。有害生物图生成器356接收预测有害生物模型350并生成预测图,该预测图映射(绘制)对田地中的不同位置处的有害生物的存在、强度、类型或者其它特性的预测。
预测图生成器212输出预测有害生物位置、有害生物强度、有害生物类型或另一有害生物特性中的一个或多个的一个或多个预测有害生物图360。预测有害生物图360中的每一个预测田地中的不同位置处的相应的有害生物特性。所生成的预测有害生物图360中的每一个可以被提供给控制区生成器213、控制系统214或两者。控制区生成器213生成控制区并将这些控制区合并到功能预测图360中。一个或多个功能预测图可以被提供给控制系统214,该控制系统基于该一个或多个功能预测图生成控制信号以控制可控子系统216中的一个或多个。
图5是预测模型生成器210和预测图生成器212在生成预测有害生物模型350和预测有害生物图360时的操作的示例的流程图。在框362,预测模型生成器210和预测图生成器212接收历史有害生物图、光学特性图、植被指数图、侦察图、动物活动图或者其某些组合。在框364,处理系统338从有害生物传感器336接收一个或多个图像。如上所讨论那样,有害生物传感器336可以是相机,诸如前视相机366;观察联合收割机内部的光学传感器368,诸如相机;或者另一类型的有害生物传感器370。在一些示例中,与有害生物相关的毒素或其它化学物质在暴露于紫外线时可能会发出荧光。在一些示例中,与有害生物相关的化学物质可能会在空气中传播,然后可以被气体传感器或电子鼻检测到。
在框372,处理系统338处理一个或多个接收到的图像,以生成指示一个或多个图像中存在的有害生物的特性的图像数据。在框374,图像数据可以指示可能存在于某个位置(诸如联合收割机前面的位置)的有害生物位置、有害生物强度或两者。在一些情况下,如框376所示,图像数据可以指示位于联合收割机内部或从联合收割机中排出的有害生物。在一些情况下,如框380所示,图像数据可以指示有害生物类型。因此,图像数据包括标识由联合收割机遇到的(一种或多种)有害生物的类型的有害生物类型指示器378。可以基于有害生物的一个或多个图像、受有害生物影响的作物或杂草的一个或多个图像、或者包含指示有害生物类型的主题的一个或多个图像来确定有害生物类型。图像数据也可以包括其它数据。
在框382,预测模型生成器210还获得对应于图像数据的地理位置。例如,预测模型生成器210可以从地理位置传感器204获得地理位置,并基于机器延迟、机器速度等来确定拍摄图像或从其中导出图像数据340的精确地理位置。
在框384,预测模型生成器210生成对从先验信息图(诸如先验信息图258)获得的植被指数值和由现场传感器208感测的有害生物特性或相关特性之间的关系进行建模的一个或多个预测有害生物模型,诸如有害生物型350。例如,预测模型生成器210可以生成对植被指数值和感测的特性之间的关系进行建模的预测有害生物模型,该感测的特性包括由从现场传感器208获得的图像数据指示的有害生物位置、有害生物强度或有害生物类型。或者例如,预测模型生成器210可以生成对侦察值和感测的特性之间的关系进行建模的预测有害生物模型,该感测的特性包括由从现场传感器208获得的图像数据指示的有害生物位置、有害生物强度或有害生物类型。或者例如,预测模型生成器210可以生成对动物活动值和感测的特性之间的关系进行建模的预测有害生物模型,该感测的特性包括由从现场传感器208获得的图像数据指示的有害生物位置、有害生物强度或有害生物类型。
在框386,预测有害生物模型(诸如预测有害生物模型350)被提供给预测图生成器212,该预测图生成器基于来自历史有害生物图、光学特性图、植被指数图、侦察图、动物活动图或者某些其它的图中的一个或多个的值和预测有害生物模型350生成预测有害生物图360,该预测有害生物图映射预测的有害生物特性。例如,在一些示例中,预测有害生物图360预测有害生物位置。在一些示例中,预测有害生物图360预测有害生物位置以及有害生物强度值(如框388所示)。在一些示例中,预测有害生物图360预测有害生物位置和有害生物类型(如框390所示),并且在其它示例中,预测图360预测其它项(如框392所示)。例如,有害生物对作物的损害的程度或影响。进一步,预测有害生物图360可以在农业操作的过程期间生成。因此,在农业收割机移动通过田地以便执行农业操作时,在正在执行农业操作时生成预测有害生物图360。
在框394,预测图生成器212输出预测有害生物图360。在框391,预测有害生物图生成器212输出预测有害生物图,以便呈现给操作员260并由操作员260进行可能的交互。在框393,预测图生成器212可以配置图以便由控制系统214使用(consumption)。在框395,预测图生成器212还可以向控制区生成器213提供图360,以便生成控制区。在框397,预测图生成器212还以其它方式配置图360。预测有害生物图360(具有或没有控制区)被提供给控制系统214。在框396,控制系统214基于预测有害生物图360生成控制信号以控制可控子系统216。
图6A是图1中示出的农业收割机100的示例部分的框图。特别地,图6A尤其示出了预测模型生成器210和预测图生成器212的示例。在图示的示例中,先验信息图258是感测的有害生物图337、预测有害生物图360或先验操作图400中的一个或多个。先验操作图400可以包括田地中的不同位置处的另一农业特性的值。农业特性值可以是在先验操作(例如由喷雾器进行的先验操作)期间收集的值。例如,喷雾器可以配备有检测有害生物的存在或其它特性的相机。
而且,在图6A中示出的示例中,现场传感器208可以包括产量传感器402、谷物品质传感器403、操作员输入传感器404和处理系统406中的一个或多个。现场传感器208还可以包括其它传感器408。
产量传感器402感测指示农业收割机100所正在收割的产量的变量。谷物品质传感器403感测正在被处理的谷物的品质,例如,谷物是否破碎、患病、腐烂、变质、有毒、被污染等。
操作员输入传感器404示意性地感测各种操作员输入。输入可以是用于控制农业收割机100上的设置的设置输入或其它控制输入,诸如转向输入和其它输入。因此,当操作员260通过操作员界面机构218改变设置或提供命令输入时,这种输入由操作员输入传感器404检测,该操作员输入传感器提供指示所感测的操作员输入的传感器信号。作物状态传感器405检测靠近农业收割机100的作物的作物状态。作物状态可以包括站立的作物、倒伏的作物、部分倒伏的作物、倒伏或部分倒伏的作物的方向等。
处理系统406可以从生物量传感器402或操作员输入传感器404或两者接收传感器信号,并生成指示所感测的变量的输出。例如,处理系统406可以从光学传感器410或转子压力传感器412接收传感器输入,并生成指示生物量的输出。处理系统406还可以接收来自操作员输入传感器404的输入,并生成指示所感测的操作员输入的输出。
预测模型生成器210可以包括有害生物特性到产量模型生成器416、有害生物特性到谷物品质模型生成器417、有害生物特性到作物状态模型生成器420和有害生物特性到操作员命令模型生成器422。在其它示例中,预测模型生成器210可以包括附加的、更少的或其它模型生成器424。预测模型生成器210可以从地理位置传感器204接收地理位置指示符334,并生成对先验信息图258中的一个或多个中的信息与以下项目中一个或多个之间的关系进行建模的预测模型426,所述项目包括:由产量传感器402感测的产量、由谷物品质传感器403感测的谷物品质、由作物状态传感器405感测的作物状态以及由操作员输入传感器404感测的操作员输入命令。
例如,有害生物特性到产量模型生成器416生成有害生物特性值和由产量传感器402感测的产量值之间的关系。有害生物特性到谷物品质模型生成器418示意性地生成表示有害生物特性和由谷物品质传感器403感测的指示谷物品质的变量之间的关系的模型。有害生物特性到作物状态模型生成器420示意性地生成表示有害生物特性和由作物状态传感器405感测的指示作物状态或者作物状态的变量之间的关系的模型。有害生物特性到操作员命令模型生成器422生成对有害生物特性和由操作员输入传感器404感测的操作员输入命令之间的关系进行建模的模型。由预测模型生成器210生成的预测模型426可以包括可以由有害生物特性到产量模型生成器416、有害生物特性到谷物品质模型生成器417、有害生物特性到作物状态模型生成器420、有害生物特性到操作员命令模型生成器422以及可以包括作为其它项424的一部分的其它模型生成器生成的预测模型中的一个或多个。
在图6A的示例中,预测图生成器212包括预测产量图生成器429、预测谷物品质图生成器430、预测作物状态图生成器431和预测操作员命令图生成器432。在其它示例中,预测图生成器212可以包括附加的、更少的或其它图生成器434。
预测产量图生成器429接收预测模型426和信息图258中的一个或多个。预测产量图生成器429基于田地中的不同位置处的先验信息图258中的一个或多个中的有害生物特性中的一个或多个并基于预测模型426生成预测田地中的那些位置处的产量的功能预测产量图436。
预测谷物品质图生成器430接收预测模型426和信息图258中的一个或多个。预测谷物品质图生成器430基于田地中的不同位置处的先验信息图258中的一个或多个中的有害生物特性并基于预测模型426生成预测田地中的那些位置处的谷物品质的功能预测谷物品质图437。
预测作物状态图生成器431接收预测模型426和信息图258中的一个或多个。预测作物状态图生成器431基于田地中的不同位置处的先验信息图258中的一个或多个中的有害生物特性并基于预测模型426生成预测田地中的那些位置处的作物状态的功能预测作物状态图438。
预测操作员命令图生成器432接收对有害生物特性和由操作员输入传感器404检测的操作员命令输入之间的关系进行建模的预测模型426(诸如由有害生物特性到命令模型生成器422生成的预测模型),并基于来自一个或多个信息图258的有害生物特性值和预测模型426生成预测田地中的不同位置处的操作员命令输入的功能预测操作员命令图439。
其它图生成器434可以从另一个模型生成器424接收预测模型426,该模型生成器424对有害生物特性和由另一个传感器408感测的农业特性之间的关系进行建模。其它图生成器434基于来自一个或多个信息图258的有害生物特性值和预测模型426生成预测田地中的不同位置处的农业特性的功能预测农业特性图440。
预测图生成器212输出功能预测图436、437、438、439和440中的一个或多个。功能预测图436、437、438、439和440中的每一个可以被提供给控制区生成器213、控制系统214或两者。控制区生成器213生成控制区,以提供与由控制区生成器213接收的每个图436、437、438、439和440相对应的预测控制区图265。功能预测图436、437、438或440中的任何一个或全部以及相对应的图265可以被提供给控制系统214,该控制系统基于功能预测图436、437、438、439和430中的一个或全部或者包括控制区的相对应的图265生成控制信号以控制可控子系统216中的一个或多个。图436、437、438、439或440或相对应的图265中的任何一个或全部可以呈现给操作员260或另一用户。
图6B是示出实时(现场)传感器208的一些示例的框图。图6B中示出的传感器中的一些或它们的不同组合可以同时具有传感器336和处理系统338。图6B中示出的可能的现场传感器208中的一些相对于前面的图被示出和描述,并且被类似地编号。图6B示出了现场传感器208可以包括操作员输入传感器980、机器传感器982、收割材料性质传感器984、田地和土壤性质传感器985、环境特性传感器987,并且它们可以包括各种各样的其它传感器226。非机器传感器983包括(一个或多个)操作员输入传感器980、(一个或多个)收割材料性质传感器984、(一个或多个)田地和土壤性质传感器985、(一个或多个)环境特性传感器987,并且还可以包括其它传感器226。操作员输入传感器980可以是通过操作员界面机构218感测操作员输入的传感器。因此,操作员输入传感器980可以感测连杆、操纵杆、方向盘、按钮、转盘或踏板的用户移动。操作员输入传感器980还可以感测用户与其它操作员输入结构的交互,诸如与触敏屏幕、与利用语音识别的麦克风或各种其它操作员输入机构中的任何一种的交互。
机器传感器982可以感测农业收割机100的不同特性。例如,如上所讨论那样,机器传感器982可以包括机器速度传感器146、分离器损失传感器148、干净谷物相机150、前视图像捕获机构151、损失传感器152或地理位置传感器204,其示例在上文中描述。机器传感器982还可以包括感测机器设置的机器设置传感器991。以上参照图1描述了机器设置的一些示例。前端设备(例如,割台)位置传感器993可以感测割台102、拨禾轮164、切割器104或其它前端装备相对于农业收割机100的框架的位置。例如,传感器993可以感测割台102在地面上方的高度。机器传感器982还可以包括前端装备(例如,割台)取向传感器995。传感器995可以感测割台102相对于农业收割机100或相对于地面的取向。机器传感器982可以包括稳定性传感器997。稳定性传感器997感测农业收割机100的振动或弹跳运动(和幅值)。机器传感器982还可以包括被配置成感测农业收割机100是否被配置成切碎残茬、产生料堆或以另一方式处理残茬的残茬设置传感器999。机器传感器982可以包括感测清粮风扇120的速度的清粮室风扇速度传感器951。机器传感器982可以包括感测农业收割机100上的转子112和凹部114之间的间隙的凹部间隙传感器953。机器传感器982可以包括感测谷壳筛122中的开口的尺寸的谷壳筛间隙传感器955。机器传感器982可以包括感测转子112的转子速度的脱粒转子速度传感器957。机器传感器982可以包括感测用于驱动转子112的压力的转子压力传感器959。机器传感器982可以包括感测筛网124中开口的尺寸的筛网间隙传感器961。机器传感器982可以包括感测穿过农业收割机100的MOG的湿度水平的MOG湿度传感器963。机器传感器982可以包括感测农业收割机100的取向的机器取向传感器965。机器传感器982可以包括感测材料行进通过喂料室106、干净谷物升运器130或农业收割机100中的其它地方时的材料的进料速率的材料进料速率传感器967。机器传感器982可以包括感测行进通过喂料室106、分离器116或农业收割机100中的其它地方的生物量的生物量传感器969。机器传感器982可以包括感测农业收割机100的随时间的燃料消耗速率的燃料消耗传感器971。机器传感器982可以包括感测农业收割机100中的功率利用(诸如哪些子系统正在利用功率)、或者子系统正在利用功率的速率、或者农业收割机100中的子系统之间的功率分配的功率利用率传感器973。机器传感器982可以包括感测农业收割机100的轮胎144中的充气压力的轮胎压力传感器977。机器传感器982可以包括各种各样的其它机器性能传感器或机器特性传感器(如框975所示)。机器性能传感器和机器特性传感器975可以感测农业收割机100的机器性能或特性。
在作物材料正在被农业收割机100处理时,收割材料性质传感器984可以感测切断的作物材料的特性。作物性质可能包括诸如作物类型、作物湿度、谷物品质(如碎谷物)、MOG水平、谷物成分(诸如淀粉和蛋白质)、MOG湿度和其它作物材料性质的东西。其它传感器可以感测秸秆“韧性”、玉米与穗的粘附性以及可以有益地用于控制处理以获得更好的谷物捕获、减少的谷物损坏、降低的功耗、减少的谷物损失等的其它特性。
田地和土壤性质传感器985可以感测田地和土壤的特性。田地和土壤性质可能包括土壤湿度、土壤密实度、积水的存在和位置、土壤类型以及其它土壤和田地特性。
环境特性传感器987可以感测一个或多个环境特性。环境特性可以包括诸如风向和风速、降水、雾、灰尘水平或其它模糊物或其它环境特性的东西。
在一些示例中,图6B中示出的传感器中的一个或多个被处理以接收经处理的数据309,并被用作模型生成器210的输入。模型生成器210生成指示传感器数据和先验信息图或预测信息图中的一个或多个之间关系的模型。该模型被提供给图生成器212,该图生成器生成映射对应于来自图6B的传感器的预测传感器数据值或相关特性的图。
图7示出了图示预测模型生成器210和预测图生成器212在生成一个或多个预测模型426和一个或多个功能预测图436、437、438、439和440时的操作的一个示例的流程图。
在框442,预测模型生成器210和预测图生成器212接收先验信息图258。先验信息图258可以是感测的有害生物图337、预测有害生物图360或者使用在田地中的先验操作期间获得的数据创建的先验操作图400。
在框444,预测模型生成器210从现场传感器208接收包含传感器数据的传感器信号。框446指示由预测模型生成器210接收的传感器信号包括指示产量的类型的数据。框448指示传感器信号数据可以指示谷物品质。框449指示传感器信号数据可以指示作物状态。框450指示由预测图生成器210接收的传感器信号可以是具有指示操作员命令输入的类型的数据的、由操作员输入传感器404感测的传感器信号。预测模型生成器210也可以接收其它现场传感器输入(如框452所示)。
在框454,处理系统406处理包含在从一个或多个现场传感器208接收的一个或多个传感器信号中的数据,以获得经处理的数据409,如图6A所示。包含在一个或多个传感器信号中的数据可以呈原始格式,该格式被处理以接收经处理的数据409。例如,温度传感器信号包括电阻数据,这个电阻数据可以被处理成温度数据。在其它示例中,处理可以包括数字化、编码、格式化、缩放、过滤或分类数据。经处理的数据409可以指示产量、谷物品质、作物状态、操作员输入命令或者另一农业特性中的一者或多者。经处理的数据409被提供给预测模型生成器210。
回到图7,在框456,预测模型生成器210还从地理位置传感器204接收地理位置334,如图6A所示。地理位置334可以与由现场传感器208感测的所感测的(一个或多个)变量从其获取的或者与之相对应的地理位置关联。例如,预测模型生成器210可以从地理位置传感器204获得地理位置334,并且基于机器延迟、机器速度等来确定经处理的数据409对应的精确的地理位置。
在框458,预测模型生成器210生成对先验信息图中的映射值和经处理的数据409中表示的特性之间的关系进行建模的一个或多个预测模型426。例如,在一些情况下,先验信息图中的映射值可以是有害生物特性,并且预测模型生成器210使用先验信息图的映射值和由现场传感器208感测的特性(如经处理的数据490中所表示的)或相关特性(诸如与由现场传感器208感测的特性相关的特性)来生成预测模型。
例如,在框460,预测模型生成器210可以生成对从一个或多个先验信息图获得的一个或多个有害生物特性与产量之间的关系进行建模的预测模型426。在另一示例中,预测模型生成器210可以生成预测模型426,该预测模型426对从一个或多个先验信息图获得的有害生物特性与从现场传感器获得的谷物品质之间的关系进行建模。在另一示例中,预测模型生成器210可以生成对有害生物特性和作物状态之间的关系进行建模的预测模型426。在又一示例中,预测模型生成器210可以生成对有害生物特性和操作员命令输入之间的关系进行建模的预测模型426。
一个或多个预测模型426被提供给预测图生成器212。在框466,预测图生成器212生成一个或多个功能预测图。功能预测图可以是功能预测产量图437、功能预测谷物品质图436、功能预测作物状态438、功能预测操作员命令图439、功能预测农业特性图440或这些图的任意组合。功能预测谷物品质图436预测由农业收割机100将在田地中的不同位置处遇到的谷物品质。功能预测产量图437预测由农业收割机100在田地中的不同位置处预期遇到的产量。功能预测作物状态图438预测农业收割机100在田地中的不同位置处预期遇到的作物状态。功能预测操作员命令图439可能预测田地中的不同位置处的操作员命令输入。功能预测农业特性图440预测在田地中的不同位置处的一个或多个农业特性。功能预测图436、437、438、439和440中的一个或多个可以在农业操作的过程期间生成。因此,在农业收割机100移动通过田地从而执行农业操作时,一个或多个预测图436、437、438、439和440随着执行农业操作而生成。
在框468,预测图生成器212输出一个或多个功能预测图436、437、438、439和440。在框470,预测图生成器212可以配置图,以便呈现给操作员260或另一用户,并由操作员260或另一用户进行可能的交互。在框472,预测图生成器212可以配置图以便由控制系统214使用。在框474,预测图生成器212可以向控制区生成器213提供一个或多个预测图436、437、438、439和440以便生成控制区。在框476,预测图生成器212以其它方式配置一个或多个预测图436、437、438、439和440。在示例中(其中一个或多个功能预测图436、437、438、439和440被提供给控制区生成器213),一个或多个功能预测图436、437、438、439和440以及其包括的控制区(由相对应的图265表示,如上所述)可以被呈现给操作员260或另一用户,或者也被提供给控制系统214。
在框478,控制系统214然后基于一个或多个功能预测图436、437、438、439和440(或具有控制区的功能预测图436、437、438、439和440)以及来自地理位置传感器204的输入,生成控制信号以控制可控子系统。
在其它示例中,农业收割机100也可以以其它方式被控制。例如,可以基于预测的作物状态来控制割台致动器248。或者例如,可以控制推进子系统250以避开例如预测有有害生物的区域。或者,例如,可以控制清粮子系统来关闭谷壳筛并提高风扇速度,以将有害生物保持在干净的粮箱之外。或者,例如,可以控制清粮子系统以打开谷壳筛并降低风扇速度以防止有害生物被沉积在田地上。或者例如,可以控制残茬子系统253使得材料可以被分离。
在控制系统214接收功能预测图的示例中,路径规划控制器234控制转向子系统252以使农业收割机100转向。在控制系统214接收功能预测图的另一个示例中,残茬系统控制器244控制残茬子系统138。在控制系统214接收功能预测图的另一个示例中,设置控制器232控制脱粒机110的脱粒机设置。在控制系统214接收功能预测图的另一个示例中,设置控制器232或另一控制器246控制材料处理子系统125。在控制系统214接收功能预测图的另一示例中,设置控制器232控制作物清粮子系统。在控制系统214接收功能预测图的另一示例中,机器清粮控制器245控制农业收割机100上的机器清粮子系统254。在控制系统214接收功能预测图的另一示例中,通信系统控制器229控制通信系统206。在控制系统214接收功能预测图的另一个示例中,操作员界面控制器231控制农业收割机100上的操作员界面机构218。在控制系统214接收功能预测图的另一个示例中,台面板位置控制器242控制机器/割台致动器以控制农业收割机100上的台面板。在控制系统214接收功能预测图的另一个示例中,带式输送器带控制器240控制机器/割台致动器以控制农业收割机100上的带式输送器带。在控制系统214接收功能预测图的另一个示例中,其它控制器246控制农业收割机100上的其它可控子系统256。
图8示出了图示控制区生成器213的一个示例的框图。控制区生成器213包括作业机器致动器(work machine actuator,WMA)选择器486、控制区生成系统488和动态(regime)区生成系统490。控制区生成器213还可以包括其它项492。控制区生成系统488包括控制区标准标识符部件494、控制区边界定义部件496、目标设置标识符部件498和其它项520。动态区生成系统490包括动态区标准标识部件522、动态区边界定义部件524、设置解析器标识符部件526和其它项528。在更详细地描述控制区生成器213的整体操作之前,将首先提供控制区生成器213中的项中的一些及其相应操作的简要描述。
农业收割机100或其它作业机器可以具有执行不同功能的多种不同类型的可控致动器。农业收割机100或其它作业机器上的可控致动器统称为作业机器致动器(WMA)。每个WMA可以基于功能预测图上的值被独立地控制,或者WMA可以基于功能预测图上的一个或多个值成组地进行控制。因此,控制区生成器213可以生成对应于每个单独可控的WMA的、或者对应于相互协调控制的WMA组的控制区。
WMA选择器486选择要为其生成相对应的控制区的WMA或WMA组。控制区生成系统488然后为所选择的WMA或WMA组生成控制区。对于每个WMA或WMA组,在标识控制区时可以使用不同的标准。例如,对于一个WMA,WMA响应时间可以用作用于定义控制区的边界的标准。在另一示例中,磨损特性(例如,特定致动器或机构由于其运动而磨损的程度)可以用作用于标识控制区的边界的标准。控制区标准标识符部件494标识将用于为所选择的WMA或WMA组定义控制区的特定标准。控制区边界定义部件496处理分析中的功能预测图上的值,以基于分析中的功能预测图上的值并基于所选择的WMA或WMA组的控制区标准来定义该功能预测图上的控制区的边界。
目标设置标识符部件498设置目标设置的值,该值将被用于控制不同控制区中的WMA或WMA组。例如,如果所选择的WMA是推进系统250,并且分析中的功能预测图是功能预测速度图438,则每个控制区中的目标设置可以是基于所标识的控制区内的功能预测速度图238中包含的速度值的目标速度设置。
在一些示例中,在基于农业收割机100的当前或未来位置来控制农业收割机100的情况下,对于给定位置处的WMA,多个目标设置是可能的。在这种情况下,目标设置可能具有不同的值,并且可能相互竞争。因此,需要解析目标设置,使得仅使用单个目标设置来控制WMA。例如,在WMA是在推进系统250中被控制以便控制农业收割机100的速度的致动器的情况下,可能存在多个不同的竞争的标准组,所述多个不同的竞争的标准组由控制区生成系统488在标识控制区和控制区中所选择的WMA的目标设置时考虑。例如,用于控制机器速度的不同目标设置可以基于例如所检测的或所预测的进料速率值、所检测的燃料效率值或预测燃料效率值、所检测的或预测的谷物损失值或这些值的组合来生成。然而,在任何给定时间,农业收割机100不能同时以多种速度在地面上行进。相反,在任何给定时间,农业收割机100以单个速度行进。因此,选择竞争目标设置中的一个来控制农业收割机100的速度。
因此,在一些示例中,动态区生成系统490生成动态区以解析多个不同的竞争目标设置。动态区标准标识部件522标识用于为分析中的功能预测图上的所选择的WMA或WMA组确立动态区的标准。可以用于标识或定义动态区的一些标准包括例如基于种植图的作物类型或作物种类、或作物类型或作物种类的另一来源、有害生物类型、有害生物强度、或作物状态(诸如作物是倒伏的、部分倒伏的还是直立的)。正如每个WMA或WMA组可能具有相对应的控制区,不同的WMA或WMA组可能具有相对应的动态区。动态区边界定义部件524基于由动态区标准标识部件522标识的动态区标准来标识分析中的功能预测图上的动态区的边界。
在一些示例中,动态区可能彼此重叠。例如,作物种类动态区可能与作物状态动态区的一部分或全部重叠。在这样的示例中,不同的动态区可以被分配给优先层级,使得在两个或更多动态区重叠的情况下,被分配有在优先层级中较高层级位置或重要性的动态区优先于具有在优先层级中较低层级位置或重要性的动态区。动态区的优先层级可以手动设置,或者可以使用基于规则的系统、基于模型的系统或其它系统自动设置。作为一个示例,在倒伏作物动态区与作物种类动态区重叠的情况下,倒伏作物动态区相比于作物种类动态区可以被分配优先层级中的更大的重要性,使得倒伏作物动态区优先。
此外,对于给定的WMA或WMA组,每个动态区可能具有唯一的设置解析器。设置解析器标识符部件526在为分析中的功能预测图上标识的每个动态区标识特定的设置解析器,并为所选择的WMA或WMA组标识特定的设置解析器。
一旦标识了特定动态区的设置解析器,该设置解析器可以用于解析竞争目标设置,在该竞争目标设置中基于控制区标识多于一个的目标设置。不同类型的设置解析器可以具有不同的形式。例如,为每个动态区标识的设置解析器可以包括人类选择解析器,在人类选择解析器中该竞争目标设置被呈现给操作员或其他用户以便进行解析。在另一示例中,设置解析器可以包括神经网络或其它人工智能或机器学习系统。在这种情况下,设置解析器可以基于对应于不同目标设置中的每一个的预测的品质度量或历史品质度量来解析竞争目标设置。作为示例,增加的车辆速度设置可减少收割田地的时间,并减少相对应的基于时间的劳动力和装备成本,但可能增加谷物损失。降低的车辆速度设置可能增加收割田地的时间,并增加相对应的基于时间的劳动力和装备成本,但可以减少谷物损失。当谷物损失或收割时间被选择作为品质度量时,在给定两个竞争的车辆速度设置值的情况下,所选择的品质度量的预测的值或历史值可以被用于解析速度设置。在某些情况下,设置解析器可以是一组阈值规则,组阈值规则可以用来替代或补充动态区。阈值规则的示例可以表达如下:
如果农业收割机100的割台20英尺内的预测的生物量值大于x千克(其中x是所选择的值或预定的值),则使用基于进料速率而不是其它竞争目标设置选择的目标设置值,否则使用基于谷物损失而不是其它竞争目标设置值的目标设置值。
设置解析器可以是在标识目标设置时执行逻辑规则的逻辑部件。例如,设置解析器可以解析目标设置,同时尝试最小化收割时间或最小化总收割成本或最大化收割谷物,或者基于作为不同候选目标设置的函数计算的其它变量。当完成收割的量被减少到所选择的阈值或在所选择的阈值之下时,收割时间可以被最小化。当总收割成本被降低到所选择的阈值或在所选择的阈值之下的情况下,总收割成本可以被最小化。在收割的谷物的量增加到所选择的阈值或在所选择的阈值之上的情况下,收割的谷物可以最大化。
图9是示出控制区生成器213在为控制区生成器213接收用于区处理的图(例如,为分析中的图)生成控制区和动态区时的操作的一个示例的流程图。
在框530,控制区生成器213接收分析中的图以便进行处理。在一个示例中,如框532所示,分析中的图是功能预测图。例如,分析中的图可以是功能预测图436、437、438或440中的一个。框534指示分析中的图也可以是其它图。
在框536,WMA选择器486选择要在分析中的图上为其生成控制区的WMA或WMA组。在框538,控制区标准标识部件494获得所选择的WMA或WMA组的控制区定义标准。框540指示这样示例,在该示例中控制区标准是或包括所选择的WMA或WMA组的磨损特性。框542指示这样的示例,在该示例中控制区定义标准是或包括输入源数据的幅值和变化,诸如分析中的图上的值的幅值和变化或来自各种现场传感器208的输入的幅值和变化。框544指示这样的示例,在该示例中控制区定义标准是或包括物理机器特性,诸如机器的物理尺寸、不同子系统操作的速度或其它物理机器特性。框546指示这样的示例,在该示例中控制区定义标准是或包括所选择的WMA或WMA组在达到新命令的设定值时的响应性。框548指示这样的示例,在该示例中控制区定义标准是或包括机器性能度量。框550指示这样的示例,在该示例中控制区定义标准是或包括操作员偏好。框552指示这样的示例,在该示例中控制区定义标准也是或包括其它项。框549指示这样的示例,在该示例中控制区定义标准是基于时间的,这意味着农业收割机100将不会越过控制区的边界,直到自农业收割机100进入特定控制区起经过了所选择的时间量。在某些情况下,所选择的时间量可以是最小时间量。因此,在一些情况下,控制区定义标准可以防止农业收割机100越过控制区的边界,直到至少已经经过了所选择的时间量。框551指示这样的示例,在该示例中控制区定义标准基于所选择的尺寸值。例如,基于所选择的尺寸值的控制区定义标准可以排除小于所选择的尺寸的控制区的定义。在某些情况下,所选择的尺寸可以是最小尺寸。
在框554,动态区标准标识部件522获得所选择的WMA或WMA组的动态区定义标准。框556指示这样的示例,在该示例中动态区定义标准基于来自操作员260或另一用户的手动输入。框558示出这样的示例,在该示例中动态区定义标准基于作物类型或作物种类。框560示出这样的示例,在该示例中动态区定义标准基于有害生物类型或有害生物强度或两者。框562示出这样的示例,在该示例中动态区定义标准基于或包括作物状态。框564指示这样的示例,在该示例中动态区定义标准也是或包括其它标准。
在框566,控制区边界定义部件496基于控制区标准在分析中的图上生成控制区的边界。动态区边界定义部件524基于动态区标准在分析中的图上生成动态区的边界。框568指示这样的示例,在该示例中为控制区和动态区标识区边界。框570示出目标设置标识符部件498标识控制区中的每一个的目标设置。控制区和动态区也可以以其它方式生成,并且这由框572指示。
在框574,设置解析器标识符部件526标识由动态区边界定义部件524定义的每个动态区中的所选择的WMA的设置解析器。如上所讨论那样,动态区解析器可以是人类解析器576、人工智能或机器学习系统解析器578、基于每个竞争目标设置的预测的品质或历史品质的解析器580、基于规则的解析器582、基于性能标准的解析器584或其它解析器586。
在框588,WMA选择器486确定是否有更多的WMA或WMA组要处理。如果有附加的WMA或WMA组需要处理,则处理返回到框436,在框436中选择要为其定义控制区和动态区的下一WMA或WMA组。当没有要为其生成控制区或动态区的附加WMA或WMA组剩下时,处理移动到框590,在框590中控制区生成器213为每WMA或WMA组中的每一个输出具有控制区、目标设置、动态区和设置解析器的图。如上所讨论那样,输出的图可以呈现给操作员260或另一用户;输出的图可以被提供给控制系统214;或者输出的图可以以其它方式输出。
图10示出了控制系统214在基于由控制区生成器213输出的图来控制农业收割机100的操作的一个示例。因此,在框592,控制系统214接收作业现场的图。在一些情况下,该图可以是可以包括控制区和动态区的功能预测图(如框594所示)。在一些情况下,接收到的图可以是排除控制区和动态区的功能预测图。框596指示这样的示例,在该示例中接收的作业现场图可以是具有标识在其上的控制区和动态区的先验信息图。框598指示这样的示例,在该示例中接收的图可以包括多个不同图或多个不同图层。框610指示这样的示例,在该示例中接收的图也可以采取其它形式。
在框612,控制系统214从地理位置传感器204接收传感器信号。来自地理位置传感器204的传感器信号可以包括指示农业收割机100的地理位置614、农业收割机100的速度616、农业收割机100的航向618或其它信息620的数据。在框622,区控制器247选择动态区,并且在框624,区控制器247基于地理位置传感器信号在图上选择控制区。在框626,区控制器247选择待控制的WMA或WMA组。在框628,区控制器247获得所选择的WMA或WMA组的一个或多个目标设置。为所选择的WMA或WMA组获得的目标设置可来自各种不同的源。例如,框630示出了这样的示例,在该示例中所选择的WMA或WMA组的目标设置中的一个或多个基于来自作业现场的图上的控制区的输入。框632示出了这样的示例,在该示例中目标设置中的一个或多个是从操作员260或另一用户的人工输入中获得的。框634示出了这样的示例,在该示例中从现场传感器208获得目标设置。框636示出了这样的示例,在这样的示例中一个或多个目标设置是从与农业收割机100同时在相同田地中作业的其它机器上的一个或多个传感器或者从过去在相同田地中作业的机器上的一个或多个传感器获得的。框638示出了这样的示例,在该示例中目标设置也是从其它源获得的。
在框640,区控制器247访问所选择的动态区的设置解析器,并控制设置解析器将竞争目标设置解析成解析的目标设置。如上所讨论的那样,在一些情况下,设置解析器可以是人类解析器,在这种情况下,区控制器247控制操作员界面机构218向操作员260或另一用户呈现竞争目标设置以便进行解析。在一些情况下,设置解析器可以是神经网络或其它人工智能或机器学习系统,并且区控制器247将竞争目标设置提交给神经网络、人工智能或机器学习系统以便进行选择。在某些情况下,设置解析器可以基于预测的品质度量或历史品质度量、基于阈值规则或基于逻辑部件。在这些后面的示例中的任何一个中,区控制器247执行设置解析器,以基于预测的品质度量或历史品质度量、基于阈值规则或在使用逻辑部件的情况下获得解析的目标设置。
在框642处,在区控制器247已经标识解析的目标设置的情况下,区控制器247将解析的目标设置提供给控制系统214中的其它控制器,这些控制器基于解析的目标设置生成控制信号并将控制信号应用于所选择的WMA或WMA组。例如,在所选择的WMA是机器或割台致动器248的情况下,区控制器247向设置控制器232或割台/实际控制器238或两者提供解析的目标设置,以基于解析的目标设置生成控制信号,并且那些生成的控制信号被施加到机器或割台致动器248。在框644,如果要在农业收割机100的当前地理位置(如在框612检测的)处控制附加WMA或附加WMA组,则处理返回到框626,在框626选择下一WMA或WMA组。由框626至644表示的过程继续进行,直到要在农业收割机100的当前地理位置处被控制的所有WMA或WMA组都已被解决。如果没有要在农业收割机100的当前地理位置处被控制的附加WMA或WMA组剩下,则处理进行到框646,在框646,区控制器247确定要被考虑的附加控制区是否存在于所选择的动态区中。如果要考虑的附加控制区存在,则处理返回到框624,在框624选择下一控制区。如果没有附加控制区需要考虑,则处理进行到框648,在框648确定关于是否有附加动态区需要考虑。区控制器247确定是否有附加动态区需要考虑。如果有附加动态区需要考虑,则处理返回到框622,在框622选择下一动态区。
在框650,区控制器247确定农业收割机100正在执行的操作是否完成。如果不是,则区控制器247确定是否已经满足控制区标准以继续处理,如框652所示。例如,如上所提及那样,控制区定义标准可以包括定义农业收割机100何时可以越过控制区边界的标准。例如,农业收割机100是否可以越过控制区边界可以由所选择的时间段来定义,这意味着农业收割机100被阻止越过区边界直到经过所选择的时间量。在这种情况下,在框652,区控制器247确定所选择的时间段是否已经过去。附加地,区控制器247可以连续地执行处理。因此,在继续确定农业收割机100的操作是否完成之前,区控制器247不等待任何特定的时间段。在框652,区控制器247确定是继续处理的时候了,然后处理在框612继续,在框612区控制器247再次从地理位置传感器204接收输入。还应当理解的是,区控制器247可以使用多输入多输出控制器来同时控制WMA和WMA组,而不是顺序控制WMA和WMA组。
图11是示出操作员界面控制器231的一个示例的框图。在所示出的示例中,操作员界面控制器231包括操作员输入命令处理系统654、其它控制器交互系统656、语音处理系统658和动作信号生成器660。操作员输入命令处理系统654包括语音处置系统662、触摸手势处理系统664和其它项666。其它控制器交互系统656包括控制器输入处理系统668和控制器输出生成器670。语音处理系统658包括触发检测器672、识别部件674、合成部件676、自然语言理解系统678、对话管理系统680和其它项682。动作信号生成器660包括视觉控制信号生成器684、音频控制信号生成器686、触觉控制信号生成器688和其它项690。在描述图11中示出的示例操作员界面控制器231在处理各种操作员界面动作时的操作之前,首先提供操作员界面控制器231中的项中的一些及其相关联的操作的简要描述。
操作员输入命令处理系统654检测操作员界面机构218上的操作员输入,并处理这些命令输入。语音处置系统662检测语音输入,并处理与语音处理系统658的交互,以处理语音命令输入。触摸手势处理系统664检测操作员界面机构218中的触敏元件上的触摸手势,并处理这些命令输入。
其它控制器交互系统656处理与控制系统214中其它控制器的交互。控制器输入处理系统668检测并处理来自控制系统214中其它控制器的输入,并且控制器输出生成器670生成输出并将这些输出提供给控制系统214中的其它控制器。语音处理系统658识别语音输入、确定这些输入的含义、并提供指示口头输入的含义的输出。例如,语音处理系统658可以将来自操作员260的语音输入识别为设置改变命令,其中操作员260正在命令控制系统214改变可控子系统216的设置。在这样的示例中,语音处理系统658识别口头命令的内容,将该命令的含义标识为设置改变命令,并将该输入的含义提供回语音处置系统662。语音处置系统662又与控制器输出生成器670相互作用,以向控制系统214中适当的控制器提供命令输出,以完成口头设置改变命令。
语音处理系统658可以以各种不同的方式被调用。例如,在一个示例中,语音处置系统662连续地将来自麦克风(作为操作员界面机构218中的一个)的输入提供给语音处理系统658。麦克风检测来自操作员260的语音,并且语音处置系统662将所检测的语音提供给语音处理系统658。触发检测器672检测指示语音处理系统658被调用的触发。在一些情况下,当语音处理系统658从语音处置系统662接收连续语音输入时,语音识别部件674对由操作员260讲出的所有语音执行连续语音识别。在一些情况下,语音处理系统658被配置为使用唤醒字进行调用。也就是说,在一些情况下,语音处理系统658的操作可以基于识别所选择的口头单词(被称为唤醒单词)的来启动。在这样的示例中,在识别部件674识别唤醒字的情况下,识别部件674给触发检测器672提供唤醒字已经被识别的指示。触发检测器672检测到语音处理系统658已经被唤醒字调用或触发。在另一示例中,语音处理系统658可以由操作员260致动用户界面机构上的致动器来调用,诸如通过触摸触敏显示屏上的致动器、通过按压按钮或通过提供另一触发输入。在这样的示例中,当检测到经由用户界面机构的触发输入时,触发检测器672可以检测到语音处理系统658已经被调用。触发检测器672也可以检测到语音处理系统658已经以其它方式被调用。
一旦语音处理系统658被调用,来自操作员260的语音输入被提供给语音识别部件674。语音识别部件674识别语音输入中的语言元素,诸如单词、短语或其它语言单元。自然语言理解系统678标识所识别的语音的含义。该含义可以是自然语言输出、标识所识别的语音中反映的命令的命令输出、标识所识别的语音中的值的值输出、或者反映对所识别的语音的理解的多种其它输出中的任何一种。例如,更一般地,自然语言理解系统678和语音处理系统568可以理解在农业收割机100的环境中识别的语音的含义。
在一些示例中,语音处理系统658还可以基于语音输入生成通过用户体验导航操作员260的输出。例如,对话管理系统680可以生成并管理与用户的对话,以便标识用户希望做什么。该对话框可以对用户命令进行消歧、标识执行用户命令所需的一个或多个特定值;或者从用户处获得其它信息或者向用户提供其它信息或者两者均有。合成部件676可以生成语音合成,该语音合成可以通过诸如扬声器的音频操作员界面机构呈现给用户。因此,由对话管理系统680管理的对话可以专门是口头对话或视觉对话和口头对话的组合。
动作信号生成器660基于来自操作员输入命令处理系统654、其它控制器交互系统656和语音处理系统658中的一个或多个的输出,生成动作信号以控制操作员界面机构218。视觉控制信号生成器684生成控制信号来控制操作员界面机构218中的视觉项。视觉项可以是灯、显示屏、警告指示器或其它视觉项。音频控制信号生成器686生成控制操作员界面机构218的音频元件的输出。音频元件包括扬声器、听觉报警机构、喇叭或其它听觉元件。触觉控制信号生成器688生成控制信号,该控制信号被输出以控制操作员界面机构218的触觉元件。触觉元件包括可以用于进行振动的振动元件,例如,操作员的座椅、方向盘、踏板或由操作员使用的操纵杆。触觉元件可以包括通过操作员界面机构向操作员提供触觉反馈或力反馈的触感反馈或力反馈元件。触觉元件也可以包括各种各样的其它触觉元件。
图12是示出操作员界面控制器231在可以包括触敏显示屏的操作员界面机构218上生成操作员界面显示时的操作的一个示例的流程图。图12还示出了操作员界面控制器231如何能够检测和处理操作员与触敏显示屏的交互的一个示例。
在框692,操作员界面控制器231接收图。框694指示其中图是功能预测图的示例,而框696指示其中图是另一类型的图的示例。在框698,操作员界面控制器231从地理位置传感器204接收标识农业收割机100的地理位置的输入。如框700所示,来自地理位置传感器204的输入可以包括农业收割机100的航向以及位置。框702指示其中来自地理位置传感器204的输入包括农业收割机100的速度的示例,框704指示其中来自地理位置传感器204的输入包括其它项的示例。
在框706,操作员界面控制器231中的视觉控制信号生成器684控制操作员界面机构218中的触敏显示屏,以生成示出由所接收的图表示的田地的全部或部分的显示。框708指示所显示的田地可以包括示出农业收割机100相对于田地的当前位置的当前位置标记。框710指示这样的示例,在该示例中所显示的田地包括标识农业收割机100将在其中操作的下一作业单元(或田地上的区域)的下一作业单元标记。框712指示其中所显示的田地包括显示尚未由农业收割机100处理的区域的即将到来的区域显示部分的示例,而框714指示其中所显示的田地包括表示农业收割机100已经处理的田地的区域的先前访问过的显示部分的示例。框716指示其中所显示的田地显示具有图上的地理参考位置的田地的各种特性的示例。例如,如果接收到的图是有害生物图,则显示的田地可以示出在显示的田地内地理参考的田地中存在的不同有害生物类型。映射的特性可以被示出在先前访问的区域(如框714所示)中、即将到来的区域(如框712所示)中和下一作业单元(如框710所示)中。框718指示其中显示的田地也包括其它项的示例。
图13是示出可以在触敏显示屏上生成的用户界面显示720的一个示例的图示。在其它实施方式中,用户界面显示720可以在其它类型的显示器上生成。触敏显示屏可以安装在农业收割机100的操作员室中或移动设备上或其它地方。在继续描述图12中示出的流程图之前,将描述用户界面显示720。
在图13中示出的示例中,用户界面显示720示出了触敏显示屏包括用于操作麦克风722和扬声器724的显示特征。因此,触敏显示器可以可通信地耦接到麦克风722和扬声器724。框726指示触敏显示屏可以包括多种用户界面控制致动器,诸如按钮、小键盘、软小键盘、链接、图标、开关等。操作员260可以致动用户界面控制致动器来执行各种功能。
在图13中示出的示例中,用户界面显示720包括显示农业收割机100正在其中操作的田地的至少一部分的田地显示部分728。田地显示部分728被示出为具有对应于农业收割机100在田地显示部分728中示出的田地的部分中的当前位置的当前位置标记708。在一个示例中,操作员可以控制触敏显示器,以便放大田地显示部分728的部分,或者平移或滚动田地显示部分728以显示田地的不同部分。下一作业单元730被示出为直接在农业收割机100的当前位置标记708前面的田地区域。当前位置标记708还可以被配置成标识农业收割机100的行进方向、农业收割机100的行进速度或两者。在图13中,当前位置标记708的形状提供了关于农业收割机100在田地内的取向的指示,该指示可以用作农业收割机100的行进方向的指示。
在田地显示部分728上标记的下一作业单元730的尺寸可以基于多种不同的标准而变化。例如,下一作业单元730的尺寸可以基于农业收割机100的行进速度而变化。因此,当农业收割机100更快地行进时,下一作业单元730的面积相比于农业收割机100更慢地行进的情况下的下一作业单元730的面积可能更大。田地显示部分728也被示出为显示先前访问的区域714和即将到来的区域712。先前访问的区域714表示已经收割的区域,而即将到来的区域712表示仍然需要收割的区域。田地显示部分728也被示出为显示田地的不同特性。在图13中示出的示例中,正在被显示的图是有害生物图。因此,多个不同的有害生物标记被显示在田地显示部分728上。在已经访问的区域714中示出有一组有害生物特性显示标记732。在即将到来的区域712中还示出有一组有害生物特性显示标记734,并且在下一作业单元730中示出有一组有害生物特性显示标记736。图13示出了有害生物特性显示标记732、734和736由不同的符号构成。符号中的每一个表示有害生物类型。在图3中示出的示例中,@符号表示在田地中的动物活动;*符号表示病害植株;以及#符号表示真菌。因此,田地显示部分728示出了位于田地内不同区域处的不同类型的有害生物。这些仅是示例并且其它有害生物也可以显示在用户界面显示720上。如前所述,显示标记732可以由不同的符号构成,并且如下所述,符号可以是任何显示特征,诸如不同的颜色、形状、图案、强度、文本、图标或其它显示特征。在一些情况下,田地的每个位置都可以具有与其相关联的显示标记。因此,在一些情况下,可以在田地显示部分728的每个位置处提供显示标记以标识为田地的每个特定位置映射的特性的性质。因此,本公开包括在田地显示部分728上的一个或多个位置处提供显示标记,例如(如在图11的本示例的上下文中的)损失水平显示标记732,以标识正在被显示的特性的性质、程度等,从而标识在正在被显示的田地中的相应位置处的特性。
在图13的示例中,用户界面显示720还具有控制显示部分738。控制显示部分738允许操作员查看信息并以各种方式与用户界面显示720交互。
部分738中的致动器和显示标记可以被显示为例如单独的项、固定列表、可滚动列表、下拉菜单或下拉列表。在图13示出的示例中,显示部分738示出对应于以上提及的三个符号的三种不同类型的有害生物的信息。显示部分738还包括一组触敏致动器,操作员260可以通过触摸与该组触敏致动器交互。例如,操作员260可以用手指触摸触敏致动器,以激活相应的触敏致动器。
标志列739示出已经自动或手动设置的标志。标志致动器740允许操作员260标记位置,并且然后添加指示在该位置处发现的有害生物类型的信息。例如,当操作员260通过触摸标志致动器740来致动标志致动器740时,操作员界面控制器231中的触摸手势处理系统664将该位置标识为其中存在鹿或曾经存在鹿的位置。当操作员260触摸按钮742时,触摸手势处理系统664将该位置标识为其中存在一个或多个病害植株的位置。当操作员260触摸按钮744时,触摸手势处理系统664将该位置标识为其中存在真菌或一种或多种受真菌影响的植株的位置。触摸手势处理系统664还控制视觉控制信号生成器684,以在用户当按钮740、742或744致动之前或之后或期间标识的位置处,在田地显示部分728上添加对应于所标识的有害生物类型的符号。
列746显示对应于田地显示部分728上被跟踪的每个有害生物类型的符号。指定符列748示出标识有害生物类型的指定符(其可以是文本指定符或其它指定符)。非限制性地,列746中的有害生物符号和列748中的指定符可以包括任何显示标记,诸如不同的颜色、形状、图案、强度、文本、图标或其它显示标记。列750示出了有害生物特性值。在图13中示出的示例中,有害生物特性值是表示有害生物密度的值。列750中显示的值可以是预测的值或由现场传感器208测量的值。列750中的值可以包括包含在有害生物强度范围内的有害生物性质中的任何一个以及有害生物类型的值和其它值中的任何一个。在一个示例中,操作员260可以选择田地显示部分728的要为其显示列750中的值的特定部分。因此,列750中的值可以对应于显示部分712、714或730中的值。列752显示动作阈值。列752中的动作阈值可以是对应于列750中的测量的值的阈值。如果列750中的测量的值满足列752中的相对应的动作阈值,则控制系统214采取列754中标识的动作。在一些情况下,测量的值可以通过满足或超过相对应的动作阈值来满足相对应的动作阈值。在一个示例中,操作员260可以选择阈值,例如,以便通过触摸列752中的阈值来改变阈值。一旦被选择,操作员260可以改变阈值。列752中的阈值可以被配置成使得当测量的值750超过阈值、等于阈值或小于阈值时,执行指定的动作。
类似地,操作员260可以触摸列754中的动作标识符来改变将要采取的动作。当满足阈值时,可以采取多种动作。例如,在列754的底部,减速动作和增加风扇动作被标识为在列750中的测量的值满足列752中的阈值的情况下将采取的动作。
可以在列754中设置的动作可以是各种不同类型的动作中的任何一种。例如,这些动作可以包括禁止动作,该禁止动作在被执行时阻止农业收割机100在区域中进一步进行收割。这些动作可以包括减少(mitigation)激活,该减少激活在被执行时执行减少动作,诸如不良谷物收集器,将该谷物吹出。这些动作可以包括速度改变动作,该速度改变动作在被执行时改变农业收割机100穿过田地的行进速度。这些动作可以包括用于改变内部致动器或另一WMA或WMA组的设置的设置改变动作,或者用于实施改变割台的设置的设置改变动作。这些仅仅是示例,并且在此考虑了各种各样的其它动作。
用户界面显示720上示出的显示标记可以被以视觉的方式控制。以视觉的方式控制界面显示720可以被执行以捕获操作员260的注意。例如,可以控制显示标记来修改被显示的显示标记的强度、颜色或图案。附加地,可以控制显示标记闪烁。作为示例,提供了对显示标记的视觉外观的所描述的更改。因此,显示标记的视觉外观的其它方面可以被更改。因此,可以在各种情况下以期望的方式修改显示标记,以便例如捕获操作员260的注意。
可以由操作员260使用用户界面显示720完成的各种功能也可以自动完成,诸如通过控制系统214中的其它控制器。例如,当由现场传感器208标识不同类型的有害生物时,操作员界面控制器231可以在农业收割机100的当前位置(其对应于遇到的有害生物类型的位置)处自动添加标志,并生成标志列中的显示、符号列中的相对应的符号、以及指定符列748中的指定符。在标识不同的有害生物类型时,操作员界面控制器231还可以生成列750中的测量的值以及列752中的阈值。操作员界面控制器231或另一控制器也可以自动标识添加到列754的动作。
现在回到图12的流程图,继续描述操作员界面控制器231的操作。在框760,操作员界面控制器231检测设置标志的输入,并控制触敏用户界面显示720在田地显示部分728上显示该标志。所检测的输入可以是操作员输入(如762所示),或者是来自另一控制器的输入(如764所示)。在框766,操作员界面控制器231检测指示来自现场传感器208中的一个的、田地的测量的特性的现场传感器输入。在框768,视觉控制信号生成器684生成控制信号,以控制用户界面显示720显示用于修改用户界面显示720和用于修改机器控制的致动器。例如,框770表示可以显示用于设置或修改列739、746和748中的值的致动器中的一个或多个。因此,用户可以设置标志并修改这些标志的特性。例如,用户可以修改对应于标志的有害生物类型和有害生物指定符。框772表示显示了列752中的动作阈值。框776表示显示了列754中的动作,并且框778表示显示了列750中的测量的现场数据。框780指示各种各样的其它信息和致动器也可以被显示在用户界面显示720上。
在框782,操作员输入命令处理系统654检测并处理对应于由操作员260执行的与用户界面显示720的交互的操作员输入。在用户界面显示720被显示在其上的用户界面机构是触敏显示屏的情况下,由操作员260进行的与触敏显示屏的交互输入可以是触摸手势784。在一些情况下,操作员交互输入可以是使用点击设备786或其它操作员交互输入788的输入。
在框790,操作员界面控制器231接收指示警报条件的信号。例如,框792指示可以由控制器输入处理系统668接收、指示列750中的所检测的值满足列752中存在的阈值条件的信号。如前所解释那样,阈值条件可以包括阈值之下、处于阈值或阈值之上的值。框794示出了动作信号生成器660可以响应于接收警报条件,通过使用视觉控制信号生成器684来生成视觉警报、通过使用音频控制信号生成器686来生成音频警报、通过使用触觉控制信号生成器688来生成触觉警报、或者通过使用这些的任意组合来警告操作员260。类似地,如框796所示,控制器输出生成器670可以向控制系统214中的其它控制器生成输出,使得这些控制器执行列754中标识的相对应的动作。框798示出操作员界面控制器231也可以以其它方式检测和处理警报条件。
框900示出语音处置系统662可以检测和处理调用语音处理系统658的输入。框902示出执行语音处理可以包括使用对话管理系统680来与操作员260进行对话。框904示出语音处理可以包括向控制器输出生成器670提供信号,使得基于语音输入自动执行控制操作。
下面的表1示出了操作员界面控制器231和操作员260之间的对话的示例。在表1中,操作员260使用由触发检测器672检测的触发字或唤醒字来调用语音处理系统658。在表1中示出的示例中,唤醒词是“约翰尼(Johnny)”。
表1
操作员:“约翰尼,告诉我关于当前有害生物的情况”
操作员界面控制器:“受真菌感染的作物为65%,阈值为10%”。
操作员:“约翰尼,因为有有害生物,我该怎么办?”
操作员界面控制器:“受真菌感染的作物太高了。在这个地区停止收割,并且稍后使不良谷物减少”。
表2示出了这样的示例,在该示例中语音合成部件676向音频控制信号生成器686提供输出,以间歇或周期性地提供听觉更新。更新之间的间隔可以是基于时间的(诸如每五分钟),或者是基于覆盖或距离的(诸如每五英亩)、或者是基于异常的(诸如当测量的值大于阈值时)。
表2
操作员界面控制器:“在过去的10分钟里,收割物包含90%的正常作物和10%的病害作物”。
操作员界面控制器:“接下来的1英亩土地估计包括95%的正常作物和5%的病害作物”。
表3中示出的示例示出了触敏显示720上的一些致动器或用户输入机构可以用语音对话来补充。表3中的示例示出了动作信号生成器660可以生成动作信号来自动标记正在被收割的田地中的受有害生物影响的作物块。
表3
人类:“约翰尼,标记有害生物块”。
操作员界面控制器:“受有害生物感染的作物区域已标记”。
表4中示出的示例示出了动作信号生成器660可以与操作员260进行对话,以开始和结束有害生物区域的标记。
表4
人类:“约翰尼,开始标记受有害生物感染的作物”。
操作员界面控制器:“标记受有害生物感染的区域”。
人类:“约翰尼,停止标记有害生物块”。
操作员界面控制器:“受有害生物感染的区域标记停止”。
表5中示出的示例示出了动作信号生成器160可以以不同于表3和表4中示出的方式生成标记有害生物块的信号。
表5
人类:“约翰尼,把下一100英尺标记为有害生物块”。
操作员界面控制器:“下一100英尺被标记为受有害生物感染的区域”。
再次返回图12,框906示出了操作员界面控制器231也可以检测和处理用于以其它方式输出消息或其它信息的情况。例如,其它控制器交互系统656可以检测来自其它控制器的指示警报或输出消息应该呈现给操作员260的输入。框908示出输出可以是音频消息。框910示出输出可以是视觉消息,并且框912示出输出可以是触觉消息。直到操作员界面控制器231确定当前收割操作完成(如框914所示),处理返回到框698,在框698中收割机100的地理位置被更新,并且处理如上所述继续进行以更新用户界面显示720。
一旦操作完成,则可以保存在用户界面显示720上显示或已经显示的任何期望值。这些值也可以在机器学习中用于改进预测模型生成器210、预测图生成器212、控制区生成器213、控制算法或其它项的不同部分。由框916指示所保存的期望值。这些值可以本地保存在农业收割机100上,或者这些值可以保存在远程服务器位置处或发送到另一远程系统。
由此可见,先验信息图是由农业收割机获得的,并且示出了正在被收割的田地的不同地理位置处的有害生物特性值。收割机上的现场传感器感测在农业收割机移动通过田地时具有指示农业特性的值的特性。预测图生成器生成预测图,该预测图基于先验信息图中的有害生物特性的值和由现场传感器感测的农业特性来预测田地中的不同位置的控制值。控制系统基于预测图中的控制值控制可控子系统。
控制值是动作可以基于其的值。如本文所述,控制值可以包括可以用于控制农业收割机100的任何值(或由该值指示或从该值导出的特性)。控制值可以是指示农业特性的任何值。控制值可以是预测的值、测量的值或检测的值。控制值可以包括由图提供的任何值(诸如本文描述的图中的任何一个),例如,控制值可以是由信息图提供的值、由先验信息图提供的值或者由预测图提供的值,诸如功能预测图。控制值还可以包括由本文描述的传感器中的任何一个检测的值所指示的或从其中导出的特性中的任何一个。在其它示例中,控制值可以由农业机器的操作员提供,诸如由农业机器的操作员输入的命令。
目前的讨论已经提到了处理器和服务器。在一些示例中,处理器和服务器包括具有相关联的存储器和时序电路(未单独示出)的计算机处理器。处理器和服务器是处理器和服务器所属的系统或设备的功能部分,并且由这些系统中的其它部件或项激活并促进其功能。
而且,已经讨论了许多用户界面显示。显示器可以采取各种不同的形式,并且可以具有设置在其上的各种不同的用户可致动的操作员界面结构。例如,用户可致动的操作员界面机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。用户可致动的操作员界面机构也可以以各种不同的方式被致动。例如,用户可致动的操作员界面机构可以使用操作员界面机构(诸如点击设备,(诸如轨迹球或鼠标、硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等)、虚拟键盘或其它虚拟致动器)来致动。此外,在其上显示用户可致动的操作员界面机构的屏幕是触敏屏幕的情况下,可以使用触摸手势来致动用户可致动的操作员界面机构。而且,可以使用语音识别功能使用语音命令来致动用户可致动的操作员界面机构。语音识别可以使用语音检测设备(诸如麦克风)和用于识别所检测的语音并基于所接收的语音执行命令的软件来实施。
还讨论了许多数据存储装置。应当注意的是,数据存储可以各自分成多个数据存储装置。在一些示例中,数据存储装置中的一个或多个对于访问数据存储装置的系统可以是本地的,数据存储装置中的一个或多个可以全部位于远离利用数据存储装置的系统,或者一个或多个数据存储装置可以是本地的,而其它的是远程的。本公开考虑了所有这些配置。
此外,附图示出了多个框,其中功能归属于每个框。应当注意的是,可以使用更少的框来示出归因于多个不同框的功能由更少的部件来执行。而且,可以使用更多的框,从而示出该功能可以分布在更多的部件当中。在不同的示例中,可以添加一些功能,并且也可以删除一些功能。
应当注意的是,上述讨论已经描述了各种不同的系统、部件、逻辑和交互。应当理解的是,这样的系统、部件、逻辑和交互中的任何一个或全部可以由硬件项实施,诸如处理器、存储器或其它处理部件,包括但不限于执行与那些系统、部件、逻辑或交互相关联的功能的人工智能部件(诸如神经网络,其中的一些在下面描述)。此外,系统、部件、逻辑和交互中的任何一个或全部可以由加载到存储器中并随后由处理器或服务器或其它计算部件执行的软件来实施,如下所述。系统、部件、逻辑和交互中的任何一个或全部也可以通过硬件、软件、固件等的不同组合来实施,其一些示例在下面描述。这些是可以用于实施以上描述的系统、部件、逻辑和交互中的任何一个或全部的不同结构的一些示例。也可以使用其它结构。
图14是农业收割机600的框图,其可以类似于图2中示出的农业收割机100。农业收割机600与远程服务器架构500中的元件通信。在一些示例中,远程服务器架构500可以提供不需要终端用户了解递送服务的系统的物理位置或配置的计算、软件、数据访问和存储服务。在各种示例中,远程服务器可以使用适当的协议通过广域网(诸如互联网)递送服务。例如,远程服务器可以通过广域网递送应用,并且可以通过网络浏览器或任何其它计算部件访问。图2中示出的软件或部件以及与之相关联的数据可以存储在远程位置处的服务器上。远程服务器环境中的计算资源可以被合并在远程数据中心位置处,或者计算资源可以被分散到多个远程数据中心。远程服务器基础设施可以通过共享数据中心递送服务,即使作为用户的单个访问点出现。因此,本文描述的部件和功能可以使用远程服务器架构从远程位置处的远程服务器提供。替代性地,部件和功能可以从服务器提供,或者部件和功能可以直接或以其它方式安装在客户端设备上。
在图14中示出的示例中,一些项类似于图2中示出的项目,并且这些项被相似地进行编号。图14具体示出了预测模型生成器210或预测图生成器212或两者可以位于远离农业收割机600的服务器位置502。因此,在图14中示出的示例中,农业收割机600通过远程服务器位置502访问系统。
图14还描绘了远程服务器架构的另一示例。图14示出了图2的一些元件可以被布置在远程服务器位置502处,而其它元件可以位于其它地方。作为示例,数据存储装置202可以被放置在与位置502分离的位置处,并且经由位置502处的远程服务器来访问。无论这些元件位于何处,这些元件可以由农业收割机600通过网络(诸如广域网或局域网)直接访问、这些元件可以由服务托管在远程站点、或者这些元件可以作为服务提供、或者由驻留在远程位置的连接服务访问。此外,数据可以存储在任何位置,并且存储的数据可以被操作员、用户或系统访问或转发给操作员、用户或系统。例如,可以使用物理载波来代替电磁波载波,或者除了电磁波载波之外还可以使用物理载波。在一些示例中,在无线电信服务覆盖差或不存在的情况下,另一机器(诸如燃料车或其它移动机器或车辆)可以具有自动、半自动或手动信息收集系统。在联合收割机600在加燃料前靠近包含信息收集系统的机器(诸如燃料车)时,信息收集系统使用任何类型的临时专用无线连接从联合收割机600收集信息。然后,当包含所接收的信息的机器到达无线电信服务覆盖或其它无线覆盖可用的位置时,所收集的信息可以被转发到另一网络。例如,当燃料车行驶到给其它机器加燃料的位置时或在主燃料存储位置时,燃料车可以进入具有无线通信覆盖的区域。本文考虑了所有这些架构。此外,信息可以存储在农业收割机600上,直到农业收割机600进入具有无线通信覆盖的区域。农业收割机600本身可以将信息发送到另一网络。
还将注意到,图2的元件或其部分可以设置在各种不同的设备上。这些设备中的一个或多个可以包括机载计算机、电子控制单元、显示单元、服务器、台式计算机、膝上型计算机、平板计算机或其它移动设备,诸如掌上电脑、蜂窝电话、智能电话、多媒体播放器、个人数字助理等。
在一些示例中,远程服务器架构500可以包括网络安全措施。非限制性地,这些措施包括存储设备上的数据的加密、网络节点之间发送的数据的加密、访问数据的人员或进程的认证、以及使用分类帐记录元数据、数据、数据传送、数据访问和数据转换。在一些示例中,分类账可以是分布式的和不可变的(例如,实施为区块链)。
图15是可以用作本系统(或其一部分)可以部署在其中的用户的或客户的手持设备16的手持或移动计算设备的一个示意性示例的简化框图。例如,移动设备可以部署在农业收割机100的操作员室中,用于在生成、处理或显示以上讨论的图时使用。图16至图17是手持或移动设备的示例。
图15提供了客户端设备16的部件的总体框图,该客户端设备可以运行图2中示出的一些部件、与它们交互、或者两者都进行。在设备16中,提供了允许手持设备与其它计算设备通信的通信链路13,并且在一些示例下提供了用于自动接收信息(例如通过扫描)的信道。通信链路13的示例包括允许通过一个或多个通信协议进行通信,诸如用于提供对网络的蜂窝接入的无线服务,以及提供对网络的本地无线连接的协议。
在其它示例中,应用可以在连接到接口15的可移动安全数字(Secure Digital,SD)卡上接收。界面15和通信链路13沿着总线19与处理器17(其也可以实现来自其它图的处理器或服务器)通信,该总线也连接到存储器21和输入/输出(input/output,I/O)部件23、以及时钟25和位置系统27。
在一个示例中,提供I/O部件23来促进输入和输出操作。设备16的各种示例的I/O部件23可以包括输入部件(诸如按钮、触摸传感器、光学传感器、麦克风、触摸屏、接近传感器、加速度计、方位传感器)以及输出部件(诸如显示设备、扬声器和/或打印机端口)。也可以使用其它I/O部件23。
时钟25示意性地包括输出时间和日期的实时时钟部件。示意性地,它还可以为处理器17提供定时功能。
位置系统27示意性地包括输出设备16的当前地理位置的部件。这可以包括例如全球定位系统(global positioning system,GPS)接收器、LORAN系统、航位推算系统、蜂窝三角测量系统或其它定位系统。位置系统27还可以包括,例如,生成所期望的图、导航路线和其它地理功能的绘图软件或导航软件。
存储器21存储操作系统29、网络设置31、应用33、应用配置设定35、数据存储装置37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形易失性和非易失性计算机可读存储器设备。存储器21还可以包括计算机存储介质(下文描述)。存储器21存储计算机可读指令,当由处理器17执行时,这些指令使处理器根据指令执行计算机实施的步骤或功能。处理器17也可以由其它部件激活以促进它们的功能。
图16示出了其中设备16是平板电脑600的一个示例。在图16中,计算机601被示出为具有用户界面显示屏602。屏幕602可以是从笔或触笔接收输入的触摸屏或支持笔的界面。平板电脑600还可以使用屏幕上虚拟键盘。当然,计算机601也可以例如通过合适的附接结构(诸如无线链接件或USB端口)附接到键盘或其它用户输入设备。计算机601也可以示意性地接收语音输入。
图17类似于图16,除了设备是智能电话71。智能电话71具有显示图标或小块或其它用户输入机构75的触敏显示器73。可以由用户使用机构75来运行应用、进行呼叫、执行数据传输操作等。一般而言,智能手机71建立在移动操作系统上,并且提供比功能手机更高级的计算能力和连接性。
注意,设备16的其它形式是可能的。
图18是其中可以部署图2的元件的计算环境的一个示例。参考图18,用于实施一些实施例的示例系统包括呈被编程为如上所讨论那样操作的计算机810形式的计算设备。计算机810的部件可以包括但不限于处理单元820(其可以包括来自先前附图的处理器或服务器)、系统存储器830和将包括系统存储器的各种系统部件耦接到处理单元820的系统总线821。系统总线821可以是几种类型的总线结构中的任何一种,包括存储器总线或存储器控制器、外围总线以及使用各种总线架构中的任何一种的局部总线。关于图2描述的存储器和程序可以部署在图18的相对应部分中。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可以由计算机810访问的任何可用介质,并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质不同于调制数据信号或载波,并且也不包括调制数据信号或载波。计算机可读介质包括硬件存储介质,包括以任何方法或技术实施用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(digitalversatile disk,DVD)或其它光盘存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备,或可以用于存储所期望的信息并可以由计算机810访问的任何其它介质。通信介质可以实现计算机可读指令、数据结构、程序模块或传输机构中的其它数据,并且包括任何信息递送介质。术语“经调制的数据信号”是指具有以在信号中编码信息的方式设置或改变其特征中的一个或多个的信号。
系统存储器830包括易失性和/或非易失性存储器或者两者形式的计算机存储介质,诸如只读存储器(read only memory,ROM)831和随机存取存储器(random accessmemory,RAM)832。基本输入/输出系统833(basic input/output system,BIOS)(其包含诸如在启动期间帮助在计算机810内的元件之间传递信息的基本例程)通常存储在ROM 831中。RAM 832通常包含处理单元820可立即访问和/或当前正在被处理单元820操作的数据和/或程序模块或两者。作为示例而非限制,图18示出了操作系统834、应用程序835、其它程序模块836和程序数据837。
计算机810还可以包括其它可移动/不可移动的易失性/非易失性计算机存储介质。仅作为示例,图18示出了从不可移动、非易失性磁介质、光盘驱动器855和非易失性光盘856读取或向其写入的硬盘驱动器841。硬盘驱动器841通常通过不可移动存储器接口(诸如接口840)连接到系统总线821,光盘驱动器855通常通过可移动存储器接口(诸如接口850)连接到系统总线821。
替代性地或附加地,本文描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如但不限于,可以使用的示意性类型的硬件逻辑部件包括现场可编程门阵列(Field-programmable Gate Array,FPGA)、专用集成电路(Application-specificIntegrated Circuit,ASIC)、专用标准产品(例如ASSP)、片上系统(System-on-a-chipsystem,SOC)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)等。
上文讨论并在图18中示出的驱动器及其相关联的计算机存储介质为计算机810提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如,在图18中,硬盘驱动器841被示为存储操作系统844、应用程序845、其它程序模块846和程序数据847。注意,这些部件可以与操作系统834、应用程序835、其它程序模块836和程序数据837相同或不同。
用户可以通过输入设备(诸如键盘862、麦克风863和指向设备861(诸如鼠标、跟踪球或触摸板))向计算机810输入命令和信息。其它输入设备(未示出)可以包括操纵杆、游戏手柄、卫星天碟、扫描仪等。这些和其它输入设备通常通过耦接到系统总线的用户输入接口860连接到处理单元820,但是也可以通过其它接口和总线结构连接。视觉显示器891或其它类型的显示设备也通过诸如视频接口890的接口连接到系统总线821。除了监视器之外,计算机还可以包括可以通过输出外围接口895连接的其它外围输出设备,诸如扬声器897和打印机896。
计算机810使用到一个或多个远程计算机(诸如远程计算机880)的逻辑连接(诸如控制器局部网(CAN)、局域网(LAN)或广域网(WAN))在联网环境中操作。
当在LAN联网环境中使用时,计算机810通过网络接口或适配器870连接到LAN871。当在WAN联网环境中使用时,计算机810通常包括调制解调器872或用于通过WAN 873(诸如因特网)建立通信的其它装置。在联网环境中,程序模块可以被存储在远程存储器存储设备中。例如,图18示出了远程应用程序885可以驻留在远程计算机880上。
还应当注意的是,本文描述的不同示例可以以不同的方式组合。也就是说,一个或多个示例的部分可以与一个或多个其它示例的部分组合。在本文中考虑了这方面的全部。
示例1是一种农业作业机器,包括:
通信系统,该通信系统接收包括对应于田地中的不同地理位置的有害生物特性的值的信息图;
地理位置传感器,该地理位置传感器检测农业作业机器的地理位置;
现场传感器,该现场传感器检测对应于地理位置的农业特性的值;
预测图生成器,该预测图生成器基于信息图中的有害生物特性的值并基于农业特性的值,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;
可控子系统;以及
控制系统,该控制系统基于农业作业机器的地理位置并且基于功能预测农业图中的控制值生成控制信号以控制可控子系统。
示例2是任何或所有前述示例的农业作业机器,其中预测图生成器包括:
预测产量图生成器,该预测产量图生成器生成功能预测农业图,该功能预测农业图将作为控制值的预测产量值映射到田地中的不同地理位置。
示例3是任何或所有前述示例的农业作业机器,其中控制系统包括:
进料速率控制器,该进料速率控制器基于所检测的地理位置和功能预测农业图生成进料速率控制信号,并基于进料速率控制信号控制可控子系统,以控制通过农业作业机器的材料的进料速率。
示例4是权利要求1的农业作业机器,其中预测图生成器包括:
预测谷物品质图生成器,该预测谷物品质图生成器生成功能预测农业图,该功能预测农业图将作为控制值的预测谷物品质值映射到田地中的不同地理位置。
示例5是任何或所有前述示例的农业作业机器,其中控制系统包括:
残茬控制器,该残茬控制器基于所检测的地理位置和功能预测农业图生成残茬控制信号,并基于残茬控制信号控制残茬子系统以控制农业作业机器的残茬处理操作。
示例6是任何或所有前述示例的农业作业机器,其中控制系统控制谷物收集器以保留低品质、受有害生物感染的谷物。
示例7是任何或所有前述示例的农业作业机器,其中控制系统包括:
设定控制器,该设定控制器基于所检测的地理位置和功能预测操作员命令图生成指示操作员命令的操作员命令控制信号,并基于操作员命令控制信号控制可控子系统以执行操作员命令。
实施例8是任何或所有前述示例的农业作业机器,并且还包括:
预测模型生成器,该预测模型生成器基于地理位置处的先验信息图中的有害生物特性的值和由现场传感器检测的、该地理位置处的农业特性的值生成对有害生物特性和农业特性之间的关系进行建模的预测农业模型,其中预测图生成器基于先验信息图中的有害生物特性的值并基于预测农业模型来生成功能预测农业图。
示例9是任何或所有前述示例的农业作业机器,其中控制系统还包括:
操作员界面控制器,该操作员界面控制器生成功能预测农业图的用户界面图表示,该用户界面图表示包括具有指示田地部分上的农业作业机器的地理位置的当前位置指示符和指示田地部分上的一个或多个地理位置处的有害生物特性的值的有害生物特性符号的田地部分。
示例10是任何或所有前述示例的农业作业机器,其中操作员界面控制器生成用户界面图表示,以包括显示指示所检测的农业特性的所感测的特性显示的交互式显示部分、指示动作阈值的交互阈值显示部分、以及指示当所检测的农业特性满足动作阈值时要采取的控制动作的交互动作指示符,控制系统基于控制动作生成控制信号以控制可控子系统。
示例11是一种控制农业作业机器的计算机实施的方法,包括
获得包括对应于田地中的不同地理位置的有害生物特性的值的信息图;
检测农业作业机器的地理位置;
利用现场传感器检测对应于该地理位置的农业特性的值;
基于信息图中的有害生物特性的值并基于农业特性的值,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;以及
基于农业作业机器的地理位置并且基于功能预测农业图中的控制值控制可控子系统。
示例12是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成功能预测产量图,该功能预测产量图映射作为控制值的预测产量值。
示例13是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测产量图生成进料速率控制信号;以及
基于进料速率控制信号控制可控子系统,以控制材料通过农业作业机器的进料速率。
示例14是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成功能预测谷物品质图,该功能预测谷物品质图映射作为控制值的预测谷物品质值。
示例15是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测谷物品质图生成残茬控制信号;以及
基于残茬控制信号控制可控子系统,以控制农业作业机器的残茬处理子系统。
示例16是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成功能预测操作员命令图,该功能预测操作员命令图将预测操作员命令映射到田地中的不同地理位置。
示例17是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测操作员命令图,生成指示操作员命令的操作员命令控制信号;以及
基于操作员命令控制信号控制可控子系统以执行操作员命令。
示例18是任何或所有前述示例的计算机实施的方法,并且还包括:
基于地理位置处的信息图中的有害生物特性的值和由现场传感器在该地理位置处检测的农业特性的值生成对有害生物特性和农业特性之间的关系进行建模的预测农业模型,其中生成功能预测农业图包括基于信息图中的有害生物特性的值并基于预测农业模型来生成功能预测农业图。
示例19是一种农业作业机器,包括:
通信系统,该通信系统接收包括对应于田地中的不同地理位置的农业特性的值的先验信息图;
地理位置传感器,该地理位置传感器检测农业作业机器的地理位置;
现场传感器,该现场传感器检测对应于该地理位置的有害生物特性的值;
预测模型生成器,该预测模型生成器基于地理位置处的先验信息图中的农业特性的值和由现场传感器检测的、该地理位置处的有害生物特性的值生成对有害生物特性和农业特性之间的关系进行建模的预测农业模型;
预测图生成器,该预测图生成器基于先验信息图中的农业特性的值并基于预测农业模型,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;
可控子系统;以及
控制系统,该控制系统基于农业作业机器的地理位置并且基于功能预测农业图中的控制值生成控制信号以控制可控子系统。
示例20是任何或所有前述示例的农业作业机器,其中先验信息图包括历史有害生物特性、光学特性、植被指数、侦察特性和动物活动的值。
尽管已经用特定于结构特征或方法动作的语言描述了主题,但是应当理解的是,在所附权利要求中限定的主题不必限于以上描述的特定特征或动作。相反,以上具体特征和动作是作为权利要求的示例形式而公开的。

Claims (10)

1.一种农业作业机器(100),包括:
通信系统(206),所述通信系统接收包括对应于田地中的不同地理位置的有害生物特性的值的信息图;
地理位置传感器(204),所述地理位置传感器检测所述农业作业机器的地理位置;
现场传感器(208),所述现场传感器检测对应于所述地理位置的农业特性的值;
预测图生成器(212),所述预测图生成器基于所述信息图中的有害生物特性的值并基于所述农业特性的值,生成将预测控制值映射到田地中的不同地理位置的所述田地的功能预测农业图;
可控子系统(216);以及
控制系统(214),所述控制系统基于所述农业作业机器的地理位置并且基于所述功能预测农业图中的控制值生成控制信号以控制所述可控子系统(216)。
2.根据权利要求1所述的农业作业机器,其中,所述预测图生成器包括:
预测产量图生成器,所述预测产量图生成器生成功能预测农业图,所述功能预测农业图将作为控制值的预测产量值映射到田地中的不同地理位置。
3.根据权利要求2所述的农业作业机器,其中,所述控制系统包括:
进料速率控制器,所述进料速率控制器基于所检测的地理位置和所述功能预测农业图生成进料速率控制信号,并基于所述进料速率控制信号控制所述可控子系统,以控制材料通过所述农业作业机器的进料速率。
4.根据权利要求1所述的农业作业机器,其中,所述预测图生成器包括:
预测谷物品质图生成器,所述预测谷物品质图生成器生成功能预测农业图,所述功能预测农业图将作为所述控制值的预测谷物品质值映射到田地中的不同地理位置。
5.根据权利要求4所述的农业作业机器,其中,所述控制系统包括:
残茬控制器,所述残茬控制器基于所检测的地理位置和所述功能预测农业图生成残茬控制信号,并基于所述残茬控制信号控制残茬子系统以控制所述农业作业机器的残茬处理操作。
6.根据权利要求1所述的农业作业机器,其中,所述控制系统控制谷物收集器以保留低品质、受有害生物感染的谷物。
7.根据权利要求1所述的农业作业机器,其中,所述控制系统包括:
设定控制器,所述设定控制器基于所检测的地理位置和功能预测操作员命令图生成指示操作员命令的操作员命令控制信号,并基于所述操作员命令控制信号控制所述可控子系统以执行所述操作员命令。
8.根据权利要求1所述的农业作业机器,还包括:
预测模型生成器,所述预测模型生成器基于所述地理位置处的先验信息图中的有害生物特性的值和由所述现场传感器在所述地理位置处检测的农业特性的值,生成对所述有害生物特性和所述农业特性之间的关系进行建模的预测农业模型,其中,所述预测图生成器基于所述先验信息图中的有害生物特性的值并基于所述预测农业模型来生成所述功能预测农业图。
9.一种控制农业作业机器(100)的计算机实施的方法,包括
获得包括对应于田地中的不同地理位置的有害生物特性的值的信息图(258);
检测所述农业作业机器(100)的地理位置;
利用现场传感器(208)检测对应于地理位置的农业特性的值;
基于所述信息图中的有害生物特性的值并基于所述农业特性的值,生成将预测控制值映射到所述田地中的不同地理位置的所述田地的功能预测农业图;以及
基于所述农业作业机器(100)的地理位置并基于所述功能预测农业图中的控制值来控制可控子系统(216)。
10.一种农业作业机器(100),包括:
通信系统(206),所述通信系统接收包括对应于田地中的不同地理位置的农业特性的值的先验信息图;
地理位置传感器(204),所述地理位置传感器检测所述农业作业机器的地理位置;
现场传感器(208),所述现场传感器检测对应于地理位置的有害生物特性的值;
预测模型生成器(210),所述预测模型生成器基于所述地理位置处的先验信息图中的农业特性的值和由所述现场传感器在所述地理位置处检测的有害生物特性的值,生成对所述有害生物特性和所述农业特性之间的关系进行建模的预测农业模型;
预测图生成器(212),所述预测图生成器基于所述先验信息图中的农业特性的值并基于所述预测农业模型,生成将预测控制值映射到所述田地中的不同地理位置的所述田地的功能预测农业图;
可控子系统(216);以及
控制系统(214),所述控制系统基于所述农业作业机器的地理位置并且基于所述功能预测农业图中的控制值生成控制信号以控制所述可控子系统(216)。
CN202111156471.8A 2020-10-09 2021-09-29 使用预测图的机器控制 Pending CN114303615A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/066,887 2020-10-09
US17/066,887 US20220110253A1 (en) 2020-10-09 2020-10-09 Machine control using a predictive map

Publications (1)

Publication Number Publication Date
CN114303615A true CN114303615A (zh) 2022-04-12

Family

ID=81045691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111156471.8A Pending CN114303615A (zh) 2020-10-09 2021-09-29 使用预测图的机器控制

Country Status (3)

Country Link
US (1) US20220110253A1 (zh)
CN (1) CN114303615A (zh)
BR (1) BR102021017308A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758847B2 (en) 2019-09-19 2023-09-19 Deere & Company Residue quality assessment and performance system for a harvester
US11845449B2 (en) * 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US12082531B2 (en) 2022-01-26 2024-09-10 Deere & Company Systems and methods for predicting material dynamics

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360697A1 (en) * 2013-09-03 2016-12-15 Agco Corporation System and method for automatically changing machine control state
US10024459B1 (en) * 2015-04-02 2018-07-17 Ag Leader Technology, Inc. Tile feed wheel control
AU2017357645B2 (en) * 2016-11-08 2022-11-10 Dogtooth Technologies Limited A robotic fruit picking system
US11263707B2 (en) * 2017-08-08 2022-03-01 Indigo Ag, Inc. Machine learning in agricultural planting, growing, and harvesting contexts
US11151500B2 (en) * 2017-11-21 2021-10-19 The Climate Corporation Digital modeling of disease on crops on agronomic fields
CN111868782B (zh) * 2018-04-17 2024-01-02 赫尔实验室有限公司 使用彩色图像的盲源分离确定农作物残茬分数的系统和方法
US10957036B2 (en) * 2019-05-17 2021-03-23 Ceres Imaging, Inc. Methods and systems for crop pest management utilizing geospatial images and microclimate data
US11665992B2 (en) * 2019-07-30 2023-06-06 Root Applied Sciences Inc. Predictive agricultural management system and method

Also Published As

Publication number Publication date
US20220110253A1 (en) 2022-04-14
BR102021017308A2 (pt) 2022-11-29

Similar Documents

Publication Publication Date Title
EP3861843B1 (en) Machine control using a predictive map
US11635765B2 (en) Crop state map generation and control system
US11983009B2 (en) Map generation and control system
CN114303598A (zh) 使用预测图进行的机器控制
US12063886B2 (en) Machine control using a predictive map
US11474523B2 (en) Machine control using a predictive speed map
US11711995B2 (en) Machine control using a predictive map
US11927459B2 (en) Machine control using a predictive map
US20220110253A1 (en) Machine control using a predictive map
US20220110262A1 (en) Predictive map generation and control system
CN114303592A (zh) 使用预测图的机器控制
CN114303619A (zh) 图生成器和控制系统
CN114303616A (zh) 作物成分图生成器和控制系统
CN114793602A (zh) 使用具有状态区域的图进行机器控制
EP3981232B1 (en) Predictive map generation and control system
CN114419454A (zh) 使用预测图的机器控制
US11675354B2 (en) Machine control using a predictive map
CN114303594A (zh) 预测性图生成和控制系统
EP3981243B1 (en) Map generation and control system
CN114303612A (zh) 预测图生成和控制系统
CN114303595A (zh) 预测性动力地图生成和控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination