CN113207411A - 使用预测图的机器控制 - Google Patents
使用预测图的机器控制 Download PDFInfo
- Publication number
- CN113207411A CN113207411A CN202110182559.0A CN202110182559A CN113207411A CN 113207411 A CN113207411 A CN 113207411A CN 202110182559 A CN202110182559 A CN 202110182559A CN 113207411 A CN113207411 A CN 113207411A
- Authority
- CN
- China
- Prior art keywords
- map
- agricultural
- weed
- control
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000196324 Embryophyta Species 0.000 claims description 348
- 239000002028 Biomass Substances 0.000 claims description 55
- 239000000463 material Substances 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 80
- 238000012545 processing Methods 0.000 description 76
- 238000003306 harvesting Methods 0.000 description 48
- 230000007246 mechanism Effects 0.000 description 45
- 230000000875 corresponding effect Effects 0.000 description 43
- 230000009471 action Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 230000008859 change Effects 0.000 description 24
- 230000003993 interaction Effects 0.000 description 23
- 241001124569 Lycaenidae Species 0.000 description 21
- 230000015654 memory Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000004140 cleaning Methods 0.000 description 18
- 230000001276 controlling effect Effects 0.000 description 17
- 240000001592 Amaranthus caudatus Species 0.000 description 16
- 235000009328 Amaranthus caudatus Nutrition 0.000 description 16
- 235000012735 amaranth Nutrition 0.000 description 16
- 239000004178 amaranth Substances 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 241001516311 Watermelon virus A Species 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 11
- 239000002689 soil Substances 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 10
- 239000000446 fuel Substances 0.000 description 10
- 238000011065 in-situ storage Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 241000251169 Alopias vulpinus Species 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000013442 quality metrics Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 241000894007 species Species 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 230000004043 responsiveness Effects 0.000 description 4
- 235000003129 Ambrosia artemisiifolia var elatior Nutrition 0.000 description 3
- 244000281762 Chenopodium ambrosioides Species 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 235000003484 annual ragweed Nutrition 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 235000006263 bur ragweed Nutrition 0.000 description 3
- 235000003488 common ragweed Nutrition 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 244000304962 green bristle grass Species 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 235000009736 ragweed Nutrition 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000208841 Ambrosia trifida Species 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 2
- 240000000111 Saccharum officinarum Species 0.000 description 2
- 235000007201 Saccharum officinarum Nutrition 0.000 description 2
- 235000010086 Setaria viridis var. viridis Nutrition 0.000 description 2
- 229920002472 Starch Polymers 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 244000038559 crop plants Species 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000010926 purge Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 235000019698 starch Nutrition 0.000 description 2
- 239000008107 starch Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 235000002248 Setaria viridis Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000004459 forage Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009342 intercropping Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000006199 nebulizer Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 239000010908 plant waste Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/12—Details of combines
- A01D41/127—Control or measuring arrangements specially adapted for combines
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/12—Details of combines
- A01D41/127—Control or measuring arrangements specially adapted for combines
- A01D41/1278—Control or measuring arrangements specially adapted for combines for automatic steering
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B79/00—Methods for working soil
- A01B79/005—Precision agriculture
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
由农业作业机器获得一个或多个信息图。一个或多个信息图映射田地的不同地理位置处的一个或多个农业特性值。农业作业机器上的现场传感器在农业作业机器移动穿过田地时感测农业特性。预测图生成器基于一个或多个信息图中的值和由现场传感器感测的农业特性之间的关系,生成预测田地中的不同位置处的预测农业特性的预测图。预测图可以被输出并用于自动机器控制。
Description
相关申请的交叉引用
本申请是于2020年2月6日提交的美国专利申请序列号16/783475的以及于2020年2月6日提交的美国专利申请序列号16/783511的部分继续申请并要求它们的优先权,这些专利申请的内容通过引用整体结合于此。
技术领域
本说明书涉及农业机器、林业机器、建筑机器和草坪管理机器。
背景技术
存在各种各样不同类型的农业机器。一些农业机器包括收割机,诸如联合收割机、甘蔗收割机、棉花收割机、自走式饲料收割机和割晒机。一些收割机可以装配有不同类型的割台来收割不同类型的作物。
田地中的杂草块对收割操作有许多有害影响。例如,当收割机遇到田地中的杂草块时,杂草块可能会妨碍机器性能或使得收割机的性能劣化。因此,在收割操作期间,在遇到杂草块时,操作员可能试图修改收割机的控制。
以上讨论仅被提供为一般背景信息,并不旨在用于帮助确定所要求保护的主题的范围。
发明内容
由农业作业机器获得一个或多个信息图。一个或多个信息图映射田地的不同地理位置处的一个或多个农业特性值。农业作业机器上的现场传感器在农业作业机器移动穿过田地时感测农业特性。预测图生成器基于一个或多个信息图中的值和由现场传感器感测的农业特性之间的关系,生成预测田地中的不同位置处的预测农业特性的预测图。预测图可以被输出并用于自动机器控制。
提供本概述是为了以简化的形式介绍将在下面的详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的示例。
附图说明
图1是联合收割机的一个示例的局部示意图。
图2是根据本公开的一些示例更详细地示出农业收割机的一些部分的框图。
图3A至图3B(本文统称为图3)示出了图示农业收割机在生成图时的操作的示例的流程图。
图4是示出预测模型生成器和预测图生成器的一个示例的框图。
图5是示出农业收割机在接收植被指数图、检测杂草特性以及生成用于在收割操作期间控制农业收割机的功能预测杂草图中的操作示例的流程图。
图6A是示出预测模型生成器和预测图生成器的一个示例的框图。
图6B是示出现场传感器的框图。
图7示出了图示农业收割机的包括使用先验信息图和现场传感器输入生成功能预测图的操作的一个示例的流程图。
图8是示出控制区生成器的一个示例的框图。
图9是图示图8中示出的控制区生成器的操作的一个示例的流程图。
图10图示了示出控制系统在选择目标设置值以控制农业收割机时的操作示例的流程图。
图11是示出操作员界面控制器的一个示例的框图。
图12是图示操作员界面控制器的一个示例的流程图。
图13是示出操作员界面显示的一个示例的示意图。
图14是示出与远程服务器环境通信的农业收割机的一个示例的框图。
图15至图17示出了可以用于农业收割机的移动设备的示例。
图18是示出可以用于农业收割机的计算环境的一个示例的框图。
具体实施方式
为了促进对本公开的原理的理解,现在将参考附图中图示的示例,并且将使用特定的语言来描述这些示例。然而,应当理解的是,并不打算限制本公开的范围。对所描述的设备、系统、方法的任何更改和另外修改,以及本公开的原理的任何进一步应用都是完全可预期的,如本公开所涉及领域的技术人员通常会想到的那样。特别地,完全可以设想,针对一个示例描述的特征、部件和/或步骤可以与针对本公开的其他示例描述的特征、部件和/或步骤相结合。
本说明书涉及结合先验数据(先前数据)使用与农业操作同时获取的现场数据,来生成预测图,诸如预测杂草图。在一些示例中,预测图可以用于控制农业作业机器,诸如农业收割机。如上讨论的那样,当农业收割机接合杂草块时,可能使农业收割机的性能劣化。例如,如果田地中的作物已经成熟,田地里存在的杂草可能仍然是绿色的,因此增加了农业收割机遇到的生物量(生物质)的湿度含量。当田地中的杂草块潮湿时(如雨后不久或杂草块含有露水时)和杂草块有机会变干之前,这个问题可能会加剧。
基于许多不同的标准,农业收割机的性能可能会受到不利影响。例如,杂草块中的杂草的强度可能对农业收割机的操作具有有害影响。非限制性地,杂草强度可以包括区域内的某一位置处的杂草存在、杂草种群、杂草生长阶段、杂草生物量、杂草湿度、杂草密度、杂草的高度、杂草植株的尺寸、杂草的年龄或杂草的健康状况中的至少一个。杂草强度的量度可以是二进制值(诸如杂草存在或杂草不存在),或者是连续值(诸如在限定区域或体积中杂草的百分比),或者是一组离散值(诸如低、中或高杂草强度值)。类似地,农业收割机遇到的不同类型的杂草可能会不同地影响农业收割机。例如,不同类型的杂草可能包含不同的湿度水平,并且随着杂草的湿度水平增加,收割机性能方面的劣化也可能增加。类似地,不同的杂草类型可能具有不同的物理结构(例如,一些杂草可能具有更厚或更薄的茎、更宽的叶等)。当农业收割机与这种杂草接合时,杂草结构方面的这些变化也可能导致农业收割机的性能变化。
植被指数图示意性地映射了感兴趣的田地中的不同地理位置上的植被指数值(其可以指示植被生长)。植被指数的一个示例包括归一化差值植被指数(normalizeddifference vegetation index,NDVI)。还存在本公开的范围内的许多其他植被指数。在一些示例中,植被指数可以从由植株反射的一个或多个电磁辐射带的传感器读数中导出。非限制性地,这些带可以在电磁波谱的微波、红外线、可见光或紫外线部分中。
植被指数图可以用于标识植被的存在和位置。在一些示例中,这些图使得能够在裸土、作物残体或其他植株(包括作物或其他杂草)存在的情况下标识杂草并对其进行地理参考。例如,在生长季节结束时,当作物成熟时,作物植株可能会显示出减少水平的活的生长植被。然而,杂草通常在作物成熟后持续处于生长状态。因此,如果植被指数图是在生长季节中相对较晚生成,则植被指数图可以指示田地中的杂草的位置。然而,在某些情况下,植被指数图在标识杂草块中的杂草的强度或杂草块中的杂草的类型方面可能不太有用(或根本没用)。因此,在某些情况下,植被指数图在农业收割机移动穿过田地时预测如何控制农业收割机方面可能具有降低的有用性。
因此,本讨论针对这样的系统进行,即,这些系统接收田地的先验信息图或在先验操作(先前操作)期间生成的图,并且还使用现场传感器来检测指示收割操作期间的农业特性(诸如生物量)、机器速度或操作员命令输入中的一个或多个的变量。命令输入可以是用于控制农业收割机上设置的设置输入或其他控制输入,诸如转向输入、速度输入、割台高度输入和其他输入。该系统生成对先验信息图上的值和来自现场传感器的输出值之间的关系进行建模的模型。该模型用于生成功能预测图,该功能预测图预测例如田地中的不同位置处的生物量、机器速度或操作员命令输入。在收割操作期间生成的功能预测图可以呈现给操作员或其他用户,或者用于在收割操作期间自动控制农业收割机,或者进行两者。功能预测图可以用于控制进料速率、机器速度和命令输入中的一个或多个。
图1是自走式农业收割机100的局部示意图。在示出的示例中,农业收割机100是联合收割机。另外,尽管在整个本公开中提供了联合收割机作为示例,但是应当理解的是,本描述也适用于其他类型的收割机,诸如棉花收割机、甘蔗收割机、自走式牧草收割机、割晒机或其他农业作业机器。因此,本公开旨在涵括所描述的各种类型的收割机,并且因此不限于联合收割机。而且,本公开涉及其他类型的作业机器,诸如其中可应用预测图的生成的农业播种机和喷雾器、建筑装备、林业装备和草坪管理装备。因此,本公开旨在涵括这些各种类型的收割机和其他作业机器,并且因此不限于联合收割机。
如图1所示,农业收割机100示意性地包括操作室101,该操作员室可以具有用于控制农业收割机100的各种不同的操作员界面机构。农业收割机100包括前端装备,诸如割台102以及总体以104指示的切割器。在图示的示例中,切割器104被包括在割台102上。农业收割机100还包括喂料室106、进料加速器108和通常以110指示的脱粒机。喂料室106和进料加速器108形成材料处理子系统125的一部分。割台102沿着枢转轴线105枢转地耦接到农业收割机100的框架103上。一个或多个致动器107驱动割台102围绕轴线105在通常由箭头109指示的方向上移动。因此,割台102在地面111上方的竖直位置(割台高度)是可通过致动致动器107来控制,该割台102在该地面上方行进。尽管在图1中未示出,农业收割机100还可以包括一个或多个致动器,该一个或多个致动器操作以向割台102或割台102的部分施加倾斜角、滚动角或两者。倾斜是指切割器104与作物接合的角度。例如,通过控制割台102使切割器104的远侧边缘113指向更加朝向地面来增加倾斜角。通过控制割台102使切割器104的远侧边缘113指向更背离地面来减小倾斜角。滚动角指的是割台102围绕农业收割机100的前后纵向轴向的取向。
脱粒机110示意性地包括脱粒转子112和一组凹部114。另外,农业收割机100还包括分离器116。农业收割机100还包括清粮子系统或清粮室(统称为清粮子系统118),该清粮子系统包括清粮风扇120、谷壳筛122和筛网124。材料处理子系统125还包括卸料脱粒滚筒126、尾料升运器128、干净谷物升运器130以及卸载螺旋输送器134和喷口136。干净谷物升运器将干净的谷物移动到干净谷物槽132中。农业收割机100还包括残茬子系统138,该残茬子系统可以包括切碎机140和撒布机142。农业收割机100还包括推进子系统,该推进子系统包括驱动地面接合部件144(例如轮子或履带)的引擎。在一些示例中,本公开的范围内的联合收割机可以具有多于一个的以上提及的任何子系统。在一些示例中,农业收割机100可以具有左清粮子系统和右清粮子系统、分离器等,这些在图1中未示出。
在操作中,并且作为概述,农业收割机100示意性地在由箭头147指示的方向上移动穿过田地。在农业收割机100移动时,割台102(和相关联的拨禾轮164)接合待收割的作物,并朝向切割器104搜集作物。农业收割机100的操作员可以是本地人类操作员、远程人类操作员或自动化系统。操作员命令是操作员发出的命令。农业收割机100的操作员可以确定割台102的高度设置、倾斜角设置或滚动角设置中的一个或多个。例如,操作员向控制致动器107的控制系统输入一个或多个设置(下面将更详细地描述)。控制系统还可以接收来自操作员的、用于确立割台102的倾斜角和滚动角的设置,并且通过控制相关联的致动器(未示出)来实施输入的设置,该相关联的致动器操作用以改变割台102的倾斜角和滚动角。致动器107基于高度设置将割台102保持处于地面111上方的高度,并且在适用的情况下保持处于期望的倾斜和滚动角。高度、滚动和倾斜设置中的每一个都可以独立于其他设置来实施。控制系统以基于所选择的灵敏度水平确定的响应性来响应割台误差(例如,高度设置和割台104在地面111上方的测量高度之间的差异,以及在一些示例中倾斜角和滚动角误差)。如果灵敏度水平被设置处于较高的灵敏度水平,则控制系统响应较小的割台位置误差,并试图比灵敏度处于较低灵敏度水平的情况下更快地减少所检测的误差。
回到对农业收割机100的操作的描述,在作物被切割器104切割后,切断的作物材料通过喂料室106中的输送机朝向进料加速器108移动,该进料加速器加速作物材料进入脱粒机110。作物材料由转子112脱粒,该转子使作物抵靠凹部114旋转。脱粒后的作物材料由分离器116中的分离器转子移动,在该分离器中残茬中的一部分由卸料脱粒滚筒126朝向残茬子系统138移动。传送到残茬子系统138的该部分残茬由残茬切碎机140切碎,并由撒布机142撒布在田地上。在其他配置中,残茬从农业收割机100中释放成料堆。在其他示例中,残茬子系统138可以包括杂草种子排除器(未示出),诸如种子装袋机或其他种子收集器、或者种子破碎机或其他种子破坏器。
谷物落到清粮子系统118。谷壳筛122从谷物中分离较大的材料片中的一些,并且筛网124从干净的谷物中分离较细的材料片中的一些。干净谷物落到螺旋输送器上,该螺旋输送器将谷物移动到干净谷物升运器130的入口端,并且干净谷物升运器130将干净谷物向上移动,从而将干净谷物存放在干净谷物槽132中。残茬通过由清粮风扇120生成的气流从清粮子系统118中移除。清粮风扇120引导空气沿着气流路径向上穿过筛网和谷壳筛。气流将农业收割机100中的残茬向后朝向残茬处理子系统138运送。
尾料升运器128将尾料返回脱粒机110,在该脱粒机中尾料被重新脱粒。替代性地,尾料也可以通过尾料升运器或另一运输装置被传递到分离的再脱粒机构,在该再脱粒机构中尾料也被再脱粒。
图1还示出在一个示例中,农业收割机100包括机器速度传感器146、一个或多个分离器损失传感器148、干净谷物相机150、可以呈立体相机或单目相机的形式的前视图像捕获机构151以及设置在清粮子系统118中的一个或多个损失传感器152。
机器速度传感器146感测农业收割机100在地面上的行进速度。机器速度传感器146可以通过感测地面接合部件(诸如轮子或履带)、驱动轴、轴或其他部件的旋转速度来感测农业收割机100的行进速度。在一些情况下,可以使用定位系统来感测行进速度,诸如全球定位系统(global positioning system,GPS)、航位推算系统、远程导航(long rangenavigation,LORAN)系统或提供行进速度的指示的各种其他系统或传感器。
损失传感器152示意性地提供指示在清粮子系统118的右侧和左侧中出现的谷物损失量的输出信号。在一些示例中,传感器152是撞击传感器,这些撞击传感器对每单位时间或每单位行进的距离的谷物撞击进行计数,以提供在清粮子系统118处发生的谷物损失的指示。用于清粮子系统118的右侧和左侧的撞击传感器可以提供单独的信号或组合或聚集的信号。在一些示例中,传感器152可以包括单个传感器,而不是为每个清粮子系统118提供单独的传感器。
分离器损失传感器148提供指示左分离器和右分离器(在图1中未单独示出)中的谷物损失的信号。分离器损失传感器148可以与左分离器和右分离器相关联,并可提供分离的谷物损失信号或组合或聚集的信号。在某些情况下,感测分离器中的谷物损失也可以使用各种不同类型的传感器进行。
农业收割机100还可以包括其他传感器和测量机构。例如,农业收割机100可以包括以下传感器中的一个或多个:割台高度传感器,其感测割台102在地面111上方的高度;稳定性传感器,其感测农业收割机100的振动或跳动(和振幅);残茬设置传感器,其被配置成感测农业收割机100是否被配置成切碎残茬、产生料堆等;清粮室风扇速度传感器,用于感测风扇120速度;凹部间隙传感器,其感测转子112和凹部114之间的间隙;脱粒转子速度传感器,其感测转子112的转子速度;谷壳筛间隙传感器,其感测谷壳筛122中的开口的尺寸;筛网间隙传感器,其感测筛网124中的开口的尺寸;除谷物以外的材料(material otherthan grain,MOG)湿度传感器,其感测穿过农业收割机100的MOG的湿度水平;一个或多个机器设置传感器,其被配置为感测农业收割机100的各种可配置设置;机器取向传感器,其感测农业收割机100的取向;以及作物性质传感器,其感测各种不同类型的作物性质(诸如作物类型、作物湿度和其他作物性质)。作物性质传感器也可以被配置成在作物材料被农业收割机100处理时感测切断的作物材料的特性。例如,在一些情况下,作物性质传感器可以感测:谷物质量(诸如破碎谷物、MOG水平);谷物成分(诸如淀粉和蛋白质);以及在谷物行进穿过喂料室106、干净谷物升运器130或农业收割机100中的其他地方时的谷物进料速率。作物性质传感器还可以感测通过喂料室106、分离器116或农业收割机100中的其他地方的生物量的进料速率。作物性质传感器也可以感测通过升运器130或通过农业收割机100的其他部分的进料速率作为谷物质量流率,或者提供指示其他感测变量的其他输出信号。
在描述农业收割机100如何生成功能预测杂草图并使用该功能预测杂草图进行控制之前,将首先描述农业收割机100上的一些项目及其操作的简要描述。图2和图3的描述描述:接收一般类型的先验信息图,并将来自先验信息图的信息与由现场传感器生成的地理参考传感器信号相结合,其中传感器信号指示田地中的特性,诸如田地中存在的作物或杂草的特性。该田地的特性可以包括但不限于田地的特性(诸如坡度、杂草强度、杂草类型、土壤湿度、表面质量);作物性质的特性(诸如作物高度、作物湿度、作物密度、作物状态);谷物性质的特性(诸如谷物湿度、谷物尺寸、谷物测试重量);以及机器性能的特性(诸如损失水平、作业质量、燃料消耗和功率利用)。从现场传感器信号获得的特性值和先验信息图值之间的关系被标识,并且该关系被用于生成新的功能预测图。功能预测图预测田地中的不同地理位置处的值,并且这些值中的一个或多个可以用于控制机器,诸如农业收割机的一个或多个子系统。在一些情况下,功能预测图可以呈现给用户,诸如农业作业机器的操作员,该农业作业机器可以是农业收割机。功能预测图可以以视觉的方式(诸如通过显示器)、以触觉的方式或以听觉的方式呈现给用户。用户可以与功能预测图交互以执行编辑操作和其他用户界面操作。在一些情况下,功能预测图可以用于控制农业作业机器(诸如农业收割机)、呈现给操作员或其他用户、以及呈现给操作员或用户以供操作员或用户交互中的一个或多个。
在参照图2和图3描述了一般方法之后,参照图4和图5描述用于生成功能预测杂草图的更具体的方法,该功能预测杂草图可以呈现给操作员或用户、或者用于控制农业收割机100或者这两者。再次,尽管本讨论是针对农业收割机,并且特别是联合收割机进行的,但是本公开的范围涵括其他类型的农业收割机或其他农业作业机器。
图2是示出示例农业收割机100的一些部分的框图。图2示出了农业收割机100示意性地包括一个或多个处理器或服务器201、数据存储装置202、地理位置传感器204、通信系统206以及一个或多个现场传感器208,该一个或多个现场传感器在收割操作的同时感测田地的一个或多个农业特性。农业特性可以包括能够具有对收割操作的影响的任何特性。农业特性的一些示例包括收割机器、田地、田地上的植株和天气的特性。其他类型的农业特性也包括在内。现场传感器208生成对应于所感测的特性的值。农业收割机100还包括预测模型或关系生成器(以下统称为“预测模型生成器210”)、预测图生成器212、控制区生成器213、控制系统214、一个或多个可控子系统216以及操作员界面机构218。农业收割机100还可以包括多种其他农业收割机功能220。现场传感器208包括例如机载传感器222、远程传感器224和在农业操作的过程期间感测田地的特性的其他传感器226。预测模型生成器210示意性地包括先验信息变量到现场变量模型生成器228,并且预测模型生成器210可以包括其他项230。控制系统214包括通信系统控制器229、操作员界面控制器231、设置控制器232、路径规划控制器234、进料速率控制器236、割台和拨禾轮控制器238、带式输送器带控制器240、台面板位置控制器242、残茬系统控制器244、机器清粮控制器245、区控制器247,并且系统214可以包括其他项246。可控子系统216包括机器和割台致动器248、推进子系统250、转向子系统252、残茬子系统138、机器清粮子系统254,并且子系统216可以包括多种其他子系统256。
图2还示出农业收割机100可以接收先验信息图258。如下所述,先验信息图258包括例如植被指数图或来自先验操作的植被图或预测杂草图。然而,先验信息图258也可以涵括在收割操作之前获得的其他类型的数据或者来自先验操作的图。图2还示出了操作员260可以操作农业收割机100。操作员260与操作员界面机构218交互。在一些示例中,操作员界面机构218可以包括操纵杆、操纵杆、方向盘、连杆、踏板、按钮、转盘、小键盘、在用户界面显示设备上的用户可致动元件(诸如图标、按钮等)、麦克风和扬声器(其中提供语音识别和语音合成)以及各种其他类型的控制设备。在提供触敏显示系统的情况下,操作员260可以使用触摸手势与操作员界面机构218交互。上述这些示例是作为示意性示例提供的,并不旨在限制本公开的范围。因此,可以使用其他类型的操作员界面机构218,并且其他类型的操作员界面机构在本公开的范围内。
可以使用通信系统206或以其他方式将先验信息图258下载到农业收割机100上并将其存储在数据存储装置202中。在一些示例中,通信系统206可以是蜂窝通信系统、用于通过广域网或局域网进行通信的系统、用于通过近场通信网络进行通信的系统、或者被配置为通过各种其他网络中的任何一种或网络组合进行通信的通信系统。通信系统206还可以包括有助于将信息下载或传送到安全数字(secure digital,SD)卡或通用串行总线(universal serial bus,USB)卡或两者,并且从其下载或传送信息的系统。
地理位置传感器204示意性地感测或检测农业收割机100的地理位置或方位。地理位置传感器204可以包括但不限于从全球导航卫星系统(global navigation satellitesystem,GNSS)卫星发射器接收信号的GNSS接收器。地理位置传感器204还可以包括实时动态(real-time kinematic,RTK)部件,该部件被配置为提高从GNSS信号导出的位置数据的精度。地理位置传感器204可以包括航位推算系统、蜂窝三角测量系统或各种其他地理位置传感器中的任何一种。
现场传感器208可以是上面参照图1描述的传感器中的任何一个。现场传感器208包括安装在机载农业收割机100上的机载传感器222。这种传感器可以包括例如感知传感器(例如,前视单目或立体相机系统和图像处理系统)、农业收割机100内部的图像传感器(诸如安装成标识通过残茬子系统离开农业收割机100的或来自清粮子系统的杂草种子的一个或多个清粮谷物相机)。现场传感器208还包括捕获现场信息的远程现场传感器224。现场数据包括从装在收割机上的传感器获取的数据,或者由在收割操作期间检测到数据的任何传感器获取的数据。
预测模型生成器210生成指示由现场传感器208感测的值和由先验信息图258映射到田地的度量之间的关系的模型。例如,如果先验信息图258将植被指数值映射到田地中的不同位置,并且现场传感器208感测指示杂草强度的值,则先验信息变量到现场变量模型生成器228生成对植被指数值和杂草强度值之间的关系进行建模的预测杂草模型。预测杂草模型也可以基于来自先验信息图258的植被指数值和由现场传感器208生成的多个现场数据值来生成。然后,预测图生成器212使用由预测模型生成器210生成的预测杂草模型来生成功能预测杂草图,该功能预测杂草图基于先验信息图258来预测由现场传感器208在田地中的不同位置处感测的杂草性质(诸如强度)的值。在一些示例中,功能预测图263中的值的类型可以与由现场传感器208感测的现场数据类型相同。在一些情况下,功能预测图263中的值的类型可以具有与由现场传感器208感测的数据不同的单位。在一些示例中,功能预测图263中的值的类型可以与由现场传感器208感测的数据类型不同,但是与由现场传感器208感测的数据类型有关系。例如,在一些示例中,由现场传感器208感测的数据类型可以指示功能预测图263中的值的类型。在一些示例中,功能预测图263中的数据的类型可以不同于先验信息图258中的数据类型。在一些情况下,功能预测图263中的数据的类型可以具有与先验信息图258中的数据不同的单位。在一些示例中,功能预测图263中的数据的类型可以不同于先验信息图258中的数据类型,但是与先验信息图258中的数据类型有关系。例如,在一些示例中,先验信息图258中的数据类型可以指示功能预测图263中的数据的类型。在一些示例中,功能预测图263中的数据的类型不同于由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者。在一些示例中,功能预测图263中的数据的类型与由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者相同。在一些示例中,功能预测图263中的数据的类型与由现场传感器208感测的现场数据类型或先验信息图258中的数据类型中的一个相同,而不同于另一种。
继续前面的示例,其中先验信息图258是植被指数图,并且现场传感器208感测指示杂草强度的值,预测图生成器212可以使用先验信息图258中的植被指数值和由预测模型生成器210生成的模型,来生成预测田地中的不同位置处的杂草强度的功能预测图263。预测图生成器212因此输出预测图264。
如图2所示,预测图264基于先验信息图258中的在在田地上的各个位置处的先验信息值并使用预测模型,来预测这些位置处的所感测的特性(由现场传感器208感测)的值或者与所感测的特性相关的特性。例如,如果预测模型生成器210已经生成了指示植被指数值和杂草强度之间的关系的预测模型,那么,在给定田地上的不同位置处的植被指数值的情况下,预测图生成器212生成预测田地上的不同位置处的杂草强度值的预测图264。从植被指数图获得的、这些位置处的植被指数值以及从预测模型获得的植被指数值和杂草强度之间的关系被用于生成预测图264。
现在将描述在先验信息图258中映射的数据类型、由现场传感器208感测的数据类型以及在预测图264上预测的数据类型方面的一些变化。
在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,但是预测图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测产量图,该预测产量图将预测的产量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测图264然后可以是预测作物高度图,该预测作物高度图将预测的作物高度值映射到田地中的不同地理位置。
此外,在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,并且预测图264中的数据类型不同于先验信息图258中的数据类型和由现场传感器208感测的数据类型两者。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测图264然后可以是预测生物量图,该预测生物量图将预测的生物量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测速度图,该预测速度图将预测的收割机速度值映射到田地中的不同地理位置。
在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型不同于由现场传感器208感测的数据类型,但是预测图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在种植期间生成的种子种群图,并且由现场传感器208感测的变量可以是茎尺寸。预测图264然后可以是预测茎尺寸图,该预测茎尺寸图将预测的杆尺寸值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是播种混合图,并且由现场传感器208感测的变量可以是作物状态,诸如直立作物或倒伏作物。预测图264然后可以是预测作物状态图,该预测作物状态图将预测的作物状态值映射到田地中的不同地理位置。
在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型与由现场传感器208感测的数据类型相同,并且预测图264中的数据类型也与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在前一年期间生成的产量图,并且由现场传感器208感测的变量可以是产量。预测图264然后可以是预测产量图,该预测产量图将预测的产量值映射到田地中的不同地理位置。在这样的示例中,可以由预测模型生成器210使用来自先前一年的地理参考先验信息图258中的相对产量差异来生成对先验信息图258上的相对产量差异和当前收割操作期间由现场传感器208感测的产量值之间的关系进行建模的预测模型。预测模型然后被预测图生成器210用来生成预测产量图。
在另一示例中,先验信息图258可以是在先验操作期间生成的杂草强度图(诸如来自喷雾器),并且由现场传感器208感测的变量可以是杂草强度。预测图264然后可以是预测杂草强度图,该预测杂草强度图将预测的杂草强度值映射到田地中的不同地理位置。在这样的示例中,喷洒时杂草强度的图被以地理参考的方式记录并作为杂草强度的先验信息图258提供给农业收割机100。现场传感器208可以检测田地中的地理位置处的杂草强度,并且预测模型生成器210然后可以建立对收割时的杂草强度和喷洒时的杂草强度之间的关系进行建模的预测模型。这是因为喷雾器在喷洒时会影响杂草强度,但到收割时杂草仍可能在类似地区再次出现。然而,基于收割时间、天气、杂草类型等,收割时的杂草区域可能具有不同强度。
在一些示例中,预测图264可以被提供给控制区生成器213。控制区生成器213基于与那些相邻部分相关联的预测图264的数据值,将区域的相邻部分分组为一个或多个控制区。控制区可以包括区域(诸如田地)的两个或更多连续部分,对于该区域,对应于用于控制可控子系统的控制区的控制参数是恒定的。例如,更改可控子系统216的设置的响应时间可能不足以令人满意地响应于包含在诸如预测图264的图中的值方面的变化。在这种情况下,控制区生成器213解析图并标识具有限定的尺寸的控制区,以适应可控子系统216的响应时间。在另一示例中,控制区的尺寸可以被确定为减小由连续调节导致的过度致动器运动造成的磨损。在一些示例中,对于每个可控子系统216或可控子系统216群组,可以有不同的控制区组。控制区可以被添加到预测图264以获得预测控制区图265。预测控制区图265因此可以类似于预测图264,除了预测控制区图265包括限定控制区的控制区信息。因此,如本文所述,功能预测图263可以包括或不包括控制区。预测图264和预测控制区图265两者是功能预测图263。在一个示例中,功能预测图263不包括控制区,诸如预测图264。在另一示例中,功能预测图263确实包括控制区,诸如预测控制区图265。在一些示例中,如果实施间作生产系统,则田地中可能同时存在多种作物。在这种情况下,预测图生成器212和控制区生成器213能够标识两种或多种作物的位置和特性,并且然后相应地生成预测图264和具有控制区265的预测图。
还应当理解的是,控制区生成器213可以对值进行聚类以生成控制区,并且控制区可以被添加到预测控制区图265或单独的图中,从而仅示出所生成的控制区。在一些示例中,控制区可以用于控制或校准农业收割机100或两者。在其他示例中,控制区可以呈现给操作员260并用于控制或校准农业收割机100,并且在其他示例中,控制区可以呈现给操作员260或另一用户或被存储以供以后使用。
预测图264或预测控制区图265或两者被提供给控制系统214,该控制系统基于预测图264或预测控制区图265或两者生成控制信号。在一些示例中,通信系统控制器229控制通信系统206将预测图264或预测控制区图265或基于预测图264或预测控制区图265的控制信号通信传送给正在相同田地中收割的其他农业收割机。在一些示例中,通信系统控制器229控制通信系统206向其他远程系统发送预测图264、预测控制区图265或两者。
操作员界面控制器231可操作以生成控制信号来控制操作员界面机构218。操作员界面控制器231还可操作以向操作员260呈现预测图264或预测控制区图265或从预测图264、预测控制区图265或两者导出的或基于预测图264、预测控制区图265的其他信息。操作员260可以是本地操作员或远程操作员。作为示例,控制器231生成控制信号以控制显示机构为操作员260显示预测图264和预测控制区图265中的一个或两个。控制器231可以生成操作员可致动机构,该操作员可致动机构被示出并且可以由操作员致动以与所显示的图交互。操作员可以通过例如基于操作员的观察校正图上显示的杂草类型来编辑图。设置控制器232可以基于预测图264、预测控制区图265或两者生成控制信号以控制农业收割机100上的各种设置。例如,设置控制器232可以生成控制信号来控制机器和割台致动器248。响应于所生成的控制信号,机器和割台致动器248操作以控制例如筛网和谷壳筛设置、脱粒机间隙、转子设置、清粮风扇速度设置、割台高度、割台功能、拨禾轮速度、拨禾轮位置、带式输送器功能(其中农业收割机100耦接到带式输送器割台)、玉米割台功能、内部分配控制和影响农业收割机100的其他功能的其他致动器248中的一个或多个。路径规划控制器234示意性地生成控制信号以控制转向子系统252根据期望的路径使农业收割机100转向。路径规划控制器234可以控制路径规划系统来为农业收割机100生成路线,并且可以控制推进子系统250和转向子系统252来使农业收割机100沿着该路线转向。进料速率控制器236可以控制各种子系统(诸如推进子系统250和机器致动器248),以基于预测图264或预测控制区图265或两者来控制进料速率。例如,在农业收割机100接近强度值高于所选择的阈值的杂草块时,进料速率控制器236可以降低机器100的速度,以保持生物量通过机器的恒定进料速率。割台和拨禾轮控制器238可以生成控制信号来控制割台或拨禾轮或其他割台功能。带式输送器带控制器240可以基于预测图264、预测控制区图265或两者生成控制信号以控制带式输送器带或其他带式输送器功能。台面板位置控制器242可以基于预测图264或预测控制区图265或两者生成控制信号以控制包括在割台上的台面板的位置,并且残茬系统控制器244可以基于预测图264或预测控制区图265或两者生成控制信号以控制残茬子系统138。机器清粮控制器245可以生成控制信号来控制机器清粮子系统254。例如,基于穿过机器100的不同类型的种子或杂草,可以控制特定类型的机器清粮操作或执行清粮操作的频率。农业收割机100上包括的其他控制器也可以基于预测图264或预测控制区图265或两者来控制其他子系统。
图3A和图3B(本文统称为图3)示出了流程图,其图示农业收割机100在基于先验信息图258生成预测图264和预测控制区图265时的操作的一个示例。
在280,农业收割机100接收先验信息图258。关于框281、282、284和286讨论了先验信息图258或接收先验信息图258的示例。如上所讨论那样,如框282所示,先验信息图258将对应于第一特性的变量的值映射到田地中的不同位置。如框281所示,接收先验信息图258可以包括选择可用的多个可能的先验信息图中的一个或多个。例如,一个先验信息图可以是从航空图像生成的植被指数图。另一先验信息图可以是在先前通过田地期间生成的图,其可以由在田地中执行前一操作的不同机器(诸如喷雾器或其他机器)执行。选择一个或多个先验信息图的过程可以是手动的、半自动的或自动的。先验信息图258基于在当前收割操作之前收集的数据。这由框284指示。例如,数据可以基于前一年期间或当前生长季节早期或其他时间拍摄的航空图像来收集。数据可以是基于以不同于使用航空图像的方式检测的数据。例如,农业收割机100可以装配有传感器(诸如内部光学传感器),该传感器标识离开农业收割机100的杂草种子。由传感器在前一年收割期间检测的杂草种子数据可以用作用于生成先验信息图258的数据。所感测的杂草数据可以与其他数据相结合以生成先验信息图258。例如,基于在不同位置离开农业收割机100的杂草种子的数量以及基于其他因素(诸如种子是被撒布器撒布还是掉落成料堆、种子掉落或传播时的天气条件(诸如风)、可能使种子在田地里四处移动的排水条件、或其他信息),可以预测这些杂草种子的位置,使得先验信息图258映射田地中的预测的种子位置。先验信息图258的数据可以使用通信系统206传输到农业收割机100,并存储在数据存储装置202中。先验信息图258的数据也可以使用通信系统206以其他方式提供给农业收割机100,并且这由图3的流程图中的框286表示。在一些示例中,先验信息图258可以由通信系统206接收。
在收割操作开始时,现场传感器208生成指示一个或多个现场数据值的传感器信号,该一个或多个现场数据值指示特性,例如植株特性,诸如杂草特性,如框288所示。关于框222、290和226讨论了现场传感器288的示例。如上所解释那样,现场传感器208包括机载传感器222、远程现场传感器224(诸如每次飞行以搜集现场数据的基于UAV的传感器(如框290中示出))、或者由现场传感器226指定的其他类型的现场传感器。在一些示例中,使用来自地理位置传感器204的位置、航向或速度数据对来自机载传感器的数据进行地理参考。
预测模型生成器210控制先验信息变量到现场变量模型生成器228来生成对包含在先验信息图258中的映射值和由现场传感器208感测的现场值之间的关系进行建模的模型,如框292所示。由先验信息图258中的映射值和由现场传感器208感测的现场值表示的特性或数据类型可以是相同的特性或数据类型或者不同的特性或数据类型。
由预测模型生成器210生成的关系或模型被提供给预测图生成器212。预测图生成器212使用预测模型和先验信息图258来生成预测图264,其预测由现场传感器208感测的在正在被收割的田地中的不同地理位置处的特性、或者与由现场传感器208感测的特性相关的不同特性的值,如框294所示。
应当注意的是,在一些示例中,先验信息图258可以包括两个或更多个不同的图或者单个图的两个或更多个不同的图层。每个图层可以表示与另一图层的数据类型不同的数据类型,或者图层可以具有在不同时间获得的相同数据类型。两个或多个不同图中的每个图或图的两个或多个不同图层中的每个层将不同类型的变量映射到田地中的地理位置。在这样的示例中,预测模型生成器210生成对现场数据和由两个或多个不同图或两个或多个不同图层映射的不同变量中的每一个之间的关系进行建模的预测模型。类似地,现场传感器208可以包括两个或更多个传感器,每个传感器感测不同类型的变量。因此,预测模型生成器210生成对由先验信息图258映射的每种类型的变量和由现场传感器208感测的每种类型的变量之间的关系进行建模的预测模型。预测图生成器212可以使用预测模型和先验信息图258中的图或图层中的每一个来生成功能预测图263,该功能预测图预测由现场传感器208感测到的在正在被收割的田地中的不同位置处的每个感测的特性(或与感测的特性相关的特性)的值。
预测图生成器212配置预测图264,使得预测图264可由控制系统214操作(或消耗)。预测图生成器212可以将预测图264提供给控制系统214或提供给控制区生成器213或提供给两者。关于框296、295、299和297描述了可以配置或输出预测图264的不同方式的一些示例。例如,预测图生成器212配置预测图264,使得预测图264包括可以由控制系统214读取并且用作用于生成农业收割机100的不同可控子系统中的一个或多个的控制信号的基础的值,如框296所示。
控制区生成器213可以基于预测图264上的值将预测图264划分成控制区。在彼此的阈值内的连续地理定位的值可以被分组到控制区中。阈值可以是默认阈值,或者阈值可以基于操作员输入、基于来自自动化系统的输入或基于其他标准来设置。区的尺寸可以基于控制系统214、可控子系统216的响应性、基于磨损考虑、或者基于其他标准,如框295所示。预测图生成器212配置预测图264以便呈现给操作员或其他用户。控制区生成器213可以配置预测控制区图265以便呈现给操作员或其他用户。这由框299指示。当呈现给操作员或其他用户时,预测图264或预测控制区图265或两者的呈现可以包含预测图264上与地理位置相关的预测值、预测控制区图265上与地理位置相关的控制区、以及基于图264上的预测值或预测控制区图265上的区使用的设置值或控制参数中的一个或多个。在另一示例中,呈现可以包括更抽象的信息或更详细的信息。该呈现还可以包括置信水平,该置信水平指示预测图264上的预测值或预测控制区图265上的区符合在农业收割机100移动穿过田地时可以由农业收割机100上的传感器测量的测量值的精度。另外,在信息被呈现给多于一个的位置的情况下,可以提供认证和授权系统来实施认证和授权过程。例如,可能存在被授权查看和改变图和其他呈现信息的个人的层级。作为示例,机载显示设备可以在机器上近实时地本地显示图,或者图也可以在一个或多个远程位置处生成,或者两者均可。在一些示例中,每个位置处的每个物理显示设备可以与人或用户许可级别相关联。用户许可级别可以用于确定哪些显示标记在物理显示设备上是可见的,以及相对应的人可以改变哪些值。例如,机器100的本地操作员可能无法看到与预测图264相对应的信息或对机器操作进行任何改变。然而,诸如远程位置处的监管者的监管者可能能够在显示器上看到预测图264,但是被阻止进行任何改变。可能在分离的远程位置处的管理者可能能够看到预测图264上的所有元素,并且还能够改变预测图264。在一些情况下,预测图264可由位于远程的管理人员访问和改变,可以用于机器控制。这是可以实施的授权层级的一个示例。预测图264或预测控制区图265或两者也可以以其他方式配置,如框297所示。
在框298,由控制系统接收来自地理位置传感器204和其他现场传感器208的输入。特别地,在框300,控制系统214检测来自地理位置传感器204的标识农业收割机100的地理位置的输入。框302表示由控制系统214接收到指示农业收割机100的轨迹或航向的传感器输入,并且框304表示由控制系统214接收到农业收割机100的速度。框306表示由控制系统214从各种现场传感器208接收其他信息。
在框308,控制系统214基于预测图264或预测控制区图265或两者以及来自地理位置传感器204和任何其他现场传感器208的输入来生成控制信号以控制可控子系统216。在框310,控制系统214将控制信号应用于可控子系统。应当理解的是,被生成的特定控制信号和被控制的特定可控子系统216可以基于一个或多个不同的因素变化。例如,被生成的控制信号和被控制的可控子系统216可以基于正在使用的预测图264或预测控制区图265或两者的类型。类似地,被生成的控制信号、被控制的可控子系统216以及控制信号的定时可以基于通过农业收割机100的作物流的各种延迟和可控子系统216的响应性。
作为示例,呈预测杂草图的形式所生成的预测图264可以用于控制一个或多个子系统216。例如,预测杂草图可以包括地理参考正在被收割的田地内的位置的杂草强度值。可以提取来自预测杂草图的杂草强度值,并将其用于控制转向和推进子系统252和250。通过控制转向和推进子系统252和250,可以控制移动通过农业收割机100的材料的进料速率。类似地,可以控制割台高度以收取更多或更少的材料,并且因此,也可以控制割台高度以控制通过农业收割机100的材料的进料速率。在其他示例中,如果预测图264相对于田地中的位置映射杂草高度,则可以实施割台高度的控制。例如,如果存在于预测杂草图中的值指示一个或多个区域具有呈第一高度量的杂草高度,则割台和拨禾轮控制器238可以控制割台高度,使得在执行收割操作时割台在具有处于第一高度量的杂草的一个或多个区域内被定位在杂草的第一高度量上方。因此,可以使用预测杂草图中存在的地理参考值来控制割台和拨禾轮控制器238,以将割台定位到从预测杂草图获得的杂草的预测高度值以上的高度。另外,在农业收割机100使用从预测杂草图获得的地理参考值行进穿过田地前进时,割台高度可以由割台和拨禾轮控制器238自动改变。前面涉及使用预测杂草图的杂草高度和强度的示例仅作为示例提供。因此,可以使用从预测杂草图或其他类型的预测图获得的值来生成多种其他控制信号,以控制可控子系统216中的一个或多个。
在框312,确定收割操作是否已经完成。如果收割没有完成,则处理前进到框314,在框314中,继续读取来自地理位置传感器204和现场传感器208(以及可能地其他传感器)的现场传感器数据。
在一些示例中,在框316,农业收割机100还可以检测学习触发标准,以对预测图264、预测控制区图265、由预测模型生成器210生成的模型、由控制区生成器213生成的区、由控制系统214中的控制器实施的一个或多个控制算法以及其他触发学习中的一个或多个执行机器学习。
学习触发标准可以包括多种不同标准中的任何一种。关于框318、320、321、322和324讨论检测触发标准的一些示例。例如,在一些示例中,触发学习可以包括当从现场传感器208获得阈值量的现场传感器数据时,重新创建用于生成预测模型的关系。在这样的示例中,从现场传感器208接收到的超过阈值的现场传感器数据量触发或使得预测模型生成器210生成由预测图生成器212使用的新的预测模型。因此,在农业收割机100继续收割操作时,从现场传感器208接收到阈值量的现场传感器数据触发创建由预测模型生成器210生成的预测模型表示的新关系。进一步,可以使用新的预测模型来重新生成新的预测图264、预测控制区图265或两者。框318表示检测用于触发新预测模型的创建的阈值量的现场传感器数据。
在其他示例中,学习触发标准可以基于来自现场传感器208的现场传感器数据的变化程度,诸如随着时间或与先前值相比的变化程度。例如,如果现场传感器数据内的变化(或者现场传感器数据和先验信息图258中的信息之间的关系)在所选择的范围内、或者小于所定义的量、或者在阈值之下,则新的预测模型不由预测模型生成器210生成。结果,预测图生成器212不生成新的预测图264、预测控制区图265或两者。然而,例如,如果现场传感器数据内的变化在所选择的范围之外、大于所定义的量、或者在阈值之上,则预测模型生成器210使用预测图生成器212用以生成新的预测图264的新接收的现场传感器数据中的全部或部分来生成新的预测模型。在框320,现场传感器数据方面的变化(诸如数据超出所选择的范围的量的大小或现场传感器数据和先验信息图258中的信息之间的关系的变化的大小)可以被用作导致生成新的预测模型和预测图的触发。继续以上描述的示例,阈值、范围和所定义的量可以被设置为默认值、由操作员或用户通过用户界面的交互来设置、由自动化系统设置、或者以其他方式设置。
也可以使用其他学习触发标准。例如,如果预测模型生成器210切换到不同的先验信息图(不同于最初选择的先验信息图258),则切换到不同的先验信息图可以触发预测模型生成器210、预测图生成器212、控制区生成器213、控制系统214或其他项进行的重新学习。在另一示例中,农业收割机100到不同地形或到不同控制区的转换也可以用作学习触发标准。
在一些情况下,操作员260还可以编辑预测图264或预测控制区图265或两者。编辑可以改变预测图264上的值、改变预测控制区图265上的控制区的尺寸、形状、位置或存在、或者改变两者。框321示出所编辑的信息可以用作学习触发标准。
在某些情况下,操作员260也可能观察到可控子系统的自动控制不是操作员期望的。在这种情况下,操作员260可以向可控子系统提供手动调节,这反映了操作员260期望可控子系统以不同于由控制系统214命令的方式操作。因此,由操作员260对设置的手动更改可能导致以下中的一个或多个:基于操作员260的调整(如框322所示),预测模型生成器210重新学习模型、预测图生成器212重新生成图264、控制区生成器213重新生成预测控制区图265上的一个或多个控制区、以及控制系统214重新学习控制算法或对控制系统214中的控制器部件232至246中的一个或多个执行机器学习。框324表示使用其他触发学习标准。
在其他示例中,重新学习可以周期性地或间歇地执行,例如基于所选择的时间间隔,诸如离散时间间隔或可变时间间隔,如框326所示。
如果重新学习被触发(无论是基于学习触发标准还是基于时间间隔的流逝,如框326所示),则预测模型生成器210、预测图生成器212、控制区生成器213和控制系统214中的一个或多个执行机器学习,以基于学习触发标准分别生成新的预测模型、新的预测图、新的控制区和新的控制算法。新的预测模型、新的预测图和新的控制算法是使用自上次执行学习操作以来收集的任何附加数据生成的。执行重新学习由框328指示。
如果收割操作已经完成,操作从框312移动到框330,在框330中,存储由预测模型生成器210生成的预测图264、预测控制区图265和预测模型中的一个或多个。预测图264、预测控制区图265和预测模型可以本地存储在数据存储装置202上,或者使用通信系统206发送到远程系统供以后使用。
将注意到的是,虽然本文中的一些示例描述了预测模型生成器210和预测图生成器212分别在生成预测模型和功能预测图时接收先验信息图,但是在其他示例中,预测模型生成器210和预测图生成器212可以接收其他类型的图,包括预测图,诸如在收割操作期间生成的功能预测图。
图4是图1中示出的农业收割机100的一部分的框图。特别地,图4尤其更详细地示出了预测模型生成器210和预测图生成器212的示例。图4还图示了所示出的不同部件之间的信息流。预测模型生成器210接收植被指数图332作为先验信息图。预测模型生成器210还从地理位置传感器204接收地理位置334或地理位置的指示。现场传感器208示意性地包括杂草传感器(诸如杂草传感器336)以及处理系统338。在一些情况下,杂草传感器336可以位于农业收割机100上。处理系统338处理从机载杂草传感器336生成的传感器数据,以生成经处理的数据,其一些示例在下面描述。
在一些示例中,杂草传感器336可以是生成待收割的田地的区域的图像的光学传感器(诸如相机)。在一些情况下,光学传感器可以布置在农业收割机100上,以收集邻近农业收割机100的区域的图像,诸如在农业收割机100在收割操作期间移动通过田地时,位于农业收割机100的前面、侧面、后面或相对于农业收割机100的另一方向上的区域。光学传感器也可以位于农业收割机100上或内部,以获得农业收割机100外部或内部的一个或多个部分的图像。处理系统338处理通过杂草传感器336获得的一个或多个图像,以生成标识图像中的杂草的一个或多个特性的处理后的图像数据。由处理系统338检测的杂草特性可以包括图像中存在的杂草的位置、图像中的杂草块的强度或图像中的杂草的类型。
现场传感器208可以是或包括其他类型的传感器,诸如沿着被切断的作物材料在农业收割机100中行进的路径定位的相机(以下称为“过程相机”)。过程相机可以位于农业收割机100的内部,并且可以在作物材料移动通过农业收割机100或从农业收割机100排出时捕获作物材料(包括种子)的图像。过程相机可以获得种子的图像,并且图像处理系统338可操作来标识杂草种子的存在、检测到的杂草种子的量(诸如杂草种子的数量(以便给出在田地中遇到的杂草的密度的指示)),并且基于图像中标识的种子的类型来标识一个或多个杂草类型。因此,在一些示例中,处理系统338可操作以检测在穿过农业收割机100的切断的作物材料中杂草种子的存在、在切断的作物材料中存在的杂草种子的量(例如,切断的作物材料的每体积的量),以及与在收割操作的过程期间由农业收割机100遇到的所检测到的杂草种子对应的杂草类型。
在其他示例中,杂草传感器336可以依赖于任何(一个或多个)波长电磁能量以及电磁能量被杂草种子或生物量反射、吸收、衰减或透射通过杂草种子或生物量的方式。当切断的作物材料在两个电容板之间通过时,杂草传感器336可以感测杂草种子和生物量的其他电磁特性,诸如介电常数。杂草传感器336还可以依赖于种子和生物量的机器特性,诸如当杂草种子撞击压电片时或者当由麦克风或加速度计检测到由种子进行的撞击时生成的信号。也可以使用其他材料性质和传感器。在一些示例中,来自杂草传感器336的原始数据或经处理的数据可以经由操作员界面机构218呈现给操作员260。操作员260可以在农业收割机100上或在远程位置处。
本讨论针对杂草传感器336是图像传感器(诸如相机)的示例进行。应当理解的是,这仅仅是一个示例,并且作为杂草传感器336的其他示例,上面提及的传感器也在本文中被考虑。如图4所示,示例预测模型生成器210包括杂草存在到植被指数模型生成器342、杂草强度到植被指数模型生成器344和杂草类型到植被指数模型生成器346中的一个或多个。在其他示例中,相比于图4的示例中示出的那些部件,预测模型生成器210可以包括附加部件、更少的部件或不同的部件。因此,在一些示例中,预测模型生成器210也可以包括其他项348,这些项可以包括其他类型的预测模型生成器以生成其他类型的杂草特性模型。
模型生成器342标识在图像数据340中检测到的在对应于获得图像数据340的地理位置处的杂草存在和来自植被指数图332的对应于检测到杂草特性的田地中的相同位置的植被指数值之间的关系。基于由模型生成器342确立的这种关系,模型生成器342生成预测杂草模型。由杂草位置图生成器352使用预测杂草模型,以基于包含在田地中的相同位置处的植被指数图332中的地理参考植被指数值来预测田地中的不同位置处的杂草存在。
模型生成器344标识在经处理的图像数据340中表示的在对应于图像数据340的地理位置处的杂草强度水平和相同地理位置处的植被指数值之间的关系。同样,植被指数值是包含在植被指数图332中的地理参考值。模型生成器344然后生成预测杂草模型,杂草强度图生成器354使用该预测杂草模型以基于田地中的位置的植被指数值来预测该位置处的杂草强度。
模型生成器346标识在由经处理的图像数据340标识的在田地中的特定位置处的杂草类型和在相同位置处的来自植被指数图332的植被指数值之间的关系。模型生成器346生成预测杂草模型,杂草类型图生成器356使用该预测杂草模型以基于田地中的特定位置处的植被指数值来预测该位置处的杂草类型。
鉴于以上内容,预测模型生成器210可操作来生成多个预测杂草模型,诸如由模型生成器342、344和346生成的预测杂草模型中的一个或多个。在另一示例中,以上描述的预测杂草模型中的两个或多个可以组合成单个预测杂草模型,该单个预测杂草模型基于田地中的不同位置处的植被指数值来预测杂草位置、杂草强度和杂草类型中的两个或多个。这些杂草模型中的任何一个或其组合在图4中由杂草模型350统一表示。
预测杂草模型350被提供给预测图生成器212。在图4的示例中,预测图生成器212包括杂草位置图生成器352、杂草强度图生成器354和杂草类型图生成器356。在其他示例中,预测图生成器212可以包括附加的、更少的或不同的图生成器。因此,在一些示例中,预测图生成器212可以包括其他项358,该其他项358可以包括用以生成用于其他类型的杂草特性的杂草图其他类型的图生成器。杂草位置图生成器352接收基于植被指数值以及植被指数图332来预测杂草存在的预测杂草模型350,并生成预测杂草在田地中的不同位置处的存在的预测图。
图生成器354基于田地中的不同位置处的植被指数值和预测杂草模型350来生成预测田地中的那些位置处的杂草强度的预测图。杂草类型图生成器356示意性地基于田地中的不同位置处的植被指数值和预测杂草模型350生成预测田地中的那些位置处的杂草类型的预测杂草图。
预测图生成器212输出预测杂草位置、杂草强度或杂草类型中的一个或多个的一个或多个预测杂草图360。预测杂草图360中的每一个预测田地中的不同位置处的相应的杂草特性。所生成的预测杂草图360中的每一个可以被提供给控制区生成器213、控制系统214或两者。控制区生成器213生成控制区并将这些控制区合并到功能预测图(即预测图360)中,以产生预测控制区图265。预测图264和预测控制区图265中的一个或两个可被提供给控制系统214,该控制系统基于预测图264、预测控制区图265或两者生成控制信号以控制可控子系统216中的一个或多个。
图5是预测模型生成器210和预测图生成器212在生成预测杂草模型350和预测杂草图360时的操作的示例的流程图。在框362,预测模型生成器210和预测图生成器212接收先前的植被指数图332。在框364,处理系统338从杂草传感器336接收一个或多个图像。如上所讨论那样,杂草传感器336可以是相机,诸如前视相机366;观察联合收割机内部的光学传感器368,诸如相机;或者另一类型的机载杂草传感器370。
在框372,处理系统338处理一个或多个接收到的图像,以生成指示一个或多个图像中存在的杂草的特性的图像数据。在框374,图像数据可以指示可能存在于某个位置(诸如联合收割机前面的位置)的杂草位置、杂草强度或两者。在一些情况下,如框376所示,图像数据可以指示位于联合收割机内部或从联合收割机中排出的杂草种子。在一些情况下,如框380所示,图像数据可以指示杂草类型。因此,图像数据包括标识由联合收割机遇到的(一种或多种)杂草的类型的杂草类型指示器378。可以基于杂草植株的一个或多个图像、杂草种子的一个或多个图像、或者包含指示杂草类型的主题的一个或多个图像来确定杂草类型。图像数据也可以包括其他数据。
在框382,预测模型生成器210还获得对应于图像数据的地理位置。例如,预测模型生成器210可以从地理位置传感器204获得地理位置,并基于机器延迟、机器速度等来确定拍摄图像或从其中导出图像数据340的精确地理位置。
在框384,预测模型生成器210生成对从先验信息图(诸如先验信息图258)获得的植被指数值和由现场传感器208感测的杂草特性或相关特性之间的关系进行建模的一个或多个预测杂草模型,诸如杂草模型350。例如,预测模型生成器210可以生成对植被指数值和感测的特性之间的关系进行建模的预测杂草模型,该感测特性包括由从现场传感器208获得的图像数据指示的杂草位置、杂草强度或杂草类型。
在框386,预测杂草模型(诸如预测杂草模型350)被提供给预测图生成器212,该预测图生成器基于植被指数图和预测杂草模型350生成预测杂草图360,该预测杂草图映射预测的杂草特性。例如,在一些示例中,预测杂草图360预测杂草位置。在一些示例中,预测杂草图360预测杂草位置以及杂草强度值(如框388所示)。在一些示例中,预测杂草图360预测杂草位置和杂草类型(如框390所示),并且在其他示例中,预测图360预测其他项(如框392所示)。进一步,预测杂草图360可以在农业操作的过程期间生成。因此,在农业收割机移动通过田地以便执行农业操作时,在正在执行农业操作时生成预测杂草图360。
在框394,预测图生成器212输出预测杂草图360。在框391,预测杂草图生成器212输出预测杂草图,以便呈现给操作员260并由操作员260进行可能的交互。在框393,预测图生成器212可以配置图以便由控制系统214使用(consumption)。在框395,预测图生成器212还可以向控制区生成器213提供图360,以便生成控制区。在框397,预测图生成器212还以其他方式配置图360。预测杂草图360(具有或没有控制区)被提供给控制系统214。在框396,控制系统214基于预测杂草图360生成控制信号以控制可控子系统216。
图6A是图1中示出的农业收割机100的示例部分的框图。特别地,图6A尤其示出了预测模型生成器210和预测图生成器212的示例。在图示的示例中,信息图是植被指数图332、预测杂草图360或先验操作图400中的一个或多个。先验操作图400可以包括指示田地中的不同位置处的杂草强度或杂草类型的植被值(诸如植被指数值或其他植被值)。植被值可以是在先验操作(诸如由喷雾器进行的先验操作)期间收集的植被值。
而且,在图6A中示出的示例中,现场传感器208可以包括生物量传感器402、机器速度传感器146、操作员输入传感器404和处理系统406中的一个或多个。现场传感器208还可以包括其他传感器408。
生物量传感器402感测指示由农业收割机100正在处理的材料的生物量的变量。在一些示例中,生物量传感器402可以是光学传感器410,诸如以上讨论的光学传感器或相机中的一者。在一些示例中,生物量传感器402可以是转子压力传感器412或另一传感器414。转子压力传感器412可以感测脱粒转子112的转子驱动压力。脱粒转子112的转子驱动压力指示由转子112施加在正在由农业收割机100处理的材料上的扭矩。随着由农业收割机100正在处理的材料的生物量增加,转子驱动压力也增加。因此,通过感测转子驱动压力,可以获得正在被处理的材料的生物量的指示。湿度传感器403感测指示由农业收割机100处理或靠近农业收割机100的材料的湿度的变量。湿度传感器403可以感测农业收割机100中的材料或靠近农业收割机100的材料。湿度传感器403可以包括电容传感器、电阻传感器或可以测量材料湿度的其他传感器。在一些示例中,湿度传感器403感测植株上的湿度量,例如露水或降水。上文关于图1讨论了机器速度传感器146的一个示例。机器速度传感器146感测农业收割机100的行进速度(例如,地面速度)或指示农业收割机100行进速度的变量。
操作员输入传感器404示意性地感测各种操作员输入。输入可以是用于控制农业收割机100上的设置的设置输入或其他控制输入,诸如转向输入和其他输入。因此,当操作员260通过操作员界面机构218改变设置或提供命令输入时,这种输入由操作员输入传感器404检测,该操作员输入传感器提供指示所感测的操作员输入的传感器信号。处理系统406可从生物量传感器402或操作员输入传感器404或两者接收传感器信号,并生成指示所感测的变量的输出。例如,处理系统406可以从光学传感器410或转子压力传感器412接收传感器输入,并生成指示生物量的输出。处理系统406还可以接收来自操作员输入传感器404的输入,并生成指示所感测的操作员输入的输出。
预测模型生成器210可以包括杂草特性到生物量模型生成器416、杂草特性到湿度模型生成器417、杂草特性到速度模型生成器420和杂草特性到操作员命令模型生成器422。在其他示例中,预测模型生成器210可以包括附加的、更少的或其他模型生成器434。预测模型生成器210可以从地理位置传感器204接收地理位置指示符334,并生成对信息图中的一个或多个中的信息与以下项目中一个或多个之间的关系进行建模的预测模型422,所述项目包括:由生物量传感器402感测的生物量、由机器速度传感器146感测的机器速度、和由操作员输入传感器404感测的操作员输入命令。例如,杂草特性到生物量模型生成器416生成杂草特性值(其可以在植被指数图332、预测杂草图360或先验操作图400上)和由生物量传感器402感测的生物量值之间的关系。杂草特性到湿度模型生成器417示意性地生成表示杂草特性和由湿度传感器403感测的指示田地中的植株中或植株上的湿度的变量之间的关系的模型。杂草特性到速度模型生成器420示意性地生成表示杂草特性和行进速度或指示由机器速度传感器146感测的行进速度的变量之间的关系的模型。杂草特性到操作员命令模型生成器422生成对反映在植被指数图332、预测杂草图360、先验操作图400或它们的任意组合上的杂草特性和由操作员输入传感器404感测的操作员输入命令之间的关系进行建模的模型。由预测模型生成器210生成的预测模型426可以包括可以由杂草特性到生物量模型生成器416、杂草特性到速度模型生成器420、杂草特性到操作员命令模型生成器422以及可以作为其他项424的一部分包括的其他模型生成器生成的预测模型中的一个或多个。
在图6A的示例中,预测图生成器212包括预测生物量图生成器428、预测湿度图生成器429、预测机器速度图生成器430和预测操作员命令图生成器432。在其他示例中,预测图生成器212可以包括附加的、更少的或其他图生成器434。预测生物量图生成器428接收对杂草特性和生物量之间的关系进行建模的预测模型426(诸如由杂草特性到生物量模型生成器416生成的预测模型)和信息图中的一个或多个。预测生物量图生成器428基于田地里中的不同位置处的信息图中的一个或多个中的杂草特性中的一个或多个并基于预测模型426生成预测田地中的那些位置处的生物量的功能预测生物量图436。
预测湿度图生成器429接收对杂草特性和材料湿度之间的关系进行建模的预测模型426(诸如由杂草特性到湿度模型生成器417生成的预测模型),并基于田地中的不同位置处的植被指数图332中的植被指数值、或预测杂草图360中的预测杂草强度值、或先验操作图400中的植被值和预测模型426生成预测田地中的那些位置处的材料湿度的功能预测湿度图437。材料湿度(尤其是杂草植株湿度)可能导致可食用谷物上的种子染色。因此,为了避免种子染色,例如,预测湿度图437可以用于避免田地的潮湿区域,直到该区域中存在的露水蒸发。
预测机器速度图生成器430接收对杂草特性和机器速度之间的关系进行建模的预测模型426(诸如由杂草特性到速度模型生成器420生成的预测模型),并基于田地中的不同位置处的植被指数图332中的植被指数值、或预测杂草图360中的预测杂草强度值、或先验操作图400中的植被值和预测模型426生成预测田地中的那些位置处的期望机器速度的功能预测机器速度图438。
预测操作员命令图生成器432接收对杂草特性和由操作员输入传感器404检测的操作员命令输入之间的关系进行建模的预测模型426(诸如由杂草特性到命令模型生成器422生成的预测模型),并基于来自植被指数图432的植被指数值、来自功能预测杂草图360的杂草强度或杂草类型值、或者来自先验操作图400的植被值和预测模型426生成预测田地中的不同位置处的操作员命令输入的功能预测操作员命令图440。
预测图生成器212输出功能预测图436、437、438和440中的一个或多个。功能预测图436、437、438和440中的每一个可以被提供给控制区生成器213、控制系统214或两者。控制区生成器213生成控制区,以提供与由控制区生成器213接收的每个图436、437、438和440相对应的预测控制区图265。功能预测图436、437、438或440中的任何一个或全部以及相对应的图265可以被提供给控制系统214,该控制系统基于功能预测图436、437、438和430中的一个或全部或者包括控制区的相对应的图265生成控制信号以控制可控子系统216中的一个或多个。图436、437、438或440或相对应的图265中的任何一个或全部可以呈现给操作员260或另一用户。
图6B是示出实时(现场)传感器208的一些示例的框图。图6B中示出的传感器中的一些或它们的不同组合可以同时具有传感器336和处理系统338。图6B中示出的可能的现场传感器208中的一些相对于前面的图被示出和描述,并且被类似地编号。图6B示出了现场传感器208可以包括操作员输入传感器980、机器传感器982、收割材料性质传感器984、田地和土壤性质传感器985、环境特性传感器987,并且它们可以包括各种各样的其他传感器226。非机器传感器983包括(一个或多个)操作员输入传感器980、(一个或多个)收割材料性质传感器984、(一个或多个)田地和土壤性质传感器985、(一个或多个)环境特性传感器987,并且还可以包括其他传感器226。操作员输入传感器980可以是通过操作员界面机构218感测操作员输入的传感器。因此,操作员输入传感器980可以感测连杆、操纵杆、方向盘、按钮、转盘或踏板的用户移动。操作员输入传感器980还可以感测用户与其他操作员输入结构的交互,诸如与触敏屏幕、与利用语音识别的麦克风或各种其他操作员输入机构中的任何一种的交互。
机器传感器982可以感测农业收割机100的不同特性。例如,如上所时论那样,机器传感器982可以包括机器速度传感器146、分离器损失传感器148、干净谷物相机150、前视图像捕获机构151、损失传感器152或地理位置传感器204,其示例在上文中描述。机器传感器982还可以包括感测机器设置的机器设置传感器991。以上参照图1描述了机器设置的一些示例。前端设备(例如,割台)位置传感器993可以感测割台102、拨禾轮164、切割器104或其他前端装备相对于农业收割机100的框架的位置。例如,传感器993可以感测割台102在地面上方的高度。机器传感器982还可以包括前端装备(例如,割台)取向传感器995。传感器995可以感测割台102相对于农业收割机100或相对于地面的取向。机器传感器982可以包括稳定性传感器997。稳定性传感器997感测农业收割机100的振动或弹跳运动(和幅值)。机器传感器982还可以包括被配置成感测农业收割机100是否被配置成切碎残茬、产生料堆或以另一方式处理残茬的残茬设置传感器999。机器传感器982可以包括感测清粮风扇120的速度的清粮室风扇速度传感器951。机器传感器982可以包括感测农业收割机100上的转子112和凹部114之间的间隙的凹部间隙传感器953。机器传感器982可以包括感测谷壳筛122中的开口的尺寸的谷壳筛间隙传感器955。机器传感器982可以包括感测转子112的转子速度的脱粒转子速度传感器957。机器传感器982可以包括感测用于驱动转子112的压力的转子压力传感器959。机器传感器982可以包括感测筛网124中开口的尺寸的筛网间隙传感器961。机器传感器982可以包括感测穿过农业收割机100的MOG的湿度水平的MOG湿度传感器963。机器传感器982可以包括感测农业收割机100的取向的机器取向传感器965。机器传感器982可以包括感测材料行进通过喂料室106、干净谷物升运器130或农业收割机100中的其他地方时的材料的进料速率的材料进料速率传感器967。机器传感器982可以包括感测行进通过喂料室106、分离器116或农业收割机100中的其他地方的生物量的生物量传感器969。机器传感器982可以包括感测农业收割机100的随时间的燃料消耗速率的燃料消耗传感器971。机器传感器982可以包括感测农业收割机100中的功率利用(诸如哪些子系统正在利用功率)、或者子系统正在利用功率的速率、或者农业收割机100中的子系统之间的功率分配的功率利用传感器973。机器传感器982可以包括感测农业收割机100的轮胎144中的充气压力的轮胎压力传感器977。机器传感器982可以包括各种各样的其他机器性能传感器或机器特性传感器(如框975所示)。机器性能传感器和机器特性传感器975可以感测农业收割机100的机器性能或特性。
在作物材料正在被农业收割机100处理时,收割材料性质传感器984可以感测切断的作物材料的特性。作物性质可能包括诸如作物类型、作物湿度、谷物质量(如碎谷物)、MOG水平、谷物成分(诸如淀粉和蛋白质)、MOG湿度和其他作物材料性质的东西。其他传感器可以感测秸秆“韧性”、玉米与穗的粘附性以及可以有益地用于控制处理以获得更好的谷物捕获、减少的谷物损坏、降低的功耗、减少的谷物损失等的其他特性。
田地和土壤性质传感器985可以感测田地和土壤的特性。田地和土壤性质可能包括土壤湿度、土壤密实度、积水的存在和位置、土壤类型以及其他土壤和田地特性。
环境特性传感器987可以感测一个或多个环境特性。环境特性可以包括诸如风向和风速、降水、雾、灰尘水平或其他模糊物或其他环境特性的东西。
在一些示例中,图6B中示出的传感器中的一个或多个被处理以接收经处理的数据409,并被用作模型生成器210的输入。模型生成器210生成指示传感器数据和先验信息图或预测信息图中的一个或多个之间关系的模型。该模型被提供给图生成器212,该图生成器生成映射对应于来自图6B的传感器的预测传感器数据值或相关特性的图。
图7示出了图示预测模型生成器210和预测图生成器212在生成一个或多个预测模型426和一个或多个功能预测图436、437、438和440时的操作的一个示例的流程图。在框442,预测模型生成器210和预测图生成器212接收信息图。信息图可以是植被指数图332、预测杂草图360、使用在田地中的先验操作期间获得的数据创建的先验操作图400。在框444,预测模型生成器210从现场传感器208接收包含传感器数据的传感器信号。现场传感器可以是生物量传感器402(其可以是光学传感器410或转子压力传感器412)、机器速度传感器146或另一传感器414中的一个或多个。框446指示由预测模型生成器210接收的传感器信号包括指示生物量的类型的数据。框448指示传感器信号数据可以指示农业收割机100的速度。框450指示由预测图生成器210接收的传感器信号可以是具有指示操作员命令输入的类型的数据的、由操作员输入传感器404感测的传感器信号。预测模型生成器210也可以接收其他现场传感器输入(如框452所示)。
在框454,处理系统406处理包含在从一个或多个现场传感器208接收的一个或多个传感器信号中的数据,以获得经处理的数据409,如图6A所示。包含在一个或多个传感器信号中的数据可以呈原始格式,该格式被处理以接收经处理的数据409。例如,温度传感器信号包括电阻数据,这个电阻数据可以被处理成温度数据。在其他示例中,处理可以包括数字化、编码、格式化、缩放、过滤或分类数据。经处理的数据409可以指示生物量、机器速度或操作员输入命令中的一者或多者。经处理的数据409被提供给预测模型生成器210。
回到图7,在框456,预测模型生成器210还从地理位置传感器204接收地理位置334,如图6A所示。地理位置334可以与由现场传感器208感测的所感测的变量从其获取的地理位置关联。例如,预测模型生成器210可以从地理位置传感器204获得地理位置334,并且基于机器延迟、机器速度等来确定从其中导出经处理的数据409的精确的地理位置。
在框458,预测模型生成器210生成对信息图中的映射值和经处理的数据409中表示的特性之间的关系进行建模的一个或多个预测模型426。例如,在一些情况下,信息图中的映射值可以是杂草特性,其可以是植被指数图332中的植被指数值、功能预测杂草图360中的杂草强度值、或先验操作图400的植被值中的一个或多个;并且预测模型生成器210使用信息图的映射值和由现场传感器208感测的特性(如经处理的数据490中所表示的)或相关特性(诸如与由现场传感器208感测的特性相关的特性)来生成预测模型。
例如,在框460,预测模型生成器210可以生成对从一个或多个信息图获得的植被指数、杂草强度或植被值与由现场传感器获得的生物量数据之间的关系进行建模的预测模型426。在另一示例中,在框462,预测模型生成器210可以生成对从一个或多个信息图获得的植被指数值、杂草强度或植被值与从现场传感器获得的农业收割机100的速度之间的关系进行建模的预测模型426。在又一示例中,在框464,杂草特性到操作员命令模型生成器422生成对杂草特性和操作员命令输入之间的关系进行建模的预测模型426。
一个或多个预测模型426被提供给预测图生成器212。在框466,预测图生成器212生成一个或多个功能预测图。功能预测图可以是功能预测生物量图436、功能预测湿度图437、功能预测机器速度图438、功能预测操作员命令图440或这些图的任意组合。功能预测生物量图436预测由农业收割机100将在田地中的不同位置处遇到的生物量。功能预测湿度图437预测由农业收割机100在田地中的不同位置处预期遇到的材料湿度。功能预测机器速度图438预测农业收割机100在田地中的不同位置处期望的机器速度,并且功能预测操作员命令图440可能预测田地中的不同位置处的操作员命令输入。此外,功能预测图436、437、438和440中的一个或多个可以在农业操作的过程期间生成。因此,在农业收割机100移动通过田地从而执行农业操作时,一个或多个预测图436、437、438和440随着执行农业操作而生成。
在框468,预测图生成器212输出一个或多个功能预测图436、437、438和440。在框470,预测图生成器212可以配置图,以便呈现给操作员260或另一用户,并由操作员260或另一用户进行可能的交互。在框472,预测图生成器212可以配置图以便由控制系统214使用。在框474,预测图生成器212可以向控制区生成器213提供一个或多个预测图436、437、438和440以便生成控制区。在框476,预测图生成器212以其他方式配置一个或多个预测图436、437、438和440。在示例中(其中一个或多个功能预测图436、437、438和440被提供给控制区生成器213),一个或多个功能预测图436、437、438和440以及其包括的控制区(由相对应的图265表示,如上所述)可以被呈现给操作员260或另一用户,或者也被提供给控制系统214。
在框478,控制系统214然后基于一个或多个功能预测图436、437、438和440(或具有控制区的功能预测图436、437、438和440)以及来自地理位置传感器204的输入,生成控制信号以控制可控子系统。例如,当功能预测生物量图436或包含控制区的功能预测生物量图436被提供给控制系统214时,作为响应,进料速率控制器236生成控制信号来控制可控子系统216,以便基于预测的生物量水平来控制通过农业收割机100的材料的进料速率。这由框480指示。
框482示出了这样的示例,其中控制系统214接收功能预测机器速度图438或添加有控制区的功能预测机器速度图438。作为响应,设置控制器232控制推进子系统250(在图2中示出为可控子系统216之一),以基于功能预测机器速度图438或包含控制区的功能预测机器速度图438中的预测速度值来控制农业收割机100的速度。
框484示出了这样的示例,其中功能预测操作员命令图440被提供给控制系统214。作为响应,设置控制器232生成控制信号,以控制可控子系统216基于功能预测操作员命令图440或包含控制区的功能预测操作员命令图440中的操作员命令值自动生成命令输入,或者向操作员260推荐命令输入。
图8示出了图示控制区生成器213的一个示例的框图。控制区生成器213包括作业机器致动器(work machine actuator,WMA)选择器486、控制区生成系统488和动态(regime)区生成系统490。控制区生成器213还可以包括其他项492。控制区生成系统488包括控制区标准标识符部件494、控制区边界定义部件496、目标设置标识符部件498和其他项520。动态区生成系统490包括动态区标准标识部件522、动态区边界定义部件524、设置解析器标识符部件526和其他项528。在更详细地描述控制区生成器213的整体操作之前,将首先提供控制区生成器213中的项中的一些及其相应操作的简要描述。
农业收割机100或其他作业机器可以具有执行不同功能的多种不同类型的可控致动器。农业收割机100或其他作业机器上的可控致动器统称为作业机器致动器(WMA)。每个WMA可以基于功能预测图上的值被独立地控制,或者WMA可以基于功能预测图上的一个或多个值成组地进行控制。因此,控制区生成器213可以生成对应于每个单独可控的WMA的、或者对应于相互协调控制的WMA组的控制区。
WMA选择器486选择要为其生成相对应的控制区的WMA或WMA组。控制区生成系统488然后为所选择的WMA或WMA组生成控制区。对于每个WMA或WMA组,在标识控制区时可以使用不同的标准。例如,对于一个WMA,WMA响应时间可以用作用于定义控制区的边界的标准。在另一示例中,磨损特性(例如,特定致动器或机构由于其运动而磨损的程度)可以用作用于标识控制区的边界的标准。控制区标准标识符部件494标识将用于为所选择的WMA或WMA组定义控制区的特定标准。控制区边界定义部件496处理分析中的功能预测图上的值,以基于分析中的功能预测图上的值并基于所选择的WMA或WMA组的控制区标准来定义该功能预测图上的控制区的边界。
目标设置标识符部件498设置目标设置的值,该值将被用于控制不同控制区中的WMA或WMA组。例如,如果所选择的WMA是推进系统250,并且分析中的功能预测图是功能预测速度图438,则每个控制区中的目标设置可以是基于所标识的控制区内的功能预测速度图238中包含的速度值的目标速度设置。
在一些示例中,在基于农业收割机100的当前或未来位置来控制农业收割机100的情况下,对于给定位置处的WMA,多个目标设置是可能的。在这种情况下,目标设置可能具有不同的值,并且可能相互竞争。因此,需要解析目标设置,使得仅使用单个目标设置来控制WMA。例如,在WMA是在推进系统250中被控制以便控制农业收割机100的速度的致动器的情况下,可能存在多个不同的竞争的标准组,所述多个不同的竞争的标准组由控制区生成系统488在标识控制区和控制区中所选择的WMA的目标设置时考虑。例如,用于控制机器速度的不同目标设置可以基于例如所检测的或所预测的进料速率值、所检测的燃料效率值或预测燃料效率值、所检测的或预测的谷物损失值或这些值的组合来生成。然而,在任何给定时间,农业收割机100不能同时以多种速度在地面上行进。相反,在任何给定时间,农业收割机100以单个速度行进。因此,选择竞争目标设置中的一个来控制农业收割机100的速度。
因此,在一些示例中,动态区生成系统490生成动态区以解析多个不同的竞争目标设置。动态区标准标识部件522标识用于为分析中的功能预测图上的所选择的WMA或WMA组确立动态区的标准。可以用于标识或定义动态区的一些标准包括例如基于种植图的作物类型或作物种类、或作物类型或作物种类的另一来源、杂草类型、杂草强度、或作物状态(诸如作物是倒伏的、部分倒伏的还是直立的)。正如每个WMA或WMA组可能具有相对应的控制区,不同的WMA或WMA组可能具有相对应的动态区。动态区边界定义部件524基于由动态区标准标识部件522标识的动态区标准来标识分析中的功能预测图上的动态区的边界。
在一些示例中,动态区可能彼此重叠。例如,作物种类动态区可能与作物状态动态区的一部分或全部重叠。在这样的示例中,不同的动态区可以被分配给优先层级,使得在两个或更多动态区重叠的情况下,被分配有在优先层级中较高层级位置或重要性的动态区优先于具有在优先层级中较低层级位置或重要性的动态区。动态区的优先层级可以手动设置,或者可以使用基于规则的系统、基于模型的系统或其他系统自动设置。作为一个示例,在倒伏作物动态区与作物种类动态区重叠的情况下,倒伏作物动态区相比于作物种类动态区可以被分配优先层级中的更大的重要性,使得倒伏作物动态区优先。
此外,对于给定的WMA或WMA组,每个动态区可能具有唯一的设置解析器。设置解析器标识符部件526在为分析中的功能预测图上标识的每个动态区标识特定的设置解析器,并为所选择的WMA或WMA组标识特定的设置解析器。
一旦标识了特定动态区的设置解析器,该设置解析器可以用于解析竞争目标设置,在该竞争目标设置中基于控制区标识多于一个的目标设置。不同类型的设置解析器可以具有不同的形式。例如,为每个动态区标识的设置解析器可以包括人类选择解析器,在人类选择解析器中该竞争目标设置被呈现给操作员或其他用户以便进行解析。在另一示例中,设置解析器可以包括神经网络或其他人工智能或机器学习系统。在这种情况下,设置解析器可以基于对应于不同目标设置中的每一个的预测的质量度量或历史质量度量来解析竞争目标设置。作为示例,增加的车辆速度设置可减少收割田地的时间,并减少相对应的基于时间的劳动力和装备成本,但可能增加谷物损失。降低的车辆速度设置可能增加收割田地的时间,并增加相对应的基于时间的劳动力和装备成本,但可以减少谷物损失。当谷物损失或收割时间被选择作为质量度量时,在给定两个竞争的车辆速度设置值的情况下,所选择的质量度量的预测的值或历史值可以被用于解析速度设置。在某些情况下,设置解析器可以是一组阈值规则,组阈值规则可以用来替代或补充动态区。阈值规则的示例可以表达如下:
如果农业收割机100的割台20英尺内的预测的生物量值大于x千克(其中x是所选择的值或预定的值),则使用基于进料速率而不是其他竞争目标设置选择的目标设置值,否则使用基于谷物损失而不是其他竞争目标设置值的目标设置值。
设置解析器可以是在标识目标设置时执行逻辑规则的逻辑部件。例如,设置解析器可以解析目标设置,同时尝试最小化收割时间或最小化总收割成本或最大化收割谷物,或者基于作为不同候选目标设置的函数计算的其他变量。当完成收割的量被减少到所选择的阈值或在所选择的阈值之下时,收割时间可以被最小化。当总收割成本被降低到所选择的阈值或在所选择的阈值之下的情况下,总收割成本可以被最小化。在收割的谷物的量增加到所选择的阈值或在所选择的阈值之上的情况下,收割的谷物可以最大化。
图9是示出控制区生成器213在为控制区生成器213接收用于区处理的图(例如,为分析中的图)生成控制区和动态区时的操作的一个示例的流程图。
在框530,控制区生成器213接收分析中的图以便进行处理。在一个示例中,如框532所示,分析中的图是功能预测图。例如,分析中的图可以是功能预测图436、437、438或440中的一个。框534指示分析中的图也可以是其他图。
在框536,WMA选择器486选择要在分析中的图上为其生成控制区的WMA或WMA组。在框538,控制区标准标识部件494获得所选择的WMA或WMA组的控制区定义标准。框540指示这样示例,在该示例中控制区标准是或包括所选择的WMA或WMA组的磨损特性。框542指示这样的示例,在该示例中控制区定义标准是或包括输入源数据的幅值和变化,诸如分析中的图上的值的幅值和变化或来自各种现场传感器208的输入的幅值和变化。框544指示这样的示例,在该示例中控制区定义标准是或包括物理机器特性,诸如机器的物理尺寸、不同子系统操作的速度或其他物理机器特性。框546指示这样的示例,在该示例中控制区定义标准是或包括所选择的WMA或WMA组在达到新命令的设定值时的响应性。框548指示这样的示例,在该示例中控制区定义标准是或包括机器性能度量。框550指示这样的示例,在该示例中控制区定义标准是或包括操作员偏好。框552指示这样的示例,在该示例中控制区定义标准也是或包括其他项。框549指示这样的示例,在该示例中控制区定义标准是基于时间的,这意味着农业收割机100将不会越过控制区的边界,直到自农业收割机100进入特定控制区起经过了所选择的时间量。在某些情况下,所选择的时间量可以是最小时间量。因此,在一些情况下,控制区定义标准可以防止农业收割机100越过控制区的边界,直到至少已经经过了所选择的时间量。框551指示这样的示例,在该示例中控制区定义标准基于所选择的尺寸值。例如,基于所选择的尺寸值的控制区定义标准可以排除小于所选择的尺寸的控制区的定义。在某些情况下,所选择的尺寸可以是最小尺寸。
在框554,动态区标准标识部件522获得所选择的WMA或WMA组的动态区定义标准。框556指示这样的示例,在该示例中动态区定义标准基于来自操作员260或另一用户的手动输入。框558示出这样的示例,在该示例中动态区定义标准基于作物类型或作物种类。框560示出这样的示例,在该示例中动态区定义标准基于杂草类型或杂草强度或两者。框562示出这样的示例,在该示例中动态区定义标准基于或包括作物状态。框564指示这样的示例,在该示例中动态区定义标准也是或包括其他标准。
在框566,控制区边界定义部件496基于控制区标准在分析中的图上生成控制区的边界。动态区边界定义部件524基于动态区标准在分析中的图上生成动态区的边界。框568指示这样的示例,在该示例中为控制区和动态区标识区边界。框570示出目标设置标识符部件498标识控制区中的每一个的目标设置。控制区和动态区也可以以其他方式生成,并且这由框572指示。
在框574,设置解析器标识符部件526标识由动态区边界定义部件524定义的每个动态区中的所选择的WMA的设置解析器。如上所讨论那样,动态区解析器可以是人类解析器576、人工智能或机器学习系统解析器578、基于每个竞争目标设置的预测的质量或历史质量的解析器580、基于规则的解析器582、基于性能标准的解析器584或其他解析器586。
在框588,WMA选择器486确定是否有更多的WMA或WMA组要处理。如果有附加的WMA或WMA组需要处理,则处理返回到框436,在框436中选择要为其定义控制区和动态区的下一WMA或WMA组。当没有要为其生成控制区或动态区的附加WMA或WMA组剩下时,处理移动到框590,在框590中控制区生成器213为每WMA或WMA组中的每一个输出具有控制区、目标设置、动态区和设置解析器的图。如上所讨论那样,输出的图可以呈现给操作员260或另一用户;输出的图可以被提供给控制系统214;或者输出的图可以以其他方式输出。
图10示出了控制系统214在基于由控制区生成器213输出的图来控制农业收割机100的操作的一个示例。因此,在框592,控制系统214接收作业现场的图。在一些情况下,该图可以是可以包括控制区和动态区的功能预测图(如框594所示)。在一些情况下,接收到的图可以是排除控制区和动态区的功能预测图。框596指示这样的示例,在该示例中接收的作业现场图可以是具有标识在其上的控制区和动态区的信息图。框598指示这样的示例,在该示例中接收的图可以包括多个不同图或多个不同图层。框610指示这样的示例,在该示例中接收的图也可以采取其他形式。
在框612,控制系统214从地理位置传感器204接收传感器信号。来自地理位置传感器204的传感器信号可以包括指示农业收割机100的地理位置614、农业收割机100的速度616、农业收割机100的航向618或其他信息620的数据。在框622,区控制器247选择动态区,并且在框624,区控制器247基于地理位置传感器信号在图上选择控制区。在框626,区控制器247选择待控制的WMA或WMA组。在框628,区控制器247获得所选择的WMA或WMA组的一个或多个目标设置。为所选择的WMA或WMA组获得的目标设置可来自各种不同的源。例如,框630示出了这样的示例,在该示例中所选择的WMA或WMA组的目标设置中的一个或多个基于来自作业现场的图上的控制区的输入。框632示出了这样的示例,在该示例中目标设置中的一个或多个是从操作员260或另一用户的人工输入中获得的。框634示出了这样的示例,在该示例中从现场传感器208获得目标设置。框636示出了这样的示例,在这样的示例中一个或多个目标设置是从与农业收割机100同时在相同田地中作业的其他机器上的一个或多个传感器或者从过去在相同田地中作业的机器上的一个或多个传感器获得的。框638示出了这样的示例,在该示例中目标设置也是从其他源获得的。
在框640,区控制器247访问所选择的动态区的设置解析器,并控制设置解析器将竞争目标设置解析成解析的目标设置。如上所讨论的那样,在一些情况下,设置解析器可以是人类解析器,在这种情况下,区控制器247控制操作员界面机构218向操作员260或另一用户呈现竞争目标设置以便进行解析。在一些情况下,设置解析器可以是神经网络或其他人工智能或机器学习系统,并且区控制器247将竞争目标设置提交给神经网络、人工智能或机器学习系统以便进行选择。在某些情况下,设置解析器可以基于预测的质量度量或历史质量度量、基于阈值规则或基于逻辑部件。在这些后面的示例中的任何一个中,区控制器247执行设置解析器,以基于预测的质量度量或历史质量度量、基于阈值规则或在使用逻辑部件的情况下获得解析的目标设置。
在框642处,在区控制器247已经标识解析的目标设置的情况下,区控制器247将解析的目标设置提供给控制系统214中的其他控制器,这些控制器基于解析的目标设置生成控制信号并将控制信号应用于所选择的WMA或WMA组。例如,在所选择的WMA是机器或割台致动器248的情况下,区控制器247向设置控制器232或割台/实际控制器238或两者提供解析的目标设置,以基于解析的目标设置生成控制信号,并且那些生成的控制信号被施加到机器或割台致动器248。在框644,如果要在农业收割机100的当前地理位置(如在框612检测的)处控制附加WMA或附加WMA组,则处理返回到框626,在框626选择下一WMA或WMA组。由框626至644表示的过程继续进行,直到要在农业收割机100的当前地理位置处被控制的所有WMA或WMA组都已被解决。如果没有要在农业收割机100的当前地理位置处被控制的附加WMA或WMA组剩下,则处理进行到框646,在框646,区控制器247确定要被考虑的附加控制区是否存在于所选择的动态区中。如果要考虑的附加控制区存在,则处理返回到框624,在框624选择下一控制区。如果没有附加控制区需要考虑,则处理进行到框648,在框648确定关于是否有附加动态区需要考虑。区控制器247确定是否有附加动态区需要考虑。如果有附加动态区需要考虑,则处理返回到框622,在框622选择下一动态区。
在框650,区控制器247确定农业收割机100正在执行的操作是否完成。如果不是,则区控制器247确定是否已经满足控制区标准以继续处理,如框652所示。例如,如上所提及那样,控制区定义标准可以包括定义农业收割机100何时可以越过控制区边界的标准。例如,农业收割机100是否可以越过控制区边界可以由所选择的时间段来定义,这意味着农业收割机100被阻止越过区边界直到经过所选择的时间量。在这种情况下,在框652,区控制器247确定所选择的时间段是否已经过去。附加地,区控制器247可以连续地执行处理。因此,在继续确定农业收割机100的操作是否完成之前,区控制器247不等待任何特定的时间段。在框652,区控制器247确定是继续处理的时候了,然后处理在框612继续,在框612区控制器247再次从地理位置传感器204接收输入。还应当理解的是,区控制器247可以使用多输入多输出控制器来同时控制WMA和WMA组,而不是顺序控制WMA和WMA组。
图11是示出操作员界面控制器231的一个示例的框图。在所示出的示例中,操作员界面控制器231包括操作员输入命令处理系统654、其他控制器交互系统656、语音处理系统658和动作信号生成器660。操作员输入命令处理系统654包括语音处置系统662、触摸手势处理系统664和其他项666。其他控制器交互系统656包括控制器输入处理系统668和控制器输出生成器670。语音处理系统658包括触发检测器672、识别部件674、合成部件676、自然语言理解系统678、对话管理系统680和其他项682。动作信号生成器660包括视觉控制信号生成器684、音频控制信号生成器686、触觉控制信号生成器688和其他项690。在描述图11中示出的示例操作员界面控制器231在处理各种操作员界面动作时的操作之前,首先提供操作员界面控制器231中的项中的一些及其相关联的操作的简要描述。
操作员输入命令处理系统654检测操作员界面机构218上的操作员输入,并处理这些命令输入。语音处置系统662检测语音输入,并处理与语音处理系统658的交互,以处理语音命令输入。触摸手势处理系统664检测操作员界面机构218中的触敏元件上的触摸手势,并处理这些命令输入。
其他控制器交互系统656处理与控制系统214中其他控制器的交互。控制器输入处理系统668检测并处理来自控制系统214中其他控制器的输入,并且控制器输出生成器670生成输出并将这些输出提供给控制系统214中的其他控制器。语音处理系统658识别语音输入、确定这些输入的含义、并提供指示口头输入的含义的输出。例如,语音处理系统658可以将来自操作员260的语音输入识别为设置改变命令,其中操作员260正在命令控制系统214改变可控子系统216的设置。在这样的示例中,语音处理系统658识别口头命令的内容,将该命令的含义标识为设置改变命令,并将该输入的含义提供回语音处置系统662。语音处置系统662又与控制器输出生成器670相互作用,以向控制系统214中适当的控制器提供命令输出,以完成口头设置改变命令。
语音处理系统658可以以各种不同的方式被调用。例如,在一个示例中,语音处置系统662连续地将来自麦克风(作为操作员界面机构218中的一个)的输入提供给语音处理系统658。麦克风检测来自操作员260的语音,并且语音处置系统662将所检测的语音提供给语音处理系统658。触发检测器672检测指示语音处理系统658被调用的触发。在一些情况下,当语音处理系统658从语音处置系统662接收连续语音输入时,语音识别部件674对由操作员260讲出的所有语音执行连续语音识别。在一些情况下,语音处理系统658被配置为使用唤醒字进行调用。也就是说,在一些情况下,语音处理系统658的操作可以基于识别所选择的口头单词(被称为唤醒单词)的来启动。在这样的示例中,在识别部件674识别唤醒字的情况下,识别部件674给触发检测器672提供唤醒字已经被识别的指示。触发检测器672检测到语音处理系统658已经被唤醒字调用或触发。在另一示例中,语音处理系统658可以由操作员260致动用户界面机构上的致动器来调用,诸如通过触摸触敏显示屏上的致动器、通过按压按钮或通过提供另一触发输入。在这样的示例中,当检测到经由用户界面机构的触发输入时,触发检测器672可以检测到语音处理系统658已经被调用。触发检测器672也可以检测到语音处理系统658已经以其他方式被调用。
一旦语音处理系统658被调用,来自操作员260的语音输入被提供给语音识别部件674。语音识别部件674识别语音输入中的语言元素,诸如单词、短语或其他语言单元。自然语言理解系统678标识所识别的语音的含义。该含义可以是自然语言输出、标识所识别的语音中反映的命令的命令输出、标识所识别的语音中的值的值输出、或者反映对所识别的语音的理解的多种其他输出中的任何一种。例如,更一般地,自然语言理解系统678和语音处理系统568可以理解在农业收割机100的环境中识别的语音的含义。
在一些示例中,语音处理系统658还可以基于语音输入生成通过用户体验导航操作员260的输出。例如,对话管理系统680可以生成并管理与用户的对话,以便标识用户希望做什么。该对话框可以对用户命令进行消歧、标识执行用户命令所需的一个或多个特定值;或者从用户处获得其他信息或者向用户提供其他信息或者两者均有。合成部件676可以生成语音合成,该语音合成可以通过诸如扬声器的音频操作员界面机构呈现给用户。因此,由对话管理系统680管理的对话可以专门是口头对话或视觉对话和口头对话的组合。
动作信号生成器660基于来自操作员输入命令处理系统654、其他控制器交互系统656和语音处理系统658中的一个或多个的输出,生成动作信号以控制操作员界面机构218。视觉控制信号生成器684生成控制信号来控制操作员界面机构218中的视觉项。视觉项可以是灯、显示屏、警告指示器或其他视觉项。音频控制信号生成器686生成控制操作员界面机构218的音频元件的输出。音频元件包括扬声器、听觉报警机构、喇叭或其他听觉元件。触觉控制信号生成器688生成控制信号,该控制信号被输出以控制操作员界面机构218的触觉元件。触觉元件包括可以用于进行振动的振动元件,例如,操作员的座椅、方向盘、踏板或由操作员使用的操纵杆。触觉元件可以包括通过操作员界面机构向操作员提供触觉反馈或力反馈的触感反馈或力反馈元件。触觉元件也可以包括各种各样的其他触觉元件。
图12是示出操作员界面控制器231在可以包括触敏显示屏的操作员界面机构218上生成操作员界面显示时的操作的一个示例的流程图。图12还示出了操作员界面控制器231如何能够检测和处理操作员与触敏显示屏的交互的一个示例。
在框692,操作员界面控制器231接收图。框694指示其中图是功能预测图的示例,而框696指示其中图是另一类型的图的示例。在框698,操作员界面控制器231从地理位置传感器204接收标识农业收割机100的地理位置的输入。如框700所示,来自地理位置传感器204的输入可以包括农业收割机100的航向以及位置。框702指示其中来自地理位置传感器204的输入包括农业收割机100的速度的示例,框704指示其中来自地理位置传感器204的输入包括其他项的示例。
在框706,操作员界面控制器231中的视觉控制信号生成器684控制操作员界面机构218中的触敏显示屏,以生成示出由所接收的图表示的田地的全部或部分的显示。框708指示所显示的田地可以包括示出农业收割机100相对于田地的当前位置的当前位置标记。框710指示这样的示例,在该示例中所显示的田地包括标识农业收割机100将在其中操作的下一作业单元(或田地上的区域)的下一作业单元标记。框712指示其中所显示的田地包括显示尚未由农业收割机100处理的区域的即将到来的区域显示部分的示例,而框714指示其中所显示的田地包括表示农业收割机100已经处理的田地的区域的先前访问过的显示部分的示例。框716指示其中所显示的田地显示具有图上的地理参考位置的田地的各种特性的示例。例如,如果接收到的图是杂草图,则显示的田地可以示出在显示的田地内地理参考的田地中存在的不同杂草类型。映射的特性可以被示出在先前访问的区域(如框714所示)中、即将到来的区域(如框712所示)中和下一作业单元(如框710所示)中。框718指示其中显示的田地也包括其他项的示例。
图13是示出可以在触敏显示屏上生成的用户界面显示720的一个示例的图示。在其他实施方式中,用户界面显示720可以在其他类型的显示器上生成。触敏显示屏可以安装在农业收割机100的操作员室中或移动设备上或其他地方。在继续描述图12中示出的流程图之前,将描述用户界面显示720。
在图13中示出的示例中,用户界面显示720示出了触敏显示屏包括用于操作麦克风722和扬声器724的显示特征。因此,触敏显示器可以可通信地耦接到麦克风722和扬声器724。框726指示触敏显示屏可以包括多种用户界面控制致动器,诸如按钮、小键盘、软小键盘、链接、图标、开关等。操作员260可以致动用户界面控制致动器来执行各种功能。
在图13中示出的示例中,用户界面显示720包括显示农业收割机100正在其中操作的田地的至少一部分的田地显示部分728。田地显示部分728被示出为具有对应于农业收割机100在田地显示部分728中示出的田地的部分中的当前位置的当前位置标记708。在一个示例中,操作员可以控制触敏显示器,以便放大田地显示部分728的部分,或者平移或滚动田地显示部分728以显示田地的不同部分。下一作业单元730被示出为直接在农业收割机100的当前位置标记708前面的田地区域。当前位置标记708还可以被配置成标识农业收割机100的行进方向、农业收割机100的行进速度或两者。在图13中,当前位置标记708的形状提供了关于农业收割机100在田地内的取向的指示,该指示可以用作农业收割机100的行进方向的指示。
在田地显示部分728上标记的下一作业单元730的尺寸可以基于多种不同的标准而变化。例如,下一作业单元730的尺寸可以基于农业收割机100的行进速度而变化。因此,当农业收割机100更快地行进时,下一作业单元730的面积相比于农业收割机100更慢地行进的情况下的下一作业单元730的面积可能更大。田地显示部分728也被示出为显示先前访问的区域714和即将到来的区域712。先前访问的区域714表示已经收割的区域,而即将到来的区域712表示仍然需要收割的区域。田地显示部分728也被示出为显示田地的不同特性。在图13中示出的示例中,正在被显示的图是杂草图。因此,多个不同的杂草标记被显示在田地显示部分728上。在已经访问的区域714中示出有一组杂草特性显示标记732。在即将到来的区域712中还示出有一组杂草特性显示标记734,并且在下一作业单元730中示出有一组杂草特性显示标记736。图13示出了杂草特性显示标记732、734和736由不同的符号构成。符号中的每一个表示杂草类型。在图3中示出的示例中,@符号表示苋菜藤子;*符号表示狗尾草;以及#符号表示三裂叶豚草。因此,田地显示部分728示出了位于田地内不同区域处的不同类型的杂草。如前所述,显示标记732可以由不同的符号构成,并且如下所述,符号可以是任何显示特征,诸如不同的颜色、形状、图案、强度、文本、图标或其他显示特征。
在图13的示例中,用户界面显示720还具有控制显示部分738。控制显示部分738允许操作员查看信息并以各种方式与用户界面显示720交互。
部分738中的致动器和显示标记可以被显示为例如单独的项、固定列表、可滚动列表、下拉菜单或下拉列表。在图13示出的示例中,显示部分738示出对应于以上提及的三个符号的三种不同类型的杂草的信息。显示部分738还包括一组触敏致动器,操作员260可以通过触摸与该组触敏致动器交互。例如,操作员260可以用手指触摸触敏致动器,以激活相应的触敏致动器。
标志列739示出已经自动或手动设置的标志。标志致动器740允许操作员260标记位置,并且然后添加指示在该位置处发现的杂草类型的信息。例如,当操作员260通过触摸标志致动器740来致动标志致动器740时,操作员界面控制器231中的触摸手势处理系统664将该位置标识为其中存在苋菜藤子的位置。当操作员260触摸按钮742时,触摸手势处理系统664将该位置标识为其中存在狗尾草的位置。当操作员260触摸按钮744时,触摸手势处理系统664将该位置标识为其中存在三裂叶豚草的位置。触摸手势处理系统664还控制视觉控制信号生成器684,以在用户当按钮740、742或744致动之前或之后或期间标识的位置处,在田地显示部分728上添加对应于所标识的杂草类型的符号。
列746显示对应于田地显示部分728上被跟踪的每个杂草类型的符号。指定符列748示出标识杂草类型的指定符(其可以是文本指定符或其他指定符)。非限制性地,列746中的杂草符号和列748中的指定符可以包括任何显示特征,诸如不同的颜色、形状、图案、强度、文本、图标或其他显示特征。列750示出了杂草特性值。在图13中示出的示例中,杂草特性值是表示杂草密度的值。列750中显示的值可以是预测的值或由现场传感器208测量的值。列750中的值可以包括包含在杂草强度范围内的杂草性质中的任何一个以及杂草类型的值和其他值中的任何一个。在一个示例中,操作员260可以选择田地显示部分728的要为其显示列750中的值的特定部分。因此,列750中的值可以对应于显示部分712、714或730中的值。列752显示动作阈值。列752中的动作阈值可以是对应于列750中的测量的值的阈值。如果列750中的测量的值满足列752中的相对应的动作阈值,则控制系统214采取列754中标识的动作。在一些情况下,测量的值可以通过满足或超过相对应的动作阈值来满足相对应的动作阈值。在一个示例中,操作员260可以选择阈值,例如,以便通过触摸列752中的阈值来改变阈值。一旦被选择,操作员260可以改变阈值。列752中的阈值可以被配置成使得当测量的值750超过阈值、等于阈值或小于阈值时,执行指定的动作。
类似地,操作员260可以触摸列754中的动作标识符来改变将要采取的动作。当满足阈值时,可以采取多种动作。例如,在列754的底部,减速动作756和增加风扇动作758被标识为在列750中的测量的值满足列752中的阈值的情况下将采取的动作。
可以在列754中设置的动作可以是各种不同类型的动作中的任何一种。例如,这些动作可以包括禁止动作,该禁止动作在被执行时阻止农业收割机100在区域中进一步进行收割。这些动作可以包括减少(mitigation)激活,该减少激活在被执行时执行减少动作,诸如激活杂草种子破碎机或杂草种子装袋机。这些动作可以包括速度改变动作,该速度改变动作在被执行时改变农业收割机100穿过田地的行进速度。这些动作可以包括用于改变内部致动器或另一WMA或WMA组的设置的设置改变动作,或者用于实施改变割台的设置的设置改变动作。这些仅仅是示例,并且在此考虑了各种各样的其他动作。
用户界面显示720上示出的显示标记可以被以视觉的方式控制。以视觉的方式控制界面显示720可以被执行以捕获操作员260的注意。例如,可以控制显示标记来修改被显示的显示标记的强度、颜色或图案。附加地,可以控制显示标记闪烁。作为示例,提供了对显示标记的视觉外观的所描述的更改。因此,显示标记的视觉外观的其他方面可以被更改。因此,可以在各种情况下以期望的方式修改显示标记,以便例如捕获操作员260的注意。
可以由操作员260使用用户界面显示720完成的各种功能也可以自动完成,诸如通过控制系统214中的其他控制器。例如,当由现场传感器208标识不同类型的杂草时,操作员界面控制器231可以在农业收割机100的当前位置(其对应于遇到的杂草类型的位置)处自动添加标志,并生成标志列中的显示、符号列中的相对应的符号、以及指定符列748中的指定符。在标识不同的杂草类型时,操作员界面控制器231还可以生成列750中的测量的值以及列752中的阈值。操作员界面控制器231或另一控制器也可以自动标识添加到列754的动作。
现在回到图12的流程图,继续描述操作员界面控制器231的操作。在框760,操作员界面控制器231检测设置标志的输入,并控制触敏用户界面显示720在田地显示部分728上显示该标志。所检测的输入可以是操作员输入(如762所示),或者是来自另一控制器的输入(如764所示)。在框766,操作员界面控制器231检测指示来自现场传感器208中的一个的、田地的测量的特性的现场传感器输入。在框768,视觉控制信号生成器684生成控制信号,以控制用户界面显示720显示用于修改用户界面显示720和用于修改机器控制的致动器。例如,框770表示可以显示用于设置或修改列739、746和748中的值的致动器中的一个或多个。因此,用户可以设置标志并修改这些标志的特性。例如,用户可以修改对应于标志的杂草类型和杂草指定符。框772表示显示了列752中的动作阈值。框776表示显示了列754中的动作,并且框778表示显示了列750中的测量的现场数据。框780指示各种各样的其他信息和致动器也可以被显示在用户界面显示720上。
在框782,操作员输入命令处理系统654检测并处理对应于由操作员260执行的与用户界面显示720的交互的操作员输入。在用户界面显示720被显示在其上的用户界面机构是触敏显示屏的情况下,由操作员260进行的与触敏显示屏的交互输入可以是触摸手势784。在一些情况下,操作员交互输入可以是使用点击设备786或其他操作员交互输入788的输入。
在框790,操作员界面控制器231接收指示警报条件的信号。例如,框792指示可以由控制器输入处理系统668接收、指示列750中的所检测的值满足列752中存在的阈值条件的信号。如前所解释那样,阈值条件可以包括阈值之下、处于阈值或阈值之上的值。框794示出了动作信号生成器660可以响应于接收警报条件,通过使用视觉控制信号生成器684来生成视觉警报、通过使用音频控制信号生成器686来生成音频警报、通过使用触觉控制信号生成器688来生成触觉警报、或者通过使用这些的任意组合来警告操作员260。类似地,如框796所示,控制器输出生成器670可以向控制系统214中的其他控制器生成输出,使得这些控制器执行列754中标识的相对应的动作。框798示出操作员界面控制器231也可以以其他方式检测和处理警报条件。
框900示出语音处置系统662可以检测和处理调用语音处理系统658的输入。框902示出执行语音处理可以包括使用对话管理系统680来与操作员260进行对话。框904示出语音处理可以包括向控制器输出生成器670提供信号,使得基于语音输入自动执行控制操作。
下面的表1示出了操作员界面控制器231和操作员260之间的对话的示例。在表1中,操作员260使用由触发检测器672检测的触发字或唤醒字来调用语音处理系统658。在表1中示出的示例中,唤醒词是“约翰尼(Johnny)”。
表1
操作员:“约翰尼,告诉我关于当前杂草的情况”
操作员界面控制器:“苋菜藤子占65%,阈值为10%。狗尾草占15%,阈值为15%。三裂叶豚草占20%,阈值为25%”。
操作员:“约翰尼,因为有杂草,我该怎么办?”
操作员界面控制器:“苋菜藤子太高了。在这个地区停止收割,并且稍后使杂草种子减少”。
表2示出了这样的示例,在该示例中语音合成部件676向音频控制信号生成器686提供输出,以间歇或周期性地提供听觉更新。更新之间的间隔可以是基于时间的(诸如每五分钟),或者是基于覆盖或距离的(诸如每五英亩)、或者是基于异常的(诸如当测量的值大于阈值时)。
表2
操作员界面控制器:“在过去的10分钟里,收割物包含90%的作物、5%的苋菜藤子、4%的三裂叶豚草、以及1%的其他”。
操作员界面控制器:“接下来的1英亩土地包括92%的玉米、5%的苋菜藤子和3%的其他”。
操作员界面控制器:“警告:苋菜藤子现在为12%。停止收割这个区域”。
操作员界面控制器:“小心:三裂叶豚草现在为27%。清粮风扇转速降低200rpm”。
表3中示出的示例示出了触敏显示720上的一些致动器或用户输入机构可以用语音对话来补充。表3中的示例示出了动作信号生成器660可以生成动作信号来自动标记正在被收割的田地中的苋菜藤子杂草块。
表3
人类:“约翰尼,标记苋菜藤子杂草块”。
操作员界面控制器:“苋菜藤子杂草块已标记”。
表4中示出的示例示出了动作信号生成器660可以与操作员260进行对话,以开始和结束杂草块的标记。
表4
人类:“约翰尼,开始标记苋菜藤子杂草块”。
操作员界面控制器:“标记苋菜藤子杂草块”。
人类:“约翰尼,停止标记苋菜藤子杂草块”。
操作员界面控制器:“苋菜藤子杂草块标记停止”。
表5中示出的示例示出了动作信号生成器160可以以不同于表3和表4中示出的方式生成标记杂草块的信号。
表5
人类:“约翰尼,把下一100英尺标记为苋菜藤子杂草块”。
操作员界面控制器:“下一100英尺被标记为苋菜藤子杂草块”。
再次返回图12,框906示出了操作员界面控制器231也可以检测和处理用于以其他方式输出消息或其他信息的情况。例如,其他控制器交互系统656可以检测来自其他控制器的指示警报或输出消息应该呈现给操作员260的输入。框908示出输出可以是音频消息。框910示出输出可以是视觉消息,并且框912示出输出可以是触觉消息。直到操作员界面控制器231确定当前收割操作完成(如框914所示),处理返回到框698,在框698中收割机100的地理位置被更新,并且处理如上所述继续进行以更新用户界面显示720。
一旦操作完成,则可以保存在用户界面显示720上显示或已经显示的任何期望值。这些值也可以在机器学习中用于改进预测模型生成器210、预测图生成器212、控制区生成器213、控制算法或其他项的不同部分。由框916指示所保存的期望值。这些值可以本地保存在农业收割机100上,或者这些值可以保存在远程服务器位置处或发送到另一远程系统。
由此可见,先验信息索引图是由农业收割机获得的,并且示出了正在被收割的田地的不同地理位置处的杂草特性值。收割机上的现场传感器感测在农业收割机移动通过田地时具有指示农业特性的值的特性。预测图生成器生成预测图,该预测图基于信息图中的杂草特性的值和由现场传感器感测的农业特性来预测田地中的不同位置的控制值。控制系统基于预测图中的控制值控制可控子系统。
控制值是动作可以基于其的值。如本文所述,控制值可以包括可以用于控制农业收割机100的任何值(或由该值指示或从该值导出的特性)。控制值可以是指示农业特性的任何值。控制值可以是预测的值、测量的值或检测的值。控制值可以包括由图提供的任何值(诸如本文描述的图中的任何一个),例如,控制值可以是由信息图提供的值、由先验信息图提供的值或者由预测图提供的值,诸如功能预测图。控制值还可以包括由本文描述的传感器中的任何一个检测的值所指示的或从其中导出的特性中的任何一个。在其他示例中,控制值可以由农业机器的操作员提供,诸如由农业机器的操作员输入的命令。
目前的讨论已经提到了处理器和服务器。在一些示例中,处理器和服务器包括具有相关联的存储器和时序电路(未单独示出)的计算机处理器。处理器和服务器是处理器和服务器所属的系统或设备的功能部分,并且由这些系统中的其他部件或项激活并促进其功能。
而且,已经讨论了许多用户界面显示。显示器可以采取各种不同的形式,并且可以具有设置在其上的各种不同的用户可致动的操作员界面结构。例如,用户可致动的操作员界面机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。用户可致动的操作员界面机构也可以以各种不同的方式被致动。例如,用户可致动的操作员界面机构可以使用操作员界面机构(诸如点击设备,(诸如轨迹球或鼠标、硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等)、虚拟键盘或其他虚拟致动器)来致动。此外,在其上显示用户可致动的操作员界面机构的屏幕是触敏屏幕的情况下,可以使用触摸手势来致动用户可致动的操作员界面机构。而且,可以使用语音识别功能使用语音命令来致动用户可致动的操作员界面机构。语音识别可以使用语音检测设备(诸如麦克风)和用于识别所检测的语音并基于所接收的语音执行命令的软件来实施。
还讨论了许多数据存储装置。应当注意的是,数据存储可以各自分成多个数据存储装置。在一些示例中,数据存储装置中的一个或多个对于访问数据存储装置的系统可以是本地的,数据存储装置中的一个或多个可以全部位于远离利用数据存储装置的系统,或者一个或多个数据存储装置可以是本地的,而其他的是远程的。本公开考虑了所有这些配置。
此外,附图示出了多个框,其中功能归属于每个框。应当注意的是,可以使用更少的框来示出归因于多个不同框的功能由更少的部件来执行。而且,可以使用更多的框,从而示出该功能可以分布在更多的部件当中。在不同的示例中,可以添加一些功能,并且也可以删除一些功能。
应当注意的是,上述讨论已经描述了各种不同的系统、部件、逻辑和交互。应当理解的是,这样的系统、部件、逻辑和交互中的任何一个或全部可以由硬件项实施,诸如处理器、存储器或其他处理部件,包括但不限于执行与那些系统、部件、逻辑或交互相关联的功能的人工智能部件(诸如神经网络,其中的一些在下面描述)。此外,系统、部件、逻辑和交互中的任何一个或全部可以由加载到存储器中并随后由处理器或服务器或其他计算部件执行的软件来实施,如下所述。系统、部件、逻辑和交互中的任何一个或全部也可以通过硬件、软件、固件等的不同组合来实施,其一些示例在下面描述。这些是可以用于实施以上描述的系统、部件、逻辑和交互中的任何一个或全部的不同结构的一些示例。也可以使用其他结构。
图14是农业收割机600的框图,其可以类似于图2中示出的农业收割机100。农业收割机600与远程服务器架构500中的元件通信。在一些示例中,远程服务器架构500可以提供不需要终端用户了解递送服务的系统的物理位置或配置的计算、软件、数据访问和存储服务。在各种示例中,远程服务器可以使用适当的协议通过广域网(诸如互联网)递送服务。例如,远程服务器可以通过广域网递送应用,并且可以通过网络浏览器或任何其他计算部件访问。图2中示出的软件或部件以及与之相关联的数据可以存储在远程位置处的服务器上。远程服务器环境中的计算资源可以被合并在远程数据中心位置处,或者计算资源可以被分散到多个远程数据中心。远程服务器基础设施可以通过共享数据中心递送服务,即使作为用户的单个访问点出现。因此,本文描述的部件和功能可以使用远程服务器架构从远程位置处的远程服务器提供。替代性地,部件和功能可以从服务器提供,或者部件和功能可以直接或以其他方式安装在客户端设备上。
在图14中示出的示例中,一些项类似于图2中示出的项目,并且这些项被相似地进行编号。图14具体示出了预测模型生成器210或预测图生成器212或两者可以位于远离农业收割机600的服务器位置502。因此,在图14中示出的示例中,农业收割机600通过远程服务器位置502访问系统。
图14还描绘了远程服务器架构的另一示例。图14示出了图2的一些元件可以被布置在远程服务器位置502处,而其他元件可以位于其他地方。作为示例,数据存储装置202可以被放置在与位置502分离的位置处,并且经由位置502处的远程服务器来访问。无论这些元件位于何处,这些元件可以由农业收割机600通过网络(诸如广域网或局域网)直接访问、这些元件可以由服务托管在远程站点、或者这些元件可以作为服务提供、或者由驻留在远程位置的连接服务访问。此外,数据可以存储在任何位置,并且存储的数据可以被操作员、用户或系统访问或转发给操作员、用户或系统。例如,可以使用物理载波来代替电磁波载波,或者除了电磁波载波之外还可以使用物理载波。在一些示例中,在无线电信服务覆盖差或不存在的情况下,另一机器(诸如燃料车或其他移动机器或车辆)可以具有自动、半自动或手动信息收集系统。在联合收割机600在加燃料前靠近包含信息收集系统的机器(诸如燃料车)时,信息收集系统使用任何类型的临时专用无线连接从联合收割机600收集信息。然后,当包含所接收的信息的机器到达无线电信服务覆盖或其他无线覆盖可用的位置时,所收集的信息可以被转发到另一网络。例如,当燃料车行驶到给其他机器加燃料的位置时或在主燃料存储位置时,燃料车可以进入具有无线通信覆盖的区域。本文考虑了所有这些架构。此外,信息可以存储在农业收割机600上,直到农业收割机600进入具有无线通信覆盖的区域。农业收割机600本身可以将信息发送到另一网络。
还将注意到,图2的元件或其部分可以设置在各种不同的设备上。这些设备中的一个或多个可以包括机载计算机、电子控制单元、显示单元、服务器、台式计算机、膝上型计算机、平板计算机或其他移动设备,诸如掌上电脑、蜂窝电话、智能电话、多媒体播放器、个人数字助理等。
在一些示例中,远程服务器架构500可以包括网络安全措施。非限制性地,这些措施包括存储设备上的数据的加密、网络节点之间发送的数据的加密、访问数据的人员或进程的认证、以及使用分类帐记录元数据、数据、数据传送、数据访问和数据转换。在一些示例中,分类账可以是分布式的和不可变的(例如,实施为区块链)。
图15是可以用作本系统(或其一部分)可以部署在其中的用户的或客户的手持设备16的手持或移动计算设备的一个示意性示例的简化框图。例如,移动设备可以部署在农业收割机100的操作员室中,用于在生成、处理或显示以上讨论的图时使用。图16至图17是手持或移动设备的示例。
图15提供了客户端设备16的部件的总体框图,该客户端设备可以运行图2中示出的一些部件、与它们交互、或者两者都进行。在设备16中,提供了允许手持设备与其他计算设备通信的通信链路13,并且在一些示例下提供了用于自动接收信息(例如通过扫描)的信道。通信链路13的示例包括允许通过一个或多个通信协议进行通信,诸如用于提供对网络的蜂窝接入的无线服务,以及提供对网络的本地无线连接的协议。
在其他示例中,应用可以在连接到接口15的可移动安全数字(Secure Digital,SD)卡上接收。界面15和通信链路13沿着总线19与处理器17(其也可以实现来自其他图的处理器或服务器)通信,该总线也连接到存储器21和输入/输出(input/output,I/O)部件23、以及时钟25和位置系统27。
在一个示例中,提供I/O部件23来促进输入和输出操作。设备16的各种示例的I/O部件23可以包括输入部件(诸如按钮、触摸传感器、光学传感器、麦克风、触摸屏、接近传感器、加速度计、方位传感器)以及输出部件(诸如显示设备、扬声器和/或打印机端口)。也可以使用其他I/O部件23。
时钟25示意性地包括输出时间和日期的实时时钟部件。示意性地,它还可以为处理器17提供定时功能。
位置系统27示意性地包括输出设备16的当前地理位置的部件。这可以包括例如全球定位系统(global positioning system,GPS)接收器、LORAN系统、航位推算系统、蜂窝三角测量系统或其他定位系统。位置系统27还可以包括,例如,生成所期望的图、导航路线和其他地理功能的绘图软件或导航软件。
存储器21存储操作系统29、网络设置31、应用33、应用配置设定35、数据存储装置37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形易失性和非易失性计算机可读存储器设备。存储器21还可以包括计算机存储介质(下文描述)。存储器21存储计算机可读指令,当由处理器17执行时,这些指令使处理器根据指令执行计算机实施的步骤或功能。处理器17也可以由其他部件激活以促进它们的功能。
图16示出了其中设备16是平板电脑600的一个示例。在图16中,计算机601被示出为具有用户界面显示屏602。屏幕602可以是从笔或触笔接收输入的触摸屏或支持笔的界面。平板电脑600还可以使用屏幕上虚拟键盘。当然,计算机601也可以例如通过合适的附接结构(诸如无线链接件或USB端口)附接到键盘或其他用户输入设备。计算机601也可以示意性地接收语音输入。
图17类似于图16,除了设备是智能电话71。智能电话71具有显示图标或小块或其他用户输入机构75的触敏显示器73。可以由用户使用机构75来运行应用、进行呼叫、执行数据传输操作等。一般而言,智能手机71建立在移动操作系统上,并且提供比功能手机更高级的计算能力和连接性。
注意,设备16的其他形式是可能的。
图18是其中可以部署图2的元件的计算环境的一个示例。参考图18,用于实施一些实施例的示例系统包括呈被编程为如上所讨论那样操作的计算机810形式的计算设备。计算机810的部件可以包括但不限于处理单元820(其可以包括来自先前附图的处理器或服务器)、系统存储器830和将包括系统存储器的各种系统部件耦接到处理单元820的系统总线821。系统总线821可以是几种类型的总线结构中的任何一种,包括存储器总线或存储器控制器、外围总线以及使用各种总线架构中的任何一种的局部总线。关于图2描述的存储器和程序可以部署在图18的相对应部分中。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可以由计算机810访问的任何可用介质,并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质不同于调制数据信号或载波,并且也不包括调制数据信号或载波。计算机可读介质包括硬件存储介质,包括以任何方法或技术实施用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(digitalversatile disk,DVD)或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备,或可以用于存储所期望的信息并可以由计算机810访问的任何其他介质。通信介质可以实现计算机可读指令、数据结构、程序模块或传输机构中的其他数据,并且包括任何信息递送介质。术语“经调制的数据信号”是指具有以在信号中编码信息的方式设置或改变其特征中的一个或多个的信号。
系统存储器830包括易失性和/或非易失性存储器或者两者形式的计算机存储介质,诸如只读存储器(read only memory,ROM)831和随机存取存储器(random accessmemory,RAM)832。基本输入/输出系统833(basic input/output system,BIOS)(其包含诸如在启动期间帮助在计算机810内的元件之间传递信息的基本例程)通常存储在ROM 831中。RAM832通常包含处理单元820可立即访问和/或当前正在被处理单元820操作的数据和/或程序模块或两者。作为示例而非限制,图18示出了操作系统834、应用程序835、其他程序模块836和程序数据837。
计算机810还可以包括其他可移动/不可移动的易失性/非易失性计算机存储介质。仅作为示例,图18示出了从不可移动、非易失性磁介质、光盘驱动器855和非易失性光盘856读取或向其写入的硬盘驱动器841。硬盘驱动器841通常通过不可移动存储器接口(诸如接口840)连接到系统总线821,光盘驱动器855通常通过可移动存储器接口(诸如接口850)连接到系统总线821。
替代性地或附加地,本文描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如但不限于,可以使用的示意性类型的硬件逻辑部件包括现场可编程门阵列(Field-programmable Gate Array,FPGA)、专用集成电路(Application-specificIntegrated Circuit,ASIC)、专用标准产品(例如ASSP)、片上系统(System-on-a-chipsystem,SOC)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)等。
上文讨论并在图18中示出的驱动器及其相关联的计算机存储介质为计算机810提供了计算机可读指令、数据结构、程序模块和其他数据的存储。例如,在图18中,硬盘驱动器841被示为存储操作系统844、应用程序845、其他程序模块846和程序数据847。注意,这些部件可以与操作系统834、应用程序835、其他程序模块836和程序数据837相同或不同。
用户可以通过输入设备(诸如键盘862、麦克风863和指向设备861(诸如鼠标、跟踪球或触摸板))向计算机810输入命令和信息。其他输入设备(未示出)可以包括操纵杆、游戏手柄、卫星天碟、扫描仪等。这些和其他输入设备通常通过耦接到系统总线的用户输入接口860连接到处理单元820,但是也可以通过其他接口和总线结构连接。视觉显示器891或其他类型的显示设备也通过诸如视频接口890的接口连接到系统总线821。除了监视器之外,计算机还可以包括可以通过输出外围接口895连接的其他外围输出设备,诸如扬声器897和打印机896。
计算机810使用到一个或多个远程计算机(诸如远程计算机880)的逻辑连接(诸如控制器局部网(CAN)、局域网(LAN)或广域网(WAN))在联网环境中操作。
当在LAN联网环境中使用时,计算机810通过网络接口或适配器870连接到LAN871。当在WAN联网环境中使用时,计算机810通常包括调制解调器872或用于通过WAN 873(诸如因特网)建立通信的其他装置。在联网环境中,程序模块可以被存储在远程存储器存储设备中。例如,图18示出了远程应用程序885可以驻留在远程计算机880上。
还应当注意的是,本文描述的不同示例可以以不同的方式组合。也就是说,一个或多个示例的部分可以与一个或多个其他示例的部分组合。在本文中考虑了这方面的全部。
示例1是一种农业作业机器,包括:
通信系统,该通信系统接收包括对应于田地中的不同地理位置的杂草特性的值的信息图;
地理位置传感器,该地理位置传感器检测农业作业机器的地理位置;
现场传感器,该现场传感器检测对应于地理位置的农业特性的值;
预测图生成器,该预测图生成器基于信息图中的杂草特性的值并基于农业特性的值,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;
可控子系统;以及
控制系统,该控制系统基于农业作业机器的地理位置并且基于功能预测农业图中的控制值生成控制信号以控制可控子系统。
示例2是任何或所有前述示例的农业作业机器,其中预测图生成器包括:
预测生物量图生成器,该预测生物量图生成器生成功能预测生物量图,该功能预测生物量图将材料的预测生物量映射到田地中的不同地理位置。
示例3是任何或所有前述示例的农业作业机器,其中控制系统包括:
进料速率控制器,该进料速率控制器基于所检测的地理位置和功能预测生物量图生成进料速率控制信号,并基于进料速率控制信号控制可控子系统,以控制通过农业作业机器的材料的进料速率。
示例4是任何或所有前述示例的农业作业机器,其中预测图生成器包括:
预测机器速度图生成器,该预测机器速度图生成器生成功能预测机器速度图,该功能预测机器速度图将预测机器速度值映射到田地中的不同地理位置。
示例5是任何或所有前述示例的农业作业机器,其中控制系统包括:
设置控制器,该设置控制器基于所检测的地理位置和功能预测机器速度图生成速度控制信号,并基于速度控制信号控制可控子系统以控制农业作业机器的速度。
示例6是任何或所有前述示例的农业作业机器,其中预测图生成器包括:
预测操作员命令图生成器,该预测操作员命令图生成器生成功能预测操作员命令图,该功能预测操作员命令图将预测操作员命令映射到田地中的不同地理位置。
示例7是任何或所有前述示例的农业作业机器,其中控制系统包括:
设置控制器,该设置控制器基于所检测的地理位置和功能预测操作员命令图生成指示操作员命令的操作员命令控制信号,并基于操作员命令控制信号控制可控子系统以执行操作员命令。
实施例8是任何或所有前述示例的农业作业机器,并且还包括:
预测模型生成器,该预测模型生成器基于地理位置处的先验信息图中的杂草特性的值和由现场传感器感测的、该地理位置处的农业特性的值生成对杂草特性和农业特性之间的关系进行建模的预测农业模型,其中预测图生成器基于先验信息图中的杂草特性的值并基于预测农业模型来生成功能预测农业图。
示例9是任何或所有前述示例的农业作业机器,其中控制系统还包括:
操作员界面控制器,该操作员界面控制器生成功能预测农业图的用户界面图表示,该用户界面图表示包括具有指示田地部分上的农业作业机器的地理位置的当前位置指示符和指示田地部分上的一个或多个地理位置处的值的杂草特性符号的田地部分。
示例10是任何或所有前述示例的农业作业机器,其中操作员界面控制器生成用户界面图表示,以包括显示指示所感测的农业特性的所感测的特性显示的交互式显示部分、指示动作阈值的交互阈值显示部分、以及指示当所感测的农业特性满足动作阈值时要采取的控制动作的交互动作指示符,控制系统基于控制动作生成控制信号以控制可控子系统。
示例11是一种控制农业作业机器的计算机实施的方法,包括
获得包括对应于田地中的不同地理位置的杂草特性的值的先验信息图;
检测农业作业机器的地理位置;
利用现场传感器检测对应于地理位置的农业特性的值;
基于先验信息图中的杂草特性的值并基于农业特性的值,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;以及
基于农业作业机器的地理位置并且基于功能预测农业图中的控制值控制可控子系统。
示例12是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成功能预测生物量图,该功能预测生物量图将材料的预测生物量映射到田地中的不同地理位置。
示例13是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测生物量图生成进料速率控制信号;以及
基于进料速率控制信号控制可控子系统,以控制通过农业作业机器的材料的进料速率。
示例14是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成将预测机器速度值映射到田地中的不同地理位置的功能预测机器速度图。
示例15是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测机器速度图生成速度控制信号;以及
基于速度控制信号控制可控子系统,以控制农业作业机器的速度。
示例16是任何或所有前述示例的计算机实施的方法,其中生成功能预测图包括:
生成功能预测操作员命令图,该功能预测操作员命令图将预测操作员命令映射到田地中的不同地理位置。
示例17是任何或所有前述示例的计算机实施的方法,其中控制可控子系统包括:
基于所检测的地理位置和功能预测操作员命令图,生成指示操作员命令的操作员命令控制信号;以及
基于操作员命令控制信号控制可控子系统以执行操作员命令。
示例18是任何或所有前述示例的计算机实施的方法,并且还包括:
基于地理位置处的先验信息图中的杂草特性的值和由现场传感器感测的、该地理位置处的农业特性的值生成对杂草特性和农业特性之间的关系进行建模的预测农业模型,其中生成功能预测农业图包括基于先验信息图中的杂草特性的值并基于预测农业模型来生成功能预测农业图。
示例19是一种农业作业机器,包括:
通信系统,该通信系统接收包括对应于田地中的不同地理位置的杂草特性的值的先验信息图;
地理位置传感器,该地理位置传感器检测农业作业机器的地理位置;
现场传感器,该现场传感器检测对应于地理位置的农业特性的值;
预测模型生成器,该预测模型生成器基于地理位置处的先验信息图中的杂草特性的值和由现场传感器感测的、该地理位置处的农业特性的值生成对杂草特性和农业特性之间的关系进行建模的预测农业模型;
预测图生成器,该预测图生成器基于先验信息图中的杂草特性的值并基于预测农业模型,生成将预测控制值映射到田地中的不同地理位置的田地的功能预测农业图;
可控子系统;以及
控制系统,该控制系统基于农业作业机器的地理位置并且基于功能预测农业图中的控制值生成控制信号以控制可控子系统。
示例20是任何或所有前述示例的农业作业机器,其中控制系统包括以下中的至少一个:
进料速率控制器,该进料速率控制器基于所检测的地理位置和功能预测农业图生成进料速率控制信号,并基于进料速率控制信号控制可控子系统,以控制通过农业作业机器的材料的进料速率;
设置控制器,该设置控制器基于所检测的地理位置和功能预测农业图生成速度控制信号,并基于速度控制信号控制可控子系统以控制农业作业机器的速度;以及
设置控制器,该设置控制器基于所检测的地理位置和功能预测农业图生成指示操作员命令的操作员命令控制信号,并基于操作员命令控制信号控制可控子系统以执行操作员命令。
尽管已经用特定于结构特征或方法动作的语言描述了主题,但是应当理解的是,在所附权利要求中限定的主题不必限于以上描述的特定特征或动作。相反,以上具体特征和动作是作为权利要求的示例形式而公开的。
Claims (10)
1.一种农业作业机器(100),包括:
通信系统(206),所述通信系统接收包括对应于田地中的不同地理位置的杂草特性的值的信息图(258);
地理位置传感器(204),所述地理位置传感器检测所述农业作业机器(100)的地理位置;
现场传感器(208),所述现场传感器检测对应于所述地理位置的农业特性的值;
预测图生成器(212),所述预测图生成器基于所述信息图(258)中的杂草特性的值并基于所述农业特性的值,生成将预测控制值映射到田地中的不同地理位置的所述田地的功能预测农业图;
可控子系统(216);以及
控制系统(214),所述控制系统基于所述农业作业机器(100)的地理位置并且基于所述功能预测农业图中的控制值生成控制信号以控制所述可控子系统(216)。
2.根据权利要求1所述的农业作业机器,其中,所述预测图生成器包括:
预测生物量图生成器,所述预测生物量图生成器生成功能预测生物量图,所述功能预测生物量图将材料的预测生物量映射到所述田地中的不同地理位置。
3.根据权利要求2所述的农业作业机器,其中,所述控制系统包括:
进料速率控制器,所述进料速率控制器基于所检测的地理位置和所述功能预测生物量图生成进料速率控制信号,并基于所述进料速率控制信号控制所述可控子系统,以控制通过所述农业作业机器的材料的进料速率。
4.根据权利要求1所述的农业作业机器,其中,所述预测图生成器包括:
预测机器速度图生成器,所述预测机器速度图生成器生成功能预测机器速度图,所述功能预测机器速度图将预测机器速度值映射到所述田地中的不同地理位置。
5.根据权利要求4所述的农业作业机器,其中,所述控制系统包括:
设置控制器,所述设置控制器基于所述检测的地理位置和所述功能预测机器速度图生成速度控制信号,并基于所述速度控制信号控制所述可控子系统以控制所述农业作业机器的速度。
6.根据权利要求1所述的农业作业机器,其中,所述预测图生成器包括:
预测操作员命令图生成器,所述预测操作员命令图生成器生成功能预测操作员命令图,所述功能预测操作员命令图将预测操作员命令映射到所述田地中的不同地理位置。
7.根据权利要求6所述的农业作业机器,其中,所述控制系统包括:
设置控制器,所述设置控制器基于所述检测的地理位置和所述功能预测操作员命令图生成指示操作员命令的操作员命令控制信号,并基于所述操作员命令控制信号控制所述可控子系统以执行所述操作员命令。
8.根据权利要求1所述的农业作业机器,还包括:
预测模型生成器,所述预测模型生成器基于所述地理位置处的先验信息图中的杂草特性的值和由所述现场传感器感测的所述地理位置处的农业特性的值,生成对所述杂草特性和所述农业特性之间的关系进行建模的预测农业模型,其中,所述预测图生成器基于所述先验信息图中的杂草特性的值并基于所述预测农业模型来生成所述功能预测农业图。
9.一种控制农业作业机器(100)的计算机实施的方法,包括
获得包括对应于田地中的不同地理位置的杂草特性的值的先验信息图(258);
检测所述农业作业机器(100)的地理位置;
利用现场传感器(208)检测对应于地理位置的农业特性的值;
基于所述先验信息图(258)中的杂草特性的值并基于所述农业特性的值,生成将预测控制值映射到所述田地中的不同地理位置的所述田地的功能预测农业图;以及
基于所述农业作业机器(100)的地理位置并基于所述功能预测农业图中的控制值来控制可控子系统(216)。
10.一种农业作业机器(100),包括:
通信系统(206),所述通信系统接收包括对应于田地中的不同地理位置的杂草特性的值的先验信息图(258);
地理位置传感器(204),所述地理位置传感器检测所述农业作业机器(100)的地理位置;
现场传感器(208),所述现场传感器检测对应于地理位置的农业特性的值;
预测模型生成器(210),所述预测模型生成器基于所述地理位置处的先验信息图中的杂草特性的值和由所述现场传感器(208)感测的所述地理位置处的农业特性的值,生成对所述杂草特性和所述农业特性之间的关系进行建模的预测农业模型;
预测图生成器(212),所述预测图生成器基于所述先验信息图(258)中的杂草特性的值并基于所述预测农业模型,生成将预测控制值映射到所述田地中的不同地理位置的所述田地的功能预测农业图;
可控子系统(216);以及
控制系统(214),所述控制系统基于所述农业作业机器(100)的地理位置并且基于所述功能预测农业图中的控制值生成控制信号以控制所述可控子系统(216)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111197090.4A CN113748832A (zh) | 2020-02-06 | 2021-02-07 | 使用预测图的机器控制 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/783,475 | 2020-02-06 | ||
US16/783,511 | 2020-02-06 | ||
US16/783,475 US11957072B2 (en) | 2020-02-06 | 2020-02-06 | Pre-emergence weed detection and mitigation system |
US16/783,511 US11641800B2 (en) | 2020-02-06 | 2020-02-06 | Agricultural harvesting machine with pre-emergence weed detection and mitigation system |
US17/066,444 US20210243951A1 (en) | 2020-02-06 | 2020-10-08 | Machine control using a predictive map |
US17/066,444 | 2020-10-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197090.4A Division CN113748832A (zh) | 2020-02-06 | 2021-02-07 | 使用预测图的机器控制 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113207411A true CN113207411A (zh) | 2021-08-06 |
Family
ID=74184510
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197090.4A Pending CN113748832A (zh) | 2020-02-06 | 2021-02-07 | 使用预测图的机器控制 |
CN202110182559.0A Pending CN113207411A (zh) | 2020-02-06 | 2021-02-07 | 使用预测图的机器控制 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197090.4A Pending CN113748832A (zh) | 2020-02-06 | 2021-02-07 | 使用预测图的机器控制 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210243951A1 (zh) |
EP (1) | EP3861843B1 (zh) |
CN (2) | CN113748832A (zh) |
AU (1) | AU2021200338A1 (zh) |
CA (1) | CA3107877A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4154694A1 (en) * | 2021-09-28 | 2023-03-29 | Deere & Company | Agricultural machine speed control based on work quality metrics |
US12120972B2 (en) | 2021-09-28 | 2024-10-22 | Deere & Company | Agricultural machine control using work quality based on in situ operation sensing |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3757934A1 (en) * | 2019-06-27 | 2020-12-30 | AGCO International GmbH | Integrated agricultural production system and method |
US11474523B2 (en) * | 2020-10-09 | 2022-10-18 | Deere & Company | Machine control using a predictive speed map |
US11874669B2 (en) * | 2020-10-09 | 2024-01-16 | Deere & Company | Map generation and control system |
US11845449B2 (en) * | 2020-10-09 | 2023-12-19 | Deere & Company | Map generation and control system |
GB202020322D0 (en) * | 2020-12-22 | 2021-02-03 | Agco Int Gmbh | Automation of agricultural machine operation |
US11237558B1 (en) * | 2021-06-25 | 2022-02-01 | Built Robotics Inc. | Online machine learning for autonomous earth moving vehicle control |
US11620603B2 (en) * | 2021-08-26 | 2023-04-04 | Caterpillar Paving Products Inc. | System and method for managing operator settings for a work machine |
US12035707B2 (en) * | 2021-09-23 | 2024-07-16 | Cnh Industrial America Llc | System and method for performing spraying operations with an agricultural applicator |
US20230234440A1 (en) * | 2022-01-27 | 2023-07-27 | Deere & Company | Equipment settings control based on aggregated data |
US20230292665A1 (en) * | 2022-03-15 | 2023-09-21 | Deere & Company | Systems and methods for predictive reel control |
DE102022107805A1 (de) | 2022-04-01 | 2023-10-05 | Deere & Company | Maschine zur Futterernte mit vorausschauender Ansteuerung |
CA3190416A1 (en) * | 2022-04-04 | 2023-10-04 | Deere & Company | Systems and methods for predictive ground engaging machine control |
US20230309449A1 (en) * | 2022-04-05 | 2023-10-05 | Deere & Company | Predictive machine setting map generation and control system |
US20240138285A1 (en) * | 2022-10-31 | 2024-05-02 | Deere & Company | Map based farming for windrower operation |
US20240152145A1 (en) * | 2022-11-03 | 2024-05-09 | Agco Corporation | Farming Machine Control and Generation of Operational Settings Based on Geographically-Linked Farming Images |
EP4364549A1 (en) * | 2022-11-03 | 2024-05-08 | Agco Corporation | Generation of enhanced operational settings and farming machine control according to generated fmis maps |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5995895A (en) * | 1997-07-15 | 1999-11-30 | Case Corporation | Control of vehicular systems in response to anticipated conditions predicted using predetermined geo-referenced maps |
DE102005000770B3 (de) * | 2005-01-05 | 2006-07-20 | Langlott, Jürgen | Verfahren zur Steuerung der Arbeitsorgane und der Fahrgeschwindigkeit eines Mähdreschers |
US8463510B2 (en) * | 2010-04-30 | 2013-06-11 | Cnh America Llc | GPS controlled residue spread width |
US10115158B2 (en) * | 2010-10-25 | 2018-10-30 | Trimble Inc. | Generating a crop recommendation |
US20160360697A1 (en) * | 2013-09-03 | 2016-12-15 | Agco Corporation | System and method for automatically changing machine control state |
US10188037B2 (en) * | 2015-09-24 | 2019-01-29 | Deere & Company | Yield estimation |
US10342174B2 (en) * | 2015-10-16 | 2019-07-09 | The Climate Corporation | Method for recommending seeding rate for corn seed using seed type and sowing row width |
EP3262934A1 (de) * | 2016-06-28 | 2018-01-03 | Bayer CropScience AG | Verfahren zur unkrautbekämpfung |
US10315655B2 (en) * | 2017-03-07 | 2019-06-11 | Deere & Company | Vehicle control based on soil compaction |
WO2018235486A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社クボタ | 収穫機 |
US11154002B2 (en) * | 2019-01-29 | 2021-10-26 | Cnh Industrial America Llc | System and method for controlling the operation of an agricultural implement based on determined soil moisture content |
NL2022612B1 (en) * | 2019-02-21 | 2020-08-31 | Exel Ind | Agricultural device and method for dispensing a liquid |
EP3945809A1 (en) * | 2019-03-29 | 2022-02-09 | BASF Agro Trademarks GmbH | Targeted weed control with chemical and mechanical means |
EP4025047A1 (en) * | 2019-09-05 | 2022-07-13 | Basf Se | System and method for identification of plant species |
WO2021102378A1 (en) * | 2019-11-20 | 2021-05-27 | FarmWise Labs, Inc. | Method for analyzing individual plants in an agricultural field |
US11113525B1 (en) * | 2020-05-18 | 2021-09-07 | X Development Llc | Using empirical evidence to generate synthetic training data for plant detection |
-
2020
- 2020-10-08 US US17/066,444 patent/US20210243951A1/en active Pending
-
2021
- 2021-01-14 EP EP21151666.1A patent/EP3861843B1/en active Active
- 2021-01-20 AU AU2021200338A patent/AU2021200338A1/en active Pending
- 2021-02-02 CA CA3107877A patent/CA3107877A1/en active Pending
- 2021-02-07 CN CN202111197090.4A patent/CN113748832A/zh active Pending
- 2021-02-07 CN CN202110182559.0A patent/CN113207411A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4154694A1 (en) * | 2021-09-28 | 2023-03-29 | Deere & Company | Agricultural machine speed control based on work quality metrics |
US12114601B2 (en) | 2021-09-28 | 2024-10-15 | Deere & Company | Agricultural machine speed control based on work quality metrics |
US12120972B2 (en) | 2021-09-28 | 2024-10-22 | Deere & Company | Agricultural machine control using work quality based on in situ operation sensing |
Also Published As
Publication number | Publication date |
---|---|
AU2021200338A1 (en) | 2021-08-26 |
US20210243951A1 (en) | 2021-08-12 |
EP3861843B1 (en) | 2023-09-06 |
CA3107877A1 (en) | 2021-08-06 |
CN113748832A (zh) | 2021-12-07 |
EP3861843A1 (en) | 2021-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3861843B1 (en) | Machine control using a predictive map | |
US11635765B2 (en) | Crop state map generation and control system | |
US11983009B2 (en) | Map generation and control system | |
CN114303598A (zh) | 使用预测图进行的机器控制 | |
US11474523B2 (en) | Machine control using a predictive speed map | |
US20240090358A1 (en) | Machine control using a predictive map | |
US20220110262A1 (en) | Predictive map generation and control system | |
US20220232763A1 (en) | Machine control using a map with regime zones | |
CN114303589A (zh) | 预测图生成和控制系统 | |
US20220110253A1 (en) | Machine control using a predictive map | |
US20230315096A1 (en) | Machine control using a predictive map | |
CN114303597A (zh) | 使用预测图进行的机器控制 | |
CN114303619A (zh) | 图生成器和控制系统 | |
CN114303616A (zh) | 作物成分图生成器和控制系统 | |
EP3981232B1 (en) | Predictive map generation and control system | |
CN114419454A (zh) | 使用预测图的机器控制 | |
CN114303590A (zh) | 预测图生成和控制系统 | |
CN114303594A (zh) | 预测性图生成和控制系统 | |
EP3981244B1 (en) | Machine control using a predictive map | |
EP3981243B1 (en) | Map generation and control system | |
CN114303612A (zh) | 预测图生成和控制系统 | |
CN114303595A (zh) | 预测性动力地图生成和控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |