CN109655413A

CN109655413A - 获得植物信息的方法

Info

Publication number: CN109655413A
Application number: CN201811177006.0A
Authority: CN
Inventors: D.克斯特斯
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-10-11
Filing date: 2018-10-10
Publication date: 2019-04-19
Also published as: BR102018070172A2; DE102017218118A1; DE102017218118B4; BR102018070172A8

Abstract

本发明涉及获得植物信息的方法。提出了一种用于获得至少一株生长在农业用地上的植物（22）的植物信息的方法，其中该方法具有如下步骤：将颜色参考元素（20）涂覆到植物（22）上；借助于光学检测单元（16）利用所述颜色参考元素（20）来检测所述植物（22），以便获得植物图像信息；借助于计算机单元（26），在使用所述颜色参考元素（20）的至少一个预先给定的光学特性的情况下修正所述植物图像信息，以便获得经颜色修正的植物图像信息；并且在使用所述经颜色修正的植物图像信息的情况下标识（108）所述植物（22），以便获得所述植物信息。

Description

获得植物信息的方法

技术领域

本发明涉及根据独立权利要求的类型的一种用于获得至少一株生长在农业用地上的植物的植物信息的方法以及一种信息系统。本发明的主题还有一种控制设备和一种计算机程序。

背景技术

在彩色摄影中（在特殊情况下，高光谱拍摄也属于此），为了测量画面中表面的比反射率，重要的是对入射光的测量（校准或灰度平衡，例如通过拍摄灰度参考）。在此，在野外并且在日光下进行拍摄时特别困难。在一次性校准到入射的太阳光时，在植物之间的所有散射、吸收和透射过程都被忽略。该散射光或二次光始终在局部占据优势，并且造成对反射率值的测量干扰，使得例如利用NDVI阈值的地面分割部分地被误导。在画面中携带的灰度参考也可以只提供二次光分布的抽样。对于在人造光下的各株植物来说，解决方案朝对植物进行3D检测和对反射效果进行建模的方向迈进，这在野外应用时会导致一种光谱光线追踪并且因此并不实用。

发明内容

在该背景下，利用这里所提出的方案，提出了根据独立权利要求所述的一种用于获得至少一株生长在农业用地上的植物的植物信息的方法，还提出了一种信息系统以及一种相对应的控制设备和一种计算机程序。

这里所提出的方案提供了一种用于获得至少一株生长在农业用地上的植物的植物信息的方法，其中该方法具有如下步骤：

- 将颜色参考元素涂覆到植物上；

- 借助于光学检测单元利用颜色参考元素来检测该植物，以便获得植物图像信息；

- 借助于计算机单元，在使用颜色参考元素的至少一个预先给定的光学特性的情况下修正植物图像信息，以便获得经颜色修正的植物图像信息；并且

- 在使用经颜色修正的植物图像信息的情况下标识该植物，以便获得植物信息。

用于获得至少一株生长在农业用地上的植物的植物信息的信息系统，具有：

- 提取装置（Ausbringvorrichtung），该提取装置被构造为将颜色参考元素涂覆到植物上；

- 光学检测单元，该光学检测单元被构造为利用颜色参考元素来检测该植物并且将植物图像信息输出给计算机单元；和

- 计算机单元，该计算机单元被构造为：在使用颜色参考元素的至少一个预先给定的和/或能预先给定的光学特性的情况下修正植物图像信息，并且在使用经颜色修正的植物图像信息的情况下标识该植物，以便获得植物信息。

控制设备，该控制设备被设置用于：

- 在借助于光学检测单元检测到的植物图像信息中识别涂覆在植物上的颜色参考元素，并且在使用相对应的颜色参考元素作为参考以及使用所述颜色参考元素的至少一个预先给定的和/或能预先给定的光学特性的情况下修正在分别环绕着所识别出的颜色参考元素的限定的图像区域中的植物图像信息，尤其是在所限定的图像区域中执行灰度平衡；

- 在使用经颜色修正的植物图像信息的情况下标识该植物，以便获得植物信息；以及

- 根据所获得的植物信息来输出控制信号。

计算机程序，该计算机程序被设置用于：

- 在借助于光学检测单元检测到的植物图像信息中识别涂覆在植物上的颜色参考元素，并且在使用相对应的颜色参考元素作为参考以及使用所述颜色参考元素的至少一个预先给定的和/或能预先给定的光学特性的情况下修正在分别环绕着所识别出的颜色参考元素的限定的图像区域中的植物图像信息，尤其是在所限定的图像区域中执行灰度平衡；以及

农业用地可被理解为在农业方面使用的土地，植物的种植面（Anbaufläche）或者也可以被理解为这种土地或种植面的一小块。因此，农业用地可以是耕地、牧场或草地。农业用地可以是露天田地或露天耕地。然而，农业用地也可以有屋顶并且例如是温室的部分。农业用地也可以是人造土地。植物例如可包括经济作物，所述经济作物的果实在农业方面被使用，例如被用作食品、饲料或者被用作能量作物。这些植物也可包括观赏植物。这些植物也可包括杂草或野草。

优选地，借助于提取装置来进行涂覆颜色参考元素的步骤。涂覆的步骤也可包括将颜色参考元素喷到植物上。在涂覆的步骤中，优选地，将多种参考元素涂覆或喷到植物上。在这种情况下，颜色参考元素可以基本上均质地或均匀地被涂覆到植物上。颜色参考元素在涂覆之后优选地与植物有粘性接触。提取装置可以布置在移动单元上，其中该移动单元尤其可以构造为农用汽车（Landfahrzeug）和/或飞机和/或构造为拖车。

颜色参考元素可以构造为粘附在植物上。所述颜色参考元素可以构造为固态或液态的。所述颜色参考元素可以构造为颗粒状和/或薄片状的。所述颜色参考元素可以构造为固态的并且可以是被涂覆到植物上的乳胶的部分。然而，所述颜色参考元素也可以构造为滴状的。所述颜色参考元素可以在其大小方面与光学检测单元的分辨率匹配，尤其是具有在基本上大于或等于2mm至小于或等于5mm的范围内的直径。所述颜色参考元素可以构造为食品级的，例如在如下植物的情况下构造为食品级，所述植物的用颜色参考颗粒喷洒的植物部分也像诸如在沙拉种植中那样被吃掉。所述颜色参考元素可具有如下材料或者由如下材料组成，该材料适合于摄像机应用的对比度测量和/或积分球系统的校准和/或光谱仪、光度计和辐射计的校准。因此，所述颜色参考元素可具有漫反射的聚合物，例如Zenith聚合物®或者硫酸钡（BaSO4）或二氧化钛，或者由此组成。

对植物的检测可以被理解为借助于光学检测单元对植物或植物的一部分以及必要时该植物的周围环境的（彩色）拍摄。光学检测单元例如可以被理解为摄像机或3D摄像机。光学检测单元可以是光学彩色摄像机和/或红外摄像机和/或多光谱摄像机和/或高光谱摄像机。该光学检测单元尤其可以构造为：在NIR和/或可见光波长范围内检测或拍摄图像。该光学检测单元可被校准，以便例如从所检测到的图像中计算出高度关联（Höhenzuordnung）。该光学检测单元可以被构造为将植物图像信息输出给计算机单元。该光学检测单元可以布置在移动单元上，其中该移动单元尤其可以被构造为农用汽车和/或飞机和/或构造为拖车。

植物图像信息可以被理解为图像或者植物参数，所述图像或所述植物参数再现了植物的可光学检测的特征或者植物的可借助于红外辐射检测的特征。植物图像信息可包括RGB图像和红外图像。在不脱离本发明的范围的情况下，原则上也可以将其它波长合并为可见波长范围和IR波长范围（例如多光谱和高光谱）。在这种情况下，植物图像信息也可包含如下信息，所述信息通过加工或处理植物的由光学检测单元或摄像机的图像传感器或红外传感器检测到的图像来获得。

可设想的是：在检测的步骤期间，也就是例如在其上布置有光学检测单元的移动单元在农业用地上驶过时，同时检测一株或多株植物。在这种情况下，也可以在驶过期间从不同角度多次拍摄同一株（同一组）植物，以便对该方法进行优化。接着，通过一次（One-Shot）图像拍摄技术，可以连续进行对同一植物的多次拍摄（图像排序（ImageSequencing））。该方法允许：将由于风力和照明情况以及在图像中的重叠和噪声引起的影响降低到最小值。由光学检测单元在给定的照明环境下所记录的植物图像信息例如包括RGB图像和红外图像。

对植物图像信息的修正可以被理解为对植物图像信息的颜色修正，在使用颜色参考元素的至少一个预先给定的光学特性的情况下执行该颜色修正。有利地，在修正的步骤中，可以利用颜色参考元素作为参考来执行对植物图像信息的颜色平衡。也就是说，换言之，在使用颜色参考元素的至少一个预先给定的光学特性的情况下或利用颜色参考元素作为参考来校准光学检测单元或光学检测单元的图像传感器。在这种情况下，首先可以确定每个颜色通道中的每种颜色参考元素的平均灰度值。紧接着，基于颜色参考元素的已知的反射特性或反射特征，可以确定入射到这些颜色参考元素中的每种颜色参考元素上的光线的成分，并且接着可以将所确定的局部光分布用于修正或校准植物图像信息。可以这样进行所述修正或校准，即每个颜色通道都被增强（multiplizieren）为使得颜色参考元素的平均灰度值对应于该颜色参考元素的反射特征。借助于计算机单元来进行修正。该计算机单元可以是光学检测单元的部分。

优选地，颜色参考元素的预先给定的或能预先给定的光学特性是颜色参考元素的反射特性或反射特征。因此，预先给定的光学特性是已知的光学特性。

对植物的标识例如可以被理解为：确定植物的存在性和/或确定形状、大小、种类、叶片数、叶片结构、芽数、芽结构、类型、属、品种、品种纯度、年龄、健康状态、生长阶段、成长状态或其它生物学特征，这些特征使一株植物能与其它植物和其它对象或（土地）地面区别开。在这种情况下，例如也可以确定一株植物相对其它植物的边界。有利地，在使用由植物图像信息构成的颜色部分的情况下，尤其是在使用由植物图像信息构成的绿色的颜色部分和/或由植物图像信息构成的红外部分的情况下，可以对植物进行标识。在这种情况下，通过自动分割方法、例如基于NDVI指数（Normalized Differenced Vegetation Index（归一化差异植被指数），该归一化差值植被指数由在光谱的近红外和可见红色波长范围内的反射率值构成），可以分割土地地面前面的前景并且借此分割植物，由此又可以对植物进行标识。借助于计算机单元来进行标识。该计算机单元可以是光学检测单元的部分。

在此，植物信息可以被理解为参数或信息，诸如上文提到的形状、大小、种类、叶片数、叶片结构、芽数、芽结构、类型、属、品种、品种纯度、年龄、健康状态、生长阶段、成长状态等等，所述参数或信息使一株植物能与其它植物和其它对象或（土地）地面区别开。然而，该参数也可以仅仅给出关于植物本身的存在性的信息。

植物图像信息、经颜色修正的植物图像信息和/或植物信息例如可以存储在存储单元中。

植物信息例如可以被用于紧接着对植物进行分类。分类应被理解为注释、尤其是自动注释。还可以设置根据该分类来处理植物的步骤。在这种情况下，处理可包括：利用有效物质、例如农药或化肥来进行处理，或者机械加工或损坏。该计算机单元尤其可以被构造为根据植物信息来输出控制信号。该计算机单元可以被构造为依据所接收到的信号基于规定来输出控制信号。该控制信号可以被发送给提取装置或喷洒器并且例如可以被用于控制或调节。这里所提出的方案基于如下认识：在图像中使用具有已知光学特性的局部颜色参考的情况下，可以消除或最小化极其稳健并且确定无疑的散射光影响，使得能执行对植物的没有错误的或错误减少的标识。对这些局部颜色参考的利用在于：这些局部颜色参考可以在植物图像信息中简单地提高价值并且在环绕着这些局部颜色参考的四周或周围环境中可以以散射光的恒定性和表面取向为出发点，使得在颜色参考元素在植物上有相对应的分布的情况下可以执行对植物图像的可靠的修正。由此，该信息系统对于使用者来说也变成无校准的，因为不再必须执行参考目标校准。

有利的是，在修正的步骤中，在植物图像信息中识别颜色参考元素，并且对在分别环绕着所识别出的颜色参考元素的限定的图像区域内的植物图像信息进行颜色修正，其中相对应的颜色参考元素用作参考。在这种情况下尤其有利的是，所识别出的颜色参考元素用作灰度参考并且所限定的图像区域在灰度方面被平衡。也就是说，换言之，识别“参考斑点”并且分析由这些参考斑点所反射的光，使得针对所分析的“参考斑点”可以处理具有局部有效的灰度平衡的对象像素（植物或地面）的所限定的四周。在这种情况下，识别颜色参考元素的步骤例如可以借助于形状识别（例如在基本上圆形的颗粒的情况下的圆形识别）和/或借助于反射识别（例如对在某些波长（例如红色）下的更高反射和传输到其它颜色通道中的识别）。通过该措施，可以非常简单并且高效地执行对植物图像信息或植物图像的修正并且由此可以执行对植物的标识。

该信息系统可具有：至少一个计算单元，用于处理信号或数据；至少一个存储单元，用于存储信号或数据；至少一个与传感器或执行器的接口，用于从传感器读入传感器信号或者用于将数据信号或控制信号输出给执行器；和/或至少一个通信接口，用于读入或输出嵌入到通信协议中的数据。计算单元例如可以是信号处理器、微控制器等等，其中存储单元可以是闪速存储器、EPROM或者磁存储单元。通信接口可以被构造为无线地和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口可以例如电地或光学地从相对应的数据传输线中读入这些数据或者可以将这些数据输出到相对应的数据传输线中。

在此，信息系统可以被理解为电气设备，所述电气设备对传感器信号进行处理并且根据此来输出控制和/或数据信号。该装置可具有接口，所述接口可以硬件式地和/或软件式地来构造。在硬件式的构造中，接口例如可以是所谓的系统ASIC的部分，所述系统ASIC包含该装置的各种各样的功能。然而也可能的是，这些接口是特有的集成电路或者至少部分地由分立式器件组成。在软件式的构造中，这些接口可以是软件模块，所述软件模块例如在微控制器上存在于其它软件模块旁边。

具有如下程序代码的计算机程序产品或计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或存储介质（如半导体存储器、硬盘存储器或光学存储器）上，并且尤其是当程序产品或程序在计算机或装置上被实施时，所述程序代码被用于执行、实现和/或操控根据上文描述的实施方式之一的方法的步骤。

按照本发明的方法例如可以以软件或硬件或者以软件和硬件的混合形式来实现，例如在控制设备中实现。

附图说明

在下文，本发明依据随附的附图示例性地进一步予以阐述。其中：

图1示出了用于获得植物信息的信息系统的示意图；

图2A-D示出了按照实施例的方法的按顺序的图示；并且

图3示出了按照实施例的方法的流程图。

具体实施方式

在图1中示出了按照本发明的信息系统，该信息系统以其整体配备有附图标记10。

信息系统10布置在农用汽车12上。该信息系统10具有提取装置14、光学检测单元16和控制单元18。

提取装置14被构造为将颜色参考元素20涂覆或喷到农业用地24的一株植物22或多株植物22上。

光学检测单元16构造为多光谱摄像机16。多光谱摄像机16被构造为：利用颜色参考元素20来检测植物22并且将植物图像信息输出给控制单元18的计算机单元26。

如随后依据图2A-D进一步阐述的那样，计算机单元26被构造为：在植物图像信息中识别被涂覆到植物22上的颜色参考元素20，对植物图像信息进行修正，以便获得经颜色修正的植物图像信息，并且最后在使用经颜色修正的植物图像信息的情况下标识植物22，以便获得植物信息。

控制单元18还具有存储单元28，用于存储从多光谱摄像机16获得的植物图像信息以及经颜色修正的植物图像信息。控制单元18还被构造为根据所获得的植物信息来输出控制信号。

附加地，在农用汽车12处布置有除草装置30。除草装置30被构造为喷洒单元30。喷洒单元30与控制单元18通信连接，并且被构造为根据控制信号将相对应的植物保护剂提取到植物22上。

现在，图2A-D示出了按照实施例的方法的按顺序的图示。

在图2A中，示出了借助于提取装置14将颜色参考元素20提取到植物22上的步骤。在这种情况下，颜色参考元素20被构造为灰色的颜色颗粒20，所述灰色的颜色颗粒20的反射特征是已知的。

在图2B中，示出了借助于光学检测单元16或多光谱摄像机16利用颜色参考元素20或颜色颗粒20来检测植物22的步骤，其中获得植物图像信息。植物图像信息被输出给控制单元18并且被存放在存储单元28中。

在图2C和2D中，示出了借助于计算机单元26在使用颜色颗粒20的预先给定的或已知的反射特征的情况下对植物图像信息进行修正的步骤，其中获得经颜色修正的植物图像信息。在这种情况下，首先按照图2C在植物图像信息中识别或定位颜色颗粒20、也就是灰色的“颜色斑点”。紧接着，确定每个颜色通道中的每个颜色颗粒20或“颜色斑点”的平均灰度值。接着，基于颜色颗粒20的已知的反射特性或反射特征，从中可以确定入射光线32的成分（通过不同的箭头密度象征性地表示）。接着，按照图2D，将所确定的局部光分布用于修正或校准分别环绕着所识别出的颜色颗粒20的所限定的图像区域34，以便获得经颜色修正的植物图像信息。可以这样进行修正或校准，即每个颜色通道都被增强，使得颜色颗粒20或“颜色斑点”的平均灰度值对应于其反射特征。按照本发明，最后在使用经颜色修正的植物图像信息的情况下标识植物22，以便获得植物信息。

图3示出了这里所提出的作为方法100的方案的实施例的流程图，所述方法100用于获得至少一株生长在农业用地24上的植物22的植物信息。该方法100包括将颜色参考元素20涂覆到植物22上的步骤102。该方法100还包括：借助于光学检测单元16利用颜色参考元素20来检测植物22以便获得植物图像信息的步骤104。该方法100还包括：借助于计算机单元26在使用颜色参考元素20的至少一个预先给定的光学特性的情况下修正植物图像信息以便获得经颜色修正的植物图像信息26的步骤106。最后，该方法100包括在使用经颜色修正的植物图像信息的情况下标识植物22以便获得植物信息的步骤108。

如果一个实施例包括在第一特征与第二特征之间的“和/或”关系，那么这被读作为该实施例按照一个实施方式不仅具有第一特征而且具有第二特征，而按照另一实施例要么只具有第一特征要么只具有第二特征。

Claims

1.用于获得至少一株生长在农业用地（24）上的植物（22）的植物信息的方法（100），其中所述方法（100）具有如下步骤：

- 将颜色参考元素（20）涂覆（102）到植物（22）上；

- 借助于光学检测单元（16）利用所述颜色参考元素（20）来检测（104）所述植物（22），以便获得植物图像信息；

- 借助于计算机单元（26），在使用所述颜色参考元素（20）的至少一个预先给定的光学特性的情况下修正（106）所述植物图像信息，以便获得经颜色修正的植物图像信息；并且

- 在使用所述经颜色修正的植物图像信息的情况下标识（108）所述植物（22），以便获得所述植物信息。

2.根据权利要求1所述的方法（100），其特征在于，所述颜色参考元素（20）的预先给定的光学特性是反射特性。

3.根据权利要求1或2所述的方法（100），其特征在于，所述颜色参考元素（20）构造为颗粒状和/或薄片状的。

4.根据上述权利要求之一所述的方法（100），其特征在于，所述颜色参考元素（20）在其大小方面与所述光学检测单元（16）的分辨率匹配，尤其是具有在基本上大于或等于2mm至小于或等于5mm的范围内的直径。

5.根据上述权利要求之一所述的方法（100），其特征在于，在所述涂覆（102）的步骤中，所述颜色参考元素（20）借助于提取装置（14）被喷到所述植物（22）上。

6.根据上述权利要求之一所述的方法（100），其特征在于，在所述修正（106）的步骤中，利用所述颜色参考元素（20）作为参考来执行对所述植物图像信息的颜色平衡。

7.根据上述权利要求之一所述的方法（100），其特征在于，在所述修正（106）的步骤中，在所述植物图像信息中识别所述颜色参考元素（20），并且对在分别环绕着所识别出的颜色参考元素（20）的限定的图像区域（34）内的植物图像信息进行颜色修正，其中相对应的颜色参考元素（20）用作参考。

8.根据权利要求7所述的方法（100），其特征在于，所识别出的颜色参考元素（20）用作灰度参考并且所限定的图像区域（34）在灰度方面被平衡。

9.根据上述权利要求之一所述的方法（100），其特征在于，在所述标识（108）的步骤中，在使用由所述植物图像信息构成的植物图像的颜色部分的情况下，尤其是在使用由所述植物图像信息构成的植物图像的绿色的颜色部分和/或由所述植物图像信息构成的植物图像的红外部分的情况下，对所述植物（22）进行标识。

10.根据上述权利要求之一所述的方法（100），其特征在于，在所述涂覆（102）和/或所述检测（104）的步骤中，将布置在车辆和/或布置在飞机上的提取装置（14）用于涂覆所述颜色参考元素（20）和/或将光学检测单元（16）用于检测所述植物（22）。

11.根据上述权利要求之一所述的方法（100），其特征在于，所述植物（22）的植物信息从由如下信息构成的组中选择：植物的存在性、形状、大小、种类、叶片数、叶片结构、芽数、芽结构、类型、属、品种、品种纯度、年龄、健康状态、生长阶段、成长状态。

12.用于获得至少一株生长在农业用地（24）上的植物（22）的植物信息的信息系统（10），所述信息系统（10）具有：

- 涂覆装置（14），所述涂覆装置被构造为将颜色参考元素（20）涂覆到植物（22）上；

- 光学检测单元（16），所述光学检测单元被构造为利用所述颜色参考元素（20）来检测所述植物（22）并且将植物图像信息输出给计算机单元（26）；和

- 计算机单元（26），所述计算机单元被构造为在使用所述颜色参考元素（20）的至少一个预先给定的和/或能预先给定的光学特性的情况下修正所述植物图像信息，并且在使用经颜色修正的植物图像信息的情况下标识所述植物（22），以便获得所述植物信息。

13.控制设备，所述控制设备被设置用于：

- 在借助于光学检测单元（16）检测到的植物图像信息中识别被涂覆在植物（22）上的颜色参考元素（20），并且在使用相对应的颜色参考元素（20）作为参考和使用所述颜色参考元素（20）的至少一个预先给定的和/或能预先给定的光学特性的情况下修正在分别环绕着所识别出的颜色参考元素（20）的限定的图像区域（34）内的植物图像信息，尤其是在所限定的图像区域（34）内执行灰度平衡；

- 在使用经颜色修正的植物图像信息的情况下标识所述植物（22），以便获得植物信息；并且

- 根据所获得的植物信息来输出控制信号。

14.计算机程序，所述计算机程序被设置用于：

- 在借助于光学检测单元（16）检测到的植物图像信息中识别被涂覆在植物（22）上的颜色参考元素（20），并且在使用相对应的颜色参考元素（20）作为参考和使用所述颜色参考元素（20）的至少一个预先给定的和/或能预先给定的光学特性的情况下修正在分别环绕着所识别出的颜色参考元素（20）的限定的图像区域（34）内的植物图像信息，尤其是在所限定的图像区域（34）内执行灰度平衡；并且

- 在使用经颜色修正的植物图像信息的情况下标识所述植物（22），以便获得植物信息。

15.机器可读的存储介质，其具有被存储在其上的根据权利要求14所述的计算机程序。