CN115136207A - 用于自动植物图像标记的方法和系统 - Google Patents

Abstract

本发明涉及一种计算机实现的方法，其包括：‑使用第一图像获取技术(104)获取(406)第一训练图像(108)，每个第一训练图像描绘了植物相关动机；‑使用第二图像获取技术(102)获取(402)第二训练图像(106)，每个第二训练图像描绘所述第一训练图像中相应一个第一训练图像描绘的动机；‑将至少一个标记(150、152、154)自动分配(404)给每个获取的第二训练图像；‑将描绘动机中的相同动机的所述第一训练图像和第二训练图像在空间上对齐(408)成对齐的训练图像对；‑根据所述对齐的训练图像对和所述标记来训练(410)机器学习模型(132)，其中，在训练期间，所述机器学习模型(132)学习将一个或多个标记(250、252、254)自动分配给使用描绘植物相关动机的所述第一图像获取技术获取的任何测试图像(205)；以及‑提供(412)经训练的机器学习模型(132)。

Description

用于自动植物图像标记的方法和系统

技术领域

本公开内容涉及用于改进描绘植物和植物相关动机的图像的标记的方法和系统。

背景技术

光谱成像是使用专用传感器检测对象反射的光。在光谱带中测量反射光。几种光谱成像方法在许多光谱带中和/或在可见光谱或不可见光谱的大范围内获取光。一般来说，光谱带的数量越多并且覆盖的光谱范围越大，获取的光谱图像的精度、灵活性和信息内容含量就越高。

光谱成像现在广泛用于农业和精细农作。例如，卫星和安装在无人机上的相机正在使用多光谱或高光谱成像技术来获取包含高信息内容含量的作物图像，并且因此可以执行各种图像分析技术。

例如，专利申请W02017105177A1描述了一种精细农业系统，该系统使用通过安装在继而是地理坐标参考的无人驾驶飞行器下部的高速和高分辨率相机捕获的多光谱和高光谱图像的地图。

在精细农作领域，存在几种基于高光谱图像数据的图像分类算法。然而，高光谱和多光谱相机价格昂贵。此外，高光谱和多光谱相机通常比RGB相机更大和/或更重，因此在现有但不太稳定的脚手架或建筑物或无人机上安装此类相机通常是不可能的，或者至少是困难或昂贵的。同时，具有良好RGB相机的无人机可用于广泛的消费市场。数量大导致价格相对较低，而带有高光谱相机的无人机通常是定制的，只服务于一个小市场，并且因此相对昂贵。

因此，图像数据在精细农作及相关技术领域的使用如下问题相关联：现有图像分类算法需要高光谱图像数据作为输入，但与其他相对简单的图像获取技术(例如使用标准相机拍摄RGB图像)相比，这些数据的获取通常更加昂贵且在技术上很复杂。然而，RGB图像通常不能替代高光谱图像，因为它们的信息内容与高光谱图像的信息内容不同，并且因此不能作为现有的基于高光谱图像的图像分析方法的输入。

为了使机器学习系统/过程生成能够准确解决预测任务的高质量模型，必须在足够大的训练数据语料库上对它们进行训练。如果数据基础太小或有偏差，则在训练期间得到的模型具有很差的泛化，准确率差并且将不平衡。然而，对足够大的训练数据语料库进行标注需要大量的劳动力。这通常是生成高度准确的ML模型的瓶颈，ML模型可用于各种预测任务，例如数字图像的语义标记。

Nguyen等人在“Training-Based Spectral Reconstruction from a Single RGBImage”ECCV 2014中描述了从RGB图像自动复制高光谱图像。至少对于“场景照明”等一些任务，可以使用“计算的”高光谱图像来代替“真实的”高光谱图像。然而，由于RGB图像只覆盖了高光谱图像的光谱的一小部分，因此“计算”的高光谱图像在其他应用场景中可能无法准确地替代“真实”的高光谱图像。

发明内容

本发明提供了用于分析独立专利权利要求中说明的描述植物相关动机的数字图像的改进的方法、计算机程序产品和系统。本发明的实施例在从属权利要求中给出。本发明的实施例可以在不相互排斥的情况下自由地相互组合。

在一个方面，本发明涉及一种计算机实现的方法，其包括：

-使用第一图像获取技术获取第一训练图像，每个第一训练图像描绘植物相关的动机，其中，植物相关的动机是从包括下列各项的组中选择的：室内或室外农业区、植物、植物产品、植物的一部分、植物产品的一部分；

-使用第二图像获取技术获取第二训练图像，每个第二训练图像描绘第一训练图像中相应一个第一训练图像中描绘的动机；

-将至少一个标记自动分配给每个获取的第二训练图像；

-将描绘动机中相同动机的第一训练图像和第二训练图像在空间上对齐成对齐的训练图像对；

-根据对齐的训练图像对和标记来训练机器学习模型，其中，在训练期间，机器学习模型学习以将一个或多个标记自动分配给使用描绘植物相关动机的第一图像获取技术获取的任何测试图像；以及

-提供经训练的机器学习模型。

这可以是有利的，因为本发明的实施例允许提供适用于基于容易获取的数字图像(利用第一图像获取技术获得的)来自动计算和预测标记的软件(这里：经训练的机器学习模型)，从而自动预测容易获取的数字图像的一个或多个标记的值和位置，即使高质量数字图像(例如，通常用于计算标记的高光谱图像)不可用。

本发明的实施例提供了适用于自动预测标记并将标记分配给已使用第一图像获取技术获取的任何数字输入图像的经训练的ML模型。因此，本发明的实施例加速并简化了可用于各种目的的经标记数据集的生成，各种目的例如，可用于评估植物健康或其他表型信息。手动创建带注释的训练数据是非常耗时、昂贵且容易出错的过程。使用包含在利用第二种通常复杂和/或扩展的图像获取技术获取的信息丰富的数字图像中的信息用于自动预测标记，以及在对齐的第一训练图像和第二训练图像对上训练ML模型可能具有以下优点：生成经训练的ML模型，该ML模型适用于还基于通过相对便宜/低复杂度的第一图像获取技术获取的第一图像，自动预测和生成这些标记。这可以允许避免繁琐且有偏置的手动标记，因为提供了经训练的ML程序，该经训练的ML程序适用于全自动地计算和分配标记。

所提供的经训练的ML模型可以允许基于第一训练图像的图像特征与分配给第二训练图像的标记的学习的相关性来生成使用第一图像获取技术获取的图像的精确空间标记，由此训练图像的标记是从包含在第二训练图像中的光谱和/或空间信息导出的，该光谱和/或空间信息在第一训练图像中可能不存在。学习使用第一种图像获取技术获得的图像的图像特征与从使用第二种图像获取技术获得的图像中获得的真实标记之间的这种相关性，可以允许避免对第一(训练和测试)图像进行耗时且可能有偏置的手动逐像素标记。

在精细农作和其他相关技术领域，生成经标记的图像作为各种机器学习方法的训练数据是非常耗时的。本发明的实施例使用经训练的ML模型以用于在测试时自动创建标记。可以非常快速地创建经训练的ML模型，例如自动或半自动地。例如，获取第二训练图像，其包括允许快速和自动标记预测和分配的足够信息。这些标记被映射到描绘相同动机的第一训练图像。第一训练图像和标记用作训练ML模型的输入，以便模型学习以基于第一训练图像的图像特征来预测标记。换句话说，可以轻松且全自动地被标记的第二训练图像与第一训练图像(可以更便宜、更快等地获得的)一起用作输入，以用于生成能够基于经由第一种图像获取方法获得的数字图像来预测这些标记的经训练的模型。

根据实施例，植物相关动机是尺寸为至少1mm，特别是至少1cm的宏观动机。

根据实施例，对第一训练图像中的每个第一训练图像和第二训练图像中的相应一个第二训练图像的获取同时或紧密连续地执行，使得用于获取随后形成对齐图像对之一的第一训练图像和第二训练图像的光学传感器相对于植物相关动机具有基本相同或高度相似的传感器位置。换言之，在训练期间彼此空间上对齐的描绘相同或相似动机的第一训练图像和第二训练图像是同时或紧密连续获取的图像。因此，每个对齐图像对的第一训练图像和第二训练图像中描绘的动机是相同或至少近似相同的。

根据实施例，第一图像获取技术可以是与第二图像获取技术相比更便宜和/或技术上较不复杂的图像获取技术。例如，第一图像获取技术可以是RGB图像的获取，而第二图像获取技术可以是高光谱图像的获取。

根据实施例，将至少一个标记分配给第二训练图像中的每个第二训练图像被实施为使得向第二训练图像的每个像素分配相应的标记。根据其他实施例，至少一些标记被分配给像素组，例如，被分配给单个像素块或图像片段。根据更进一步的实施例，单个标记被分配(“全局地”)给第二训练图像。

根据实施例，标记可以包括或由任何类型的一个或多个数据值组成。例如，标记可以包括布尔值、数值或字母数字字符串，或者由它们组成。这些标记可用于指示像素、像素块或图像在预定义类别(例如“土壤”、“健康植物”或“受感染植物”)中的成员资格。

根据实施例，经训练的ML模型是适用于执行预测任务的模型，其中预测任务可以是回归问题或分类问题。

根据实施例，预测任务包括预测标记的值和位置并将标记分配给数字图像。

例如，每个标记可以指示类别名称或指示类别成员可能性的数值或与下游图像分析操作相关的另一参数值。例如，类别名称标记可用于图像分类任务。例如，数值标记可用于回归任务，可用于整个图像、图像的部分或每个单独的像素(例如，语义图像分段，其将具有相同或足够相似标记的相邻像素区域视为属于同一片段的像素)。

例如，每个标记可以是数字，例如整数或浮点数。根据实施例，经训练的ML模型已经学习并且被配置为在测试时将这些数值作为标记自动分配给经由第一图像获取技术获取的任何输入图像。因此，经训练的ML已经学会用数值，例如百分比值，自动标记输入图像。一个或多个测试图像的经标记数值可用于评估植物健康或其他表型信息。例如，可以利用经自动标记的测试图像将该评估实施为回归问题。例如，数值可以是值“68％”，指示像素、像素块或图像描绘特定类别的对象(例如，“土壤”)的可能性。

根据另一示例，每个标记表示包括在有限的预定义类集合中的类的名称。这些类可以指示图像、像素块或单个像素所属的动机或对象的类别。例如，类别名称可以以下列形式指定：布尔值(例如，“true”表示受感染，而“false”表示“健康”)或字符串(“健康植物”、“受感染植物”、“土壤”、“50％土壤-50％健康植物”、“50％土壤-50％受感染植物”)或数值(例如，属于“健康植物”类别的％77％可能性)。根据实施例，经训练的ML模型已经学习并且被配置为在测试时将这些预定义类别名称作为标记自动分配给经由第一图像获取技术获取的任何输入图像。因此，经训练的ML已经学会用一个或多个预定义类的类别名称自动标记输入图像。分配给一个或多个测试图像的标记可以用作二阶训练数据，该二阶训练数据作为输入提供给另一ML程序，该另一ML程序学习基于经自动标记的测试图像解决分类问题。

根据实施例，描绘相同动机的第一训练图像和第二训练图像的对齐是手动执行的。根据其他实施例，使用自动图像对齐技术例如图像配准、摄影测量或地理坐标参考技术来执行对齐。根据实施例，可以基于每个像素来执行对齐。

根据实施例，对中的每一个的第一训练图像和第二训练图像的空间对齐包括：基于它们各自的地理位置来对齐描绘相同动机的第一图像和第二图像，从而提供大致对齐的图像对，以及然后根据像素强度和/或颜色相似性来细化对齐，使得第一图像和第二图像之间的强度差异和/或颜色差异最小化，以提供该对的第一图像和第二图像的对齐。测试图像中描绘的植物相关动机优选地类似于第一训练图像和第二训练图像中描绘的植物相关动机。例如，如果对特定物种的个体植物执行训练，则测试图像也应该是在光学传感器和植物的相似相对位置处获取的相同或相似物种的植物的图像。如果训练是在农业区域执行的，则测试图像也应该是在光学传感器和农业区域的相似的相对位置处获取的，并且优选地在相似的环境光条件下获取的农业区域的图像。

根据实施例，该方法包括：使用经训练的机器学习模型来预测测试图像的一个或多个标记；以及输出经标记的测试图像。

可以对使用第一图像获取技术获取的多个测试图像重复这些步骤。因此，可以计算大量经自动标记的测试图像。该经标记的图像集合可用于各种目的。例如，为了执行测试图像的图像分段，可以使用标记以识别农业区域中需要施用水、肥料、杀虫剂和/或杀真菌剂的区域或者应种植或收获某种类型的植物的区域。由经训练的ML模型输出的一个或多个经标记的测试图像也可以用作用于各种二阶机器学习任务的训练图像。

根据实施例，该方法还包括从每个第一训练图像中提取第一特征(也被称为“图像特征”)。ML模型的训练被执行使得ML模型基于对齐的第一训练图像和第二训练图像对中的每个训练图像内的第一特征和标记的空间相关性来学习分配给第二训练图像的第一特征和标记的空间相关性。

例如，可以通过用于训练ML模型的机器学习程序来执行从每个第一训练图像中提取特征。例如，当今可用且可用于基于图像的机器学习任务的几种神经网络架构已经包括多种图像特征提取算法，这些图像特征提取算法应用于任何输入图像，以便在训练期间使用提取的第一图像特征作为输入。例如，各种神经网络如DeepLabv3+包括图像特征提取算法。在训练期间，ML模型学习至少一些自动提取的第一图像特征或这些第一图像特征与分配给第二训练图像的标记(第二训练图像的标记已经与描述相同或大致相同的植物相关动机的第一训练图像的标记对齐)的内容和位置的组合的相关性。

根据实施例，第一特征包括从包括以下各项的组选择的一个或多个图像特征：强度值、强度梯度、对比度、强度梯度方向、颜色指数和/或光谱指数，以及两个或更多个上述图像特征的线性和非线性组合。根据一些实施例，用于训练ML模型的软件程序包括一个或多个算法，用于从图像中自动提取多个不同的图像特征，并且在模型的训练期间，模型学习第一特征的子集和/或对于与第一训练图像对齐的特定标记特别具有预测性的两个或多个第一特征的组合。

根据实施例，该方法还包括从每个第二训练图像中提取第二特征(也被称为“图像特征”)。将至少一个标记自动分配给第二训练图像中的每个第二训练图像包括：分析从第二训练图像提取的第二特征，以根据从第二训练图像提取的第二特征预测第二训练图像的至少一个标记。

根据实施例，第二特征的提取也由ML程序执行以用于训练ML模型。然而，根据优选实施例，从第二训练图像中提取第二图像特征是由单独的特征提取软件程序或模块执行的。这可能是有利的，因为标记的内容和位置可能会取决于各自的计算任务而发生很大变化，因此当前机器学习框架中包含的标准图像特征提取算法可能无法涵盖自动预测标记所需的第二图像特征的类型。

例如，第二训练图像可以是高光谱图像，并且要分配给第二训练图像的标记可以从下面列出的预定义类别名称的有限集合中选择，其中“S”表示“土壤”，“HP”表示“健康植物”而“IP”表示“受感染植物：“～100％S”,“～100％HP”,“～100％IP”,“～50％S&～50％HP”,“～50％S&～50％IP”,“～50％IP&～50％HP”,“～25％S&～25％HP～50％IP”,“～25％S&～50％HP～25％IP”,“～50％S&～25％HP～25％IP”。因此，标记“～50％S&～50％HP”指示分配了该标记的图像区域描绘了一半被土壤覆盖、一半被健康植物覆盖的农业区域。从每个第二训练图像中提取的第二特征例如可以是像素或像素块的光谱签名(signature)。提取的签名可以与预定义的已知光谱参考签名集合进行比较。每个光谱参考签名可以是上述类别中的一个或多个类别中的相应类别的特性。例如，可能存在“100％S”的参考光谱签名，即作为裸土的特性的在宽光谱范围内的特定强度模式。此外，可能存在“100％HP”的参考光谱签名，即作为特定物种的健康植物的特性的在宽光谱范围内的特定强度模式。通过将提取的特征(“第二图像特征”)与参考光谱特征进行比较，可以识别与提取的第二特征最相似的参考特征之一，并且由该识别的参考光谱签名表示的类的类别名称可以用作分配给从中提取光谱签名的像素或像素块的标记。

根据实施例，植物相关动机是具有多种植物、植物、植物产品、植物的一部分、植物产品的一部分的室内或室外农业区域，由此没有植物或植物产品被修饰、化学处理和/或染色以提供标记或促进标记。

可能不需要对植物进行染色或化学处理以使某些特征可视化，因为特别是高光谱参考特征可以允许基本上检测植物的任何特征，这些特征对植物吸收或反射光的方式有影响。

根据其他实施例，第二特征包括从包括下列各项的组中选择的一个或多个图像特征：光谱特征、光谱指数、空间光谱特征(指定强度和空间之间关系的特征，例如光谱梯度)、基于强度的特征。

第二特征的数量和类型以及因此用于提取第二特征的算法在很大程度上取决于应基于第二特征预测的标记。

根据实施例，第一图像获取技术和第二图像获取技术是分别从包括下列各项的组中选择的不同图像获取技术：

-高光谱图像获取；

-RGB图像获取；

-单色图像获取；例如，单色图像获取可以包括使用单色仪(一种光学设备，它发送机械上可选择的窄带光波长或从输入端可用的更宽波长范围中选择的其他辐射)。

-使用激发光源的主动图像获取；

-多光谱图像获取；以及

-IR图像获取。

根据实施例，将标记自动分配给第二训练图像中的每个第二训练图像的像素或区域包括：

-对于动机类别的预定义的集合中的每一个，从属于该动机类别的物理参考动机获取光谱参考特征；

-将光谱参考特征与第二训练图像进行比较，以识别第二训练图像的像素或区域与光谱参考特征之间的光谱相似性；以及

-为第二训练图像中的每个第二训练图像的每个像素或区域分配标记，标记指示动机类别中在光谱上与该像素或区域最相似的动机类别。

使用从第二训练图像中提取的光谱特征和作为感兴趣对象类别的特性的光谱参考特征来预测标记可能是有利的，因为只要图像覆盖足够宽的光谱范围(对于高光谱和多光谱图像尤其如此)，光谱特征在信息上是丰富的并且可以容易地获取。因此，可以提供基于单一特征类型的准确标记预测。使用光谱特征作为第二特征以用于预测标记利用了这样的事实，即某些对象或动机在电磁光谱中留下独特的“指纹”，这是对象类别的高度特性。

此外，该方法高度灵活，并且可用于自动识别基本上任何类型的感兴趣对象，而无需对用于提取第二特征(此处为光谱特征)的特征提取算法进行重大调整。例如，为了在多个第二训练图像中自动检测特定物种或特定生理状态的植物，获取描绘被该特定植物覆盖的农业区域的一幅或多幅高光谱或多光谱参考图像可能就足够了。然后，从描绘这些植物的一幅或多幅参考图像的那些部分中提取参考特征。用于从第二训练图像中提取第二特征的特征提取步骤包括：在每个第二训练图像的每个像素处提取光谱特征，并且使用它们以使用不同方法将第二训练图像划分为相似像素组(片段)。作为最后一步，例如通过将每个像素的特征(或片段的像素的平均光谱特征)与感兴趣的特定植物(或其他对象)的已知光谱参考特征进行比较，将标记(例如类别名称)分配给每个片段(或片段中的每个像素)。最终，第二训练图像的像素或片段中的光谱特征与参考光谱特征的正确匹配导致准确预测和将指示上述感兴趣植物的存在的标记分配给第二训练图像。通过向参考光谱特征库添加附加参考光谱特征，并在特征比较和标记预测期间考虑该附加参考光谱特征，这种方法可以很容易地扩展到其他对象类别。

因此，使用光谱特征进行标记预测可能是有益的，因为不需要定义明确搜索颜色、形状、纹理或被程序员认为是特定对象的“特性”的其他特征的算法。这可以具有这样的优点：许多“特性”特征可能没有被包括在光谱的“可见”部分中并且因此不能被人类感知。

根据实施例，第二图像获取技术是使用高光谱传感器的高光谱图像获取。

这可以具有第二训练图像富含光谱信息的优点。针对第二训练图像的各个像素导出的光谱特征因此可以用于高度准确地预测指示图像所描绘的对象类型(或描绘该对象类型的可能性)的标记。

根据实施例，第二图像获取技术比第一图像获取技术覆盖整个电磁频谱的更大部分(例如，从低于1赫兹到高于10²⁵赫兹)。

例如，第二图像获取技术可以是高光谱成像或多光谱成像，而第一图像获取技术可以是RGB图像获取或单色图像获取。这可以具有第二训练图像富含光谱信息的优点，并且因此可以为单独或主要基于光谱信息(例如单个像素的光谱特征)准确预测标记提供了良好的基础。像RGB成像或单色成像这样的图像获取技术具有以下优点：分别使用的光学传感器通常便宜、机械上鲁棒、重量轻和/或具有高空间分辨率。基于第二训练图像中的光谱信息预测的标记向第一训练图像的图像特征的空间分配来训练ML模型，因此提供了经训练的ML模型，该经训练的ML模型能够基于从使用相对便宜的图像获取技术获取的图像中提取的特征来预测标记，使用相对便宜的图像获取技术获取的图像可以包括比使用第二图像获取技术获取的图像更少的光谱信息。

根据实施例，与第一图像获取技术相比，第二图像获取技术覆盖整个电磁光谱的不同部分(例如，IR而不是UV，反之亦然)。

根据实施例，与第一图像获取技术相比，第二图像获取技术的特征在于每空间区域更高的信息内容，具体而言，每空间区域更高的光谱信息内容。例如，第二训练图像可以包括比第一训练图像更多的“数据层”，例如每个区域更多的光谱带特定子图像。

根据实施例，第二图像获取技术的特征在于与第一图像获取技术相比不同的每个空间区域的信息内容(例如，与电磁光谱中的不同波长范围相关的光谱信息)。

根据实施例，第一图像获取技术具有比第二图像获取技术更高的空间分辨率。

根据本发明的实施例，第二图像获取技术是高光谱图像获取技术，并且第一图像获取技术是RGB图像获取或多光谱图像获取技术。

例如，为了获取第一训练图像和/或测试图像，可以使用智能手机的“标准”RGB相机、集成在精细农作中使用的无人机中的RGB相机、或者集成在显微镜中的用于获取具有高空间分辨率的植物、植物产品及其部分的放大图像的RGB相机。这些RGB相机的空间分辨率比使用的许多高光谱相机(例如用于精细农作的高光谱相机)的空间分辨率更大(通常大多个数量级)。这可能是有利的，因为在第一训练图像中包含的关于空间特征信息的高信息密度可以允许ML模型在训练期间学习以将从第一训练图像以第一特征的形式提取的空间图像特征与已经基于包括在第二训练图像中的光谱信息预测的空间上对齐的标记相关联。因此，ML程序在训练期间“学习”以基于图像特征来预测标记，这些图像特征仅存在于第一训练图像中，但在第二训练图像中不存在(或在第二训练图像中的出现减少)。因此，根据实施例，具有大量光谱信息的低分辨率高光谱图像被用于自动预测标记，然后这些标记被自动对齐到具有较低光谱信息的高分辨率图像。申请人惊奇地观察到，具有很少光谱信息的高分辨率图像(例如RGB图像或单色图像)通常包含使得能够基于来自不同图像获取技术(例如高光谱成像)的标记数据成功训练准确ML模型的特征。与现有方法(如手动标记)相比，这需要更少的人工劳动并允许(半)自动工作流程。例如，可以由经训练的ML模型根据高分辨率RGB图像中对象的形状和/或颜色的变化来推断从使用高光谱传感器以低分辨率获取的光谱特征推断的疾病进展状态，作为训练过程的结果。

根据实施例，第一训练图像是RGB图像。第二训练图像是高光谱图像。这些对中的每一对的第一训练图像和第二训练图像的空间对齐包括：

-针对第二训练图像的每个像素，通过对第二训练图像所覆盖的可见红、绿、蓝光谱带的光谱强度值分别取平均值，计算出红、绿和蓝的强度值；

-根据计算出的红、绿和蓝的强度值生成第二训练图像的RGB表示；例如，可以通过将这三个红、绿和蓝的强度值组合成基于像素的元组，或者优选地基于更复杂的方法，如r＝R/(R+G+B),g＝G/(R+G+B),b＝B/(R+G+B)来计算RGB表示；

-计算第一绿度图像，第一绿度图像的每个像素强度是根据第一训练图像的红、绿和蓝的强度值计算的绿度指数；

-计算第二绿度图像，第二绿度图像的每个像素强度是根据第二训练图像的RGB表示的红、绿和蓝的强度值计算的绿度指数；

-自动执行第一训练图像和第二训练图像的对齐，使得第一图像和第二图像的绿度指数的差异最小化。

绿度指数突出了例如植物等绿色动机成分。绿度可以从残留物/土壤背景中分离出绿色组织。例如，它可以根据以下公式计算：绿度＝2G-R-B或绿度＝2G+B-2R。

使用基于绿度指数的图像对齐可能是有益的，因为对齐过程本质上侧重于特别感兴趣的对象，即通常具有绿色的植物和植物部分。植物和植物部分是灵活的对象，其精确轮廓可能会略有不同，例如取决于风和其他参数。因此，在图像对齐的上下文中使用绿度指数可能比例如基于分配给训练图像的某些像素的GPS坐标的对齐方法更适合于对齐描绘植物和植物部分的图像区域。

根据实施例，经训练的机器学习模型被配置为：将一个或多个标记分配给测试图像，使得标记中的至少一个标记被分配给测试图像的每个像素；以及通过将共享同一标记或共享足够相似标记的测试图像的像素成组到同一片段中来对测试图像进行语义分段。

例如，“足够相似”的标记可以是计算相对于另一个标记的相似度值的标记，由此相似度值高于预定义阈值。根据另一示例，标记可以是数值并且两个“足够相似的标记”可以是位于预定义数值范围集合中的相同预定义数值范围内的标记，或者可以是其数值差低于预定义阈值的标记。

本发明的这些实施例可以是有利的，因为提供了，该经训练的模型可适用于快速且准确地执行图像分段任务而不依赖于使用第二图像获取技术的图像获取。在另外有益方面，可以将分段结果与包括“已知”正确的分段边界的参考图像进行比较，可以允许识别经训练的模型中的偏差。例如，模型能够准确识别“土壤片段”并在描绘农业区域的图像中以高灵敏度识别“健康植物片段”。然而，经训练的模型有时可能会错误地将描绘受感染植物的区域视为“健康植物”片段。通过将由经训练的模型识别的片段与已知正确的“参考片段”进行比较，可以识别出这种关于模型预测结果的“偏差”。与仅允许识别整体准确性的基于整体图像的分类系统相比，这是一个主要优势。此外，这些片段对于各种下游处理方法可能具有很高的价值，例如，识别农业区域内需要灌溉或施用化肥、杀虫剂和/或除草剂的子区域。

根据实施例，经训练的机器学习模型是神经网络，具体而言是包括至少一个瓶颈层的神经网络。瓶颈层是与先前层相比包含较少节点的层。它可用于获得降维的输入表示。这方面的示例是使用带有瓶颈层的自动编码器来进行非线性降维。

根据实施例，植物相关训练和测试图像中描绘的动机是室内和/或室外农业区域。这些标记是从包括下列各项的预定义的动机类别的组中选择的：

-覆盖有健康植物的区域；

-覆盖有感染了特定疾病和/或寄生虫的植物的区域；

-覆盖有特定物种的植物的区域；

-覆盖有特定品种(即，即亚种)的植物的区域；

-覆盖有用特定物质，具体而言杀菌剂、杀虫剂、除草剂和/或肥料处理的植物的区域；

-覆盖有根据特定灌溉方案处理的植物的区域；

-没有被任何植物覆盖的区域；

-覆盖有特定类型土壤的区域；

-覆盖有两种或更多种上述类型覆盖物的预定义部分的混合物的区域。

这些特征尤其在精细农作的背景下可能是有益的。例如，对于上述标记和相应对象类别中的每一个，可以根据经验获取相应的光谱参考特征并将其存储在可操作地耦合至包括执行对ML模型的训练的处理器的计算机的存储介质中。此外，光谱参考特征可以根据经验获得，其对应于混合类别，包括一定比例的上述类别中的两个或更多个类别的对象。例如，这些附加光谱参考特征中的一个可以从大约一半被土壤覆盖而另一半被健康植物覆盖的农业区域获得。经训练的ML模型可用于将指示上述类别中的任何一个的标记自动分配给使用第一图像获取技术获取的测试图像。例如，这可以预测特定农业区域或子区域是否需要灌溉，是否需要使用杀真菌剂、肥料、除草剂进行处理，是否需要收获或需要接受任何其他形式的物质或处理，例如以提高作物产量和/或对抗传染病或寄生虫。

根据其他实施例，植物相关训练和测试图像中描绘的动机是植物、植物产品和/或植物或植物产品的部分。这些标记是从包括下列各项的预定义的动机类别的组中选择的：

-植物或该植物的产品或部分的表面区域，其中表面区域是健康的；

-植物或该植物的产品或部分的表面区域，其中表面区域显示出与该区域感染特定疾病相关联的症状；

-植物或该植物的产品或部分的表面区域，其中表面区域显示该区域被特定寄生虫感染；

-植物或该植物的产品或部分的表面区域，其中表面区域显示预定量范围内的细胞结构或细胞器；

-植物或该植物的产品或部分的表面区域，其中表面区域显示处于预定状态的细胞结构或细胞器；

-植物或该植物的产品或部分的表面区域，其中表面区域显示由局部应用特定物质引起的形态变化；

-覆盖有表面区域的上述类型中的两种或更多种的预定义部分的混合物的表面区域。

这些上述方法可用于例如诊断目的，例如，用于确定感染特定植物或植物部分的疾病或寄生虫。或者，该方法可用于种子和其他形式的植物产品的质量控制，例如，用于确保种子没有感染和寄生虫，并且很有可能能够发芽。该方法还可用于测试局部施用的特定农药或杀真菌剂是否有效。

根据实施例，经自动标记的测试图像被处理以识别包括一种或多种期望或不期望性状的植物，并在植物育种项目中选择性地使用具有期望性状和/或缺乏不期望性状的植物。

在另一方面，本发明涉及用于将一个或多个标记自动分配给使用第一图像获取技术获取的测试图像的一种计算机实现的方法。测试图像描绘了与植物相关的动机。该方法包括：

-提供经训练的机器学习模型，经训练的机器学习模型适用于自动预测一个或多个标记以分配给使用第一图像获取技术获取的以及描绘与植物相关的动机的任何输入图像，

-使用经训练的机器学习模型来预测测试图像的一个或多个标记；以及

-输出测试图像的预测标记。

这可能是有利的，因为即使在用于生成第二训练图像的第二图像获取技术不可用的情况下(例如，因为相应的相机太昂贵、使用或维护太复杂或者太重而无法将其安装在无人机上)，尽管测试图像是使用第一种图像获取技术获取的，但经训练的ML模型仍然能够自动预测用于测试图像的标记。

根据实施例，经训练的机器学习模型适用于基于从使用第一图像获取技术获取的第一训练图像中提取的第一特征以及分配给第二训练图像的标记的学习的空间相关性来自动预测一个或多个标记，第二训练图像显示与第一训练图像相同的动机并且在空间上与第一训练图像对齐。

根据本发明的实施例，如本文所用的表述“相同的动机”意味着“至少大致相同”，因为在许多现实世界的应用场景中，相同动机的第一训练图像和第二训练图像是在时间上连续拍摄的，例如在少于一小时，优选少于20分钟，优选少于5分钟，更优选少于5秒的延迟内。然而，这个短暂的时间段可能会导致由风或其他环境因素引起的植物和植物部分的位置发生微小的绝对变化，或者可能导致所描绘的动机的位置与用于获取第一训练图像和第二训练图像的移动的相机之间的微小相对变化。然而，由于这些差异通常很小，因此在时间上非常接近并且在空间上与一对训练图像对齐的第一训练图像和第二训练图像中描绘的动机可以被认为至少大致相同。

根据实施例，该方法还包括根据本文描述的任一实施例的方法生成经训练的机器学习模型。

在另一方面，本发明涉及一种图像分析系统。图像分析系统包括至少一个处理器和易失性或非易失性存储介质。存储介质包括计算机可解释指令，所述指令在由至少一个处理器执行时，使处理器执行本文所述的实施例中的任一个所述的计算机实现的方法。

例如，图像分析系统可以是标准计算机(例如桌面式计算机)，或者分布式计算机系统(例如云计算机系统)。

图像分析系统可以包括用于接收第一训练图像和第二训练图像和/或用于接收使用第一图像获取技术获取的一个或多个测试图像的接口。例如，该接口可以是用于从另一计算机系统接收图像的网络接口。或者，该接口可以是USB接口，用于经由USB存储设备接收图像。此外或替代地，图像获取系统可操作地耦合到一个或多个光学传感器，该光学传感器被配置为获取第一和/或第二训练图像和/或被配置为获取一个或多个第一测试图像。图像分析系统既可以用于训练ML模型，也可以用于将经训练的ML模型应用于一个或多个测试图像。或者，不同的图像分析系统用于训练ML模型并用于将经训练的模型应用于一个或多个测试图像。在这种情况下，每个图像分析系统都可以具有上述特征。用于训练ML模型的图像分析系统优选地包括用于从第二训练图像中提取第二特征的软件应用，用于根据第二特征预测标记并用于在空间上对齐描绘相同植物相关动机的第一训练图像和第二训练图像对(包括它们的标记)的软件。用于训练ML模型和/或用于应用经训练的ML模型的图像分析系统包括用于从已输入到机器学习模型的使用第一图像获取技术获取的任何图像提取第一特征的软件。在一些实施例中，用于提取第一特征的软件可以是用于生成经训练的ML模型的机器学习软件的组成部分。

“植物产品”可以是例如一种或多种种子、一种或多种果实、插条、块茎、鳞茎、洋葱、豆等。

本文中使用的“训练图像”是用于训练ML模型的数字图像。相反，本文中使用的“测试图像”是在测试时间(“预测时间”)用作已训练模型的输入的数字图像。虽然将训练图像与被认为正确的标记(“地面实况”)相关联地提供给要训练的模型，但将测试图像提供给经训练的ML模型而没有分配任何标记。相反，经训练的ML程序的任务是正确计算和预测标记和标记位置。

本文所使用的“光谱特征”是材料的反射率或发射率相对于波长的变化(即，作为波长的函数的反射率/发射率)。例如，特定对象(例如土壤、特定物种的植物、处于特定生理状态的植物等)的光谱特征可以是该特定对象类型或对象状态的特性。对象的光谱特征是入射电磁波长和材料与该部分电磁光谱相互作用的函数。根据实施例，可以以每个像素的图像特征的形式提取数字图像中描绘的对象的光谱特征，例如，用于分段目的，或者用于像素组，例如块。

作为最后一步，它们通过与已知的光谱特征进行比较，为每个组分配一个类别(分类)。取决于像素分辨率，像素可以表示许多“混合”在一起的光谱特征—这就是为什么要进行大量遥感分析以“解混合”的原因。最终将图像像素记录的光谱特征与现有元素的光谱特征正确匹配造成了在遥感中进行准确的分类。

本文所使用的“光谱参考特征”是取自被视为一类对象的典型代表的对象的光谱特征。例如，用于预测第二训练图像的标记的软件可以包括具有光谱参考信号的储存库。参考信号中的第一参考信号包括已经从描绘覆盖有裸土的农业区域的图像导出的高光谱特征。参考信号中的第二参考信号包括已经从描绘覆盖有特定物种的健康植物的农业区域的图像导出的高光谱特征。参考信号中的第三参考信号包括已经从描绘覆盖有感染了特定疾病或寄生虫的特定物种的植物的农业区域的图像导出的高光谱特征。参考信号中的另外一些分别包括已经从描绘覆盖有上述类别“土壤”、“健康植物”和“受感染植物”中的两种或更多种的特定混合物的农业区域的图像得到的高光谱特征。

本文使用的术语“机器学习(ML)”是指研究、开发或使用计算机算法，该计算机算法可用于通过以自动化方式构建概率模型(被称为机器学习模型或“预测模型”)从训练数据集中提取有用信息。机器学习算法基于样本数据(被称为“训练数据”)构建数学模型，以便在无需被明确编程以执行任务的情况下做出预测或决策。机器学习可以使用诸如监督或非监督学习、强化算法、自学习等学习算法来执行。机器学习可以基于各种技术，例如聚类、分类、线性回归、支持向量机、神经网络等。“模型”或“预测模型”可以例如是数据结构或程序，例如神经网络、支持向量机、决策树、贝叶斯网络等，或者其适用于执行预测任务的部分。该模型适用于从其他、已知值预测未知值(例如标记和/或标记位置)。

例如，ML模型可以是已学会执行预测任务(例如分类或回归)的预测模型。分类是预测输入(例如测试图像或其一部分)的离散类标记输出的问题。回归是预测输入的连续数量输出的问题。

本文所使用的“高光谱图像获取技术”是收集和处理来自整个电磁频谱的信息的图像获取技术。高光谱成像的目标是获取场景图像中每个像素的光谱，目的是寻找对象、识别材料或检测过程。在高光谱成像中，记录的光谱具有良好的波长分辨率并涵盖广泛范围的波长。与测量间隔的光谱带的多光谱成像相反，高光谱成像测量连续光谱带。根据实施例，高光谱传感器适用于在连续光谱范围内的窄光谱带内捕获电磁信号，从而产生场景中所有像素的光谱。只有20个波段的传感器在覆盖500到700nm的范围时也可以是高光谱的，其中20个波段每个为10nm宽。(而具有涵盖可见光、近波、短波、中波和长波红外的20个离散波段的传感器将被视为多光谱)。高光谱成像(HSI)使用连续和连续范围的波长(例如，400-1100nm，步长为1nm)，而多光谱成像(MSI)在所选择的位置使用目标波长的子集(例如，400-1100nm，步长为20nm)。

已经观察到多光谱图像获取技术(获取5-7个波段)可以提供对作物很好的概览，例如整体生长，但有时无法解决更复杂的问题，例如识别杂草或者某些疾病或寄生虫。高光谱技术因其更高的光谱带数量而具有更高的检测能力，几乎可以用于精细农作领域及相关领域遇到的任何问题。

本文所使用的“RGB图像获取技术”是使用相机或摄像机来提供数字图像的任何图像获取技术，其中每个像素已被分配了红色(R)、绿色(G)和蓝色(B)强度值。例如，使用CMOS或CCD图像传感器的数码相机可用于获得RGB图像，该CMOS或CCD图像传感器包括用于与可见光谱的红光、绿光和蓝光相对应的三个光谱范围的三个不同传感器。一些RGB图像获取系统可以使用Bayer滤光片排列，其中绿色的检测器数量是红色和蓝色的两倍(比率1:2:1)，以实现比色度分辨率更高的亮度分辨率。该传感器具有由红色、绿色和蓝色探测器布置的网格，使得第一行是RGGRGRG，接下来是GBGBGBGB，并且该序列在后续行中重复。对于每个通道，通过内插获得丢失的像素以构建完整的图像。此外，可以应用其他过程以便将相机RGB光强度测量映射到标准RGB颜色空间。

本文所使用的“多光谱图像获取技术”是一种图像获取技术，其适用于在离散的和相对窄的频带处捕获图像。“离散且相对狭窄”是可见光波长的多光谱成像与彩色摄影的区别。多光谱传感器可以具有许多波段，覆盖从可见光到长波红外的光谱。多光谱图像不会产生对象的“光谱”。

本文使用的“单色图像获取技术”是适用于提供具有单个“颜色”通道的数字图像的图像获取技术。根据一些方法，相机用于捕捉单色图像，该单色图像适用于选择性地感测在单个且优选地窄光谱带内的光信号。根据其他实施例，相机适用于捕获宽光谱范围的电磁信号，由此捕获的强度信息被进一步处理以生成单色图像。例如，进一步处理可以包括应用一个或多个光滤光器以从多光谱/宽光谱图像中滤除除该单个光谱带之外的所有光谱带。例如，单个光谱带可以覆盖相对较窄的光谱范围，该相对较窄的光谱范围覆盖的波长与该范围的中值波长相差小于5％。

本文所使用的“IR图像获取技术”是使用被称为红外光谱仪(或分光光度计)的仪器进行以捕获对象或场景的红外光谱的图像获取技术。根据本发明实施例的IR图像获取技术所覆盖的电磁光谱的红外部分可以覆盖近红外(0.7-2.5pm波长)、中红外(2.5-25pm)和/或远红外(25-1000点)。

本文所使用的“主动图像获取技术”是任何图像获取技术，包括上述图像获取技术中的任何一种，其使用激发光源来照亮其图像将被获取的场景。例如，激发光源可以是UV光源，UV光源被配置为在植物相关的动机(例如整株植物、种子或其一部分)上发射UV脉冲。UV脉冲可以诱导荧光信号，该荧光信号由增强的CCD相机捕获。例如，主动成像可用于植物的荧光成像，具体而言，叶片荧光发射带最大值的多光谱荧光成像，即在蓝色(440nm)、绿色(520nm)、红色(690nm)和远红色(740nm)光谱区域中。例如，蓝绿色荧光来自与细胞壁共价结合的阿魏酸，而红色和远红色荧光来自绿色叶肉细胞的叶绿体中的叶绿素a。荧光强度受下列各项的影响(1)发射物质浓度变化，(2)决定激发辐射的穿透和发射荧光的部分再吸收的叶子的内部光学元件，以及(3)光合作用、产热和叶绿素荧光发射之间的能量分布，从而为植物的健康状况提供有价值的信息。使用例如UV激发光源的主动成像可应用于精细农作及相关领域的上下文中的近距离筛选或遥感。

流程图的操作是参考框图中所示的系统/装置来描述的。然而，应该理解，流程图的操作可以由参考框图讨论的那些之外的系统和装置的实施例来执行，并且参考系统/装置讨论的实施例可以执行与参考流程图讨论的那些操作不同的操作。

鉴于本文描述的实施例的多种排列方式，该具体实施方式旨在仅是说明性的，并且不应被视为限制本发明的范围。因此，本发明所要求保护的是所有可能落入所附权利要求及其等价物范围内的修改。因此，应该认为本说明和附图是说明性而不是限制性的。

附图说明

在下文中，通过参考附图更详细地解释了本发明的仅示例性形式，这些附图中包含了这些示例性形式。它们示出：

图1A是用于生成ML模型的系统的框图，该ML模型已学习了标记RGB图像；

图1B是自动标记的高光谱训练图像；

图2是用于使用经训练的ML模型来预测RGB测试图像的标记的计算机系统的框图；

图3是由经训练的模型自动标记的RGB测试图像和基于其光谱特征自动标记的高光谱图像；

图4是用于提供经训练的ML模型的方法的流程图，该ML模型适用于对用第一图像获取技术获取的图像进行自动标记；

图5是用于使用经训练的ML模型来对使用第一图像获取技术获取的图像进行自动标记的方法的流程图；以及

图6是具有两个光谱特征的曲线图。

具体实施方式

图1A示出了用于生成ML模型132的系统100的框图，该模型已学习了标记RGB图像。要生成的模型应能够基于可以使用标准相机容易地获取的RGB图像自动识别和标记感染了特定疾病或寄生虫(例如，尾孢菌)的甜菜植物。尾孢菌是子囊菌属的真菌。该属的大多数物种都会引起植物病害，并形成叶斑。

该系统包括计算机系统120(例如，标准桌面式计算机系统)；用于获取带有感染尾孢菌的甜菜植物的测试田地的数字RGB图像的一个或多个RGB相机104，以及用于获取该测试田地的数字高光谱图像的一个或多个高光谱相机102。RGB相机104的使用被称为“第一图像获取技术”，而高光谱相机102的使用被称为“第二图像获取技术”。

高光谱相机102和RGB相机104在空间上彼此非常接近地放置，使得两者都从基本相同的距离和角度描绘测试场。或者，两种相机类型102、104被放置在相同的位置并且被顺序地用于获取图像。

在一个实施例中，HySpex Mjolnir被用作高光谱相机102，而Sony Alpha 7rlI被用作RGB相机104。无人驾驶飞行器(UAV)，例如无人机，配备有两个相机102、104。

由高光谱相机102获取的高光谱图像106和使用RGB相机获取的RGB图像205是基于高精度GNSS辅助IMU(其中GNSS指全球导航卫星系统，而IMU指惯性测量单元)分别地理坐标参考的。IMU是一种电子设备，它使用加速度计、陀螺仪并且有时使用磁力计的组合来测量和报告对象的特定力、角速率，并且有时还包括主体的取向。使用具有IMU功能的GPS设备可以使GPS接收机能够在GPS信号不可用时工作，例如当存在电子干扰时。

获取的图像106、205被传输到计算机系统120并存储在存储介质121中。存储介质121优选地是非易失性存储介质，例如电磁或光存储介质，例如硬盘驱动器、DVD等。当UAV飞越场地时，可以经由移动电信连接执行传输。或者，可以在UAV着陆后执行传输，例如通过将UAV的SD卡、USB存储设备或其他类型的便携式存储设备手动传输到计算机系统120。在ML模型的训练期间，高光谱图像106被用作第二训练图像，而传输的RGB图像205被用作第一训练图像。

计算机系统120包括一个或多个处理器112，该处理器112被配置为实例化和运行生成经训练的模型132所涉及的一个或多个软件程序或模块114、118、122、126。

例如，特征提取模块114被配置为从每个第二训练图像106的每个像素中提取本文中被称为第二特征116的图像特征。第二特征优选地由光谱特征组成或包括光谱特征。例如，光谱特征可以是指示在由高光谱传感器覆盖的光谱的波长连续体处观察到的光强度的曲线。

标记预测模块116被配置为：接收提取的第二特征作为输入，并且计算针对每个第二训练图像106的一个或多个标记。例如，标记预测模块118可以包括包含多个参考光谱特征的储存库。每个参考光谱特征都描述了特定类型对象的光谱特征特性。例如，储存库可以包括平原土壤的高光谱参考特征特性、健康甜菜植物的高光谱参考特征特性、感染了尾孢子菌的甜菜植物的高光谱参考特征特性、健康和受尾孢菌感染的甜菜植物的50:50混合物的高光谱参考特征特性，等等。通过将存储在模块118的储存库中的光谱参考特征与每个第二训练图像中的预期光谱特征进行比较，模块118可以识别与相应像素的光谱特征最相似的参考光谱特征之一。第二训练图像中像素的这个“最相似的参考光谱特征”的类别名称被分配给该像素。或者，将指示第二训练图像中的像素描绘了由“最相似的参考光谱特征”表示的对象类型的可能性的数值作为标记分配给第二训练图像的像素。

标记预测模块118针对每个第二训练图像106输出经标记的第二训练图像110。

对齐模块122被配置为在空间上对齐描绘相同或基本相同动机的第一训练图像和第二训练图像。例如，可以基于由相机102、104分配给图像的GPS坐标来执行对齐，或者可以基于已知相机参数(例如相对于动机和/或相对于其他类型相机的已知的、固定相机定位)来执行对齐。另外或替代地，可以计算绿度指数并将其用作对齐第一训练图像和第二训练图像的基础。标记预测模块118可以在对齐模块执行图像对齐之前或之后计算和分配至少一个标记给每个第二训练图像(或其子区域，例如像素块或单个像素)。

根据其中将标记分配给单个像素或像素块的实施例，对齐模块本质上还将被分配给或将被分配给第二训练图像的像素或像素区域的标记与第一训练图片的相应像素或像素区域在空间上对齐。

对齐的标记124(即标记的内容以及对标记对齐到的第一训练图像的一个或多个像素的指示)与标记已经被对齐到的第一训练图像205一起输入到被配置用于训练机器学习模型的软件126中。例如，软件126可以包括模块128，该模块128包括用于从每个第一训练图像中提取特征130的多个算法。此外，软件126可以包括训练期间所需的附加算法和模块。例如，软件126可以包括损失函数，该损失函数被配置为：将由ML模块132基于在训练期间提取的第一特征130来预测的标记与在训练期间作为训练数据提供的标记124进行比较，并调整模型132，使得预测的第一标记与提供的“真实”标记124的偏差最小化。例如，软件DeepLabv3可以用作训练软件。DeepLabv3是一种最先进的深度学习软件，它指定了用于语义图像分段的深度学习模型，其目标是分配语义标记，该语义标记指示例如输入图像中每个像素的类成员资格。DeepLabv3包括几种图像特征提取算法，并包括其他模块，这些模块适用于基于提取的第一特征和用户提供的额外训练数据来训练ML模型。

优选地，用于训练ML模型132的训练数据包括数百个或优选地数千个第一训练图像和相应数量的第二训练图形，它们彼此对齐以形成数百对或优选地数千对对齐的训练图像。

图1B更详细地描绘了由根据本发明的实施例的系统生成的经自动标记的高光谱训练图像。最初，标记预测模块118将标记分配给第二训练图像106的每个单独像素。在所描绘的示例中，仅使用了三个不同的标记：指示土壤的标记150、指示健康甜菜植物的标记152和指示感染了尾孢菌的甜菜植物的标记154。在对齐模块122已经执行了图像对齐之后，可以将经标记的第二训练图像或仅标记和标记位置信息的组合作为输入提供给机器学习训练软件126。

图1B描绘了经标记的第二训练图像的图形表示，其中图像的不同子区域已经通过应用将具有相同或相似标记的像素成组到相同片段中的分段算法被识别。例如，分段算法已识别出分别描绘土壤的图像区域150、描绘健康甜菜植物的大图像区域152、以及分别描绘感染尾孢菌的甜菜植物的多个图像块154。应用图像分段算法并使用不同的颜色或阴影表示不同的片段可能是有利的，因为这种图形表示简化了人类对标记预测的解释。例如，经标记和分段的图像110可以经由屏幕或打印输出来输出给用户。

图2是用于使用经训练的ML模型132来预测RGB测试图像108的标记150、152、154的计算机系统120的框图。

计算机系统120可以是用于执行训练的同一计算机系统。或者，计算机系统可以是任何其他计算机系统，例如，经训练的ML模型已经被传输到其上的云计算机系统或桌面式计算机系统。

用于在测试时应用经训练的ML模型的计算机系统包括存储介质121和一个或多个处理器112，它们与已经参考图1A描述的存储介质和过程相同或在功能上等效。计算机系统120包括具有特征提取模块128和经训练的ML模型132的预测软件202。特征提取模块被配置为：提取在ML模型的训练期间作为“第一特征”提取的相同类型的图像特征。特征提取模块128可以是预测软件202的组成部分，或者可以是单独的软件应用程序或模块，其被配置为：对任何接收到的测试图像108进行预处理以提取第一特征204，并将第一特征作为输入提供给预测软件202。

存储介质包括一个或多个测试图像108，其分别已经使用第一图像获取技术获取。在图1和图2中描绘的示例中，第一种图像获取技术是RGB图像获取技术。测试图像可以经由网络从不同的计算机接收，可以从本地或远程存储介质(例如USB存储设备)读取，和/或可以直接从RGB相机104接收。RGB相机104可以是与图1A中所描绘的RGB相机不同的RGB相机，并且相同的附图标记仅指示功能等效。

每个RGB测试图像108作为输入被提供给预测软件202。特征提取模块128从每个RGB测试图像中提取多个第一特征204。例如，第一图像特征204可以包括强度梯度、纹理和其他图案、强度值、颜色值、颜色梯度、对比度值等。提取的第一特征204作为输入被提供给经训练的ML模型132。在训练过程中，模型学习了标记和从RGB训练图像中提取的第一图像特征之间的空间相关性。因此，基于特征提取模块128提供的第一特征204，经训练的ML模型132能够针对每个RGB测试图像108预测至少一个标记和相应的标记位置。例如，在一些实施例中，每个图像仅预测单个标记。优选地，针对RGB测试图像中的每个像素预测标记。

经标记的测试图像206描绘了通过基于由软件202预测的逐像素标记来分段测试图像206而获得的图像片段。经标记和分段的测试图像206包括由白色指示的几个子区域，这些子区域被分配了指示土壤的标记250。图像206还包括由第一阴影指示的大区域，第一阴影被分配了指示健康甜菜植物的标记252；以及由第二暗阴影指示的多个小图像块，其被分配了标记254，指示感染了尾孢菌的甜菜植物。

图3更详细地描绘了由经训练的模型自动标记的RGB测试图像206，由此具有所分配的不同标记的不同图像片段由不同颜色而不是不同阴影来表示。

为了说明所提出的标记预测方法的准确性，图3的下半部分说明了基于高光谱相机和使用高光谱特征来预测标记的标记预测软件针对相同测试场获得的标记。高光谱相机102用于获取描绘与测试图像108中描绘的相同的农业区域的高光谱图像302。RGB测试图像108和高光谱测试图像302的比较揭示了这两个图像描绘了相同的农业区域。当然，此处不能说明包含在高光谱图像302中的可见光谱范围之外的光谱信息。通过应用特征提取模块1144以光谱特征的形式提取第二特征116并且通过将提取的每个像素的光谱特征与相应的参考光谱特征进行比较，可以由标记预测模块118计算出像素特定的标记，如前所述。通过基于所述标记执行图像分段步骤，生成经标记和分段的高光谱图像304。两个经标记图像206、304的比较揭示了经训练的ML模型能够以与使用高光谱数据作为输入的标记预测模块118基本相同的准确度来预测标记的类型和位置。因此，尽管用于获取第一测试图像的RGB相机仅覆盖较小的光谱范围，但经训练的ML程序能够准确地预测标记的位置和类型。因此，用于通过使用已在自动生成的高光谱图像标记上训练的ML模型来自动标记已使用第一图像获取技术获取的测试图像的方法结合了RGB和高光谱成像技术的优点：高光谱图像非常灵活，并且可以根据信息丰富的光谱特征自动识别基本上任何类型的对象。RGB图像可以通过标准的便宜RGB相机获取。通过仅在训练时使用高光谱图像但在测试时使用RGB图像执行自动标记，与使用高光谱相机相关联的成本和工作只发生在训练阶段，而不是测试阶段。

图4是用于提供经训练的ML模型的方法的流程图，该模型适用于对用第一图像获取技术(例如RGB成像)获取的图像进行自动标记。

例如，该方法可以由图1A中描绘的系统来执行。

首先在步骤402中，该方法包括使用第二图像获取技术(例如，高光谱相机102)来获取多个第二训练图像102。此外，第二图像获取技术可用于获取一个或多个不同感兴趣对象类别的对象的参考光谱特征。例如，可以获得土壤、健康甜菜植物和感染尾孢菌的甜菜植物的高光谱参考特征。

接下来在步骤404中，针对每个第二训练图像106计算至少一个标记。例如，特征提取模块114针对每个第二训练图像中的每个像素提取光谱特征并且将它们用作第二特征116。将提取的光谱特征与光谱参考特征进行比较，以确定与当前检查像素的光谱特征最相似的参考光谱特征之一。由所识别的最相似参考特征表示的对象类别以至少一个标记的形式分配给每个第二训练图像。例如，可以为每个第二训练图像的每个像素分配一个标记。

根据一个实施例，将每个高光谱第二训练图像与上述高光谱参考特征进行比较，以使用光谱角度映射器算法来计算土壤、健康植物和感染尾孢菌植物的光谱的每像素相似度得分。根据实施例，上述三类光谱参考特征是凭经验获得的。此外，通过结合上述“纯”参考光谱，计算得到另外13个类别，代表土壤、健康植物和感染尾孢菌植物的混合物，步长为25％。

光谱角映射器(SAM)算法是一种适用于测量两个光谱之间的光谱相似性的算法。光谱相似性可以通过将每个光谱视为q维空间中的一个向量，其中q是波段的数量，并比较两个向量而获得。根据本发明的一个实施例，将所获得的相似度得分(表示例如与“土壤”或“健康甜菜植物”等的参考光谱的相似度)用作标记，从而获得低分辨率得分图像，由此得分表示按像素分配的标记。

本发明的实施例可以在精细农作、育种公司的质量控制和相关技术领域的背景下特别有用。几乎每个与植物相关的对象类别(特定组或物种的植物、杂草丛生的田地、被特定疾病感染的植物、营养缺乏的植物等)都可以用影响对象反射特性的特定生理状态或状态变化来表征。健康的作物和受疾病影响的作物对阳光的反射不同。使用高光谱成像可以检测到植物生理的微小变化，并将其与反射光光谱相关联，从而自动标记大量高光谱训练图像。

此外，在步骤406中，使用第一图像获取技术，例如在RGB相机104中，获取一个或多个第一训练图像205。步骤402和步骤406可以同时或随后执行。在任何情况下，必须执行步骤402和406，使得第一训练图像和第二训练图像对基本上描绘相同的动机并且因此可以在空间上彼此对齐。基本上描绘与本文使用的相同的动机意味着用于获取图像的相机和动机之间的相对位置(距离和角度)以及优选的环境条件(光强度、光源的位置、温度、由光源发射的光的光谱组成)是相同或大致相同的。

接下来在步骤408中，每个第一训练图像在空间上与描绘相同动机的第二训练图像中的一个对齐。

根据实施例，执行图像对齐如下：通过对相应光谱带进行平均来计算第二训练图像106使用的高光谱图像的RGB表示。从作为第一训练图像之一获得的“真实”RGB图像205和从作为第二训练图像106之一的导数的“计算的”RGB图像计算相应的绿度指数。将绿度指数相互比较以计算和估计位移场。例如，可以使用MATLAB函数“imregdemons”来计算该估计。

使用绿度指数(或在对齐期间两个对齐的图像之间的差异最小化的任何其他动机衍生的特征)具有的好处是，位于第一图像和第二图像中稍微不同位置的植物或植物部分也可以正确对齐。例如，风、获取相同动机的第一图像和第二图像之间的几个小时的时间延迟、使用不同的无人机来获取第一图像和第二图像和/或使用具有略微不同轨迹的无人机等因素可能导致第一图像和第二图像中描绘的动机的位置偏移。

根据实施例，用于获取第一训练图像的第一图像获取系统和用于获取第二训练图像的第二图像获取系统安装在同一载体系统(例如无人机)上。这可以确保描绘相同动机的第一训练图像和第二训练图像对内的描绘的动机仅具有几个像素的小空间偏移。

根据其他实施例，第一训练图像由安装在第一载体系统上的第一传感器获得，第二训练图像由安装在第二载体系统上的第二传感器获得，第二载体系统不同于第一载体系统，或者是多次用于随后在多个不同飞行中获取第一训练图像和第二训练图像的第一载体系统。例如，第一载体系统和第二载体系统可以是不同的无人机，或者可以是用于随后在多个不同飞行中获得第一训练图像和第二训练图像的同一无人机。

例如，第一训练图像可以在第一载体系统的一个或多个飞行中获得，第二训练图像可以在第二载体系统的一个或多个飞行中获得。第一载体系统和第二载体系统的飞行在不同的时间进行，具体而言，飞行间的时间间隔至少为5分钟，甚至几个小时。在此时间间隔内，植物的位置可能略有变化，例如由于风，或由于植物或植物部分朝向光的移动或重新定向。

根据如果在相同或不同载体系统的多个后续飞行中获取第一图像和第二图像特别有用的一些实施例，第一图像和第二图像是地理坐标参考图像，即具有指定位置信息的图像，具体而言，地理参考坐标系的坐标。例如，用于承载第一和/或第二传感器的载体系统可以包括IMU传感器，具体而言，GNSS辅助的IMU传感器。

惯性测量单元(IMU)是一种传感器设备，其包括例如运动传感器(加速度计)和/或旋转传感器(陀螺仪)用于连续计算移动对象的位置、取向和速度(运动的方向和速度)，而无需外部参考。通常惯性传感器由气压高度计补充，偶尔由磁传感器(磁力计)和/或速度测量设备补充。

具体而言，IMU传感器可以是GNSS辅助的IMU。术语“GNSS”(全球导航卫星系统)是一种覆盖全球的导航系统，其使用卫星提供自主地理空间定位。它允许小型电子接收机使用来自卫星的无线电沿视线发送的时间信号，以高精度(在几厘米到米内)确定其位置(经度、纬度和高度/海拔)。该系统可用于提供位置、导航或跟踪装有接收机的对象的位置(卫星跟踪)。截至2020年9月，美国的全球定位系统(GPS)、俄罗斯的全球导航卫星系统(GLONASS)、中国的北斗卫星导航系统(BDS)和欧盟的伽利略系统都已全面投入使用。日本的准天顶卫星系统(QZSS)是一种(US)基于GPS卫星的增强系统，旨在提高GPS的准确性，具有计划于2023年推出的独立于GPS的卫星导航。印度区域导航卫星系统(IRNSS)计划长期扩展到全球版本。在获取第一训练图像或第二训练图像时的载体系统的地理位置与相应的训练图像相关联地存储以供以后在图像对齐期间使用。

在获取第一训练图像和第二训练图像期间使用GNSS辅助IMU传感器来识别载体系统的位置允许将第一图像和第二图像获取传感器放置在不同的载体系统上和/或随后获得第一训练图像和第二训练图像。

根据实施例，每对的第一图像和第二图像的对齐包括基于它们各自的地理位置对齐描绘相同动机的第一图像和第二图像，从而提供大致对齐的图像对，然后根据像素强度和/或颜色相似性(例如，基于绿度指数)细化对齐以提供该对的第一图像和第二图像的对齐。

接下来在步骤410处，与RGB图像对齐的经标记第二训练图像(或仅它们的标记)被输入到用于训练模型的机器学习程序。例如，可以使用语义分段深度神经网络DeepLabv3+，它已经自带了多种特征提取算法。因此，对齐的第一图像可以在第一特征提取过程开始之前被输入到DeepLabv3+。DeepLabv3+然后自动执行第一特征的提取和ML模型的训练。

根据另一实施例，第一训练图像被处理以提取第一图像特征，并且所提取的第一特征和第一训练图像被提供给机器学习软件。

不管机器学习程序本身还是预处理模块执行第一图像特征的提取，标记和第一图像特征的空间对齐可以使机器学习模型(例如，语义分段深度神经网络)能够在训练期间学习标记和第一个特征之间的空间相关性。

作为训练的结果，提供了经训练的ML模型，该模型学习了从RGB训练图像中提取的第一特征与在空间上与第一训练图像及其第一图像特征对齐的标记之间的相关性。经训练的ML模型能够预测已使用第一图像获取技术获取并描绘了与训练图像所描绘的动机相似的植物相关动机的任何输入图像的图像标记。

在步骤412处，提供经训练的ML模型。例如，训练软件126或其部分可以经由网络连接或经由便携式存储介质传输到另一台计算机，并在另一台计算机上用于自动标记RGB测试图像。分配的标记指示由分配了标记的测试图像像素所描绘的对象的类型。这些类别与在训练阶段用于标记第二训练图像的类别相同。如图3所示，经训练的ML程序准确地产生了在视觉上类似于地面实况的分类结果。换言之，根据实施例，经训练的ML程序可以用作分类器，其适用于准确预测高分辨率RGB图像的标记，尽管在训练期间使用了高光谱图像的标记。训练数据110、205的生成是全自动或半自动执行的，不依赖于人工标注。

图5是用于使用经训练的ML模型132来对使用第一图像获取技术获取的图像进行自动标记的方法的流程图。

在第一步骤502中，提供经训练的ML模型132。例如，模型和可选的另外的软件模块，例如特征提取模块128，被存储在计算机系统120上，该计算机系统120包括或被配置为接收一个或多个测试图像108。

接下来在步骤503中，使用第一图像获取技术，具体而言，RGB图像获取技术来获取一个或多个测试图像。每个测试图像都描绘了与植物相关的动机，例如农业区域、植物、植物产品或其一部分。测试图像的植物相关动机与用于训练ML模型的第一训练图像和第二训练图像中的植物相关动机类似。步骤503可以在步骤502之前执行。

接下来在步骤504中，将经训练的ML模型应用于每个测试图像。因此，从每个测试图像中提取第一特征。例如，预测软件202可以基本上与用于训练模型的训练软件126相同并且可以包括特征提取模块128，该特征提取模块128包括用于从RGB图像中提取不同图像特征的多个算法。从测试图像提取的图像特征204被经训练的ML模型用于预测一个或多个标记并将标记分配给测试图像。

接下来在步骤506中，输出预测的标记。例如，预测的标记可以在分段步骤中用于计算通过屏幕或打印输出显示给用户的分段图像。

图6示出了包括作为土壤特性的第一光谱参考特征602和包括作为水特性的第二光谱参考特征604的图。通过将光谱参考特征602、604与第二训练图像中每个像素的光谱特征进行比较，可以计算指示图像或图像区域中描绘的对象的类型或指示描绘此类对象的可能性的标记。

附图标记列表

100 系统

102 高光谱相机

104 RGB相机

106 使用第二图像获取技术获取的第二训练图像

108 使用第一图像获取技术获取的第一训练图像

110 经标记的第二训练图像

112 处理器

114 特征提取模块

116 提取的第二特征

118 标记预测模块

120 计算机系统

121 存储介质

122 对齐模块

124 对齐的标记

126 机器学习训练软件

128 特征提取模块

130 提取的第一特征

132 机器学习模型

150 阴影用作标记：土壤

152 阴影用作标记：健康植物

154 阴影用作标记：感染尾孢菌(CR)的植物

200 系统

202 预测软件

204 从测试图像中提取的第一特征

205 获取的测试图像是第一图像获取技术

206 由预测软件202从测试图像205生成的经标记图像

250 阴影用作标记：土壤

252 阴影用作标记：健康植物

254 阴影用作标记：感染尾孢菌的植物

302 高光谱图像

304 基于高光谱图像预测的标记

402-412 步

502-506 步

602 光谱特征

604 光谱特征。

Claims (21)

1.一种计算机实现的方法，包括：

-使用第一图像获取技术(104)获取(406)第一训练图像(108)，每个第一训练图像描绘植物相关的动机，其中，所述植物相关的动机是从包括下列各项的组中选择的：室内或室外农业区、植物、植物产品、所述植物的一部分、所述植物产品的一部分；

-使用第二图像获取技术(102)获取(402)第二训练图像(106)，每个第二训练图像描绘所述第一训练图像中相应一个第一训练图像描绘的所述动机；

-将至少一个标记(150、152、154)自动分配(404)给所获取的第二训练图像中的每个第二训练图像；

-将描绘所述动机中相同动机的所述第一训练图像和所述第二训练图像在空间上对齐(408)成对齐的训练图像对；

-根据所述对齐的训练图像对和所述标记来训练(410)机器学习模型(132)，其中，在训练期间，所述机器学习模型(132)学习将一个或多个标记(250、252、254)自动分配给使用描绘植物相关动机的所述第一图像获取技术获取的任何测试图像(205)；以及

-提供(412)经训练的机器学习模型(132)。

2.根据权利要求1所述的计算机实现的方法，其中，所述植物相关动机是尺寸至少为1mm的宏观动机。

3.根据前述权利要求中任一项所述的计算机实现的方法，还包括：

-从所述第一训练图像中的每个第一训练图像提取第一特征(130)；其中，所述训练被执行使得所述机器学习模型基于每个对齐的第一训练图像和第二训练图像对中的所述第一特征和所述标记的空间相关性来学习所述第一特征和所述标记的空间相关性。

4.根据前述权利要求中任一项所述的计算机实现的方法，还包括：

-从所述第二训练图像(106)中的每个第二训练图像中提取(114)第二特征(116)；

其中，将所述至少一个标记自动分配给所获取的第二训练图像中的每个第二训练图像包括：分析从所述第二训练图像提取的所述第二特征，以用于根据从所述第二训练图像提取的所述第二特征预测(118)所述第二训练图像的至少一个标记。

5.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述第一图像获取技术和所述第二图像获取技术是分别从包括下列各项的组中选择的不同图像获取技术：

-高光谱图像获取(102)；

-RGB图像获取(104)；

-单色图像获取；

-使用激发光源的主动图像获取；

-多光谱图像获取；以及

-IR图像获取。

6.根据前述权利要求中任一项所述的计算机实现的方法，其中，将所述标记自动分配给所述第二训练图像中的每个第二训练图像的像素或区域包括：

-对于动机类别的预定义的集合中的每一个，从属于该动机类别的物理参考动机获取光谱参考特征；

-将所述光谱参考特征与所述第二训练图像进行比较，以用于识别所述第二训练图像的像素或区域与所述光谱参考特征之间的光谱相似性；以及

-将标记分配给所述第二训练图像中的每个第二训练图像的每个像素或区域，所述标记指示所述动机类别中的在光谱上与该像素或区域最相似的动机类别。

7.根据前述权利要求中任一项所述的计算机实现的方法，

-其中，所述第二图像获取技术是使用高光谱传感器的高光谱图像获取。

8.根据前述权利要求中任一项所述的计算机实现的方法，

-其中，所述第二图像获取技术比所述第一图像获取技术覆盖整个电磁频谱的更大部分；或者

-其中，所述第二图像获取技术覆盖所述整个电磁频谱的与所述第一图像获取技术不同的部分。

9.根据前述权利要求中任一项所述的计算机实现的方法，

-其中，所述第一图像获取技术具有比所述第二图像获取技术更高的空间分辨率。

10.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述对中的每一对的第一训练图像和第二训练图像的空间对齐包括：

-基于它们各自的地理位置来对齐描绘所述相同动机的第一图像和第二图像，从而提供大致对齐的图像对，以及然后

根据像素强度和/或颜色相似性来细化所述对齐，使得所述第一图像和所述第二图像之间的强度差异和/或颜色差异最小化，以提供所述对的第一图像和第二图像的对齐。

11.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述第一训练图像是RGB图像，并且其中，所述第二训练图像是高光谱图像，所述对中的每个对的第一训练图像和第二训练图像的所述空间对齐包括：

-针对所述第二训练图像的每个像素，通过对所述第二训练图像所覆盖的可见红、绿、蓝光谱带的光谱强度值分别取平均值，计算出红、绿和蓝的强度值；

-根据计算出的红、绿和蓝的强度值生成所述第二训练图像的RGB表示；

-计算第一绿度图像，所述第一绿度图像的每个像素强度是根据所述第一训练图像的红、绿和蓝的强度值计算的绿度指数；

-计算第二绿度图像，所述第二绿度图像的每个像素强度是根据所述第二训练图像的RGB表示的红、绿和蓝的强度值计算的绿度指数；

-自动执行所述第一训练图像和第二训练图像的对齐，使得所述第一图像和所述第二图像的绿度指数的差异最小化。

12.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述经训练的机器学习模型(132、202)被配置为：

-将所述一个或多个标记(250、252、254)分配给所述测试图像(205)，使得所述标记中的至少一个标记被分配给所述测试图像的每个像素；以及

-通过将共享同一标记或共享足够相似标记的测试图像的像素成组到同一片段中来对所述测试图像(205)进行语义分段。

13.根据前述权利要求中任一项所述的计算机实现的方法，其中，植物相关训练和测试图像中描绘的所述动机是室内和/或室外农业区域，并且其中，所述标记是从包括下列各项的预定义的动机类别的组中选择的：

-覆盖有健康植物的区域；

-覆盖有感染了特定疾病和/或寄生虫的植物的区域；

-覆盖有特定物种的植物的区域；

-覆盖有特定品种的植物的区域；

-覆盖有用特定物质，具体而言杀菌剂、杀虫剂、除草剂和/或肥料处理的植物的区域；

-覆盖有根据特定灌溉方案处理的植物的区域；

-没有被任何植物覆盖的区域；

-覆盖有特定类型土壤的区域；

-覆盖有上述类型覆盖物中的两种或更多种的预定义部分的混合物的区域。

14.根据前述权利要求1-12中任一项所述的计算机实现的方法，其中，所述植物相关训练和测试图像中描绘的所述动机是植物、植物产品和/或所述植物或所述植物产品的部分，并且其中，所述标记是从包括下列各项的预定义的动机类别的组中选择的：

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域是健康的；

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域显示与该区域感染特定疾病相关联的症状；

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域显示该区域被特定寄生虫感染；

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域显示预定量范围内的细胞结构或细胞器；

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域显示处于预定状态的细胞结构或细胞器；

-植物的或该植物的产品的或该植物的部分的表面区域，其中，所述表面区域显示由局部应用特定物质引起的形态变化；

-覆盖有上述类型表面区域中的两种或更多种的预定义部分的混合物的表面区域。

15.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述植物相关动机是具有多种植物、植物、植物产品、所述植物的一部分、所述植物产品的一部分的室内或室外农业区域，由此没有所述植物或所述植物产品被修饰、化学处理和/或染色以提供标记或促进标记。

16.根据前述权利要求中任一项所述的计算机实现的方法，

-其中，所述第一训练图像由安装在第一载体系统上的第一传感器获得，并且所述第二训练图像由安装在第二载体系统上的第二传感器获得，并且

-其中，所述第二载体系统不同于所述第一载体系统。

17.根据前述权利要求中任一项所述的计算机实现的方法，

-其中，所述第一训练图像由安装在第一载体系统上的第一传感器获得，并且所述第二训练图像由安装在与所述第一载体系统相同或不同的第二载体系统上的第二传感器获得，并且

-其中，所述第一训练图像是在所述第一载体系统的一个或多个飞行中获得的，所述第二训练图像是在所述第二载体系统的一个或多个飞行中获得的，其中，所述第一载体系统和所述第二载体系统的飞行是在不同的时间执行的，具体而言，飞行间的时间间隔至少为5分钟。

18.一种用于将一个或多个标记(250、252、254)自动分配给使用第一图像获取技术(104)获取的测试图像(25)的计算机实现的方法，所述测试图像描绘了植物相关的动机，所述方法包括：

-提供(502)经训练的机器学习模型(132)，所述经训练的机器学习模型适用于自动预测一个或多个标记(250、252、154)，所述一个或多个标记要被分配给使用所述第一图像获取技术获取的以及描绘与植物相关的动机的任何输入图像，

-使用(504)所述经训练的机器学习模型来预测所述测试图像的所述一个或多个标记(250、252、254)；以及

-输出(506)所述测试图像(206)的经预测的标记。

19.根据权利要求18所述的计算机实现的方法，所述经训练的机器学习模型适用于基于使用所述第一图像获取技术获取的第一训练图像(108)的第一特征(130)与分配给第二训练图像(106)的标记(150、152、154)的学习的空间相关性来自动预测所述一个或多个标记(250、252、254)，所述第二训练图像显示与所述第一训练图像相同的动机并且在空间上与所述第一训练图像对齐。

20.根据权利要求18-19中任一项所述的计算机实现的方法，还包括：

-根据前述权利要求1-17中任一项所述的方法生成所述经训练的机器学习模型(132)。

21.一种图像分析系统(120)，包括：

-至少一个处理器(112)；

存储介质(121)，其包括计算机可解释指令，所述指令在由所述至少一个处理器执行时使所述处理器执行前述权利要求1-20中任一项所述的计算机实现的方法。

Images