CN115699040A - 用于训练对材料流中的组分进行分类的机器学习模型的方法和系统 - Google Patents

Abstract

一种用于训练机器学习模型的方法和系统，该机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征。确定与材料流中的多个未知组分中的每个未知组分相关联的训练奖励，基于训练奖励，通过分离器单元将至少一个未知组分与材料流进行物理隔离，其中分离器单元被配置为将选择的未知组分移动到单独的可访问隔间。分析已隔离的至少一个未知组分以确定其真值标签，其中所确定的真值用于训练机器学习模型的增量版本。

Description

用于训练对材料流中的组分进行分类的机器学习模型的方法 和系统

技术领域

本发明涉及一种用于训练机器学习模型的方法和系统，该机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征。本发明还涉及一种计算机程序产品。

背景技术

有效的数据分类在许多应用中发挥着越来越重要的作用。例如，计算机视觉应用可以将分类器或统计模型(例如，机器学习模型、回归模型)应用于捕获到的图像或视频流，以便识别组分或对象。为了确保分类器的可靠性能，必须使用多个标记的示例来训练它。这种系统通常依赖人工劳动来手动标记数据。

材料流中一种或多种组分的表征具有几个重要的应用，例如在回收过程、农业过程、食品生产过程等中。该表征可以例如用于质量控制、价值评估以及工艺过程和控制。例如，对于废物处理，由于缺乏表征数据，传统上许多废物流都未达到最佳地回收。对于非均质材料流(例如散装固体废物流)，需要充分的表征技术。

典型地，材料流表征涉及由人(例如在特殊设施工作的工厂人员)对对象进行人工检查。这种方法是缓慢的、主观且昂贵的，并且最终它只能提供关于材料流中微粒的很少的信息。在一些常规方法中，例如在实验室中采集样本并测试/分析样本。这一过程可能会占用太多时间(化学分析可能需要几天、几周甚至几个月)，并可能导致成本增加。此外，仅对材料流中组分/材料/对象总量的一小部分进行了表征。通常，由于材料的质量难以测量，许多材料流都没有得到最佳地识别。因此需要一种提供更详细层面上的数据的快速、客观和/或自动化的方法。对材料流进行表征的一个例子是废物表征。

机器学习模型是一种统计分类器，可以使用大量数据来训练，这些数据可以由人工和/或实验来标记。这种标记可能是一个劳动密集型的和/或昂贵的过程。建立准确统计系统的瓶颈之一是(手动)标记以获得高质量的标记数据而花费的时间。通常，待标记的样本(参见新数据点)是随机选择的，以使得训练数据与测试集匹配。

因此，由于在各种情况和应用中，在机器学习模型的训练期间确定真值可能是相当劳动密集型的和耗时的，因此强烈需要有效地获得训练良好的预测模型，同时减少为此所需的工作和/或成本。期望更有效地获得这种预测模型。

发明内容

本发明的目的是提供一种避免上述至少一个缺点的方法和系统。

另外地或替代地，本发明的目的是改进具有多个未知组分的材料流中组分的表征。

另外地或替代地，本发明的目的是提高机器学习模型(例如组分标签预测模型)的训练效率。

另外地或替代地，本发明的目的是提供改进的废物处理。

为此，本发明提供了一种用于训练机器学习模型的方法，机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征，所述方法包括：通过传感系统扫描所述材料流，所述传感系统被配置对具有所述多个未知组分的所述材料流进行成像；通过机器学习模型来预测所述材料流中的所述多个未知组分中的每个未知组分的一个或多个预测标签和相关联的标签预测概率，所述机器学习模型被配置为接收所述材料流的成像和/或从所述材料流的成像中提取的所述多个未知组分的一个或者多个特征作为输入；确定与所述材料流中的所述多个未知组分中的每个未知组分相关联的训练奖励；至少部分地基于与所述多个未知组分相关联的训练奖励，从所述材料流中的所述多个未知组分中选择至少一个未知组分，其中，所选择的至少一个未知组分通过分离器单元与所述材料流进行物理隔离，其中，所述分离器单元被配置为将所选择的未知组分移动到单独的可访问隔间；分析所述已隔离的至少一个未知组分以确定所述已隔离的至少一个未知组分的真值标签(groundtruth label)，其中，所述已隔离的至少一个未知组分的所确定的真值标签被添加到训练数据库；以及使用所述已物理隔离的至少一个未知组分的所确定的真值标签来训练所述机器学习模型的增量版本。

训练奖励可以是通过将与材料流的组分相关联的一个或多个真值标签添加到数据库来预测(机器学习)模型/分类器性能的改进。训练奖励可以是机器学习模型的性能增加的预测，由性能指标指示。不同的性能指标是可能的，例如取决于应用。例如，性能指标可以是准确度、纯度、产量等。可以使用多种不同的性能指标或分数。

通过从材料流中隔离出所选择的组分，可以为了确定真值标签进行分析。这些知识可以在训练过程中反馈给机器学习模型。这样，可以提高增量训练的机器学习模型的准确性。可以选择材料流中的一个或多个组分，这些组分如果被标记用于真值确定，则将最大限度地提高由机器学习模型进行分类(参见标记的预测)的性能和/或准确性。系统可以选择并物理隔离那些组分，相比于材料流中的其他组分，这些组分将提供更多的对模型的学习改进。

通过主动、半监督和非监督学习技术的组合，可以有效地减少训练机器学习模型的人工/实验工作量。该系统包括用于物理隔离一个或多个未知组分以供进一步分析的分离器单元。对一个或多个未知组分的选择可以通过使用置信度分数、预测概率、熵、特征空间中的密度等来执行。

机器学习模型可以采用主动学习来进行训练。机器学习模型可以看作是一个能够主动选择学习数据的学习器。物理主动学习可以包括用于物理隔离待分析的材料流中的所选择的组分以提供所选学习数据的装置。在主动学习中，重复‘实验、结果的学习和选择下一个实验的组分的’循环，从而能够减少实验的总量。结果的学习和下一个实验的组分的选择是由计算机进行的。该系统具有分离器单元，用于将所选择的组分从材料流中物理地隔离。可以从少数或少量的实验中获得许多结果。可以在实验设计中采用物理主动学习，以适当地设计用于分析材料流中的组分的实验，这些实验可能需要大量的成本、大量的工作和/或很长的时间。

可选地，所述机器学习模型被配置为接收从所述材料流的成像中提取的所述多个未知组分的一个或多个用户定义的特征作为输入。

可选地，采用用户生成的选择准则用于选择组分。

可选地，所述分离单元包括采用不同分离技术的多个子单元。

可选地，所述分离单元至少具有第一子单元和第二子单元，其中，基于从所述材料流的成像中提取的所述多个未知组分的一个或多个特征，选择所述第一子单元和第二子单元中的一个用于对所选择的至少一个未知组分进行物理隔离。

根据未知组分的某些性质，可使用分离单元的合适子单元以从所述材料流中分离未知组分。例如，根据未知组分的质量、尺寸等，可能需要不同的分离技术。例如，使用流体吹送装置可以更好地分离纸张，使用机械装置可以更好地分离金属块。因为未知组分的一个或多个特征是从材料流的成像中提取的，所以该数据是可用的，并且可以有利地用于选择合适的子单元。

可选的，所述第一子单元用于对所述材料流中更小和/或更轻的组分进行物理隔离，所述第二子单元用于对材料流中更大和/或更重的组分进行物理隔离。

在一些示例中，机器学习模型可以进一步控制哪种分离技术最适合用于从材料流中对所选择的未知组分进行物理隔离。

可选地，所述第一子单元被配置为通过将流体射流导向所述组分以便将所述组分吹向所述单独的可访问隔间来隔离组分，并且其中，所述第二子单元被配置为通过机械操纵装置来隔离组分。

可选地，所述第二子单元的所述机械操纵装置包括至少一个机械臂。

可选地，对于所述材料流中的每个未知组分，计算指示质量(mass)的数据。

可选地，通过包括X射线传感器的传感系统对材料流中的组分进行扫描，所述X射线传感器被配置为执行多能量成像以获取至少低能量X射线图像和高能量X射线图像。可以对通过传感系统获得的图像进行分割，以便分离图像中的一个或多个不同的对象，其中，指示分割对象的面积的数据被确定。对于每个分割对象，可以通过对低能量X射线图像和高能量X射线图像进行分析来确定指示面积密度的数据和指示原子数的数据，指示面积密度和原子数的数据通过模型来确定，所述模型通过使用具有已知面积密度和原子数的不同材料进行多能量X射线成像来校准。对于每个分割对象，可以基于指示面积密度的数据和指示每个分割对象的面积的数据来计算指示质量的数据。

可选地，基于所选择的至少一个未知组分的质量来调节由所述流体射流引起的合力。

可选地，确定指示通过所述分离单元从所述材料流中对未知组分进行物理隔离的难度的值，并将所述值与每个未知组分相关联，其中，从所述材料流中的所述多个未知组分中选择至少一个未知组分是附加地基于从所述材料流中对未知组分进行物理隔离的难度的值。

隔离的难度的排序可以极大地提高训练机器模型的效率。分离难以从材料流中分离的组分可能会导致真值分析失败。在这种情况下，仍然选择其他候选未知组分进行选择可能为时已晚，从而导致训练性能降低。本发明还考虑到分离的困难，从而允许有效地防止这种情况。例如，某物阻碍未知组分(例如周围的事物)的程度可能是导致从材料流中物理隔离未知组分的困难的重要因素。它甚至可能影响分析，因为其他组分可能附着在其上。在一些实施例中，确定分离的精度和/或纯度的预测或估计，基于该预测或估计，从材料流中的多个未知组分中选择至少一个未知组分用于物理隔离。

可选地，基于与所述多个未知组分相关联的所述训练奖励，从所述材料流中的所述多个未知组分中选择排名靠前的未知组分(a top number of unknown components)，其中，基于指示通过所述分离单元进行物理隔离的难度的值，选择所述排名靠前的未知组分的子集进行物理隔离。

可选地，基于一个或多个奖励指标来计算训练奖励。然而，也可以设想，训练奖励由用户提供(例如，基于专家知识的估计)。

应当理解，机器学习模型或学习机器可以被理解为依赖于一个或多个机器学习算法用于执行机器学习模型或学习机器尚未被明确编程来执行的任务的计算实体。特别地，机器学习模型可能够调整其行为来适应其环境。在材料流中的组分表征和检测的情况下，这种能力可能非常重要，因为材料流经常面临变化的条件和要求。所述系统可以被配置为并入新传入的数据，以便实时操作。机器学习模型知识可以随时用新的数据点进行增量。在批处理模式下，可以收集大型数据集，并且可以一次处理整个数据集。在增量模式下，机器学习模型可以随时用新的数据点进行增量(轻量级和适应性强)。

可选地，所述机器学习模型的所述增量版本使用从对所述已隔离的至少一个未知组分的所述真值标签的分析中周期性地获得的数据来进行周期性地训练。

根据本发明，通过采用主动学习，可以显著减少待标记的训练示例的数量。因此，检查未标记的示例，并且最有信息量的示例是关于给定成本函数的选择性样本，供人(例如，至少部分人工)和/或机器进行标记。有利地，主动学习算法可以提供一种方式来有效地选择将具有最大性能改进的用于(物理)标记的示例。

在一些示例中，待分析的下一个组分是基于其与特征空间中的其他组分(的集群)的距离而选择的。然而，也可以使用其他技术。例如，可以采用一种统计方法，其中选择和隔离组分以进行分析，使得未来机器学习模型的至少一个统计属性(例如，学习器方差)得到优化。在一些示例中，基于分类器集合的不一致量水平来执行组分的选择。应当理解，还设想了其他方法来确定与材料流中识别的组分中的每个组分相关联的训练奖励。

可选地，多个已识别的未知组分被划分为一个或多个集群(cluster)，使得每个集群包含具有相似特征和/或特性的组分，其中，至少部分地基于已识别的未知组分与所述一个或多个集群的距离来向所述已识别的未知组分分配训练奖励。

本发明能够通过机器学习模型中的确定性预测来控制奖励训练，例如利用神经网络实现。然而，应当理解，基于机器学习模型对预测标签的预测的不确定性/置信度来确定训练奖励是一种可能的实施方式。还设想了其他实施方式。在某些情况下，可以观察到材料流的一个组分，该组分以前从未被机器学习模型处理过。在这样情况下，模型可以以相当高的确定性确定该组分属于某个分类(预测标签)，而该组分实际上属于模型尚未观察到的分类。这可以通过分析特征空间中的集群而不是组分的不确定性来克服。如果组分远离特征空间中当前观察到的所有集群，则可以基于组分的位置或组分到集群的距离进行选择。这可以被视为异常或离群检测。

有利地，在机器学习模型的训练期间可以有效地考虑多样性。例如，物理主动机器学习系统可以选择新的未知组分(即未标记的观察值)，这些组分在所有观察到的未知组分(即未标记的观察值)中是不同的。以这种方式，(物理)主动机器学习系统可以组装更高质量的训练集。

聚类算法可用于区分不同的集群，以查看这些集群是否在本质上彼此不同。被识别为位于集群深处的组分可能具有低的不确定性，而远离核心或位于几个集群之间的微粒可能具有更高的不确定性。训练奖励可以与集群相关联，以便更准确地确定集群及其在一个或多个维度中的边界。

可选地，训练奖励至少部分地基于置信度分数。

可以基于与材料流中已识别的组分相关联的每个未标记数据点的不确定性和多样性来确定训练分数。在一些示例中，在一次批处理中选择分数排名前n的数据点，其中n对应于批处理大小。批处理大小可以理解为要从未标记的材料流中选择的数据点(参见组分)的数量。所选择的组分可以与材料流中的其他未标记的组分隔离，用于手动和/或实验注释。

使用物理主动学习可以更有效地训练机器学习模型。可以使用实验标记的数据(例如，手动确定、自动确定)而不是手动/人工标记的数据，从材料流中的多个未知组分中的一组所选择的未知组分来训练模型。

在主动学习过程中，可以首先使用第一组真值数据来训练机器学习模型。该第一组真值数据例如可以是手动生成的或通过模型自动生成的小集合。使用传感系统，可以将来自多个未知组分的一个或多个未知组分识别为用于提供训练数据的候选。例如，训练奖励(例如，置信度度量)可以用于预测哪些候选当前被机器学习模型错误地识别。例如，所选择的一个或多个未知组分可以对应于可能存在所使用的(训练的)机器学习模型识别错误的情况。然后，一个或多个未知组分可以通过分离器单元(例如，具有用于执行隔离任务的一个或多个传感器的机器人装置)进行物理隔离，从而能够进行进一步分析以确定真值。例如，人可以手动验证已隔离的所选择的一个或多个未知组分。附加地或替代地，机器和/或其他传感装置可用于实验地确定已隔离的所选择的一种或多种未知组分。

可选地，一次在单个实例中同时选择和隔离多个组分。这在特征和目标(标签/因变量)空间之间存在弱相关性的情况下是相关的。可选地，对用于隔离的多个组分的选择是基于机器学习模型对它们的预测标签。

可选地，基于训练奖励将多个已识别的未知组分作为用于选择的候选来进行排序，以便产生选择性采样顺序，其中，对来自选择性采样顺序的排名靠前的多个已识别的未知组分进行隔离和分析以确定其真值标签，并基于该真值标签训练机器学习模型的增量版本。

可选地，机器学习模型被配置为采用基于池的主动学习，其中机器学习模型暴露于与材料流中的已识别的组分相关联的未标记数据点的池中，其中机器学习模型被配置为迭代地选择材料流中的多个组分中的一个或多个组分，用于至少部分手动和/或至少部分自动(例如使用测量设备)注释，以确定真值。

可选地，所述单独的可访问隔间使得能手动移除已隔离的未知组分，其中，为所述单独的可访问隔间内的已隔离的未知组分提供所述机器学习模型的内部参考的指示，其中，至少部分地通过人工注释来对所选择的至少一个未知组分进行分析。

可选地，机器学习模型是基于串行查询的，其中，一次选择并隔离单个组分用于进一步分析。

可选地，机器学习模型是基于批处理模式的，其中在更新机器学习模型之前，选择并隔离一批组分用于(例如同时)分析。

可选地，通过分析单元对已隔离的未知组分进行分析。

可选地，所述分析单元被设置为对所述单独的可访问隔间内的已隔离的未知组分进行表征，以基于所述表征来确定所述真值标签。在一些例子中，可以由所述分析单元自动地对已隔离的未知组分进行分析。

可选地，所述分析单元被配置为对已隔离的组分进行化学分析，以至少部分地基于所述化学分析来确定所述真值标签。

可选地，所述分析单元被配置成对已隔离的组分进行破坏性测量，以至少部分地基于所述破坏性测量来确定所述真值标签。

可选地，所述分析单元被配置为执行以下至少一种：能量或波长色散X射线荧光(XRF)光谱法、火焰分析法、电感耦合等离子体光发射光谱法(ICP-OES)、电感耦合等离子体原子发射光谱法(ICP-AES)、电感耦合等离子体质谱法(ICP-MS)、激光诱导击穿光谱法(LIBS)、(近)红外(NIR)光谱法、高光谱光谱法、X射线衍射(XRD)分析法、扫描电子显微镜法(SEM)、核磁共振法(NMR)、拉曼光谱法等。可以采用测量技术的组合以确定真值。

分析单元可以被配置为以离线模式执行关于传感系统的测量。所述分析单元还可以被配置为以批处理模式操作，用于确定已隔离对象的真值标签。在一些示例中，分析单元被配置为以一定的时间延迟(例如几分钟)近乎实时地进行测量。应当理解，在一些示例中，分析单元还可以被配置为提供相对快速的反馈，例如实时或准实时操作(例如在线测量)。

在一些示例中，分析单元可以被配置为执行延迟测量(例如，非实时)。

可选地，分析单元被配置为执行不连续的、周期性的和/或间歇的测量，以确定所选对象的真值。由分析单元执行的测量技术可能需要延长的、持续的或相对长期的测量过程。

分析单元采用的一个或多个测量技术可能需要可以是时间密集型的和/或至少部分破坏性的准备步骤。在一些示例中，一个或多个测量技术不是实时进行的。所采用的测量技术可能相对昂贵和/或需要人力。

可选地，分析单元执行非成像测量。在一些示例中，分析单元不执行(光学)成像技术，例如不产生图像。例如，分析单元可以被配置为基于化学分析来进行测量。

可选地，所述传感系统包括X射线传感器，所述X射线传感器被配置为进行多能量成像以获得至少低能量X射线图像和高能量X射线图像，其中通过所述传感系统获得的图像被分割以便分离所述图像中的一个或多个不同的未知组分，其中指示分割对象的面积的数据被确定，其中对于分割的未知组分中的每一个，通过分析所述低能量X射线图像和所述高能量X射线图像来确定指示面积密度的数据和指示原子数和/或化学组成的数据，指示密度和原子数的数据通过模型来确定，该模型通过使用具有已知面积密度和原子数的不同材料进行多能量X射线成像来校准，其中对于每个分割的未知组分，基于指示面积密度的数据和指示分割对象的面积的数据来计算指示质量的数据。

可选地，X射线传感器是双能量X射线传感器。

可选地，感测系统还包括深度成像单元，用于确定指示分割对象的体积的数据。

可选地，深度成像单元包括三维激光三角测量单元或三维相机中的至少一个。

可选地，传感系统还包括彩色成像单元，该彩色成像单元被配置为拍摄分割对象的彩色图像。

可选地，在确定一个或多个分割对象中的每一个的表征特征之前，对来自传感系统的不同子系统的数据进行对齐。

可选地，对于一个或多个分割对象中的每一个，确定与体积、尺寸、直径、形状、纹理、颜色和离心率中的至少一个相关的进一步表征特征。

可选地，材料流在传送带上移动，其中通过传感系统来扫描材料流以表征材料流中的对象。

可选地，存储一个或多个分割对象的表征特征，以便建立数字孪生模型。

可选地，在运输之前表征材料流以确定第一数字识别标记，其中随后在运输到远程位置之后，对材料流进行表征以确定第二数字识别标记，其中将第一和第二数字识别标记彼此进行比较，以确定运输期间内容物的变化。

可选地，材料流是非均质的。

可选地，材料流选自由固体废物、生产产品、农产品和电池组成的组。

典型地，用于材料流中的对象/组分表征的常规方法是人工对对象进行手动检查。这通常是在废物流中进行的。此外，这通常是通过对太小且因此不具有代表性的样品进行表面目视检查来实现的。除了这项任务繁琐和耗时之外，它的主观性质意味着得出的结论可能并不总是可靠的。由于质量控制是材料流(如废物流)中组分表征的一个重要目的，这阻碍了向更循环经济的过渡，因为二次材料的可变质量大大降低了市场兴趣。本发明提供了一种利用更详细的层面上的数据的快速、客观和准确的自动化方法。自动化检测通过人工智能(AI)进行，将材料流的组分表征转向数据驱动和自动化的方法。

可选地，机器学习模型是在线或连续学习模型，其被配置为对所选择的已隔离的未知组分(参见样本)的每个新分析进行更新。例如，分析可以由用户通过分类来执行(例如，至少部分手动)，或者使用分析单元完全自动化地执行(例如，实验测定)。还可以设想将自动分析和手动分析相结合，以确定真值标签。

可选地，采用深度学习的机器学习模型。应当理解，深度学习是一类采用表示学习方法的机器学习技术，其允许机器获得原始数据并确定数据分类所需的表示。深度学习可以使用用于改变深度学习机器模型的内部参数(例如，节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可以利用多种多层架构和算法。

神经网络环境中的深度学习可以包括许多被称为神经元的互连节点。从外部源激活的输入神经元基于与由神经网络参数控制的其他神经元的连接来激活那些其他神经元。神经网络可以根据自己的参数以某种方式运行。训练深度学习模型会细化模型参数，表示网络中神经元之间的连接，使得神经网络以期望的方式运行(在其预期的任务中更好，例如，对材料流中的组分进行分类)。

深度学习的运作基于这样一种理解，即许多数据集包括特征的层次结构——从低级特征(例如边缘)到高级特征(例如图案、对象等)。例如，在检查图像时，模型不是寻找对象，而是开始寻找形成图案的边缘，这些图案形成部分，这些部分形成了所寻找的对象。学习的可观察特征包括由机器学习模型学习的对象和可量化的规律性。提供有大量分类良好的数据集的机器学习模型能够更好地区分和提取与新数据的成功分类相关的特征。

可选地，机器学习模型利用卷积神经网络(CNN)。在一些例子中，深度学习可以利用卷积神经网络分割来定位和识别数据中学习的、可观察的特征。CNN架构的每个过滤器或层都可以转换输入数据，以增加数据的(特征)选择性和鲁棒性。数据的这种抽象使得机器能够专注于它试图分类的数据中的特征，而忽略不相关的背景信息。使用卷积神经网络(CNN)的深度学习机器模型可以用于图像分析。

根据一个方面，本发明提供了一种用于训练机器学习模型的系统，所述机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征，所述系统包括处理器、计算机可读存储介质、传感系统和分离器单元，其中，所述计算机可读存储介质存储有指令，所述指令当由所述处理器执行时，使得所述处理器执行操作，所述操作包括：操作所述传感系统来扫描所述材料流，以便对具有所述多个未知组分的所述材料流进行成像；通过机器学习模型来预测所述材料流中的所述多个未知组分中的每个未知组分的一个或多个标签和相关联的标签概率，所述机器学习模型被配置为接收所述材料流的成像和/或从所述材料流的成像中提取的所述多个未知组分的一个或多个特征作为输入；确定与所述材料流中的所述多个未知组分中的每个未知组分相关联的训练奖励；至少部分地基于与所述多个未知组分相关联的训练奖励，从所述材料流中的所述多个未知组分中选择至少一个未知组分；操作所述分离器单元用于将所选择的至少一个未知组分与所述材料流进行物理隔离，其中所述分离器单元被配置为将所选择的未知组分移动到单独的可访问隔间；接收通过进行分析而确定的对于所述已隔离的至少一个未知组分的真值标签，其中，所述已隔离的至少一个组分的所确定的真值标签被添加到训练数据库；以及使用所述已物理隔离的至少一个未知组分的所确定的真值标签来训练所述机器学习模型的增量版本。

用于选择要包括在训练集中的材料流中的特定组分的方法可以基于通过将每个识别的组分包括在训练集中而获得的“奖励”的估计(性能增加的估计)。然后，可以隔离和分析材料流中的所选的特定组分，以便进一步训练机器学习模型。奖励可以基于与材料流中的未标记组分相关联的不确定性。然而，也可以将训练奖励建立在特征空间中已识别的组分聚类上。

主动学习是机器学习的一个特定领域，其中算法能够交互式地查询信息源，以获得针对新数据点的期望的输出(例如，材料属性、材料类型、材料特性、化学分析、颜色、形状属性、质量、密度等中的至少一个)。在本发明提供的物理主动学习中，使用分离器单元来物理隔离材料流中的一个或多个所选择的未知组分，用于提供一个或多个新数据点的进一步分析。物理主动学习模型能够根据指示输入数据点的“最优性”的训练奖励(例如，加权分数)来确定要进行的测量。在一些示例中，可以仅利用输入数据信息来确定和/或计算该训练奖励。

可选地，用户(例如专家或操作员)可以对用于隔离和分析的组分的选择施加附加准则。在一些示例中，训练奖励并不总是被计算得到的，而是也可以由用户假设得到。可以基于预定假设(例如，基于经验/知识)选择用于隔离和分析的组分，以确定用于训练机器学习模型的真值。例如，可以至少部分地基于组分的性质(例如，形状、密度等)来执行对材料流中的组分的物理隔离。

在一些示例中，传感系统包括一个或多个成像模态，例如2D相机、3D相机、X射线成像系统等。也可以使用其他成像模态，例如计算机断层扫描(CT)系统、磁共振成像(MRI)系统等，也可以是成像模态的组合。例如，3D相机系统可以与X射线系统相结合。

根据一个方面，本发明提供了一种方法和系统，该方法和系统具有选择性地隔离材料流中的一个或多个组分，以用于进一步分析来确定真值标签的装置，其中所述一个或多个组分基于其特定特性来选择，并且其中所述真值标签用于机器学习模型的主动学习训练，所述机器学习模型用于获得材料流中的组分中的每个组分的预测标签。在一些示例中，可以基于例如由用户提供的选择准则(例如，选择具有高密度的组分、具有诸如颜色的一些视觉特性的组分、具有某些形状的组分等)，来选择用于隔离和用于真值确定的进一步分析的一个或多个组分。例如，专家可以估计确定所选组分的真值是否会为模型提供更大的训练奖励。有利地，可以获得基于传感器的分离装置，其提供对用于训练机器学习模型的所选组分的物理隔离。

机器学习模型可以作用于待标记的示例，而不是从随机选择的示例中学习(被动学习)，这可以被视为主动学习。使用主动学习，可以使用训练数据的子集获得更好的性能。本发明采用物理主动学习，其中提供了分离器单元，所述分离器单元被设置为从材料流中物理隔离组分。

应当理解，机器学习模型可以使用计算机的处理能力来执行算法，以学习数据的行为或特征的预测器。机器学习技术可以对具有已知类别或标签的一组训练样本(训练集)执行算法，例如已知表现出特定属性/特征的一组组分，以学习将预测未知事物的行为或特征的特性，例如未知组分是否属于某个类别或组。

应当理解，标记可以以不同的方式并且由不同的实体来执行。例如，可以由机器学习模型进行标记(即，提供预测标签)。此外，另一方面，也可以(例如，由经分析的、人工注释器，实验装置等执行)进行标记来确定真值标签。

应当理解，训练奖励可以被视为学习奖励或主动奖励。如果用真值进行标记并用于训练机器学习模型，它可以被理解为对于性能将提高的程度的预测和/或指示。训练奖励可以指示机器学习模型通过使用与材料流的所选组分相关联的所确定的真值标签进行训练而得到的改进。训练奖励可以理解为机器学习过程中的学习奖励。

应当理解，可以实施各种主动学习技术。主动学习技术可以被配置为选择将在选择训练集时提供知识或“诀窍”的最大增益的动作。主动学习技术在量化“知识”和知识收益的方式上可能有所不同。在决定哪种行为可能导致知识的最大收益的方式上，它们也可能有所不同。许多不同的实施方式是可能的。

应当理解，鉴于该方法所描述的任何方面、特征和选项同样适用于该系统和所描述的回收装置。同样清楚的是，上述方面、特征和选项中的任何一个或多个都可以组合。

附图说明

下文将基于附图中表示的示例性实施例进一步阐明本发明。示例性实施例通过非限制性说明的方式给出。注意，附图仅是通过非限制性示例给出的本发明实施例的示意性表示。

在附图中：

图1示出了系统的实施例的示意图；

图2示出了系统的实施例的示意图；

图3示出了方法的实施例的示意图；

图4示出了示例性特征空间；

图5示出了不同组分类别的特征分布；

图6示出了示例性学习过程指标；

图7示出了系统的示意图；以及

图8示出了方法的示意图。

具体实施方式

在监督机器学习中，模型在(大的)材料流上训练，其中每个对象都伴随有一个标签(label)。标签可以表示在材料流中识别的组分/对象的各自的材料类别(例如，金属、木材、玻璃、陶瓷……)，并且可以由机器学习模型用来学习如何正确的对材料流中的组分/对象进行分类。这种标记数据(labeled data)的确定和/或制备通常被认为是训练过程的瓶颈：从非均质材料流中精心选择数千个单独的组分/微粒可能是耗时且昂贵的工作。因此，虽然来自材料流的未标记数据可以大量获得并且容易获得，但标记数据可能是稀缺且难以获得的。此外，每次考虑新的材料流时，可能必须从头到尾重复整个标记过程。本发明采用了对材料流中组分的数据驱动表征，显著降低了标记成本，同时基本上保持了与使用整个训练数据集的监督模型相当的精度。通过采用主动学习，机器学习模型本身可以选择材料流中需要标记的组分(例如对象、微粒)的一个小的最佳子集。然后，专门在这个小的标记子集上训练机器学习模型，会导致模型性能可以与在材料流中的整个组分流上训练模型的场景相媲美。

图1示出了一种用于训练机器学习模型的系统1的实施例的示意图，该机器学习模型被配置为对具有多个未知组分3i的材料流3中的组分进行表征。系统1包括处理器、计算机可读存储介质、传感系统5和分离器单元100，其中计算机可读存储介质具有存储的指令，当由处理器执行时，这些指令导致处理器执行包括以下操作的操作：

操作传感系统5来扫描所述材料流3，以对具有所述多个未知组分3i的所述材料流3进行成像；

通过机器学习模型来预测所述材料流3中的所述多个未知组分3i中的每个未知组分的一个或多个标签和相关联的标签概率，所述机器学习模型被配置为接收所述材料流3的成像和/或从所述材料流3的成像中提取的所述多个未知组分的一个或多个特征作为输入；

确定与所述材料流3中的所述多个未知组分3i中的每个未知组分3i相关联的训练奖励；

至少部分地基于与所述多个未知组分3i相关联的训练奖励，从所述材料流3中的所述多个未知组分3i中选择至少一个未知组分；

操作所述分离器单元100用于将所选择的至少一个未知组分与所述材料流3进行物理隔离，其中所述分离器单元100被配置为将所选择的未知组分移动到单独的可访问隔间101；

接收通过进行分析而确定的对于所述已隔离的至少一个未知组分的真值标签，其中，所述已隔离的至少一个未知组分的所确定的真值标签被添加到训练数据库；以及

使用所述已物理隔离的至少一个未知组分的所确定的真值标签来训练所述机器学习模型的增量版本。

在该示例性实施例中，分离器单元包括用于将所选择的组分自动隔离在隔间101中的机械臂。应当理解，也可以采用其他手段来选择性地将所选择的组分从材料流3移动到隔间101，以用于关于真值确定的进一步分析。这可以以不同的方式执行，例如涉及用于执行物理分离的机器人装置。也可以采用各种其他技术，例如，可以通过空气射流(例如使用空气喷嘴)实现从材料流中喷射出所选择的组分。也可以使用技术的组合(例如，取决于待从材料流中分离/隔离的组分的尺寸)。例如，较大的组分可以使用机械臂进行物理隔离，而较小的组分可以通过使用流体喷嘴的流体射流进行隔离。

由于材料流3中的大量组分，由人手工标记每个组分(大数据集)可能不切实际。为了优化与训练数据分类器相关联的标记工作，采用了主动学习方法，该方法仅选择有希望的和样例的组分用于手动标记。材料流中的所选择的组分借助于分离器单元100被自动物理隔离。在这个例子中，设置了机械臂。然而，如上所述，也可以采用一种或多种其他方式。

机器学习模型可以是应用选择函数以物理隔离用于标记的组分的主动学习器。基于该选择，可将组分从材料流3中隔离在单独的可访问隔间101中，用于手动和/或实验标记以确定真值。机器学习模型(参见分类器)可以用新标记的数据重新训练，并且该过程可以继续，例如直到满足预定义的停止准则。由于待标记的用于训练机器学习模型的组分是基于训练奖励来选择和隔离的，因此可以避免基于新数据点重新训练分类器的耗时过程。因此，可以更有效地训练机器学习模型。

图2示出了系统1的实施例的示意图，类似于图1所示的系统。在该实施例中，分离器单元100包括设置在材料流3的路径中的能操作的盖子103。例如，材料流可以通过传送带输送，能操作的盖子103可以设置在传送带上。该系统可被配置为选择性地打开盖子103以隔离材料流3中的一个或多个组分。可选的光学单元105(例如照相机)可用于检测何时打开盖子103以将一个或多个组分与材料流3隔离。应当理解，其他变型也是可能的，例如不使用光学单元105。光学单元105可以是可选的，例如，在一些示例性实施例中，来自传感系统5的数据可以用于检测何时打开盖子103以将一个或多个组分与材料流3隔离。在一些示例中，可选的光学单元105也可以设置在更上游，从而在打开盖子103时提供更多的反应时间。

可以选择与材料流中已识别组分相关的最合适的数据点进行隔离和手动和/或实验标记，以确定真值。然后，由此产生的真值可以用于进一步训练机器学习模型。由于选择是基于训练奖励执行的，因此可以确保机器学习模型的最大泛化能力，所述机器学习模型需要最少的人工标记工作。

图3示出了方法20的实施例的示意图。该方法可以采用主动机器学习，其中选择期望接收训练数据的材料流3的样本集，而不是被动地接收由外部实体选择的样本。例如，当机器学习模型学习时，可以允许模型选择模型确定将对学习最有帮助的样本(与训练的相关性)，而不是例如仅依赖外部专家或外部系统来识别和提供样本。

图3示出了基于池的主动学习周期。标记的训练集21可用于训练机器学习模型23。机器学习模型可以用未标记池25来呈现。机器学习模型可以预测与材料流中的组分相关联的标签和训练奖励。然后，可以选择查询进行分析27(人工注释和/或实验)。选择可以基于训练奖励。所选择的组分可以物理分离以进行标记。来自分析/标记的结果可以用于机器学习模型的另一训练集(参见标记的训练集21)。

主动学习或查询学习可以通过以未标记示例的形式询问要由oracle(例如人工注释器和/或自动分析器)标记的查询来克服训练过程的标记瓶颈。这样，主动学习器的目标是使用尽可能少的标记实例来实现高精度，从而最小化获得标记数据的成本。存在许多查询策略，例如，可以采用所谓的基于池的主动学习，其中训练数据一方面被分成(小的)已标记数据集，另一方面被分成大的未标记实例池。主动学习器可能以贪婪的方式操作：可以通过同时评估未标记池中的所有实例来选择要给注释器查询的样本。将最大化某个准则的组分(参见样本)发送到oracle进行注释，并添加到已标记的训练集，之后可以在该集上重新训练分类算法。然后，来自模型的更新结果允许主动学习器为人工注释器进行新的查询选择。

主动学习器可以采用一个或多个准则来选择要被隔离和分析用于注释的新组分。存在不同的方法，在一些有利的实施例中，所采用的查询策略基于不确定性采样。主动学习器查询最不确定如何标记的未标记池的实例。设x是描述材料流中未标记的组分池中某个组分的特征向量。在模型θ下，人们可以将该组分的材料类别，即微粒的标签，预测为所有类别y中后验概率最高的类别：

示例性查询策略将是通过对未标记池中的所有组分计算上述等式(1)来选择其预测最不可靠的组分，并根据下式选择其中一个。

该准则相当于选择使得最大化机器学习模型认为会错误标记x的样本，即，在可用于查询的未标记组分中，其最可能的标记是最不可能的样本。缺点是机器学习模型只考虑关于最可能标签的信息，因此丢弃了关于后验分布其余部分的信息。

解决上述缺点的替代采样策略是使用香农熵作为不确定性度量的策略：

其中，y＝(y1，...，y6)^T是包含所有6个类别的标签的向量，如图1的示例中所示。当然，也可以使用其他类别。由于熵是变量的平均信息含量的度量，因此，它通常被用作机器学习中的不确定性或杂质度量。

图4示出了示例性特征空间。本发明采用物理主动学习，其中仅选择和隔离材料流中的那些组分/对象用于确定真值标签，随后使用真值标签用于进一步训练机器学习模型，该机器学习模型用于预测与材料流中的组分/对象相关联的标签。以这种方式，可以使用对特定的所选择和已隔离的组分/对象的自动分析来更有效地训练机器学习模型(例如分类模型)。

事后单独确定每个组分的真值标签可能过于耗费人力。有利的是，现在可以更少的数据很好地训练模型。该系统可以自动选择和隔离材料流中的组分，以进行进一步分析，从而确定真值标签。这对于例如涉及一个或多个废料流的废物处理是非常有用的。例如，该系统可以被配置为进行废物表征，其中该系统允许对所采用的机器学习模型进行有效的进一步训练。此外，在一些示例中，该系统还可以被配置为基于废物表征来进行材料的分类。应当理解，本发明也可以用于表征其他材料流的其他应用中。

确定真值可以以不同的方式建立，例如部分涉及手动标记(例如，至少部分由人工分析)。然而，它也可以自动确定，例如涉及化学实验。还可以采用技术的组合，例如当要确定不同的属性以导出真值标签时，例如需要不同的技术。可以确定不同的表征参数来确定真值(例如，质量、化学、重量、几何性质等)。

材料流可以是材料或组分的非均质流。可以使用各种算法和技术来确定哪个微粒对训练机器学习模型贡献最大。为此，可以应用不同的主动学习方法。

可以采用不同的策略(例如，通过分析)来选择下一个点进行真值标记。在图4所示的示例中，该系统被配置为操作分离器单元100以隔离一个或多个组分(参见采样)，所述一个或多个组分是基于到集群的距离而被选择用于真值标记的。可以使用不同的技术，例如包括：

-选择距离所有集群中心最远的样本。这允许检测潜在的新(子)类。

-选择位于集群之间的样本(例如，与两个集群的距离相等)。这允许细化类之间的决策。

选择距离大多数样本/集群最远的样本(即孤立样本)。这允许识别可能代表新(子)类的离群/异常。

也可以使用上述技术的组合。应当理解，也可以采用其他选择策略。

图5示出了不同组分类别的特征分布；材料流3中的组分3i可以分类成不同的类别：例如纸、木材、玻璃、石头、黑色金属(铁)和有色金属(非铁)。图5中提供了示例性类别。机器学习模型可以是被配置为学习区分这些不同类别的分类模型。图5所示的图表示四个特征的单变量和双变量分布。正如所料，一些特征比其他特征更适合区分某些材料。例如，原子数能够很好地区分纸张和有色金属，但无法区分石头和玻璃。对于平均密度而言，正好相反。当训练分类器时，可以组合所有示例性特征(在本示例中共31个)，从而使学习潜力最大化。

对角线图表示来自数据集的4个特征的分布的核密度估计。非对角线图代表各自特征的散点图：平均原子数<Z>、平均密度的对数<ρ>、高度的标准差σ_高度的对数和组分周长的对数。

对材料流中的用于真值标签分析的组分的选择和隔离，可以基于当前机器学习模型(参见分类器)对材料流中未标记的已识别组分的置信度水平。

图6以不同的图示出了学习过程指标。在图6的顶部面板中，示出了不同示例性模型(随机采样，和基于最小置信度和熵准则的不确定性采样，分别参见等式(2)和(3))的学习曲线，其采用不同的准则来选择要被隔离和分析用于注释的新组分。这些线揭示了每个模型的测试性能如何随材料流3中被查询的(参见为分类而选择、隔离和分析的)组分的数量而变化，或者等效地，随已标记的训练集的大小而变化。在该示例中，样本大小以1的步长递增，并且使用具有径向基核的支持向量机(SVM)作为分类器。

将如等式(2)中基于置信度准则的不确定性采样与如等式(3)中基于熵准则的不确定性采样、以及随机采样比较。在后一种情况下，材料流中的组分不会基于某些不确定性准则进行查询，而是完全随机地进行查询。

一般来说，预计任何模型的性能都会随着样本大小的增加而提高，因为更多的标记数据意味着更多的信息。然而，对于所有模型来说，这并不是以相同的速度发生的。该图表明，基于熵和置信度的采样技术的结果是可比的，但随机采样在材料流中组分的分类方面明显表现不佳。在大的样本大小的限制下，所有模型性能收敛于利用整个训练数据集的模型的“最优”值。该性能是主动学习模型要与之竞争的性能，并且在图6中示出为0.988的基线精度。从图6可以清楚地看出，当主动学习器的性能接近基线精度时，需要更多的样本来获得更小的绝对增益。例如，不确定性采样需要77个标记实例才能达到99％的基线精度，需要195个标记实例才能达到99.9％的基线精度，即已标记样本的数量需要增加一倍以上才能使精度仅提高0.9个百分点。这在实际应用中提出了一个重要的问题，即标签成本和产生分类错误的潜在成本之间的权衡。

这些线显示了250个不同随机初始条件的平均结果，阴影区域的边界由10％和90％分位数定义。此外，还显示了在学习过程的三个不同阶段由平均原子数Z和密度ρ跨越的特征空间的横截面。第一列指示在此之前已经查询了哪些样本。第二列和第三列显示了在这个特征空间的二维横截面中最小置信度和熵度量的行为。示出了剩余的未标记样本，不确定性最高的样本用叉号表示：这是下一个要隔离和分析的组分(例如，通过人工注释器和/或实验)。

在学习曲线上已经指示了三个位置，在图6的其他图中进一步检查了这三个位置。这些图显示了由平均原子数Z和密度ρ的对数所跨越的31维特征空间的横截面。第一列显示了针对学习过程的三个阶段中的每一个阶段，到目前为止哪些样本已经被标记。在主动学习过程的开始，样本在空间中或多或少地被均匀地抽取，这也是为什么在这一点上与随机模型的差异没有那么大。

然而，当更多的数据变得可用时，主动学习器开始识别不同材料类别之间的边界区域，并主要查询紧邻这些类别边界的样本，因为这些通常是模型分类不确定性最高的微粒。这也可以从图6中的第二列和第三列观察到，它们分别示出了二维模型的置信度和熵采样准则的行为。随着更多标记的训练数据可用，分隔不同材料类别的边界作为具有更高不确定性的区域变得更加明显。虽然针对熵准则的类边界似乎比针对置信度准则的类边界更平滑，但两种度量的模式大致相同。这也就解释了为什么查询相似的样本，并且两者的性能大致相同。

一般来说，不确定性度量的最佳选择很大程度上取决于手头的数据集。然而，有人可能会说，在简单地通过多数投票进行分类的情况下，置信度准则可能会稍微更合适一些：一个组分被分配给具有最高后验概率的类别。然而，如果使用更复杂的规则(例如，在不平衡数据集的情况下)，熵可以说是更明显的选择。

图7示出了系统1的实施例的示意图。在该示例中，设置可选的(彩色)相机7和可选的3D激光三角测量单元9中的至少一个，以便能够确定与每个已分割对象相关联的附加特征。因此，在一些例子中，除了与材料类型、质量等相关的特征/特性之外，也可以基于尺寸、形状、颜色、纹理、视觉洞察力等中的至少一个来区分已识别的和/或已分割的对象。这样的信息还可以实现虚拟实验。在该示例中，传感单元5包括X射线传感器11，该X射线传感器11具有两个X射线子单元11a、11b，用于执行双能量X射线成像。此外，相机7和3D激光三角测量单元9集成在传感单元5中。以这种方式，传感单元5提供可以例如通过计算机单元13对齐和/或融合的多个图像。对齐和/或融合从不同相机/检测器获得的成像数据能够更好地确定已分割对象的特征/特性。对一个或多个材料进行分割，并且分析各个已分割对象3i以确定其相关特征/特性。在该示例中，为每个已分割对象确定以下特征15：密度、材料、形状、大小和质量。应当理解，其他组的特征也是可能的。从数据中还可以导出每个已分割对象的相对重量百分比。

根据本发明的系统在表征一种或多种材料方面可以更快且更自主，同时只需要较少的来自人工的(劳动密集型)输入。该系统可在废物表征的应用中具有重要的优势。

为了开发一种识别不同废物微粒(的图像)并将其分类为不同类别的模型，可以通过向机器学习模型显示大量图像来训练机器学习模型，每个图像都伴随有一个描述其中内容的标签。传统的方法被称为监督学习，在这种方法中，所有数据都被预先标记。这些标记数据代表了机器学习算法的“燃料”。对于废物表征技术，标记数据通常可以通过扫描物理“纯”单一材料流来生成，这些单一材料流通常是通过从非均质废物流中精心选择数千个单独的微粒来手动制备的。

废物的表征在回收工业中有几个重要的应用。它可用于价值评估。对完整材料流的快速可靠的价值评估降低了商品股票市场波动的风险。此外，它可用于质量控制。在循环经济中，希望回收产品的质量得到保证。表征技术有助于建立市场信任。此外，它还可用于工艺工程。可以通过虚拟实验评估废物回收工艺和新工艺设计的技术和经济上的可行性。此外，它可用于在线过程优化。分拣过程可以即时测量、控制和优化。

在一些例子中，可以提供直接的在线表征技术，以定性(材料类型、化学、纯度……)和定量(质量平衡、物理性质……)评估材料。这种在线表征系统可以被配置为完全评估非均质和复杂的材料流，从而消除了二次采样(subsampling)的需要。此外，质量平衡可以即时产生。事实上，对于每个材料对象，可以创建一个数字孪生，可以以虚拟的方式对其进行进一步评估。

本发明可以提供使用物理主动学习的数据驱动的材料表征，其可以在收集训练数据时大大减少标记工作。虽然传统的机器学习算法需要大量且完全已标记的数据集进行训练，但据观察，只需要这些数据的一小部分就可以做出良好的预测。主动学习允许在由算法选择的小的子集上训练模型，并获得与在完整数据集上训练模型所获得的精度相当的精度。在一些例子中，主动学习允许减少70％的标记成本，同时保持通过在完全已标记的数据集上进行训练而获得的99％的精度。

应当理解，根据本发明的系统和方法可用于不同的材料流。在一些例子中，材料流包括建筑和拆迁废物。然而，也可以使用其他废物流。

图8示出了方法30的示意图。在第一步骤31中，对一个或多个材料的对象或组分进行识别和分割。这可以通过对象检测算法和/或分割算法来执行。使用传感单元5获得图像。也有可能在对(例如来自不同的传感器或传感单元5的子单元的)不同的图像进行对齐和/或融合之后获得被分割的采集图像。在该示例中，框20设置在分割对象3i周围。在第二步骤33中，为每个分割对象3i确定特性/特征15。在这个例子中，确定了质量、体积和原子数。在第三步骤中，可以通过机器学习模型来预测标签。如步骤37所示，这可以通过将数据作为输入提供给经训练的神经网络25以获得(预测的)标签17作为输出来完成。在这个例子中，经训练的神经网络是深度学习模型。然而，也可以使用其他机器学习模型，例如支持向量机(SVM)、基于决策树的学习系统、随机森林、回归模型、自动编码器聚类、最近邻(例如kNN)机器学习算法等。在一些例子中，可以使用替代回归模型代替人工神经网络。

本发明提供了所使用的机器学习模型(例如深度神经网络)的更有效的训练。通过主动学习，可以通过选择性地采样(在材料流中)未标记数据的子集来减少待(手动)标记的训练样本的数量。这可以通过检查未标记的样本、并选择关于给定成本函数的信息最丰富的样本用于人工和/或实验标记来完成。主动学习机器学习模型可以选择能够导致性能最大提高的样本，从而减少人工和/或实验标记的工作量。选择性地对材料流中的多个组分进行组分采样假定存在多个组分中的候选组分的池可标记。因为在材料流中可以存在新的和相对独特的组分的恒定流，所以该流提供了用于连续且有效地改进机器学习模型的性能的源。有利地，所选择的组分可由系统通过分离单元自动隔离。主动学习机器模型可以导出从材料流收集的所有组分的较小子集，用于人工和/或实验标记。

初始深度学习神经网络可以在例如通过人工注释获得的一组分类数据上进行训练。这组数据建立了神经网络的第一参数，这将是监督学习的阶段。在监督学习阶段，可以测试神经网络是否已经实现了期望的行为。一旦实现了期望的神经网络行为(例如，机器学习模型已经被训练成根据指定的阈值操作)，机器学习模型就可以被部署以供使用(例如，用“真实”数据测试机器)。在操作期间，可以确认或拒绝神经网络分类(例如，由专家用户、专家系统、参考数据库等)来继续改善神经网络行为。然后，示例神经网络处于转移学习状态，因为确定神经网络行为的分类参数基于正在进行的交互而被更新。在一些示例中，机器学习模型的神经网络可以向另一个过程提供直接反馈，例如改变废物回收过程的控制参数。在一些示例中，神经网络输出数据，该数据在被提供给另一个过程之前经过缓冲(例如，通过云等)和验证。

数据采集可以以不同的方式进行。传感系统可以包括各种传感器。在一个实例中，通过多传感器表征设备来收集关于材料流(例如废物流)中微粒的材料性质的数据。首先，双能量X射线透射(DE-XRT)可以“看穿”材料，并确定某些材料性质，如平均原子数和密度。其优点是可以检查整个体积，而不仅仅是组分的表面(例如，废料通常是脏的，因此表面性质不一定代表材料的主体)。其次，附加地或替代地，可以利用3D激光三角测量单元以高分辨率(例如亚毫米精度)测量对象的形状。这允许额外的信息来补充从DE-XRT收集的信息，例如3D形状和体积。第三，附加地或替代地，可以使用RGB检测器，其允许就颜色和形状区分材料流中的组分。在一些示例中，上述传感器可以一同使用。可选地，图像处理可以用于将图像分割成单独的组分。从这些分割的图像中，可以计算描述对象形状的各种特征。例如，组分的面积、离心率和周长。在一些示例中，这可以对从所有传感器获得的所有图像进行。

可以使用各种神经网络模型和/或神经网络架构。神经网络具有处理(例如分类)传感器数据和/或预处理数据的能力，参见确定分割对象的特征特性。神经网络可以在计算机化的系统中实现。神经网络可以作为各种机器学习算法的框架，用于处理复杂的数据输入。这种神经网络系统可以通过考虑示例来“学习”执行任务，通常不需要用任何特定于任务的规则来进行编程。神经网络可以基于称为神经元的连接单元或节点的集合。每个连接可以将信号从神经网络中的一个神经元传输到另一个神经元。接收信号的神经元可以处理信号，然后向连接到它的其他神经元发出信号(参见激活)。每个神经元的输出通常由其输入之和的一些非线性函数来计算。这些连接可以具有各自的权重，这些权重随着学习的进行而调整。也可能有其他参数，如偏差。典型地，神经元聚集成层，不同的层可以对它们的输入执行不同种类的转换，以形成深度神经网络。

深度学习神经网络可以被视为具有多个表示级别的表示学习方法，其可以通过组成简单但非线性的模块来获得，每个模块从原始输入开始将一个级别的表示转换为更高、稍微更抽象的级别的表示。神经网络可以识别使用传统或经典方法难以看到的图案。因此，代替编写特定于在特定打印条件下打印结构的问题的定制代码，网络可以被训练成能够例如使用分类算法来处理不同的和/或变化的结构打印条件。训练数据可以被馈送到神经网络，使得它可以确定用于有效控制打印过程的分类逻辑。

将进一步理解，当方法的特定步骤在另一个步骤之后时，它可以直接跟随所述另一步骤，或者可以在执行该特定步骤之前执行一个或多个中间步骤，除非另有说明。同样，应当理解，当描述诸如神经网络的神经元之类的组件之间的连接时，这种连接可以直接或通过诸如其他神经元之类的中间组件或逻辑操作来建立，除非另有说明或被上下文排除。

应当理解，术语“标签”可以被理解为分类变量(例如，使用神经网络)和连续变量(例如，使用回归模型)。例如，连续变量可能具有不确定性(例如化学分析变量)。

应当理解，该方法可以包括计算机实现的步骤。所有上述步骤都可以是计算机实现的步骤。实施例可以包括计算机装置，在计算机装置中进行过程的执行。本发明还延伸到计算机程序，特别是载体上或载体中的计算机程序，适于将本发明付诸实践。该程序可以是源代码或目标代码的形式，或者是适用于实现根据本发明的过程的任何其他形式。载体可以是能够携带程序的任何实体或设备。例如，载体可以包括存储介质，例如ROM，例如半导体ROM或硬盘。此外，载体可以是可传输的载波，例如可以通过电缆或光缆或通过无线电或其他手段(例如通过互联网或云)传输的电信号或光信号。

一些实施例可以例如使用机器或有形的计算机可读介质或物品来实现，所述机器或有形的计算机可读介质或物品可以存储指令或一组指令，指令或一组指令如果由机器执行时，则可以使机器执行根据实施例的方法和/或操作。

各种实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、微芯片、芯片组等。软件的例子可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、移动应用、中间件、固件、软件模块、例程、子例程、函数、计算机实现的方法、过程、软件接口、应用程序接口(API)、方法、指令集、计算代码、计算机代码等。

这里，参考本发明实施例的具体示例来描述本发明。然而，显而易见的是，在不脱离本发明的本质的情况下，可以在其中进行各种修改、变化、替代和改变。为了清楚和简明描述的目的，特征在此被描述为相同或单独实施例的一部分，然而，具有在这些单独实施例中描述的所有或一些特征的组合的替代实施例也被设想并理解为落入如权利要求所概述的本发明的框架内。因此，说明书、附图和示例应被视为说明性的，而不是限制性的。本发明旨在包含落入所附权利要求范围内的所有替代方案、修改和变化。此外，所描述的许多元件是功能实体，其可以实现为分离或分布式组件，或与任何合适的组合和位置中的其他组件结合实现。

在权利要求中，置于括号之间的任何参考符号不应被解释为限制权利要求。“包括”一词并不排除权利要求中所列特征或步骤以外的其他特征或步骤的存在。此外，单词“一(a/an)”不应被解释为仅限于“一个”，而是用于表示“至少一个”，并且不排除多个。仅仅是在相互不同的权利要求中列举了某些措施这一事实并不表明这些措施的组合不能产生好处。

Claims (26)

1.一种用于训练机器学习模型的方法，所述机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征，所述方法包括：

通过传感系统扫描所述材料流，所述传感系统被配置对具有所述多个未知组分的所述材料流进行成像；

通过机器学习模型来预测所述材料流中的所述多个未知组分中的每个未知组分的一个或多个预测标签和相关联的标签预测概率，所述机器学习模型被配置为接收所述材料流的成像和/或从所述材料流的成像中提取的所述多个未知组分的一个或者多个特征作为输入；

确定与所述材料流中的所述多个未知组分中的每个未知组分相关联的训练奖励；

至少部分地基于与所述多个未知组分相关联的训练奖励，从所述材料流中的所述多个未知组分中选择至少一个未知组分，其中，所选择的至少一个未知组分通过分离器单元与所述材料流进行物理隔离，其中，所述分离器单元被配置为将所选择的未知组分移动到单独的可访问隔间；

分析所述已隔离的至少一个未知组分以确定所述已隔离的至少一个未知组分的真值标签，其中，所述已隔离的至少一个未知组分的所确定的真值标签被添加到训练数据库；以及

使用所述已物理隔离的至少一个未知组分的所确定的真值标签来训练所述机器学习模型的增量版本。

2.根据权利要求1所述的方法，其中，所述机器学习模型被配置为接收从所述材料流的成像中提取的所述多个未知组分的一个或多个用户定义的特征作为输入。

3.根据权利要求1或2所述的方法，其中，采用用户生成的选择准则用于选择组分。

4.根据前述权利要求中任一项所述的方法，其中，所述分离单元包括采用不同分离技术的多个子单元。

5.根据前述权利要求中任一项所述的方法，其中，所述分离单元至少具有第一子单元和第二子单元，其中，基于从所述材料流的成像中提取的所述多个未知组分的一个或多个特征，选择所述第一子单元和第二子单元中的一个用于对所选择的至少一个未知组分进行物理隔离。

6.根据前述权利要求中任一项所述的方法，其中，所述第一子单元用于对所述材料流中更小和/或更轻的组分进行物理隔离，所述第二子单元用于对材料流中更大和/或更重的组分进行物理隔离。

7.根据前述权利要求中任一项所述的方法，其中，所述第一子单元被配置为通过将流体射流导向所述组分以便将所述组分吹向所述单独的可访问隔间来隔离组分，并且其中，所述第二子单元被配置为通过机械操纵装置来隔离组分。

8.根据权利要求7所述的方法，其中所述第二子单元的所述机械操纵装置包括至少一个机械臂。

9.根据前述权利要求中任一项所述的方法，其中，对于所述材料流中的每个未知组分，计算指示质量的数据。

10.根据权利要求9所述的方法，其中，基于所选择的至少一个未知组分的质量来调节由所述流体射流引起的合力。

11.根据前述权利要求中任一项所述的方法，其中，确定指示通过所述分离单元从所述材料流中对未知组分进行物理隔离的难度的值，并将所述值与每个未知组分相关联，其中，从所述材料流中的所述多个未知组分中选择至少一个未知组分是附加地基于所述值。

12.根据权利要求11所述的方法，其中，基于与所述多个未知组分相关联的所述训练奖励，从所述材料流中的所述多个未知组分中选择排名靠前的未知组分，其中，基于指示通过所述分离单元进行物理隔离的难度的值，选择所述排名靠前的未知组分的子集进行物理隔离。

13.根据前述权利要求中任一项所述的方法，其中，所述机器学习模型的所述增量版本使用从对所述已隔离的至少一个未知组分的所述真值标签的分析中周期性地获得的数据来进行周期性地训练。

14.根据前述权利要求中任一项所述的方法，其中，多个已识别的未知组分被划分为一个或多个集群，使得每个集群包含具有相似特征和/或特性的组分，其中，至少部分地基于已识别的未知组分与所述一个或多个集群的距离来向所述已识别的未知组分分配训练奖励。

15.根据前述权利要求中任一项所述的方法，其中，所述训练奖励至少部分地基于置信度分数。

16.根据前述权利要求中任一项所述的方法，其中，所述单独的可访问隔间使得能手动移除已隔离的未知组分，其中，为所述单独的可访问隔间内的已隔离的未知组分提供所述机器学习模型的内部参考的指示，其中，至少部分地通过人工注释来对所选择的至少一个未知组分进行分析。

17.根据权利要求1至15中任一项所述的方法，其中，通过分析单元分析已隔离的未知组分。

18.根据权利要求17所述的方法，其中，所述分析单元被设置为自动地对所述单独的可访问隔间内的已隔离的未知组分进行表征，以基于所述表征来确定所述真值标签。

19.根据前述权利要求中任一项所述的方法，其中，所述分析单元被配置为对已隔离的组分进行化学分析，以至少部分地基于所述化学分析来确定所述真值标签。

20.根据前述权利要求中任一项所述的方法，其中，所述分析单元被配置成对已隔离的组分进行破坏性测量，以至少部分地基于所述破坏性测量来确定所述真值标签。

21.根据前述权利要求中任一项所述的方法，其中，所述分析单元被配置为执行以下至少一种：能量或波长色散X射线荧光光谱法、火焰分析法、电感耦合等离子体光发射光谱法、电感耦合等离子体原子发射光谱法、电感耦合等离子体质谱法、激光诱导击穿光谱法、红外光谱法、高光谱光谱法、X射线衍射分析法、扫描电子显微镜法、核磁共振法、拉曼光谱法。

22.根据前述权利要求中任一项所述的方法，其中，在确定所述已隔离的未知组分中的每一个未知组分的真值标签之前，对来自所述分析单元的不同子系统的数据进行对齐。

23.根据前述权利要求中任一项所述的方法，其中，所述一个或多个特征与体积、尺寸、直径、形状、纹理、颜色和离心率中的至少一个相关。

24.根据前述权利要求中任一项所述的方法，其中，所述材料流在传送带上运载，其中，所述材料流通过所述传感系统被扫描。

25.根据前述权利要求中任一项所述的方法，其中，所述材料流是非均质流，其中优选地，所述材料流包括固体废物、生产产品、农产品和电池中的至少一种。

26.一种用于训练机器学习模型的系统，所述机器学习模型被配置为对具有多个未知组分的材料流中的组分进行表征，所述系统包括处理器、计算机可读存储介质、传感系统和分离器单元，其中，所述计算机可读存储介质存储有指令，所述指令当由所述处理器执行时，使得所述处理器执行操作，所述操作包括：

操作所述传感系统来扫描所述材料流，以对具有所述多个未知组分的所述材料流进行成像；

通过机器学习模型来预测所述材料流中的所述多个未知组分中的每个未知组分的一个或多个标签和相关联的标签概率，所述机器学习模型被配置为接收所述材料流的成像和/或从所述材料流的成像中提取的所述多个未知组分的一个或多个特征作为输入；

确定与所述材料流中的所述多个未知组分中的每个未知组分相关联的训练奖励；

至少部分地基于与所述多个未知组分相关联的训练奖励，从所述材料流中的所述多个未知组分中选择至少一个未知组分；

操作所述分离器单元用于将所选择的至少一个未知组分与所述材料流进行物理隔离，其中所述分离器单元被配置为将所选择的未知组分移动到单独的可访问隔间；

接收通过进行分析而确定的对于所述已隔离的至少一个未知组分的真值标签，其中，所述已隔离的至少一个未知组分的所确定的真值标签被添加到训练数据库；以及

使用所述已物理隔离的至少一个未知组分的所确定的真值标签来训练所述机器学习模型的增量版本。

Images