CN116057584A - 用于训练神经网络实现的传感器系统以对批量流中的对象进行分类的方法和系统 - Google Patents

Abstract

本公开涉及一种训练存储在计算机可读存储介质(10)上的神经网络(NN)以对批量流中的对象(A‑E)进行分类的方法(100)，该方法(100)包括以下步骤：提供(101)描述待分类对象(A*‑E*)的输入图像数据(50*)，该输入图像数据(50*)是借助于第一传感器技术设计的输入成像传感器(30、30a‑30e)捕获的；提供(102)辅助图像数据(50**)，该辅助图像数据(50**)是借助于第二传感器技术设计的辅助成像传感器(40、40a‑40e)捕获的，并且该辅助图像数据(50**)描述了根据预定分类方案分类的所述的或类似的对象(A**‑E**)；借助于处理单元(20)，训练(103)存储在计算机可读存储介质(10)上的神经网络(NN)以基于在辅助图像数据(50**)中的描述对象(A**‑E**)的分类对输入图像数据(50*)中的描述对象(A*‑E*)进行分类，其中，输入图像数据(50*)中描述的对象(A*‑E*)对应于批量流中的对象(A‑E)，并且其中，第二传感器技术设计不同于第一传感器技术设计。

Description

用于训练神经网络实现的传感器系统以对批量流中的对象进行分类的方法和系统

技术领域

本发明涉及对批量流中的对象进行分类的领域。更具体地，本发明涉及一种用于训练存储在计算机可读存储介质上的神经网络以对批量流中的对象进行分类的方法和系统，以及一种在神经网络实现的传感器系统中实现这种经训练的神经网络的系统用于对批量流中的对象进行分类和可选分拣。

背景技术

自主分类是热门研究领域，对回收、采矿或食品加工等具有重要意义。对于回收实现，在将混合垃圾分拣到正确的回收箱中时使用了分类技术。随着技术的发展，这种分类和随后的分拣可以比以前更准确和更快地完成。

在US 2018/243800 AA中，公开了一种用于对单个对象流进行分拣的机器学习系统，该机器学习系统允许在分拣时对对象进行准确分类。然而，这种技术很慢，因为它们一次只能处理单个对象流。

此外，为了使用机器学习系统获得令人满意的分类结果，重要的是,机器学习系统使用的传感器数据具有高质量。因此，这会导致结合昂贵的传感器，这自然会阻碍机器学习系统在经济上适用于分类应用程序，并且尤其是分拣应用。

因此需要在这方面进行改进。

发明内容

本发明的目的是提供一种改进的解决方案，该解决方案减轻了现有解决方案所提到的缺点。根据本发明，这个目标现在已经通过训练存储在计算机可读存储介质上的神经网络的新技术、实现这种经训练的神经网络的新的神经网络实现的传感器系统，以及借助于经训练的神经网络对批量流中的对象进行分拣的方法，所有这些都在所附的独立权利要求中阐述，其中优选实施例在相关的从属权利要求中被限定。

根据本发明的第一方面，提供了一种训练存储在计算机可读存储介质上的神经网络以按照描述对象对输入图像数据进行分类的方法。该方法包括以下步骤：提供描述待分类对象的输入图像数据，该输入图像数据是借助于第一传感器技术设计的输入成像传感器捕获的；提供辅助图像数据，该辅助图像数据是借助于第二传感器技术设计的辅助成像传感器捕获的，并且该辅助图像数据描述了根据预定分类方案被分类的所述的或类似的对象；借助于处理单元，训练存储在计算机可读存储介质上的神经网络，以基于辅助图像数据中的描述对象的分类来对输入图像数据中的描述对象进行分类，其中，输入图像数据中的描述对象对应于批量流中的对象，并且其中，第二传感器技术设计不同于第一传感器技术设计。

这种训练方法的优点是它可以提供经训练的神经网络，该网络能够以有效的方式对输入图像数据中的描述对象进行分类，并且比常规解决方案更可靠。这是由于利用由不同的第一传感器技术设计和第二传感器技术设计的成像传感器提供的图像数据的差异的方法实现的。由此，输入图像数据中难以分类或无法分类的描述在与辅助图像数据中的分类描述相关联时可以被分类。

为了更详细地解释该工作原理，作为说明性示例，提出第一传感器技术设计的输入成像传感器被配置为：提供一个真实对象A的输入图像数据，以某分辨率描述为对象描述A*，并且进一步提出，第二传感器技术设计的辅助成像传感器被配置为：提供描述相同的真实对象A作为对象描述A**的辅助图像数据，对象描述A**的分辨率大于对象描述A*的分辨率，更高的分辨率允许将对象描述A**正确分类为真实对象A。然后，输入图像数据中已识别的对象描述A*，假设它可以根据与所描述环境对比的一些特征化特征被识别为某个对象描述A*，则可以将其与分类对象描述A**相关联，从而使得对象描述A*能够通过参考被准确分类，即使输入图像数据中的对象描述A*不能使其直接被正确分类为真实对象A。

因此，当通过这种训练方法进行相应训练时，神经网络被配置为将描述对象A*识别为对象A，而不需要来自辅助图像数据中描述对象的分类的帮助。可以训练神经网络以将输入成像数据中的对象描述(输入成像数据中的这些对象描述可能由于图像质量难以正确分类)与辅助图像数据中的描述相关联，从而能够对输入成像数据中描述的对象进行分类。此外，分类的辅助图像数据可以训练神经网络来消除输入图像数据内的描述对象的歧义。

虽然上面的说明性示例仅提出了不同的图像分辨率，但是当输入成像传感器和辅助成像传感器被选择为具有其他传感器技术设计时，该工作原理是适用的，例如当输入成像传感器和辅助成像传感器具有不同的常规传感器技术设计，例如RGB传感器技术和NIR传感器技术，或者具有相同的常规传感器技术设计，例如RGB传感器技术，但是具有可用于所述相同的通用传感器技术的质量差异例如不同的分辨率。因此，第一传感器技术设计的输入成像传感器和第二传感器技术设计的辅助成像传感器可以是不同的常规传感器技术的传感器或相同的常规传感器技术但具有质量差异的传感器。

关于存储在计算机可读存储介质上的神经网络，可以是包括输入层和输出层的人工神经网络。它还可以包括在输入层和输出层之间的一个或多个隐藏层。输入层中的每个神经元可以对应于预定的图像区域。此外，计算机可读存储介质可以指能够以计算机可读格式存储数据的介质，即具有计算能力的机械设备。所述计算机可读存储介质例如可以是磁盘存储器、存储卡、USB、光盘、易失性或非易失性存储器等。随着从批量流中捕获图像数据，可以实时训练存储在计算机可读存储介质上的神经网络。备选地，可以从在由诸如计算机、移动设备、服务器等的计算设备提供的虚拟环境中捕获批量流的图像数据的时刻起单独训练存储在计算机可读存储介质上的神经网络。

此外，所描述的对象可以是批量流中的对象。通过批量流，它可以指对象的流，其中对象是批量的。它还可以包括这样的情况，其中对象的流是暂时在空间上与其他对象分离的对象，使得它们可以被描述为成像传感器视野中的批量流的单个对象。成像传感器可以捕获批量流中对象的图像数据，无论是在瞬间停止时还是在对象运动时。此外，当由输入成像传感器或辅助成像传感器描述时，批量流中的对象可能会彼此重叠，如图像数据中所见，从而可能在某种程度上彼此模糊。即使它们彼此重叠，也可以训练神经网络以令人满意的方式对批量流中的对象进行分类，例如通过合并来自具有相同或不同传感器技术设计的多个传感器的信息。

此外，应当认识到，训练方法可以应用于训练神经网络以对不批量移动但通常在空间上分离以作为相应对象流量中的单独对象移动的对象进行分类，并且应当理解，本发明在此公开的所有方面和相应的实施例都可以在必要的修改后应用于这样的应用。

还值得一提的是，术语“图像数据”可以意味着图像，或者可以表示为图像的数据，如从传感器到对象各个点的距离信息。因此，术语“描述对象”是指图像数据中可见的对象。

此外，如所公开的，根据预定分类方案对由辅助成像传感器捕获的辅助图像数据中的描述对象进行分类。预定分类方案可以是涉及以下步骤的分类方案：识别辅助图像数据中的表征特征，并基于所识别的表征特征以令人满意的准确度将表征特征的集合分类为某个对象。此处，令人满意的准确度可以意味着至少例如95％或99％以上，或100％的准确度。例如，99％的准确率可以意味着每100次分类尝试，其中1次分类在统计上在某种程度上是错误的。100％的准确度可以意味着，对于每100次分类尝试，其中0次在某种程度上存在统计错误，或者对于每1000、10000、100000等分类尝试，统计上仅出现1次错误分类。

此外，通过“对所描述对象进行分类”一词可以意味着，如果图像数据描述了对象A，则确定该图像数据描述了经分类的对象A。或者，也可以指图像数据被分类作为描述对象A的图像数据。

此外，如果图像数据描述了对象A和B，则所述措词“对描述对象进行分类”可以意味着图像数据被确定为描述分类的对象A或B，或者图像数据被确定为描述分类对象A和B的组合。备选地，这可以意味着图像数据被分类为描述对象A或B的图像数据，或者图像数据被分类为描述对象A和B的组合的图像数据。

此外，“描述所述的或类似的对象的分类辅助图像数据”这可以意味着输入成像传感器和辅助成像传感器在各自的检测区内在同一时刻或在不同时刻描述相同的一个以上对象。它还可以意味着描述相应分类的相似对象的辅助图像数据，分类的对象或分类的辅助图像数据在分类的辅助图像数据的库中是可访问的。

根据一个实施例，第二传感器技术设计是能够提供比第一传感器技术设计更高质量的图像数据和/或第一传感器技术设计未提供的辅助图像数据的传感器技术设计。通过这种方式，神经网络可以被训练成在对批量流中的对象进行分类时更有效和更可靠。当对由所选第二传感器技术产生的辅助图像数据中描述对象进行分类训练时，如果第二传感器技术被适当地选择，则由于纹理或其他特性而自然地更难分类的对象可以更容易地由神经网络进行分类。例如，可以训练神经网络以能够基于借助于近红外NIR传感器或X射线传感器捕获的辅助图像数据中的描述对象的分类，对借助于RGB传感器捕获的输入图像数据中的描述对象进行分类。因此，经训练的神经网络可以配置为使用便宜得多的传感器以令人满意的方式对描述对象进行分类。

根据一个实施例，训练存储在计算机可读存储介质上的神经网络的步骤进一步基于待分类对象的附加非图像数据或用户指定数据。对于非图像数据，它可以意味着重量测量、体积测量、磁检测或声音(例如，来自对象的反弹或移动)测量。这可以进一步改进经训练的神经网络，以令人满意的方式对批量流量中的对象进行分类。

根据一个实施例，该方法进一步包括以下步骤：在神经网络实现的传感器系统中提供存储在计算机可读存储介质上的神经网络，该神经网络实现的传感器系统被配置为借助于第一传感器技术设计的至少一个输入成像传感器捕获批量流的所述输入图像数据。当在所述神经网络实现的传感器系统中提供时，可以训练神经网络。

根据一个实施例，神经网络实现的传感器系统被布置成监测分类和/或分拣系统的操作，该分类和/或分拣系统被配置成借助于至少一个辅助成像传感器来捕获批量流的所述辅助图像数据，并且其分类和/或分拣系统包括用于根据预定分类方案对辅助图像数据中描述的对象进行分类的装置。由此，神经网络实现的传感器系统中实现的神经网络可以基于通过监控分类和/或分拣系统的步骤获得的信息被实时训练。分类和/或分拣系统可以被配置为提高分类装置提供的分类的质量，并且神经网络实现的传感器系统的神经网络可以被训练以相应地分类但是使用输入成像传感器而不是辅助成像传感器。因此，可以提供更具成本效益的。

根据一个实施例，该方法进一步包括提供描述待分类对象的第一输入图像数据和至少第二输入图像数据的步骤，其中，第一输入图像数据和至少第二输入图像数据借助于相应的至少第一传感器技术设计的第一输入成像传感器和第二输入成像传感器来捕获，第一输入成像传感器被配置为在第一检测区中捕获批量流中对象的输入图像数据，并且至少第二输入成像传感器被配置为在至少第二检测区中捕获批量流中对象的输入图像数据，其中，至少第二检测区不同于第一检测区，并且训练存储在计算机可读存储介质上的神经网络的步骤进一步基于第一输入图像数据和至少第二输入图像数据之间的差异。

检测区可以指成像传感器捕获图像数据的一般区域。它可以意味着由成像传感器的视野界定的区域。此外，可以基于对应于两个以上检测区的图像数据来训练神经网络，例如三个、四个、五个、六个、七个、八个、九个或十个检测区。可以指定一个以上检测区来检测批量流的特定对象。可以结合每个相应的检测区对批量流进行分类。两个连续的检测区可以布置成彼此分开一些预定距离。两个检测区之间的分类可以由机器人自动执行，但在一些实施例中，可能存在用于分类某些特定对象的人工交互。因此，系统也可以部分地由修改检测区之间的批量流(例如，从批量流中移除特定对象)的人来训练。

措词“基于第一输入图像数据和至少第二输入图像数据之间的差异训练……”可以意味着神经网络可以考虑来自输入成像数据之一的成功分类的对象以推断所描述对象的分类在另一输入成像数据中，从而在更困难的情况下改进分类。作为示例，假设在第一检测区的对象在第一捕获输入图像数据中被描述时被其他对象在一定程度上遮挡。然后当它行进到下一个检测区时，对象四处移动，从而减少所述对象的模糊，从而允许准确分类。这结合有关对象被移除或添加到第一检测区和下一个检测区之间的批量流的信息，可以推断出对被遮挡对象的分类，从而训练神经网络在对象在某种程度上被遮挡时对对象进行分类。

此外，可以提供第一检测区和第二检测区之间的批量流如何变化的信息，这可以促进神经网络的训练。

此外，第一输入成像传感器和至少第二输入成像传感器中的一个或多个输入成像传感器可以具有不同于其他的传感器技术设计。通过这种方式，可以沿着批量流的单个流实现更通用的分类。

根据一个实施例，第一输入成像传感器和至少第二输入成像传感器中的至少两个输入成像传感器具有不同的传感器技术设计。由此，神经网络可以被训练以以便利的方式对对象进行分类。例如，至少两个输入成像传感器可以被布置成在两个连续的检测区捕获输入图像数据。因此，可以训练神经网络以考虑关于在每个输入图像数据中以不同方式描述的描述对象的信息。这可以进一步减少某些对象分类的歧义，从而改进训练的神经网络。

根据一个实施例，第一传感器技术设计和第二传感器技术设计选自一组传感器技术设计，包括：近红外传感器、X射线传感器、CMYK传感器、RGB传感器、体积传感器、用于光谱的点测量系统、可见光光谱学、近红外光谱学、中红外光谱学、X射线荧光传感器、电磁传感器、诸如线激光三角测量系统或用于散射激光的扫描激光的激光传感器、使用LED、脉冲LED或激光的多光谱系统、LIBS(激光诱导击穿光谱学)、荧光检测、可见或不可见标记检测器、透射光谱、透反射/互阻光谱、柔软度测量、热像仪，和/或其中，第一传感器技术设计和第二传感器技术设计具有相同的常规传感器技术设计但有不同的质量差异。

根据本发明的第二方面，提供了一种神经网络实现的传感器系统。神经网络实现的传感器系统包括：一个或多个输入成像传感器，被配置为捕获批量流量中对象的输入图像数据；以及计算机可读存储介质，存储有根据本发明第一方面或其任何实施例的方法训练的经训练的神经网络。

神经网络可以专门针对这种神经网络实现的传感器系统进行训练。这可以允许更有效的分类过程。此外，神经网络实现的传感器系统可以关于批量流的复杂性和大小是模块化的。因此，神经网络可以被配置用于期望的应用。

神经网络实现的传感器系统可以被配置为通信耦接到处理设备，例如计算机、移动设备、服务器等，包括被配置为处理输入图像数据中描述的对象的分类的处理器。神经网络实现的传感器系统可以包括处理单元。神经网络实现的传感器系统可以包括第一传感器技术设计的多个输入成像传感器。输入成像传感器可以具有不同的传感技术设计。输入成像传感器可以被布置成在不同的检测区捕获批量流中的对象的输入图像数据。两个以上输入成像传感器可以被布置成在相同的检测区捕获输入图像数据，例如在不同的方向上，或者提供可以被组合成对应于所述检测区的单个输入图像数据的输入成像数据。

根据一个实施例，神经网络实现的传感器系统被配置为被布置到批量流分配系统并且被配置为对由此分配的批量流中的对象进行分类。“分配系统”可以指用于分配批量流的系统，例如借助于传送带。这样的分配系统可以被配置成分支成更小的批量流和/或批量流的多个分支可以组合成更大的批量流。神经网络实现的传感器系统可以被配置为在沿分布系统的相应检测区处对批量流内的对象进行分类。由神经网络实现的传感器系统确定的分类可以被传输到分配系统的监控终端，由此呈现经分类的对象以便能够监控批量流内的对象。

根据一个实施例，神经网络实现的传感器系统配置为被布置到批量流分拣系统，并且被配置为借助于一个或多个分拣单元基于由经训练的神经网络提供的分类对批量流中的对象进行分拣。“批量流量分拣系统”或“分拣系统”，可以指具有分拣能力的配送系统。

根据一个实施例，神经网络实现的传感器系统被配置为将计算机可读存储介质上的神经网络共享给第二神经网络实现的传感器系统。通过这种方式，可以训练单个神经网络，然后将其分布到至少一个其他神经网络实现的传感器系统中。这样，不需要训练每个单独的神经网络实现的传感器系统；单个经训练的神经网络可以在多个神经网络实现的传感器系统上共享。这可以确保多个神经网络实现的传感器系统在分类操作方面全部操作相同。通过“共享”，它可以意味着神经网络被复制并存储在多个神经网络实现的传感器系统的每个各自的计算机可读存储介质上。或者，“共享”可以意味着所有神经网络实现的传感器系统访问存储在共同的计算机可读存储介质上的神经网络。

根据一个实施例，一个或多个输入成像传感器选自以下一组传感器技术设计，包括：近红外传感器、X射线传感器、CMYK传感器、RGB传感器、体积传感器、用于光谱的点测量系统、可见光光谱、近红外光谱、中红外光谱学、X射线荧光传感器、电磁传感器、诸如线激光三角测量系统或用于散射激光的扫描激光的激光传感器、使用LED、脉冲LED或激光的多光谱系统、LIBS(激光诱导击穿光谱学)、荧光检测、可见或不可见标记检测器、透射光谱、透反射/互阻光谱、柔软度测量、热像仪，和/或其中，多个输入成像传感器中的至少两个输入成像传感器具有相同的常规传感器技术设计但具有不同的质量差异。

根据本发明的第三方面，提供了一种借助于分拣系统对批量流中的对象进行分拣的方法。分拣系统包括根据本发明的第二方面或其任何实施例的神经网络实现的传感器系统。该方法包括以下步骤：借助于第一传感器技术设计的至少一个输入成像传感器在第一检测区捕获批量流中的对象的输入图像数据；借助于处理单元，使用计算机可读存储介质的经训练的神经网络的分类输出，对输入图像数据中的描述对象进行分类，以及基于如何分类所描述的对象，借助于分拣单元对批量流中的对象进行分拣。由此，可以以高效且可扩展的方式可靠地对对象进行分拣。该方法可以应用于借助于多个分拣单元来分拣对象，每个分拣单元布置在检测区处或检测区之后。每个检测区可以配置为检测批量流内的特定类型的对象，从而减少在每个检测区之后或在串联工作以检测特定对象类型的一系列检测区之后批量流内的对象的种类。

本发明由所附独立权利要求限定，实施例在所附从属权利要求、以下描述和附图中阐述。

附图说明

下面本发明将参照所附图进行更详细的描述，其中：

图1示出了根据一个实施例的用于训练神经网络的方法的流程图。

图2示出了一种计算机可读存储介质，存储了根据一个实施例的公开的训练方法训练的神经网络。

图3a至图3b示出了一种计算机可读存储介质，存储根据一个实施例的公开的训练方法训练的神经网络；

图4a示出了在检测区的批量流中的对象布置；

图4b示出了根据一个实施例的描述批量流中对象的输入图像数据；

图4c示出了根据一个实施例的描述批量流中的对象的辅助图像数据；

图5a至图5b示出了根据一个实施例的神经网络实现的传感器系统；

图6示出了根据一个实施例的神经网络实现的传感器系统；

图7示出了根据一个实施例的神经网络实现的传感器系统；

图8示出了根据一个实施例的神经网络实现的传感器系统；

图9示出了根据一个实施例的用于对批量流中的对象进行分拣的方法的流程图。

参考数字列表

NN–神经网络

TNN–经训练的神经网络

A-E–批量流中的对象

A*-E*–输入图像数据中描述的对象

A**-E**–辅助图像数据中描述的对象

10–计算机可读存储介质

20–处理单元

30、30a-30e–输入成像传感器

40、40a-40e–辅助成像传感器

50、50a-50e–检测区

50*-输入图像数据

50**–辅助图像数据

60–神经网络实现的传感器系统

70–分类和/或分拣系统

71–用于对象分类的装置

72–分拣单元

73–用于运输的装置

74–终端

100–训练方法

101-105–训练方法步骤200–分拣方法

201-203–分拣方法步骤。

具体实施方式

下文将参考附图更全面地描述本发明，其中示出了本发明的优选实施例。然而，本发明可以以许多不同的形式来体现，并且不应被解释为限于在此阐述的实施例；相反，提供这些实施例是为了使本公开透彻和完整，并将本发明的范围充分地传达给本领域的技术人员。在附图中所示的具体实施例的详细描述中使用的术语不旨在限制本发明。在附图中，相同的数字表示相同的元件。

图1示出了训练方法100的流程图。由此，存储在计算机可读存储介质10上的神经网络NN借助于处理单元20执行的训练方法100进行训练以对批量流中的对象A-E进行分类，从而使得存储在计算机可读存储介质10上的神经网络NN成为经训练的神经网络TNN，如图2所示。然后，该经训练的神经网络TNN可以很容易地用于涉及对批量流中的对象A-E进行分类的各种应用程序。

图3a示出了根据一个实施例可以如何执行训练方法100的设置。存储在计算机可读存储介质10上的神经网络NN是借助于由处理单元20执行的训练方法100来训练的。在训练方法100中，输入图像数据50*和辅助图像数据50**两者都被使用。输入图像数据50*是借助于输入图像传感器30捕获的。辅助图像数据50**是借助于辅助图像传感器40捕获的。输入成像传感器30和辅助成像传感器40两者都被配置为捕获流动通过捕获图像数据的检测区50的批量流中的对象A、B的图像数据，如图3a所示。输入图像数据50*和辅助图像数据50**不需要同时捕获。相反，根据一些实施例，输入成像传感器30可以被配置为在第一检测区50a捕获批量流中对象A、B的输入图像数据50*，而辅助成像传感器40可以被配置为在第二检测区50b捕获对象A、B的辅助图像数据50**，如图3b所示。

此外，不需要在捕获输入图像数据50*和辅助输入图像数据50**时执行训练方法。稍后可以基于存储在计算机可读存储介质上的图像数据50*、50**来执行训练方法100。此外，辅助图像数据50*可以是相似对象的已经捕获的图像数据。

返回参考图1，训练方法包括提供101描述待分类的对象A*-E*的输入图像数据50*的步骤，该输入图像数据50*是借助于第一传感器技术设计的输入成像传感器30捕获的。输入图像数据的示例如图4b所示，它对检测区50中批量流的真实对象A-E进行描述。如图4b中不同图案所示，对象描述A*-E*可能不足以代表真实对象A-E，这可能是第一传感器技术设计的限制和/或属性的结果。

此外，该训练方法包括提供102辅助图像数据50**的步骤，该辅助图像数据50**是借助于第二传感器技术设计的辅助成像传感器40捕获的，并且该辅助图像数据50**描述了根据预定分类方案分类的所述或类似对象A**-E**。辅助图像数据的示例在图4c中示出，对检测区50中的批量流的真实对象A-E进行描述。如图4c所示，描述的对象A**-E**具有与检测区50中的真实对象A-E的图案更相似的图案，这说明辅助图像数据的图像质量允许通过预定的分类方案进行更准确的分类。

此外，训练方法100包括以下步骤：借助于处理单元20训练存储在计算机可读存储介质10上的神经网络NN，以基于辅助图像数据50**中描述对象A**-E**的分类对输入图像数据50*中的描述对象A*-E*进行分类。在一个实施例中，这是通过将输入图像数据50*中的对象描述A*-E*与依次分类的辅助图像数据50**中的对象描述A**-E**相关联而实现的。因此，经训练的神经网络TNN可以被配置为即使输入图像数据50*的图像质量是使其难以准确地对描述对象A*-E*分类的图像质量，也能够对对象描述A*-E*准确分类。

显然，训练方法100旨在训练神经网络NN以对批量流中的对象A-E进行分类。然而，训练方法100可适用于训练神经网络NN对生产线中的对象A-E进行分类，在生产线中对象以有序方式布置，例如为了训练神经网络基于一些预定的检测故障产品。

此外，第二传感器技术设计不同于第一传感器技术设计。在一些实施例中，第二传感器技术设计是能够提供比第一传感器技术设计更高质量的图像数据和/或第一传感器技术设计未提供的辅助图像数据的传感器技术设计。

在一些实施例中，训练方法100包括以下步骤：在神经网络实现的传感器系统60中提供104存储在计算机可读存储介质10上的神经网络NN，该系统被配置为借助于第一传感器技术设计的至少一个输入成像传感器30捕获批量流的所述输入图像数据50*。这在图5a中示出，其中，神经网络实现的传感器系统60包括存储待训练的神经网络NN的计算机可读存储介质10；处理单元20，被配置为执行训练方法20；以及一个输入成像传感器30，被配置为捕获检测区50中的对象A、B的输入图像数据50*。尽管神经网络实现的传感器系统60仅在图5a中示出为具有单个输入成像传感器30，但是神经网络实现的传感器系统60可以包括多个输入成像传感器。多个输入成像传感器可以被布置成在不同的检测区处捕获输入图像数据，并且在一些实施例中，多个输入成像传感器中的两个以上输入成像传感器可以被布置成在同一检测区捕获批量流中对象的输入成像数据。多个输入成像传感器可以是相同的第一传感器技术设计或其任何组合。

此外，在图5a中，神经网络实现的传感器系统60被布置成监测分类和/或分拣系统70的操作，被配置成借助于至少一个辅助成像传感器40捕获批量流的所述辅助图像数据50**。分类和/或分拣系统70进一步包括用于使能对象批量流的装置73，并且在一些实施例中，该装置73是传送带系统。此外，分类和/或分拣系统70包括用于根据预定分类方案对辅助图像数据50**中描述的对象A**-E**进行分类的装置71。装置71可以是处理单元或包括配置为执行这样的预定分类方案的处理单元。如图5a所示，神经网络实现的传感器系统的处理单元20被配置为访问或接收辅助图像数据50**及其对象描述A**-E**的相应分类，从而能够使存储在计算机可读存储介质10上的神经网络被训练。

图5b示出了神经网络实现的传感器系统60，配置有经训练的神经网络TNN。神经网络实现的传感器系统60是由于经训练的神经网络TNN配置为以令人满意的方式对对象A、B进行分类而不需要来自辅助成像传感器40的帮助。神经网络实现的传感器系统60允许分类方法100*对批量流中的对象A、B进行分类。该分类方法100*可以包括以下步骤：在第一检测区50捕获批量流中对象A、B的输入图像数据50*，并使用输入图像数据50*作为经训练的神经网络TNN的输入，借助于经训练的神经网络TNN对对象A、B进行分类。

图6示出了根据一个实施例的多个神经网络实现的传感器系统60a、60b。第一神经网络实现的传感器系统60a被配置为将存储在计算机可读存储介质10上的经训练的神经网络TNN共享给第二神经网络实现的传感器系统60b。第二神经网络实现的传感器系统60b然后被配置为借助于经训练的神经网络TNN，根据分类方法100*对对象A、B进行分类。多个神经网络实现的传感器系统60a、60b可以包括多于两个这样的系统，例如，从2个到10个以上的任何地方，每个系统都被布置成对批量流中的对象进行分类和/或分拣。

图7示出了实施例，其中，神经网络实现的传感器系统60被布置在分拣系统70中，分拣系统70包括被配置为将对象分拣到不同流OUT1、OUT2中的分拣单元72，其中，该分拣基于所述对象的分类。神经网络实现的传感器系统60的神经网络NN可以借助于公开的训练方法100训练成经训练的神经网络TNN。

图8示出了神经网络实现的传感器系统60和更复杂的分拣系统70的布局。分拣系统70包括多个分拣单元72，分拣单元72被配置为根据对象类别对对象进行分拣，以移向不同的输出目的地OUT1、OUT2、OUTn-1和OUTn。神经网络实现的传感器系统包括融合传感器30，融合传感器30包括两种不同的传感器技术设计。在优选实施例中，该融合传感器30包括RGB传感器31和体积传感器32。神经网络实现的传感器系统60进一步包括输入成像传感器33至38，这些传感器被布置为捕获来自分拣单元72的各种流的输入图像数据。在一个实施例中，批量流的一个或多个流由传送带73实现。

此外，在一个实施例中，其他输入成像传感器33至38也可以是RGB传感器。

然而，根据应分类和/或分拣哪些对象的规范，可能需要其他传感器技术设计。一个或多个输入成像传感器30、30a-30e可以选自一组传感器技术设计，包括：近红外传感器、X射线传感器、CMYK传感器、RGB传感器、体积传感器、用于光谱的点测量系统；和/或具有相同通用传感器技术设计但具有不同质量差异(如分辨率)的输入成像传感器。

此外，虽然未示出，但该分拣系统70可以配备有辅助成像传感器40以捕获辅助图像数据50**以用于根据预定分类方案对对象A、B进行分类。

图9示出了用于借助于包括根据如前所述的神经网络实现的传感器系统60的分拣系统70来分拣批量流中的对象A-E的分拣方法的流程图。该方法包括借助于第一传感器技术设计的至少一个输入成像传感器30a-30e在第一检测区50a-50e捕获201批量流中的对象A-E的输入图像数据50*的步骤。分拣方法200进一步包括借助于处理单元，利用计算机可读存储介质10的经训练的神经网络TNN的分类输出，对输入图像数据50*中的描述对象A*-E*进行分类的步骤。分拣方法包括借助于分拣单元72基于如何分类所描述的对象A*-E*对批量流中的对象A-E进行分类203的步骤。

在附图和说明书中，已经公开了本发明的优选实施例和示例，并且尽管使用了特定术语，但它们仅用于一般和描述性意义，而不是用于限制目的。结合附图描述的实施例是某些优选实施例并且是结合某些方面描述的；可以通过组合这些实施例来提供进一步的实施例。然而，本发明的范围在所附权利要求中阐明。

Claims (14)

1.一种训练存储在计算机可读存储介质(10)上的神经网络(NN)以对批量流中的对象(A-E)进行分类的方法(100)，即，其中所述对象是批量的对象流，所述方法(100)包括以下步骤：

提供(101)描述待分类的对象(A*-E*)的输入图像数据(50*)，所述输入图像数据(50*)借助于第一传感器技术设计的输入成像传感器(30、30a-30e)捕获；

提供(102)辅助图像数据(50**)，所述辅助图像数据(50**)借助于第二传感器技术设计的辅助成像传感器(40、40a-40e)捕获，并且所述辅助图像数据(50**)描述了根据预定分类方案分类的所述的或类似的对象(A**-E**)；

借助于处理单元(20)，训练(103)存储在所述计算机可读存储介质(10)上的所述神经网络(NN)，以基于所述辅助图像数据(50**)中描述对象(A**-E**)的分类，对所述输入图像数据(50*)中描述对象(A*-E*)进行分类，

其中，所述输入图像数据(50*)中的所述描述对象(A*-E*)对应于批量流中的对象(A-E)，以及

其中，所述第二传感器技术设计不同于所述第一传感器技术设计，

其中，所述输入成像传感器(30、30a-30e)和所述辅助成像传感器(40、40a-40e)在各自的检测区(50a、50b)内在不同时刻描述所述对象(A*-E*)。

2.根据权利要求1所述的方法(100)，其中，所述第二传感器技术设计是能够提供比所述第一传感器技术设计更高质量的图像数据和/或所述第一传感器技术设计未提供的辅助图像数据的传感器技术设计。

3.根据权利要求1所述的方法(100)，其中，训练(103)存储在所述计算机可读存储介质(10)上的所述神经网络(NN)的步骤进一步基于待分类的对象(A-E)的附加非图像数据或用户指定的数据。

4.根据权利要求1所述的方法(100)，包括以下步骤：

在神经网络实现的传感器系统(60)中提供(104)存储在所述计算机可读存储介质(10)上的所述神经网络(NN)，所述神经网络实现的传感器系统(60)被配置为借助于所述第一传感器技术设计的至少一个输入成像传感器(30、30a-30e)捕获批量流的所述输入图像数据(50*)。

5.根据权利要求4所述的方法(100)，其中，所述批量流的所述辅助图像数据(50**)借助于分类和/或分拣系统(70)的至少一个辅助成像传感器(40、40a-40e)，其中所述分类和/或分拣系统(70)包括用于根据所述预定分类方案对所述辅助图像数据(50**)中描述的对象(A**-E**)进行分类的装置(71)。

6.根据权利要求1所述的方法(100)，包括以下步骤：

提供(104)第一输入图像数据和至少第二输入图像数据(50*)描述待分类的对象(A*-E*)，其中，所述第一输入图像数据和所述至少第二输入图像数据(50*)借助于所述第一传感器技术设计的相应第一输入图像传感器和至少第二输入图像传感器(30a-30e)捕获，所述第一输入成像传感器(30a)被配置为在第一检测区(50a)中捕获所述批量流中的所述对象(A-E)的输入图像数据(50*)，并且所述至少第二输入成像传感器(30b-30e)被配置为在所述至少第二检测区(50b)中捕获所述批量流中的所述对象(A-E)的输入图像数据(50*)，其中，所述至少第二检测区(50b-50e)不同于所述第一检测区(50a)，以及训练(103)存储在所述计算机可读存储介质(10)上的所述神经网络(NN)的步骤进一步基于所述第一输入图像数据和所述至少第二输入图像数据(50*)之间的差异。

7.根据权利要求6所述的方法(100)，其中，所述第一输入成像传感器和所述至少第二输入成像传感器(30a-30e)中的至少两个输入成像传感器具有不同的传感器技术设计。

8.根据权利要求1至7中任一项所述的方法(100)，其中，所述第一传感器技术设计和所述第二传感器技术设计选自以下一组传感器技术设计，包括：近红外传感器、X射线传感器、CMYK传感器、RGB传感器、体积传感器、用于光谱的点测量系统、可见光光谱学、近红外光谱学、中红外光谱学、X射线荧光传感器、电磁传感器、诸如线激光三角测量系统或用于散射激光的扫描激光的激光传感器、使用LED、脉冲LED或激光的多光谱系统、LIBS(激光诱导击穿光谱学)、荧光检测、可见或不可见标记检测器、透射光谱、透反射/互阻光谱、柔软度测量、热像仪，和/或其中，所述第一传感器技术设计和所述第二传感器技术设计具有相同的通用传感器技术设计但有不同的质量差异。

9.一种神经网络实现的传感器系统(60)，包括：一个或多个输入成像传感器(30、30a-30e)，被配置为捕获批量流中的对象(A-E)的输入图像数据(50*)；以及计算机可读存储介质(10)，存储通过根据权利要求1至8中任一项所述的方法(100)训练的经训练的神经网络(TNN)。

10.根据权利要求9所述的神经网络实现的传感器系统(60)，被配置为布置到批量流分配系统(70)，并且被配置为对由此分配的所述批量流中的所述对象(A-E)进行分类。

11.根据权利要求10所述的神经网络实现的传感器系统(60)，被配置为借助于一个或多个分拣单元(72)基于由所述经训练的神经网络(TNN)提供的分类对所述批量流中的所述对象(A-E)进行分拣。

12.根据权利要求9至11中任一项所述的神经网络实现的传感器系统(60)，被配置为将存储在所述计算机可读存储介质(10)上的所述经训练的神经网络(TNN)共享给第二神经网络实现的传感器系统(60)。

13.根据权利要求9至12中任一项所述的神经网络实现的传感器系统(60)，其中，一个或多个输入成像传感器(30、30a-30e)选自以下一组传感器技术设计，包括：近红外传感器、X射线传感器、CMYK传感器、RGB传感器、体积传感器、用于光谱的点测量系统、可见光光谱、近红外光谱、中红外光谱学、X射线荧光传感器、电磁传感器、诸如线激光三角测量系统或用于散射激光的扫描激光的激光传感器、使用LED、脉冲LED或激光的多光谱系统、LIBS(激光诱导击穿光谱学)、荧光检测、可见或不可见标记检测器、透射光谱、透反射/互阻光谱、柔软度测量、热像仪，和/或其中，多个输入成像传感器(30a-30e)中的至少两个输入成像传感器具有相同的通用传感器技术设计但具有不同的质量差异。

14.一种借助于包括根据权利要求9至13中任一项所述的神经网络实现的传感器系统(60)的分拣系统(70)来分拣批量流中的对象(A-E)的方法(200)，所述方法(200)包括步骤：

借助于所述第一传感器技术设计的至少一个输入成像传感器(30a-30e)在第一检测区(50a-50e)捕获(201)所述批量流中所述对象(A-E)的输入图像数据(50*)；

借助于处理单元(20)，使用所述计算机可读存储介质(10)的所述经训练的神经网络(TNN)的分类输出，对所述输入图像数据(50*)中的描述对象(A*-E*)进行分类(202)，以及

借助于分拣单元(72)基于如何对描述对象(A*-E*)进行分类对所述批量流中的所述对象(A-E)进行分拣(203)。

Images