CN113474791A - 经由计算机视觉应用进行对象识别的方法和系统 - Google Patents

Abstract

本发明涉及一种用于经由计算机视觉应用进行对象识别的方法和系统，该系统(100)至少包括以下组件：‑待识别的对象(130)，所述对象具有对象特异性发光光谱图案，‑光源(110)，其由至少两个发光体(111，112，113，114，115)组成，并且配置成通过在所述两个发光体之间切换来照亮包括待识别对象的场景，‑传感器(120)，其配置为当场景被光源照射时捕获包括对象的场景的辐射数据，‑数据存储单元(150)，其包括荧光光谱图案以及适当分配的相应对象，‑数据处理单元(140)，其配置为从场景的辐射数据中提取对象特异性荧光光谱图案，并且将所提取的对象特异性荧光光谱图案与存储在数据存储单元中的荧光光谱图案进行匹配，并且识别最佳匹配荧光光谱图案，并且因此识别其分配的对象。

Description

经由计算机视觉应用进行对象识别的方法和系统

本发明涉及一种经由计算机视觉应用进行对象识别的方法和系统。

计算机视觉是由于大量使用能够经由(仅举数例)传感器如照相机，距离传感器如激光雷达或雷达，以及基于结构光或立体视觉的深度照相机系统来收集关于其周围环境的信息的电子设备而快速发展的领域。这些电子设备提供待由计算机处理单元处理的原始图像数据，并且因此使用人工智能和/或计算机辅助算法来形成对环境或场景的理解。存在可如何形成对环境的这种理解的多种方式。通常，形成2D或3D图像和/或地图，并且分析这些图像和/或地图以便形成对场景和该场景中的对象的理解。改善计算机视觉的一个前景是测量场景中对象的化学组成。尽管作为2D或3D图像获取的环境中的对象的形状和外观可以用于形成对环境的理解，但是这些技术具有一些缺点。

计算机视觉领域中的一个挑战是能够使用传感器、计算能力、光探头等的最小量的资源以高精度和低时延识别每个场景中的尽可能多的对象。多年来，对象识别过程被称为遥感、对象识别、分类、认证或辨识。在本公开内容的范围内，计算机视觉系统识别场景中的对象的能力被称为“对象识别”。例如，分析图片并在该图片中识别/标记球的计算机有时甚至利用诸如球的类型(篮球、足球、棒球)、品牌、上下文等的进一步信息，这落入术语“对象识别”的范围内。

通常，用于在计算机视觉系统中识别对象的技术可以分类如下：

技术1：物理标签(基于图像)：条形码、QR码、序列号、文本、图案、全息图等。

技术2：物理标签(基于扫描/紧密接触)：视角依赖性颜料、上转换颜料、变色、颜色(红/绿)、发光材料。

技术3：电子标签(无源)：RFID标签等。附着到感兴趣对象的设备上，不需要电源，不一定可见，但可以在其他频率(例如无线电)下操作。

技术4：电子标签(有源)：无线通信、光、无线电、车辆到车辆、车辆到任何事物(X)等。在感兴趣对象上的以各种形式发射信息的加电设备。

技术5：特征检测(基于图像)：图像分析与识别，即从侧面观察车辆的相距一定距离的两个车轮；用于面部识别的两只眼睛、鼻子和嘴(以该顺序)等。这依赖于已知的几何/形状。

技术6：基于深度学习/CNN(基于图像)：用许多汽车、面部等的标记图像的图片训练计算机，并且计算机确定特征以检测和预测感兴趣的对象是否存在于新区域中。需要对要识别的每个对象类别重复训练过程。

技术7：对象跟踪方法：以特定顺序组织场景中的项目，并在开始处标记所排序的对象。然后以已知的颜色/几何/3D坐标跟随场景中的对象。如果对象离开场景并重新进入，则“识别”丢失。

下文给出了上述技术的一些缺点。

技术1：当图像中的对象被遮挡或者仅有一小部分对象处于视图中时，条形码、标志等可能是不可读的。此外，柔性物品上的条形码等可能变形，这限制了可视性。对象的所有侧面将必须携带大的条形码以从远处可见，否则对象仅能在近距离内并且仅以正确的取向被识别。例如，当要扫描商店货架上的对象上的条形码时，这可能是个问题。当在整个场景上操作时，技术1依赖于可能变化的环境照明。

技术2：上转换颜料由于其小量子产率而导致低发射光水平，因而在观察距离方面具有限制。它们需要强光探头。它们通常是不透明的和大颗粒，这限制了涂料的选择。使它们的应用进一步复杂化的是如下事实：与荧光和光反射相比，上转换响应较慢。尽管一些应用利用了这种取决于所用化合物的独特响应时间，然而这仅在预先知道该传感器/对象系统的飞行距离的时间时才是可能的。这在计算机视觉应用的情况下很少见。由于这些原因，防伪传感器具有用于读取的覆盖/黑暗部分，1级或2级激光器作为探头，并且由于精度而具有到感兴趣对象的固定且有限的距离。

类似地，依赖于视角的颜料体系仅在近距离内工作，并且需要在多个角度观察。此外，颜色不均匀而无法产生视觉上舒适的效果。必须控制入射光的光谱以获得正确的测量。在单个图像/场景内，具有角度相关的颜色涂层的对象沿着样本维度具有对照相机可见的多种颜色。

基于颜色的识别是困难的，因为测量的颜色部分地取决于环境照明条件。因此，需要参考样本和/或用于每个场景的受控照明条件。不同的传感器也具有区分不同颜色的不同能力，并且因传感器类型/制造商而异，从而需要用于每个传感器的校准文件。

在环境照明下基于发光的识别是具有挑战性的任务，因为对象的反射和发光组分加在一起。通常，基于发光的识别将改为利用暗测量条件和发光材料的激发区域的先验知识，因此可以使用正确的光探头/源。

技术3：电子标签如RFID标签需要将电路、功率收集器和天线附着到感兴趣的项目/对象，这增加了成本和设计复杂性。RFID标签提供存在或不存在的类型信息，但不提供精确的位置信息，除非在场景上使用许多传感器。

技术4：这些主动方法要求将感兴趣的对象连接到电源，这对于简单的物品如足球、衬衫或一盒意大利面食而言是成本过高的，因此是不实际的。

技术5：预测精度很大程度上取决于图像的质量和照相机在场景内的位置，因为遮挡、不同视角等可以容易地改变结果。标识类型图像可以存在于场景内的多个位置(即，标识可以在球、T恤、帽子或咖啡杯上)，并且通过推断来进行对象识别。必须以很大的努力将对象的视觉参数转换为数学参数。可改变其形状的柔性对象是有问题的，因为每一种可能的形状都必须被包括在数据库中。由于相似形状的对象可能被错误地识别为感兴趣的对象，因此总是存在固有的模糊性。

技术6：训练数据集的质量决定了该方法的成功。对于要识别/分类的每个对象，需要许多训练图像。与技术5相同的遮挡和柔性物体形状限制同样适用。需要用上千或更多的图像来训练每类材料。

技术7：当场景被预先组织时，该技术起作用，但是这很少是实用的。如果感兴趣对象离开场景或被完全遮挡，则除非与上述其他技术相结合，否则不能识别该对象。

除了已经存在的技术的上述缺点之外，还存在一些值得提及的其他挑战。看见长距离的能力、看见小对象的能力或看见具有足够细节的对象的能力都需要高分辨率成像系统，即高分辨率照相机、激光雷达、雷达等。高分辨率需要增加相关的传感器成本并增加要处理的数据量。

对于需要即时响应的应用，如自动驾驶或安全，时延是另一个重要方面。需要处理的数据量确定了边缘或云计算是否适合于该应用，后者仅在数据负载小的情况下才是可能的。当边缘计算与繁重的处理一起使用时，运行系统的设备变得更庞大并且限制了使用的容易性以及因此限制了实施。

由于环境照明条件以及有源光探头/光源是在用于对象识别的图像分析中收集的数据的重要部分，因此本发明的目的是提供将对与成像传感器设备相关联的专用光探头的需要与对视觉上舒适的环境照明的需要组合到单个照明设备中的可能性。此外，这种设计总体上降低了计算机视觉应用对环境照明的灵敏度，因为现在专用光探测强度直接与环境照明强度相关，并且在一些情况下，实现了基于化学/物理的识别技术。

因此，需要适于简化对经由计算机视觉应用的对象识别的要求的系统及方法。

发明简述

上述目的通过具有相应独立权利要求的特征的系统和方法来解决。通过以下描述和相应的从属权利要求来呈现进一步的实施方案。

在第一方面中，本发明的实施方案提供了一种用于经由计算机视觉应用进行对象识别的系统。所提出的系统至少包括以下组件：

-待识别的对象，所述对象具有对象特异性反射和发光光谱图案，

-光源，其由至少两个发光体组成，并且配置为根据需要给出特定的光谱响应，并且通过在所述至少两个发光体之间切换来照明包括待识别对象的场景，其中所述至少两个发光体中的至少一个基于至少一个固态系统，

-传感器，其配置为当场景被光源照射时测量包括对象的场景的辐射数据，

-数据存储单元，其存储和提供发光光谱图案以及适当分配的相应对象，

-数据处理单元，其配置为从场景的辐射数据中提取/估计待识别对象的对象特异性发光光谱图案，并且将估计/提取的对象特异性发光光谱图案与存储在数据存储单元中的发光光谱图案进行比较/匹配，并且识别最佳匹配发光光谱图案，并且因此识别被分配到所识别的最佳匹配发光光谱图案的对象。

所述至少一个固态系统可选自包括半导体发光二极管(LED)、有机发光二极管(OLED)或聚合物发光二极管(PLED)的固态系统。

在一些实施方案中，以比人眼能够检测的速率更快的速率在光源的发光体之间切换可能是有利的。可优选使用具有宽发射带，或者更理想地，具有窄带的快速开关LED。

通过设计独特的发光光谱图案并且形成对象/物品的发光光谱图案的数据库，可以使用所提出的系统来识别显示该发光光谱图案之一的对象。所提出的系统允许识别由传感器拍摄的图像的光谱维度中的离散发光光谱图案。要说明的是，光谱特征的数量与待识别对象的形状无关。这使得所提出的系统能够在分类数量上不受对象的几何/形状的限制。通过分析由数据处理单元提取的化学(发光)信息，可以区分具有相同形状和甚至相同颜色的对象。

根据该系统的可能实施方案，该系统还包括显示单元，其配置为至少显示被分配给所识别的最佳匹配发光光谱图案的所识别的对象。

根据另一实施方案，待识别的对象被赋予(例如，涂覆)有预定的表面发光材料(特别是发光染料)，其发光化学(即，发光光谱图案)是已知的并且用作标签。通过使用对象的发光化学作为标签，不论对象的形状或部分遮挡，对象识别都是可能的。

发光是光从材料发射而不铲射热量的性质。已知有多种发光机理，例如化学发光、机械发光和电致发光。光致发光是由于吸收其他光子而导致的光/光子的发射。光致发光包括荧光、磷光、上转换和拉曼散射。光致发光、荧光和磷光能够在普通光条件下改变对象的颜色外观。尽管在荧光和磷光的化学机理和时间尺度之间存在差异，但对于大多数计算机视觉系统，它们看起来是相同的。在本公开内容的范围内，主要使用术语“荧光”和“荧光的”(示例性地并且作为占位符)，然而，各种发光机理可应用于本发明。

可以以各种方法为对象赋予，即提供荧光材料。荧光材料可以分散在涂层中，该涂层可以通过诸如喷涂、浸涂、卷材涂覆、辊对辊涂覆等方法来施加。可将荧光材料印刷在对象上。可将荧光材料分散到对象中，并挤出、模制或浇铸。一些材料和对象是自然荧光的，并且可以用所提出的系统和/或方法来识别。一些生物材料(蔬菜、水果、细菌、组织、蛋白质等)可以被基因工程化为荧光的。通过以本文提及的任何方式添加荧光蛋白，可以使一些对象发荧光。

大量的荧光材料是可商购获得的。理论上，任何荧光材料都应当适于计算机视觉应用，因为在生产之后测量待识别对象的荧光光谱图案。主要的限制是荧光材料的耐久性和与(待识别对象的)主体材料的相容性。合适的荧光材料的一个实例是BASF

F系列染料，例如黄170、橙240、粉红285、红305，黄170和橙240的组合或其任何其他组合。合适的荧光材料的另一个实例是Clariant

荧光染料红GG、红5B和黄3G。荧光增白剂是一类荧光材料，其通常包含在目标配制剂中以减少许多有机聚合物的黄色。它们通过发出不可见紫外光的荧光而变成可见的蓝光，从而使生产的对象看起来更白。许多荧光增白剂是可商购获得的，包括BASF

SFP和

NFW以及Clariant

KSI和

OB1。

根据所提出的系统的又一实施方案，数据处理单元配置为通过使用所提取/估计的对象特异性荧光光谱图案与所存储的荧光光谱图案之间的任何数量的匹配算法来识别最佳匹配荧光光谱图案，所述匹配算法选自包括但不限于以下各项的组：最小均方根误差、最小平均绝对误差、最高确定系数、最大波长值的匹配。

处理单元还配置为使用在至少两个发光体下测量的辐射数据来估计/计算对象的荧光光谱图案，并且随后将估计/计算的荧光光谱图案与多个荧光光谱图案的已知数据库进行匹配。根据要求保护的系统的实施方案，处理单元配置成在多步骤优化过程中使用在所述至少两个发光体下的测量辐射数据来估计对象的发光光谱图案和反射光谱图案。

传感器通常是具有光子计数能力的光学传感器。更特别地，其可以是单色照相机，或RGB照相机，或多光谱照相机，或高光谱照相机。传感器可以是任何上述传感器的组合，或者任何上述传感器与可调或可选择滤光器组的组合，例如具有特定滤光器的单色传感器。传感器可以测量场景的单个像素，或者一次测量许多像素。光学传感器可配置为对特定光谱范围中的光子进行计数，特别是在多于三个的频带中。其可以是具有用于大视场的多个像素的相机，特别是在不同时间同时读取所有频带或不同频带。

多光谱照相机捕获电磁波谱中特定波长范围内的图像数据。波长可以通过滤光器或通过使用对特定波长敏感的仪器来分离，包括来自超出可见光范围的频率的光，即红外和紫外。光谱成像可以允许提取人眼不能用其红、绿和蓝受体捕获的附加信息。多光谱照相机测量少量(通常为3-15个)光谱带中的光。高光谱照相机是光谱照相机的特殊情况，其中通常有数百个连续光谱带可用。

优选地，光源被选择为能够在至少两个不同的发光体之间切换。对于一些方法可能需要3个或更多个发光体。发光体的全部组合被称为光源。这样做的一种方法是从不同波长的发光二极管(LED)产生发光体。LED可以快速地接通和断开，从而允许在发光体之间快速切换。也可以使用具有不同发射的荧光光源。也可以使用具有不同滤光器的白炽光源。光源可以以人眼不可见的速率在发光体之间切换。正弦样的发光体也可以用LED或其他光源来创建，这对于所提出的计算机视觉算法中的一些是有用的。

被配置成测量场景的辐射数据的传感器与光源在发光体之间的切换相链接和同步。其可配置成仅在一个发光体激活的时间段内捕获信息。其可配置成在一个或多个发光体激活期间捕获/测量信息，并且使用各种算法来计算和发出发光体的子集的辐射。其可配置成在光源激活之前、之后或期间的特定时段捕获场景辐射，并且可以持续比光脉冲更长或更短。这意味着传感器与切换相关联，但是不必需要在仅一个发光体激活的时间段内捕获辐射数据。在一些系统中，这个过程对于降低噪声或者由于传感器定时限制而可能是有利的。

传感器可以与光源同步，并且传感器在传感器积分时间期间跟踪发光体的状态。光源的光谱变化由控制单元经由网络来管理，与传感器的积分时间同步地工作。连接到网络的多个光源可以被同步以具有相同的时间和频谱改变频率，从而放大该效果。

在另一方面中，本发明的实施方案涉及一种经由计算机视觉应用进行对象识别的方法。所提出的方法至少包括以下方法步骤：

-提供具有对象特异性反射和荧光光谱图案的对象，所述对象将被识别，

-通过在至少两个发光体之间切换，利用由所述至少两个发光体组成的光源来照明包括对象的场景，其中所述至少两个发光体中的至少一个基于至少一个固态系统，

-当场景被光源照射时，借助传感器测量包括待识别对象的场景的辐射数据，

-提供数据存储单元如数据库，所述数据存储单元具有与适当分配的相应对象相关联的荧光光谱图案，

-通过数据处理单元从场景的辐射数据中估计待识别对象的对象特异性荧光光谱图案，和

-通过数据处理单元将待识别对象的估计的对象特异性荧光光谱图案与存储在数据存储单元中的荧光光谱图案进行比较/匹配，和

-通过数据处理单元识别最佳匹配的荧光光谱图案，并且因此识别被分配到最佳匹配的荧光光谱图案的对象。

根据一个可能的实施方案，在人造对象的情况下，为对象提供对象特异性反射和荧光光谱图案的步骤包括例如利用荧光材料向待识别物体赋予荧光。

在自然对象作为待识别对象的情况下，对象可固有地已经具有对象特异性反射和荧光光谱图案。

向对象赋予荧光的步骤可以通过用荧光材料涂覆对象或以其他方式向对象表面赋予荧光来实现。在后一种情况下，荧光可以分布在整个对象中，并且因此也可以在表面处是可检测的。

根据所提出的方法的可能实施方案，所述方法还包括经由显示设备至少显示被分配到所识别的最佳匹配荧光光谱图案的被识别对象的步骤。

所提出的方法的匹配步骤特别地包括通过使用在估计的对象特异性荧光光谱图案和存储的荧光光谱图案之间的任何数量的匹配算法来识别最佳匹配的荧光光谱图案，所述匹配算法选自包括但不限于如下项目的组：最低均方根误差、最低平均绝对误差、最高确定系数、最大波长值的匹配。通常，匹配算法是任意的。

所提出的方法的估计步骤特别地包括使用在至少两个发光体下测量的辐射数据来估计对象的荧光光谱和反射光谱。

提供数据存储单元的步骤包括通过设计多种荧光配制剂来形成对象的荧光化学信息的数据库，即对象/物品的荧光光谱图案的数据库，其中施加每种荧光配制剂并且因此分配给对象，使得对象在被光源照射时获得并且显示对象特异性荧光光谱图案。这可通过使用具有不同发射谱的荧光化学品以特定比率的特定混合物来实现，从而实现不同的独特光谱特征/荧光光谱图案。

特别地，光源选择为具有两个发光体并且在两个发光体之间具有短切换时间的可切换光源，即两个发光体在彼此之间快速改变。还可能的是，两个发光体是两个相位相反的正弦样发光体。两个发光体可以选择为LED发光体。

捕获场景的辐射数据的步骤特别地由传感器执行，该传感器与光源在至少两个发光体之间的切换相链接和同步。可以仅在一个发光体激活的时间段内捕获信息。或者，也可在一个或多个发光体激活的时间段内捕获信息，并使用各种算法来计算发光体的子集的辐射。

在另一方面中，本发明的实施方案提供了一种具有可由计算机执行的指令的计算机程序产品，该计算机程序产品包括实现/执行所提出的方法的实施方案中的任一项的指令。

本发明涉及一种系统和方法，其中在受控和时间照明条件下以及在感兴趣的光谱带/线处表征待识别对象的荧光光谱，同时将施加至待识别对象的荧光配制剂的光谱特征用于计算机视觉应用中的对象识别。所提出的系统和方法通过使用待识别对象的荧光化学性质(即荧光光谱图案)作为标签，使得能够识别对象，而不管其形状、环境照明和部分遮挡。

为了提供所提出的系统的数据存储单元，使用针对特定对象/物品测量的并且因此与那些对象关联的独特荧光光谱图案，以便形成特定对象的荧光化学信息的数据库。荧光或者作为添加剂、涂层、漆等施加，或者其是生物材料(即水果、蔬菜)的一部分，或者其天然存在(不是人工放置的)但可以被检测。数据存储单元提供了一种独特的荧光光谱图案的工具，每个光谱图案与特定对象唯一地关联。通过数据存储单元，所提出的系统能够使用所提出的系统识别显示特定荧光化学性质的对象，这是通过首先由光源照射相应对象，由传感器感测对象的辐射数据并且由数据处理单元从辐射数据中估计对象特异性荧光光谱图案，并且将所估计的对象特异性荧光光谱图案与存储在数据存储单元中的荧光光谱图案进行比较来实现的。

本领域已知的是，具有可以容易地定义和检测的工程化特征是与其他技术相比在计算上最高效的视觉识别对象的方式。例如，通过扫描条形码，系统立即连接到数据库以识别被扫描的对象。类似地，所提出的系统由于其在图像的光谱维度中识别离散荧光光谱图案的能力而甚至更有效，如同条形码读取器在空间维度中操作那样。光谱特征的数量与感兴趣对象的形状无关。这使得所提出的系统和方法能够在对象的几何/形状的分类数量方面不受限制。通过分析计算机视觉系统提取的荧光化学，可以区分形状相同且甚至颜色相同的对象。

本发明的一个关键方面是环境照明元件可以用作所提出的系统和方法的光探头。室内条件通常需要存在受控且均匀的照明环境以促进计算机视觉应用。然而，所提出的系统和方法改为利用照明条件的差异来识别对象。此外，该系统的一个独特方面在于，其利用来自LED光源或类似装置的环境照明的快速变化来从相应对象提取荧光化学信息。该照明条件的快速变化对于人眼是不可见的，并且光源的光谱变化可以由系统通过网络来管理，与传感器的积分时间同步工作。连接到网络的多个光源可以被同步以具有相同的时间和光谱改变频率，从而放大该效果。

本发明的另一个独特方面是，对象的荧光(或化学)信息可以与关于该对象的信息(即材料类型、价格、手册等)以及保持在动态(实时)数据库(即跟踪和更新3D地图中的信息的数据存储单元)中的信息相结合。通过使用所提出的系统并且潜在地结合其他方法来动态地跟踪3D空间中的对象，只要对象位置被动态地更新并且对象在所提出的系统的传感器的视场中，所提出的系统能够通过那些对象的3D位置来区分两个相同对象。

上述强调所提出的系统的独特效用的实例并不完整，并且并不旨在限于那些特定应用。其他应用可以基于使用各种类型的照相机的平台，包括单色、RGB类型、多光谱或高光谱光传感器。

根据所提出的方法的一个实施方案，向待识别的对象提供发光材料，该发光材料选自至少包括以下各项的组：

在UV、VIS、NIR和/或IR中具有荧光(斯托克斯)特性的任何材料、在VIS和/或NIR中具有上转换(反斯托克斯)特性的任何材料、利用荧光效应设计的生物制品、利用天然荧光效应设计的生物制品和/或食品着色剂。

用于向待识别对象赋予发光材料的技术可以选择为以下技术中的一种或组合：喷涂、辊涂、刮涂、沉积(PVC、CVD等)、挤出、膜施加/粘附、玻璃形成、模制技术、印刷(例如油墨、所有类型的凹版印刷、喷墨)、增材制造、织物/纺织品处理(染料或印刷方法)、染料/颜料吸收、绘图(手/其他)、赋予粘着剂、赋予标签、赋予标记、化学表面接枝、干赋予、湿赋予、将混合物提供到固体中、提供反应性/非反应性染料。

测量场景的辐射数据的传感器可以从至少包括以下各项的组中选择：所有类型的光电二极管、覆盖250nm和更长波长的传感器、覆盖高达1.800nm波长的传感器、具有动态或静态滤光器的传感器、基于棱镜或类似的空间波长分离系统、多个照相机、立体照相机、高光谱传感器(≥10波段)、多光谱传感器(＞3波段)、RGB传感器(3波段)、覆盖所有波段或仅选定波段的传感器、覆盖所有帧率的传感器、响应于光子和/或电磁辐射(250-1.800nm)的其他传感器、包括偏振滤光器(圆形、线性等)的传感器、具有非偏振滤光器的传感器。

数据库可以存储在边缘计算系统上，或者可以存储在云上。数据可以与关于附加的相应对象、广告、价格、所有者、SDS、卡路里值、配方的附加信息一起存储或不与其一起存储。其他数据可以提供有相应对象的有效日期、制造日期、名称、保质期、成分列表、位置、时间戳。此外，数据可以提供有关于相应对象的使用说明、制造商、产地、回收说明、手册、评级、评论。此外，数据可以提供有关于交通标志信息的信息、关于材料类型的数据，例如关于相应对象的纺织品、衣服、牵狗带、自行车、汽车等。此外，可以提供关于相应对象的使用水平、剩余量、重量、体积、酒精含量、酒精消耗的数据。

被分配最佳匹配的发光光谱图案的识别对象可以经由以下设备中的一个或组合来显示：智能眼镜，智能电话，智能手表，其他可穿戴设备如胸前照相机、侦察照相机、鞋、衬衫、纽扣、隐形眼镜、安全相机、车辆、无人机、机器人、家庭助理、膝上型电脑、平板电脑、交通监控相机、室内和室外系统、移动或固定系统、TV、玩具、便携式扫描仪、固定扫描仪、咖啡机、家用电器、工业机械、生产设备/工厂、回收/分类设备、智能垃圾箱、智能回收箱、笔。

所提出的方法具有许多应用领域。因此，其可以用于例如：对象识别、对象跟踪、对象分类、对象辨识、对象定位、库存管理、自动订单、零售、在线商店、事故预防自主车辆、防伪、增强现实或混合现实应用、广告、健身/健康管理、仓储、制造、组装、计数、学习、运动、指导、手册、建议、烹饪和人工智能支持。

在以下实例中进一步定义本发明。应当理解，通过指出本发明的优选实施方案，这些实例仅以说明的方式给出。从上述讨论和实例，本领域技术人员可以确定本发明的基本特征，并且在不背离本发明的主旨和范围的情况下，可以对本发明进行各种改变和修改以使其适应各种用途和条件。

图1示意性地显示了所提出的系统的实施方案。

图2显示了实例1中使用的三个宽带光源的测量辐射。

图3显示了来自实例1的一种材料的测量的和计算的发射光谱图案的示例性比较。

图4显示了实例1的所有材料的测量(顶部)和计算(底部)发射光谱(光谱图)。

图5在不同的表中显示了实例1的不同比较/匹配算法。

图6显示了在所提出的系统的实施方案中使用的LED光源下的示例性发光体光谱和测量辐射的图。

图7显示了测量的和计算的发射光谱(光谱图案)的示例性比较的图。

图8显示了计算的发射光谱(光谱图案)(左)和测量的发射光谱(光谱图案)(右)。

图9在不同的表中显示了可以用于实例2的不同的比较/匹配算法。

图1a和图1b示意性地显示了所提出的系统100的实施方案。系统100包括至少一个待识别的对象130。此外，系统100包括传感器120，其可以由成像仪实现，例如照相机，特别是多光谱或高光谱照相机。系统100还包括光源110。光源110由不同的单个发光体组成，其数量和性质取决于所用的方法。对于图1a所示的实例1，提供了三个发光体，且所述三个发光体是通常可获得的白炽灯111、紧凑型荧光灯112和白光LED 113灯泡。光源也可由两个发光体组成，如图1b所示。对于实例2，仅提供两个发光体，这两个发光体是定制LED发光体114和115。发光体114由三个在5V下工作的LED组成。一个LED是来自VCC(VAOL-5GUV0T4)的400nm LED，具有3300欧姆的内联电阻器。第二个LED是来自

(SSL-LX5093UEGC)的500nm LED，具有3300欧姆的内联电阻器。第三个LED是来自

(SSL-LX5094SOC)的610nm LED，具有680欧姆的内联电阻器。发光体115由三个在5V下工作的LED组成。一个LED是来自Cree，Inc.(C503B-BCS-CV0Z0461)的470nm LED，具有5000欧姆的内联电阻器。第二个LED是来自

(WP7113CGCK)的574nm LED，具有100欧姆的内联电阻器。第三个LED是来自VCC的643nm LED(VAOL-5GAE4)，具有47欧姆的内联电阻器。

光源可以配置成通过在不同的发光体(图1a中的111、112和113，或图1b中的114和115)之间快速切换来照明包括待识别对象130的场景。系统100还包括数据处理单元，即CPU140，其配置为利用存储在无线地或通过与CPU 140导线连接的数据存储单元150中的反射和/或荧光光谱图案来估计对象特异性反射和/或荧光光谱图案，并且识别最佳匹配的反射和/或荧光光谱图案，并且因此识别被分配了最佳匹配的反射和/或荧光光谱图案的对象。系统100还包括显示单元160，其配置为至少显示被分配到所识别的最佳匹配荧光光谱图案的被识别对象。系统100可包括多于一个传感器、多于一个光源和/或多于一个对象，其中系统的所有组件形成网络。使用系统100，可以执行所提出的用于对象识别的方法的实施方案。待识别的对象130被赋予荧光材料，从而为对象提供对象特异性反射和荧光光谱图案。为了产生具有独特荧光光谱图案/特征的材料，使用分散在单组分汽车透明漆中的BASF

F系列染料。使用四种不同的染料，包括黄170、橙240、粉红285或红305(标记为A、B、C和D)，以及黄170和橙240的组合(标记为E)，来产生实例1和2的材料。将染色的透明涂料以200微米的厚度刮涂到白色钢板上并固化。可以使用将荧光施加到对象的其他方法。

用由多个发光体组成的光源110照射经涂覆的对象130。可以以人眼不可见的速率快速切换发光体，并且发光体通过网络由所提出的系统管理变化，与传感器120的积分时间同步工作。通常，连接到网络的多个光源可以被同步以具有相同的时间和光谱改变频率，从而放大该效果。当包括对象130的场景被光源110照明时，包括对象130的场景的辐射数据被传感器120捕获/测量。数据处理单元140通过首先分离对象的荧光和反射光谱来估计场景的辐射数据中的对象特异性反射和/或荧光光谱图案。

已知多种从反射中分离荧光的方法。实例1中所用的方法描述于Yinqiang Zheng，Imari Sato和Yoichi Sato，“Spectra Estimation of Fluorescent and ReflectiveScenes by Using Ordinary Illuminates”，ECCV 2014，Part V，LNCS 8693，第188-202页，2014中。其中描述的方法用高光谱照相机在三个不同的宽带发光体下对荧光材料成像。该论文全部引入作为参考。

根据本发明，使用在如图1a所示的三个不同发光体111、112和113下测量的辐射数据，在多步优化过程中计算反射和荧光光谱图案。处理单元140将所计算的对象130的荧光光谱图案与来自存储在数据库150中的材料库的已知和测量的(使用荧光计)光谱图案进行比较。数据库150包括分别与特定对象链接的多个荧光光谱图案。为了形成该数据库，可以设计不同的荧光配制剂，并将这些荧光配制剂施加至相应的不同对象，使得每个对象与对象特异性荧光光谱图案唯一地关联。荧光配制剂可以通过使用具有不同发射谱的荧光化学品以特定比例的特定混合物来设计，从而分别获得独特的光谱特征。然后，可以通过所计算的对象特异性荧光光谱图案与存储在数据库150中的已知材料光谱图案之间的任何数量的匹配算法，例如通过最低均方根误差、最低平均绝对误差、最高确定系数或最大发射波长值的匹配，来识别施加到对象130的荧光材料。然后，荧光材料的识别允许使用数据库信息来识别对象130。

最后，数据处理单元140将估计的荧光光谱图案与存储在数据存储单元150中的对象特异性荧光光谱图案进行匹配，并且识别最佳匹配的荧光光谱图案。最后，数据处理单元140可以借助所识别的最佳匹配荧光光谱图案从数据存储单元150读出与该最佳匹配荧光光谱图案相关联的对象，并且可以将该对象与荧光光谱图案一起显示在显示单元160上。

成像仪120可以是高光谱照相机或多光谱传感器。多光谱传感器具有约4-20个传感器波段，而不是高光谱传感器中的两打或更多的单独传感器波段。多光谱传感器可以以快照模式操作，在单次曝光期间捕获整个场景。相反，高光谱传感器通常以行扫描模式操作，这意味着它们不能一次对整个场景成像。此外，多光谱传感器比高光谱照相机经济得多。多光谱传感器不具有与高光谱照相机相同的光谱分辨率，但是它们足以使用所提出的方法利用适当的匹配算法来预测材料识别。传感器还可以以单色方式操作，具有改变随时间测量的光谱区域的机构。传感器可以与窄带滤光器一起工作。当窄带滤光器对应于Fraunhofer线时，这在户外条件或具有太阳能照明组件的其他条件下可能是有用的，其中Fraunhofer线是由于太阳内的元素吸收而从太阳光谱中缺失的波长。以此方式，可以在很大程度上排除太阳辐射(与人工光源相比，太阳辐射的功率可能过大)，从而允许反射和荧光的分离，并因此允许对象识别。

如图1a所示，对于实例1，在不同的发光体111、112和113下，或者如图1b所示，对于实例2，在不同的LED发光体114和115下，对荧光物体130成像。所用的传感器120是用于实例1和2的Resonon Pika L高光谱成像仪，由约384-1024nm的300个波长带组成并且位于距对象130大约0.5米的位置。对于实例2，得到的辐射被重排为420-740nm之间的10nm间隔。

实例2中所用的将荧光与反射分离的方法描述于Fu等人的论文“SeparatingReflective and Fluorescent Compenents Using High Frequency Illumination inthe Spectral Domain”，ICCV 2013中。如在他们的论文中所应用的，该方法需要能够输出正弦样光谱的可定制光源(Nikon ELS-VIS)。可定制光源是低功率且昂贵的，从而阻碍了广泛使用或在典型尺寸的场景中使用。令人惊讶的是，在此已经发现，尽管当前的LED技术不能产生与Nikon ELS-VIS一样窄的发射带，但是光源可以用便宜的高功率LED代替。以与实例1相同的方式记录高光谱图像并将其重排为10nm间隔。由于计算的性质，省略了LED发光体114、115具有相似辐射时的波长。将计算/估计的发射结果与使用荧光分光光度计对每种材料测量的荧光发射进行比较。为了便于比较，还将测量的发射光谱重排为相同的10nm间隔，并且省略相同的波长。

为了实现计算/估计的发射结果，将简单的算法应用于在两个LED发光体114、115的每个发光体下在每个波长处测量的辐射数据，并且因此允许捕获的反射和荧光发射光谱的分离。

由于反射和荧光具有不同的物理行为，因此需要通过不同的模型来描述它们。反射表面的辐射取决于入射光及其反射率。使用上述Fu等论文的命名法，在波长λ下观察到的普通反射表面的辐射计算为

p_r(λ)＝l(λ)·r(λ) (1)

其中l(λ)是波长λ下入射光的光谱，r(λ)是波长λ下表面的光谱反射率。

纯荧光表面的观察到的辐射取决于入射光、材料的吸收光谱及其发射光谱。荧光通常吸收某些波长的光并以更长的波长发射它们。表面的吸收光谱决定多少光被吸收。然后，一些吸收的能量以发射光谱的形式在比入射光更长的波长处释放。吸收的能量的剩余部分作为热量释放。在波长λ下观察到的纯荧光表面的光谱根据其吸收和发射光谱描述为

p_f＝(∫l(λ′)a(λ′)dλ′)e(λ) (2)

其中a(λ')和e(λ)表示吸收和发射光谱。对于k＝(∫l(λ')a(λ')d(λ')，p_f(λ)可以写成p_f(λ)＝ke(λ)，这意味着发射光谱的形状或分布是恒定的，但是发射光谱的尺度k在不同的照射下改变。即，荧光发射的辐射度在不同照明下改变，但是其颜色保持相同，而与照明颜色无关。最后，反射和荧光表面显示根据下式的辐射度：

p(λ)＝l(λ)r(λ)+ke(λ) (3)

当如根据所提出的方法所提出的那样使用光谱域中的高频正弦发光体时，在这两个正弦发光体下的对象的辐射度可描述为：

p₁(λ)＝l₁(λ)r(λ)+ke(λ)

p₂(λ)＝l₂(λ)r(λ)+ke(λ) (4)

由此，反射率r(λ)和荧光发射ke(λ)可以恢复为

通过上述方程，可以根据来自发光体的辐射数据p(λ)和强度l(λ)计算被光源照射的对象的反射率r(λ)和荧光发射e(λ)。因此，荧光发射对应于对象的对象特异性荧光光谱图案。然后将计算的对象特异性荧光光谱图案与存储在数据库中并与相应的特定对象链接的荧光光谱图案进行比较。

图2显示了示例照明光谱230、240和250。图200显示了水平轴210，沿着该水平轴绘制波长，垂直轴220显示了照明的强度。曲线230显示了第一发光体的照明，即CFL(紧凑型荧光灯)，其具有至少三个显著的最大值，即在435.15nm、546.47nm处以及611.45nm处的最高最大值。曲线240显示了第二发光体的发光体光谱，即白炽发光体，其光强度随着波长的增加而增加。曲线250显示了第三发光体的发光体光谱，即具有两个显著最大值的LED，即在453.54nm和603.02nm处。

图3显示了实例1的计算发射结果(计算的荧光光谱图案)与使用荧光计测量的材料A的荧光发射的比较。图300跨越示出波长的水平轴310和示出归一化发射强度的垂直轴320。从曲线330和340可以看出，其中曲线330示出了在565.26nm处具有最大值的计算发射，曲线340示出了在568nm处具有最大值的测量发射，可以看到良好的一致性。

图4在顶部和底部分别显示了实例1的不同材料A、B、C、D、E的测量发射光谱(测量荧光光谱图案)和计算发射光谱(计算荧光光谱图案)。在每个图中，对于每种不同的材料A、B、C、D、E，绘制了所示的不同曲线。

图5显示了实例1的计算和测量的荧光发射光谱之间的定量比较结果。相对于每种测量材料的光谱，计算每个计算光谱的平均绝对误差(图5a)、光谱角度(图5b)和欧几里得距离(图5c)。平均绝对误差是比较计算值与地面实测值的误差的常用方法，较低的平均绝对误差值指示计算值和地面实测值之间的更好匹配。光谱角度映射(图5b)是在光谱成像中用来将对象分类到已知的光谱数据库的概念。对于光谱角度映射，较低的值指示未知对象与测量对象之间的更接近的匹配。欧几里得距离(图5c)是以与光谱角度相同的方式在光谱成像中使用的另一概念。同样，较低的值指示欧几里得距离的更好匹配。对于材料A、C、D和E，平均绝对误差、光谱角度和欧几里得距离计算结果正确地识别了未知材料，除了材料B之外，这可以分别从图5a、图5b和图5c中所示的表中看出。

图6显示了实例2的实例发光体光谱和在每个发光体下测量的辐射。图600显示了水平轴610，沿水平轴610绘制波长，和垂直轴620，其显示了照明强度。曲线640显示了第一发光体的照明，并且曲线641显示了由第一发光体照明的对象的相应辐射数据。曲线630显示了第二发光体的发光体光谱，并且曲线631显示了对象在被第二发光体照射时的相应辐射数据。在≈530-650nm范围内，荧光发射的效果是明显的。

图7显示了实例2的计算发射结果(计算的荧光光谱图案)与使用荧光计测量的材料A的荧光发射的比较。图700跨越示出波长的水平轴710和示出归一化发射强度的垂直轴720。从曲线730和740可以看出，其中曲线730示出了计算的发射，曲线740示出了测量的发射，可以看到良好的一致性。

图8在左侧显示了实例2的计算的发射光谱(计算的荧光光谱图案)，在右侧显示了不同材料A、B、C、D、E的相应测量的发射光谱。在每种不同材料A、B、C、D、E的每个图中，绘制了所示的不同曲线。

图9显示了实例2的计算和测量的荧光发射光谱之间的定量比较结果。相对于每种测量材料的光谱，计算每个计算光谱的平均绝对误差(图9a)、光谱角度(图9b)和欧几里得距离(图9c)。对于材料A、B、C、D和E中的每一种，平均绝对误差、光谱角度和欧几里得距离计算结果正确地识别了未知材料，这可以从图9a、图9b和图9c中所示的表看出。

Claims (15)

1.一种用于经由计算机视觉应用进行对象识别的系统，所述系统(100)至少包括以下组件：

-待识别的对象(130)，所述对象具有对象特异性反射和发光光谱图案，

-光源(110)，其由至少两个发光体(111，112，113，114，115)组成，并且配置成通过在所述至少两个发光体之间切换来照明包括待识别对象的场景，其中所述至少两个发光体中的至少一个基于至少一个固态照明系统，

-传感器(120)，其配置为测量包括对象的场景在该场景被光源照射时的辐射数据，

-数据存储单元(150)，其包括发光光谱图案以及适当分配的相应对象，

-数据处理单元(140)，其配置为从场景的辐射数据中提取待识别对象的对象特异性发光光谱图案，并且将所提取的对象特异性发光光谱图案与存储在数据存储单元中的发光光谱图案进行匹配，并且识别最佳匹配的发光光谱图案，并且因此识别其分配的对象。

2.根据权利要求1所述的系统，还包括显示单元(160)，所述显示单元配置为至少显示被分配给识别的最佳匹配发光光谱图案的所识别的对象。

3.根据权利要求1或2所述的系统，其中向待识别的对象(130)赋予预定义的发光材料，并且得到的对象的发光光谱图案是已知的并且用作标签。

4.根据权利要求1-3中的任一项所述的系统，其中数据处理单元(140)配置为通过使用所提取的对象特异性发光光谱图案与所存储的发光光谱图案之间的任何数量的匹配算法来识别最佳匹配的发光光谱图案，所述匹配算法选自至少包括以下各项的组：最小均方根误差、最小平均绝对误差、最高确定系数、最大波长值的匹配。

5.根据前述权利要求中任一项所述的系统，其中处理单元(140)配置为使用在所述至少两个发光体(111，112，113，114，115)下测量的辐射数据来估计待识别的对象(130)的发光光谱图案和反射光谱图案。

6.根据前述权利要求中的任一项所述的系统，其中传感器(120)是高光谱照相机或多光谱照相机。

7.根据前述权利要求中任一项所述的系统，其中光源(110)是具有两个发光体(114、115)的可切换光源(110)，每个发光体由一个或多个LED组成，并且在所述两个发光体之间具有短的切换时间。

8.根据前述权利要求中任一项所述的系统，其中传感器(120)与光源(110)的切换同步，以在所述至少两个发光体(111，112，113，114，115)中的一个发光体下仅一次从场景发出辐射数据。

9.一种经由计算机视觉应用进行对象识别的方法，所述方法包括至少以下步骤：

-提供具有对象特异性反射和发光光谱图案的对象(130)，所述对象(130)将被识别，

-通过在所述至少两个发光体(111，112，113，114，115)之间切换，用由所述至少两个发光体(111，112，113，114，115)组成的光源(110)照射包括对象(130)的场景，其中所述两个发光体中的至少一个基于至少一个固态系统，

-当场景被光源(110)照射时，借助传感器(120)测量包括对象(130)的场景的辐射数据，

-向数据存储单元(150)提供发光光谱图案以及适当分配的相应对象，

-通过数据处理单元(140)由场景的辐射数据估计待识别对象的对象特异性发光光谱图案，以及

-通过数据处理单元(140)将所估计的对象特异性发光光谱图案与存储在数据存储单元(150)中的发光光谱图案进行匹配，以及

-通过数据处理单元(140)识别最佳匹配的发光光谱图案，并且因此识别其分配的对象。

10.根据权利要求9所述的方法，其中提供待识别的对象(130)的步骤包括向对象赋予发光材料，从而向对象提供对象特异性反射和发光光谱图案。

11.根据权利要求9或10所述的方法，还包括以下步骤：经由显示设备(160)至少显示被分配到所识别的最佳匹配发光光谱图案的所识别的对象。

12.根据权利要求9、10或11所述的方法，其中匹配步骤包括通过使用在估计的对象特异性发光光谱图案和存储的发光光谱图案之间的任何数量的匹配算法来识别最佳匹配的特异性发光光谱图案，所述匹配算法选自至少包括以下项目的组：最小均方根误差、最小平均绝对误差、最高确定系数、最大波长值的匹配。

13.根据权利要求9-12中任一项所述的方法，其中估计步骤包括在多步优化过程中使用在所述至少两个发光体(111，112，113，114，115)下测量的辐射数据来估计对象的发光光谱图案和反射光谱图案。

14.根据权利要求9-13中任一项所述的方法，其中光源(110)选择为具有两个发光体(114、115)并且在所述两个发光体(114、115)之间具有短的切换时间的可切换光源，其中每个发光体由一个或多个LED组成。

15.一种具有可由计算机执行的指令的计算机程序产品，所述计算机程序产品包括指令，从而：

-提供具有对象特异性反射和发光光谱图案的对象(130)，所述对象将被识别，

-通过在至少两个发光体之间切换，用由所述至少两个发光体(111，112，113，114，115)组成的光源(110)来照射包括对象(130)的场景，其中所述两个发光体中的至少一个基于至少一个固态系统，

-当场景被光源(110)照射时，借助传感器(120)测量包括对象(130)的场景的辐射数据，

-通过数据存储单元(150)提供发光光谱图案以及适当分配的相应对象，

-通过处理单元(140)从场景的辐射数据中估计待识别对象的对象特异性发光光谱图案，以及

-通过处理单元(140)将所估计的对象特异性发光光谱图案与存储在数据存储单元(150)中的发光光谱图案进行匹配，以及

-识别最佳匹配的发光光谱图案，并且因此识别其分配的对象。

Images