CN114127797A - 用于在自然光和/或人造光下进行对象识别的系统和方法 - Google Patents

用于在自然光和/或人造光下进行对象识别的系统和方法 Download PDF

Info

Publication number
CN114127797A
CN114127797A CN202080034871.9A CN202080034871A CN114127797A CN 114127797 A CN114127797 A CN 114127797A CN 202080034871 A CN202080034871 A CN 202080034871A CN 114127797 A CN114127797 A CN 114127797A
Authority
CN
China
Prior art keywords
spectral
scene
pattern
light
luminescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034871.9A
Other languages
English (en)
Inventor
Y·E·库尔特奥卢
M·I·柴尔德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF Coatings GmbH
Original Assignee
BASF Coatings GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Coatings GmbH filed Critical BASF Coatings GmbH
Publication of CN114127797A publication Critical patent/CN114127797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

本发明涉及一种用于经由计算机视觉应用进行对象识别的系统和方法,该系统至少包括以下组件:‑待识别的至少一个对象,该对象具有对象特定反射和发光光谱图案,‑光源,其被配置为照射包括至少一个对象的场景,光源被设计为在照射场景时省略光的光谱范围的至少一个光谱带,至少一个省略的光谱带在至少一个对象的发光光谱图案中,‑至少一个传感器,其被配置为当场景由光源照射时,在至少一个省略的光谱带中的至少一个中排他地测量场景的辐射数据,‑数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,‑数据处理单元,其被配置为:从测量的场景辐射数据当中提取待识别的至少一个对象的对象特定发光光谱图案,以及将提取的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。

Description

用于在自然光和/或人造光下进行对象识别的系统和方法
技术领域
本公开涉及使用滤光器在自然光和/或人工光下进行对象识别的系统和方法。
背景技术
计算机视觉是一个快速发展的领域,因为大量使用能够经由传感器,诸如相机、诸如LiDAR或雷达的距离传感器以及基于结构光或立体视觉的深度相机系统(仅举几例),收集关于其周围环境的信息的电子设备。这些电子设备提供待由计算机处理单元处理的原始图像数据,并且因此使用人工智能和/或计算机辅助算法形成对环境或场景的理解。存在可以如何形成对环境的该理解的多种方式。通常,形成2D或3D图像和/或地图,并且分析这些图像和/或地图以形成对场景和该场景中的对象的理解。用于改进计算机视觉的一个前景是测量场景中的对象的化学组成的成分。虽然作为2D或3D图像获取的环境中的对象的形状和外观可用于形成对环境的理解,但是这些技术具有一些缺点。
计算机视觉领域中的一个挑战是能够使用最少的传感器、计算能力、光探针等资源,以高准确度和低延迟标识每个场景内尽可能多的对象。多年来,对象标识过程被称为遥感、对象标识、分类、认证或识别。在本公开的范围内,计算机视觉系统标识场景中的对象的能力被称为“对象识别”。例如,计算机分析图片并且标识/标记该图片中的球,有时甚至更进一步的信息,诸如球的类型(篮球、足球、棒球)、品牌、背景等被归入术语“对象识别”。
通常,计算机视觉系统中用于识别对象的技术可以如下分类:
技术1:物理标签(基于图像):条形码、二维码、序列号、文本、图案、全息图等。
技术2:物理标签(基于扫描/密切接触):视角相关颜料、上转换颜料、因光异色、颜色(红/绿)、发光材料。
技术3:电子标签(无源):RFID标签等。在没有电源的情况下连接到感兴趣对象的设备不一定可见但是可以以其他频率(例如无线电)操作。
技术4:电子标签(有源):无线通信、光、无线电、车辆对车辆、车辆对任何事物(X)等。以各种形式发射信息的感兴趣对象上的供电设备。
技术5:特征检测(基于图像):图像分析和标识,即,从侧视图对于汽车一定距离处的两个车轮;两只眼睛,鼻子和嘴巴(以该顺序)以用于面部识别等。这依赖于已知的几何形状/形状。
技术6:基于深度学习/CNN(基于图像):用标记的汽车、面部等的图像的许多图片训练计算机,并且计算机确定特征以检测和预测感兴趣的对象是否存在于新区域中。需要针对待标识的每类对象重复训练过程。
技术7:对象跟踪方法:以特定顺序组织场景中的项目,并且在开始时标记有序对象。此后跟随场景中的具有已知颜色/几何形状/3D坐标的对象。如果对象离开场景并且重新进入,则“识别”为丢失。
在以下中,呈现上文所提到的技术中的一些缺点。
技术1:当图像中的对象被遮挡或仅对象的一小部分在视图中时,条形码、标志等可能无法读取。此外,柔性物品上的条形码等可能变形,这限制了可见性。对象的所有侧面将必须携带大的条形码以从远处可见,否则仅在近距离并且仅以正确的取向可以识别对象。例如,当商店货架上对象上的条形码将被扫描时,这可能是一个问题。当在整个场景上操作时,技术1依赖于可能变化的环境照明。
技术2:由于归因于其小量子产率的低水平的发射光,因此上转换颜料在观看距离方面具有限制。它们需要强光探针。它们通常是不透明的和大颗粒的,这限制了涂料的选择。使它们的使用更加复杂的是以下事实:与荧光和光反射相比较,上转换响应更慢。虽然一些应用取决于所使用的化合物利用该独特响应时间,但是这仅在预先知道该传感器/对象系统的飞行距离时间时是可能的。在计算机视觉应用中,情况很少是这样。出于这些原因,防伪传感器具有用于读取的覆盖/黑暗部分、作为探针的1类或2类激光器以及与感兴趣对象的固定和有限距离以用于准确度。
类似地,视角相关颜料系统仅在近距离范围内工作并且需要以多个角度观看。而且,颜色对于视觉上令人愉悦的效果来说是不均匀的。必须管理入射光的光谱以获得正确的测量结果。在单个图像/场景内,具有角度相关彩色涂层的对象将具有沿着样本维度对相机可见的多种颜色。
基于颜色的识别是困难的,因为测量的颜色部分地取决于环境照明条件。因此,对于每个场景需要参考样本和/或受控照明条件。不同的传感器也将具有区分不同颜色的不同能力,并且将从一种传感器类型/制造商到另一种传感器类型/制造商而不同,需要用于每个传感器的校准文件。
在环境照明下基于发光的识别是富挑战性的任务,因为对象的反射和发光成分被添加在一起。通常,基于发光的识别将替代地使用暗测量条件和发光材料的激发区域的先验知识,因此可以使用正确的光探针/光源。
技术3:电子标签(诸如RFID标签)需要将电路、集电器和天线附接到感兴趣项目/对象,这增加了设计成本和复杂性。RFID标签提供存在或不存在的类型信息,但是不提供精确的位置信息,除非在场景上使用许多传感器。
技术4:这些主动方法需要将感兴趣对象连接到电源,这对于像足球、衬衫或一盒意大利面的简单物品来说成本高昂,并且因此不实际。
技术5:预测准确度很大程度上取决于图像的质量和在场景内的相机的位置,因为遮挡、不同的视角等可能容易地改变结果。标志类型图像可以存在于场景中的多个地方(即,标志可以在球、T恤、帽子或咖啡杯上)并且对象识别通过推理。对象的视觉参数必须以巨大的努力转换为数学参数。可以改变其形状的柔性对象是有问题的,因为每个可能的形状必须包括在数据库中。总是存在固有不确定性,因为类似形状的对象可能错误标识为感兴趣对象。
技术6:训练数据集的质量确定方法的成功。对于要识别/分类的每个对象,需要许多训练图像。与针对技术5相同的遮挡和柔性对象形状限制同样适用。需要用数千或更多的图像来训练每一类材料。
技术7:该技术在场景预先组织时有效,但是这很少是实际的。如果感兴趣对象离开场景或完全被遮挡,则除非与以上其他技术组合,否则无法识别该对象。
除了已经存在的技术的上文所提到的缺点之外,存在值得提到的一些其他挑战。看到远距离的能力、看到小对象的能力或看到具有足够细节的对象的能力全部需要高分辨率成像系统,即,高分辨率相机、LiDAR、雷达等。高分辨率的需求增加了相关联的传感器成本并且增加了要处理的数据量。
对于像自动驾驶或安全一样需要即时响应的应用,延迟是另一重要方面。需要处理的数据量确定是边缘计算还是云计算对于应用是适当的,后者仅在数据负载小的情况下是可能的。当边缘计算与繁重的处理一起使用时,操作系统的设备变得更大,并且限制易用性和因此实施性。
因此,需要适合于改进用于计算机视觉应用的对象识别能力的系统和方法。
发明内容
本公开提供具有独立权利要求的特征的系统和方法。实施例是从属权利要求以及描述和附图的主题。
根据权利要求1,提供了一种用于经由计算机视觉应用进行对象识别的系统,该系统包括至少以下组件:
-待识别的至少一个对象,该对象具有对象特定反射光谱图案和对象特定发光光谱图案,
-自然和/或人造光源,其被配置为照射包括至少一个对象的场景,光源被设计为在照射场景时省略光的光谱范围的至少一个光谱带,至少一个省略的光谱带在至少一个对象的发光光谱图案中,
-传感器,其被配置为当场景由光源照射时测量包括至少一个对象的场景的辐射数据,并且在至少一个省略的光谱带处读取,
-数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-数据处理单元,其被配置为从至少一个省略的光谱带内的场景的测量辐射数据计算/提取/导出待识别的至少一个对象的对象特定发光光谱图案以及将计算/提取/导出的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及,因此,其分配的对象。
根据系统的一个可能实施例,光源是LED光源,其被配置为在照射场景时有意地和固有地省去(省略)光的光谱范围的至少一个单独的光谱带。LED光源可以由多个窄带LED组成,每个LED被配置为发射窄光谱带中的光,LED的光谱带通过在它们之间省略的单独的光谱带而彼此间隔开。
在所提出的系统的另一方面中,光源装备有至少一个滤光器,该至少一个滤光器被设计为阻止光的光谱范围的至少一个单独的光谱带进入场景。
术语“单独的光谱带”,在以下中也简称为“光谱带”,指示在光的光谱范围内仅跨越光的一个或相对较少数量的连续波长的光谱带,该光的光谱范围跨越光的相对较高数量的连续波长。
在本公开的范围内,环境光可以是自然光或人造/室内光,但是通常不是两者。在一些情况下,它可以是两者,并且两者可以在相同的光谱带处被过滤。当阳光透过房间的窗口照射并且房间由灯泡进一步照射时,给出了这样的一种情况。自然光可以是例如太阳光、月光、星光等。人造光可以是来自灯泡的光等。
在本公开的范围内,术语“荧光的”和“发光的”同义使用。同样适用于术语“荧光”和“发光”。
根据本发明的一个方面,至少一个滤光器被设计为动态滤光器,其被配置为一次阻止光的至少一个光谱带进入场景并且动态改变将被阻止的至少一个光谱带,因此随时间阻止光的光谱范围的至少一部分。
可能的是,预先给出多个单独的光谱带,每个光谱带在至少一个对象的发光光谱图案中;并且让系统随机选择哪个或那些光谱带在照射场景时被省略/阻止。这样的选择通过选择和/或激活多个光源中的至少一个适合的光源来执行,多个光源中的每个光源被配置为省略多个光谱带中的一个光谱带,和/或控制被配置为选择性地省略/阻止多个光谱带的所有光谱带的光源,使得光源随机省略光谱带中的一个或多个(激活/去激活光源装备的滤光器和/或激活/选择LED光源的一个或多个单个LED)。
进一步地,动态滤光器被配置为在感兴趣的光谱范围上连续操作并且根据需要提供对至少一个感兴趣带的阻止,特别是在由至少一个对象的发光光谱图案覆盖的波长处。
根据所提出的系统的进一步的实施例,该系统包括在相同自然和/或人造光源上和/或在照射场景的多个自然或人造光源上的多个动态滤光器,其中,滤光器被配置为彼此同步以同时阻止相同的一个或多个光谱带。
在要求保护的系统的又一实施例中,至少一个滤光器被设计为陷波滤波器,其被配置为在至少一个不同的光谱带处连续地阻止从如在自然照明或人造照明元件中的窗口进入场景的光。
陷波滤波器可以被设计为阻止光的光谱范围内的多个不同的光谱带。
通过使用窄带或宽带陷波滤波器,阻止光谱的某些部分进入场景/环境是可能的。这样的陷波滤波器可以被设计为具有宽或窄的阻带,具有高或低的阻止性能。这样的陷波滤波器可以经由多层薄膜或其他技术的分层被设计为包括一个或几个阻带(多陷波滤波器)。可替代地,可以通过使用一次阻止光谱带的多个部分但是具有动态改变阻带波长的能力的滤光元件(动态滤光器)来实现相同的目标。这样的动态滤光器可操作以连续扫描光谱范围并且根据需要在感兴趣的(一个或多个)波长带处提供阻止,如陷波滤光器。
根据所提出的系统的另一实施例,至少一个传感器是相机,其被配置为对场景成像并且以感兴趣的时间间隔(特别是在省略单独的(一个或多个)光谱带时(例如当过滤发生时)的时间间隔处)在光的光谱范围的不同波长范围处记录场景上的辐射数据。
传感器可以是高光谱相机或多光谱相机。传感器通常是具有光子计数能力的光学传感器。更特别地,它可以是单色相机,或RGB相机,或多光谱相机,或高光谱相机。传感器可以是以上任何一种的组合,或者以上任何一种与可调或可选择的滤波器组的组合,诸如,例如,具有特定滤波器的单色传感器。传感器可以测量场景的单个像素,或者一次测量多个像素。光学传感器可以被配置为对特定光谱范围内(特别是在超过三个频带中)的光子进行计数。它可能是具有用于大视场的多个像素的相机,特别是在不同时间同时读取所有频带或不同频带。
多光谱相机在跨电磁光谱的特定波长范围内捕获图像数据。波长可以通过滤波器或通过使用对特定波长敏感的仪器进行分离,包括来自可见光范围之外的频率的光,即,红外线和紫外线。光谱成像可以允许提取人眼无法利用其针对红色、绿色和蓝色的受体捕获的附加信息。多光谱相机测量少量(通常3至15个)光谱带中的光。高光谱相机是光谱相机的特殊情况,其中,常常数百个连续的光谱带是可用的。
在另一方面中,数据处理单元被配置为:基于被省略/阻止/过滤的光谱带内的场景的辐射数据,例如,基于至少一个滤光器的光谱分布,计算待识别的至少一个对象的对象特定发光光谱图案;以及将计算的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配;以及标识最佳匹配的发光光谱图案,以及,因此,其分配的对象。
本发明还涉及一种用于经由计算机视觉应用进行对象识别的方法,该方法至少包括以下步骤:
-提供待识别的对象,该对象具有对象特定反射和发光光谱图案,
-使用自然和/或人造光源照射包括对象的场景,光源被设计为在照射场景时省略光的光谱范围中的至少一个单独的光谱带,至少一个光谱带适于至少一个对象的发光光谱图案并且覆盖发光光谱图案的至少一个波长,即,至少一个过滤的光谱带在对象的发光光谱范围内,
-当场景由光源照射时,借助于传感器测量包括对象的场景的辐射数据,并且在至少一个省略的光谱带处读取,
-提供数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-借助于数据处理单元从测量的场景辐射数据当中提取待识别对象的对象特定发光光谱图案,
-将提取的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及
-标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
根据所提出的方法的一个实施例,光源装备有至少一个滤光器,该至少一个滤光器被设计为阻止至少一个单独的光谱带。可替代地,光源被选择为具有一个或多个LED的LED光源,每个LED被配置为发射窄光谱带内的光,LED的光谱带通过在它们之间省略的单独的光谱带彼此间隔开。
在另一方面中,该方法还包括选择至少一个滤光器作为动态滤光器并且扫描感兴趣的光谱范围并且根据需要在感兴趣的波带/光谱带处,特别是在由至少一个对象的发光光谱图案覆盖的波长处提供阻止。
根据又一方面,所提出的方法包括选择至少一个滤光器作为陷波滤波器,其被配置为永久地阻止至少一个不同的光谱带,特别是阻止光的光谱范围内的多个不同的光谱带。陷波滤波器可以被配置为在至少一个不同的光谱带处连续地阻止从如在自然照明或人造照明元件中的窗口进入场景的光。
根据所提出的方法的又一实施例,提取对象特定发光光谱图案包括:基于被省略的至少一个光谱带内的场景的辐射数据,例如,基于至少一个滤光器的光谱分布和所测量的场景的辐射数据,计算待识别的至少一个对象的对象特定发光光谱图案,以及将计算的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
通常,至少光源、传感器、数据处理单元和数据存储单元(数据库)经由相应的通信连接彼此联网。因此,监测设备的不同组件之间的通信连接中的每一个可以分别是直接连接或间接连接。每个通信连接可以是有线或无线连接。可以使用每个适合的通信技术。数据处理单元、传感器、数据存储单元、光源各自可以包括用于彼此通信的一个或多个通信接口。这样的通信可以使用有线数据传输协议来执行,诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)或任何其他有线传输协议。可替代地,所述通信可以无线经由使用各种协议中的任一种的无线通信网络,诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址(CDMA)、长期演进(LTE)、无线通用串行总线(USB)和/或任何其他无线协议。相应通信可以是无线和有线通信的组合。
数据处理单元可以包括一个或多个输入单元或可以与一个或多个输入单元通信连接,诸如触摸屏、音频输入、运动输入、鼠标、键盘输入和/或类似物。进一步地,数据处理单元可以包括一个或多个输出单元或可以与一个或多个输出单元通信(即,通信连接),诸如音频输出、视频输出、屏幕/显示输出、和/或类似物。
本发明的实施例可以与计算机系统一起使用或并入计算机系统中,该计算机系统可以是独立单元或包括经由网络(诸如,例如,因特网或内联网)与位于例如云中的中央计算机通信的一个或多个远程终端或设备。如此,本文所描述的数据处理单元和相关组件可以是本地计算机系统或远程计算机或在线系统或其组合的一部分。本文所描述的数据库(即,数据存储单元)和软件可以存储在计算机内部存储器中或在非暂态计算机可读介质中。在本公开的范围内,数据库可以是数据存储单元的一部分或者可以表示数据存储单元本身。术语“数据库”和“数据存储单元”同义使用。
本公开还涉及一种具有可由计算机执行的指令的暂态计算机程序产品,该计算机程序产品包括进行以下各项的指令:
-提供待识别的对象,该对象具有对象特定反射和发光光谱图案,
-使用自然和/或人造光源照射包括对象的场景,光源被设计为在照射场景时省略光的光谱范围中的至少一个单独的光谱带,至少一个光谱带适于至少一个对象的发光光谱图案并且覆盖发光光谱图案的至少一个波长,即,至少一个省略的光谱带在对象的发光光谱范围内,
-当场景由光源照射时,测量包括对象的场景的辐射数据,并且在至少一个过滤的光谱带处读取,
-提供数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-从测量的场景辐射数据当中提取待识别对象的对象特定发光光谱图案,以及
-将提取的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及
-标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
光源可以装备有至少一个滤光器,该至少一个滤光器被设计为阻止至少一个单独的光谱带进入场景。
在一个方面中,计算机程序产品还具有进行以下各项的指令:基于至少一个光谱带内的场景的辐射数据计算待识别的至少一个对象的对象特定发光光谱图案,以及将计算的对象特定发光光谱图案与存储在数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
本公开描述了一种在不变(稳态)环境照明条件下检测场景内对象/材料的荧光发射光谱的系统和方法。该系统可包括:陷波滤波器,其应用于室内空间的光源(各种类型的灯泡和/或窗口等),或使用相同过滤光源的室外黑暗或低环境光条件;传感器/相机,其能够扫描场景并且在不同波长范围处记录场景上的响应;以及数据处理单元,其被配置为基于陷波滤波器的光谱分布,即,基于来自传感器/相机的已经在光源的省略光谱带内测量的测量辐射数据,计算荧光发射光谱。可替代地,可以使用放置在用于场景的光源上的动态滤光器建立系统,该动态滤光可以一次阻止光谱的若干部分并且随时间扫描光谱范围。如果多个动态滤光器被用于系统,则每个滤光器可以同步以同时阻止相同的(一个或多个)光谱带,以适应该阻止的(一个或多个)光谱带处的目标对象的发光读数。也可能的是,同时阻止多个不同的光谱带。可替代地,光源被选择为具有一个或多个LED的LED光源,每个LED被配置为发射窄光谱带中的光,LED的光谱带通过在它们之间省略的单独光谱带而彼此间隔开。该系统还包括具有发光材料/对象的数据库的数据存储单元和使用各种算法计算这样的发光对象的光谱匹配的数据/计算机处理单元。所提出的系统和方法使能使用对于室内环境以及低光室外环境的发光对象/材料进行基于颜色空间的对象识别,有或没有阳光进入场景并且不需要高频可变照明源。
本发明在以下示例中进一步限定。应当理解,通过指示本发明的优选实施例,这些示例仅以说明性的方式给出。从以上讨论和示例,本领域技术人员可以确定本发明的基本特性并且在不脱离其精神和范围的情况下,可以做出本发明的各种改变和修改以使其适于各种用法和条件。
附图说明
图1a示出了未过滤的发光体光谱和陷波滤波器透射光谱的示意图;
图1b示出了在过滤之后的所得发光体光谱的示意图,即,图1a的未过滤的发光体光谱和陷波滤波器透射光谱的叠加;
图2示出了陷波滤波器透射光谱和位于每个陷波滤波器阻带内的一个传感器频带的示意图;
图3示出了陷波滤波器透射光谱和位于每个陷波滤波器阻带内的多个传感器频带的示意图;以及
图4示意性地示出了所提出的系统的一个实施例。
具体实施方式
图1a示出了具有水平轴101和两个垂直轴102和103的图。该图示出了所提出的用于经由计算机视觉应用进行对象识别的系统的实施例。该系统包括至少自然和/或人造光源,该自然和/或人造光源包括至少一个发光体以照射包括待识别的至少一个对象的场景。待识别的至少一个对象具有对象特定反射和发光光谱图案。光源装备有至少一个陷波滤波器,其被设计为阻止光的光谱范围内的至少一个预定义光谱带进入场景,其中,至少一个过滤的光谱带位于发光光谱图案内,即,至少一个对象的发光光谱范围内。光的光谱范围的波长沿着水平轴101绘制。陷波滤波器的透射沿着垂直轴103绘制,其中,透射以百分比给出。光源的辐射强度即,由光源包括的发光体的辐射强度沿着垂直轴102绘制。曲线110指示作为波长的函数的光源的辐射强度值的发展,并且曲线111指示作为波长的函数的陷波滤波器的透射。因此,在图1a的图中,未过滤的发光体光谱和陷波滤波器透射光谱被绘制为彼此独立的波长的各自函数。
图1b示出了其中来自图1a的曲线110和111彼此叠加形成曲线120的图,因此,指示哪些光谱带被过滤/阻止进入场景。如上文已经指示的,过滤后的光谱带被选择为与待识别对象的发光光谱图案相关,使得由那些光谱带(被阻止照射)产生并且由传感器测量的辐射数据必须明确分配给至少一个对象的发光光谱图案,并且因此给出至少一个对象的清晰指示。此处所示的陷波滤波器阻止了沿着波长范围的五个光谱带,该波长范围沿着水平轴101绘制。由于被阻止的光谱带内的光不进入场景,因此那些光谱带内的光不能被反射,并且因此,那些光谱带内可以由传感器感测/测量的所有光必须由至少一个对象的发光光谱图案产生。
图2示出了系统的示意图,该系统包括光源、陷波滤波器和相应的传感器,该传感器被配置为当场景由光源照射时测量包括至少一个对象的场景的辐射数据。该图具有水平轴201和两个垂直轴202和203。进入场景的光的波长和从场景辐射的光的波长沿着水平轴201绘制。传感器灵敏度沿着垂直轴202绘制。陷波滤波器的透射能力沿着轴203绘制。透射以百分比给出。陷波滤波器被选择为多频带陷波滤波器,即,陷波滤波器被配置为阻止光的光谱范围的多个光谱带进入场景,光的光谱范围由水平轴201的开始和结束限定。在此处所示的情况下,陷波滤波器阻止沿着由水平轴201限定的光的光谱范围的五个光谱带,如由曲线210所示。如曲线220所指示的,传感器被配置为特别地测量精确地在光的光谱范围的五个光谱带内的辐射数据,该五个光谱带由陷波滤波器阻止进入场景。因此,传感器被明确配置为仅感测从场景发射的光作为对进入光的发光响应。由于传感器未被配置为测量未由陷波滤波器阻止的光谱带内的辐射数据,因此场景的反射响应被屏蔽。因此,将传感器进行的测量集中在场景的发光响应上是可能的。如果被阻止的陷波滤波器的光谱带适配于待识别的至少一个对象的发光光谱图案,则传感器可以清楚地测量由对象的发光光谱图案产生的辐射数据,并且由于其测量的发光光谱图案使能清楚标识对象。
图3示出了图的进一步的示例。进入场景或从场景发射的光的波长沿着水平轴301绘制。传感器灵敏度再次沿着垂直轴302绘制。陷波滤波器的透射能力再次沿着垂直轴303绘制。在由水平轴301限定的波长范围内,陷波滤波器具有两个被阻止的光谱带和三个未被阻止的光谱带,如曲线310所指示的。在此处所示的示例中,传感器被配置为测量陷波滤波器的每个阻止光谱带内的两个光谱带,如曲线320所指示的。那意味着多个传感器频带位于每个陷波滤波器频带内,即,在由陷波滤波器阻止的每个光谱带内。在具有其传感器频带的传感器被选择为与待识别对象的发光光谱图案适配/相关并且具有其阻塞光谱带的陷波滤波器也适配于对象的发光光谱图案的情况下,由于其可以由相应传感器详细测量的发光光谱图案,因此可以明确标识对象。
用于测量来自包含荧光发射和反射的对象的荧光发射光谱的方法是已知的。这些方法中的大多数依赖于在必须已知的两个或两个以上照明条件下测量对象的辐射光谱,并且使用各种计算来分离出反射和发射对对象总辐射的贡献。然而,使用多个照明条件对于非实验室环境并不理想,因为附加的照明条件增加光源的成本,并且增加将光源与所使用的传感器同步的复杂性挑战。有一篇论文描述了在单照明条件下的荧光发射和反射的分离(Zheng、Fu、Lam、Sato和Sato,ICCV2015 3523-3531)。在本论文内,使用了“尖刺”照明源,即,主要用于汽车前灯的高强度放电灯泡。因此,仍然需要在单光源条件下分离反射和荧光发射的可概括的方法和系统。
所提出的系统和方法使能有意地在照明光谱中创建暗区,并且然后测量那些暗区内的辐射。没有荧光的对象将不记录暗区内的辐射,因为它们在这些波长处不存在照明反射。由于高能量光的转换,具有与暗区重叠的荧光发射的对象将具有辐射。这些暗区可以通过应用陷波滤波器来创建,陷波滤波器是在其有效范围上透射大部分光的滤波器,光谱的相对小部分除外,该相对小部分应当尽可能接近零透射。陷波滤波器,包括在单个滤波器中具有多个“陷波”的滤波器,是可商购的。建议将陷波滤波器应用于照明源,诸如灯泡和外窗,以创建对象将被识别的环境/场景。还需要传感器,特别是在发光体光谱的暗区内具有光谱灵敏度的相机。为了获得荧光光谱形状,将需要多个暗区(图2)或在该区域内具有多个传感器带的较大暗区(图3)。此外,可购得动态陷波滤波器,其中,频谱的“陷波”部分可随时间变化。利用动态陷波滤波器,可以随时间扫描整个光谱,从而允许更好地标识待识别的相应对象的荧光光谱。
图4示出了所提出的系统的实施例。系统400包括待识别对象420、光源410、传感器440、数据存储单元460和数据处理单元450。对象420具有对象特定反射光谱图案和对象特定发光光谱图案。光源410被配置为发射光的光谱范围内的紫外光、可见光或红外光。通常,光源410被配置为发射跨越光的整个光谱范围的光是可能的。在那种情况下,光源耦合/装备有滤光器415,该滤光器415被设计为当光源410向包括对象420的场景430发射光时阻止光的光谱范围的至少一个单独的光谱带进入场景430。光源410也可以是太阳并且滤光器415可以是装有滤光器和可选地装有传感器(诸如相机440(参见图4))的窗口。被阻止的至少一个单独的光谱带位于对象420的发光光谱图案内。可替代地,光源410被设计为本质上省去至少一个单独的光谱带,即,当照射包括对象420的场景430时,光源410不发射所述单独光谱带内的光。根据系统的一个可能实施例,光源是LED光源,其被配置为在照射场景时有意地和固有地省去(省略)光的光谱范围的至少一个光谱带。LED光源可以由多个窄带LED组成,每个LED被配置为发射窄光谱带中的光,LED的光谱带彼此间隔开在它们之间省略的光谱带。
这样的光源与滤光器的组合也是可能的。图4所示的系统400还包括传感器440,其被配置为感测/记录在场景430上的在照射场景430时已被遗漏的至少一个光谱带处的辐射数据/响应。那意味着仅记录包括待识别对象420的场景430的荧光响应,即,对象420的荧光响应,假设场景内不存在具有类似荧光光谱图案的其他项目。系统400还包括数据处理单元450和数据存储单元460。数据存储单元包括多个不同对象的荧光光谱图案的数据库。数据处理单元与数据存储单元以及传感器440通信连接。因此,数据处理单元450可以计算待识别对象420的发光发射光谱,并且搜索数据存储单元的数据库460用于与计算的发光发射光谱匹配。因此,如果可以找到数据库460内的匹配,则可以识别待识别对象420。
参考标记列表
101 水平轴
102 垂直轴
103 垂直轴
110 曲线
111 曲线
120 曲线
201 水平轴
202 垂直轴
203 垂直轴
210 曲线
220 曲线
301 水平轴
302 垂直轴
303 垂直轴
310 曲线
320 曲线
400 系统
410 光源
415 滤光器
420 待识别的对象
430 场景
440 传感器
450 数据处理单元
460 数据存储单元

Claims (20)

1.一种用于经由计算机视觉应用进行对象识别的系统,所述系统至少包括以下组件:
-待识别的至少一个对象,所述对象具有对象特定反射和发光光谱图案,
-光源,其被配置为照射包括所述至少一个对象的场景,所述光源被设计为在照射所述场景时省略光的光谱范围的至少一个光谱带,所述至少一个省略的光谱带在所述至少一个对象的所述发光光谱图案中,
-至少一个传感器,其被配置为当所述场景由所述光源照射时,在所述至少一个省略的光谱带中的至少一个中排他地测量所述场景的辐射数据,
-数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-数据处理单元,其被配置为:从测量的场景辐射数据当中提取待识别的所述至少一个对象的所述对象特定发光光谱图案,以及将提取的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
2.根据权利要求1所述的系统,其中,所述光源是LED光源,其被配置为在照射所述场景时有意和固有地省去光的所述光谱范围的所述至少一个光谱带。
3.根据权利要求2所述的系统,其中,所述LED光源被配置为省略多个光谱带并且由多个窄带LED组成,每个LED被配置为发射窄光谱带中的光,所述LED的光谱带通过在它们之间省略的光谱带而彼此间隔开。
4.根据前述权利要求中的任一项所述的系统,其中,所述光源装备有至少一个滤光器,所述至少一个滤光器被设计为阻止光的所述光谱范围的所述至少一个光谱带进入所述场景。
5.根据权利要求4所述的系统,其中,所述至少一个滤光器被设计为动态滤光器,其被配置为一次阻止光的至少一个光谱带进入所述场景并且动态改变将被阻止的至少一个光谱带,因此随时间阻止光的所述光谱范围的至少一部分。
6.根据权利要求5所述的系统,其中,所述动态滤光器被配置为在感兴趣的光谱范围上连续操作并且根据需要提供对感兴趣的所述至少一个光谱带中的至少一个的阻止。
7.根据权利要求4至6中的任一项所述的系统,其包括照射所述场景的相同自然光源和/或人造光源上和/或多个自然光源和/或人造光源上的多个动态滤光器,其中,所述滤光器被配置为彼此同步以同时阻止所述至少一个光谱带中的同一光谱带的至少一部分。
8.根据权利要求4所述的系统,其中,所述至少一个滤光器被设计为陷波滤波器,其被配置为在至少一个不同的光谱带处连续地阻止从如在自然照明或人造照明元件中的窗口进入所述场景的光。
9.根据权利要求8所述的系统,其中,所述陷波滤波器被设计为阻止光的光谱范围内的多个不同的光谱带。
10.根据前述权利要求中的任一项所述的系统,其中,所述至少一个传感器是相机,其被配置为对所述场景成像并且在所述场景由所述光源照射时以时间间隔在光的光谱范围的至少一个光谱带的不同光谱带处排他地记录所述场景上的辐射数据。
11.根据权利要求10所述的系统,其中,所述传感器是高光谱相机或多光谱相机。
12.根据前述权利要求中的任一项所述的系统,其中,所述数据处理单元被配置为基于所测量的场景辐射数据的光谱分布计算待识别的所述至少一个对象的所述对象特定发光光谱图案,以及将计算的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
13.一种用于经由计算机视觉应用进行对象识别的方法,所述方法至少包括以下步骤:
-提供待识别的对象,所述对象具有对象特定反射和发光光谱图案,
-使用光源照射包括所述对象的场景,所述光源被设计为在照射所述场景时省略光的光谱范围中的至少一个光谱带,所述至少一个省略的光谱带在所述至少一个对象的所述发光光谱图案中,
-当所述场景由所述光源照射时,借助于至少一个传感器在所述至少一个省略的光谱带处排他地测量所述场景的辐射数据,
-提供数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-借助于数据处理单元从测量的场景辐射数据当中提取待识别的所述对象的所述对象特定发光光谱图案,
-将提取的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及
-标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
14.根据权利要求13所述的方法,其中,所述光源被选择为LED光源,其被配置为在照射所述场景时有意地和固有地省去光的所述光谱范围的所述至少一个光谱带。
15.根据权利要求13或14所述的方法,其中,所述光源装备有至少一个滤光器,所述至少一个滤光器被设计为阻止光的所述光谱范围的所述至少一个光谱带进入所述场景。
16.根据权利要求15所述的方法,还包括:选择所述至少一个滤光器作为动态滤光器并且在感兴趣的光谱范围上操作,并且根据需要提供对感兴趣的所述至少一个光谱带中的至少一个的阻止。
17.根据权利要求15所述的方法,还包括:选择所述至少一个滤光器作为陷波滤波器,其被配置为在至少一个不同的光谱带处连续地阻止从如在自然照明或人造照明元件中的窗口进入所述场景的光,特别是阻止光的所述光谱范围内的多个不同的光谱带。
18.根据权利要求13至17中的任一项所述的方法,还包括:基于所述至少一个省略的光谱带的光谱分布和所测量的场景辐射数据来计算待识别的所述至少一个对象的所述对象特定发光光谱图案,以及将计算的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
19.一种非暂态计算机可读介质,其存储指令,所述指令当由一个或多个处理器执行时使得机器进行以下各项:
-提供待识别的对象,所述对象具有对象特定反射和发光光谱图案,
-使用光源照射包括所述对象的场景,所述光源被设计为在照射所述场景时省略光的光谱范围中的至少一个光谱带,所述至少一个省略的光谱带在所述至少一个对象的所述发光光谱图案中,
-当所述场景由所述光源照射时,在所述至少一个省略的光谱带处排他地测量所述场景的辐射数据,
-提供数据存储单元,其包括发光光谱图案以及恰当分配的相应对象,
-从测量的场景辐射数据当中提取待识别的所述对象的所述对象特定发光光谱图案,以及
-将提取的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及
-标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
20.根据权利要求19所述的计算机可读介质,还存储进行以下各项的指令:基于所述至少一个省略的光谱带的光谱分布和所述场景的辐射数据来计算待识别的所述至少一个对象的所述对象特定发光光谱图案,以及将计算的对象特定发光光谱图案与存储在所述数据存储单元中的发光光谱图案相匹配,以及标识最佳匹配的发光光谱图案,以及因此,其分配的对象。
CN202080034871.9A 2019-06-07 2020-06-05 用于在自然光和/或人造光下进行对象识别的系统和方法 Pending CN114127797A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962858356P 2019-06-07 2019-06-07
EP19179181.3 2019-06-07
US62/858,356 2019-06-07
EP19179181 2019-06-07
PCT/EP2020/065749 WO2020245442A1 (en) 2019-06-07 2020-06-05 System and method for object recognition under natural and/or artificial light

Publications (1)

Publication Number Publication Date
CN114127797A true CN114127797A (zh) 2022-03-01

Family

ID=70977983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034871.9A Pending CN114127797A (zh) 2019-06-07 2020-06-05 用于在自然光和/或人造光下进行对象识别的系统和方法

Country Status (12)

Country Link
US (1) US20220319149A1 (zh)
EP (1) EP3980936A1 (zh)
JP (1) JP2022535884A (zh)
KR (1) KR20220004740A (zh)
CN (1) CN114127797A (zh)
AU (1) AU2020288852A1 (zh)
BR (1) BR112021018998A2 (zh)
CA (1) CA3140200A1 (zh)
MX (1) MX2021014925A (zh)
SG (1) SG11202111153YA (zh)
TW (1) TW202122764A (zh)
WO (1) WO2020245442A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3219510A1 (en) * 2021-05-26 2022-12-01 Basf Coatings Gmbh System and method for object recognition utilizing reflective light blocking
WO2023180178A1 (en) 2022-03-23 2023-09-28 Basf Coatings Gmbh System and method for object recognition utilizing color identification and/or machine learning

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3240081A1 (de) * 1981-11-07 1984-05-03 Licentia Gmbh Vorrichtung zur erkennung und verarbeitung von zeichen und/oder vorgegebenen optischen details
US20060118738A1 (en) * 2003-06-26 2006-06-08 Ncr Corporation Security markers for ascertaining navigational information
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
JP2018533969A (ja) * 2015-09-01 2018-11-22 キアーゲン インストゥルメンツ アクチェンゲゼルシャフト ハイスループットシーケンシングにおける色検出のためのシステム及び方法
US10228283B2 (en) * 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US9922251B2 (en) * 2016-08-18 2018-03-20 Raytheon Company Cued hybrid enhanced spectral system (CHESS)
JP6422616B1 (ja) * 2016-12-22 2018-11-14 国立大学法人 筑波大学 データ作成方法及びデータ使用方法
US11073423B2 (en) * 2018-03-27 2021-07-27 Flying Gybe Inc. Hyperspectral sensing system and processing methods for hyperspectral data
US10996169B2 (en) * 2019-02-27 2021-05-04 Microsoft Technology Licensing, Llc Multi-spectral fluorescent imaging

Also Published As

Publication number Publication date
KR20220004740A (ko) 2022-01-11
BR112021018998A2 (pt) 2022-04-26
WO2020245442A1 (en) 2020-12-10
TW202122764A (zh) 2021-06-16
JP2022535884A (ja) 2022-08-10
US20220319149A1 (en) 2022-10-06
EP3980936A1 (en) 2022-04-13
SG11202111153YA (en) 2021-11-29
AU2020288852A1 (en) 2022-01-06
CA3140200A1 (en) 2020-12-10
MX2021014925A (es) 2022-01-24

Similar Documents

Publication Publication Date Title
US11295152B2 (en) Method and system for object recognition via a computer vision application
CA3125937A1 (en) Method and system for object recognition via a computer vision application
JP7225435B2 (ja) コンピュータビジョンアプリケーションにおける3次元マッピングツールを用いた物体認識のためのシステム及び方法
US20220319149A1 (en) System and method for object recognition under natural and/or artificial light
JP7277615B2 (ja) 光の3dマッピングとモデリングを使用した物体認識システム及び方法
US20220245842A1 (en) System and method for object recognition using fluorescent and antireflective surface constructs
US20220307981A1 (en) Method and device for detecting a fluid by a computer vision application
US20220230340A1 (en) System and method for object recognition using 3d mapping and modeling of light

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination