CN113811888A - 用于使用光的3d测图和建模进行对象识别的系统和方法 - Google Patents

Abstract

本发明涉及一种用于经由计算机视觉应用进行对象识别的方法和系统，其中，待识别的至少一个对象(110)由具有光源特定辐射值的至少一个光源(121，122)照射，并且当场景(130)由光源(121，122)照射时，测量包括对象的场景(130)的辐射数据。进一步地，场景由场景测图工具(150)测图，从而渲染场景(130)的至少部分3D地图。从场景测图工具(150)接收的数据被分析并且与光源特定辐射值合并，并且，基于此，入射在场景(130)中的点处，特别是至少一个对象(110)处的光的辐射被计算并且与从场景(130)中的点，特别是从至少一个对象(110)返回到传感器(140)的光的测量的辐射组合，从而形成场景(130)中的至少一个对象(110)处的光谱分布和强度的模型。至少一个对象的对象特定发光和/或反射光谱图案从光谱分布和强度的模型中提取，并且与存储在数据存储单元(160)中的发光和/或反射光谱图案匹配。因此，标识最佳匹配的发光和/或反射光谱图案。

Description

用于使用光的3D测图和建模进行对象识别的系统和方法

技术领域

本公开涉及一种用于使用光的3D测图和建模进行对象识别的系统和方法。

背景技术

计算机视觉是一个快速发展的领域，因为大量使用能够经由传感器，诸如相机、诸如LiDAR或雷达的距离传感器以及基于结构光或立体视觉的深度相机系统(仅举几例)，收集关于其周围环境的信息的电子设备。这些电子设备提供待由计算机处理单元处理的原始图像数据，并且因此使用人工智能和/或计算机辅助算法形成对环境或场景的理解。存在可以如何形成对环境的该理解的多种方式。通常，形成2D或3D图像和/或地图，并且分析这些图像和/或地图以形成对场景和该场景中的对象的理解。用于改进计算机视觉的一个前景是测量场景中的对象的化学组成的成分。虽然作为2D或3D图像获取的环境中的对象的形状和外观可用于形成对环境的理解，但是这些技术具有一些缺点。

计算机视觉领域中的一个挑战是能够使用最少的传感器、计算能力、光探针等资源，以高准确度和低延迟标识每个场景内尽可能多的对象。多年来，对象标识过程被称为遥感、对象标识、分类、认证或识别。在本公开的范围内，计算机视觉系统标识场景中的对象的能力被称为“对象识别”。例如，计算机分析图片并且标识/标记该图片中的球，有时甚至更进一步的信息，诸如球的类型(篮球、足球、棒球)、品牌、背景等被归入术语“对象识别”。

通常，计算机视觉系统中用于识别对象的技术可以如下分类：

技术1：物理标签(基于图像)：条形码、二维码、序列号、文本、图案、全息图等。

技术2：物理标签(基于扫描/密切接触)：视角相关颜料、上转换颜料、因光异色、颜色(红/绿)、发光材料。

技术3：电子标签(无源)：RFID标签等。在没有电源的情况下连接到感兴趣对象的设备不一定可见但是可以以其他频率(例如无线电)操作。

技术4：电子标签(有源)：无线通信、光、无线电、车辆对车辆、车辆对任何事物(X)等。以各种形式发射信息的感兴趣对象上的供电设备。

技术5：特征检测(基于图像)：图像分析和标识，即，从侧视图对于汽车一定距离处的两个车轮；两只眼睛，鼻子和嘴巴(以该顺序)以用于面部识别等。这依赖于已知的几何形状/形状。

技术6：基于深度学习/CNN(基于图像)：用标记的汽车、面部等的图像的许多图片训练计算机，并且计算机确定特征以检测和预测感兴趣的对象是否存在于新区域中。需要针对待标识的每类对象重复训练过程。

技术7：对象跟踪方法：以特定顺序组织场景中的项目，并且在开始时标记有序对象。此后跟随场景中的具有已知颜色/几何形状/3D坐标的对象。如果对象离开场景并且重新进入，则“识别”为丢失。

在以下中，呈现上文所提到的技术中的一些缺点。

技术1：当图像中的对象被遮挡或仅对象的一小部分在视图中时，条形码、标志等可能无法读取。此外，柔性物品上的条形码等可能变形，这限制了可见性。对象的所有侧面将必须携带大的条形码以从远处可见，否则仅在近距离并且仅以正确的取向可以识别对象。例如，当商店货架上对象上的条形码将被扫描时，这可能是一个问题。当在整个场景上操作时，技术1依赖于可能变化的环境照明。

技术2：由于归因于其小量子产率的低水平的发射光，因此上转换颜料在观看距离方面具有限制。它们需要强光探针。它们通常是不透明的和大颗粒的，这限制了涂料的选择。使它们的使用更加复杂的是以下事实：与荧光和光反射相比较，上转换响应更慢。虽然一些应用取决于所使用的化合物利用该独特响应时间，但是这仅在预先知道该传感器/对象系统的飞行距离时间时是可能的。在计算机视觉应用中，情况很少是这样。出于这些原因，防伪传感器具有用于读取的覆盖/黑暗部分、作为探针的1类或2类激光器以及与感兴趣对象的固定和有限距离以用于准确度。

类似地，视角相关颜料系统仅在近距离范围内工作并且需要以多个角度观看。而且，颜色对于视觉上令人愉悦的效果来说是不均匀的。必须管理入射光的光谱以获得正确的测量结果。在单个图像/场景内，具有角度相关彩色涂层的对象将具有沿着样本维度对相机可见的多种颜色。

基于颜色的识别是困难的，因为测量的颜色部分地取决于环境照明条件。因此，对于每个场景需要参考样本和/或受控照明条件。不同的传感器也将具有区分不同颜色的不同能力，并且将从一种传感器类型/制造商到另一种传感器类型/制造商而不同，需要用于每个传感器的校准文件。

在环境照明下基于发光的识别是富挑战性的任务，因为对象的反射和发光成分被添加在一起。通常，基于发光的识别将替代地使用暗测量条件和发光材料的激发区域的先验知识，因此可以使用正确的光探针/光源。

技术3：电子标签(诸如RFID标签)需要将电路、集电器和天线附接到感兴趣项目/对象，这增加了设计成本和复杂性。RFID标签提供存在或不存在的类型信息，但是不提供精确的位置信息，除非在场景上使用许多传感器。

技术4：这些主动方法需要将感兴趣对象连接到电源，这对于像足球、衬衫或一盒意大利面的简单物品来说成本高昂，并且因此不实际。

技术5：预测准确度很大程度上取决于图像的质量和在场景内的相机的位置，因为遮挡、不同的视角等可能容易地改变结果。标志类型图像可以存在于场景中的多个地方(即，标志可以在球、T恤、帽子或咖啡杯上)并且对象识别通过推理。对象的视觉参数必须以巨大的努力转换为数学参数。可以改变其形状的柔性对象是有问题的，因为每个可能的形状必须包括在数据库中。总是存在固有不确定性，因为类似形状的对象可能错误标识为感兴趣对象。

技术6：训练数据集的质量确定方法的成功。对于要识别/分类的每个对象，需要许多训练图像。与针对技术5相同的遮挡和柔性对象形状限制同样适用。需要用数千或更多的图像来训练每一类材料。

技术7：该技术在场景预先组织时有效，但是这很少是实际的。如果感兴趣对象离开场景或完全被遮挡，则除非与以上其他技术组合，否则无法识别该对象。

除了已经存在的技术的上文所提到的缺点之外，存在值得提到的一些其他挑战。看到远距离的能力、看到小对象的能力或看到具有足够细节的对象的能力全部需要高分辨率成像系统，即，高分辨率相机、LiDAR、雷达等。高分辨率的需求增加了相关联的传感器成本并且增加了要处理的数据量。

对于像自动驾驶或安全一样需要即时响应的应用，延迟是另一重要方面。需要处理的数据量确定是边缘计算还是云计算对于应用是适当的，后者仅在数据负载小的情况下是可能的。当边缘计算与繁重的处理一起使用时，操作系统的设备变得更大，并且限制易用性和因此实施性。

因此，需要适合于改进用于计算机视觉应用的对象识别能力的系统和方法。基于颜色空间的对象识别技术的挑战之一是场景中未知的照明条件。由于大多数感兴趣的环境没有受控的照明条件、3D地图或联网能力，因此对场景中的照明条件进行动态建模是不可能的。随着包括照明元件和3D扫描仪的IoT设备的进步以及提高的处理能力，这样的光建模技术可用于基于化学的对象识别系统设计。

发明内容

本公开提供具有独立权利要求的特征的系统和方法。实施例是从属权利要求以及描述和附图的主题。

根据权利要求1，提供了一种用于经由计算机视觉应用进行对象识别的系统，该系统至少包括以下组件：

-待识别的至少一个对象，该对象具有对象特定反射光谱图案和对象特定发光光谱图案，

-至少一个光源，其被配置为在环境光条件下照射包括至少一个对象的场景，该至少一个光源具有光源特定辐射值，

-传感器，其被配置为当场景由光源照射时测量包括至少一个对象的场景的辐射数据，

-场景测图工具，其被配置为测图场景，从而渲染场景的至少部分3D地图，

-数据存储单元，其包括发光和/或反射光谱图案以及恰当分配的相应对象，

-数据处理单元，其被配置为：分析从场景测图工具接收到的数据并且将分析的数据与光源特定辐射值合并，以及，基于此，计算入射在场景中的点处，特别是在至少一个对象上的点处的光的辐射，以及将入射在场景中的点处的光的计算的辐射与从场景中的点，特别是从至少一个对象上的点返回到传感器的光的测量的辐射组合，从而形成场景中的至少一个对象处的光谱分布和强度的模型，以及从光谱分布和强度的模型当中提取/检测待识别的至少一个对象的对象特定发光和/或反射光谱图案，以及将提取/检测的对象特定发光和/或反射光谱图案与存储在数据存储单元中的发光和/或反射光谱图案匹配，以及标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象，

其中，至少传感器、场景测图工具、数据存储单元和数据处理单元彼此通信连接并且无线和/或通过有线链接在一起并且默认与光源同步，因此形成集成系统。

所提出的系统的一些或所有技术组件可以彼此通信连接。任何组件之间的通信连接可以是有线或无线连接。可以使用每种适合的通信技术。相应组件各自可包括用于彼此通信的一个或多个通信接口。这样的通信可以使用有线数据传输协议来执行，诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)或任何其他有线传输协议。可替代地，所述通信可以无线经由使用各种协议中的任一种的无线通信网络，诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址(CDMA)、长期演进(LTE)、无线通用串行总线(USB)和/或任何其他无线协议。相应通信可以是无线和有线通信的组合。

在本公开的范围内，术语“荧光的”和“发光的”同义使用。同样适用于术语“荧光”和“发光”。

为了形成光谱分布和强度的模型，所考虑的场景中的点在光源、传感器和3D测图工具中的至少一者的视场或视线中。如果场景中的点不在三个组件中的任何一个的视线内，则不考虑该点用于形成模型。

可能的是，系统包括场景中的多个传感器/相机、光源和/或测图工具。然而，由这些系统组件中的任一个对场景的部分覆盖是足够的，即，不需要考虑场景中的所有点。应说明的是，辐射的进一步的计算可以在内部完成，即，在从场景测图工具获得的至少部分3D地图的边界内。3D测图工具，即，场景测图工具用于测图场景的一部分，然后3D地图用于计算入射在部分测图场景中的点处的光的辐射。

光源可以被设计为自动连接到系统的其他组件中的至少一个，诸如传感器、场景测图工具、数据存储单元和/或数据处理单元。然而，光源不必需与系统的其他组件链接和/或联网(如果光源具有预定义和已知的参数，例如辐射值、脉冲率和时序等)，但需要与其他组件同步。该同步可以利用来自系统的其他组件(诸如光谱相机)的测量结果来完成。也可能的是，光源的辐射由至少一个分光辐射计测量，即，系统可以利用分光辐射计初始化。然而，通常这仅针对系统的设置完成，但是通常不是实时的，即，不在系统的操作模式中。

光源特定辐射值包括场景中的至少一个光源的光谱特性、功率和/或发射角轮廓(光输出轮廓)。场景中的至少一个对象的点处的至少一个光源的辐射通过使用光源特定辐射值(特别是场景中的至少一个光源的光谱特性、功率和/或发射角轮廓)并且测图从至少一个光源到场景中的至少一个对象的距离来计算。

根据系统的另一实施例，传感器是多光谱或高光谱相机。传感器通常是具有光子计数能力的光学传感器。更具体地，它可以是单色相机，或RGB相机，或多光谱相机，或高光谱相机。传感器可以是以上任何一种的组合，或者以上任何一种与可调或可选择的滤波器组的组合，诸如，例如，单色传感器与特定滤波器。传感器可以测量场景的单个像素，或者一次测量多个像素。光学传感器可以被配置为对特定光谱范围内，特别是在超过三个频带中的光子进行计数。它可能是具有针对大视场的多个像素的相机，特别是在不同时间同时读取所有频带或不同频带。

多光谱相机在跨电磁光谱的特定波长范围内捕获图像数据。波长可以通过滤波器或通过使用对特定波长敏感的仪器进行分离，包括来自可见光范围之外的频率的光，即，红外线和紫外线。光谱成像可以允许提取人眼无法利用其红色、绿色和蓝色受体捕获的附加信息。多光谱相机测量少量(通常3至15个)光谱带中的光。高光谱相机是光谱相机的特殊情况，其中，常常数百个连续的光谱带是可用的。

根据所提出的系统的另一实施例，场景测图工具被配置为通过使用基于飞行时间(TOF)、立体视觉和/或结构光的技术来执行场景测图。场景测图工具可以包括飞行时间系统中的至少一个，诸如TOF相机、基于立体视觉的系统、发射结构光的光探测器或其任何组合。结构光可以是例如红外光。飞行时间测量可使用红外光、可见光或雷达。可替代的场景测图工具是基于(超)声音的系统。

在又一方面中，该系统被配置为使用物理位置(经由GPS接收)、罗盘取向、当日时间和/或天气条件来建模太阳辐射对场景中的至少一个对象的照射的影响。那些影响因素在模型中被考虑，即，并入模型。

在另一方面中，该系统被配置为不仅使用至少一个对象而且还使用场景中的其他项目的反射和荧光特性的信息，以借助于双向反射分布函数(BRDF)和双向荧光分布函数(BFDF)解释整个场景中的反射光和荧光光的相互反射来改进场景的辐射测图。

根据所提出的系统的另一实施例，该系统包括位于场景中的至少一个点的至少一个白色瓦片，该白色瓦片被配置为用于测量光源在场景中的至少一个点处的辐射，其中，在场景中的至少一个点处的测量的光源辐射与3D地图和光源的光输出轮廓结合使用，以估计场景中的其他点处的辐射。场景中的(一个或多个)高反射白色瓦片可用于测量来自场景中的该点处的光源的辐射。这也将给出光源的光谱特性。结合场景的3D地图，以及关于光源的光输出分布的假设/计算，然后可以对场景中的其他点的辐射进行估计。这对于不与关于光源的信息联网的系统可能最有用。除了确定来自所描述的系统外部的光源的贡献之外，(一个或多个)白色瓦片也可用于“智能”系统，该“智能”系统与关于光源的信息联网以验证计算。

本发明还涉及一种用于经由计算机视觉应用进行对象识别的方法，该方法至少包括以下步骤：

-提供待识别的至少一个对象，该对象具有对象特定反射和发光光谱图案，

-通过至少一个光源在环境光条件下照射包括至少一个对象的场景，光源具有光源特定辐射值，

-当场景由光源照射时，使用传感器测量包括至少一个对象的场景的辐射数据，

-使用场景测图工具测图场景，从而渲染场景的至少部分3D地图，

-提供数据存储单元，其包括发光和/或反射光谱图案以及恰当分配的相应对象，

-提供数据处理单元，其被编程为：分析从场景测图工具接收到的数据并且将分析的数据与光源特定辐射值合并以计算入射在场景中的点处，特别是在至少一个对象的点处的光的辐射，以及将入射在场景中的点处的光的计算的辐射与从场景中的点，特别是从至少一个对象返回到传感器的光的测量的辐射组合，从而形成场景中的至少一个对象处的光谱分布和强度的模型，以及从光谱分布和强度的模型当中提取/检测待识别的至少一个对象的对象特定发光和/或反射光谱图案，以及将提取/检测的对象特定发光和/或反射光谱图案与存储在数据存储单元中的发光和/或反射光谱图案匹配，以及标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象，

其中，传感器、场景测图工具、数据存储单元和数据处理单元无线和/或通过有线彼此通信并且默认与光源同步，因此形成集成系统。

根据所提出的方法的一个实施例，通过使用基于飞行时间(TOF)和/或结构光和/或立体相机的技术来执行场景测图，其中，使用飞行时间系统、基于声音的系统、基于立体视觉的系统中的至少一个或其任何组合。可以使用红外光、可见光、UV光。此处也可以使用雷达、立体视觉和/或超声波。

在另一方面中，场景中的至少一个对象处的至少一个光源的辐射使用光源特定辐射值(诸如场景中的至少一个光源的光谱特性、功率和/或发射角轮廓)并且测图从至少一个光源到场景中的至少一个对象的距离来计算。

进一步地，物理位置(经由GPS确定)、罗盘取向、当日时间和/或天气条件可用于建模太阳辐射对场景的照射的影响，因此相应地适配模型。

在又一方面中，场景中的项目(不仅至少一个对象的)的反射和荧光特性的信息用于借助于双向反射分布函数(BRDF)和双向荧光分布函数(BFDF)来改进场景的辐射测图，以解释整个场景中的反射光和荧光光的相互反射。

光谱分布和强度的模型可以被分析并经由相应的输出设备(诸如显示器或被配置为发布3D地图/视图的屏幕)显示在2D地图上或显示为3D视图。

本发明的实施例可以与计算机系统一起使用或并入计算机系统中，该计算机系统可以是独立单元或包括经由网络(诸如，例如，因特网或内联网)与例如位于云中的中央计算机通信的一个或多个远程终端或设备。如此，本文所描述的数据处理单元和相关组件可以是本地计算机系统或远程计算机或在线系统或其组合的一部分。本文所描述的数据库(即，数据存储单元)和软件可以存储在计算机内部存储器中或存储在非暂态计算机可读介质中。在本公开的范围内，数据库可以是数据存储单元的一部分或者可以表示数据存储单元本身。术语“数据库”和“数据存储单元”同义使用。

本公开还涉及一种具有可由数据处理单元执行的指令的计算机程序产品，数据处理单元作为所提出的系统的组件/部分而提供，该指令使得系统：

-分析从场景测图工具接收到的数据，

-将分析的数据与光源特定辐射数据合并，

-基于合并的数据计算入射在场景中的点处，特别是在待识别的至少一个对象的点处的光的辐射，

-将入射在场景中的点处的光的计算的辐射与从场景中的点，特别是从至少一个对象的点返回到传感器的光的测量的辐射组合，从而形成场景中的至少一个对象处的光谱分布和强度的模型，

-从光谱分布和强度的模型当中提取待识别的至少一个别象的对象特定发光和/或反射光谱图案，

-将提取的对象特定发光和/或反射光谱图案与存储在数据存储单元中的发光和/或反射光谱图案匹配，以及，

-标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象。

本公开还涉及一种存储指令的非暂态计算机可读介质，该指令当由作为所提出的系统的(一个或多个)组件的一个或多个数据处理单元执行时，使得系统：

-分析从场景测图工具接收到的数据，

-将分析的数据与光源特定辐射数据合并，

-基于合并的数据，计算入射在场景中的点处，特别是在待识别的至少一个对象的点处的光的辐射，

-将入射在场景中的点的光的计算的辐射与从场景中的点，特别是从至少一个对象的点返回到传感器的光的测量的辐射组合，从而形成场景中的至少一个对象处的光谱分布和强度的模型，

-从光谱分布和强度的模型当中提取待识别的至少一个对象的对象特定发光和/或反射光谱图案，

-将提取的对象特定发光和/或反射光谱图案与存储在数据存储单元中的发光和/或反射光谱图案匹配，以及，

-标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象。

本公开描述了一种用于对象识别的方法和基于化学的对象识别系统，该系统包括(一个或多个)光源、传感器，特别是相机、不同对象的发光和/或反射光谱图案的数据库以及计算机/数据处理单元，其被配置为使用各种算法、场景的3D地图和传感器的视场中的目标对象处的光谱分布和强度(照度)的模型来计算数据库的这样的发光和/或反射对象的光谱匹配。通过将场景的3D地图和相应场景中的简单发光模型与网络连接/同步系统的剩余部分合并，简化和改进了基于发光/化学的对象识别技术。

本发明在以下示例中进一步限定。应当理解，通过指示本发明的优选实施例，这些示例仅以说明性的方式给出。从以上讨论和示例，本领域技术人员可以确定本发明的基本特性并且在不脱离其精神和范围的情况下，可以做出本发明的各种改变和修改以使其适于各种用法和条件。

附图说明

图1示意性地示出了根据本发明的系统的实施例的布置。

具体实施方式

图1示出了用于经由计算机视觉应用进行对象识别的系统100的实施例。系统100包括待识别的至少一个对象110。对象110具有对象特定反射光谱图案和对象特定发光光谱图案。对象110进一步位于场景130中。系统100还包括第一光源121和第二光源122。两个光源被配置为照射包括至少一个对象110的场景130，优选在环境光条件下。系统100还包括传感器140，该传感器140被配置为当场景130由光源121和122中的至少一个照射时测量包括至少一个对象110的场景130的辐射数据。在此处所示的情况下，传感器140是多光谱或高光谱相机。系统100还包括场景测图工具150，该场景测图工具150被配置为测图场景130，从而渲染场景130的至少部分3D地图。进一步示出的是数据存储单元160，该数据处理单元160包括发光和/或反射光谱图案以及恰当分配的相应对象。系统100还包括数据处理单元170，该数据处理单元170被配置为分析从场景测图工具150接收的数据，将分析的数据与光源特定辐射参数/数值合并并且计算在场景130中的点处入射的光的辐射，特别是在对象110的点处。在场景130中的特定点处入射的光的辐射可以经由光强度I(x，y，z)的函数公式化，其中(x，y，z)指定场景130中的特定点的空间坐标。函数I(x,y,z)可以在最简单的情况下通过特定点(x，y，z)处的第一光源121的光强度I₁和第二光源122的光强度I₂的叠加给出：I(x,y,z)＝I₁(x,y,z)+I₂(x,y,z)。在场景130中的点处入射的光的所计算的辐射与从场景中的点，特别是从对象110的点返回到相机140的光的所测量的辐射组合。基于计算的辐射和测量的辐射的这样的组合，形成场景中的对象110处的光谱分布和强度的模型。数据处理单元170还被配置为从光谱分布和强度的模型中计算对象110的对象特定发光和/或反射光谱图案，并且将对象110的对象特定发光和/或反射光谱图案与存储在数据存储单元160中的发光和/或反射光谱图案匹配。从而，可以标识最佳匹配的发光和/或反射光谱图案并且对象110被标识为在数据库内分配给该最佳匹配的发光和/或反射光谱图案的对象。

相机140、场景测图工具150、数据库160和数据处理单元170彼此通信连接并且无线和/或通过有线连接在一起，因此形成集成系统。光源121和122可以链接到但是不必须链接到系统的其他组件。然而，光源必须与其他组件同步。光源121、122可以由例如数据处理单元170或任何其他控制器控制。

被配置为测量光源121、122的辐射数据的进一步的传感器，诸如分光辐射计可能是有用的但不是必要的。通常，工厂生产规格将可用于每个光源121、122的辐射。关于光源121、122的信息，诸如发射角轮廓、功率或光谱特性，可以与由场景测图工具150提供的场景130的部分3D地图组合，以计算场景130中的不同点处的辐射。那意味着场景130中的感兴趣点处，特别是对象110的点处的光辐射基于光源121和122的特性和由场景测图工具150(3D测图工具)输出的场景的3D地图来计算。

进一步的信息，诸如关于物理位置、罗盘取向、当日时间和天气条件的信息，可用于建模太阳辐射对场景130的照明的影响。场景测图工具150可以使用基于飞行时间和/或使用例如红外光的结构光的技术来执行场景测图。然而，可见光、雷达、立体视觉和/或超声可以是可能的替代方案。场景测图工具150可包括飞行时间系统(例如LiDAR系统)、基于声音的系统、基于立体视觉的系统中的至少一者或其任何组合。

场景130中的对象/物品的反射和荧光特性的知识可用于利用诸如双向反射分布函数和双向荧光分布函数的技术来改进场景测图以解释整个场景130中的反射光和荧光光的相互反射。双向反射分布函数指示光如何在场景130内的不透明表面处反射。通过这样的双向反射分布函数和/或双向荧光分布函数的知识，可以改进由场景测图工具执行的3D测图，因为可以考虑归因于由场景中的其他对象发射的反射光和荧光光的进一步的影响。因此，3D测图更真实，因为通常在场景内存在超过仅至少一个待识别的对象。

由于场景130中的发光体(即，光源121和122)的光谱特性和功率的知识或测量，并且通过测图从光源121、122到场景130中的多个对象的距离，诸如先前已知的书桌131和椅子132，可以在场景130中的任何点处导出和计算准确的辐射。场景测图可以由场景测图工具150使用各种不同的技术来执行。最常见的技术基于飞行时间测量。进一步的可能性是结构光的使用。当知道从光源121和122到场景130中的对象110、131和132的距离时，可以形成场景的3D地图，因此给出关于场景内的相应对象的具体坐标的信息。通过了解要识别的对象110的坐标和由相机140测量的包括对象110的场景的辐射数据，可以从计算的场景的辐射模型中滤出对象特定荧光光谱图案。如上文已经提到的，场景的辐射测图可以通过使用双向反射分布函数和双向荧光分布函数来改进以解释整个场景中的反射光和荧光光的相互反射。

参考标记列表

100 系统

110 对象

121、122 光源

130 场景

131 桌子

132 椅子

140 传感器/相机

150 场景测图工具

160 数据存储单元/数据库

170 数据处理单元

Claims (15)

1.一种用于经由计算机视觉应用进行对象识别的系统，所述系统至少包括以下组件：

-待识别的至少一个对象(110)，所述对象(110)具有对象特定反射和发光光谱图案，

-至少一个光源(121，122)，其被配置为在环境光条件下照射场景(130)，所述场景包括所述至少一个对象(110)，所述至少一个光源(121，122)具有光源特定辐射值，

-传感器(140)，其被配置为当所述场景(130)由所述光源(121，122)照射时测量所述场景(130)的辐射数据，

-场景测图工具(150)，其被配置为测图场景(130)，从而渲染所述场景(130)的至少部分3D地图，

-数据存储单元(160)，其包括发光和/或反射光谱图案以及恰当分配的相应对象，

-数据处理单元(170)，其被配置为：分析从所述场景测图工具(150)接收到的数据，以及将所分析的数据与所述光源特定辐射值合并，以及基于此，计算入射在所述场景(130)中的点处，特别是在所述至少一个对象处的光的辐射，以及将入射在所述场景(130)中的点处的光的所计算的辐射与从所述场景(130)中的点，特别是从至少一个对象(110)返回到所述传感器(140)的光的所测量的辐射组合，从而形成所述场景(130)中的所述至少一个对象(110)处的光谱分布和强度的模型，以及从所述光谱分布和强度的模型当中提取待识别的所述至少一个对象的对象特定发光和/或反射光谱图案，以及将所提取的对象特定发光和/或反射光谱图案与存储在所述数据存储单元(160)中的发光和/或反射光谱图案匹配，以及标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象，

其中，至少所述传感器(140)、所述场景测图工具(150)、所述数据存储单元(160)和所述数据处理单元(170)彼此通信连接并且无线和/或通过有线链接在一起并且默认与所述光源(121，122)同步，因此形成集成系统。

2.根据权利要求1所述的系统，其被配置为通过使用所述光源特定辐射值，特别是所述场景中的所述至少一个光源的光谱特性、功率和/或发射角轮廓，以及测图从所述至少一个光源(121，122)到所述场景(130)中的所述至少一个对象(110)的距离来计算所述场景(130)中的所述至少一个对象(110)处的所述至少一个光源(121，122)的辐射。

3.根据权利要求1或2所述的系统，其中，所述光源(121，122)与所述场景测图工具(150)、所述数据存储单元(160)和/或所述数据处理单元(170)链接。

4.根据权利要求1、2或3所述的系统，其中，所述传感器(140)是多光谱或高光谱相机。

5.根据前述权利要求中的任一项所述的系统，其中，所述场景测图工具(150)被配置为通过使用基于飞行时间(TOF)、立体视觉、结构光、雷达和/或超声中的至少一者的技术来执行场景测图。

6.根据前述权利要求中的任一项所述的系统，其被配置为使用物理位置、罗盘取向、当日时间和/或天气条件来建模太阳辐射对所述场景(130)中的所述至少一个对象(110)的照射的影响。

7.根据前述权利要求中的任一项所述的系统，其被配置为使用所述场景(130)中的所述至少一个对象的反射和荧光特性的信息借助于双向反射分布函数(BRDF)和双向荧光分布函数(BFDF)解释整个所述场景中的反射光和荧光光的相互反射来改进所述场景(130)的辐射测图。

8.根据前述权利要求中的任一项所述的系统，还包括：至少一个白色瓦片，其位于所述场景(130)中的至少一个点，所述白色瓦片被配置用于测量所述光源(121，122)在所述场景(130)中的所述至少一个点处的辐射，其中，在所述场景(130)中的所述至少一个点处的测量的光源辐射与所述3D地图和所述光源(121，122)的光输出分布结合使用，以估计所述场景(130)中的其他点处的辐射。

9.一种用于经由计算机视觉应用进行对象识别的方法，所述方法包括至少以下步骤：

-提供待识别的至少一个对象，所述对象具有对象特定反射和发光光谱图案，

-通过至少一个光源在环境光条件下照射包括所述至少一个对象的场景，所述光源具有光源特定辐射值，

-当所述场景由所述光源照射时，使用传感器测量包括所述至少一个对象的所述场景的辐射数据，

-使用场景测图工具测图场景，从而渲染所述场景的至少部分3D地图，

-提供数据存储单元，其包括发光和/或反射光谱图案以及恰当分配的相应对象，

-提供数据处理单元，其被编程为分析从所述场景测图工具接收到的数据并且将所分析的数据与所述光源特定辐射值合并以计算入射在所述场景中的点处，特别是在所述至少一个对象处的光的辐射，以及将入射在所述场景中的点的光的所计算的辐射与从所述场景中的点，特别是从所述至少一个对象返回到所述传感器的光的所测量的辐射组合，从而形成所述场景中的所述至少一个对象处的光谱分布和强度的模型，以及从所述光谱分布和强度的模型当中提取待识别的所述至少一个对象的对象特定发光和/或反射光谱图案，以及将所提取的对象特定发光和/或反射光谱图案与存储在所述数据存储单元中的发光和/或反射光谱图案匹配，以及标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象，

其中，所述传感器、所述场景测图工具、所述数据存储单元和所述数据处理单元无线和/或通过有线彼此通信并且默认与光源同步，因此形成集成系统。

10.根据权利要求9所述的方法，其中，场景测图通过使用飞行时间(TOF)、立体视觉、结构光、雷达、和/或超声中的至少一者的技术来执行。

11.根据权利要求9或10中的任一项所述的方法，其中，所述至少一个光源在所述场景中的所述至少一个对象处的辐射使用所述场景中的所述至少一个光源的光谱特性、功率和/或发射角轮廓并且测图从所述至少一个光源到所述场景中的所述至少一个对象的距离来计算。

12.根据权利要求9至11中的任一项所述的方法，其中，物理位置、罗盘取向、当日时间和/或天气条件用于建模太阳辐射对所述场景的照射的影响。

13.根据权利要求9至12中的任一项所述的方法，其中，所述场景中的所述至少一个对象的反射和荧光特性的信息用于借助于双向反射分布函数(BRDF)和双向荧光分布函数(BFDF)解释整个场景中的反射光和荧光光的相互反射来改进所述场景的辐射测图。

14.根据权利要求9至13中的任一项所述的方法，其中，所述光谱分布和强度的模型能够被分析并显示在2D地图上或显示为3D视图。

15.一种非暂态计算机可读介质，其存储指令，所述指令当由作为根据权利要求1至8中的任一项所述的系统的组件提供的一个或多个数据处理单元执行时，使得所述系统：

-分析从所述场景测图工具接收到的数据，

-将所分析的数据与所述光源特定辐射数据合并，

-基于所合并的数据计算入射在场景中的点处，特别是在待识别的至少一个对象的点处的光的辐射，

-将入射在所述场景中的点的光的所计算的辐射与从所述场景中的点，特别是从所述至少一个对象的点返回到所述传感器的光的所测量的辐射组合，从而形成所述场景中的所述至少一个对象处的光谱分布和强度的模型，

-从所述光谱分布和强度的模型当中提取待识别的所述至少一个别象的对象特定发光和/或反射光谱图案，

-将所提取的对象特定发光和/或反射光谱图案与存储在所述数据存储单元中的发光和/或反射光谱图案匹配，以及，

-标识最佳匹配的发光和/或反射光谱图案，以及因此，其分配的对象。

Images