CN113811880A - 用于形成用于对象识别系统的至少一个地面实况数据库的设备和方法 - Google Patents
用于形成用于对象识别系统的至少一个地面实况数据库的设备和方法 Download PDFInfo
- Publication number
- CN113811880A CN113811880A CN202080034863.4A CN202080034863A CN113811880A CN 113811880 A CN113811880 A CN 113811880A CN 202080034863 A CN202080034863 A CN 202080034863A CN 113811880 A CN113811880 A CN 113811880A
- Authority
- CN
- China
- Prior art keywords
- database
- color space
- spectrum
- spectra
- luminescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001228 spectrum Methods 0.000 claims abstract description 121
- 238000001748 luminescence spectrum Methods 0.000 claims abstract description 47
- 238000004020 luminiscence type Methods 0.000 claims abstract description 29
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 26
- 238000013500 data storage Methods 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000000985 reflectance spectrum Methods 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000001502 supplementing effect Effects 0.000 claims abstract description 9
- 238000000295 emission spectrum Methods 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000002189 fluorescence spectrum Methods 0.000 description 35
- 239000000463 material Substances 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000000576 coating method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 101150102779 Cars1 gene Proteins 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009500 colour coating Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003618 dip coating Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000015927 pasta Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1429—Identifying or ignoring parts by sensing at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持至少一个地面实况数据库最新的设备和方法。该设备至少包括以下组件：数据存储单元，其被配置为存储不同对象的颜色空间位置和/或反射光谱和/或发光光谱；以及处理器，其被编程用于与数据存储单元和对象识别系统通信，该处理器被编程用于：‑经由通信接口接收不同对象的测量的颜色空间位置和/或反射光谱和/或发光光谱，‑将每个颜色空间位置和/或反射光谱和/或发光光谱分配给不同对象之一作为标签，‑将颜色空间位置和/或反射光谱和/或发光光谱连同颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储单元中，从而形成至少一个地面实况数据库，‑通过使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的不同对象中的至少一些的场景，‑在触发和/或识别事件发生的情况下，在至少一个数据库中的至少一个中动态更新和/或补充存储在相应至少一个数据库中的颜色空间位置和/或反射光谱和/或发光光谱，以及‑提供对最新颜色空间位置和/或反射光谱和/或发光光谱的直接访问权。
Description
技术领域
本公开涉及一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持至少一个地面实况数据库最新的设备和方法。
背景技术
计算机视觉是一个快速发展的领域，因为大量使用能够经由传感器，诸如相机、诸如LiDAR或雷达的距离传感器以及基于结构光或立体视觉的深度相机系统(仅举几例)，收集关于其周围环境的信息的电子设备。这些电子设备提供要由计算机处理单元处理的原始图像数据，并且因此使用人工智能和/或计算机辅助算法开发对环境或场景的理解。存在可以如何开发对环境的该理解的多种方式。通常，形成2D或3D图像和/或地图，并且分析这些图像和/或地图以开发对场景和该场景中的对象的理解。用于改进计算机视觉的一个前景是测量场景中的对象的化学组成的成分。虽然作为2D或3D图像获取的环境中的对象的形状和外观可用于开发对环境的理解，但是这些技术具有一些缺点。
计算机视觉领域的一个挑战是能够使用最少的传感器、计算能力、光探针等资源，以高准确度和低延迟标识每个场景内尽可能多的对象。多年来，对象标识过程被称为遥感、对象标识、分类、认证或识别。在本公开的范围内，计算机视觉系统标识场景中的对象的能力被称为“对象识别”。例如，计算机分析图片并且标识/标记该图片中的球，有时甚至更进一步的信息，诸如球的类型(篮球、足球、棒球)、品牌、背景等被归入术语“对象识别”。
通常，计算机视觉系统中用于识别对象的技术可以如下分类：
技术1：物理标签(基于图像)：条形码、二维码、序列号、文本、图案、全息图等。
技术2：物理标签(基于扫描/密切接触)：视角相关颜料、上转换颜料、异色、颜色(红/绿)、发光材料。
技术3：电子标签(无源)：RFID标签等。在没有电源的情况下连接到感兴趣对象的设备不一定可见但是可以以其他频率(例如无线电)操作。
技术4：电子标签(有源)：无线通信、光、无线电、车辆对车辆、车辆对任何事物(X)等。以各种形式发射信息的感兴趣对象上的供电设备。
技术5：特征检测(基于图像)：图像分析和标识，即，从侧视图对于汽车一定距离处的两个车轮；两只眼睛，鼻子和嘴巴(以该顺序)以用于面部识别等。这依赖于已知的几何形状/形状。
技术6：基于深度学习/CNN(基于图像)：用标记的汽车、面部等的图像的许多图片训练计算机，并且计算机确定特征以检测和预测感兴趣的对象是否存在于新区域中。需要针对待标识的每类对象重复训练过程。
技术7：对象跟踪方法：以特定顺序组织场景中的项目，并且在开始时标记有序对象。此后跟随场景中的具有已知颜色/几何形状/3D坐标的对象。如果对象离开场景并且重新进入，则“识别”为丢失。
在以下中，呈现上文所提到的技术中的一些缺点。
技术1：当图像中的对象被遮挡或仅对象的一小部分在视图中时，条形码、标志等可能无法读取。此外，柔性物品上的条形码等可能变形，这限制了可见性。对象的所有侧面将必须携带大的条形码以从远处可见，否则仅可以在近距离和仅利用正确的取向识别对象。例如，当商店货架上对象上的条形码将被扫描时，这可能是一个问题。在整个场景上操作时，技术1依赖于可能变化的环境照明。
技术2：由于归因于其小量子产率的低水平的发射光，因此上转换颜料在观看距离方面具有限制。它们需要强光探针。它们通常是不透明的和大颗粒的，这限制了涂料的选择。使它们的使用更加复杂的是以下事实：与荧光和光反射相比较，上转换响应更慢。虽然一些应用取决于所使用的化合物利用该独特响应时间，但是这仅在预先知道该传感器/对象系统的飞行距离时间时是可能的。在计算机视觉应用中，情况很少是这样。出于这些原因，防伪传感器具有用于读取的覆盖/黑暗部分、作为探针的1类或2类激光以及与感兴趣对象的固定和有限距离以用于准确度。
类似地，视角相关颜料系统仅在近距离范围内工作并且需要以多个角度观看。而且，颜色对于视觉上令人愉悦的效果来说是不均匀的。必须管理入射光的光谱以获得正确的测量结果。在单个图像/场景内，具有角度相关彩色涂层的对象将具有沿着样本维度对相机可见的多种颜色。
基于颜色的识别是困难的，因为测量的颜色部分地取决于环境照明条件。因此，对于每个场景需要参考样本和/或受控照明条件。不同的传感器也将具有区分不同颜色的不同能力，并且将从一个传感器类型/制造商到另一个传感器类型/制造商而不同，需要用于每个传感器的校准文件。
在环境照明下基于发光的识别是富挑战性的任务，因为对象的反射和发光成分被添加在一起。通常，基于发光的识别将替代地使用暗测量条件和发光材料的激发区域的先验知识，因此可以使用正确的光探针/光源。
技术3：电子标签(诸如RFID标签)需要将电路、集电器和天线附接到感兴趣项目/对象，这增加了设计成本和复杂性。RFID标签提供存在或不存在的类型信息，但是不提供精确的位置信息，除非在场景上使用许多传感器。
技术4：这些主动方法需要将感兴趣对象连接到电源，这对于像足球、衬衫或一盒意大利面的简单物品来说成本高昂，并且因此不实际。
技术5：预测准确度很大程度上取决于图像的质量和在场景内的相机的位置，因为遮挡、不同的视角等可能容易地改变结果。标志类型图像可以存在于场景中的多个地方(即，标志可以在球、T恤、帽子或咖啡杯上)并且对象识别通过推理。对象的视觉参数必须以巨大的努力转换为数学参数。可以改变其形状的柔性对象是有问题的，因为每个可能的形状必须包括在数据库中。总是存在固有不确定性，因为类似形状的对象可能错误标识为感兴趣对象。
技术6：训练数据集的质量确定方法的成功。对于要识别/分类的每个对象，需要许多训练图像。与针对技术5相同的遮挡和柔性对象形状限制同样适用。需要用数千或更多的图像来训练每一类材料。
技术7：该技术在场景预先组织时工作，但是这很少是实际的。如果感兴趣对象离开场景或完全被遮挡，则除非与以上其他技术组合，否则无法识别该对象。
分类的总数取决于由相应最终用例确定的所需的准确度。虽然普及和通用系统要求识别更高数量的类的能力，但是如果3D位置可以利用这样的类簇动态更新，则可以基于3D位置对待识别的对象进行聚类，以最小化每个场景中的可用类的数量而不使用计算机视觉系统本身，而是使用其他可以跟踪的动态数据库。智能家居、启用计算机视觉的商店和制造以及类似的受控环境可以提供超出计算机视觉技术的这样的信息，以限制需要的类的数量。
除了已经存在的技术的上文所提到的缺点之外，存在值得提到的一些其他挑战。看到远距离的能力、看到小对象的能力或看到具有足够细节的对象的能力全部需要高分辨率成像系统，即，高分辨率相机、LiDAR、雷达等。高分辨率的需求增加了相关联的传感器成本并且增加了要处理的数据量。
对于像自动驾驶或安全一样需要即时响应的应用，延迟是另一重要方面。需要处理的数据量确定是边缘计算还是云计算对于应用是适当的，后者仅在数据负载小的情况下是可能的。当边缘计算与繁重的处理一起使用时，操作系统的设备变得更大，并且限制易用性和因此实施性。
在识别/认证应用中与使用发光材料相关联的一个挑战是关于它们随时间退化的问题，特别是荧光材料。对于这样的退化存在两个潜在的结果：发光可能随时间减少或者在暴露于诸如紫外线辐射、湿度、pH和温度变化等环境条件时的光谱空间的偏移。虽然使用UV吸收剂、抗氧化剂、封装技术等来稳定这样的系统以应对这样的环境条件是可能的，但是存在与每种这样的方法相关联的限制。
因此，需要适合于改进用于计算机视觉应用的对象识别能力的系统和方法，特别是鉴于上文所提到的缺点。
发明内容
因此，本公开的目标是提供一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持至少一个地面实况数据库最新的设备和方法。
本公开提供具有独立权利要求的特征的设备和方法。实施例是从属权利要求以及描述和附图的主题。
因此，提供了一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持至少一个地面实况数据库最新的设备，该设备至少包括以下组件：
a)至少一个数据存储单元，其被配置为存储不同对象的颜色空间位置/坐标和/或反射光谱和/或发光光谱；以及
b)处理器，其被编程用于与数据存储单元通信，即，处理器与数据存储单元和对象识别系统通信连接，该处理器被编程用于：
-经由通信接口接收不同对象的颜色空间位置/坐标和/或反射光谱和/或发光光谱，
-将每个接收到的颜色空间位置和/或反射和/或发光光谱分配给不同对象之一作为标签，
-将颜色空间位置和/或反射和/或发光光谱连同颜色空间位置和/或反射和/或发光光谱分别分配到的相应不同对象一起存储在至少一个数据存储单元中，因此形成至少一个地面实况数据库，
-通过使用与处理器连接或集成在处理器中的至少一个传感器和/或人工智能工具来监测用于触发事件和/或识别事件的发生的包括不同对象中的至少一些的场景，
-在发生触发和/或识别事件的情况下，如果需要的话，在至少一个地面实况数据库中的至少一个数据库内动态更新和/或补充存储在相应至少一个数据库内的颜色空间位置和/或反射和/或发光光谱，以及
-提供对最新的颜色位置和/或反射光谱和/或发光光谱的直接访问。
在下文中，术语“触发事件”和“触发和/或识别事件”同义使用。
可能的是，设备还包括测量设备，诸如分光光度计和/或基于相机的测量设备，其与处理器通信连接并且被配置为确定/测量反射光谱和/或发光光谱和/或不同对象的颜色空间位置。相机可以是多光谱和/或高光谱相机。测量设备可以是对象识别系统的组件。
对于监测步骤，该设备还可以包括至少一个传感器，特别是至少一个视觉传感器，特别是相机；以及人工智能工具，两者均与处理器通信连接或集成在处理器中，从而使得处理器能够借助于传感器装置检测，并且借助于人工智能工具标识触发事件和/或识别事件。人工智能工具被训练和配置为使用来自传感器装置(即，至少一个传感器，诸如相机、麦克风、无线信号)的输入，来推断触发和/或识别事件。因此，处理器被配置为通知作为触发和/或识别事件的直接或间接结果而被添加到至少一个地面实况数据库中的至少一个或从其中删除的至少一个对象。人工智能工具包括或可以具有对触发事件和/或识别事件或关于至少之前已经训练的它们的基本信息和结论规则的访问权。人工智能工具和/或传感器装置可以集成在处理器中。人工智能工具可以经由相应训练的神经网络来实现。
这样的触发和/或识别事件可以是针对位于场景中的不同对象中的至少一些对象的新测量和接收的相应颜色空间位置/坐标和/或反射光谱和/或发光光谱，以使得相应对象的小而连续的变化也可以在相应的至少一个数据库中跟踪。进一步的触发事件可以是出现具有相应新颜色空间坐标和/或反射光谱和/或发光光谱的可见地进入场景的新对象。这样的颜色空间坐标和/或反射光谱和/或发光光谱将被确定，特别是被测量并分配给相应的对象。进一步的触发事件可以是，例如，通过人工智能工具对由传感器装置接收到的不同数据集进行合并。可以由传感器装置检测到的任何其他动作可以定义为触发事件。由用作传感器装置的相应接收单元接收的信用卡交易、收据、电子邮件、文本消息也可以触发/引起至少一个地面实况数据库的更新，因此用作相应的触发事件。在利用上文所提到的传感器装置(诸如分别装备的相机)的厨房中拆开杂货将例如引起处理器通过使用上文所提到的人工智能工具将拆开动作识别为触发事件。然后，这将是将拆开的物品添加到至少一个地面实况数据库的触发事件。将物品扔到垃圾箱或回收箱将类似地触发将它们从至少一个地面实况数据库移除，从而用作相应的触发事件。杂货店收据/交易可以将直接购买的物品(对象)添加到至少一个地面实况数据库。新家居物品的在线订单/确认电子邮件可以是将物品添加到至少一个地面实况数据库的触发事件。通过启用相机(作为传感器装置)的门进入的可见的新物品(对象)，将引起处理器识别该进入并且将物品添加到至少一个地面实况数据库。类似地，从门出去的物品(对象)将触发从至少一个地面实况数据库删除该物品。当将购物清单项目添加到诸如智能扬声器的AI(人工智能)设备上的列表时，该项目可以添加到至少一个地面数据库，即购物清单项目的添加是触发事件。AI设备用作适合于检测和标识触发和/或识别事件的多合一设备。
所提出的设备为基于表面化学/颜色的对象识别系统提供至少一个地面实况数据库。本发明解决了与用于计算机视觉应用中的基于化学/颜色空间的对象识别系统的地面实况数据库形成中的颜色褪色或偏移有关的问题。提出利用基于发光或颜色空间的对象识别技术，并且通过具体设计颜色空间规范以不仅包括每个对象的原始颜色空间位置及其标准偏差而且包括退化路径和具有相关联的标准偏差的周围空间，来具体管理用作感兴趣对象的相应标签的颜色空间或反射/发光光谱。此外，所提出的设备描述了利用基于颜色/化学的识别技术的计算机视觉系统可如何用来动态更新地面实况数据库以增加识别性能。
进一步可能的是，包括使用感兴趣对象的3D位置集群以通过连续监测感兴趣的识别物品(对象)中的任何颜色偏移来改进对象识别预测的准确度。
在本公开的范围内，术语“荧光的”和“发光的”同义使用。同样适用于术语“荧光”和“发光”。
根据一个进一步的实施例，所提出的设备包括被编程用于提供主数据库和本地数据库作为至少一个地面实况数据库的处理器，本地数据库与主数据库结合，即通信连接。进一步地，存储在本地数据库中的颜色空间位置和/或反射光谱和/或发光光谱通过从对象识别系统接收针对场景中的不同对象的重新测量的相应颜色空间位置和/或反射光谱和/或发光光谱而随时间更新和/或补充，以及因此，相应对象的小而连续的变化至少在本地数据库中跟踪。
具体地，本地数据库本地存储在场景中或云服务器上，本地数据库仅可供场景中本地使用的对象识别系统访问。主数据库可供所有对象识别系统访问，该对象识别系统已订阅使用由所提出的设备形成的任何地面实况数据库，即已通过订阅被授权使用那些数据库。
根据一个进一步的实施例，设备包括处理器，该处理器被编程用于通过监测相应对象的荧光发射幅度和/或荧光发射光谱形状的变化来跟踪相应对象的小而连续的变化。
设备还包括处理器，该处理器被编程用于当对象在场景中是新的(新进入场景)并且由本地使用的对象识别系统测量的新对象的颜色空间位置和/或反射光谱和发光光谱可以与存储在主数据库中的对象的颜色空间位置和/或反射光谱和/或发光光谱匹配时，通过使用主数据库，通过对象的颜色空间位置和/或反射光谱和/或发光光谱补充本地数据库。
设备还包括处理器，该处理器被编程用于在预定义时间间隔内或当多个预定义事件之一发生时同步关于场景中的不同对象的主数据库和本地数据库。主数据库可以在设定间隔上、当主数据库更新或改进时的非设定间隔上、或者当本地数据库经历诸如未识别的对象、新对象购买检测等触发事件时与本地数据库同步。
用于至少更新本地数据库的进一步的触发和/或识别事件由“使用结束”识别事件定义。这样的“使用结束”识别事件的发生导致从相应本地数据库迅速移除相应对象，从而增加本地数据库效率。这样的“使用结束”识别事件可以被列为适合于待识别的相应对象的回收、处置、消耗或其他使用结束定义。通常，具有其分配标签的对象仅从本地数据库移除并且保留在主数据库中。从主数据库移除具有其设计标签的对象的一个原因将是移除针对所有用户识别它的能力。
进一步地，为了触发对象到相应的本地数据库的注册，启动识别事件被定义为相应的触发和/或识别事件，以用于在发生任何这样的启动识别事件时相应地更新相应的本地数据库。这样的启动识别事件可以列为：拆开、进入场景或(传感器的)视场、检出事件(离开场景)、制造质量控制、颜色匹配测量等。例如，用户或另一自动化系统可以通过在首次获取对象时将其添加到本地数据库来“启动”对象。类似地，当对象在其使用寿命结束而被处置时，可以通过将其从本地数据库移除来“退役”该对象。可替代地或附加地，可以形成另一数据库来跟踪被丢弃在回收箱、垃圾箱或其他物理空间中的对象的颜色位置，这些对象可用于未来的任务，诸如可回收物的分类/分离和/或不同类型的废物用于有效处理。
根据本发明的另一实施例，主数据库包括针对不同对象中的每一个，原始对象的颜色空间位置和/或反射光谱和/或发光光谱以及从原始对象递降的至少一个退化/老化对象的颜色空间位置和/或反射光谱和/或发光光谱。
对象可以被赋予，即以各种方法提供有发光材料，特别是荧光材料。荧光材料可以分散在涂层中，该涂层可以通过诸如喷涂、浸涂、卷材涂布、卷对卷涂布和其他方法施加。荧光材料可以印刷到对象上。荧光材料可以分散到对象中并且挤压、模制或浇铸。一些材料和对象是天然荧光的并且可以用所提出的系统和/或方法识别。一些生物材料(蔬菜、水果、细菌、组织、蛋白质等)可在基因上改变基因结构而成为荧光的。可以通过以本文所提到的任何方式添加荧光蛋白使一些对象发荧光。不同对象的颜色位置和/或反射光谱和荧光光谱可以由至少一个相机和/或至少一个分光光度计或其组合测量，并且提供给处理器以用于形成至少一个地面实况数据库。
许多荧光和反射材料随时间暴露于光(特别是紫外光)或氧气而降解。大多数这些材料在幅度方面使其荧光发射减少，但是一些材料可经历其荧光发射光谱形状方面的变化，即在其荧光光谱方面。在第一情况下，除了测量较低量的荧光发射量的困难之外，如果场景中存在具有不同降解率的多种荧光材料，则可能出现匹配数据库中的已知荧光光谱的困难。在第二情况下，将改变的荧光光谱与原始光谱的数据库匹配的问题是显而易见的。因此，提出主数据库，其包括针对每个原始对象的从原始对象递降的至少一个退化/老化对象的至少颜色空间位置和/或反射光谱和/或发光光谱。
本发明提出包括与主数据库结合(通信连接)的本地数据库。场景中的新对象最初将利用主数据库分类，假定该对象具有未退化的光谱。一旦检测到，则对象可以包括在本地数据库中以用于将来更快地标识。此外，由对象识别系统测量的对象的光谱可以随时间更新，以使得对象的小而连续的变化在本地数据库中跟踪。在对象的使用寿命结束时(使用识别事件结束)，尽管其当前发射光谱与主数据库中的另一对象的原始发射光谱更好地匹配(同时)，但是该对象可由本地数据库正确标识。
对象不需要始终在传感器的视图中。例如，传感器可以位于首先标识对象的厨房储藏柜中。对象可能被移除一段时间(即晚餐准备)，并且然后更换。对象在传感器的视图之外时将不从本地数据库移除，因此其在返回时仍将被识别。仅在预定义的时间段内它不在场景中(在传感器的视图之外)时，它将从本地数据库被移除。可以相对于正常习惯来定义这样的时间段。
应说明的是，本地数据库不需要本地存储，它可能仍然是基于云的，但是仅本地场景，即本地使用的对象识别系统将具有对它的访问权。在不同的位置/区域可能存在多个本地数据库，并且这些本地数据库在一些情况下可能重叠。
如上文所提到的，所提出的设备的另一可能的实施例是主数据库包括相应对象的老化/包括的样本。主数据库将首先与相应对象的原始样本匹配。然而，随着时间的过去，主数据库将与老化/退化的样本进行比较，该老化/退化的样本是观察对象的近似年龄。因此，本地数据库与主数据库之间的交换是必要的。
任何上文所提到的组件之间的每个通信连接，诸如处理器与数据存储单元之间、处理器与对象识别系统之间、处理器与测量设备之间、处理器与传感器装置之间以及本地数据库与主数据库之间，可以是有线或无线连接。可以使用每种适合的通信技术。相应组件，诸如本地数据库和主数据库，各自可包括用于彼此通信的一个或多个通信接口。这样的通信可以使用有线数据传输协议来执行，诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)或任何其他有线传输协议。可替代地，所述通信可以无线经由使用各种协议中的任一种的无线通信网络，诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址(CDMA)、长期演进(LTE)、无线通用串行总线(USB)和/或任何其他无线协议。相应通信可以是无线和有线通信的组合。
为了实现在场景中观察到的光谱与本地数据库和/或主数据库中的光谱之间的这样的匹配算法，需要置信度阈值和误差阈值。例如，场景中观察到的光谱与本地数据库和/或主数据库中的光谱之间的匹配必须满足置信度阈值，以使能标识与测量的光谱相关联的对象。然而，对于同一个对象，测量/观察的光谱与分配/存储的光谱之间可能仍然存在一些误差。如果该误差大于误差阈值，则本地数据库和/或主数据库中的光谱可能需要更新。
还可以通过经由与处理器耦接的用户界面要求用户从可能的对象识别/标识(在本地数据库中和/或在主数据库中的)进行选择来向设备添加其他改进。用户界面可以通过输入和输出设备来实现，例如图形用户界面或声学界面。可以存在用于显示相应查询的显示器。可替代地，扬声器可输出用户被要求从其选择可能标识中的一个或多个的任何选择。相应的用户输入可以经由GUI和/或麦克风实现。用户反馈用于改进数据库内，特别是本地数据库内未来标识的准确度。可替代地，设备可以经由用户界面询问用户特定选择的标识是否正确，并且使用反馈来改进与本地数据库的未来标识。
本公开还涉及一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持所述至少一个地面实况数据库最新的计算机实现的方法，该方法至少包括以下步骤：
-经由通信接口，例如借助于至少一个分光光度计，提供不同对象的颜色空间位置/坐标和/或反射光谱和/或发光光谱，
-通过处理器将每个颜色空间位置和/或反射光谱和/或发光光谱分配给所述不同对象之一作为标签，
-通过处理器将颜色空间位置和/或反射光谱和/或发光光谱连同颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储单元中，从而形成至少一个地面实况数据库，
-通过使用均与处理器通信连接的至少一个传感器和/或人工智能工具来监测包括用于触发和/或识别事件的发生的不同对象中的至少一些的场景，
-在触发事件和/或识别事件发生的情况下，通过处理器，如果需要的话，在至少一个数据库中的至少一个中动态更新和/或补充存储在至少一个数据库中的颜色空间位置和/或反射光谱和/或发光光谱，从而跟踪至少一个数据库中的至少一个中的相应对象的小而连续的变化，以及
-提供对最新颜色位置和/或反射光谱和/或发光光谱的直接访问权。
所提出的方法还可包括步骤：借助于至少一个分光光度计测量不同对象的颜色空间位置/坐标和/或反射光谱和/或发光光谱。至少一个分光光度计可以是对象识别系统的组件。进一步地，所提出的方法可包括分别向不同的对象提供荧光材料的步骤。
触发和/或识别事件可以通过可见地进入场景的一个或多个新对象和/或通过位于场景中的已经由对象识别系统重新测量的一个或多个不同对象的改变的相应颜色空间位置和/或光谱来实现。
对于监测步骤，可以提供传感器装置(特别是相机)和人工智能工具，传感器装置和人工智能工具两者均与处理器通信连接或集成在处理器中，从而使得处理器能够借助于传感器装置检测，并且借助于相应人工智能工具标识触发事件。人工智能工具被训练和配置为使用来自传感器装置诸如相机、麦克风、无线信号的输入，来推断触发和/或识别事件。因此，处理器被配置为通知作为触发和/或识别事件的直接或间接结果而被添加到至少一个地面实况数据库中的至少一个或从其中删除的至少一个对象。人工智能工具包括或可以访问触发和/或识别事件或关于至少之前已经训练的它们的基本信息和结论规则。人工智能工具和/或传感器装置可以集成在处理器中。人工智能工具可以经由相应训练的神经网络来实现。
根据所提出的方法的实施例，方法还包括提供主数据库和本地数据库作为至少一个地面实况数据库，本地数据库与主数据库结合(通信连接)。存储在本地数据库中的颜色空间位置和/或反射光谱和/或发光光谱通过由对象识别系统重新测量针对场景中的不同对象的相应的颜色空间位置和/或反射光谱或者通过监测对于进入场景的新对象的场景或者通过识别进一步的触发和/或识别事件的发生来随时间更新和/或补充，以及因此，场景中的小而连续的变化至少在本地数据库中跟踪。
本地数据库可以本地存储在场景中或云服务器上，本地数据库仅可供场景中本地使用的对象识别系统访问。
根据所提出的方法的另一实施例，通过监测相应对象的荧光光谱的荧光发射大小/幅度和/或荧光发射光谱形状的变化来跟踪相应对象的小而连续的变化。
当对象在场景中是新的并且由本地使用的对象识别系统测量的新对象的颜色空间位置和/或反射光谱和/或发光光谱可以与存储在主数据库中的对象的颜色空间位置和/或反射光谱和/或发光光谱匹配时，通过使用主数据库，本地数据库可以通过对象的颜色空间位置和/或反射光谱和/或发光光谱补充。
在预定义时间间隔内或在多个预定义事件中的至少一个发生时，主数据库和本地数据库关于场景中的不同对象进行同步。取决于对象，这样的更新的时间间隔可以是几小时、几天、几周或几个月。
主数据库包括针对不同对象中的每一个，原始对象的颜色空间位置和/或反射光谱和/或发光光谱以及从原始对象递降的至少一个退化/老化对象的颜色空间位置和/或反射光谱和/或发光光谱。
本公开还涉及一种非暂态计算机可读介质，其存储指令，所述指令当由一个或多个处理器执行时使得机器进行以下各项：
-经由通信接口接收不同对象的颜色空间位置/坐标和/或反射光谱和/或发光光谱，
-将每个颜色空间位置和/或反射光谱和/或发光光谱分配给不同对象之一作为标签，
-将颜色空间位置和/或反射光谱和/或发光光谱连同颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储单元中，从而形成至少一个地面实况数据库，
-通过使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的不同对象中的至少一些的场景，
-在触发和/或识别事件发生的情况下，如果必要的话，在至少一个数据库中的至少一个中动态更新和/或补充存储在至少一个数据库中的颜色空间位置和/或反射光谱和/或发光光谱，从而跟踪至少一个数据库中的至少一个中的场景的小而连续的变化，以及
-提供对最新颜色位置和/或反射光谱和/或发光光谱的直接访问权。
这样的触发和/或识别事件可以由可见地进入场景的新对象和/或通过接收针对位于场景中的不同对象的相应重新测量的颜色位置和/或光谱来给出。
进一步地，提供了具有可由一个或多个处理器执行的指令的相应计算机程序产品，该指令使得机器执行上文所提到的方法步骤。
处理器可以包括一个或多个输入单元或可以与一个或多个输入单元通信，即通信连接，一个或多个输入单元诸如触摸屏、音频输入、运动输入、鼠标、键盘输入和/或类似物。进一步地，处理器可以包括一个或多个输出单元或者可以与一个或多个输出单元通信，一个或多个输出单元诸如音频输出、视频输出、屏幕/显示输出、和/或类似物。
本发明的实施例可以与计算机系统一起使用或并入计算机系统中，该计算机系统可以是独立单元或包括经由网络(诸如，例如，因特网或内联网)与位于例如云中的中央计算机通信的一个或多个远程终端或设备。如此，本文所描述的数据处理单元/处理器和相关组件可以是本地计算机系统或远程计算机或在线系统或其组合的一部分。本文所描述的数据库(即，数据存储单元)和软件可以存储在计算机内部存储器中或存储在非暂态计算机可读介质中。
本发明在以下示例中进一步限定。应当理解，通过指示本发明的优选实施例，这些示例仅以说明性的方式给出。从以上讨论和示例，本领域技术人员可以确定本发明的基本特性并且在不脱离其精神和范围的情况下，可以做出本发明的各种改变和修改以使其适于各种用法和条件。
附图说明
图1示意性地示出了使用至少一个地面实况数据库的用于对象识别的方法的流程图，该至少一个地面实况数据库使用所提出的设备和/或所提出的方法的一个实施例形成和更新。
图2示意性地示出了所提出的计算机可读介质的实施例的指令的流程图。
具体实施方式
图1示意性地示出了用于经由对象识别系统使用地面实况数据库识别场景中的对象的方法的流程图，该地面实况数据库使用由本公开提出的方法的实施例形成并保持最新。
在此处所描述的示例中，提供了对象识别系统，该对象识别系统用于通过经由传感器(例如分光光度计)感测/测量场景中存在的对象的反射光谱和/或发光光谱并且借助于测量的荧光光谱标识特定对象来识别场景中的对象，该特定对象的特定荧光光谱作为标签存储在可以由对象识别系统访问的相应地面实况数据库中。
用于识别场景中的对象的对象识别系统至少可以访问存储在数据存储单元中的本地数据库，该本地数据库存储在相应场景中本地定位的对象的荧光光谱。除了这样的本地数据库之外，数据存储单元还可以托管(host)主数据库，该主数据库与本地数据库通信连接，但是其存储了不仅本地测量对象的荧光光谱。因此，主数据库不仅可供本地用于识别场景中本地对象的对象识别系统访问。主数据库还可以存储在与存储本地数据库的数据存储单元通信连接的另一数据存储单元中。
存储本地数据库的数据存储单元和存储主数据库的数据存储单元可以通过单个独立服务器和/或通过云服务器来实现。本地数据库和主数据库均可以存储在云上。
所提出的用于形成对象识别系统的本地数据库和主数据库以及用于保持本地数据库和主数据库最新的设备包括：除了已经提到的至少一个数据存储单元之外，被编程用于与数据存储单元和对象识别系统通信的处理器。处理器被编程用于：
-经由通信接口接收不同对象的颜色空间位置/坐标和/或反射光谱和/
或发光光谱，
-将每个颜色空间位置和/或反射光谱和/或发光光谱分配给不同对象之一作为标签，
-将颜色空间位置和/或反射光谱和/或发光光谱连同颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储单元中，从而形成至少一个地面实况数据库，即，
本地数据库和/或主数据库，
-通过使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的不同对象中的至少一些的场景，
-通过连续监测用于触发和/或识别事件的发生的场景，在本地数据库和主数据库中的至少一个数据库中动态更新和/或补充颜色空间位置和/或反射光谱和/或发光光谱，以及因此，在相应的数据库中跟踪场景中的小而连续的变化。
当使用/加载包括如图2所示的指令的所提出的非暂态计算机可读介质的实施例时，这样的方法步骤可由处理器执行。
触发和/或识别事件可以是进入场景的新对象，从而引发/启动场景内的新反射光谱和/或发光光谱的测量。可以通过接收已经存在于场景中但随时间退化的对象的新测量的颜色空间位置和/或反射光谱和/或发光光谱来给出进一步的触发和/或识别事件。
在步骤101中，反射光谱和荧光光谱由本地用于识别场景中的对象的对象识别系统感测/测量。对象识别系统例如为待识别/标识的对象提供特定的荧光光谱。因此，在存储场景中到目前为止已标识的所有对象的荧光光谱的本地数据库中搜索匹配的荧光光谱。在方法步骤102中找到匹配的情况下，进一步检查在本地数据库中找到的光谱是否需要更新，因为标识的荧光光谱偏离存储的荧光光谱，但是仍然满足置信度阈值以使得能够基于测量的荧光光谱进行标识。通常，为了实现本地数据库，需要置信度阈值和误差阈值。例如，场景中观察到的荧光光谱与本地数据库中的荧光光谱之间的匹配必须满足置信度阈值以使得能够标识。然而，在观察到的荧光光谱与分配的荧光光谱之间可能仍然存在一些误差。如果该误差大于如由箭头103指示的误差阈值，则在步骤104中更新本地数据库中存储的荧光光谱。如果在步骤105中说明观察到的荧光光谱和本地数据库中存储的荧光光谱满足误差阈值，则在步骤106中标识对象，而不更新本地数据库。如果在本地数据库中没有找到针对测量荧光光谱匹配的结果，则在步骤107中，在步骤108中在主数据库中搜索与感测/测量荧光光谱匹配的荧光光谱。如果在步骤109中在主数据库中找到匹配，则可以在步骤110中标识对象并且将标识的对象的匹配荧光光谱连同其分配的对象一起添加到本地数据库，指示相应对象当前位于场景中，以及因此，可以分配给相应场景的本地数据库相应地更新。如果在步骤111中在主数据库中没有找到匹配，则在步骤112中说明不能检测到匹配并且没有对象可以识别对象。
进一步可能的是，经由诸如显示器的输出单元输出对可能对象的选择，并且要求用户经由诸如触摸屏的用户界面在本地数据库或主数据库中从这样的可能的对象标识的选择中进行选择，并且使用用户反馈来改进本地数据库内的未来标识的准确度。那意味着对象识别系统也可以通过用户反馈进行动态训练，因此动态改进预测。还可能的是，经由通信接口询问用户标识是否正确，并且使用反馈来改进本地数据库内的未来标识。此外，如果在本地数据库和主数据库中都找不到匹配，则对象必须由用户手动标识，然后可以将其新测量的荧光光谱连同相应对象一起存储在本地数据库和主数据库中。不仅用户而且另一自动化系统可以通过在首次获取对象时将其添加到本地数据库来“启动”这样的对象。类似地，当对象在其使用寿命结束时被处置时，可以通过将其从本地数据库(如果需要的话也从主数据库)移除来“退役”对象。
已经使用特定对象的荧光光谱的示例描述了对象识别过程，假如相应的地面实况数据库包括对象的反射光谱和/或颜色坐标，则可以使用待识别对象的反射光谱和/或颜色坐标执行相同的过程。
通常，对象识别系统可以通过使用独特的荧光发射和反射光谱作为对象标识的方法来操作。这需要具有与未知对象进行比较的已知或测量的荧光光谱和/或反射光谱的数据库，并且从相应的数据库选择最佳匹配。本公开认为，用于对象识别的许多荧光和/或反射材料随着暴露于光或氧气而随时间退化。大多数这些材料在幅度方面使其荧光发射减少，但是一些材料可能经历其荧光发射光谱形状的变化，即，在其荧光光谱方面变化。本公开现在提出包括与主数据库结合的本地数据库。进入场景的新对象最初将利用主数据库分类，假定该对象具有未退化的反射光谱和/或发光光谱。一旦检测到，则对象可以包括在本地数据库中以用于将来更快地标识。本地数据库仅可由在相应场景中本地使用的对象识别系统访问。此外，由对象识别系统测量的对象的荧光光谱和反射光谱可以随时间更新，以使得对象的小而连续的变化在本地数据库中跟踪。在对象的使用寿命结束时，本地数据库可以正确标识它，尽管其当前的发射光谱与主数据库中另一个对象的原始发射光谱更好地匹配。定义了置信度阈值和误差阈值。场景中观察到的光谱与本地数据库中的光谱之间的匹配必须满足置信度阈值以使能标识。然而，由于下敷的荧光和反射材料随时间的可能退化，因此在观察到的反射光谱和/或荧光光谱与分配的反射光谱和/或荧光光谱之间可能仍然存在一些误差。如果该误差大于误差阈值，则本地数据库中的对象的相应光谱可能需要更新，因此连续检查本地数据库中的对象的小的变化。这使标识对象成为可能，尽管它的荧光和/或反射材料随时间改变。如果不能找到匹配，则可能的是，经由通信接口向用户提供本地数据库或主数据库中可能的对象标识的选择，其光谱超出置信度阈值但仍然在可能的标识区域内；并且要求用户从这样提供的选择中进行选择并使用这样的用户反馈来改进本地数据库内的未来标识的准确度。可替代地，还可以询问用户标识是否正确，并且还可以使用这样的反馈来改进本地数据库内的未来标识。为了启动这样的用户交互，所提出的设备提供用户界面，即，用户可以进行一些输入的通信接口。这样的用户界面与处理器直接连接，并且还经由处理器与相应的数据库连接。用户界面也可以通过为用户提供输入设备的独立计算设备来实现。所有适合的已知技术是可能的。
Claims (15)
1.一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持所述至少一个地面实况数据库最新的设备，所述设备至少包括以下组件：
a)数据存储单元，其被配置为存储不同对象的颜色空间位置和/或反射光谱和/或发光光谱；以及
b)处理器，其被编程用于与所述数据存储单元和所述对象识别系统通信，所述处理器被编程用于：
-经由通信接口接收不同对象的测量的颜色空间位置和/或反射光谱和/或发光光谱，
-将每个颜色空间位置和/或反射光谱和/或发光光谱分配给所述不同对象中的一个作为标签，
-将所述颜色空间位置和/或反射光谱和/或发光光谱连同所述颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在所述数据存储单元中，从而形成所述至少一个地面实况数据库，
-通过使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的所述不同对象中的至少一些的场景，
-在触发和/或识别事件发生的情况下，在所述至少一个数据库中的至少一个中动态更新和/或补充存储在相应至少一个数据库中的所述颜色空间位置和/或反射光谱和/或发光光谱，以及
-提供对最新颜色空间位置和/或反射光谱和/或发光光谱的直接访问权。
2.根据权利要求1所述的设备，还包括：所述处理器，其被编程用于：提供主数据库和本地数据库作为所述至少一个地面实况数据库，所述本地数据库与所述主数据库结合；以及存储在所述本地数据库中的所述颜色空间位置和/或所述反射光谱和/或发光光谱通过从所述对象识别系统接收针对所述场景中的不同对象中的至少一些的重新测量的相应颜色空间位置和/或反射光谱和/或发光光谱而随时间更新和/或补充，以及因此，相应对象的小而连续的变化至少在所述本地数据库中跟踪。
3.根据权利要求2所述的设备，其中，所述本地数据库本地存储在所述场景中或云服务器上，所述本地数据库仅能供所述场景中本地使用的所述对象识别系统访问。
4.根据前述权利要求中的任一项所述的设备，还包括：所述处理器，其被编程用于：通过监测相应对象的荧光发射幅度和/或荧光发射光谱形状的变化来跟踪所述不同对象的小而连续的变化。
5.根据权利要求2至4中的任一项所述的设备，还包括：所述处理器，其被编程用于：当所述对象在所述场景中是新的并且由本地使用的对象识别系统测量的新对象的颜色空间位置和/或反射光谱和发光光谱能够与存储在所述主数据库中的对象的颜色空间位置和/或反射光谱和/或发光光谱匹配时，通过使用所述主数据库，通过对象的颜色空间位置和/或反射光谱和/或发光光谱补充所述本地数据库。
6.根据权利要求2至5中的任一项所述的设备，还包括：所述处理器，其被编程用于同步关于所述场景中的所述不同对象的所述主数据库和所述本地数据库。
7.根据权利要求2至6中的任一项所述的设备，其中，所述主数据库包括，针对不同对象中的每一个，所述原始对象的颜色空间位置和/或反射光谱和/或发光光谱以及从所述原始对象递降的至少一个退化/老化对象的颜色空间位置和/或反射光谱和/或发光光谱。
8.一种用于形成用于对象识别系统的至少一个地面实况数据库和用于保持所述至少一个地面实况数据库最新的计算机实现的方法，所述方法至少包括以下步骤：
-经由通信接口提供不同对象的颜色空间位置和/或反射光谱和/或发光光谱，
-通过处理器将每个颜色空间位置和/或反射光谱和/或发光光谱分配给所述不同对象中的一个对象作为标签，
-将所述颜色空间位置和/或反射光谱和/或发光光谱连同所述颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储设备中，从而形成所述至少一个地面实况数据库，
-通过使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的所述不同对象中的至少一些的场景，
-在所述触发和/或识别事件发生的情况下，在所述至少一个数据库中的至少一个中动态更新和/或补充存储在所述至少一个数据库中的颜色空间位置和/或反射光谱和/或发光光谱，以及
-提供对最新颜色位置和/或反射光谱和/或发光光谱的直接访问权。
9.根据权利要求8所述的方法，还包括：提供主数据库和本地数据库，所述本地数据库与所述主数据库结合；以及存储在所述本地数据库中的所述颜色空间位置和/或所述反射光谱和/或发光光谱通过由所述对象识别系统重新测量针对所述不同对象的相应颜色空间位置和/或反射光谱和/或发光光谱来随时间更新和/或补充，以及因此，相应对象的小而连续的变化至少在所述本地数据库中跟踪。
10.根据权利要求9所述的方法，其中，所述本地数据库本地存储在所述场景中或云服务器上，所述本地数据库仅能供所述场景中本地使用的所述对象识别系统访问。
11.根据权利要求8至10所述的方法，其中，所述不同对象的小而连续的变化通过监测相应对象的荧光发射幅度和/或荧光发射光谱形状的变化来跟踪。
12.根据权利要求9至11中的任一项所述的方法，其中，当所述对象在所述场景中是新的并且由所述本地使用的对象识别系统测量的新对象的颜色空间位置和/或反射光谱和/或发光光谱能够与存储在所述主数据库中的对象的颜色空间位置和/或反射光谱和/或发光光谱匹配时，通过使用所述主数据库，所述本地数据库通过对象的颜色空间位置和/或反射光谱和/或发光光谱补充。
13.根据权利要求9至12中的任一项所述的方法，其中，在多个预定义事件中的至少一个发生时，所述主数据库和所述本地数据库关于所述场景中的所述不同对象进行同步。
14.根据权利要求13所述的方法，其中，所述主数据库包括，针对所述不同对象中的每一个，所述原始对象的颜色空间位置和/或反射光谱和/或发光光谱以及从所述原始对象递降的至少一个退化/老化对象的颜色空间位置和/或反射光谱和/或发光光谱。
15.一种非暂态计算机可读介质，其存储指令，所述指令当由一个或多个处理器执行时使得机器进行以下各项：
-经由通信接口接收不同对象的颜色空间位置和/或反射光谱和/或发光光谱，
-将每个颜色空间位置和/或反射光谱和/或发光光谱分配给所述不同对象中的一个作为标签，
-将所述颜色空间位置和/或反射光谱和/或发光光谱连同所述颜色空间位置和/或反射光谱和/或发光光谱分别分配到的相应不同对象一起存储在数据存储设备中，从而形成至少一个地面实况数据库，
-使用至少一个传感器和/人工智能工具来监测包括用于触发和/或识别事件的发生的所述不同对象中的至少一些的场景，
-在所述触发和/或识别事件发生的情况下，在所述至少一个数据库中的至少一个中动态更新和/或补充存储在所述至少一个数据库中的颜色空间位置和/或反射光谱和/或发光光谱，以及
-提供对最新颜色位置和/或反射光谱和/或发光光谱的直接访问权。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962858354P | 2019-06-07 | 2019-06-07 | |
| EP19179166.4 | 2019-06-07 | ||
| EP19179166 | 2019-06-07 | ||
| US62/858,354 | 2019-06-07 | ||
| PCT/EP2020/065747 WO2020245440A1 (en) | 2019-06-07 | 2020-06-05 | Device and method for forming at least one ground truth database for an object recognition system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113811880A true CN113811880A (zh) | 2021-12-17 |
Family
ID=70977981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080034863.4A Pending CN113811880A (zh) | 2019-06-07 | 2020-06-05 | 用于形成用于对象识别系统的至少一个地面实况数据库的设备和方法 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US20220309766A1 (zh) |
| EP (1) | EP3980940A1 (zh) |
| JP (1) | JP7402898B2 (zh) |
| KR (1) | KR20220004741A (zh) |
| CN (1) | CN113811880A (zh) |
| AU (1) | AU2020286660A1 (zh) |
| BR (1) | BR112021019024A2 (zh) |
| CA (1) | CA3140446A1 (zh) |
| MX (1) | MX2021014924A (zh) |
| SG (1) | SG11202113368YA (zh) |
| TW (1) | TW202113681A (zh) |
| WO (1) | WO2020245440A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023180178A1 (en) * | 2022-03-23 | 2023-09-28 | Basf Coatings Gmbh | System and method for object recognition utilizing color identification and/or machine learning |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030141459A1 (en) * | 2002-01-30 | 2003-07-31 | Hegazi Ezzat M. | Method for characterization of petroleum oils using normalized time-resolved fluorescence spectra |
| US20140050352A1 (en) * | 2012-08-17 | 2014-02-20 | Ge Aviation Systems Llc | Method of identifying a tracked object for use in processing hyperspectral data |
| CN105136742A (zh) * | 2015-08-21 | 2015-12-09 | 董海萍 | 基于云端光谱数据库的微型光谱仪及光谱检测方法 |
| DE102014222331A1 (de) * | 2014-10-31 | 2016-05-04 | Hochschule Für Angewandte Wissenschaften Coburg | Verfahren zur Quantifizierung der Oxidationsstabilität und/oder des Alterungsgrades eines Kraftstoffes |
| CN108254351A (zh) * | 2016-12-29 | 2018-07-06 | 同方威视技术股份有限公司 | 用于物品查验的拉曼光谱检测方法 |
| US20180232689A1 (en) * | 2017-02-13 | 2018-08-16 | Iceberg Luxembourg S.A.R.L. | Computer Vision Based Food System And Method |
| CN108662842A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测系统与冰箱 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4156084B2 (ja) | 1998-07-31 | 2008-09-24 | 松下電器産業株式会社 | 移動物体追跡装置 |
| US8428310B2 (en) | 2008-02-28 | 2013-04-23 | Adt Services Gmbh | Pattern classification system and method for collective learning |
| JP4730431B2 (ja) | 2008-12-16 | 2011-07-20 | 日本ビクター株式会社 | 目標追尾装置 |
| JP5177068B2 (ja) | 2009-04-10 | 2013-04-03 | 株式会社Ｊｖｃケンウッド | 目標追尾装置、目標追尾方法 |
| JP5290865B2 (ja) | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定方法および装置 |
| SG193515A1 (en) | 2011-03-21 | 2013-10-30 | Coloright Ltd | Systems for custom coloration |
| US8825371B2 (en) | 2012-12-19 | 2014-09-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Navigation of on-road vehicle based on vertical elements |
| US9212996B2 (en) * | 2013-08-05 | 2015-12-15 | Tellspec, Inc. | Analyzing and correlating spectra, identifying samples and their ingredients, and displaying related personalized information |
| JP6043706B2 (ja) | 2013-09-25 | 2016-12-14 | 日本電信電話株式会社 | マッチング処理装置およびマッチング方法 |
| JP2015127910A (ja) | 2013-12-27 | 2015-07-09 | 株式会社Ｊｖｃケンウッド | 色変化検出装置、色変化検出方法及び色変化検出プログラム |
| JP5901824B1 (ja) | 2015-06-01 | 2016-04-13 | ナレッジスイート株式会社 | 顔認証システム及び顔認証プログラム |
-
2020
- 2020-06-05 AU AU2020286660A patent/AU2020286660A1/en not_active Abandoned
- 2020-06-05 TW TW109119099A patent/TW202113681A/zh unknown
- 2020-06-05 SG SG11202113368YA patent/SG11202113368YA/en unknown
- 2020-06-05 KR KR1020217039561A patent/KR20220004741A/ko unknown
- 2020-06-05 MX MX2021014924A patent/MX2021014924A/es unknown
- 2020-06-05 CN CN202080034863.4A patent/CN113811880A/zh active Pending
- 2020-06-05 JP JP2021572402A patent/JP7402898B2/ja active Active
- 2020-06-05 CA CA3140446A patent/CA3140446A1/en active Pending
- 2020-06-05 EP EP20730646.5A patent/EP3980940A1/en active Pending
- 2020-06-05 WO PCT/EP2020/065747 patent/WO2020245440A1/en active Application Filing
- 2020-06-05 BR BR112021019024A patent/BR112021019024A2/pt unknown
- 2020-06-05 US US17/616,792 patent/US20220309766A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030141459A1 (en) * | 2002-01-30 | 2003-07-31 | Hegazi Ezzat M. | Method for characterization of petroleum oils using normalized time-resolved fluorescence spectra |
| US20140050352A1 (en) * | 2012-08-17 | 2014-02-20 | Ge Aviation Systems Llc | Method of identifying a tracked object for use in processing hyperspectral data |
| DE102014222331A1 (de) * | 2014-10-31 | 2016-05-04 | Hochschule Für Angewandte Wissenschaften Coburg | Verfahren zur Quantifizierung der Oxidationsstabilität und/oder des Alterungsgrades eines Kraftstoffes |
| CN105136742A (zh) * | 2015-08-21 | 2015-12-09 | 董海萍 | 基于云端光谱数据库的微型光谱仪及光谱检测方法 |
| CN108254351A (zh) * | 2016-12-29 | 2018-07-06 | 同方威视技术股份有限公司 | 用于物品查验的拉曼光谱检测方法 |
| US20180232689A1 (en) * | 2017-02-13 | 2018-08-16 | Iceberg Luxembourg S.A.R.L. | Computer Vision Based Food System And Method |
| CN108662842A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测系统与冰箱 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020245440A1 (en) | 2020-12-10 |
| MX2021014924A (es) | 2022-01-24 |
| TW202113681A (zh) | 2021-04-01 |
| JP7402898B2 (ja) | 2023-12-21 |
| JP2022535887A (ja) | 2022-08-10 |
| EP3980940A1 (en) | 2022-04-13 |
| SG11202113368YA (en) | 2021-12-30 |
| AU2020286660A1 (en) | 2022-01-06 |
| KR20220004741A (ko) | 2022-01-11 |
| CA3140446A1 (en) | 2020-12-10 |
| BR112021019024A2 (pt) | 2021-12-21 |
| US20220309766A1 (en) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087130B2 (en) | Simultaneous object localization and attribute classification using multitask deep neural networks | |
| CN109414119B (zh) | 用于在环境内计算机视觉驱动应用的系统和方法 | |
| KR20100126468A (ko) | 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치 | |
| US8320633B2 (en) | System and method for identifying produce | |
| US11295152B2 (en) | Method and system for object recognition via a computer vision application | |
| US11922259B2 (en) | Universal product labeling for vision-based commerce | |
| WO2020131198A2 (en) | Method for improper product barcode detection | |
| US20220319205A1 (en) | System and method for object recognition using three dimensional mapping tools in a computer vision application | |
| WO2020178052A1 (en) | Method and system for object recognition via a computer vision application | |
| CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| KR102476496B1 (ko) | 인공지능 기반의 바코드 복원을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| US20220309766A1 (en) | Device and method for forming at least one ground truth database for an object recognition system | |
| US20220319149A1 (en) | System and method for object recognition under natural and/or artificial light | |
| CN113811888A (zh) | 用于使用光的3d测图和建模进行对象识别的系统和方法 | |
| US20220307981A1 (en) | Method and device for detecting a fluid by a computer vision application | |
| KR102476498B1 (ko) | 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| US20240144354A1 (en) | Dynamic store feedback systems for directing users | |
| CN117523273A (zh) | 一种确定物品空间位置的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |