CN116635302A - 图像标记系统及其方法 - Google Patents

Abstract

提供了一种用于生成标记的数据集的系统。该系统包括处理部件，其被配置为：接收第一数据，其中第一数据包括一个或多个帧，并且其中第一数据包括定义预定区域(202)内的感兴趣的对象(203)的数据；接收第二数据，其中第二数据与预定区域内的感兴趣的对象相关联；分析第一数据的一个或多个帧，以基于第二数据标识第一数据中存在的感兴趣的对象；基于分析标记第一数据的一个或多个帧，以生成标记的数据集；以及输出标记的数据集。还提供了一种用于生成标记的数据集的方法、一种用于训练机器学习模型的系统以及一种用于检测一个或多个感兴趣的对象的检测系统。

Description

图像标记系统及其方法

技术领域

本发明涉及用于标记图像以标识和监测感兴趣的对象的系统和方法。此外，本发明涉及图像处理和机器学习方法和系统。特别地但不排他地涉及标识和标记在一系列图像中捕获的感兴趣的对象或实体。本发明还涉及机器学习模型的训练。经训练的机器学习模型可以唯一地标识视频和图像中的对象，并跟踪它们的位置。此外，机器学习模型可以检测异常以防止损坏或事故。此外，经训练的模型可以用于远程控制移动对象，以自主执行它们的任务。

背景技术

当前的机器学习模型在训练阶段使用人工标注的对象。标记过程是麻烦的，并且人工操作和标记的质量与个人的知识、执行任务中的偏差密切相关，并且经常由于专家的分心或疲劳而降低。

运输系统中几乎所有的服务操作都严重依赖于人工，并且职员的经验直接影响服务质量。决策和提供服务的变化导致不可控和不一致的服务质量。在复杂的环境中(诸如在运输工业中)，操作员的注意力分散或疲劳会导致错误，后续会产生灾难性的后果。

发明内容

本发明的实施例试图通过提供一种系统来解决上述问题，该系统标记来自相机或其他监测传感器的移动设备和载具的数据。特别地，本发明的实施例利用来自一个或多个接近传感器(或者换句话说，接近检测器)的数据，标识或检测来自一个或多个监测传感器的原始数据中的感兴趣的对象。有利的是，本发明的实施例不需要具有特定领域知识的人类操作员来执行数据的手动标注。相反，来自一个或多个接近传感器的数据用于标注来自一个或多个监测传感器的数据。本发明的实施例由此能够自动生成标记的数据集。

在本发明的进一步实施例中，标记的数据集用于机器学习模型的训练。使用标记的数据集来训练机器学习模型，以标识特定的感兴趣的对象，诸如可以在监测传感器数据中捕获的移动设备或载具。

在本发明的进一步实施例中，经训练的机器学习模型用于标识感兴趣的对象，诸如在监测传感器数据中捕获的移动设备或载具。对所标识的感兴趣的对象进行定位，以便提供跟踪，响应于预测的碰撞生成警报，改善服务并提供引导。

本发明的实施例可以预测决策的后续效果，并预测场景的结果以避免不期望的动作。

还公开了一种用于生成标记的数据集或用于训练机器学习模型或用于检测一个或多个感兴趣的对象的方法，以及一种计算机程序产品，该计算机程序产品在被执行时执行用于生成标记的数据集或用于训练机器学习模型或用于检测一个或多个感兴趣的对象的方法。

附图说明

图1示出了在一个或多个监测传感器(诸如相机)的视野内，在典型的机场停机坪上的原位的飞机；

图2示出了一个或多个安装在机场停机坪上的登机桥末端的接近传感器的位置，以及一个或多个安装在一个或多个相关载具上的接近设备的位置；

图3示出了设备IP连接列表的示例；

图4是示出本发明的实施例的不同功能组件的示意图；

图5是示出根据本发明的实施例的标注监测传感器数据的方法的不同步骤的流程图；

图6示出了由本发明的经训练的机器学习模式输出的标注的监测传感器数据；

图7示出了用于改善飞机跟踪的系统应用的一些示例；

图8示出了根据本发明的实施例的自动碰撞检测方法；

图9示出了根据本发明的实施例的用于提供自主服务载具的方法；以及

图10示出了根据本发明的实施例的用于提供自主服务载具的方法的流程图。

具体实施方式

以下示例性描述基于用于航空工业的系统、装置和方法。然而，应该理解的是，本发明可以在航空工业之外找到应用，包括在其他运输工业中，或者在不同地点之间运输物品的递送工业中，或者涉及多个载具协调的工业中。例如，本发明的实施例也可以在航运、铁路或公路工业中找到应用。

以下描述的实施例可以使用Python编程语言来实现，例如使用OpenCV^TM、Tensorflow^TM和Keras^TM库。

本发明的实施例具有两个主要阶段：

1–标注数据，以便针对对象的唯一标识训练机器学习模型。

2–监测和控制环境中的设备和载具，并分析决策结果以实现最优操作。

数据集创建阶段

感兴趣的对象的监测数据由一个或多个监测传感器(诸如相机、LiDAR或飞行时间相机)捕获。监测传感器也被称为第一传感器。一个或多个监测传感器生成监测传感器数据。监测传感器数据也被称为第一数据。监测传感器数据可以包括一个或多个帧。每个帧可以包括在某一时刻捕获的图像、点云或其他传感器数据，以及指示图像、点云或其他传感器数据被捕获的时间的相关联的时间戳。

具有相关联的唯一标识符的邻近设备被安装在多个感兴趣的对象中的每个感兴趣的对象上。例如，在车队的每辆车上。

一个或多个接近传感器或换句话说接近检测器安装在感兴趣的位置。接近传感器或接近检测器也被称为第二传感器。第二传感器检测第二数据。接近检测器检测安装在、附接到或耦合到感兴趣的对象上的发送器或接近设备的存在。通常，接近传感器安装在乘客登机桥的一端，乘客登机桥允许乘客下机或从机场候机楼登机。其他位置也是可能的。

每个桥通常在停机坪上是可移动的，使得它可以被定位在非常接近飞机的静止位置。因为每个接近传感器可以安装在可移动桥的一端，因此每个接近传感器的具体位置可以根据停机位处每个飞机的位置而变化。尽管下面的描述是参考标记图像来标识和监测飞机附近的感兴趣的对象，但是这是示例性的，并且本发明的实施例可以应用于标识和监测其他运输工具附近或者实际上空间中任何点附近的感兴趣的对象。

一个或多个接近传感器可以是能够在一个或多个接近传感器的范围内检测接近设备的存在的任何合适种类的传感器。接近传感器的说明性示例是WiFi^TM传感器、蓝牙传感器、感应传感器、重量传感器、光学传感器和射频标识器。

一个或多个接近传感器的覆盖范围与一个或多个监测传感器的视野对齐。以这种方式，对应于一个或多个接近传感器的覆盖范围的三维空间在一个或多个监测传感器的视野内被捕获或者对应于一个或多个监测传感器的视野。

例如，接近传感器的范围或覆盖范围可以基本上是圆形的。相机或一个或多个监测传感器的视野被训练或指向接近传感器的覆盖范围的范围或区域。

一个或多个接近传感器生成接近传感器数据。在一些实施例中，接近传感器数据可以包括一个或多个条目。每个条目包括唯一的标识符，诸如对应于特定接近设备的IP地址或其他设备标识符，以及指示唯一的标识符进入或离开接近传感器的覆盖范围的时间的时间戳。

当感兴趣的对象进入一个或多个接近传感器的覆盖范围时，安装在感兴趣的对象上的接近设备被一个或多个接近传感器自动检测到。

可以如下执行自动检测。诸如无线网络接口控制器(WNIC)的每个接近传感器具有唯一的ID(例如，MAC地址、IP),并且可以使用天线连接到基于无线电的无线网络，以经由微波辐射进行通信。WNIC可以在基础设施模式下运行，以与同一信道上的所有其他无线节点直接对接。无线接入点(WAP)提供SSID和无线安全性(例如，WEP或WPA)。SSID由站在信标分组中广播，以宣布网络的存在。无线网络接口控制器(WNIC)和无线接入点(WAP)必须共享相同的密钥或其他验证参数。

该系统在每个操作站处提供专用热点(网络共享)。例如，802.11n标准工作在2.4GHz和5GHz频带。大多数较新的路由器能够利用两种无线频带，称为双频带。这允许数据通信避开拥挤的2.4GHz频带，该2.4GHz频带也与蓝牙设备共享。5GHz频带也比2.4GHz频带更宽，有更多的信道，允许更多数量的设备共享空间。

WiFi或蓝牙接入点或类似的GPS传感器可以提供可用于训练机器学习模型的位置数据。可选地，该数据可以与训练模型结合使用，以提供更高的性能。

一个或多个接近传感器捕获接近设备的唯一标识符和对应于检测到接近设备的时间的时间戳。

当感兴趣的对象离开一个或多个接近传感器的覆盖范围时，一个或多个接近传感器检测接近设备的离开。一个或多个接近传感器捕获接近设备的唯一标识符和对应于检测到接近设备离开的时间的时间戳。

在其他实施例中，一个或多个接近传感器捕获包括一个或多个帧的接近传感器数据。接近传感器数据的每个帧可以包括当前在一个或多个接近传感器的覆盖范围内的接近设备的列表，以及指示捕获到接近传感器数据的帧的时间的时间戳。

系统从一个或多个监测传感器接收监测传感器数据，并且从一个或多个接近传感器接收接近传感器数据。

在一些实施例中，系统将包括时间戳和唯一标识符的接近传感器数据存储在设备IP连接列表中。列表中的每个条目包括唯一标识符、对应于检测到接近设备或检测到接近设备离开的时间的时间戳、对象名称以及与对象名称相关联的一个或多个预处理视频。

可以经由查找表来标识对象名称。查找表包含唯一标识符的列表和安装它们的感兴趣的对象的名称。系统查询查找表以确定与任何特定接近设备的唯一标识符相关联的对象名称。对象名称可以作为附加字段添加到设备IP连接列表的相关条目中。

在一些实施例中，系统处理存储在设备IP连接列表中的数据，以计算一个或多个时间间隔，在该一个或多个时间间隔期间，任何感兴趣的特定对象在一个或多个接近传感器的覆盖范围内。时间间隔可以对应于检测到安装在感兴趣的对象上的接近设备进入一个或多个接近传感器的覆盖范围中和检测到接近设备离开一个或多个接近传感器的覆盖范围之间的时间。因此，计算出的时间间隔表示感兴趣的对象出现在一个或多个接近传感器的覆盖范围内的时间。一个或多个计算出的时间间隔可以作为附加字段存储在设备IP连接列表中的相关条目中。

系统处理来自一个或多个监测传感器的监测传感器数据，以自动标注监测传感器数据。系统选择监测传感器数据的每一帧，并读取与该帧相关联的时间戳。系统然后将时间戳与接近传感器数据的一个或多个时间戳或时间间隔进行比较。系统确定监测传感器时间戳是否匹配接近传感器数据的时间戳，或者是否落入接近传感器数据的计算出的时间间隔内。

如果系统确定所选择的帧的时间戳落在接近传感器数据的时间间隔内，则系统用与该时间间隔相关联的唯一标识符来标注所选择的帧。因此，系统用在所选择的帧被捕获时在一个或多个接近传感器的覆盖范围内的任何接近设备的唯一标识符来标注所选择的帧。

如果所选择的帧的时间戳落在接近传感器数据的多个时间间隔内，则系统用与多个时间间隔中的每一个相关联的唯一标识符来标注所选择的帧。因此，系统用在所选择的帧被捕获时在一个或多个接近传感器的覆盖范围内的每个接近设备的唯一标识符标注所选择的帧。

对监测传感器数据的每一帧重复该过程，直到所有帧都已经用表示每一帧中存在的感兴趣的对象的一个或多个唯一标识符进行了标注。

在一些实施例中，系统可以利用一种或多种图像处理技术来帮助对所选择的帧进行标注。一种或多种图像处理技术可以包括分割算法、降噪技术和其他对象识别技术。系统还可以将光学字符识别算法应用于所选择的帧，以便标识一个或多个感兴趣的对象上的有区别的文本标记。如果在数据集生成阶段期间感兴趣的对象中不包括人，则系统可以利用附加的对象识别算法来标注感兴趣的附加特征，诸如人。

当标注所选择的帧时，系统可以利用来自先前处理的帧的标注作为先验信息。

根据一些实施例，系统可以利用来自安装在感兴趣的对象上的一个或多个定位传感器的定位数据。例如，某些感兴趣的对象，诸如载具，可以包括预先安装的全球定位系统(GPS)传感器。系统可以使用来自一个或多个定位传感器的数据来帮助对监测传感器数据的所选择的帧进行标注。例如，指示在某个时间对应于一个或多个监测传感器的视野的纬度和经度的定位数据可以在标注对应于该时间的所选择的帧时用作先验。

训练阶段

标注的监测传感器数据可用于训练机器学习模型。在优选实施例中，机器学习模型可以是神经网络分类器，诸如卷积神经网络。经训练的神经网络分类器可被配置为将监测传感器数据的单个帧作为输入，并提供监测传感器数据的标注的帧作为输出。例如，神经网络可以将来自CCTV相机(监测传感器)的单个视频帧作为输入，并输出标识该帧中的一个或多个感兴趣的对象的标记的帧。

在相机的情况下，监测传感器数据包含来自相机传感器的帧或连续图像。在LiDAR的情况下，数据是点云，在RGB-D或飞行时间相机中，数据是图像和点云的组合。

机器学习模型可以由机器学习训练模块来训练。利用各种可能方法的机器学习模型训练对于技术人员来说是众所周知的。在一个具体实现中，机器学习模型是深度学习方法，并且是基于卷积神经网络的方法。可以使用TensorFlow或PyTorch模块在Python中实现。

因此，应当理解，为了训练机器学习模型，需要标记的数据(例如，视野中的载具图像及其名称)。为了获得名称(标签),可以在载具上安装传感器(例如，无线接口卡)和安装数据采集(例如，相机)的接入点。一旦载具在接入点的覆盖范围中，其无线接口卡就会检测接入点SSID并与之连接。我们使用接入点的时间戳和连接设备列表来标记图像(或点云)。

在WiFi通信的特定示例中，接近传感器数据是WiFi连接数据。然而，应当理解，除了WiFi连接数据之外或者代替WiFi连接数据，蓝牙或GPS数据也可以用于相同的目的。

因此，本发明的实施例包括能够学习的系统。在训练过程期间，机器学习训练模块迭代地调整机器学习模型的一个或多个参数，以减少“成本函数”。成本函数的值代表机器学习模型的性能。例如，成本函数可以取决于机器学习模型预测与监测传感器数据的给定帧相关联的一个或多个唯一标识符的准确度。用于训练神经网络模型的一种众所周知的算法是反向传播梯度下降算法。梯度下降是一种优化算法，用于通过在当前点采取与函数梯度的负值成比例的步骤来寻找函数的局部最小值。对于每个输入，反向传播算法计算损失函数相对于输出和网络权重的梯度。反向传播算法使用链式法则计算损失函数相对于每个权重的梯度，而不是单独且低效地直接计算每个权重。该算法一次计算一层的梯度，并从最后一层向后迭代，以避免链规则中中间项的冗余计算。使用这种方法，反向传播使得对诸如多层感知器(MLP)的多层网络使用梯度变得可行。

经训练的机器学习模型的应用

经训练的机器学习模型可应用于未标记的监测传感器数据，以自动标记监测传感器数据的任何给定帧中存在的任何感兴趣的对象。一旦机器学习模型已经被训练，就不需要在感兴趣的对象上安装接近传感器，经训练的机器学习模型可以接收监测传感器数据作为输入。在一些实施例中，经训练的机器学习模型可以不接收进一步的接近传感器数据。经训练的机器学习模型可以输出标注的监测传感器数据，该数据标识在监测传感器数据的一个或多个帧中存在的一个或多个感兴趣的对象。

系统可以被配置为执行对监测传感器数据的实时分析。监测传感器数据的实时馈送可以被馈送到系统，以用作经训练的机器学习模型的输入。由此，系统可以提供基本实时的标记的监测传感器数据。

在一些实施例中，经训练的机器学习模型的性能可以在使用期间不断改善。可以使用检测到的监测传感器数据和/或诸如GPS传感器数据的其他传感器数据来微调机器学习模型参数。

系统可以使用从机器学习模型输出的标记数据作为对象跟踪过程的一部分。例如，系统可以在一个或多个后续帧上跟踪一个或多个标记的感兴趣的对象的位置。在进一步的实施例中，系统可以使用一个或多个标记的感兴趣的对象随时间的计算出的位置来预测一个或多个标记的感兴趣的对象的可能的未来位置。系统可以使用预测的位置来确定一个或多个感兴趣的对象之间即将发生的碰撞。

系统可以提供一个或多个标记的感兴趣的对象的跟踪信息作为输出。在一些实施例中，系统可以使用跟踪信息来执行一个或多个感兴趣的对象的自动引导。如果系统确定一个或多个感兴趣的对象之间的碰撞即将发生，则它可以自动采取行动来防止碰撞，例如通过发出命令来停止一个或多个感兴趣的对象的移动。

航空工业环境中的具体实施例

现在将进一步参照附图描述应用于航空工业环境中的本发明的具体实施例。

图1示出了典型的停机坪，可以在任何机场或飞机场找到。也称为机场停机坪、飞行路线或坡道，停机坪是机场的区域，用于在航班之间停放飞机。当飞机停在停机坪上时，可以装货、卸货、加油、下机和登机。乘客和机组人员可以通过登机桥105上/下机。登机桥105在飞机的入口门和乘客候机楼之间形成一座桥。可选地，乘客可以通过其他方式上/下机，诸如移动台阶，或者在较小的飞机的情况下根本不需要台阶。

图1中还示出了数个载具101，它们通常出现在任何机场或飞机场的停机坪上。载具101可以包括行李运输工具、油罐车、客运载具和其他载具。无论停机坪上是否停放有飞机，任何载具均可在任何时间出现在停机坪上。此外，一个或多个应急载具102可以被呼叫到停机坪以提供应急响应。

为了便于和跟踪飞机的到达和离开，并且在任何给定时间协调停机坪上的众多载具，可以使用各种监测传感器。

图1示出了被配置为连续监测停机坪的监视相机104。监视相机104优选地定位成使得整个停机坪在一个或多个相机104的视野内。相机104输出包括数个帧的视频数据。视频数据的每一帧包括由相机的传感器捕获的静止图像，以及指示该帧被捕获的时间的时间戳。除了监视相机104之外或者代替监视相机104，可以使用其他类型的监测传感器。一种替代类型的监测传感器是光检测和测距(LiDAR)传感器。LiDAR传感器可以输出包括数个帧的LiDAR数据。LiDAR数据的每个帧包括表示分布在视野上的计算出的距离测量的点云，以及指示该帧被捕获的时间的时间戳。另一种替代类型的监测传感器是飞行时间相机。飞行时间相机是一种距离成像相机，可以分辨传感器和对象之间的距离。基于激光的飞行时间相机利用光(LASER)源的每个脉冲在整个视野上捕获距离测量。本领域技术人员将会理解，本发明不需要局限于这些特定类型的监测传感器，同样可以利用其他类型的监测传感器。

在数据集创建阶段期间，可以在停机坪内安装一个或多个接近传感器。图2示出了可以位于停机坪内的接近传感器201。在一些实施例中，接近传感器可以是WiFi接近传感器，诸如WiFi或无线通信路由器。WiFi路由器对于本领域技术人员来说是公知的，并且是廉价且广泛可用的。然而，本领域技术人员将会理解，接近传感器不需要局限于WiFi路由器，并且可以使用任何合适的接近传感器。

事实上，接近传感器可以是任何检测发送器的存在的接收器，该发送器在接收器的检测范围内。

WiFi路由器201可以安装在停机坪的中心位置。WiFi路由器201可以被定位成使得WiFi路由器201的覆盖范围延伸以完全覆盖停机坪。在图2所示的实施例中，WiFi路由器201安装在登机桥205的末端。在这种情况下，路由器201被安装在登机桥的最靠近飞机的末端。在一些实施例中，多个WiFi路由器201可以安装在停机坪内，使得多个WiFi路由器201的组合覆盖范围延伸以完全覆盖停机坪。应当理解，在某些实施例中，一个或多个WiFi路由器201的覆盖范围不需要延伸到覆盖整个停机坪，而是可以仅覆盖停机坪的一部分。一个或多个WiFi路由器201的覆盖范围与一个或多个监视相机的视野对齐。在一些实施例中，一个或多个监视相机被定位成使得停机坪填充一个或多个监视相机的视野，并且一个或多个WiFi路由器201被安装成使得一个或多个WiFi路由器201的覆盖范围延伸到完全覆盖停机坪。在其他实施例中，一个或多个监视相机可以被定位成使得停机坪位于视野内，并且一个或多个WiFi路由器201可以被定位成使得一个或多个WiFi路由器201的覆盖范围延伸到至少覆盖停机坪。一个或多个WiFi路由器201的覆盖范围和一个或多个监视相机204的视野是对齐的，使得一个或多个监视相机的视野中存在的对象在一个或多个WiFi路由器201的覆盖范围内。

在数据集创建阶段期间，可以在停机坪内的一个或多个载具或设备上安装一个或多个接近设备。图2示出了安装在停机坪上的载具上的一个这样的接近设备203。一个或多个接近设备203能够被一个或多个接近传感器201检测到。在一个或多个接近传感器201是WiFi路由器的实施例中，一个或多个接近设备203可以是WiFi使能设备，诸如移动电话、平板电脑、智能手表和其他设备。在接近传感器201是其他类型的传感器的情况下，接近设备203可以是能够被接近传感器201检测到的设备。一个或多个接近设备203每个都与用于标识每个接近设备203的唯一标识号相关联。在本发明的实施例中，其中一个或多个接近设备203是WiFi使能设备，唯一标识号可以是设备的IP地址。应当理解，接近设备可以是能够被一个或多个接近传感器201检测到的任何合适的设备。使用WiFi使能设备(诸如移动电话)的优势在于它们相对便宜并且非常容易获得。

唯一标识号和其上安装有相关联的接近设备203的载具或设备可以记录在查找表中。查找表可以包括对应于一个或多个接近传感器201中的每一个的唯一标识号的列表以及其上安装有接近设备203的载具或设备的指示。在一个或多个接近传感器是WiFi路由器并且一个或多个接近设备是WiFi使能设备的实施例中，查找表包括一个或多个WiFi使能设备的IP地址列表以及其上安装有每个WiFi使能设备的载具或设备的指示。

当其上安装有WiFi使能设备203的载具或设备在一个或多个WiFi路由器201的覆盖范围内时，一个或多个WiFi路由器201检测WiFi使能设备203。在一些实施例中，当载具或设备以及相关联的WiFi设备203首次进入一个或多个WiFi路由器201的覆盖范围时，一个或多个WiFi路由器201检测WiFi设备203，并记录WiFi设备203的IP地址和对应于WiFi设备203进入一个或多个WiFi路由器201的覆盖范围的时间的时间戳。随后，在WiFi设备203保持在一个或多个WiFi路由器201的覆盖范围内时，一个或多个WiFi路由器201继续检测WiFi设备203。当载具或设备以及相关联的WiFi设备203离开一个或多个WiFi路由器201的覆盖范围时，一个或多个WiFi路由器201检测WiFi设备203的离开，并记录IP地址和对应于检测到WiFi设备203离开的时间的时间戳。一个或多个WiFi路由器201然后可以输出接近传感器数据，该数据包括一系列时间戳，这些时间戳表示一个或多个WiFi使能设备203中的任何一个进入或离开一个或多个WiFi路由器201的覆盖范围的时间，以及与检测到的每个检测到的WiFi使能设备203相关联的IP地址。

如图3所示，接近传感器数据(包括一系列时间戳，这些时间戳表示一个或多个WiFi使能设备203中的任何一个进入或离开一个或多个WiFi路由器201的覆盖范围的时间，以及与每个检测到的WiFi使能设备203相关联的IP地址)可以存储在设备IP连接列表301中。列表中的每个条目包括WiFi使能设备203的IP地址、对应于检测到WiFi使能设备203或检测到WiFi使能设备离开的时间的时间戳、以及载具名称或设备名称。设备IP连接列表301的条目还可以包括与载具名称或设备名称相关联的一个或多个预处理视频。在其他实施例中，可以经由查找表来存储和访问与每个IP地址相关联的载具名称或设备名称。

在其他实施例中，一个或多个WiFi路由器201可以连续检测存在于一个或多个WiFi路由器的覆盖范围内的任何WiFi使能设备203。一个或多个WiFi路由器201可以输出包括一个或多个帧的接近传感器数据。每个帧可以包括对应于在一个或多个WiFi路由器201的覆盖范围内检测到的任何WiFi使能设备的IP地址列表，以及对应于检测到设备的时间的时间戳。

图4示出了根据本发明的实施例的系统的示意图。该系统包括输入模块401、处理模块402、机器学习模型403、机器学习训练模块404和输出模块405。输入模块401被配置为接收监测传感器数据和接近传感器数据。根据上述优选实施例，输入模块401被配置为接收来自一个或多个CCTV相机的监测传感器数据和来自一个或多个WiFi路由器201的接近传感器数据。输入模块401将监测传感器数据和接近传感器数据传递给处理模块402。

在一些实施例中，处理模块处理接收到的接近传感器数据，以计算一个或多个时间间隔，在该时间间隔期间，每个载具或设备出现在一个或多个WiFi路由器201的覆盖范围内。在接近传感器数据包括表示一个或多个WiFi使能设备203中的任何一个进入或离开一个或多个WiFi路由器201的覆盖范围的时间的一个或多个时间戳的实施例中，处理模块402可以处理接近传感器数据以生成接近传感器数据的一个或多个帧，每个帧具有相关联的时间戳和在对应于时间戳的时间出现在一个或多个WiFi路由器的范围内的任何WiFi使能设备203的唯一标识符的列表。接近传感器数据的连续生成的帧之间的时间间隔优选地等于监测传感器数据的连续帧之间的时间间隔。在一些实施例中，处理模块处理接近传感器数据以生成接近传感器数据的一个或多个帧，其时间戳匹配与接收到的监测传感器数据的一个或多个帧相关联的时间戳。

处理模块402处理监测传感器数据以创建训练数据集。图5示出了自动标注监测传感器数据的方法，该方法由处理模块402执行以创建标记的训练数据集。

首先，在步骤501处，处理模块402选择所接收的监测传感器数据的第一帧，并读取与所选择的帧相关联的时间戳。其次，在502处，处理模块402将与所选择的帧相关联的时间戳与接近传感器数据的一个或多个时间戳或时间间隔进行比较。在503处，处理402模块确定监测传感器数据的所选择的时间戳是否匹配接近传感器数据的一个或多个时间戳，或者落入接近传感器数据的一个或多个时间间隔内。在504处，如果确定是肯定的，则处理模块402读取与接近传感器数据的一个或多个时间戳或时间间隔相关联的一个或多个IP地址。处理模块402然后例如经由查找表或设备IP连接列表确定与一个或多个IP地址中的每一个相关联的载具或设备名称。在505处，处理模块402用一个或多个设备名称标注监测传感器数据的所选择的帧。

处理模块402然后对监测传感器数据的每一帧重复步骤501至505。由此，监测传感器数据的每一帧被标注有在该帧期间出现在一个或多个监视相机104的视野中的任何载具或感兴趣的对象的名称。

处理模块402可以利用一个或多个其他模型，诸如计算机视觉、图像处理和机器学习方法，来帮助对监测传感器数据的帧进行标注。例如，处理模块可以将分割算法、降噪算法、边缘检测滤波器和其他对象识别技术应用于监测传感器数据的所选择的帧，以帮助标注监测传感器数据。在一些实施例中，当标注当前选择的帧时，处理模块402可以使用先前标注的帧作为先验信息。在一些实施例中，可以利用其他模型来生成嵌入的特征向量，其中每个嵌入的特征向量与在监测传感器数据的一个或多个帧中标注的感兴趣的对象相关联。嵌入的特征向量还可以包括与其关联的感兴趣的对象相关的特性信息。例如，可以使用一个或多个其他模型来提取在监测传感器数据帧中出现的载具的颜色、型号、品牌和牌照ID。

监测传感器数据的标注可以包括与每个所标识的感兴趣的对象相关联的一个或多个标识图像。例如，在监测传感器数据帧内标识的载具图像的标注可以包括从不同角度和/或在不同照明条件下示出所述载具的数个图像。标识图像可以存储在系统的本地存储器中，并用于改善和/或增强对未标记的监测传感器数据中感兴趣的对象的标识。

在一些实施例中，处理模块402被配置为利用光学字符识别算法来检测有区别的文本标记，诸如尾翼号码或载具牌照，以标识感兴趣的载具或对象。在一些实施例中，输入模块401还被配置为从安装在载具或设备上的一个或多个定位传感器接收定位数据。具体地，定位传感器可以包括GPS传感器或其他合适的定位传感器。输入模块401将定位数据传递给处理模块402，以帮助监测传感器数据的标注。这些方法可以在初始数据集创建阶段期间应用，或者在应用阶段期间作为通过提供附加标记的监测传感器数据来持续改善系统性能的方法应用。

机器学习训练模块404接收标注的监测传感器数据，并使用它来训练机器学习模型403。在优选实施例中，机器学习模型403是神经网络分类器模型，甚至更优选地是深度神经网络分类器。机器学习模型403将监测传感器数据的帧作为输入，并输出标注的帧，该标注指示机器学习模型预测在该帧内存在的一个或多个载具或设备。在优选实施例中，机器学习模型403输出标注的帧，该标注的帧指示一个或多个载具或设备在该帧内的预测位置。在其他实施例中，标注的帧可以包括一个或多个标注，指示模型403预测在帧内的某个位置存在的一个或多个载具或设备，其中标注可以作为元数据与帧一起存储。

在技术人员熟知的训练过程期间，机器学习训练模块404调整神经网络模型的权重和偏差，以降低成本函数值。基于标注的监测传感器数据集的给定帧内存在的预测载具或设备的准确度来计算成本函数值。以增加预测准确度的方式更新权重和偏差。机器学习训练模块404使用反向传播梯度下降算法来计算权重和偏差所需的变化并更新网络。

一旦机器学习模型403已经在标记的监测传感器数据上被训练，经训练的机器学习模型403就被应用在未标记的监测传感器数据上，以自动标记在监测传感器数据的接收到的帧中存在的任何载具或设备。输入模块401从一个或多个监视相机或LiDAR传感器104接收未标记的监测传感器数据。未标记的监测传感器数据被输入到机器学习模型403。机器学习模型403输出标注的监测传感器数据。图6示出了由经训练的机器学习模型403输出的标注的监测传感器数据。一个或多个监视相机或其他监测传感器601捕获监测传感器数据，然后由机器学习模型对其进行标记，以检测机场停机坪上存在的载具。

图7示出了用于改善飞机跟踪的系统应用的一些示例。

为了检测飞机702、它的类型和它的唯一ID，本发明的实施例可以使用三个数据源(或数据源的组合)并组合它们以准确标识飞机：

1-飞机时间表数据

2-读取尾号701的OCR

3-飞机类型检测机器学习

知道飞机的类型、位置和它的时间表，机器学习模型可以优化服务。此外，当着陆的飞机雷达关闭时(例如在夜间)，可以标识每架飞机的准确位置(例如在数字孪生中)。可以使用基于AI的时间表来优化加油、解冻、行李装载或其他服务，该时间表可以全局优化所有过程。最优操作可用于训练机器学习模型，以学习最优决策并向操作者提出这些决策。一旦模型的准确性和鲁棒性得到测试，则机器学习模型就可以为地勤人员和飞行员提供最优决策，而专家操作员可能只需监测和验证优化的操作，以进行双重检查，确保没有冲突或异常。

根据说明性实施例，系统可以利用多个数据源来跟踪机场环境中的飞机。系统经由输入模块401接收与机场相关的时间表数据。时间表数据包括一架或多架飞机的预期到达和离开时间、分配的登机口号码以及飞机信息，诸如尾翼号码和飞机类型。系统标识一个或多个监测传感器的视野内的飞机。系统可以使用光学字符识别(OCR)来读取飞机的尾翼号码。在其他实施例中，系统可以使用机器学习模型403和/或来自飞机的其他位置数据，诸如GPS数据和射频标识。可以使用如前所述的标记的训练数据来训练机器学习模型以标识不同的飞机类型。应当理解，系统可以利用上述一个或多个输入的任意组合，并且可以利用除了上述说明性实施例中描述的数据源之外的其他数据源。在标识一个或多个监测传感器的视野内的飞机时，系统使用标识的飞机类型、位置和时间表信息来优化飞机服务。可以使用本发明的改善的飞机跟踪来优化的飞机服务包括加油、解冻、行李装载、补给和飞机维护。在一些实施例中，改善的飞机跟踪被提供给基于跟踪信息优化一个或多个飞机服务的人类操作员。在其他实施例中，系统可以使用优化的飞机服务来训练机器学习模型。机器学习模型由此可以学习如何基于飞机跟踪信息来优化一个或多个飞机服务。在一些实施例中，专家操作员监测经训练的机器学习模型的决策过程，以确保没有错误或异常。在其他实施例中，系统基于改善的飞行器跟踪自动提供优化的飞行器服务，而无需人工监督或输入。

图8示出了可以使用本发明的系统实现的自动碰撞检测方法。根据所示的说明性实施例，系统标识一个或多个监测传感器的视野内的两个载具-客机801和紧急载具802。机器学习模型403输出标记的监测传感器数据，该数据指示载具在一个或多个监测传感器的视野内的位置。在一些实施例中，系统利用来自安装在载具上的位置传感器的附加位置信息，诸如GPS传感器。处理模块402存储每个载具在多个时间帧内的位置，并使用每个载具的时变位置来计算每个载具随时间的预测轨迹。处理模块402执行关于两个载具的预测轨迹是否在给定的未来时间点相交的检查，指示两个载具之间可能的碰撞。如果检测到可能的碰撞803，则处理模块向输出模块405输出碰撞检测警告。输出模块405经由任何合适的通信协议输出碰撞检测警告。例如，在一些实施例中，输出模块经由射频通信向两个载具输出碰撞检测警告，警告驾驶员检测到可能的碰撞803。在其他实施例中，碰撞检测警告可以被输出到自动驾驶载具系统，作为采取避免行动以防止碰撞的指令。

图9和10示出了利用本发明提供自主服务载具的方法。图9示出了自动驾驶服务载具901。在某些实施例中，诸如超声波测距传感器的数个碰撞检测传感器可以安装在自动驾驶服务载具901上。此外，自动驾驶服务载具901可以安装有监测传感器，诸如相机和LiDAR系统。

在步骤1001处，一个或多个监测传感器902接收位于停机坪上的飞机903的监测传感器数据。例如，已经到达并停在登机桥904末端的飞机。输入模块401接收监测传感器数据，并将其传递给处理模块402。在步骤1002处，处理模块402将OCR算法应用于接收到的监测传感器数据，以识别飞机903的尾号。在其他实施例中，输入模块401可以从外部源接收位于停机坪上的飞机的尾号或航班标识号。在步骤1003处，一旦识别出飞机的尾号，通信模块可以查询外部源来发送飞机的维护时间表。在其他实施例中，输入模块401可以从外部源接收维护时间表。

在步骤1004处，处理模块从维护时间表中读取第一维护项目。例如，维护项目可以用于为飞机的下一次预定飞行补充食品或易腐物品。基于此，处理模块确定自动驾驶服务载具901应该导航到飞机以递送所需的补给。在步骤1005处，处理模块402经由通信模块405向自动驾驶载具901发送指令，以开始导航到飞机。

在1006处，自动驾驶载具901开始导航到飞机。一个或多个监测传感器捕获视野内的自动驾驶载具901，并基本实时地向输入模块401输出监测传感器数据。机器学习模型403分析监测传感器数据，并输出指示自动驾驶载具901的位置的标记的监测传感器数据。基于自动驾驶载具901的检测的位置，处理模块402确定导航指令905，导航指令905应当被发送到载具901以帮助导航到飞机。系统对维护时间表中的所有计划维护项目重复该过程。

应当理解，本发明不必局限于航空运输工业内的应用，而是可以应用于其他工业，诸如航运和其他公共运输方式、车间设备管理、包裹跟踪和交通管理。

应用于海洋船舶跟踪

本发明的一个这样的替代应用是在航运工业内，特别是在港口或码头内的船舶的自动跟踪。

根据如上所述的本发明，可以生成用于训练机器学习模型的标记的训练数据集。具体而言，使用被安装以监测感兴趣的区域的一个或多个监测传感器来收集一个或多个感兴趣的对象的监测传感器数据，所述一个或多个感兴趣的对象包括诸如小船和轮船的海洋船舶。例如，海洋船舶跟踪环境中的感兴趣的区域可以是码头或港口，但是也可以考虑其他感兴趣的区域。监测传感器可以包括例如CCTV相机、附接到一个或多个无人驾驶飞机的相机，包括替代类型的视频相机，诸如LiDAR传感器、热成像相机等。

同时，可以经由安装在感兴趣的区域中的一个或多个接近传感器以及安装在一个或多个感兴趣的对象上的一个或多个接近设备来收集一个或多个感兴趣的对象的接近传感器数据。

接近传感器数据和监测传感器数据被用于自动生成标记的监测传感器数据，其中每个帧被标注以示出该帧中存在的感兴趣的对象的任何图像。

如上所述，系统可以利用来自一个或多个定位传感器的位置数据。例如，海洋船舶可以利用GPS系统、差分GPS系统、RADAR系统、全球导航卫星系统和/或水声应答器系统。这不是用于海船的定位系统的详尽列表，同样可以使用其他合适的定位系统。系统可以使用位置数据来扩充标记的训练数据，以便在训练阶段期间使用。

系统还可以利用额外的图像处理技术来帮助标注监测传感器数据。这些技术可以包括对象跟踪和提取、模式匹配、人和面部检测、对象识别、姿势识别等。如上所述，系统可以利用对象识别算法来标识和标注在监测传感器数据的所选择的帧中出现的人的图像。

在优选实施例中，可以利用一个或多个其他模型，诸如计算机视觉、数据挖掘和机器学习方法，来帮助对监测传感器数据的帧进行标注。在一些实施例中，一个或多个其他模型可以用于生成与监测传感器数据中存在的一个或多个标识的感兴趣的对象相关联的嵌入的特征向量。这种模型是技术人员已知的。嵌入的特征向量可以包括与标识的感兴趣的对象相关联的进一步的特性信息。例如，一个或多个其他模型可以用于提取以下中的一个或多个：在监测传感器数据帧中出现的海船的颜色、型号、品牌、ID号、注册所有者、指定位置和路线信息。特征向量可以包括从如上所述的一个或多个位置传感器捕获的与感兴趣的对象相关的位置数据。

在训练第一机器学习模型之前，可以将嵌入的特征向量嵌入标注的监测传感器数据中。替代地或附加地，第二机器学习模型可以在线使用，以在实时或基本实时的监测传感器数据中生成与由第一机器学习模型标注的感兴趣的对象相关联的嵌入的特征向量。

如上所述，根据本发明，标注的监测传感器数据用于训练机器学习模型。机器学习模型可以利用深度学习方法，并且可以是实现为卷积神经网络的神经网络分类器。机器学习模型可以由机器学习训练模块对标注数据进行训练。机器学习模型可以被配置为将未标注的监测传感器数据的单个帧作为输入，并输出被标注以反映监测传感器数据的帧中存在的任何感兴趣的对象的位置的监测传感器数据的标注的帧。如上所述，在一些实施例中，由第一机器学习模型输出的标注的帧还可以包括由一个或多个其他模型提供的嵌入的特征向量。

一旦机器学习模型已经被训练，则包括经训练的机器学习模型的系统被应用于未标记的监测传感器数据，以自动标注监测传感器数据的接收帧中出现的任何海洋船舶、设备或人。

系统在海洋船舶跟踪环境中的一个示例应用是，如果注册所有者的船舶离开其指定位置，则向注册所有者发出警报。在这个示例中，系统从一个或多个被定位成监测码头或港口的CCTV相机接收监测传感器数据。系统处理监测传感器数据并标识监测传感器数据中存在的一个或多个船舶。对于一个或多个标识的船舶中的每一个，系统可以执行进一步的标识过程，以生成与每个标识的船舶相关联的嵌入的特征向量。嵌入的特征向量可以包括颜色、品牌、型号、注册所有者、分配的系泊位置、路线信息和其他标识特性中的一个或多个。例如，系统可以使用光学字符识别(OCR)来标识船舶的名称或ID，并将该信息包括在嵌入的特征向量中。系统可以例如从诸如码头预订系统的一个或多个服务器的外部源接收标识信息，包括预期的到达和离开时间、指定的系泊位置、注册的所有者等。

系统可以通过在监测传感器数据中跟踪船舶的位置，或者通过监测从船舶的一个或多个位置传感器接收的位置数据，来确定标识的船舶已经离开其分配的系泊位置。系统可以基于检测到的船舶出发时间和基于与船舶相关联的路线信息的预期出发时间之间的比较来确定从分配的系泊位置的出发是异常的。响应于确定该离开是异常离开，系统可以通过生成电子通知、SMS消息、警报通知等来警告注册的所有者异常离开。

系统在船舶跟踪环境中的其他应用包括异常检测、火灾检测和盗窃检测。

通常，当感兴趣的对象进入一个或多个接近传感器的覆盖范围时，安装在感兴趣的对象上的接近设备被一个或多个接近传感器检测到。生成对应于感兴趣的对象进入一个或多个接近传感器的覆盖范围或范围的时间的进入时间戳。

此外，当感兴趣的对象离开一个或多个接近传感器的覆盖范围时，一个或多个接近传感器检测接近设备的离开。一个或多个接近传感器捕获接近设备的唯一标识符和对应于检测到接近设备离开的时间的时间戳。生成对应于感兴趣的对象离开一个或多个接近传感器的覆盖范围或范围的时间的离开时间戳。

进入和离开时间戳定义了一个时间段，在该时间段期间，监测传感器的视野内的感兴趣的对象被标记。在一些实施例中，标记操作被执行约10分钟至1小时。这是一个典型的时间段，在该时间段期间，感兴趣的对象位于监测传感器的视野内，并因此位于接近传感器的范围内。

当然，在一个或多个接近传感器的覆盖范围或范围内通常可能存在多个感兴趣的对象。通常，每个感兴趣的对象具有相关联的进入时间戳和相关联的离开时间戳。通常，与每个感兴趣的对象相关联的进入或离开时间戳是不同的，因为感兴趣的对象通常在不同的时间进入或离开一个或多个接近传感器的范围。然而，应当理解，在某些情况下，多个感兴趣的对象可以基本上同时进入一个或多个接近传感器的覆盖范围或范围。因此，可以为每个感兴趣的对象生成不同的进入和离开时间戳。

在一个针对标记图像以标识和监测大对象附近的感兴趣的对象的特定应用中，接近传感器201具有高达大约100米的范围。这意味着可以在大型飞机或其他感兴趣的对象附近的任何地方标识和标记感兴趣的特定对象。在一些应用中，接近传感器的范围可以更大。例如，本发明的实施例在标记图像中找到应用，以标识和监测载具附近的感兴趣的对象，诸如公路载具、船、游船和航空母舰等。在这种以及其他应用中，接近传感器可以具有高达300米至400米的范围。在一些实施例中，可以使用远程Wi-Fi。

在一个具体示例中，接近传感器可以包括软件或硬件模块，其被配置为响应于范围调整命令来调整接近传感器的范围。

本发明的实施例可以检测接近传感器附近的对象的尺寸，诸如运输工具。

在一个具体的示例中，这可以通过使用已知的图像处理技术来检测和读取唯一的标识符来执行，诸如尾号(例如，JA8089)或船舶注册号。可以使用唯一标识符和相对应的飞机类型或/和尺寸的查找表。本发明的实施例可以确定唯一标识符，并使用查找表来确定对象的尺寸，诸如接近传感器靠近的运输工具。

通常，被配置为调整接近传感器的范围的硬件或软件模块接收命令，以取决于位于接近传感器附近的对象(诸如飞机)的尺寸来调整其范围。

不是使用查找表，而是可以使用LIDAR或基于飞机的特征来确定位于接近传感器附近的飞机或静止对象的尺寸。

有利地，一些实施例为进入接近传感器的覆盖范围的每个对象确定进入时间戳和离开时间戳之间的时间段。

这允许在短时间段内处于接近传感器覆盖范围内的某些对象不被考虑，或者不被检测对象或标记每个图像以标识和监测感兴趣的对象的算法处理。

例如，可以定义一个阈值，其中如果对象在接近传感器的范围内持续例如5秒，则不处理该对象。也可以有利地使用其他时间段，诸如10分钟。这允许系统在短时间段内不处理或忽略进入接近传感器的范围的不同对象。

参考附图的图2所示的预定区域202，该区域(以及接近传感器201的范围)通常基本上是圆形的。

然而，完全包含在预定区域内的某些子扇区可能被排除在检测算法或标记每个图像以标识和监测感兴趣的对象的算法的处理之外。

这可以通过在区域202内的不同位置放置两个或更多个附加的接近传感器(除了接近传感器201之外)或Wi-Fi路由器来实现。可以使用已知的三角测量技术来定义区域内不感兴趣的一个或多个子扇区。可以定义任何形状的子扇区。例如，可以用4个经度和纬度坐标来定义正方形子扇区。替代地，圆形子扇区可以用单个经度坐标和单个纬度坐标以及圆形子扇区的半径或直径来定义。

在一些实施例中，系统或方法可以被配置为唯一地标识感兴趣的对象，并且可以在一个或多个接近传感器的范围内区分相同类型的多个对象。例如，假设有两辆行李载具服务于一架飞机。每个行李载具可以被分配不同的标签。例如，可以给第一辆行李运输车分配标签“行李_卡车_1”，给第二辆行李运输车分配标签“行李_卡车_2”。这允许分析不同行李运输车的性能。还允许确定每个感兴趣的对象的特定故障。例如，可以基于服务于飞机或空间中其他点的对象或载具的平均速度来标识问题。这些载具或对象中的每一个都可以被唯一地标识、跟踪、标记等等。

在本发明的实施例的替代应用中，标识、监测、跟踪和标记对象，或者通常是到达或离开港口的船舶。船舶可能有唯一的特征，诸如船帆的特定尺寸和颜色。

本发明的实施例通常在预定时间段内处理大量图像数据或视频馈送的帧。如上所述，这可能是10到20分钟的量级。

注意，在本发明中，来自图2所示的每个相机204的相同的视频馈送或图像馈送被用于根据本发明的实施例的训练阶段和根据本发明的实施例的标记阶段两者。由于训练环境与部署环境完全相同，因此这提供了更好的标记图像以标识和监测感兴趣的对象。

本发明的实施例确定对象是否在与第一传感器对齐的预定区域202内。

因此，应当理解，本发明的实施例通常包括范围大于0.5m的远程接近传感器。由于使用了诸如ass 802.11的无线网络协议，因此接近传感器的范围大于光学扫描仪系统的范围。本发明的实施例可以在2.4GHz到6GHz的频率范围中操作。

通常，接近传感器范围和CCTV视野是对齐的或基本对齐的。

在本发明的一些实施例中，在执行自动标记之前执行感兴趣的对象的初始检测。例如，本发明的实施例可以检测帧中的对象，然后使用上述方法以基于接近数据来分配标签。应当理解，一些感兴趣的对象(诸如行李载具)可能已经装配了上述接近设备。然而，可以通过将接近设备安装在一个或多个感兴趣的对象上或对象内，用接近设备来改造对象。

从前述内容可以理解，本发明的实施例有利地：

·标识相对较大的对象(例如，机场载具、室内机器人)用于训练机器学习模型。本发明的实施例使用远程传感器(大约几十米量级)进行数据收集。相比之下，条形码激光扫描仪的范围要小得多(大约几十厘米量级)

·被配置为日夜连续运行，无中断，以在所有类型的室外环境条件下收集数据

·为训练机器学习模型准确标记图像。这可以通过检测对象何时出现在相机视图上以及该对象何时离开视图来实现。

·精确确定接近传感器进入阅读器覆盖范围的时间。这可以通过将相机视图(或相机的感兴趣的区域)与传感器可检测性覆盖区域对齐和校准以及对象离开视图的时间戳来实现。

此外，本发明的实施例具有以下优点：

·使用远程检测，其使得多种应用(诸如货物和包裹运输工业、海运和铁路运输、载具检测等)能够在真实世界环境中标记用于训练机器学习模型的图像。

·不添加任何手动扫描过程。这使得本发明的实施例用于不能容忍中断的工业和操作

·生成两个时间戳(视图中对象的开始和结束时间戳)。

手动扫描引入了噪声，并且机器学习模型不利地将这些特征作为目标对象来学习，因为人将在所有标记的图像中被观察到，这混淆了机器学习模型。此外，手动扫描在技术上不可能检测大型对象，因为手动扫描的范围非常短。

从前述内容可以理解，系统可以包括运行一个或多个服务器进程的计算机处理器，用于与客户端设备通信。服务器进程包括用于执行本发明操作的计算机可读程序指令。计算机可读程序指令可以是用合适的编程语言或以合适的编程语言的任意组合编写的源代码或目标代码，合适的编程语言包括诸如C的过程编程语言、诸如C#、C++、Java的面向对象的编程语言、脚本语言、汇编语言、机器代码指令、指令集架构(ISA)指令和状态设置数据。

上述有线或无线通信网络可以是公共、私有、有线或无线网络。通信网络可以包括局域网(LAN)、广域网(WAN)、互联网、移动电话通信系统或卫星通信系统中的一个或多个。通信网络可以包括任何合适的基础设施，包括铜缆、光缆或光纤、路由器、防火墙、交换机、网关计算机和边缘服务器。

上述系统可以包括图形用户界面。本发明的实施例可以包括屏幕图形用户界面。例如，可以以嵌入在网站中的窗口小部件的形式、作为设备的应用或者在专用登录网页上提供用户界面。用于实现图形用户界面的计算机可读程序指令可以经由网络，例如互联网、局域网(LAN)、广域网(WAN)和/或无线网络，从计算机可读存储介质下载到客户端设备。指令可以存储在客户端设备内的计算机可读存储介质中。

如本领域技术人员将理解的，本文描述的发明可以整体或部分地体现为方法、系统或包括计算机可读指令的计算机程序产品。因此，本发明可以采取完全硬件实施例的形式，或者结合软件、硬件和任何其他合适的方法或装置的实施例的形式。

计算机可读程序指令可以存储在非暂时性的有形计算机可读介质上。计算机可读存储介质可以包括电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘中的一个或多个。

本发明的示例性实施例可以被实现为电路板，该电路板可以包括CPU、总线、RAM、闪存、用于连接的I/O装置(诸如打印机、显示器、键盘、传感器和相机)的操作的一个或多个端口、ROM、通信子系统(诸如调制解调器)和通信介质。

此外，本发明的实施例的以上详细描述并不旨在穷举或将本发明限制于所公开的精确形式。例如，虽然过程或框以给定的顺序呈现，但是替代实施例可以以不同的顺序执行具有步骤的例程，或者采用具有框的系统，并且一些过程或框可以被删除、移动、添加、细分、组合和/或修改。这些过程或框中的每一个都可以以各种不同的方式实现。此外，虽然过程或框有时被示为串行执行，但是这些过程或框可以并行执行，或者可以在不同的时间执行。

这里提供的本发明的教导可以应用于其他系统，不一定是上述系统。上述各种实施例的元素和动作可以被组合以提供进一步的实施例。

虽然已经描述了本发明的一些实施例，但是这些实施例仅通过示例的方式呈现，并且不旨在限制本公开的范围。实际上，这里描述的新颖方法和系统可以以各种其他形式来体现；此外，在不脱离本公开的精神的情况下，可以对本文描述的方法和系统的形式进行各种省略、替换和改变。

本发明的实施例可以通过以下编号的条款来描述。

1.一种用于生成标记的数据集的系统，该系统包括：

处理部件，被配置为：

接收包括一个或多个帧的监测传感器数据，其中图像数据包括定义感兴趣的对象的数据；

接收接近传感器数据；

分析监测传感器数据的一个或多个帧，以基于接近传感器数据标识监测传感器数据的一个或多个帧中存在的一个或多个感兴趣的对象；

基于分析标记监测传感器数据的一个或多个帧，以生成标记的数据集；

输出标记的数据集。

2.根据条款1所述的系统，其中，监测传感器数据的一个或多个帧中的每个帧包括监测传感器数据的实例和时间戳。

3.根据条款2所述的系统，其中，监测传感器数据的实例包括视频数据的单个帧，并且时间戳对应于检测到视频数据的单个帧的时间。

4.根据条款2所述的系统，其中，监测传感器数据的实例包括点云深度数据的单个实例，并且时间戳对应于检测到点云深度数据的单个实例的时间。

5.根据条款1所述的系统，其中，接近传感器数据包括一个或多个时间戳和一个或多个唯一对象标识符。

6.根据条款5所述的系统，其中，一个或多个唯一标识符是互联网协议IP地址。

5.根据条款1所述的系统，其中，处理部件还被配置为接收指示一个或多个感兴趣的对象的位置的定位数据，并且分析监测传感器数据的一个或多个帧，以基于接近传感器数据和定位数据标识监测传感器数据的一个或多个帧中存在的一个或多个感兴趣的对象。

6.根据条款5所述的系统，其中，定位数据是全球定位系统GPS数据。

7.根据条款1所述的系统，还包括一个或多个监测传感器和一个或多个接近传感器，其中每个监测传感器和每个接近传感器被配置为使得一个或多个监测传感器和一个或多个接近传感器的视野或覆盖范围对齐。

8.根据条款7所述的系统，其中，一个或多个监测传感器和一个或多个接近传感器的视野或覆盖范围是一致的。

9.根据条款7所述的系统，其中，接近传感器数据包括一个或多个时间戳和一个或多个唯一标识符；并且一个或多个时间戳中的每一个表示一个或多个感兴趣的对象进入或离开一个或多个接近传感器的覆盖范围的时间。

9.一种用于训练机器学习模型的系统，该系统包括：

处理部件，被配置为：

接收使用任何前述条款的系统标记的数据；

使用所接收的数据训练机器学习模型。

10.一种用于检测一个或多个感兴趣的对象的检测系统，该系统包括：

输入模块，被配置为接收包括一个或多个帧的监测传感器数据；

使用条款9的系统训练的机器学习模型；

处理部件，被配置为：

使用机器学习模型确定在监测传感器数据的一个或多个帧的每个帧中是否存在任何感兴趣的对象。

11.根据条款10所述的系统，其中，系统还被配置为基于确定跟踪监测传感器数据的视野内的一个或多个载具。

12.根据条款11所述的系统，其中，系统还被配置为确定一个或多个跟踪的载具之间碰撞的可能性。

Claims (45)

1.一种用于生成标记的数据集的系统，所述系统包括：

处理部件，被配置为：

接收第一数据，其中所述第一数据包括一个或多个帧，并且其中所述第一数据包括定义预定区域(202)内的感兴趣的对象(203)的数据；

接收第二数据，其中所述第二数据与所述预定区域内的所述感兴趣的对象相关联；

分析所述第一数据的所述一个或多个帧，以基于所述第二数据标识所述第一数据中存在的所述感兴趣的对象；

基于所述分析标记所述第一数据的所述一个或多个帧，以生成标记的数据集；

输出所述标记的数据集。

2.根据权利要求1所述的系统，其中，所述第一数据是从第一信号检测器(204)接收的，并且其中所述第二数据是从第二信号检测器(201)接收的，并且优选地，其中所述第二检测器(201)不同于所述第一检测器(204)，并且进一步优选地，其中所述第二数据包括不同于所述第一数据的数据，并且更优选地，其中所述第一信号检测器(204)是被配置为捕获区域的图像的相机，并且其中所述第二检测器(201)被配置为检测射频信号。

3.根据权利要求1或2所述的系统，其中，所述第一数据与所述预定区域的二维或三维图像数据相关联，并且优选地，其中所述第二数据与射频数据相关联，尤其是2.4GHz或5GHz带宽内的无线数据。

4.根据任一前述权利要求所述的系统，其中，所述第一数据的所述一个或多个帧中的每个帧包括数据的实例和时间戳。

5.根据权利要求4所述的系统，其中，第一数据的所述实例包括视频数据的单个帧，所述时间戳对应于检测到所述视频数据的单个帧的时间，或者/和优选地，其中数据的所述实例包括点云深度数据的单个实例，所述时间戳对应于检测到点云深度数据的所述单个实例的时间。

6.根据任一前述权利要求所述的系统，其中，所述第二数据包括一个或多个时间戳和一个或多个唯一对象标识符。

7.根据权利要求6所述的系统，其中，一个或多个唯一标识符是互联网协议IP地址。

8.根据任一前述权利要求所述的系统，其中，所述处理部件还被配置为接收指示一个或多个感兴趣的对象的位置的定位数据，并分析所述第一数据的所述一个或多个帧，以基于所述第二数据和所述定位数据标识存在于所述第一数据的所述一个或多个帧中的一个或多个感兴趣的对象，并且优选地，其中所述定位数据是全球定位系统GPS数据。

9.根据权利要求2至8中任一项所述的系统，其中，每个第一传感器和每个第二传感器被配置为使得一个或多个第一传感器和一个或多个第二传感器的视野或覆盖范围对齐，并且优选地，其中所述一个或多个第一传感器和所述一个或多个第二传感器的视野或覆盖范围一致。

10.根据权利要求2至9中任一项所述的系统，其中，所述第二数据包括一个或多个时间戳和一个或多个唯一标识符；并且所述一个或多个时间戳中的每一个表示一个或多个感兴趣的对象进入或离开一个或多个第二传感器的覆盖范围的时间。

11.一种用于训练机器学习模型的系统，所述系统包括：

处理部件，被配置为：

接收使用任一前述权利要求所述的系统标记的数据；

使用所接收的数据训练所述机器学习模型。

12.一种用于检测一个或多个感兴趣的对象的检测系统，所述系统包括：

输入模块，被配置为接收包括一个或多个帧的第一传感器数据；

使用权利要求9所述的系统训练的机器学习模型；

处理部件，被配置为：

使用所述机器学习模型确定在所述第一传感器数据的所述一个或多个帧的每个帧中是否存在任何感兴趣的对象。

13.根据权利要求12所述的系统，其中，所述系统还被配置为基于所述确定跟踪所述第一传感器数据的视野内的一个或多个载具。

14.根据权利要求13所述的系统，其中，所述系统还被配置为确定一个或多个跟踪的载具之间发生碰撞的可能性。

15.根据任一前述权利要求所述的系统，其中，所述系统还被配置为检测感兴趣的对象(203)何时进入预定区域(202)，并且优选地生成对应于所述感兴趣的对象进入所述预定区域(202)的时间的进入时间戳。

16.根据任一前述权利要求所述的系统，其中，所述系统还被配置为检测感兴趣的对象(203)何时离开预定区域(202)，并且优选地生成对应于所述感兴趣的对象离开所述预定区域(202)的时间的离开时间戳。

17.根据任一前述权利要求所述的系统，其中，所述系统还被配置为确定感兴趣的对象(203)在预定区域(202)内的时间段。

18.根据任一前述权利要求所述的系统，其中，所述系统还被配置为仅当所述时间段大于预定阈值时确定所述标记的数据集。

19.根据任一前述权利要求所述的系统，还包括被配置为响应于范围调整命令调整所述第二信号检测器(201)的范围的模块。

20.根据任一前述权利要求所述的系统，其中，所述系统还被配置为确定另一对象(206)的尺寸或另一对象(206)的长度或宽度，并且优选地，其中所述尺寸、所述长度或所述宽度是通过将检测到的与所述另一对象(206)相关联的标识符与所述另一对象(206)的标识符和相关联的尺寸、长度或宽度的查找表进行比较来确定的。

21.根据任一前述权利要求所述的系统，其中，模块被配置为基于所述另一对象(206)的确定的尺寸或长度或宽度调整第二信号检测器(201)的范围。

22.根据任一前述权利要求所述的系统，其中，所述系统还被配置为基于来自多个信号检测器的射频信号的三角测量确定预定区域(202)内的一个或多个子扇区。

23.根据权利要求22所述的系统，其中，所述标记的数据集仅针对不在所述一个或多个子扇区内的对象而生成。

24.一种用于生成标记的数据集的方法，所述方法包括：

接收第一数据，其中所述第一数据包括一个或多个帧，并且其中所述第一数据包括定义预定区域(202)内的感兴趣的对象(203)的数据；

接收第二数据，其中所述第二数据与所述预定区域内的所述感兴趣的对象相关联；

分析所述第一数据的所述一个或多个帧，以基于所述第二数据标识所述第一数据中存在的所述感兴趣的对象；以及

基于所述分析标记所述第一数据的所述一个或多个帧，以生成标记的数据集。

25.根据权利要求24所述的方法，其中，所述第一数据是从第一信号检测器(204)接收的，并且其中所述第二数据是从第二信号检测器(201)接收的，并且优选地，其中所述第二检测器(201)不同于所述第一检测器(204)，并且进一步优选地，其中所述第二数据包括不同于所述第一数据的数据，并且更优选地，其中所述第一信号检测器(204)是被配置为捕获区域的图像的相机，并且其中所述第二检测器(201)被配置为检测射频信号。

26.根据权利要求24或25所述的方法，其中，所述第一数据与所述预定区域的二维或三维图像数据相关联，并且优选地，其中所述第二数据与射频数据相关联，尤其是2.4GHz或5GHz带宽内的无线数据。

27.根据权利要求24至26中任一项所述的方法，其中所述第一数据的所述一个或多个帧中的每个帧包括数据的实例和时间戳，并且优选地，第一数据的所述实例包括视频数据的单个帧，所述时间戳对应于检测到所述视频数据的单个帧的时间，或者/和优选地，其中数据的所述实例包括点云深度数据的单个实例，所述时间戳对应于检测到点云深度数据的所述单个实例的时间。

28.根据权利要求24至27中任一项所述的方法，其中，所述第二数据包括一个或多个时间戳和一个或多个唯一对象标识符。

29.根据权利要求28所述的方法，其中，一个或多个唯一标识符是互联网协议IP地址。

30.根据权利要求24至29中任一项所述的方法，还包括接收指示一个或多个感兴趣的对象的位置的定位数据，并分析所述第一数据的所述一个或多个帧，以基于所述第二数据和所述定位数据标识存在于所述第一数据的所述一个或多个帧中的一个或多个感兴趣的对象，并且优选地，其中所述定位数据是全球定位系统GPS数据。

31.根据权利要求25至30中任一项所述的方法，其中，每个第一传感器和每个第二传感器被配置为使得一个或多个第一传感器和一个或多个第二传感器的视野或覆盖范围对齐，并且优选地，其中所述一个或多个第一传感器和所述一个或多个第二传感器的视野或覆盖范围一致。

32.根据权利要求25至31中任一项所述的方法，其中，所述第二数据包括一个或多个时间戳和一个或多个唯一标识符；并且所述一个或多个时间戳中的每一个表示一个或多个感兴趣的对象进入或离开一个或多个第二传感器的覆盖范围的时间。

33.一种用于训练机器学习模型的方法，所述方法包括：

接收使用任一前述权利要求所述的方法标记的数据；

使用所接收的数据训练所述机器学习模型。

34.一种用于检测一个或多个感兴趣的对象的检测方法，所述方法包括：

由输入模块接收包括一个或多个帧的第一传感器数据；

使用权利要求31所述的方法训练机器学习模型；

使用所述机器学习模型确定在所述第一传感器数据的所述一个或多个帧的每个帧中是否存在任何感兴趣的对象。

35.根据权利要求34所述的方法，其中，所述方法还包括基于所述确定跟踪所述第一传感器数据的视野内的一个或多个载具。

36.根据权利要求35所述的方法，其中，所述方法还包括确定一个或多个跟踪的载具之间发生碰撞的可能性。

37.根据权利要求24至36中任一项所述的方法，其中，所述方法还包括检测感兴趣的对象(203)何时进入预定区域(202)，并且优选地生成对应于所述感兴趣的对象进入所述预定区域(202)的时间的进入时间戳。

38.根据权利要求24至37中任一项所述的方法，其中，所述方法还包括检测感兴趣的对象(203)何时离开预定区域(202)，并且优选地生成对应于所述感兴趣的对象离开所述预定区域(202)的时间的离开时间戳。

39.根据权利要求24至38中任一项所述的方法，其中，所述方法还包括确定感兴趣的对象(203)在预定区域(202)内的时间段。

40.根据权利要求24至39中任一项所述的方法，其中，所述方法还包括仅当所述时间段大于预定阈值时确定所述标记的数据集。

41.根据权利要求24至40中任一项所述的方法，其中，所述方法还包括响应于范围调整命令调整所述第二信号检测器(201)的范围。

42.根据权利要求24至41中任一项所述的方法，其中，所述方法还包括确定另一对象(206)的尺寸或另一对象(206)的长度或宽度，并且优选地，其中所述尺寸、所述长度或所述宽度是通过将检测到的与所述另一对象(206)相关联的标识符与所述另一对象(206)的标识符和相关联的尺寸、长度或宽度的查找表进行比较来确定的。

43.根据权利要求24至42中任一项所述的方法，其中，模块被配置为基于所述另一对象(206)的确定的尺寸或长度或宽度调整第二信号检测器(201)的范围。

44.根据权利要求24至43中任一项所述的方法，其中，所述方法还包括基于来自多个信号检测器的射频信号的三角测量确定预定区域(202)内的一个或多个子扇区。

45.根据权利要求44所述的方法，其中，所述标记的数据集仅针对不在所述一个或多个子扇区内的对象而生成。