CN116912436A - 生成图像地图的方法 - Google Patents

Abstract

一种生成图像地图的方法可以包括检查形成空间体积的集合视图的图像瓦片集合的图像偏差数据，并确定是否应对瓦片进行修订以更新瓦片。该方法可以包括调度第一车辆以拍摄更新后的图像瓦片，和/或识别第二车辆以拍摄更新后的图像瓦片。一种系统可以包括一个或多个处理器，检查形成空间体积的集合视图的图像瓦片集合的图像偏差数据，并确定是否应对该集合中的一个或多个图像瓦片进行修订来更新视图。一个或多个处理器调度第一车辆移动穿过或通过该空间体积以拍摄一个或多个更新后的图像瓦片，或者识别第二车辆来拍摄一个或多个更新后的图像瓦片。

Description

生成图像地图的方法

技术领域

本文所述公开的主题涉及用于生成和刷新交通网络的三维(3D)地图瓦片(tile)和交通网络内资产(asset)的系统和方法，特别的，涉及一种生成图像地图的方法。

背景技术

交通网络，例如铁路货运网络，正在增加对照相机和其他视觉系统的使用。照相机和视觉系统可以安装在火车等移动资产上，并收集基础设施和其他移动物体(例如，交通网络内的其他资产或遇到的汽车和人)的信息。诸如虚拟现实等新兴技术允许探索以前已经观察和测绘过的物理区域，即便该区域没有运行中的相机。像虚拟现实这样的工具可用于培训车辆操作员，并可成为决策、调查或审查的代理。然而，虚拟现实需要从最近的视觉信息中创建基础地图。在远程操作员需要获得可视性的区域，并非总是有运行中的相机。

最好有不同于目前可用的系统和方法的系统、方法。

发明内容

根据一个方面或示例，一种方法可以包括检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，所述图像瓦片集合用于形成空间体积的第一集合视图；基于所检查的所述图像偏差数据，确定所述集合中的所述一个或多个图像瓦片是否应进行修订以更新所述空间体积的所述第一集合视图。该方法包括：响应于确定所述集合中的图像瓦片需要进行修订，(a)调度第一车辆移动穿过或经过所述空间体积并利用一个或多个传感器拍摄一个或多个更新后的图像瓦片，和/或(b)识别正在移动穿过、经过或朝向所述空间体积的第二车辆并利用所述一个或多个传感器拍摄所述一个或多个更新后的图像瓦片。

根据一个方面或示例，一种系统可以包括一个或多个处理器。该一个或多个处理器可以检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，所述图像瓦片集合用于形成空间体积的第一集合视图。一个或多个处理器可以基于所检查的所述图像偏差数据，确定所述集合中的所述一个或多个图像瓦片是否应进行修订以更新所述空间体积的所述第一集合视图。一个或多个处理器可以响应于确定所述集合中的图像瓦片需要进行修订，(a)调度第一车辆移动穿过或经过所述空间体积并利用一个或多个传感器拍摄一个或多个更新后的图像瓦片，和/或(b)识别正在移动穿过、经过或朝向所述空间体积的第二车辆并利用所述一个或多个传感器拍摄所述一个或多个更新后的图像瓦片。

根据一个方面或示例，一种系统可以包括控制器。该控制器可以检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，所述图像瓦片集合用于形成空间体积的第一集合视图。该控制器可以基于所检查的所述图像偏差数据，确定所述集合中的所述一个或多个图像瓦片是否应进行修订以更新所述空间体积的所述第一集合视图。控制器可以响应于确定所述集合中的图像瓦片应进行修订，指示正在移动穿过、经过或朝向所述空间体积的车辆利用一个或多个车载传感器捕获所述一个或多个更新后的图像瓦片的部分数据。控制器可以检查所述部分数据以确定所述部分数据是否指示所述一个或多个更新后的图像瓦片发生了变化。控制器可以响应于确定所述一个或多个更新后的图像瓦片没有改变，而更新所述一个或多个更新后的图像瓦片的时间戳，或者响应于确定所述一个或多个更新后的图像瓦片发生了变化，而指示一个或多个传感器获取所述一个或多个更新后的图像瓦片的整体的附加数据。

附图说明

通过阅读以下对非限制性实施例的描述可以理解该主题，并参考附图，其中如下。

图1示出了车辆系统的示例；

图2示出了地图生成系统的示例；

图3示意性地示出了根据一个实施例的一种方法；

图4示意性地示出了根据一个实施例的一种方法；

图5示意性地示出了根据一个实施例的一种方法；

图6示意性地示出了根据一个实施例的一种方法；以及

图7示意性地示出了根据一个实施例的一种方法。

具体实施方式

本文所述主题的实施例涉及创建和/或更新交通网络及交通网络内资产的虚拟现实地图，交通网络内的资产包含车辆系统。交通网络的瓦片地图可以基于在交通网络内运行的车辆系统所采集的图像数据生成。该瓦片地图可以是基于若干图像(二维或三维图像)形成的三维(3D)或二维(2D)地图。可以基于采集的图像数据形成和/或创建瓦片地图。可以在虚拟现实环境中使用瓦片地图以，例如，训练在交通网络内运行的车辆系统的操作员，识别交通网络中需要维修、更换或更仔细检查的部分(例如，路线、隧道、桥梁、路边设备、开关、闸门、灯光信号、标志等)。地图和虚拟现实环境可用于对交通网络内的交通路线进行决策，进行调查(例如，对包含涉及车辆系统的事故的事件进行调查)，对交通网络内的车辆系统操作进行审查，等等。

可以维护和更新地图，以向地图和虚拟现实环境提供表示交通网络的新进的信息。可以更新视觉或图像瓦片并加盖时间戳，以创建来自交通网络的最新信息或较新信息的表示。例如，路线通道(corridor)的虚拟现实地图可以由第一车辆系统创建，该系统有一个或多个相机，其记录并将交通路线或通道绘制为3D渲染，并为相机所观察到的通道的每个部分提供影像瓦片。每个视觉瓦片可以与日期和/或时间戳相关联，该日期和/或时间戳指示由与该瓦片相关的图像所代表的日期和/或时间。之后，可以将该地图提供给虚拟现实观光。当另一资产或车辆系统以相同或相反的方向，或在另一条路线上通过该交通路线或通道时，另一资产或车辆的观察位置可能不同，则另一资产或车辆可以获得新的图像或瓦片，这些图像或瓦片可用于填补从先前车辆或资产获得的图像或瓦片之间的空白，更新先前车辆的图像或瓦片等。第二车辆也可以刷新任何现有的瓦片(例如，获得其更新后的图像)，并用更新后的照片替换现有的瓦片。在后续审查中，交通路线或通道的地图可能被认为是过时的(例如，最近获得的图像或形成瓦片的图像的平均期限比指定期限大)，或具有需要刷新的特定部分或瓦片。如果单车辆系统或多车辆系统计划通过该通道，可以指示该车辆收集部分交通路线或通道的图像。否则，可以将车辆系统派往该交通路线或通道收集图像。这些图像可用于替换或更新该通道的地图。随着时间的推移，整个交通网络，例如货运、运输、铁路、公路、采矿或公路网络，可以使用由若干车辆或车辆系统获得的图像来绘制。该地图可以作为服务提供给软件应用和用例(use case)，在软件应用和用例中可能需要远程观察庞大复杂的基础设施和网络表示。

交通网络的地图的更新或刷新频率可能取决于若干因素，其包括交通网络内可用于拍摄或采集图像数据的车辆系统的数量、交通网络内车辆系统的车载存储器(用于存储图像数据)的可用性，和/或用于生成、维护和更新地图的系统的处理能力的可用性。可以确定图像数据的更新之间的时间以保持地图的准确性，使该地图代表交通网络内交通路线或通道的最新状态或条件。还可以分析拍摄或采集的图像数据，以确定所拍摄或采集的图像数据是否与需要更新或刷新的地图的图像数据有足够大的差异。

可以建立优先级模型来帮助确保虚拟现实地图的准确性，而无需实时刷新整个地图。该优先级模型可用于确定哪些瓦片要在其他瓦片之前更新。地图刷新过程的优先级可以包括所有的瓦片都要在指定时间段(例如，每月)内刷新。在瓦片刷新时，可以将瓦片与同一瓦片的前一版本进行比较，并进行差异计算。如果图像之间的差异低于一阈值，则可以延长再次刷新或更新同一瓦片的时间。如果瓦片之间的差异超过该阈值，则可以缩短再次刷新或更新同一瓦片的时间，从而更频繁地更新该瓦片。

在该地图内，优先级模型还可以识别特定对象。例如，在路线上的诸如轨道车的车辆可以出现在图像中，并可存储为一种轨道车类型，也可存储为该轨道车的实例。可以利用基础3D模型将铁路敞车(gondola)识别为一种轨道车类型。由于每次从不同角度观察特定的铁路敞车轨道车，所观察到的车辆可以具有自己的3D记录。移动的照相机能够将环境中的障碍物(例如，轨道车)识别为已知物体，而不会重新创建地面拓扑结构的那一部分，进而不会将该轨道车错误地描述为基础设施的变化。例如，如果之前的地图是使用没有出现该轨道车的图像创建的，那么随后获得的、用于更新该地图的图像可能会显示该轨道车。因为可以使用数据模型来识别轨道车，所以系统可以区分轨道车和无法移动的静态基础设施，其中，数据模型可以告知系统该轨道车将如何出现在图像中。系统可以用新图像中的信息更新瓦片地图，但该信息不包括轨道车本身(以避免轨道车被系统识别为地图中显示的静态基础设施的变化)。即使一照相机在其当前位置处从未观察到轨道车，轨道车本身也可以在图像中准确地表现出来。例如，如果调度系统在特定位置显示了特定轨道车，虚拟现实可以在当前位置处利用包含诸如损坏和/或涂鸦等细节渲染该特定轨道车的瓦片模型，并允许在该轨道车周围虚拟地走动以观察该轨道车的每一面。

虽然结合轨道车辆系统描述了一个或多个实施例，但并非所有实施例都涉及轨道车辆系统。此外，本文所述的实施例可以扩展到多种类型的车辆系统。合适的车辆系统可以包括轨道车辆、汽车、卡车(带或不带拖车)、公共汽车、船舶、飞机、采矿车辆、农用车辆和非公路车辆。本文所述的合适的车辆系统可以由单个车辆组成。在其他实施例中，车辆系统可以包括以协调方式移动的多个车辆。关于多车辆系统，多个车辆可以彼此机械地耦合(例如，通过连接器)，或者它们可以虚拟地或逻辑地耦合，而非机械地耦合。例如，当单独的车辆相互通信以协调车辆相对于彼此的移动从而使多个车辆一起行驶(例如，作为车队(convoy)、排(platoon)、群(swarm)、组(fleet)或车队组成(consist)等)时，这些车辆可以通信地而非机械地耦合。合适的车辆系统可以是在轨道上行驶的轨道车辆系统，或者在道路或小径上行驶的车辆系统。

参照图1，图像数据采集和通信系统100(也称为图像地图生成系统)可以设置在车辆系统102上。该车辆系统可以在从起始位置或出发位置到目的地或到达地的旅程中沿着路线104行驶。该路线可以是道路(例如，多车道高速公路或其他道路)、轨道、铁路、空域、水路等。车辆系统可以包括推进力产生车辆108和可选的一个或多个非推进力产生车辆110，它们相互连接以沿路线一起行驶。车辆系统可以包括至少一个推进力产生车辆和可选的一个或多个非推进力产生车辆。

推进力产生车辆可以产生牵引力推进(例如，拉动或推动)非推进力产生车辆沿着路线前进。推进力产生车辆包括推进子系统118，以驱动连接到车轮120的车轴122。根据一个实施例，推进系统包括一个或多个牵引马达，其产生推进车辆系统的牵引力。根据一个实施例，多个推进车辆中的一个可以是多车辆系统中的引导车辆，而其他车辆是该多车辆系统的远程车辆。远程车辆可以是推进力产生车辆或非推进力产生车辆。

车辆系统中的车辆可以彼此机械地联接。例如，推进力产生车辆可以通过连接器123机械地联接到非推进力产生车辆。可选地，车辆系统中的车辆可以不彼此机械地联接，而是彼此逻辑地联接。例如，通过车辆相互通信以协调车辆相对于彼此的移动，可以实现车辆在逻辑上彼此耦合，使得车辆以车队或群组的形式一起行驶，成为车辆系统。

根据一个实施例，车辆系统可以是轨道车辆系统，并且路线可以是由一条或多条铁轨形成的轨道。推进力产生车辆可以是机车，非推进力产生车辆可以是运载乘客和/或货物的轨道车。可选地，推进力产生车辆可以是不同于机车的另一种类型的轨道车辆。根据其他实施例，车辆系统可以是一个或多个汽车、船舶、飞机、采矿车辆、农用车辆或其他非公路车辆(Off-Highway Vehicle，OHV)系统(例如，法律不允许和/或不是为在公共道路上行驶而设计的车辆系统)等。虽然本文提供的一些示例将路线描述为轨道，但并非所有实施例都限于在铁路轨道上行驶的轨道车辆。一个或多个实施例可以结合非轨道车辆和轨道以外的路线使用，轨道以外的路线例如公路、小径、水路等。

图像数据采集和通信系统可包括视觉传感器112，其可在车辆系统沿路线行驶时拍摄或采集数据。根据一个实施例，视觉传感器可以是成像装置。例如，视觉传感器可以是能够捕获或采集静止图像的照相机、能够拍摄或采集视频图像的摄像机、红外相机、高分辨率相机、雷达、声纳或激光雷达。可以安装视觉传感器来获取与路线相关联的图像数据。图像数据可以包括路线的图像。图像数据可以包括路线周围区域的图像。根据一个实施例，车辆系统可以是轨道车辆，图像数据可以包括该轨道车辆所行驶的轨道的图像。根据一个实施例，车辆系统可以是在公路上行驶的车辆系统，图像数据可以包括公路的图像。根据一个实施例，车辆系统可以是越野车辆系统，图像数据可以包括越野车辆系统路线的图像。

根据一个实施例，图像数据采集和通信系统可以全部设置在车辆系统的一个车辆上，例如在一个推进力产生车辆上。根据一个实施例，图像数据采集和通信系统的一个或多个组件可以分布在车辆系统的多个车辆之间。例如，一些组件可以分布在以群组或车队组成的形式耦合在一起的两个或多个推进力产生车辆中。

根据一个实施例，图像数据采集和通信系统的至少一些组件可以位于远离车辆系统的位置，例如在调度位置或后台位置。图像数据采集和通信系统的远程组件可以与车辆系统、以及与设置在车辆系统上的图像数据采集和通信系统的组件通信。

图像数据可以包括行进路线周围区域的图像。例如，图像数据可以包括行进路线周围区域的全景视图(例如，360°视图)。图像数据可以包括在视觉传感器的指定视角内的区域的图像。图像数据可以包括地形(例如，山丘、水体等)、植被、建筑物、交通信号和/或行进路线上的其他车辆中的一种或多种的图像。图像数据采集和通信系统可以包括通信系统126，其包括车辆通信组件128和远程通信组件130。车辆通信组件可以搭载在例如引导推进力产生车辆的引导车辆上。远程通信组件可以位于远离车辆系统的位置，例如在调度位置或后台位置。车辆通信组件可以与远程通信组件无线通信。

车辆系统可以具有控制器136或控制单元，其可以是运行以执行车辆系统的一个或多个功能的硬件和/或软件系统。控制器从图像数据采集和通信系统的组件(例如视觉传感器)接收信息，分析接收到的信息，以及生成通信信号。位置确定系统106可以确定车辆系统沿路线的位置。根据一个实施例，位置确定系统可以是全球定位系统(GlobalPositioning System，GPS)。车辆通信组件可以将车辆系统的位置传送给远程通信组件。

参照图2，地图生成系统150可以包括通信系统126、车辆通信组件128、车辆控制器136、视觉传感器112和远程通信组件130。该地图生成系统可以包括车辆系统上的存储器114、输入端116和显示器124。地图生成系统可以包括在远程位置142处的处理器132、存储器134、输入端138以及显示器140，远程位置142包括远程通信组件。远程位置可以是例如调度室或后台办公室。远程位置可以包括云计算服务或与云计算服务通信。车辆系统搭载的存储器可以包括可由车辆系统搭载的控制器执行的指令，该控制器实施或与远程位置的处理器一起操作以实施本文公开的方法。远程位置处的存储器可以包括可由处理器执行的指令，该处理器实施或与车辆系统上的控制器一起操作以实施本文公开的方法。

车辆系统上搭载的存储器可以存储由视觉传感器采集的数据。车辆上搭载的存储器还可以存储在行程开始之前生成的路线的地图。该地图可以存储在远程位置处的存储器中。该地图可以由多个图像瓦片组成。图像瓦片可以包括由该车辆系统和其他车辆系统的视觉传感器采集的图像数据，其他车辆系统已经在该车辆系统正在行驶的路线上行驶，并且在行驶该路线时拍摄了图像数据。图像瓦片可以包括由该车辆系统或其他车辆系统采集的图像数据，其他车辆系统曾行驶过与该路线具有共同的点或区域的其他路线。

当车辆系统在交通网络中运行时，车辆系统上的视觉传感器在沿着交通网络内的路线行驶时拍摄或采集交通网络的图像数据。基于采集的图像数据形成图像瓦片集合。每个图像瓦片可以使用来自多个视觉传感器的各种图像数据或其组合来创建。例如，每个图像瓦片可以根据来自照相机、摄像机、雷达、LiDAR、声纳、红外和/或其他视觉传感器的图像数据创建。

可以将多个图像瓦片组合在一起形成图像瓦片集合。可以将多个图像瓦片拼接(stitch)在一起形成瓦片地图。根据一个实施例，瓦片地图可以是3D瓦片地图。3D瓦片地图表示的区域是交通网络内的空间体积。该集合包括组合起来形成瓦片地图的所有图像。较大集合视图(larger set view)，下文也称为第一集合视图，包括该3D瓦片地图。该第一集合视图还可以包括由两个或多个图像形成的2D视图。例如，图像瓦片的第一集合视图可以包括两个或多个图像、视频帧或从视觉传感器输出的数据，它们被拼接在一起形成空间体积的第一集合视图。

图像瓦片可以包括包含信息的元数据，该信息包括拍摄或采集图像瓦片的图像数据的时间和日期。元数据可以包括位置数据，其指示拍摄或采集图像数据的位置。位置数据可以从例如位置确定系统获得。对于已确认其图像数据没有改变的图像瓦片，元数据可以包括图像数据的多个采集的连续计数。元数据可以包括图像数据被确认没有改变的多个采集的时间段计数。例如，元数据可以包括表示图像瓦片的图像数据已经一年没有改变了的数据。每个瓦片可以包括这样的元数据：该瓦片的图像数据的采集最后一次偏离先前图像数据采集的时间，采集的数量，以及该偏离与最近的一次图像数据采集之间经过的时间量。然后可以使用元数据计算特定图像瓦片的变化频率，以决定何时为该特定图像瓦片安排下一次的图像数据采集。

如果没有安排采集图像瓦片，则可以为经过该图像瓦片所代表区域的车辆系统分配一个瓦片的列表，这些瓦片可以是自上次采集以来最旧的瓦片，或者是基于以前的采集和比较可知是经常变化的瓦片。当车辆系统的视觉传感器正在拍摄或采集瓦片列表的图像数据时，视觉传感器可能不会收集整个图像瓦片的图像数据。视觉传感器可以对图像瓦片的较小部分进行采样以确认或否认该图像瓦片与先前图像数据采集中的相同。如果采样的较小部分相同，则可以更新图像瓦片的时间戳。如果采样的较小部分不同，则视觉传感器可以立即采集整个图像瓦片的图像数据进行比较。

如果所采集的图像数据形成的图像瓦片与预期明显不同，则可以修订地图并且可以标记该图像瓦片以在一段时间内进一步采集，直到再次确认该图像瓦片是稳定且不变的。图像捕获或采集可以由交通网络中的其他过往车辆系统完成。采集进一步的图像数据以确认图像瓦片是稳定且不变的，可以防止图像瓦片因临时状况而被永久修改，临时状况例如路线上堆积的树叶或雪。

元数据可以包括最佳最小样本规模。机器学习(Machine Learning，ML)模型可以用于优化进行单个瓦片的有效比较所需的图像瓦片变体(variation)的最低数量。例如，在光照和天气变化极小的环境中，为了比较可以在一年内使用一个瓦片。根据另一个示例，在具有显著光照和天气差异的环境中，为了比较可能需要两个或三个图像瓦片。机器学习模型可以在报告图像瓦片之间的差异之前检测哪个图像瓦片变体是相匹配的。最佳的瓦片匹配可以与上下文的元数据一起被记录或记载，上下文的元数据包括例如一天中的时间、季节和光照测量。机器学习模型可被用于通过上下文的元数据按优先级顺序比较图像瓦片。该比较可以在第一次匹配之后停止。然后，机器学习模型可以再次确定最佳最小样本规模。机器学习模型可以创建并存储尽可能少的变体，以便在监控随季节和一天中的时间漂移(drift)的模式的同时，全年进行单一匹配比较。

每个车辆系统可以具有采集或捕获图像数据的优先级。车辆系统可以具有低优先级，其可以包括没有被分配进行图像数据采集或捕获。车辆系统的视觉传感器可用于执行滚动、被动抽样检查。捕获或采集的图像数据可能不是图像瓦片的完整采样，而是分散的图像瓦片的较小样本。

车辆系统可以具有图像数据捕获或采集的中优先级。车辆系统可以承担为列表中的特定图像瓦片进行预定的采集和/或确认其与最新的图像数据相比没有改变的任务。视觉传感器可以针对列表中的每个图像瓦片执行图像数据的部分或全部采集。可以将特定的瓦片作为工作列表指定给车辆系统。该列表可以不同于即时采集，而可以依赖于当前的优先级。优先级可以包括正在检查或更新的最旧的瓦片，以及业务和/或上下文规则，这些业务和/或规则在存在不常见但风险高的变化的区域中指示对优先级的修改。例如，如果车辆系统在已知会发生水毁或泥石流的区域中运行，则可以改变或更新车辆系统的优先级。类似于对车辆系统的速度限制，业务和/或上下文规则可以是永久的或暂时的。例如，业务和/或上下文规则可以是不变的或临时的，例如，由于例如雪而修改优先级的季节性规则，或者，由于例如在飓风期间或之后等一次性事件而修改优先级的临时性规则。

车辆系统可以具有数据捕获或采集的高优先级。可能会要求车辆系统确认或拒绝先前的观察结果，该观察结果例如不匹配。视觉传感器可以对一个或多个图像瓦片进行部分或全部采集，并报告变化的内容，或者提交完整采集以便在远程位置或云端进行处理，或供人审核。车辆系统可以例如使用边缘设备来执行对该变化的车载分析。

车辆系统在交通网络中时可以根据不同的优先级运行。车辆系统可以根据高优先级运行，同时根据中优先级和低优先级进行操作。在交通网络中运行时，车辆系统的优先级可能会发生变化。例如，车辆系统可以正根据低优先级运行，但是接收到远程位置的通信或传输而在中优先级和/或高优先级下运行。车辆系统的控制器可以确定视觉传感器的能力以根据每个优先级执行。车辆系统的控制器可以依据，例如控制器的服务小时数，除了视觉传感器用于车辆系统其他操作的要求之外、视觉传感器进行图像数据捕获或收集的可用性或能力，车辆系统上的数据存储容量和/或与远程位置和/或云端的通信可用性，来确定该控制器根据每个优先级运行的资源容量。

参考图3，根据一个实施例的方法300包括步骤310，在开始行程之前，车辆系统下载匹配样本以在环境比较中使用。车辆系统可以将图像瓦片的匹配样本下载到车辆系统上搭载的边缘设备。边缘设备可以包括将车辆系统连接到远程位置的远程通信组件或云存储系统的硬件。该方法可以包括步骤320，当车辆系统在交通网络内行驶时，向该车辆系统发送或传送用于比较的图像瓦片的匹配样本。

该方法可以包括步骤330，将图像瓦片的匹配样本与行驶期间拍摄或采集的图像数据进行滚动比较。当车辆系统在交通网络内的路线行驶时，拍摄或采集的图像数据形成图像瓦片。可以将图像瓦片与在行程之前下载的图像瓦片的匹配样本，和/或与在行程期间发送或传送给该车辆系统的图像瓦片的匹配样本进行比较。该方法可以包括步骤340，观察图像瓦片的匹配样本中的一个或多个与行程中拍摄或采集的图像数据形成的一个或者多个图像瓦片之间的不匹配(mismatch)。该方法可以包括步骤350，记录或记载或存储所观察到的不匹配。观察到的不匹配可以存储在车辆系统上的存储器、远程位置处的存储器和/或云端中。

该方法可以包括步骤360，如果可以同时添加该图像数据，则在记录或记载观测到的不匹配的同时将该数据添加到地图集合。该方法可以包括步骤370，如果可以报告，则在记录或记载观察到的不匹配的同时向云端报告观察到的不匹配。如果无法报告观察到的不匹配，则该方法可以包括保存图像数据、观察到的不匹配以及该报告，直到该系统能够例如通过网络连接到远程位置。

参考图4，方法400可以包括步骤410，由第一车辆(车辆1)创建或更新图像瓦片。该方法可以包括步骤420，第二车辆(车辆2)对该图像瓦片进行采样，并将该图像瓦片与地图中该图像瓦片的记录进行比较。该方法可以包括步骤430，观察到采样的图像瓦片与地图中该图像瓦片的记录之间的不匹配。该方法可以包括步骤435，观察到采样的图像瓦片与地图中该图像瓦片的记录的匹配。该方法可以包括步骤440，重置采集到期以反映观察到的匹配，即，确认该图像瓦片的最新样本与地图集合中该图像瓦片的记录相匹配。

该方法可包括步骤445，指派第三车辆(车辆3)采集该图像瓦片的更广泛的样本或采集该图像瓦片的完整样本(full sample)，以确认或否认所观察到的不匹配。该方法可以包括步骤450，第三车辆基于更广泛的样本或完整样本确认观察到的不匹配，以及步骤460，利用新的图像数据和新的到期时间更新该图像瓦片。

该方法可以包括步骤455，第三车辆基于更广泛的样本或完整样本否认观察到的不匹配。当第三车辆的更广泛的样本或完整样本与该图像瓦片的记录相同时，可以否认观察到的不匹配。该方法可以包括步骤465，记录或报告假阳性(第二车辆观察到的不匹配)。该方法可以包括步骤470，如果视觉传感器或位置所观察到的不匹配具有重复的假阳性，则对相应的图像数据采集进行审查以进行假阳性诊断。

参考图5，方法500可以包括步骤505，利用过往车辆系统的视觉传感器观察一个或多个图像瓦片的意外(unexpected)图像数据。该视觉传感器可能无法确定意外图像数据是什么。该方法可以包括步骤510，车辆系统将观察到的意外图像数据报告或上传到远程位置或云端。该方法可以包括步骤515，远程位置或云端将该图像瓦片标记为通过收集附加图像数据进行确认。根据一个实施例，附加图像数据集合可以不是瓦片图像数据的完整集合。

该方法可以包括步骤520，远程位置或云端派遣下一个通过该区域的可用车辆系统对该图像瓦片的图像数据进行采样。该方法可以包括步骤525，该车辆系统对该图像瓦片进行分散采样并否认不匹配(例如，确定该图像瓦片与地图集合的该图像瓦片相匹配)。该方法可以包括步骤530，车辆系统对该图像瓦片进行分散采样并确认不匹配(例如，确定该图像瓦片与地图集合的该图像瓦片不匹配)。

该方法可以包括步骤535，将分散样本发送到远程位置或云端以供人工审核，以及步骤540，根据上下文对供人工审核和干预的分散样本图像进行排队。该方法可以包括步骤545，远程位置或云端为新一轮、完整的图像数据采集自动对图像瓦片进行优先级排序，以及步骤550，下一可用车辆系统为图像瓦片进行新一轮的图像数据采集。该方法可以包括步骤555，更新图像瓦片的元数据。更新后的元数据可能会影响未来的图像数据采集的优先级。

参考图6，方法600可以包括步骤610，更新图像瓦片的元数据。该方法可以包括步骤620，确定该图像瓦片的已确认变化和该图像瓦片的前一个已确认变化之间的时间(如第一时间)，是否小于两个先前已确认变化之间的时间(如第二时间)。该方法可以包括步骤630，如果第一时间小于第二时间(S620是的分支)，则较当前优先级提前采集该图像瓦片的图像数据。该方法可以包括步骤640，如果第一时间大于或等于第二时间(S620否的分支)，则较当前优先级延后采集该图像瓦片的图像数据。

参考图7，方法700包括步骤710，检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，该图像瓦片集合用于形成空间体积的第一集合视图。该方法可以包括步骤720，基于所检查的图像偏差数据确定是否应对该集合中的一个或多个图像瓦片进行修订以更新空间体积的第一集合视图。该方法可以包括步骤730，步骤730包括(a)调度第一车辆移动穿过或经过该空间体积，并利用一个或多个传感器拍摄一个或多个更新后的图像瓦片；和/或(b)识别正在移动穿过、经过或朝向该空间体积的第二车辆，并利用一个或多个传感器拍摄一个或多个更新后的图像瓦片，响应于确定应对该集合中的一个或多个图像瓦片进行修订。

一种方法可以包括：检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，该图像瓦片集合用于形成空间体积的第一集合视图；基于所检查的图像偏移数据，确定该集合中的一个或多个图像瓦片是否应进行修订，以更新空间体积的第一集合视图。该方法可以包括：响应于确定该集合中的一个或多个图像瓦片需要进行修订，(a)调度具有一个或多个传感器的第一车辆移动穿过或经过该空间体积，以拍摄一个或多个更新后的图像瓦片；和/或(b)识别正在移动穿过、经过或朝向该空间体积的第二车辆，利用一个或多个传感器捕获一个或多个更新后的图像瓦片。

图像偏差数据可以包括一个或多个图像瓦片中的第一图像瓦片的图像数据，与一个或多个图像瓦片中的第二图像瓦片的图像数据之间的差。

图像偏差数据可以包括获得一个或多个图像瓦片中的第一图像瓦片的图像数据的第一时间，与获得一个或者多个图像瓦片中的第二图像瓦片的图像数据的第二时间之间的时间差。

在该集合的一个或多个图像瓦片中，至少一个图像瓦片是不同传感器的输出的组合。

图像瓦片的第一集合视图可以包括两个或多个图像、视频帧或光学传感器输出的数据，它们被拼接在一起形成空间体积的第一集合视图。

图像瓦片的第一集合视图可以包括空间体积的三维图像。

确定该集合中的一个或多个图像瓦片是否应进行修订可以包括：确定一个或多个图像瓦片中先前获取的图像瓦片的数据内容，与最近获取的对应的图像瓦片的数据内容的差异是否超过阈值内容量。

确定该集合中的一个或多个图像瓦片是否应进行修订可以包括：确定在(c)获得一个或多个图像瓦片中先前获取的图像瓦片的数据内容的较早时间，与(d)获得最近获取的图像瓦片的数据内容的较晚时间之间的时间段是否长于阈值时间段。

(a)调度第一车辆和/或(b)识别第二车辆可以包括：指示第一车辆或第二车辆使用车载传感器检测用于更新至少一个图像瓦片的数据，该至少一个图像瓦片比这些图像瓦片中的一个或多个其他图像瓦片更旧，或者与先前变化的频率增加相关联。

(a)调度第一车辆和/或(b)识别第二车辆可以包括：指示第一车辆或第二车辆使用一个或多个传感器中的车载传感器，来检测至少一个图像瓦片的采样部分而非整体的部分数据。该方法可以包括检查由车载传感器检测到的至少一个图像瓦片的部分数据，以确定至少一个图像瓦片的部分数据是否指示至少一个图像瓦片发生了变化。

该方法可以包括响应于确定至少一个图像瓦片没有改变而更新与部分数据相关联的至少一个图像瓦片的时间戳，或响应于确定至少一个图像瓦片发生了变化而指示车载传感器获得至少一个图像瓦片整体的附加数据。

该方法可以包括：(c)调度第三车辆移动穿过或经过该空间体积，利用一个或多个传感器捕获一个或多个更新后的图像瓦片；和/或(d)识别正移动穿过、经过或朝向该空间体积的第四车辆，利用一个或多个传感器捕获一个或多个更新后的图像瓦片，响应于确定至少一个图像瓦片的改变超过了阈值量。

该方法可以包括将该图像瓦片集合至少传送到第三车辆，以使第三车辆在其移动穿过空间体积时控制或改变自身的移动。

一种系统可以包括一个或多个处理器。所述一个或多个处理器可以检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，该图像瓦片集合用于形成空间体积的第一集合视图。所述一个或多个处理器可以基于所检查的图像偏移数据，确定该集合中的一个或多个图像瓦片是否应进行修订，以更新空间体积的第一集合视图。所述一个或多个处理器可以(a)调度第一车辆移动穿过或经过空间体积，利用一个或多个传感器拍摄一个或多个更新后的图像瓦片；和/或(b)识别正在移动穿过、经过或朝向该空间体积的第二车辆，利用一个或多个传感器捕获一个或多个更新后的图像瓦片，以响应于确定该集合的一个或多个图像瓦片需要进行修订。

图像偏差数据可以包括一个或多个图像瓦片中的第一图像瓦片的图像数据，与一个或多个图像瓦片中的第二图像瓦片的图像数据之间的差；和/或，获得一个或多个图像瓦片中的第一图像瓦片的图像数据的第一时间，与获得一个或者多个图像瓦片中的第二图像瓦片的图像数据的第二时间之间的时间差。

图像瓦片的第一集合视图可以包括空间体积的三维图像。

确定该集合中的一个或多个图像瓦片是否应进行修订可以包括：确定一个或多个图像瓦片中先前获取的图像瓦片的数据内容，与最近获取的图像瓦片的数据内容的差异是否超过阈值内容量。

一种系统可以包括控制器。控制器可以检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，该图像瓦片集合用于形成空间体积的第一集合视图。控制器可以基于所检查的图像偏移数据，确定该集合中的一个或多个图像瓦片是否应进行修订，以更新空间体积的第一集合视图。控制器可以响应于确定该集合中的一个或多个图像瓦片应进行修订，指示正在移动穿过、经过或朝向空间体积的车辆利用一个或多个车载传感器捕获一个或多个更新后的图像瓦片的部分数据。控制器可以检查部分数据以确定部分数据是否指示一个或多个更新后的图像瓦片发生了变化。控制器可以响应于确定一个或多个更新后的图像瓦片没有改变，更新一个或多个更新后的图像瓦片的时间戳，或者响应于确定一个或多个更新后的图像瓦片发生了变化，指示一个或多个传感器获取一个或多个更新后的图像瓦片的整体的附加数据。

该车辆可以是第一车辆，并且控制器可以调度第二车辆移动通过或穿过空间体积，利用一个或多个传感器捕获一个或多个更新后的图像瓦片；和/或，识别正在移动通过、穿过或朝向空间体积的第三车辆，利用一个或多个传感器捕获一个或多个更新后的图像瓦片，响应于确定一个或多个图像瓦片的变化超过了阈值量。

该车辆可以是第一车辆，并且控制器可以将该图像瓦片集合至少传送给第二车辆，以使第二车辆在其移动通过空间体积时控制或改变其自身的移动。

在一个实施例中，控制系统可以部署有本地数据收集系统，所述本地数据收集系统可以使用机器学习来实现基于导出(derivation)的学习结果。控制器可以通过进行数据驱动的预测并根据数据集(包含由各个传感器提供的数据)进行调整来对所述数据集进行学习和决策。在实施例中，机器学习可涉及通过机器学习系统执行多个机器学习任务，例如监督学习、无监督学习和强化学习。监督学习可包含向机器学习系统呈现一组示例输入和期望输出。无监督学习可包含通过模式检测和/或特征学习等方法构造其输入的学习算法。强化学习可包含在动态环境中执行然后提供关于正确和不正确决策的反馈的机器学习系统。在实例中，机器学习可包含基于机器学习系统的输出的多个其它任务。在实例中，所述任务可为机器学习问题，例如分类、回归、聚类、密度估计、降维、异常检测等。在实例中，机器学习可包含多种数学和统计技术。在实例中，许多类型的机器学习算法可包含基于决策树的学习、关联规则学习、深度学习、人工神经网络、遗传学习算法、归纳逻辑编程、支持向量机(Support Vector Machine，SVM)、贝叶斯网络、强化学习、表示学习、基于规则的机器学习、稀疏字典学习、相似性和度量学习、学习分类器系统(Learning Classifier System，LCS)、逻辑回归、随机森林、K均值、梯度提升、K-最近邻(K-Nearest Neighbor，KNN)、先验算法等。在实施例中，可以使用某些机器学习算法(例如，用于解决可能基于自然选择的约束和无约束优化问题)。在一个示例中，算法可用于解决混合整数编程问题，其中一些组件被限制为整数值。算法和机器学习技术及系统可用于计算智能系统、计算机视觉、自然语言处理(Natural Language Processing，NLP)、推荐系统、强化学习、建立图形模型等。在一个示例中，机器学习可以用于车辆性能和行为分析等。

在一个实施例中，控制系统可包含可施加一个或多个策略的策略引擎。这些策略可至少部分地基于给定的设备或环境的特性。在控制策略方面，神经网络可接收若干与环境和任务相关的参数的输入。这些参数可包含车辆群组的确定行程计划的识别、来自各个传感器的数据，以及地点和/或位置数据。神经网络可经训练，以基于这些输入生成输出，所述输出表示车辆群组为实现行程计划应采取的动作或动作序列。在一个实施例的操作期间，可通过经由神经网络的参数处理输入以在输出节点处生成值来进行确定，该值将动作指定为期望动作。此动作可转变为致使车辆运行的信号。这可以经由反向传播、前馈过程、闭环反馈或开环反馈来实现。替代地，控制器的机器学习系统可以使用演进策略技术而不是使用反向传播来调谐人工神经网络的各种参数。控制器可以使用神经网络架构，其函数可能并不始终可使用反向传播求解，例如非凸函数。在一个实施例中，神经网络具有表示其节点连接的权重的一组参数。生成此网络的若干副本，且接着对参数作出不同调整，并进行模拟。一旦获得来自各种模型的输出，就可以使用确定的成功度量(success metric)对其性能进行评估。选择最佳模型，且车辆的控制器执行所述计划以实现期望输入数据来反映预测的最佳结果情境。另外，成功度量可以是优化结果的组合，所述优化结果可以相对于彼此进行加权。

如本文所使用，术语“处理器”和“计算机”以及例如“处理装置”、“计算装置”和“控制器”等相关术语可不仅限于本领域中称为计算机的那些集成电路，而是指代微控制器、微计算机、可编程逻辑控制器(PLC)、现场可编程门阵列和专用集成电路，以及其它可编程电路。合适的存储器可以包含例如计算机可读介质。计算机可读介质可为例如随机存取存储器(RAM)、计算机可读非易失性介质，例如快闪存储器。术语“非暂时性计算机可读介质”表示针对短期和长期信息存储实施的有形的基于计算机的装置，所述信息例如为计算机可读指令、数据结构、程序模块和子模块，或任何装置中的其它数据。因此，本文所描述的方法可以被编码为包含在有形的、非暂时的计算机可读介质中的可执行指令，该介质包括但不限于存储设备和/或存储器设备。此类指令在由处理器执行时致使处理器执行本文所述方法的至少一部分。因此，术语包含有形的计算机可读介质，包含(但不限于)非暂时性计算机存储装置，包含(不限于)易失性和非易失性介质，以及可移除式和不可移除式介质，例如固件、物理和虚拟存储装置、CD-ROM、DVD和其它数字源(例如网络或因特网)。

如本文所使用，以单数形式叙述并且跟在词语“一”或“一个”后的元件或步骤应理解为不排除多个所述元件或步骤的复数形式，除非明确陈述此类排除。此外，对本公开的“一个实施例”的提及并不排除包含所叙述特征的附加实施例的存在。此外，除非明确说明，否则“包括”、“包含”、“含有”或“具有”一个或多个具有特定属性的元素的实施例可以包括不具有该属性的额外此类元素。在所附权利要求中，术语“包括”和“其中”被用作各自术语“包含”和“当中”的纯英文等价物。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅作为标签使用，并不对其对象提出数字要求。此外，以下权利要求的限制不是以手段加功能的格式撰写的，除非和直到此类权利要求的限制明确使用“手段”这一短语，后面是没有进一步结构的功能声明。

以上描述旨在为说明性的而非限制性的。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离其范围的情况下，可以进行许多修改以使特定情况或材料适应本文所述主题的教导。虽然本文所描述的材料的尺寸和类型定义了主题的参数，但它们是示例性实施例。通过回顾以上描述，其他实施例对于本领域普通技术人员来说将是显而易见的。因此，应当参考所附权利要求以及这些权利要求所享有的等同物的全部范围来确定主题的范围。

本书面说明书使用实例来公开各实施例，包含最佳模式，并且使用实例来使本领域的普通技术人员能够实践各实施例，包含制作和使用任何装置或系统以及执行任何所结合方法。权利要求书限定了本公开的可取得专利权的范围并且包含本领域的普通技术人员想到的其它实例。如果此类其它实例具有并非不同于权利要求书的字面语言的结构要素，或如果此类其它实例包含与权利要求书的字面语言无实质差异的等效结构要素，则此类其它实例旨在处于权利要求书的范围内。

本文对专利文件或被认定为现有技术的任何其他事项的引用，不应被视为承认该文件或其他事项是已知的，或其包含的信息是截至任何一项权利要求的优先权日的公知常识的一部分。

Claims (10)

1.一种生成图像地图的方法，包括：

检查与图像瓦片集合中的一个或多个图像瓦片相关联的图像偏差数据，其中，所述图像瓦片集合用于形成空间体积的第一集合视图；

基于所检查的所述图像偏差数据，确定所述集合中的所述一个或多个图像瓦片是否应进行修订以更新所述空间体积的所述第一集合视图；以及

响应于确定所述集合中的图像瓦片需要进行修订，(a)调度第一车辆移动穿过或经过所述空间体积并利用一个或多个传感器拍摄一个或多个更新后的图像瓦片，和/或(b)识别正在移动穿过、经过或朝向所述空间体积的第二车辆并利用一个或多个传感器拍摄所述一个或多个更新后的图像瓦片。

2.根据权利要求1所述的方法，其中，所述图像偏差数据包括所述一个或多个图像瓦片中的第一图像瓦片的图像数据与所述一个或多个图像瓦片中的第二图像瓦片的图像数据之间的差。

3.根据权利要求1所述的方法，其中，所述图像偏差数据包括获得所述一个或多个图像瓦片中的第一图像瓦片的图像数据的第一时间与获得所述一个或多个图像瓦片中的第二图像瓦片的图像数据的第二时间之间的时间差。

4.根据权利要求1所述的方法，其中，在所述集合的所述一个或多个图像瓦片中，至少一个所述图像瓦片是不同传感器的输出的组合。

5.根据权利要求1所述的方法，其中，所述第一集合视图包括两个或多个图像、视频帧或从光学传感器输出的数据，所述两个或多个图像、所述视频帧或所述数据被拼接在一起形成所述空间体积的所述第一集合视图。

6.根据权利要求1所述的方法，其中，所述第一集合视图包括所述空间体积的三维图像。

7.根据权利要求1所述的方法，其中，确定所述集合中的所述一个或多个图像瓦片是否应进行修订包括：确定所述一个或多个图像瓦片中先前获得的图像瓦片的数据内容与最近获得的对应的图像瓦片的数据内容的差异是否大于阈值内容量。

8.根据权利要求1所述的方法，其中，确定所述集合中的所述一个或多个图像瓦片是否应进行修订包括：确定在(c)获得所述一个或多个图像瓦片中先前获得的图像瓦片的数据内容的较早时间与(d)获得最近获得的图像瓦片的数据内容的较晚时间之间的时间段是否长于阈值时间段。

9.根据权利要求1所述的方法，其中，(a)调度所述第一车辆和/或(b)识别所述第二车辆包括：指示所述第一车辆或所述第二车辆利用车载传感器检测用于更新至少一个所述图像瓦片的数据，所述至少一个图像瓦片比所述图像瓦片集合中的一个或多个其他图像瓦片更旧，或与先前变化的频率增加有关。

10.根据权利要求1所述的方法，其中，(a)调度所述第一车辆和/或(b)识别所述第二车辆包括：指示所述第一车辆或所述第二车辆使用所述一个或多个传感器中的车载传感器检测至少一个所述图像瓦片的采样部分而非全部的部分数据；

所述方法还包括：

检查所述车载传感器检测到的所述至少一个图像瓦片的所述部分数据，以确定所述至少一个图像瓦片的所述部分数据是否指示所述至少一个图像瓦片发生变化。