CN116762094A - 数据处理方法和设备 - Google Patents

Abstract

一种数据处理方法和设备，包括当可移动平台在空间场景内移动时，控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据；对多帧图像数据进行处理获得地图元数据；其中，地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；判断所述地图元数据是否满足建图质量要求；地图元数据满足建图质量要求，根据地图元数据生成地图数据；其中，地图数据用于控制可移动平台在空间场景内移动。本方案可满足可移动平台个性化地图数据需求，也能保证所生成地图数据的准确度。

Description

数据处理方法和设备 技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种数据处理方法和设备。

背景技术

高精地图数据是车辆自动驾驶的重要基础，对智能汽车发展意义重大。

高精地图数据通常是由地图供应商提供。地图供应商通常只能提供使用量比较大的高精地图数据，而不会提供使用量比较小的高精地图数据。

然而，智能汽车对高精地图的需求是不同的，现有的高精地图供给方式无法适应智能汽车的个性化的地图需求。

发明内容

本申请实施例提供一种数据处理方法和设备，旨在提供一种可适应不同的可移动平台的个性化地图需求的方案。

第一方面，本申请提供一种数据处理方法，包括：

当可移动平台在空间场景内移动时，控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据；

对多帧图像数据进行处理获得地图元数据；其中，地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；

判断所述地图元数据是否满足建图质量要求；

若地图元数据满足建图质量要求，根据地图元数据生成地图数据；其中，地图数据用于控制可移动平台在空间场景内移动。

第二方面，本申请提供一种控制设备，包括：用于存储指令的存储器和用于执行存储在存储器中指令的处理器，处理器用于具体执行：

当可移动平台在空间场景内移动时，控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据；

对多帧图像数据进行处理获得地图元数据；其中，地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；

判断所述地图元数据是否满足建图质量要求；

若地图元数据满足所述建图质量要求，根据地图元数据生成地图数据；其中，地图数据用于控制可移动平台在空间场景内移动。

第三方面，本申请提供一种可移动平台，包括图像传感器以及第二方面所涉及的数据处理方法。

综上所述，本申请实施例提供数据处理方法和设备，可移动平台在移动时采集空间场景的图像数据，并基于图像数据生成地图数据，再使用所采集地图数据控制其运动，可满足可移动平台个性化地图数据需求。基于图像数据生成地图数据，可使用可移动平台上已有图象传感器，无需再配置激光雷达等高成本传感器采集点云，降低地图建构成本。并且，在判断地图元数据满足建图质量要求后再根据地图元数据生成地图数据，保证可移动平台所生成地图数据的准确度。此外，本申请中基于图像数据生成地图数据，地图数据存储更轻量，对于地图的实时更新、维护极具便利。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的可移动平台的结构示意图；

图2为本申请另一实施例提供的数据处理方法的流程示意图；

图3为本申请另一实施例提供的数据处理方法的流程示意图；

图4为本申请另一实施例提供的数据处理方法的流程示意图；

图5为本申请另一实施例提供的数据处理方法的流程示意图；

图6为本申请另一实施例提供的控制设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

现有的高精地图供给方式无法适应智能汽车的个性化的地图需求。为解决上述技术问题，本申请提供一种数据处理方法和设备。本申请的技术构思为：由可移动平台在空间场景内行走时采集空间场景的图像数据，并使用采集的数据生成该地图数据，可以适应可移动平台的对地图数据的个性化需求。在生成地图数据前判断用于生成的地图元数据是否满足建图质量要求，以保证可移动平台生成的地图数据可以准确反应空间场景。且基于图像传感器采集的图像数据生成地图数据，无需高成本的图像传感器，降低地图构建成本。

如图1所示，本申请一实施例提供一种可移动平台100，可移动平台100包括图像传感器101、行驶传感器(图未示)以及控制设备(图未示)。图像传感器101用于采集可移动平台100周围场景的图像数据，行驶传感器用于采集可移动平台的行驶数据，控制设备用于执行如下所描述的数据处理方法，详细信息参考如下描述，此处不再赘述。

本申请可以用于解决自动驾驶功能中的自动泊车问题，可以用于短距离自动泊车过程中的地图构建，例如：300米以内。该地图主要用于记录停车场内各种标志物，包括停车位、交通标志、道路车道线、地标建筑物等。在地图构建之后，可辅助实现自动泊车过程中的停车场位置识别、地图区域内停车位自动搜索、定位地图区域内任意位置车辆等功能的实现。

如图2所示，本申请提供一种数据处理方法，该方法的执行主体为控制 设备，该方法具体包括如下步骤：

S201、当可移动平台在空间场景内移动时，控制设备控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据。

其中，当可移动平台进入某一空间场景时，控制可移动平台上图像传感器工作，图像传感器采集空间场景的图像数据，图像传感器将图像数据传输至控制设备。

优选地，行驶传感器采集可移动平台的位置信息，将采集到的位置信息传输至控制设备，控制设备根据位置信息判断是否进入某一空间场景内，在确定进入指定空间场景时，控制可移动平台上图像传感器工作，图像传感器将采集到的多帧图像数据传输至控制设备。

S202、控制设备对多帧图像数据进行处理获得地图元数据。

其中，地图元数据用于生成地图数据，地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合。

三维特征点用于反映场景空间内物体的位置和形状，纹理数据用于反映场景空间内物体的表面信息，语义信息用于反映纹理数据和三维特征点所表示物体的类别。

通过对图像数据进行提取二维特征数据、多帧图像数据中二维特征数据匹配、以及语义识别等处理，获得上述地图元数据。

进一步的，判断所述地图元数据是否满足建图质量要求，步骤S203列举了一种具体的实施方式：

S203、若地图元数据满足建图质量要求，控制设备根据地图元数据生成地图数据。

其中，建图质量要求用于确定上述地图元数据是否足够丰富，也就是地图元数据的数量是否足够多，以及地图元数据的数据种类是否足够多。

若地图元数据足够丰富，使用该地图元数据构建的地图数据的质量越高，也就是地图数据更加准确描述该空间场景。若地图元数据的数据量小且种类单一，使用该地图元数据构建的地图数据的质量较低，也就是地图数据无法准确描述该空间场景。

当地图元数据满足建图质量要求时，对地图元数据进行处理获得地图数据，例如：对地图元数据进行图像化处理获得各个图层。

地图数据用于控制可移动平台在空间场景内移动。控制设备可以根据上一时刻生成的地图数据控制可移动平台在当前时刻在空间场景内移动。控制设备也可以在下一次再次进入空间场景时，根据所生成的地图数据控制可移动平台在空间场景内移动。

在上述技术方案中，由可移动平台采集行走过程中图像数据，并根据图像数据生成的地图数据，再使用所采集地图数据控制其行走，可满足可移动平台个性化地图数据需求，且直接利用可移动平台已有的图像传感器采集数据，无需配置高成本的传感器，例如：激光雷达等。另外，在判断地图元数据满足建图质量要求后，再根据地图元数据生成地图数据，保证所生成地图数据的准确度。

如图3所示，本申请另一实施例提供一种数据处理方法，该方法的执行主体为控制设备，该方法具体包括如下步骤：

S301、当可移动平台在空间场景内移动时，控制设备控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据。

其中，可移动平台上布置有多个图像传感器，多个图像传感器位于可移动平台的四周，用于采集可移动平台所处空间场景内的图像数据，控制设备在获取图像数据时，同时获取采集该图像数据的图像传感器。

S302、控制设备对多帧图像数据进行处理获得地图元数据。

其中，该步骤已经在上述实施例中详细说明，此处不再赘述。

S303、控制设备使用图像传感器的标识对地图元数据进行来源标记，获得标记后的地图元数据；

其中，在对多帧图像数据进行处理获得地图元数据后，使用采集该图像数据的图像传感器的标识对获得的地图元数据进行标记。也就是对地图元数据进行数据来源标记。

S304、若标记后的地图元数据满足建图质量要求，控制设备根据标记后的地图元数据生成标记后的地图数据。

其中，建图质量要求用于判断标记后的地图数据是否足够丰富。地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合。

建图质量要求包括以下至少一项：三维特征点的总数量达到第一数量阈 值；至少存在两个在三个坐标轴上的分量均不相同的三维特征点；纹理数据的总数量达到第二数量阈值；纹理数据的种类数量达到第三数量阈值；语义信息的总数量达到第四数量阈值；以及语义信息的种类数量达到第五数量阈值。

通过判断三维特征点的总数量是否达到第一数量阈值，确定三维特征点在数量上是否足够丰富。通过判断是否至少存在两个在三个坐标轴上的分量均不相同的三维特征点，确定三维特征点在类型上是否足够丰富。若所有三维特征点都位于同一个平面，也就是所有三维特征点在其中一个坐标轴上的分量相同，例如：所有三维特征点的z轴方向上的分量相同，也就是三维特征点仅能表示一个平面，而无法表示丰富的三维空间场景。

通过判断纹理数据的总数量是否达到第二数量阈值，确定纹理数据在数量上是否足够丰富。通过判断纹理数据的种类数量是否达到第三数量阈值，确定纹理数据在类型上是否足够丰富。

通过判断语义信息的总数量是否达到第四数量阈值，确定纹理数据在数量上是否足够丰富。通过判断语义信息的种类数量是否达到第五数量阈值，确定语义信息在类型上是否足够丰富。

针对上述地图元数据，结合其在数量和类型上的丰富程度，确定地图元数据是否满足建图质量要求，基于该地图元数据生成的地图数据可以准确反应空间场景。

在得到满足建图质量要求的地图元数据后，根据标记后的地图元数据生成地图数据。生成地图数据的过程具体包括如下至少一项：

根据标记后的三维特征点和标记后的纹理数据生成标记后的特征数据图层；以及根据标记后的语义信息生成标记后的语义信息图层。

优选地，对标记后的三维特点和标记后的纹理数据进行图像化处理，获得标记后的特征数据图层。对标记后的语义信息进行图像化处理，获得标记后的语义信息图层。

在其他实施例中，可根据标记后的语义信息生成停车位图层，具体包括：从标记后的语义信息中提取表示停车位的语义信息，根据所表示停车位的语义信息进行图像化处理生成标记后的停车位图层。

其中，标记后的地图数据包括用于指示数据来源的标记信息。在使用地 图数据时，可以根据地图数据的标记信息和移动方向筛选地图数据，再使用筛选得到的地图数据控制可移动平台移动，实现减少地图数据使用过程的数据处理量，以使可移动平台可以更快速地根据地图数据生成控制指令。

在上述技术方案中，结合各个地图元数据在数量和类型上的丰富程度判断地图元数据是否满足建图质量要求，可根据该地图元数据获得准确反应空间场景的地图数据。此外，对地图元数据进行来源标记处理，使得所获得的地图数据也可以体现数据来源，在使用地图数据时可以根据数据来源筛选数据，减少数据处理量，进而可根据地图数据快速生成控制指令，以控制可移动平台精准移动。

如图4所示，本申请另一实施例提供一种数据处理方法，该方法的执行主体为控制设备，该方法具体包括如下步骤：

S401、当可移动平台在空间场景内移动时，控制设备控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据。

S402、控制设备对多帧图像数据进行处理获得地图元数据。

S403、控制设备使用图像传感器的标识对地图元数据进行来源标记，获得标记后的地图元数据、

S404、若标记后的地图元数据满足建图质量要求，控制设备根据标记后的地图元数据生成标记后的地图数据。

其中，S401至S404已经在上述实施例中详细说明，此处不再赘述。

S405、控制设备获取可移动平台的移动方向和图像传感器采集的实时数据。

其中，控制设备在生成标记后的地图数据后，控制设备可以根据上一时刻生成的地图数据控制可移动平台在当前时刻在空间场景内移动。也可以在下一次再次进入空间场景时，根据所生成的地图数据控制可移动平台在空间场景内移动。

可移动平台在该空间场景内移动时，由行驶传感器采集可移动平台的移动方向，由图像传感器采集空间场景的实时数据。控制设备基于可移动平台的移动方向、实时数据以及地图数据实时控制可移动平台在空间场景内移动。

S406、控制设备根据标记信息从标记后的地图数据中获取与移动方向匹 配的目标数据。

其中，地图数据的标记信息用于反映地图数据的数据来源，也就是也可以确定采集地图数据所对应的图像数据的图像传感器。而图像传感器在可移动平台上的安装位置是固定的，进而可以根据标记信息确定采集该地图数据所对应的图像数据的图像传感器的位置信息。再结合可移动平台的移动方向和上述位置信息从地图数据中选择目标数据。

更具体地，若可移动车辆移动方向为向前行走，从地图数据中获取来源于安装在可移动平台前方的图像传感器的地图数据作为目标数据。若可移动车辆的移动方向为向后行走，从地图数据中获取来源于安装在可移动平台后方的图像传感器的地图数据作为目标数据。

S407、控制设备根据实时数据和目标数据生成控制指令。

其中，图像传感器采集的实时数据也为图像数据，控制设备对图像数据进行特征提取等处理，并根据处理后的实时数据与地图数据确定可移动平台的位置信息，再根据位置信息和地图数据生成用于控制可移动平台移动的控制指令，以使可移动平台在控制指令的控制下在空间场景内移动。

在根据处理后的实时数据与地图数据确定可移动平台的位置信息时，将处理后的实时数据与地图数据进行匹配获得匹配结果，并根据匹配成功的地图数据确定可移动平台的位置信息。

在另一实施例中，控制设备将实时数据与目标数据进行匹配获得匹配结果后，根据匹配结果设置目标数据的可靠值。

更具体地，若匹配结果为匹配成功，设置目标数据的可靠值为第一可靠值，若匹配结果为匹配失败，设置目标数据的可靠值为第二可靠值。其中，第一可靠值大于第二可靠值。

在获得目标数据的可靠值后，控制设备统计目标数据的可靠值获得可靠性统计结果，当可靠性统计结果满足低可靠性条件时，删除目标数据，以实现对地图数据的优化。

在对目标数据的可靠值进行统计时，若可靠性统计结果为可靠值均值，低可靠性条件为可靠值均值小于预设均值。

在上述技术方案中，在控制设备生成带来源标记的地图数据后，根据标记信息从地图数据中选择目标数据，并根据目标数据和图像传感器采集到的 实时数据控制可移动平台移动，通过筛选获得目标数据，减少地图数据使用过程中的数据处理量，控制设备可以更快速生成控制指令，使可移动设备可靠地在空间场景内移动。另外，在控制设备将实时数据和目标数据进行匹配时，用匹配结果标记目标数据，实现对地图数据的优化。

下面以可移动平台为智能汽车为例说明本申请提供的数据处理方法，该方法的执行主体为智能汽车内的控制设备，例如：行车电脑，该方法具体包括如下步骤：

S501、当可移动平台在空间场景内移动时，控制设备控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据。

其中，智能汽车上设有单目相机，例如：如行车记录仪，以及安装在智能汽车车内四周的鱼眼相机，上述相机用于采集某一空间场景内的图像数据，例如：地下停车场。智能汽车上还安装有行驶传感器，例如：低精度惯性导航单元、里程计、GPS等。

本申请提供的数据处理方法无需智能汽车在新增传感器，使用上述传感器即可生成地图数据以及控制智能车辆行驶。

S502、控制设备对多帧图像数据进行处理获得地图元数据。

其中，控制设备在获取上述相机采集的多帧图像数据，以及上述行驶传感器采集的行驶数据后，对多帧图像数据进行处理获得地图元数据。具体包括如下步骤：

S5001、利用上述行驶数据计算两帧图像数据之间帧间位姿。

可以使用VIO、VO算法对图像数据和行驶传感器采集数据进行处理，估算出两帧图像数据之间帧间位姿。帧间位姿作为图像数据处理的基础。也可以使用行驶传感器估算帧间位姿，例如：对里程计和惯性测量单元采集数据进行积分获得帧间位姿。

S5002、提取多帧图像数据中的二维特征数据。

其中，对单目相机采集的图像数据和鱼眼相机采集的图像数据进行特征提取。优选地，从图像数据中提取得到几何特征，例如：物体边缘、角点、平面、显著点、特殊纹理等。还提取图像数据中纹理数据、梯度数据、像素色彩等数据。这些特征信息具有时间稳定、角度稳定、尺度稳定等特性，可 以在不同的角度、不同距离、不同时间段都能稳定、一致的观测性。

在对图像数据进行特征提取获得二维特征数据时，也利用提取到纹理数据、梯度数据、像素色彩等对二维特征数据进行编码，以便进行特征匹配以及构建地图词典。

在特征提取的时候，需要对鱼眼相机采集的图像数据进行校正处理，例如：将鱼眼相机模型下图像数据转换为针孔相机模型下图像数据，针孔图像数据中二维特征数据和转换后的鱼眼图像数据中的二维特征数据可以融合，有利于进行特征匹配处理。

S5003、对帧间位姿和二维特征数据进行特征匹配。

其中，主要是对所提取的特征进行时序关联。常见的时序关联方法包括帧间关联、窗口关联、回环关联等算法。

帧间关联主要为对相邻两个图像，例如：采集时间间隔50毫秒的图像，或，所显示位置间隔20厘米的图像，通常帧间匹配会有较多的特征关联。

窗口关联主要是指对一段时间或距离范围内的所有特征进行关联，通过特征关联的数量统计，可以得到特征的稳定性、一致性等性能指标的测量。

例如，当一个二维特征数据在一个窗口内能关联到大量图像，例如：如30帧图像，该二维特征数据是高质量的二维特征数据，对时间和空间变化有较好的鲁棒性。

S5004、根据特征匹配结果计算出三维特征点。

其中，计算三维特征点是基于三点共面假设，利用两个不同位置的图像对相同物体的观测，并计算出物体的三维坐标。在本申请中，使用两帧图像数据的帧间位姿和匹配结果实现图像特征数据的三角化，得到三维特征点。

S5005、提取多帧图像数据的语义信息。

其中，提取语义信息主要是将提取空间场景中具有明确类别的物体信息，例如：地面车道线、停车位、指示箭头等，空中防撞条、悬挂指示牌、大块墙壁、柱子等。语义信息通常是比较稳定的元素，通常只有在环境变化时，例如：停车场维修重建等，才会出现语义信息失效，可以准确反应空间场景。

S503、使用图像传感器的标识对地图元数据进行来源标记，获得标记后的地图元数据。

其中，为了实现一次性构建地图数据，会使用位于不同方位的相机采集 图像数据，例如：使用单目相机和鱼眼相机采集图像数据。在采集图像数据时，根据对不同相机所采集图像数据的特征进行标记。在使用地图数据时，根据智能车辆的行驶方向筛选不同的地图元数据进行匹配。

S504、若标记后的地图元数据满足建图质量要求，控制设备根据标记后的地图元数据生成标记后的地图数据。

其中，通过对空间三维特征点的丰富性、语义信息的丰富程度以及纹理数据的丰富程度等信息，判断所获得的地图元数据是否符合建图质量要求。如果不符合要求，控制设备发出警示信息，以警示选择更合适的空间场景，更合适的时间段进行地图构建等。

若所获得的地图元数据符合建图质量要求，则生成标记后的地图数据。更具体地，对标记后的三维特点和标记后的纹理数据进行图像化处理，获得标记后的特征数据图层。对标记后的语义信息进行图像化处理，获得标记后的语义信息图层。

在生成特征数据图层和语义信息图层后，可以基于个性化需求生成相应图层，以供智能汽车自动驾驶。例如：构建关键帧词典。

下面以生成停车场的地图数据为例说明生成地图数据的过程：智能车辆沿着图中路径行驶时，鱼眼相机和前视相机采集停车场内图像数据，将鱼眼相机采集的图像数据拼接成环视俯视图，再将环视俯视图和单目相机采集的图像拼接成地面图像，然后利用深度学习的方法实现停车位的识别和提取，主要包括车道线、停车位、地面指示箭头等信息，作为语义地图的重要组成部分。

通过停车位的识别，可以实现地图中的有效车位、无效车位、专属车位、车位号码等信息的识别与存储，用于客户进行自动泊车时的交互选择。

在停车位的检测结果中，可能会出现噪声、错误检测等，需要对多次观测的停车位进行位置、类型、尺寸等信息的融合滤波获得语义图层，再结合停车场的特征数据图层，最后形成停车场的地图数据。

在生成地图数据后，可以对地图数据进行优化。具体包括：三维点的位置、相机的位姿以及语义地图质量。

S505、控制设备获取可移动平台的移动方向和图像传感器采集的实时数据。

其中，控制设备获取智能汽车的行驶方向，并获取鱼眼相机和单目相机采集的图像数据。

S506、根据所述标记信息从所述标记后的地图数据中获取与所述移动方向匹配的目标数据。

其中，在智能车辆行驶方向向前行驶时，会利用单目相机采集图像数据对应的地图数据进行定位，在智能车辆向后行驶，会采用利用鱼眼相机采集图像数据对应的地图数据进行定位，以使智能车辆拥有更加快速和更加强大的定位能力。

S507、控制设备根据所述实时数据和所述目标数据生成控制指令。

其中，控制设备将实时数据与地图数据进行匹配获得匹配结果，并根据匹配成功的地图数据确定智能车辆的位置信息，再根据智能车辆的位置信息控制智能车辆行驶。

在上述技术方案中，在控制设备生成带来源标记的地图数据后，根据标记信息从地图数据中选择目标数据，并根据目标数据和图像传感器采集到的实时数据控制车辆行驶，减少地图数据使用过程中的数据处理量，以实现智能汽车的快速定位，进而更可靠地控制智能汽车行驶。

如图5所示，本申请另一实施例提供一种数据处理方法，该方法的执行主体为智能汽车内的控制设备，例如：行车电脑，该方法具体包括如下步骤：

S601、根据可移动平台上传感器采集的多帧数据获得帧间位姿。

其中，可移动平台为智能汽车，在智能汽车前方安装有行车记录仪，该行车记录仪中针孔相机作为图像传感器。在智能汽车的四周安装有鱼眼相机，该鱼眼相机也作为图像传感器。针孔相机和鱼眼相机用于采集空间场景的图像数据。

智能汽车上还安装有里程计、惯性测量单元(Inertial Measurement Unit，简称：IMU)以及GPS，惯性测量单元、GPS以及里程计用于采集智能汽车的行驶数据，例如：加速度、速度、行驶里程、行驶位置等数据。

在使用针孔相机采集到多帧图像数据和使用里程计和IMU采集到智能汽车的行驶数据后，根据多帧图像数据、里程计以及IMU采集的行驶数据估算帧间位姿。

在估算帧间位姿时，可使用单目视觉惯性系统(visual inertial system简称：VINS)算法，也可以使用视觉惯性里程计(visual inertial odometer，简称：VIO)算法或者惯性里程计(visual odometer，简称：VO)算法，也可以基于轮速和IMU输出行驶数据的积分估算帧间位姿。

估算帧间位姿作为整个数据处理方法的重要的系统基础，其质量会直接影响后续地图数据优化步骤的计算耗时。

S602、提取多帧图像数据中的二维特征数据。

其中，该步骤主要是对针孔相机采集的图像数据以及鱼眼相机采集的图像数据进行特征提取获得特征数据。该特征数据为二维特征数据。

二维特征数据包括几何特征数据，例如：物体边缘、角点、平面、显著点、特殊纹理等特征。这些特征信息具有时间稳定、角度稳定、尺度稳定等特性，在不同的角度、不同距离、不同时间段比较稳定，且保持一致的观测性。同时，对二维特征数据进行有效的表达，利用纹理数据、梯度数据、像素色彩数据等对二维特征数据进行编码，编码后的二维特征数据用于特征匹配和词典数据。

在进行特征提取时，对鱼眼相机采集的图像数据进行校正处理，实现鱼眼相机模型下的图像数据被转换到针孔相机模型下，转换后，针孔相机采集的图像数据的二维特征数据和鱼眼相机采集的图像数据的二维特征数据可以融合，以实现稳定性和一致性更高的特征匹配。

S603、对针孔相机采集的图像数据进行语义信息的提取。

其中，语义信息处理部分主要是将空间场景的图像数据中具有明确含义的物体，如车道线、停车位、指示箭头等地面物体，防撞条、悬挂指示牌、大块墙壁、柱子等空间中的物体进行类别识别，获得语义信息。语义信息通常是比较稳定的元素，通常只有在大范围的环境变化，如停车场维修重建等的情况才会出现语义信息不可用的情况。

S604、将鱼眼相机采集图像拼接成环视俯视图。

其中，具体拼接方式采用现有技术，此次不再赘述。在获得环视俯视图后，通过对环视俯视图进行语义信息提取，主要包括车道线、停车位、地面指示箭头等语义信息提取，可以作为语义信息图层的重要组成部分。

通过对环视俯视图中停车位的识别，可以实现地图中的有效车位、无效 车位、专属车位、车位号码等信息的识别与存储，用于客户进行自动泊车时的交互选择。

S605、基于S601中估算的帧间位姿对S602中提取的二维特征数据进行匹配。

其中二维，特征数据的匹配主要是对所提取的二维特征数据进行时序关联。可以使用帧间关联、窗口关联、回环关联等算法进行匹配。

帧间关联主要为对相邻两个图像进行关联，例如，间隔50毫秒，或间隔20厘米，通常帧间匹配会有较多的特征关联。

窗口关联主要是对在一个固定或非固定的时间或固定或非固定距离范围内的所有特征进行关联，通过对特征关联的数量统计得到该特征的稳定性、一致性等性能指标值。例如，当一个二维特征数据在一个窗口内能关联到大量图像，如30帧图像，那表明该二维特征数据质量非常高，对时间和空间变化有较好的鲁棒性。

回环匹配是指在同一个空间场景可能会采集多次数据。这种情况下，通过把二维特征数据关联到不同时段的图像数据，既能识别出当前位置是否已经构建地图，也可以对多次观测的空间场景的图像数据进行有效的融合和更新。

S606、基于S602中提取二维的特征数据构建地图数据中的关键帧词典。

其中，构建关键帧词典是指对空间场景的图像数据的特征进行聚类，利用多个二维特征数据的组合来表达当前场景。关键帧词典的构造可以采用二维特征数据之外，也可以使用语义信息、深度学习描述子等等。

词典的表达的作用包括：第一，对场景的丰富程度的表达。如果一个空间场景的地图数据中关键帧词典比较丰富，表示这个空间场景的地图数据具有丰富的纹理数据、几何特征、语义信息等。当空间场景的地图数据中关键帧词典丰富程度较低，表示该空间场景的地图数据质量差，用户无法使用该地图对智能车辆控制，例如：自动泊车，对用户的预期管理有促进作用。第二，关键帧词典可以用于泊车重定位时的位置识别。在重定位初始化时，车辆需要找到当前在地图中的位置。通过关键帧词典的匹配，快速找到车辆当前在地图中的大概位置，再通过语义信息和二维特征数据的匹配，就可以实现精确的位置估计。

S607、提取环视俯视图和针孔相机采集的图像数据中停车位信息。

其中，环视鱼眼采集的图像数据的拼接而成的环视俯视图和针孔相机采集的图像数据可以反映远距离的完整地面图像。使用深度学习的方法实现停车位的识别和提取，深度学习方法此处不再赘述。

在停车位的识别结果中可能会出现噪声、错误识别等问题，需要对多次采集的图像数据进行停车位的位置、类型、尺寸等信息的融合滤波，得出多个连续稳定高质量的停车位图层。

S608、根据特征匹配结果获得三维特征点。

其中，根据特征匹配结果获得三维特征点是实现特征数据的三角化，也就是将二维特征数据转换为三维特征数据。

三角化步骤主要是基于三点共面假设，利用对相同物体在两个不同位置观测获得的图像计算出物体的三维坐标，传统的SFM技术需要同时估计相机之间的位姿和点云的三维坐标，本申请中在估算出帧间位姿后，基于帧间位姿对二维特征数据进行匹配，再基于匹配结果快速的实现特征数据的三角化。

S609、判断地图元数据是否满足建图质量要求。

其中，地图元数据是指在上述步骤中获得的三维特征点、语义信息以及纹理数据。通过对三维特征点的数量、三维特征点在空间的丰富性、语义特征的丰富程度、场景纹理的丰富程度、环境照度等信息，综合判断基于当前所获得地图元数据构建的地图数据的构建质量是否符合建图质量要求。具体建图质量要求已经在上述实施例中详细说明，此次不再赘述。

如果不符合建图质量要求，控制设备会发出警示信息，以警示用户更换空间场景、更好的天气、更好时间点进行地图构建。

S610、根据地图元数据生成地图数据，并对地图数据进行优化。

其中，在满足建图质量要求时，基于地图元数据构建的地图数据用于自动泊车控制时可以满足自动泊车需求，则会对地图数据进行统一的质量优化。优化内容包括：三维特征点的位置、相机的位姿、以及语义图层的质量。例如：语义元素的位置、角度、大小、类别等等优化。

S611、将地图数据按照不同图层进行存储。

其中，当地图数据构建完成后，将地图数据进行不同图层的存储，例如：特征数据图层、语义信息图层、导航数据图层、关键帧词典图层等。不同图 层可以用于为自动泊车定位功能提供数据。

此外，为了实现一次性构建地图数据，会对不同相机采集的图像数据的地图元数据进行编码，在不同定位阶段会采用不同相机采集的图像数据的地图元数据进行匹配。例如，在车辆前进时，利用前视相机采集的图像数据的地图元数据做匹配和定位，在车辆后退时，采用后视鱼眼相机采集的图像数据的地图元数据进行匹配和定位，实现更加快速和强大的地图构建能力。

在使用地图数据进行自动泊车时，控制设备将匹配上的地图元数据增加权重，而没有匹配上的地图元数据减少权重，并将一定数量的高质量地图元数据添加到地图中，实现地图地图元数据的及时更新，保证地图的长久时效性和高质量。

在上述技术方案中，构建纯视觉的轻量级地图数据，避免复杂且需人工干预的高精地图构建，所构建地图数据具有极低的硬件成本要求，且能快速实现高质量的地图数据构建。经大量测试，所构建地图数据能有效用于自动泊车过程中的定位问题，通过大量学习实现专属车位选择、选定任意车位泊车、停车场巡航泊车等功能，能很好的辅助人机交互，并为代客泊车、记忆泊车等功能提供地图导航、实时路径规划等提供帮助。

如图6所示，本申请提供一种控制设备700，该控制设备700具体包括：用于存储指令的存储器701和用于执行存储在存储器中指令的处理器702，处理器702用于具体执行：

当可移动平台在空间场景内移动时，控制位于可移动平台上的图像传感器采集空间场景的多帧图像数据；

对多帧图像数据进行处理获得地图元数据；其中，地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；

判断所述地图元数据是否满足建图质量要求；

若地图元数据满足建图质量要求，根据地图元数据生成地图数据；其中，地图数据用于控制可移动平台在空间场景内移动。

可选地，建图质量要求包括以下至少一项：

三维特征点的总数量达到第一数量阈值；

至少存在两个在三个坐标轴上的分量均不相同的三维特征点；

纹理数据的总数量达到第二数量阈值；

纹理数据的种类数量达到第三数量阈值；

语义信息的总数量达到第四数量阈值；

语义信息的种类数量达到第五数量阈值。

可选地，处理器702用于具体执行：

使用图像传感器的标识对地图元数据进行来源标记，获得标记后的地图元数据；

根据地图元数据生成地图数据，具体包括：

根据标记后的地图元数据生成标记后的地图数据；

其中，标记后的地图数据包括用于指示数据来源的标记信息。

可选地，处理器702用于具体执行以下至少一项：

根据标记后的三维特征点和标记后的纹理数据，生成标记后的特征数据图层；

根据标记后的语义信息生成标记后的语义信息图层。

可选地，处理器702用于具体执行：

获取可移动平台的移动方向和图像传感器采集的实时数据；

根据标记信息从标记后的地图数据中获取与移动方向匹配的目标数据；

根据实时数据和目标数据生成控制指令；其中，控制指令用于控制可移动平台移动。

可选地，处理器702用于具体执行：

若移动方向为向前移动，从地图数据中获取来源于安装在可移动平台前方的图像传感器的地图数据作为目标数据；

若移动方向为向后移动，从地图数据中获取来源于安装在可移动平台后方的图像传感器的地图数据作为目标数据。

可选地，处理器702用于具体执行：

将实时数据和目标数据进行匹配获得匹配结果；

根据匹配成功的目标数据获得可移动平台的位置信息；

根据可移动平台的位置信息生成控制指令。

可选地，处理器702用于具体执行：

根据匹配结果设置目标数据的可靠值。

可选地，处理器702用于具体执行：

若匹配结果为匹配成功，设置目标数据的可靠值为第一可靠值；

若匹配结果为匹配失败，设置目标数据的可靠值为第二可靠值；

其中，第一可靠值大于第二可靠值。

可选地，处理器702用于具体执行：

统计目标数据的可靠值，获得可靠性统计结果；

当可靠性统计结果满足低可靠性条件时，删除目标数据。

可选地，图像传感器包括单目相机和/或鱼眼相机。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (23)

1. 一种数据处理方法，其特征在于，包括：

   当可移动平台在空间场景内移动时，控制位于所述可移动平台上的图像传感器采集所述空间场景的多帧图像数据；

   对所述多帧图像数据进行处理获得地图元数据；其中，所述地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；

   判断所述地图元数据是否满足建图质量要求；

   若所述地图元数据满足所述建图质量要求，根据所述地图元数据生成地图数据；其中，所述地图数据用于控制所述可移动平台在所述空间场景内移动。
2. 根据权利要求1所述的方法，其特征在于，所述建图质量要求包括以下至少一项：

   所述三维特征点的总数量达到第一数量阈值；

   至少存在两个在三个坐标轴上的分量均不相同的三维特征点；

   所述纹理数据的总数量达到第二数量阈值；

   所述纹理数据的种类数量达到第三数量阈值；

   所述语义信息的总数量达到第四数量阈值；

   所述语义信息的种类数量达到第五数量阈值。
3. 根据权利要求1或2所述的方法，其特征在于，在对所述多帧图像数据进行处理获得地图元数据之后，所述方法还包括：

   使用所述图像传感器的标识对所述地图元数据进行来源标记，获得所述标记后的地图元数据；

   根据所述地图元数据生成地图数据，具体包括：

   根据所述标记后的地图元数据生成标记后的地图数据；

   其中，所述标记后的地图数据包括用于指示数据来源的标记信息。
4. 根据权利要求3所述的方法，其特征在于，根据所述标记后的地图元数据生成所述地图数据，包括以下至少一项：

   根据标记后的三维特征点和标记后的纹理数据，生成标记后的特征数据图层；

   根据标记后的语义信息生成标记后的语义信息图层。
5. 根据权利要求3或4所述的方法，其特征在于，在根据所述标记后的地图元数据生成标记后的地图数据之后，所述方法还包括：

   获取所述可移动平台的移动方向和所述图像传感器采集的实时数据；

   根据所述标记信息从所述标记后的地图数据中获取与所述移动方向匹配的目标数据；

   根据所述实时数据和所述目标数据生成控制指令；其中，所述控制指令用于控制所述可移动平台移动。
6. 根据权利要求5所述的方法，其特征在于，根据所述标记信息从所述标记后的地图数据中获取与所述移动方向匹配的目标数据，具体包括：

   若所述移动方向为向前移动，从所述地图数据中获取来源于安装在所述可移动平台前方的图像传感器的地图数据作为所述目标数据；

   若所述移动方向为向后移动，从所述地图数据中获取来源于安装在所述可移动平台后方的图像传感器的地图数据作为所述目标数据。
7. 根据权利要求5所述的方法，其特征在于，根据所述实时数据和所述目标数据生成控制指令，具体包括：

   将所述实时数据和所述目标数据进行匹配获得匹配结果；

   根据匹配成功的目标数据获得所述可移动平台的位置信息；

   根据所述可移动平台的位置信息生成所述控制指令。
8. 根据权利要求7所述的方法，其特征在于，在将所述实时数据和所述目标数据进行匹配获得匹配结果之后，所述方法还包括：

   根据所述匹配结果设置所述目标数据的可靠值。
9. 根据权利要求8所述的方法，其特征在于，根据所述匹配结果设置所述目标数据的可靠值，具体包括：

   若所述匹配结果为匹配成功，设置所述目标数据的可靠值为第一可靠值；

   若所述匹配结果为匹配失败，设置所述目标数据的可靠值为第二可靠值；

   其中，所述第一可靠值大于所述第二可靠值。
10. 根据权利要求8所述的方法，其特征在于，在根据所述匹配结果设置所述目标数据的可靠值之后，所述方法还包括：

    统计所述目标数据的可靠值，获得可靠性统计结果；

    当所述可靠性统计结果满足低可靠性条件时，删除所述目标数据。
11. 根据权利要求1至10中任意一项所述的方法，其特征在于，所述图像传感器包括单目相机和/或鱼眼相机。
12. 一种控制设备，其特征在于，包括：用于存储指令的存储器和用于执行存储在存储器中指令的处理器，所述处理器用于具体执行：

    当可移动平台在空间场景内移动时，控制位于所述可移动平台上的图像传感器采集所述空间场景的多帧图像数据；

    对所述多帧图像数据进行处理获得地图元数据；其中，所述地图元数据包括三维特征点、纹理数据以及语义信息中任意一种或多种组合；

    判断所述地图元数据是否满足建图质量要求；

    若所述地图元数据满足所述建图质量要求，根据所述地图元数据生成地图数据；其中，所述地图数据用于控制所述可移动平台在所述空间场景内移动。
13. 根据权利要求12所述的控制设备，其特征在于，所述建图质量要求包括以下至少一项：

    所述三维特征点的总数量达到第一数量阈值；

    至少存在两个在三个坐标轴上的分量均不相同的三维特征点；

    所述纹理数据的总数量达到第二数量阈值；

    所述纹理数据的种类数量达到第三数量阈值；

    所述语义信息的总数量达到第四数量阈值；

    所述语义信息的种类数量达到第五数量阈值。
14. 根据权利要求12或13所述的控制设备，其特征在于，所述处理器用于具体执行：

    使用所述图像传感器的标识对所述地图元数据进行来源标记，获得所述标记后的地图元数据；

    根据所述地图元数据生成地图数据，具体包括：

    根据所述标记后的地图元数据生成标记后的地图数据；

    其中，所述标记后的地图数据包括用于指示数据来源的标记信息。
15. 根据权利要求14所述的控制设备，其特征在于，所述处理器用于具体执行以下至少一项：

    根据标记后的三维特征点和标记后的纹理数据，生成标记后的特征数据 图层；

    根据标记后的语义信息生成标记后的语义信息图层。
16. 根据权利要求14或15所述的控制设备，其特征在于，所述处理器用于具体执行：

    获取所述可移动平台的移动方向和所述图像传感器采集的实时数据；

    根据所述标记信息从所述标记后的地图数据中获取与所述移动方向匹配的目标数据；

    根据所述实时数据和所述目标数据生成控制指令；其中，所述控制指令用于控制所述可移动平台移动。
17. 根据权利要求16所述的控制设备，其特征在于，所述处理器用于具体执行：

    若所述移动方向为向前移动，从所述地图数据中获取来源于安装在所述可移动平台前方的图像传感器的地图数据作为所述目标数据；

    若所述移动方向为向后移动，从所述地图数据中获取来源于安装在所述可移动平台后方的图像传感器的地图数据作为所述目标数据。
18. 根据权利要求16所述的控制设备，其特征在于，所述处理器用于具体执行：

    将所述实时数据和所述目标数据进行匹配获得匹配结果；

    根据匹配成功的目标数据获得所述可移动平台的位置信息；

    根据所述可移动平台的位置信息生成控制指令。
19. 根据权利要求18所述的控制设备，其特征在于，所述处理器用于具体执行：

    根据所述匹配结果设置所述目标数据的可靠值。
20. 根据权利要求19所述的控制设备，其特征在于，所述处理器用于具体执行：

    若所述匹配结果为匹配成功，设置所述目标数据的可靠值为第一可靠值；

    若所述匹配结果为匹配失败，设置所述目标数据的可靠值为第二可靠值；

    其中，所述第一可靠值大于所述第二可靠值。
21. 根据权利要求19所述的控制设备，其特征在于，所述处理器用于具体执行：

    统计所述目标数据的可靠值，获得可靠性统计结果；

    当所述可靠性统计结果满足低可靠性条件时，删除所述目标数据。
22. 根据权利要求12至21中任意一项所述的控制设备，其特征在于，所述图像传感器包括单目相机和/或鱼眼相机。
23. 一种可移动平台，其特征在于，包括图像传感器以及如权利要求12至22中任意一项所述的数据处理方法。