CN116311135A - 语义信息的数据降维方法、数据降维系统及控制器 - Google Patents

Abstract

本申请公开了一种语义信息的数据降维方法、数据降维系统及控制器。该方法包括：获取图像采集设备发送的图像数据；对图像数据进行处理，得到语义图片；提取语义图片中的语义信息；根据语义信息确定车辆坐标系下的点簇；通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵；将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。本申请将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，能够在保证使用范围的同时，减少存储空间的消耗。

Description

语义信息的数据降维方法、数据降维系统及控制器

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种语义信息的数据降维方法、数据降维系统及控制器。

背景技术

定位技术是自动驾驶技术解决方案中的一个重要部分。多传感器融合定位方案越来越成为主流，例如，高速、匝道等场景一般使用视觉和高精度地图的融合定位方案。目前，现有技术或采用特征点法进行定位，或通过稠密语义点云生成的语义地图进行定位。采用特征点法进行定位，需要提取出图像中灰度值变化剧烈的位置作为角点，利用连续图像中的相同特征点来估计自车位置。但是，特征点法受光照影响较大，在白天黑夜或者下雨天等变化场景中会有较大的误差，限制了使用范围。此外，通过稠密语义点云生成的语义地图进行定位，存在存储消耗过高的问题。因此，现有技术存在使用范围较小或存储消耗过高的问题。

发明内容

本申请实施例的目的是提供一种语义信息的数据降维方法、数据降维系统及控制器，用以解决现有技术中定位技术的使用范围较小或存储消耗过高的问题。

为了实现上述目的，本申请第一方面提供一种语义信息的数据降维方法，应用于控制器，控制器与图像采集设备通信，包括：

获取图像采集设备发送的图像数据；

对图像数据进行处理，得到语义图片；

提取语义图片中的语义信息；

根据语义信息确定车辆坐标系下的点簇；

通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵；

将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。

在本申请实施例中，提取语义图片中的语义信息包括：

遍历语义图片中的像素点，基于像素点的像素值，将像素点划分为多个类别；

针对每个类别中的像素点进行连通域分析，以提取语义信息。

在本申请实施例中，通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵，包括：

基于车辆坐标系下的点簇，结合因子矩阵和特殊因子矩阵确定与车辆坐标系下的点簇对应的因子载荷矩阵。

在本申请实施例中，因子载荷矩阵满足公式(1)：

X＝AF+E； (1)

其中，X为车辆坐标系下的点簇，A为因子载荷矩阵，F为因子矩阵，E为特殊因子矩阵。

在本申请实施例中，根据语义信息确定车辆坐标系下的点簇包括：

对语义信息进行坐标投影，以确定车辆坐标系下的点簇。

在本申请实施例中，对语义信息进行坐标投影，以确定车辆坐标系下的点簇包括：

确定相机内参矩阵和相机外参矩阵；

基于相机内参矩阵将语义信息转化为相机坐标系下的像素点簇；

基于相机外参矩阵将相机坐标系下的像素点簇转化为车辆坐标系下的点簇。

在本申请实施例中，对图像数据进行处理，得到语义图片包括：

通过神经网络模型对图像数据进行处理，得到语义图片。

本申请第二方面提供一种控制器，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从存储器调用指令以及在执行指令时能够实现上述的语义信息的数据降维方法。

本申请第三方面提供一种语义信息的数据降维系统，包括：

控制器；

图像采集设备，与控制器通信，被配置成采集图像数据。

本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的语义信息的数据降维方法。

通过上述技术方案，获取图像采集设备发送的图像数据，并对图像数据进行处理，从而得到语义图片。随后，提取语义图片中的语义信息，再根据语义信息确定车辆坐标系下的点簇。然后通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵。最后将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。本申请将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，能够在保证使用范围的同时，减少存储空间的消耗。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的一种语义信息的数据降维方法的流程图；

图2示意性示出了根据本申请实施例的一种控制器的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的一种语义信息的数据降维方法的流程图。如图1所示，本申请实施例提供一种语义信息的数据降维方法，应用于控制器，控制器与图像采集设备通信，该数据降维方法可以包括下列步骤：

步骤101、获取图像采集设备发送的图像数据；

步骤102、对图像数据进行处理，得到语义图片；

步骤103、提取语义图片中的语义信息；

步骤104、根据语义信息确定车辆坐标系下的点簇；

步骤105、通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵；

步骤106、将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。

现有技术通常采用特征点法进行定位或通过稠密语义点云生成的语义地图进行定位。但是，特征点法受光照影响较大，在白天黑夜或者下雨天等变化场景中会有较大的误差，限制了使用范围。并且，通过稠密语义点云生成的语义地图进行定位，存在存储消耗过高的问题。而本申请通过将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，能够保障数据降维方法的使用范围，以及减少存储空间的消耗。

在本申请实施例中，图像采集设备可以采集车辆周围的图像数据，并将图像数据发送至控制器。图像采集设备可以为摄像机，也可以为其它图像采集设备。控制器获取图像采集设备发送的图像数据后，可以通过预先训练的神经网络模型对图像数据进行处理，即通过神经网络模型对图像数据进行语义分割，从而得到语义图片。语义图片为单通道语义图片。在得到语义图片后，控制器可以提取语义图片中的语义信息，并对语义信息进行坐标投影，确定车辆坐标系下的点簇。进一步地，控制器可以通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵。在存在多个车辆坐标系下的点簇的情况下，每个车辆坐标系下的点簇均有其对应的因子载荷矩阵。最后，控制器可以将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，这样，可以完成语义信息的数据降维，减少存储空间的消耗。

通过上述技术方案，获取图像采集设备发送的图像数据，并对图像数据进行处理，从而得到语义图片。随后，提取语义图片中的语义信息，再根据语义信息确定车辆坐标系下的点簇。然后通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵。最后将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。本申请将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，能够在保证使用范围的同时，减少存储空间的消耗。

在本申请实施例中，步骤102、对图像数据进行处理，得到语义图片可以包括：

通过神经网络模型对图像数据进行处理，得到语义图片。

具体地，控制器可以通过预先训练好的神经网络模型对图像数据进行处理，即通过神经网络模型对图像数据进行语义分割，从而得到语义图片。

在本申请实施例中，在本申请实施例中，步骤103、提取语义图片中的语义信息可以包括：

遍历语义图片中的像素点，基于像素点的像素值，将像素点划分为多个类别；

针对每个类别中的像素点进行连通域分析，以提取语义信息。

具体地，控制器可以遍历语义图片中的像素点，确定语义图片中所有像素点的像素值。每发现一次新的像素值，则创建一个对应的空白图像，并将像素值与该像素值相等的所有像素点放入空白图像。需要说明的是，像素点在空白图像中所处的位置与其在语义图片中的位置相同。在一个示例中，若在遍历语义图片时首次检测到像素值为8的像素点，那么控制器可以创建一个对应的空白图像，并进一步将语义图片中所有像素值为8的像素点放入该空白图像中。在首次检测到其它像素值的像素点时，步骤与前述相同。此外，在完成对语义图片中所有像素点的划分后，由于每个空白图像中可能存在多个同类个体，因此需要针对每个空白图像进行连通域分析，将多个同类个体进行分割。这样，可以完成对语义信息的提取。

在本申请实施例中，步骤104、根据语义信息确定车辆坐标系下的点簇可以包括：

对语义信息进行坐标投影，以确定车辆坐标系下的点簇。

具体地，控制器可以根据语义信息确定车辆坐标系下的点簇。在本申请实施例中，语义信息包括图像平面上的像素点簇。对图像平面上的像素点簇进行坐标投影，从而确定车辆坐标系下的点簇。在图像采集设备为摄像机的情况下，由于摄像机的特性，图像数据会损失物体的深度信息，因此，需要假定车辆坐标系下的点簇的点高度均为0。这样，完成了将图像平面上的像素点簇转换为车辆坐标系下的点簇这一过程，以便后续确定车辆坐标系下的点簇对应的因子载荷矩阵。

在本申请实施例中，对语义信息进行坐标投影，以确定车辆坐标系下的点簇可以包括：

确定相机内参矩阵和相机外参矩阵；

基于相机内参矩阵将语义信息转化为相机坐标系下的像素点簇；

基于相机外参矩阵将相机坐标系下的像素点簇转化为车辆坐标系下的点簇。

具体地，语义信息包括图像平面上的像素点簇。本申请实施例中的对语义信息进行坐标投影是指对图像平面上的像素点簇进行坐标投影。控制器可以通过标定的方式获取相机内参矩阵和相机外参矩阵，并进一步针对图像平面上的像素点簇中的每个像素点进行坐标投影。控制器可以基于相机内参矩阵将语义信息转化为相机坐标系下的像素点簇，再基于相机外参矩阵将相机坐标系下的像素点簇转化为车辆坐标系下的点簇。在一个示例中，图像平面上的像素点簇中的任意一个像素点的坐标为，相机内参矩阵为K，相机外参矩阵为T，将任意一个像素点的坐标、相机内参矩阵K和相机外参矩阵T相乘，可以得到任意一个像素点对应的车辆坐标系下的点。在完成对图像平面上的像素点簇中所有像素点的坐标投影后，可以得到车辆坐标系下的点簇。

在本申请实施例中，步骤105、通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵，可以包括：

基于车辆坐标系下的点簇，结合因子矩阵和特殊因子矩阵确定与车辆坐标系下的点簇对应的因子载荷矩阵。

具体地，在得到车辆坐标系下的点簇后，控制器可以结合因子矩阵和特殊因子矩阵确定与车辆坐标系下的点簇对应的因子载荷矩阵。

在本申请实施例中，因子载荷矩阵可以满足公式(1)：

X＝AF+E； (1)

其中，X为变量，即车辆坐标系下的点簇，A为因子载荷矩阵，F为因子矩阵，E为特殊因子矩阵。

具体地，车辆坐标系下的点簇中有n个点，即点x₁…x_n，假设独立同分布于x～N(μ，∑)，由此可得因子载荷矩阵可以满足公式(1)：

X＝AF+E； (1)

确定公式(1)的协方差，其协方差满足公式(2)：

cov(X)＝∑＝Acov(F)A^T+∑_ε； (2)

由于因子之间相互独立，令cov(F)＝1，可得：

∑＝AA^T+∑_ε； (3)

对车辆坐标系下的点簇中所有的点，确定其高斯分布概率密度函数f(x)并相乘，由此可得似然概率满足公式(4)：

L＝f(x₁)f(x₂)…f(x_n)； (4)

其中，X为变量，即车辆坐标系下的点簇，A为因子载荷矩阵，F为因子矩阵，E为特殊因子矩阵，∑为车辆坐标系下的点簇的协方差，∑_ε为特殊因子矩阵的协方差，L为似然概率。

当似然概率取最大值时，可以求得车辆坐标系下的点簇的协方差。同时，可以引入约束A^T∑^-1A＝Λ，Λ为对角阵。这样，可以得到因子载荷矩阵A。

图2示意性示出了根据本申请实施例的一种控制器的结构框图。如图2所示，本申请实施例提供一种控制器，可以包括：

存储器210，被配置成存储指令；以及

处理器220，被配置成从存储器210调用指令以及在执行指令时能够实现上述的语义信息的数据降维方法。

具体地，在本申请实施例中，处理器220可以被配置成：

获取图像采集设备发送的图像数据；

对图像数据进行处理，得到语义图片；

提取语义图片中的语义信息；

根据语义信息确定车辆坐标系下的点簇；

通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵；

将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。

进一步地，处理器220还可以被配置成：

遍历语义图片中的像素点，基于像素点的像素值，将像素点划分为多个类别；

针对每个类别中的像素点进行连通域分析，以提取语义信息。

进一步地，处理器220还可以被配置成：

基于车辆坐标系下的点簇，结合因子矩阵和特殊因子矩阵确定与车辆坐标系下的点簇对应的因子载荷矩阵。

在本申请实施例中，因子载荷矩阵满足公式(1)：

X＝AF+E； (1)

其中，X为变量，即车辆坐标系下的点簇，A为因子载荷矩阵，F为因子矩阵，E为特殊因子矩阵。

进一步地，处理器220还可以被配置成：

对语义信息进行坐标投影，以确定车辆坐标系下的点簇。

进一步地，处理器220还可以被配置成：

确定相机内参矩阵和相机外参矩阵；

基于相机内参矩阵将语义信息转化为相机坐标系下的像素点簇；

基于相机外参矩阵将相机坐标系下的像素点簇转化为车辆坐标系下的点簇。

进一步地，处理器220还可以被配置成：

通过神经网络模型对图像数据进行处理，得到语义图片。

通过上述技术方案，获取图像采集设备发送的图像数据，并对图像数据进行处理，从而得到语义图片。随后，提取语义图片中的语义信息，再根据语义信息确定车辆坐标系下的点簇。然后通过因子分析法确定与车辆坐标系下的点簇对应的因子载荷矩阵。最后将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，以完成数据降维。本申请将与车辆坐标系下的点簇对应的因子载荷矩阵作为车辆坐标系下的点簇的描述子，能够在保证使用范围的同时，减少存储空间的消耗。

本申请实施例还提供一种语义信息的数据降维系统，包括：

控制器；

图像采集设备，与控制器通信，被配置成采集图像数据。

具体地，语义信息的数据降维系统包括控制器和图像采集设备。控制器可以用于执行前述的语义信息的数据降维方法。图像采集设备与控制器通信，可以采集图像数据，并将图像数据发送至控制器，以便控制器基于图像数据执行语义信息的数据降维方法。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的语义信息的数据降维方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种语义信息的数据降维方法，其特征在于，应用于控制器，所述控制器与图像采集设备通信，包括：

获取所述图像采集设备发送的图像数据；

对所述图像数据进行处理，得到语义图片；

提取所述语义图片中的语义信息；

根据所述语义信息确定车辆坐标系下的点簇；

通过因子分析法确定与所述车辆坐标系下的点簇对应的因子载荷矩阵；

将与所述车辆坐标系下的点簇对应的因子载荷矩阵作为所述车辆坐标系下的点簇的描述子，以完成数据降维。

2.根据权利要求1所述的数据降维方法，其特征在于，所述提取所述语义图片中的语义信息包括：

遍历所述语义图片中的像素点，基于所述像素点的像素值，将所述像素点划分为多个类别；

针对每个类别中的像素点进行连通域分析，以提取语义信息。

3.根据权利要求1所述的数据降维方法，其特征在于，所述通过因子分析法确定与所述车辆坐标系下的点簇对应的因子载荷矩阵，包括：

基于所述车辆坐标系下的点簇，结合因子矩阵和特殊因子矩阵确定与所述车辆坐标系下的点簇对应的因子载荷矩阵。

4.根据权利要求3所述的数据降维方法，其特征在于，所述因子载荷矩阵满足公式(1)：

X＝AF+E； (1)

其中，X为所述车辆坐标系下的点簇，A为所述因子载荷矩阵，F为所述因子矩阵，E为所述特殊因子矩阵。

5.根据权利要求1所述的数据降维方法，其特征在于，所述根据所述语义信息确定车辆坐标系下的点簇包括：

对所述语义信息进行坐标投影，以确定车辆坐标系下的点簇。

6.根据权利要求5所述的数据降维方法，其特征在于，所述对所述语义信息进行坐标投影，以确定车辆坐标系下的点簇包括：

确定相机内参矩阵和相机外参矩阵；

基于所述相机内参矩阵将所述语义信息转化为相机坐标系下的像素点簇；

基于所述相机外参矩阵将所述相机坐标系下的像素点簇转化为车辆坐标系下的点簇。

7.根据权利要求1所述的数据降维方法，其特征在于，所述对所述图像数据进行处理，得到语义图片包括：

通过神经网络模型对所述图像数据进行处理，得到语义图片。

8.一种控制器，其特征在于，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至7中任一项所述的语义信息的数据降维方法。

9.一种语义信息的数据降维系统，其特征在于，包括：

根据权利要求8所述的控制器；

图像采集设备，与所述控制器通信，被配置成采集图像数据。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至7中任一项所述的语义信息的数据降维方法。

Images