CN115586763A - 一种无人驾驶汽车避障测试设备 - Google Patents

Abstract

本申请涉及智能检测领域，其具体地公开了一种无人驾驶汽车避障测试设备，其通过融合超声波回波探测特征和探测图像特征来构建无人驾驶汽车避障方案，以提高避障检测的精准度。

Description

一种无人驾驶汽车避障测试设备

技术领域

本申请涉及智能检测领域，且更为具体地，涉及一种无人驾驶汽车避障测试设备。

背景技术

近几年，随着自动化专业发展，无人驾驶汽车有着十分广阔的发展前景。目前用于无人驾驶汽车自主避障的信号来源主要有以下几种方式：激光雷达测试避障物、图像识别障碍物、超声波测距。

激光雷达可以获取车辆周围障碍物的位置信息，达到控制车辆绕开障碍物的目的。但是，激光雷达造价昂贵，使得在很多应用场景中无法得以应用。

随着人工智能技术的快速发展，可以在车辆的前方放置高清摄像头，通过采集图像后进行AI识别障碍物，但这种图像识别障碍物的方式无法计算障碍物与车辆之间的距离，给车辆避障带来很大挑战。

超声波测距，超声波传感器是一种成本低、实现方法简单、技术成熟的方案，其利用超声波传感器来实现避障。但是，超声波的测试距离一般比较近，主要应用在侧方停车等低速领域，不适合高速行驶的车辆自主避障领域。

因此，期待一种优化的无人驾驶汽车避障测试设备。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种无人驾驶汽车避障测试设备，其通过融合超声波回波探测特征和探测图像特征来构建无人驾驶汽车避障方案，以提高避障检测的精准度。

根据本申请的一个方面，提供了一种无人驾驶汽车避障测试设备，其包括：

探测信采集单元，用于获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；

格拉姆角和场变换单元，用于对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；

探测图像特征提取单元，用于将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；

超声回波探测特征提取单元，用于将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；

多源特征融合单元，用于融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及

避障测试结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

在上述无人驾驶汽车避障测试设备中，所述探测图像特征提取单元，进一步用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述探测图像特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述探测图像。

在上述无人驾驶汽车避障测试设备中，所述超声回波探测特征提取单元，进一步用于：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述超声波回波特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述超声波回波格拉姆角和场图像。

在上述无人驾驶汽车避障测试设备中，所述多源特征融合单元，进一步用于：以如下公式来融合所述探测图像特征向量和所述超声波回波特征向量以得到所述分类特征向量；

其中，所述公式为V_c＝Concat[V₁,V₂]，其中，V₁表示所述探测图像特征向量，V₂表示所述超声波回波特征向量，Concat[·,·]表示级联函数，V_c表示所述分类特征向量。

在上述无人驾驶汽车避障测试设备中，所述避障测试结果生成单元，进一步用于：使用所述分类器以如下公式对所述所述分类特征向量进行处理以获得分类结果，所述公式为：

softmax{(M_c,B_c)|X}，其中M_c为全连接层的权重矩阵，B_c表示全连接层的偏置矩阵，X为所述分类特征向量。

在上述无人驾驶汽车避障测试设备中，还包括用于对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练的训练模块。

在上述无人驾驶汽车避障测试设备中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括训练探测图像、训练超声波回波探测信号和是否进行避障的真实标签值；训练格拉姆角和场变换单元，用于对所述训练超声波回波探测信号进行格拉姆角和场变换以得到训练超声波回波格拉姆角和场图像；训练探测图像特征提取单元，用于将所述训练探测图像通过所述作为过滤器的第一卷积神经网络以得到训练探测图像特征向量；训练超声回波探测特征提取单元，用于将所述训练超声波回波格拉姆角和场图像通过所述作为过滤器的第二卷积神经网络以得到训练超声波回波特征向量；训练多源特征融合单元，用于融合所述训练探测图像特征向量和所述训练超声波回波特征向量以得到训练分类特征向量；以及，分类损失单元，用于将所述分类特征向量通过分类器以得到分类损失函数值；以及，训练单元，用于以所述分类损失函数值作为损失函数值并基于梯度下降的反向传播对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，对所述训练分类特征向量进行迭代更新。

在上述无人驾驶汽车避障测试设备中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对所述训练分类特征向量进行迭代更新；

其中，所述公式为：

其中V是级联所述探测图像特征向量和所述超声波回波特征向量得到的所述分类特征向量，M₁和M₂是分类器在每次迭代更新前后的权重矩阵，‖·‖₀表示向量的零范数，

表示异或运算，

表示卷积运算，

表示按位置作差。

根据本申请的另一方面，提供了一种无人驾驶汽车避障测试方法，其包括：

获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；

对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；

将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；

将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；

融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及

将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的无人驾驶汽车避障测试方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的无人驾驶汽车避障测试方法。

与现有技术相比，本申请提供的一种无人驾驶汽车避障测试设备，其通过融合超声波回波探测特征和探测图像特征来构建无人驾驶汽车避障方案，以提高避障检测的精准度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的无人驾驶汽车避障测试设备的应用场景图；

图2图示了根据本申请实施例的无人驾驶汽车避障测试设备的框图；

图3图示了根据本申请实施例的无人驾驶汽车避障测试设备的框图；

图4图示了根据本申请实施例的无人驾驶汽车避障测试设备中推断模块的系统架构图；

图5图示了根据本申请实施例的无人驾驶汽车避障测试设备中第一卷积神经网络编码过程的流程图；

图6图示了根据本申请实施例的无人驾驶汽车避障测试设备中训练模块的系统架构图；

图7图示了根据本申请实施例的无人驾驶汽车避障测试方法的流程图；

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，虽然通过图像识别障碍物或超声波测距方案都可以实现无人驾驶汽车避障。但是，上述方案在单独使用时，都或多或少存在缺陷，尤其是在一些场景下，无法满足应用要求。

因此，在本申请的技术方案中，本申请的申请人尝试综合图像识别障碍物方案和超声波测距方案的优势来构建更为优化的无人驾驶汽车避障方案，也就是，融合图像障碍物识别和超声波测距的双重优势来构建避障方案。具体地，本申请的申请人从多传感信息融合的角度来构建无人驾驶汽车避障方案。

首先获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号。应可以理解，从所述探测图像可提取障碍物的对象特征，而通过所述超声波回波探测信号可提取障碍物与车辆之间的距离信息。

为了提高距离信息提取的精准度，在本申请的技术方案中，首先对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像。这里，格拉姆角场(Gramian angular field，GAF)基于Gram原理，它可将经典笛卡尔坐标系下的时间序列迁移到极坐标系上进行表示。GAF可很好地保留原始超声波回波探测时序信号的依赖性和相关性，具有和原始超声波回波探测时序信号相似的时序特质。GAF按照编码所用三角函数的不同可以得到格拉姆角和场(Gramian angular sum field，GASF)和格拉姆角差场(Gramian angular difference field，GADF)，GADF转换之后不可逆，因此本文选择可进行逆转换的GASF转换方式来进行声发射信号的编码。

接着，将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网路模型作为特征过滤器来提取所述超声波回波格拉姆角和场图像中用于表示距离特征的高维图像局部隐含特征。同时，将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量。也就是，同样以在图像特征提取领域具有优异性能表现的卷积神经网络模型提取所述探测图像中用于表示对象特征的高维图像隐含特征。

接着，融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量。也就是，在高维特征空间中，将所述探测图像特征向量和所述超声波回波特征向量的高维数据流形进行整合以得到融合距离信息和对象实质信息的所述分类特征向量。这里，值得一提的是，在进行特征融合时，图像特征可以表示障碍物的对象，而回波特征则可以表示障碍物与车辆之间的距离特征，因此，所得到的融合特征表示可以基于距离特征来调整障碍物对象特征的表达尺度，以提高避障检测的精准度。

继而，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。也就是，利用分类器对融合特征表示进行分类判断以得到用于表示是否进行避障的分类结果，这样，综合图像识别障碍物方案和超声波测距方案的优势来构建更为优化的无人驾驶汽车避障方案，以提高汽车避障的精准度。

特别地，在本申请的技术方案中，在融合所述探测图像特征向量和所述超声波回波特征向量得到分类特征向量时，可以通过级联所述探测图像特征向量和所述超声波回波特征向量的方式得到分类特征向量，以充分利用过滤器提取到的深层图像语义特征。但是，由于所述探测图像和所述超声波回波格拉姆角和场图像具有不同的语义源，使得所述探测图像特征向量和所述超声波回波特征向量之间的相关性可能不高，这样，在通过分类器进行分类时，分类器的权重矩阵相对于级联的所述探测图像特征向量和所述超声波回波特征向量的适配负担会相对较重，这会影响分类器的训练速度和分类特征向量的分类结果的准确性。

基于此，在这种情况下，在本申请的技术方案中采用分类器迭代的场景相关优化来进行分类器的训练，具体为：

V是级联所述探测图像特征向量和所述超声波回波特征向量得到的所述分类特征向量，M₁和M₂是分类器在每次迭代更新前后的权重矩阵，‖·‖₀表示向量的零范数。

也就是，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对分类特征向量V的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对分类特征向量V进行相关性描述，以在分类特征向量V的方向上提升分类器的权重矩阵的参数与分类特征向量V之间的适配性，从而提升分类器的训练速度和分类结果的准确性。这样，提高汽车避障的精准度。

基于此，本申请提出了一种无人驾驶汽车避障测试设备，其包括：探测信采集单元，用于获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；格拉姆角和场变换单元，用于对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；探测图像特征提取单元，用于将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；超声回波探测特征提取单元，用于将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；多源特征融合单元，用于融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及，避障测试结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

图1图示了根据本申请实施例的无人驾驶汽车避障测试设备的应用场景图。如图1所示，在该应用场景中，通过部署于车辆的高清摄像头(例如，如图1中所示意的C)采集探测图像(例如，如图1中所示意的F)，以及由部署于所述车辆的超声波传感器(例如，如图1中所示意的U)采集超声波回波探测信号。接着，将上述信息输入至部署有用于无人驾驶汽车避障测试算法的服务器(例如，图1中的S)中，其中，所述服务器能够以所述无人驾驶汽车避障测试算法对上述输入的信息进行处理，以生成用于表示是否进行避障的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的无人驾驶汽车避障测试设备的框图。如图2所示，根据本申请实施例的无人驾驶汽车避障测试设备300包括推断模块，其中，所述推断模块包括：探测信采集单元310；格拉姆角和场变换单元320；探测图像特征提取单元330；超声回波探测特征提取单元340；多源特征融合单元350；以及，避障测试结果生成单元360。

其中，所述探测信采集单元310，用于获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；所述格拉姆角和场变换单元320，用于对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；所述探测图像特征提取单元330，用于将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；所述超声回波探测特征提取单元340，用于将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；所述多源特征融合单元350，用于融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及，所述避障测试结果生成单元360，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

图4图示了根据本申请实施例的无人驾驶汽车避障测试设备中推断模块的系统架构图。如图4所示，在所述无人驾驶汽车避障测试设备300的系统架构中，在推断过程中，首先通过所述探测信采集单元310获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；然后，所述格拉姆角和场变换单元320对所述探测信采集单元310获取的超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；所述探测图像特征提取单元330将所述探测信采集单元310获取的探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；所述超声回波探测特征提取单元340将所述格拉姆角和场变换单元320生成的超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；接着，所述多源特征融合单元350融合所述探测图像特征提取单元330生成的探测图像特征向量和所述超声回波探测特征提取单元340生成的超声波回波特征向量以得到分类特征向量；进而，所述避障测试结果生成单元360将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述探测信采集单元310，用于获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号。在本申请的技术方案中，通过融合图像障碍物识别和超声波测距的双重优势来构建避障方案，应可以理解，从所述探测图像可提取障碍物的对象特征，而通过所述超声波回波探测信号可提取障碍物与车辆之间的距离信息，在本申请的一个具体示例中，可通过部署于车辆的高清摄像头来采集探测图像，以及由部署于所述车辆的超声波传感器来采集超声波回波探测信号。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述格拉姆角和场变换单元320，用于对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像。应可以理解，为了提高距离信息提取的精准度，在本申请的技术方案中，首先对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像。这里，格拉姆角场(Gramian angular field，GAF)基于Gram原理，它可将经典笛卡尔坐标系下的时间序列迁移到极坐标系上进行表示。GAF可很好地保留原始超声波回波探测时序信号的依赖性和相关性，具有和原始超声波回波探测时序信号相似的时序特质。GAF按照编码所用三角函数的不同可以得到格拉姆角和场(Gramian angular sum field，GASF)和格拉姆角差场(Gramian angular difference field，GADF)，GADF转换之后不可逆，因此本文选择可进行逆转换的GASF转换方式来进行声发射信号的编码。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述探测图像特征提取单元330，用于将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量。也就是，将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量。在本申请的一个具体示例中，同样以在图像特征提取领域具有优异性能表现的卷积神经网络模型提取所述探测图像中用于表示对象特征的高维图像隐含特征。

图5图示了根据本申请实施例的无人驾驶汽车避障测试设备中第一卷积神经网络编码过程的流程图。如图5所示，在所述第一卷积神经网络编码过程中，包括：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述探测图像特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述探测图像。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述超声回波探测特征提取单元340，用于将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量。在本申请的一个具体示例中，将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网路模型作为特征过滤器来提取所述超声波回波格拉姆角和场图像中用于表示距离特征的高维图像局部隐含特征。在本申请的一个具体示例中，使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述超声波回波特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述超声波回波格拉姆角和场图像。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述多源特征融合单元350，用于融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量。应可以理解，融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量。也就是，在高维特征空间中，将所述探测图像特征向量和所述超声波回波特征向量的高维数据流形进行整合以得到融合距离信息和对象实质信息的所述分类特征向量。这里，值得一提的是，在进行特征融合时，图像特征可以表示障碍物的对象，而回波特征则可以表示障碍物与车辆之间的距离特征，因此，所得到的融合特征表示可以基于距离特征来调整障碍物对象特征的表达尺度，以提高避障检测的精准度。在本申请的一个具体示例中，所述多源特征融合单元，进一步用于：以如下公式来融合所述探测图像特征向量和所述超声波回波特征向量以得到所述分类特征向量；

其中，所述公式为V_c＝Concat[V₁,V₂]，其中，V₁表示所述探测图像特征向量，V₂表示所述超声波回波特征向量，Concat[·,·]表示级联函数，V_c表示所述分类特征向量。

具体地，在所述无人驾驶汽车避障测试设备300的运行过程中，所述避障测试结果生成单元360，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。也就是，利用分类器对融合特征表示进行分类判断以得到用于表示是否进行避障的分类结果，这样，综合图像识别障碍物方案和超声波测距方案的优势来构建更为优化的无人驾驶汽车避障方案，以提高汽车避障的精准度。在本申请的一个具体示例中，所述避障测试结果生成单元，进一步用于：使用所述分类器以如下公式对所述所述分类特征向量进行处理以获得分类结果，所述公式为：

softmax{(M_c,B_c)|X}，其中M_c为全连接层的权重矩阵，B_c表示全连接层的偏置矩阵，X为所述分类特征向量。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练。也就是说，在本申请的无人驾驶汽车避障测试设备中，还包括训练模块，用于对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练。

图3图示了根据本申请实施例的无人驾驶汽车避障测试设备的框图。如图3所示，根据本申请实施例的无人驾驶汽车避障测试设备300，还包括训练模块400，所述训练模块包括：训练数据采集单元410；训练格拉姆角和场变换单元420；训练探测图像特征提取单元430；训练超声回波探测特征提取单元440；训练多源特征融合单元450；分类损失单元460；以及，训练单元470。

其中，所述训练数据采集单元410，用于获取训练数据，所述训练数据包括训练探测图像、训练超声波回波探测信号和是否进行避障的真实标签值；所述训练格拉姆角和场变换单元420，用于对所述训练超声波回波探测信号进行格拉姆角和场变换以得到训练超声波回波格拉姆角和场图像；所述训练探测图像特征提取单元430，用于将所述训练探测图像通过所述作为过滤器的第一卷积神经网络以得到训练探测图像特征向量；所述训练超声回波探测特征提取单元440，用于将所述训练超声波回波格拉姆角和场图像通过所述作为过滤器的第二卷积神经网络以得到训练超声波回波特征向量；所述训练多源特征融合单元450，用于融合所述训练探测图像特征向量和所述训练超声波回波特征向量以得到训练分类特征向量；所述分类损失单元460，用于将所述分类特征向量通过分类器以得到分类损失函数值；以及，所述训练单元470，用于以所述分类损失函数值作为损失函数值并基于梯度下降的反向传播对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，对所述训练分类特征向量进行迭代更新。

图6图示了根据本申请实施例的无人驾驶汽车避障测试设备中训练模块的系统架构图。如图6所示，在所述无人驾驶汽车避障测试设备300的系统架构中，在训练过程中，首先通过所述训练数据采集单元410获取训练数据，所述训练数据包括训练探测图像、训练超声波回波探测信号和是否进行避障的真实标签值；所述训练格拉姆角和场变换单元420对所述训练数据采集单元410获取的训练超声波回波探测信号进行格拉姆角和场变换以得到训练超声波回波格拉姆角和场图像；所述训练探测图像特征提取单元430将所述训练数据采集单元410获取的训练探测图像通过所述作为过滤器的第一卷积神经网络以得到训练探测图像特征向量；然后，所述训练超声回波探测特征提取单元440将所述训练格拉姆角和场变换单元420生成的训练超声波回波格拉姆角和场图像通过所述作为过滤器的第二卷积神经网络以得到训练超声波回波特征向量；接着，所述训练多源特征融合单元450融合所述训练探测图像特征提取单元430生成的训练探测图像特征向量和所述训练超声回波探测特征提取单元440生成的训练超声波回波特征向量以得到训练分类特征向量；所述分类损失单元460将所述分类特征向量通过分类器以得到分类损失函数值；进而，所述训练单元470为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，对所述训练分类特征向量进行迭代更新。

特别地，在本申请的技术方案中，在融合所述探测图像特征向量和所述超声波回波特征向量得到分类特征向量时，可以通过级联所述探测图像特征向量和所述超声波回波特征向量的方式得到分类特征向量，以充分利用过滤器提取到的深层图像语义特征。但是，由于所述探测图像和所述超声波回波格拉姆角和场图像具有不同的语义源，使得所述探测图像特征向量和所述超声波回波特征向量之间的相关性可能不高，这样，在通过分类器进行分类时，分类器的权重矩阵相对于级联的所述探测图像特征向量和所述超声波回波特征向量的适配负担会相对较重，这会影响分类器的训练速度和分类特征向量的分类结果的准确性。

基于此，在这种情况下，在本申请的技术方案中采用分类器迭代的场景相关优化来进行分类器的训练，具体为：

其中V是级联所述探测图像特征向量和所述超声波回波特征向量得到的所述分类特征向量，M₁和M₂是分类器在每次迭代更新前后的权重矩阵，‖·‖₀表示向量的零范数。

也就是，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对分类特征向量V的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对分类特征向量V进行相关性描述，以在分类特征向量V的方向上提升分类器的权重矩阵的参数与分类特征向量V之间的适配性，从而提升分类器的训练速度和分类结果的准确性。这样，提高汽车避障的精准度。

综上，根据本申请实施例的无人驾驶汽车避障测试设备300被阐明，其通过融合超声波回波探测特征和探测图像特征来构建无人驾驶汽车避障方案，以提高避障检测的精准度。

如上所述，根据本申请实施例的无人驾驶汽车避障测试设备可以实现在各种终端设备中。在一个示例中，根据本申请实施例的无人驾驶汽车避障测试设备300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该无人驾驶汽车避障测试设备300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该无人驾驶汽车避障测试设备300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该无人驾驶汽车避障测试设备300与该终端设备也可以是分立的设备，并且该无人驾驶汽车避障测试设备300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图7图示了根据本申请实施例的无人驾驶汽车避障测试方法的流程图。如图7所示，根据本申请实施例的无人驾驶汽车避障测试方法，包括步骤：S110，获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；S120，对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；S130，将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；S140，将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；S150，融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及，S160，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

在一个示例中，在上述无人驾驶汽车避障测试方法中，所述步骤S130，包括：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述探测图像特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述探测图像。

在一个示例中，在上述无人驾驶汽车避障测试方法中，所述步骤S140，包括：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述超声波回波特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述超声波回波格拉姆角和场图像。

在一个示例中，在上述无人驾驶汽车避障测试方法中，所述步骤S150，包括：以如下公式来融合所述探测图像特征向量和所述超声波回波特征向量以得到所述分类特征向量；

其中，所述公式为V_c＝Concat[V₁,V₂]，其中，V₁表示所述探测图像特征向量，V₂表示所述超声波回波特征向量，Concat[·,·]表示级联函数，V_c表示所述分类特征向量。

在一个示例中，在上述无人驾驶汽车避障测试方法中，所述步骤S160，包括：使用所述分类器以如下公式对所述所述分类特征向量进行处理以获得分类结果，所述公式为：

softmax{(M_c,B_c)|X}，其中M_c为全连接层的权重矩阵，B_c表示全连接层的偏置矩阵，X为所述分类特征向量。

综上，根据本申请实施例的无人驾驶汽车避障测试方法被阐明，其通过融合超声波回波探测特征和探测图像特征来构建无人驾驶汽车避障方案，以提高避障检测的精准度。

示例性电子设备

下面，参考图8来描述根据本申请实施例的电子设备。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的无人驾驶汽车避障测试设备中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如探测图像特征向量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的无人驾驶汽车避障测试方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的无人驾驶汽车避障测试方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种无人驾驶汽车避障测试设备，其特征在于，包括：

探测信采集单元，用于获取由部署于车辆的高清摄像头采集的探测图像以及由部署于所述车辆的超声波传感器采集的超声波回波探测信号；

格拉姆角和场变换单元，用于对所述超声波回波探测信号进行格拉姆角和场变换以得到超声波回波格拉姆角和场图像；

探测图像特征提取单元，用于将所述探测图像通过作为过滤器的第一卷积神经网络以得到探测图像特征向量；

超声回波探测特征提取单元，用于将所述超声波回波格拉姆角和场图像通过作为过滤器的第二卷积神经网络以得到超声波回波特征向量；

多源特征融合单元，用于融合所述探测图像特征向量和所述超声波回波特征向量以得到分类特征向量；以及

避障测试结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否进行避障。

2.根据权利要求1所述的无人驾驶汽车避障测试设备，其特征在于，所述探测图像特征提取单元，进一步用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述探测图像特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述探测图像。

3.根据权利要求2所述的无人驾驶汽车避障测试设备，其特征在于，所述超声回波探测特征提取单元，进一步用于：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述超声波回波特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述超声波回波格拉姆角和场图像。

4.根据权利要求3所述的无人驾驶汽车避障测试设备，其特征在于，所述多源特征融合单元，进一步用于：以如下公式来融合所述探测图像特征向量和所述超声波回波特征向量以得到所述分类特征向量；

其中，所述公式为V_c＝Concat[V₁,V₂]，其中，V₁表示所述探测图像特征向量，V₂表示所述超声波回波特征向量，Concat[·,·]表示级联函数，V_c表示所述分类特征向量。

5.根据权利要求4所述的无人驾驶汽车避障测试设备，其特征在于，所述避障测试结果生成单元，进一步用于：使用所述分类器以如下公式对所述所述分类特征向量进行处理以获得分类结果，所述公式为：

O＝softmax{(M_c,B_c)|X}，其中M_c为全连接层的权重矩阵，B_c表示全连接层的偏置矩阵，X为所述分类特征向量。

6.根据权利要求1所述的无人驾驶汽车避障测试设备，其特征在于，还包括用于对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练的训练模块。

7.根据权利要求6所述的无人驾驶汽车避障测试设备，其特征在于，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括训练探测图像、训练超声波回波探测信号和是否进行避障的真实标签值；

训练格拉姆角和场变换单元，用于对所述训练超声波回波探测信号进行格拉姆角和场变换以得到训练超声波回波格拉姆角和场图像；

训练探测图像特征提取单元，用于将所述训练探测图像通过所述作为过滤器的第一卷积神经网络以得到训练探测图像特征向量；

训练超声回波探测特征提取单元，用于将所述训练超声波回波格拉姆角和场图像通过所述作为过滤器的第二卷积神经网络以得到训练超声波回波特征向量；

训练多源特征融合单元，用于融合所述训练探测图像特征向量和所述训练超声波回波特征向量以得到训练分类特征向量；以及

分类损失单元，用于将所述分类特征向量通过分类器以得到分类损失函数值；以及

训练单元，用于以所述分类损失函数值作为损失函数值并基于梯度下降的反向传播对所述作为过滤器的第一卷积神经网络、所述作为过滤器的第二卷积神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，对所述训练分类特征向量进行迭代更新。

8.根据权利要求7所述的无人驾驶汽车避障测试设备，其特征在于，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对所述训练分类特征向量进行迭代更新；

其中，所述公式为：

其中V是级联所述探测图像特征向量和所述超声波回波特征向量得到的所述分类特征向量，M₁和M₂是分类器在每次迭代更新前后的权重矩阵，‖·‖₀表示向量的零范数，

表示异或运算，

表示卷积运算，

表示按位置作差。

Images