CN116661465B - 一种基于时序分析与多传感器融合的机器人自动行驶方法 - Google Patents

Abstract

本发明属于机器人自动行驶技术领域，具体涉及一种基于时序分析与多传感器融合的机器人自动行驶方法。本发明提出基于时间序列和传感器融合的机器人自动行驶的方法，应用了一个编码器解码器架构网络结合联邦卡尔曼滤波的方式去进行机器人行驶的预测，编码器解码器架构网络可以结合更多之前的传感器数据进行更精准的预测，同时提高系统的容错能力，从而不同场景下的能够自适应的自动行驶；本发明可以利用更多时刻的传感器数据，不仅能够提高下一时刻的预测精度，同时也能够根据多个时刻的传感器数据反馈给联邦卡尔曼滤波算法，从而提高系统的容错能力，更好的适应行驶过程中的复杂环境。

Description

一种基于时序分析与多传感器融合的机器人自动行驶方法

技术领域

本发明属于机器人自动行驶技术领域，具体涉及一种基于时序分析与多传感器融合的机器人自动行驶方法。

背景技术

目前机器人的使用领域越来越广泛，包括了无人工厂，智能物流等领域。随着人工智能的深入研究，机器人在不同领域的自动行驶也成逐渐成为了热点。机器人的自动驾驶主要依靠GPS、惯导和摄像头等传感器，结合人工智能算法以及多传感器融合算法来进行导航，然后根据算法后的数据给出控制策略。

目前的自动行驶的传感器都会收到环境的影响，比如GPS在有遮挡物时信号较弱，视觉受关照条件的影响，INS是有累计误差，所以多传感器的融合解决适应更多复杂的环境，但是机器人形式过程中的环境是不断变化的，为了能够适应在复杂环境的变化，加入了神经网络，主要是通过实时的传感器数据去预测多传感器融合算法参数，从而适应不同的复杂环境。这是目前的主流方案。

现有技术种主流自动行驶主要从利用多传感器数据提高复杂环境的适应能力，随着神经网络的发展，多传感器融合算法与神经网络结合称为了一种趋势，但是这些方法都是简单利用前一时刻传感器数据，并没有很好的利用更早之前的数据，这些数据对于预测下一时刻具有影响，同时只用上一时刻的数据容易有偶然误差，并且当某一传感器故障时，系统的容错能力有限。

例如：

专利CN115855064A提出了一种基于IMU多传感器融合的室内行人定位融合方法，主要通过复眼式透镜下半部分的微透镜晶体捕捉图像，通过BP网络将捕捉的图像数据结合。将光电探测器、FPGA和mems惯导集成后，通过集成后的传感器采集惯导数据。将偏振光数据、惯导数据和图像数据分别进行预处理后输入神经网络，实现经过神经网络权值融合后无缝组合的目的，提升了整个导航系统的鲁棒性和导航精度，对惯导的角度纠偏，极大消除了惯导累计误差。

专利CN115630335A提出了一种基于多传感器融合和深度学习模型道路信息生成方法，主要包括设置融合模式，判断是否启动融合算法生成为融合启动命令；进行光照强度判断，当大于预设强度指标时，发出第一融合命令，否则发出第二融合命令；获取通过第一融合模型计算输出边界；需要联合解算时，则通过第二融合模型计算输出边界；不需要联合解算时，则生成第二数据处理模型计算输出边界；当所述融合启动命令为不启动时，自适应最优方法选择，依次通过第一数据处理模型、第二数据处理模型和第三数据处理模型生成输出边界。该方案通过针对不同传感器的特点设置多传感器融合模型，在环境允许情况下，可以最大程度提高道路信息生成的精度。

专利CN115597606A提出了一种基于多传感器融合的管道爬壁机器人航迹推算方法及系统，主要是在EKF的算法框架中将惯性测量单元和光学导航传感器采集的数据进行融合，然后引入BPNN补偿惯性测量单元由静态漂移和动态响应差引起的误差，再通过基于ANFIS的协方差匹配技术估计测量噪声信息，从而可得到精确的管道爬壁机器人定位位置及运动状态。

上述种可以看出传统的人工智能算法的技术主流主要是包括直接使用多传感器融合算法，或者使用神经网络结合多传感器算法，主要是用来满足某些场景下某些传感器不能工作的情况，从而适应更多复杂场景，传感器是时间序列数据，上述两种方法知识简单的使用上一时刻的数据，偶然误差会有很大的影响。机器人的自动驾驶需要更好的去通过算法自适应复杂情况。

发明内容

发明目的：提供一种基于时序分析与多传感器融合的机器人自动行驶方法，解决上述提到的问题。

技术方案：一种基于时序分析与多传感器融合的机器人自动行驶方法，所述自动行驶方法利用前向自注意力机制将之前n个时刻内的数据x_k-n，k作为输入和子滤波器估计值，去预测下一时刻的状态和协方差矩阵P_k+1，利用反馈自注意力机制预测联邦卡尔曼滤波的信息分配系数β；具体方法如下：

步骤1、首先运行联邦卡尔曼滤波算法，然后用遥控的方式在各种环境中按照预先设定的位置坐标行驶，并采集各个传感器数据和对应时刻联邦卡尔曼滤波子滤波器产生的数据；

步骤2、根据采集的联邦卡尔曼滤波子滤波器产生的数据去标定传感器采集的数据，训练编码器解码器架构(encoder-decoder)网络中的前向注意力机制；

步骤3、根据步骤2标定的传感器数据标定反馈自注意力机制；

步骤4、将训练好的模型部署在机器人的控制器中，进行多传感器融合算法与编码器解码器架构(encoder-decoder)网络的结合。

在进一步的实施例中，在步骤1中所述联邦卡尔曼滤波分为两步滤波，先基于子滤波器滤波，然后再进行主滤波器，最后结果共享给子滤波器整体。

在进一步的实施例中，所述联邦卡尔曼滤波的整体步骤如下：

步骤1.1、利用误差状态方程表达每个子滤波器中的信息处理，误差状态方程如下：

其中，表示是局部滤波器的序列号，k是表示时刻，x表示状态估计值，z表示观测值，Φ表示系统转移矩阵，Γ为系统噪声状态矩阵，ω表示系统噪声值，H表示观测矩阵，V表示观测噪声值；

步骤1.2、进行时间更新；时间更新是进行一步状态预测和误差协方差一步预测的过程，即：

其中，P是后验估计协方差矩阵，其中Q是输入过程系统噪声值ω的协方差矩阵；

步骤1.3、进行测量更新，局部滤波器的最佳卡尔曼增益为：

其中R表示观测噪声的协方差矩阵，因此k+1时刻的状态估计值为：

后验估计误差协方差为：

从而完成测量更新；

步骤1.4、信息融合，是使用以下算法通过所有子滤波器的估计结果获得全局最优估计：

从而完成信息融合；

步骤1.5、信息共享过程，根据以下信息共享因素的原则，应在每个子滤波器和主过滤器之间分配过程信息，即：

其中是标量形式的信息共享因子；根据联邦卡尔曼滤波信息分布原理，信息共享因子应满足/>的信息守恒的条件。

在进一步的实施例中，在步骤2中，训练编码器解码器架构(encoder-decoder)网络时先选取前5个时刻，即n＝5，同时主要是训练自注意力机制的参数，自注意力机制包括三个参数，q，k，v这三个参数是通过输入序列数据x的线性变化得到：

q＝w^qx

k＝w^kx

v＝w^vx

其中，w^q、w^k、w^v是训练学习得到。

在进一步的实施例中，在所述步骤3中反馈自注意力机制与步骤2中前向自注意力机制相同，通过训练数据得到q，k，v参数，同时也是选取n＝5作为时刻数据。

在进一步的实施例中，在步骤4中，按照步骤1至步骤3中的方法进行多传感器融合算法与编码器解码器架构(encoder-decoder)网络的结合；

首先选定用多久之前的数据，即传感器数据长度，这个长度根据硬件的内存选取，然后行驶过程中用队列的形式去更新传感器数据。

有益效果：本发明提出基于时间序列和传感器融合的机器人自动行驶的方法，应用了一个编码器解码器架构(encoder-decoder)网络结合联邦卡尔曼滤波的方式去进行机器人行驶的预测，编码器解码器架构(encoder-decoder)网络可以结合更多之前的传感器数据进行更精准的预测。同时提高系统的容错能力，从而不同场景下的能够自适应的自动行驶。本发明可以利用更多时刻的传感器数据，不仅能够提高下一时刻的预测精度，同时也能够根据多个时刻的传感器数据反馈给联邦卡尔曼滤波算法，从而提高系统的容错能力，更好的适应行驶过程中的复杂环境。

附图说明

图1是本发明的自动行驶方法整体方案结构图。

图2是本发明的联邦卡尔曼滤波流程图。

图3是本发明的整体自注意力机制图。

图4是本发明的前向自注意力机制训练示意图。

图5是本发明的反馈自注意力机制训练示意图。

图6是本发明的自动行驶方法整体方案流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于时序分析与多传感器融合的机器人自动行驶方法，如图1所示，主要用联邦卡尔曼滤波算法作为多传感器融合算法基础，由于传感器是时间相关序列的数据，因此，在多传感器融合算法的基础上添加编码器解码器(encoder-decoder)网络，该网络主要是利用前向自注意力机制将之前n个时刻内的数据x_k-n，k作为输入和子滤波器估计值，去预测下一时刻的状态和协方差矩阵P_k+1，利用反馈自注意力机制预测联邦卡尔曼滤波的信息分配系数β；具体方法如下(如图6所示)：

步骤1、首先运行联邦卡尔曼滤波算法，然后用遥控的方式在各种环境中按照预先设定的位置坐标行驶，并采集各个传感器数据和对应时刻联邦卡尔曼滤波子滤波器产生的数据；(如图2所示)；

步骤2、根据采集的联邦卡尔曼滤波子滤波器产生的数据去标定传感器采集的数据，训练encoder-decoder网络中的前向注意力机制；

步骤3、根据步骤2标定的传感器数据标定反馈自注意力机制；

步骤4、将训练好的模型部署在机器人的控制器中，进行多传感器融合算法与encoder-decoder网络的结合。

在一个实施例中，如图2所示，在步骤1中所述联邦卡尔曼滤波分为两步滤波，先基于子滤波器滤波，然后再进行主滤波器，最后结果共享给子滤波器整体。

在一个实施例中，所述联邦卡尔曼滤波的整体步骤如下：

步骤1.1、利用误差状态方程表达每个子滤波器中的信息处理，误差状态方程如下：

其中，表示是局部滤波器的序列号，k是表示时刻，x表示状态估计值，z表示观测值，Φ表示系统转移矩阵，Γ为系统噪声状态矩阵，ω表示系统噪声值，H表示观测矩阵，V表示观测噪声值；

步骤1.2、进行时间更新；时间更新是进行一步状态预测和误差协方差一步预测的过程，即：

其中，P是后验估计协方差矩阵，其中Q是输入过程系统噪声值ω的协方差矩阵；

步骤1.3、进行测量更新，局部滤波器的最佳卡尔曼增益为：

其中R表示观测噪声的协方差矩阵，因此k+1时刻的状态估计值为：

后验估计误差协方差为：

从而完成测量更新；

步骤1.4、信息融合，是使用以下算法通过所有子滤波器的估计结果获得全局最优估计：

从而完成信息融合；

步骤1.5、信息共享过程，根据以下信息共享因素的原则，应在每个子滤波器和主过滤器之间分配过程信息，即：

其中是标量形式的信息共享因子；根据联邦卡尔曼滤波信息分布原理，信息共享因子应满足/>的信息守恒的条件。

在一个实施例中，在步骤2中，训练encoder-decoder网络时先选取前5个时刻，即n＝5，同时主要是训练自注意力机制的参数，自注意力机制包括三个参数，q，k，v这三个参数是通过输入序列数据x的线性变化得到：

q＝w^qx

k＝w^kx

v＝w^vx

其中，w^q、w^k、w^v是训练学习得到。整体自注意力机制如图3所示，其中图3中其中a代表输入时间序列数据，b代表输出；训练示意图如图4所示。

在一个实施例中，在所述步骤3中反馈自注意力机制与步骤2中前向自注意力机制相同，通过训练数据得到q，k，v参数，同时也是选取n＝5作为时刻数据，训练示意图如图5所示。

在一个实施例中，如图5所示，在步骤4中，将训练好的模型部署在机器人的控制器中，主要是按照上述步骤1至步骤3方法进行多传感器融合算法与编码器解码器架构(encoder-decoder)网络的结合。首先需要选定用多久之前的数据，即传感器数据长度，这个长度根据硬件的内存选取，然后行驶过程中用队列的形式去更新传感器数据，传感器运行过程具体如下传感器运行过程如图5所示。

本发明可以利用更多时刻的传感器数据，不仅能够提高下一时刻的预测精度，同时也能够根据多个时刻的传感器数据反馈给联邦卡尔曼滤波算法，从而提高系统的容错能力，更好的适应行驶过程中的复杂环境。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，所述自动行驶方法利用前向自注意力机制将之前n个时刻内的数据x_k-n，k作为输入和子滤波器估计值，去预测下一时刻的状态和协方差矩阵P_k+1，利用反馈自注意力机制预测联邦卡尔曼滤波的信息分配系数β；具体方法如下：

步骤1、首先运行联邦卡尔曼滤波算法，然后用遥控的方式在各种环境中按照预先设定的位置坐标行驶，并采集各个传感器数据和对应时刻联邦卡尔曼滤波子滤波器产生的数据；

步骤2、根据采集的联邦卡尔曼滤波子滤波器产生的数据去标定传感器采集的数据，训练编码器解码器架构网络中的前向注意力机制；

步骤3、根据步骤2标定的传感器数据标定反馈自注意力机制；

步骤4、将训练好的模型部署在机器人的控制器中，进行多传感器融合算法与编码器解码器架构网络的结合。

2.根据权利要求1所述的一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，在步骤1中所述联邦卡尔曼滤波分为两步滤波，先基于子滤波器滤波，然后再进行主滤波器，最后结果共享给子滤波器整体。

3.根据权利要求2所述的一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，所述联邦卡尔曼滤波的整体步骤如下：

步骤1.1、利用误差状态方程表达每个子滤波器中的信息处理，误差状态方程如下：

其中，表示是局部滤波器的序列号，k是表示时刻，x表示状态估计值，z表示观测值，Φ表示系统转移矩阵，Γ为系统噪声状态矩阵，ω表示系统噪声值，H表示观测矩阵，V表示观测噪声值；

步骤1.2、进行时间更新；时间更新是进行一步状态预测和误差协方差一步预测的过程，即：

其中，P是后验估计协方差矩阵，其中Q是输入过程系统噪声值ω的协方差矩阵；

步骤1.3、进行测量更新，局部滤波器的最佳卡尔曼增益为：

其中R表示观测噪声的协方差矩阵，因此k+1时刻的状态估计值为：

后验估计误差协方差为：

从而完成测量更新；

步骤1.4、信息融合，是使用以下算法通过所有子滤波器的估计结果获得全局最优估计：

从而完成信息融合；

步骤1.5、信息共享过程，根据以下信息共享因素的原则，应在每个子滤波器和主过滤器之间分配过程信息，即：

其中是标量形式的信息共享因子；根据联邦卡尔曼滤波信息分布原理，信息共享因子应满足/>的信息守恒的条件。

4.根据权利要求1所述的一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，在步骤2中，训练编码器解码器架构网络时先选取前5个时刻，即n＝5，同时主要是训练自注意力机制的参数，自注意力机制包括三个参数，q，k，v这三个参数是通过输入序列数据x的线性变化得到：

q＝w^qx

k＝w^kx

v＝w^vx

其中，w^q、w^k、w^v是训练学习得到。

5.根据权利要求4所述的一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，在所述步骤3中反馈自注意力机制与步骤2中前向自注意力机制相同，通过训练数据得到q，k，v参数，同时也是选取n＝5作为时刻数据。

6.根据权利要求1所述的一种基于时序分析与多传感器融合的机器人自动行驶方法，其特征在于，在步骤4中，按照步骤1至步骤3中的方法进行多传感器融合算法与编码器解码器架构网络的结合；

首先选定用多久之前的数据，即传感器数据长度，这个长度根据硬件的内存选取，然后行驶过程中用队列的形式去更新传感器数据。