CN116341368A - 一种基于lstm神经网络的软体操作臂姿态重构的方法 - Google Patents

Abstract

本发明提供了一种基于LSTM神经网络的软体操作臂姿态重构的方法，包括：在LSTM神经网络的输入层，输入软体操作臂输出的光纤曲率向量；在LSTM神经网络的输出层，对软体操作臂的姿态预测，得到软体操作臂的预测姿态向量；在LSTM神经网络的输出层，通过概率分布的方式描述所述预测姿态向量；构建损失函数，对描述所述预测姿态向量的概率分布进行修正，输出软体操作臂的姿态。本发明通过概率分布的方式描述预测姿态向量，并对描述预测姿态向量概率分布进行修正，从而降低系统误差导致的软体操作臂姿态重构精确度的影响，提高软体操作臂姿态重构的精确度。

Description

一种基于LSTM神经网络的软体操作臂姿态重构的方法

技术领域

本发明涉及电子信息技术领域，特别是涉及一种基于LSTM神经网络的软体操作臂姿态重构的方法。

背景技术

目前，光纤形状传感技术是光学传感领域的前沿技术之一，自从上世纪末开始，随着光纤光栅制造工艺的进步，光纤光栅传感技术就逐渐成为了传感领域研究的热点。光纤布拉格光栅传感器(Fiber Bragg Grating Sensor,FBG sensor)对温度、应变具有极高的变化灵敏度，依此原理可以制成满足不同物理量测量需求的传感器，如温度、压力、拉力、加速度、位移、曲率等等，并且光纤传感器本身具有体积小、重量轻、灵敏度高、实时反应快等优点，这使其在许多精密测量领域具有代替传统传感器的发展潜力。对于应用于微创手术的软体机器人的传感任务来说，光纤传感器抗电磁辐射干扰，抗酸碱环境，并且技术和材料对人体无害，仅单根光纤便可实现多点传感监测，与微创手术软体操作臂的任务定位和传感需求十分契合。

由于光纤传感器独特的材料优势和性能优势，有研究者开始将光纤形状传感技术应用于柔性机构的状态监测中，至今经过十数年的发展，已经诞生了许多技术成果。

2004年Clements的团队首先发布了利用多芯光纤光栅布设在柔性线缆内的“智能形状感知线缆”技术专利，这种线缆基于中心的光纤传感器反馈的光栅点上的曲率和扭转信息进行三维曲线重构，不仅可以实现线缆两端端点的相对定位和方向校准，还可以重建出整段线缆的实时形状。

2017年以Wang为首的研发团队在象鼻形硅胶软体机器人的中心轴以直线方案嵌入了FBG光纤传感器，在分段常曲率假设和常数扭转假设的基础上，对软体机器人的三维姿态进行监测，结果误差被限制在1.5cm以内。在这项工作中该团队提出了FBG光纤传感器在软体机器人中姿态传感误差的三个主要来源以及相应的优化方向：

(1)由于软体机器人的制作工艺限制，光纤在软体机器人中的布置不能精确地遵照几何假设，如在这个实验案例中，光纤的实际轨迹与软体臂的几何中心轴之间存在误差。

(2)基于光纤光栅的形状重构算法误差。

(3)由于光栅点在光纤上离散分布，导致两点之间的弯曲信息无法被感知到，尽管插值方法在不停被优化，但是由于原始信息缺失导致的误差是不可能被消除的。

该团队针对以上误差来源提出了过滤高斯误差以及添加温度补偿机制等方法。

尽管对FBG光纤传感器在软体结构中的应用已有大量研究，并且研究者们针对各种软体结构的特性和应用需求提出了相应的布设方案和重构算法，但是由于FBG光纤传感器需要与被测部分紧密贴合才能获取到准确的形变数据，而软体操作臂的应用场景大多面临着与外界环境的未知交互，暴露于外部的光纤光栅十分脆弱，而采用套管封装会增加软体臂结构的复杂度，影响传感精度，这种布设方案上的矛盾将FBG光纤传感器与软体操作臂的结合限制在实验室环境中，阻挠了其在软体操作臂上的应用实现。因此，有必要针对FBG光纤传感器在软体操作臂中的布设方案展开深入研究，在避免增加软体臂结构复杂度的前提下满足FBG光纤传感器对软体臂姿态的测量需求。其次，微创手术软体臂的高度冗余性以及与外界环境的未知交互，都为光纤光栅的重构算法建立带来了困难，由于FBG光纤传感器的光栅传感点是离散分布的，其形状重构的原理的基于离散点曲率和方向的空间曲线曲面重构，而这种方法的缺陷之一是对于传感点之间的位置感知不敏感，并且未知的外界环境交互引发的不规则形变和光纤扭转现象都会导致基于曲率重构的姿态传感算法在原始数据阶段引入了系统误差，影响了对软体臂姿态传感的精确度。

发明内容

为了解决现有技术中软体操作臂姿态重构系统误差导致的软体操作臂姿态重构精确度低的技术问题，本发明的一个目的在于提供一种基于LSTM神经网络的软体操作臂姿态重构的方法，所述方法包括：

在LSTM神经网络的输入层，输入软体操作臂输出的光纤曲率向量；

在LSTM神经网络的输出层，对软体操作臂的姿态预测，得到软体操作臂的预测姿态向量；

在LSTM神经网络的输出层，通过概率分布的方式描述所述预测姿态向量；

构建损失函数，对描述所述预测姿态向量的概率分布进行修正，输出软体操作臂的姿态。

在一个优选的实施例中，在LSTM神经网络的输入层，输入软体操作臂输出的光纤曲率向量，由光纤采集的软体操作臂的弯曲曲率和偏转角构建。

在一个优选的实施例中，软体操作臂的所述预测姿态向量通过如下方式描述：

y′＝f_ω(s,y)，

其中，y′为软体操作臂的预测姿态向量；f_ω为软体操作臂输出的光纤曲率向量到软体操作臂外围传感点的空间位置映射函数；s为软体操作臂输出的光纤曲率向量；y为软体操作臂输入的气压。

在一个优选的实施例中，通过如下概率分布的方式描述所述预测姿态向量：

P(y′|x′)＝N(μ(x′),σ(x′))，

其中，y′为软体操作臂的预测姿态向量；x′为软体操作臂输出的光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；μ(x′)为拼接向量x′的均值；σ(x′)为拼接向量x′的方差。

在一个优选的实施例中，所述构建损失函数为：

其中，T为向软体操作臂1输入气压的时间段；x′为软体操作臂输出的光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；t和m为求和公式的变量；

y′为软体操作臂的预测姿态向量；d为软体操作臂的预测姿态向量y′的维度；μ(x′)为拼接向量x′的均值；e为自然常数；

其中，g＝logσ(x′)，σ(x′)为拼接向量x′的方差。

在一个优选的实施例中，所述软体操作臂呈柱状结构，在所述软体操作臂内部由外部腔壁和内部腔壁均匀分割形成三个气腔；

所述外部腔壁外侧形成波浪形的凸起结构；在所述软体操作臂中心形成贯通所述软体操作臂的光纤槽；所述光纤槽内设置三芯光纤。

本发明提供的一种基于LSTM神经网络的软体操作臂姿态重构的方法，软体操作臂的中心轴上植入FBG光纤传感器，对软体操作臂的外围姿态进行重构。本发明采集FBG光纤传感器输出的光纤曲率向量，并输入至LSTM神经网络得到软体操作臂的预测姿态向量，通过概率分布的方式描述预测姿态向量，并对描述预测姿态向量概率分布进行修正，从而降低系统误差对软体操作臂姿态重构精确度的影响，提高软体操作臂姿态重构的精确度。

本发明提供的一种基于LSTM神经网络的软体操作臂姿态重构的方法，通过FBG光纤传感器植入软体操作臂中心轴上，FBG光纤传感器与软体操作臂的被测面分离，有效保护了FBG光纤传感器，防止FBG光纤传感器被外部碰撞破坏。本发明将FBG光纤传感器置于软体操作臂内部，外部的姿态变化将通过软体操作臂变形传递至内部FBG光纤传感器，由于被测面和FBG光纤传感器之间有软体操作臂的形变缓冲和传递，将会减小由被测面传感点离散分布造成的形变信息丢失。

本发明提供的一种基于LSTM神经网络的软体操作臂姿态重构的方法，采用的FBG光纤传感器具有轻质、无害、理化性质稳定等优点，并且其栅区参数可以自由定制，可以满足各种软体结构的传感需求。FBG光纤传感器与被测面分离，利用软体操作臂有效保护了光纤，并且降低了传感点离散化导致的传感盲区问题，本发明采取的软体操作臂简单，易于集成和拆装，实时性较好。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了软体操作臂的结构示意图。

图2示出了图1中A-A方向的示意图。

图3示出了本发明三芯光纤的FBG光纤传感器的截面示意图。

图4示出了本发明三芯光纤的FBG光纤传感器弯曲的示意图。

图5示出了本发明软体操作臂的被测面布置传感点的示意图。

图6示出了本发明LSTM神经网络的示意图。

图7示出了本发明一个实施例中软体操作臂输入不同气压下软体操作臂姿态重构的效果图。

图8示出了本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置X方向的偏移量的示意图。

图9示出了本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置Y方向的偏移量的示意图。

图10示出了本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置Z方向的偏移量的示意图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

为了解决现有技术中软体操作臂姿态重构系统误差导致的软体操作臂姿态重构精确度低的技术问题，根据本发明的实施例，提供一种基于LSTM神经网络的软体操作臂姿态重构的方法。

如图1所示软体操作臂的结构示意图，图2所示图1中A-A方向的示意图，本发明提供一种软体操作臂，软体操作臂1呈柱状结构，在软体操作臂1内部由外部腔壁2’和内部腔壁2均匀分割形成三个平行的气腔3。

外部腔壁2’外侧形成波浪形的凸起结构，在软体操作臂1中心形成贯通软体操作臂1的光纤槽5，光纤槽5内设置三芯光纤(FBG光纤传感器)6，如图3和图4所示三芯光纤(FBG光纤传感器)6的结构。

软体操作臂1的气腔3开设进气口4，当由进气口4向软体操作臂1的气腔3通入气体时，外部腔壁2’外侧形成波浪形的凸起结构膨胀使软体操作臂1产生弯曲形变。

本发明的软体操作臂1的中心轴在沿轴向的伸长能力较差，因此在一些实施例中，须保证处于充气状态的气腔3数量在同一时间不大于两个(三个气腔3不能同时充气)，以避免对软体操作臂1造成损伤。软体操作臂1中心轴嵌三芯光纤(FBG光纤传感器)6，以收集软体操作臂1的曲率信息。

如图3所示本发明三芯光纤的FBG光纤传感器的截面示意图，图4所示本发明三芯光纤的FBG光纤传感器弯曲的示意图，三芯光纤6包括第一纤芯601、第二纤芯602和第三纤芯603。第一芯纤601、第二纤芯602和第三纤芯603环绕三芯光纤6的中心轴，均匀阵列在三芯光纤6内，第一纤芯601、第二纤芯602和第三纤芯603上等间距间隔阵列多个布拉格光栅(图中未示出)。

当软体操作臂1发生形变时，采集三芯光纤6内每根纤芯的的布拉格光栅的波长漂移，通过如下关系计算三芯光纤6内每根纤芯发生的应变：

Δλ_B＝λ_B(1-P_e)·ε

其中，λ_B为布拉格光栅的波长，Δλ_B为布拉格光栅的波长漂移，P_e为弹光系数与布拉格光栅的自身特性相关，ε为三芯光纤6内每根纤芯发生的应变。

通过三芯光纤6内每根纤芯发生的应变ε计算每根纤芯的的弯曲曲率，具体通过如下方式计算：

其中，k为每根纤芯的弯曲曲率，ε为每根纤芯的应变，δ为多芯光纤弯曲时，弯曲截面的每根纤芯的中心与多芯光纤中心弯曲面的距离。

结合图3和图4，以三芯光纤6的第一纤芯601为例，当三芯光纤6发生弯曲变形时，第一纤芯601也随之发生弯曲变形，对三芯光纤6的弯曲段剖切，在弯曲截面600内三芯光纤6的第一纤芯601的中心与三芯光纤6中心弯曲面604的切面605形成一段距离δ。

第一纤芯601的弯曲应变满足：

将上式转换为曲率-应变关系：

需要说明的是，三芯光纤6的中心弯曲面604是三芯光纤6发生弯曲时，三芯光纤6中心轴所在的弯曲曲面。当从弯曲段截取弯曲截面600时，弯曲截面600与三芯光纤6的中心弯曲面604的切面605垂直。

如图3所示，在弯曲截面600，第一芯纤601、第二纤芯602和第三纤芯603距离三芯光纤6的中心O的距离为r，第一芯纤601、第二纤芯602和第三纤芯603两两之间的夹角为120°。

弯曲截面600与三芯光纤6的中心弯曲面604的切面605的交线605’(中性轴)，与第一芯纤601、第二纤芯602和第三纤芯603的偏转角分别为：

记第一芯纤601为a、第二纤芯602为b、第三纤芯603为c，则在任意位置的三个纤芯的应变方程组可以表示为：

其中，E_a、E_b、E_c分别为第一芯纤601、第二纤芯602和第三纤芯603的应变，E₀为应变偏差，由外力因素或温度变化引起。

对上式进行推导，得到的三芯光纤6曲率k和偏转角

计算公式：

如图5所示本发明软体操作臂的被测面布置传感点的示意图，本发明的实施例，在软体操作臂1的表面设置多个传感点w，软体操作臂1弯曲时，通过三芯光纤6的曲率k和偏转角

表征软体操作臂1表面的传感点w的曲率k和偏转角/>

本实施例中，示例性的采集7个传感点w的曲率k和偏转角/>

根据本发明的实施例，提供一种基于LSTM神经网络的软体操作臂姿态重构的方法，包括：

在LSTM神经网络的输入层，输入软体操作臂1输出的光纤曲率向量。

如图6所示本发明LSTM神经网络的示意图，LSTM神经网络包括输入层、隐藏层和输出层，维度分别为256，128和64。

在LSTM神经网络的输入层，输入软体操作臂1输出的光纤曲率向量。软体操作臂1输出的光纤曲率向量s由三芯光纤6采集的软体操作臂1的弯曲曲率k和偏转角

构建。

在LSTM神经网络的输出层，对软体操作臂1的姿态预测，得到软体操作臂1的预测姿态向量y′。

在一段时间T内，向软体操作臂1输入气压使软体操作臂1发生弯曲，将一段时间T内，采集的软体操作臂1输出的光纤曲率向量s，以及向软体操作臂1输入的气压，输入LSTM神经网络的输入层。软体操作臂输入的气压y，软体操作臂1的预测姿态向量y′，构成状态序列数据集D＝{s,y,y′}。

软体操作臂1的预测姿态向量通过如下方式描述：

y′＝f_ω(s,y)，

其中，y′为软体操作臂的预测姿态向量；f_ω为软体操作臂输出的光纤曲率向量到软体操作臂外围传感点的空间位置映射函数；s为软体操作臂输出的三芯光纤曲率向量；y为软体操作臂输入的气压。

在LSTM神经网络的输出层，通过概率分布的方式描述预测姿态向量。具体地，通过如下概率分布的方式描述预测姿态向量：

P(y′|x′)＝N(μ(x′),σ(x′))，

其中，y′为软体操作臂的预测姿态向量；x′为软体操作臂输出的三芯光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；μ(x′)为拼接向量x′的均值；σ(x′)为拼接向量x′的方差。

对于期望获取输入与输出之间映射的LSTM神经网络回归任务来说，通过设置LSTM神经网络输出值与真实值的差距函数，如均方根误差(Root Mean Square Error,RMSE)作为损失函数，并通过反向传播更新权值以降低损失函数使输出值逼近真实值。

但是对于FBG光纤传感器的软体操作臂来说，软体操作臂结构的不确定性和FBG光纤传感器累计误差不可忽视，即LSTM神经网络的输入值存在系统误差和不确定的波动，影响了输出结果的精度和可靠性。

为了降低LSTM神经网络的输入值存在系统误差和不确定的波动，影响了输出结果的精度和可靠性，本发明以概率分布的方式描述预测姿态向量，而不是直接输出软体操作臂的姿态。

根据本发明的实施例，构建损失函数，对描述预测姿态向量的概率分布进行修正，输出软体操作臂的姿态。

具体地，构建损失函数为：

其中，T为向软体操作臂1输入气压的时间段；x′为软体操作臂输出的光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；t和m为求和公式的变量；

y′为软体操作臂的预测姿态向量；d为软体操作臂的预测姿态向量y′的维度；μ(x′)为拼接向量x′的均值；e为自然常数；

其中，g＝logσ(x′)，σ(x′)为拼接向量x′的方差。

通过构建上述损失函数对描述预测姿态向量y′的概率分布P(y′|x′)＝N(μ(x′),σ(x′))进行修正，输出拼接向量x′的均值μ(x′)，以及拼接向量x′的方差的对数g＝logσ(x′)。由输出的拼接向量x′的均值μ(x′)，以及拼接向量x′的方差的对数g＝logσ(x′)重构软体操作臂1的姿态。

如图7所示本发明一个实施例中软体操作臂输入不同气压下软体操作臂姿态重构的效果图，图7中(a)至(i)为软体操作臂输入不同气压下软体操作臂姿态重构的效果，在LSTM神经网络测试集上得到的平均绝对误差(MAE)为3.4mm。

图8所示本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置X方向的偏移量的示意图，图9所示本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置Y方向的偏移量的示意图，图10所示本发明一个实施例中软体操作臂弯曲过程中连续5分钟跟踪软体操作臂末端位置Z方向的偏移量的示意图。本发明的实施例中，通过对软体操作臂1连续5分钟充气，在软体操作臂弯1曲过程中跟踪软体操作臂1末端位置(进气口相对的一端)在X方向、Y方向和Z方向的偏移量，可以看出以本发明提供的概率分布的方式描述预测姿态向量，并进行修正后，软体操作臂1末端位置在X方向、Y方向和Z方向的偏移量更加接近真实值。

本发明基于LSTM神经网络对FBG光纤传感器采集的曲率向量和软体操作臂1的姿态进行映射，通过概率分布的方式描述预测姿态向量，并构建损失函数修正概率分布，实现将FBG光纤传感器采集的信息以高斯分布均值和方差的方式输出软体机械臂的姿态，降低了系统误差对软体操作臂姿态重构精确度的影响，提高软体操作臂姿态重构的精确度。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于LSTM神经网络的软体操作臂姿态重构的方法，其特征在于，所述方法包括：

在LSTM神经网络的输入层，输入软体操作臂输出的光纤曲率向量；

在LSTM神经网络的输出层，对软体操作臂的姿态预测，得到软体操作臂的预测姿态向量；

在LSTM神经网络的输出层，通过概率分布的方式描述所述预测姿态向量；

构建损失函数，对描述所述预测姿态向量的概率分布进行修正，输出软体操作臂的姿态。

2.根据权利要求1所述的方法，其特征在于，在LSTM神经网络的输入层，输入软体操作臂输出的光纤曲率向量，由光纤采集的软体操作臂的弯曲曲率和偏转角构建。

3.根据权利要求1所述的方法，其特征在于，软体操作臂的所述预测姿态向量通过如下方式描述：

y′＝f_ω(s,y)，

其中，y′为软体操作臂的预测姿态向量；f_ω为软体操作臂输出的光纤曲率向量到软体操作臂外围传感点的空间位置映射函数；s为软体操作臂输出的光纤曲率向量；y为软体操作臂输入的气压。

4.根据权利要求1所述的方法，其特征在于，通过如下概率分布的方式描述所述预测姿态向量：

P(y′|x′)＝N(μ(x′),σ(x′))，

其中，y′为软体操作臂的预测姿态向量；x′为软体操作臂输出的光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；μ(x′)为拼接向量x′的均值；σ(x′)为拼接向量x′的方差。

5.根据权利要求1所述的方法，其特征在于，所述构建损失函数为：

其中，T为向软体操作臂1输入气压的时间段；x′为软体操作臂输出的光纤曲率向量s与软体操作臂输入的气压y拼接的拼接向量；t和m为求和公式的变量；

y′为软体操作臂的预测姿态向量；d为软体操作臂的预测姿态向量y′的维度；μ(x′)为拼接向量x′的均值；e为自然常数；

其中，g＝logσ(x′)，σ(x′)为拼接向量x′的方差。

6.根据权利要求1所述的方法，其特征在于，所述软体操作臂呈柱状结构，在所述软体操作臂内部由外部腔壁和内部腔壁均匀分割形成三个气腔；

所述外部腔壁外侧形成波浪形的凸起结构；在所述软体操作臂中心形成贯通所述软体操作臂的光纤槽；所述光纤槽内设置三芯光纤。

Images