CN114022414B - 一种基于双目感知学习的加油加电智能动作的执行方法 - Google Patents

Abstract

本发明公开了一种基于双目感知学习的加油加电智能动作的执行方法，首先利用标定后的双目相机获取目标场景的多视角图像；分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于机械手臂底座的三维坐标；进一步获得可行性与安全性融合最高的机械手臂轨迹；依据机械手臂轨迹和各个舵机的角度操作机械手臂进行开启与关闭油箱类目标或电源接入口的操作。上述方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题。

Description

一种基于双目感知学习的加油加电智能动作的执行方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于双目感知学习的加油加电智能动作的执行方法。

背景技术

目前，由于汽油、柴油物质具有易燃性、易爆性、易挥发性、易扩散流淌性、静电荷积聚性、有毒性等危险、危害特性，而加油站经营过程中大量存储和销售汽油和柴油物质，决定了加油站存在着许多安全隐患，工作人员的误操作或中毒危害等等均可能带来较大的人员伤亡、财产损失和社会影响；同时随着电动汽车市场的日益发展，迫切需求相应技术水平的提升，智能加油加电类技术应运而生。

现有技术中的智能加油加电类技术存在着许多弊端，主要的几个方面如下：

一是现有的机器人缺乏视觉介入导致自动化受到很大限制，只对重复性大,执行频率高的工作有替代性作用，而对智能加油加电这类并不完全重复且有效与安全性要求高的工作存在很多隐患，智能化的操作存在很大的限制；

二是现有算法缺乏对场景的全面认识从而导致应用存在很大风险，加油站经营过程中大量存储的汽油和柴油物质本身具有很多的危险危害特性，场景识别的缺乏导致机械臂操作过程中很容易因出现场景障碍导致机械臂误操作，引发无法弥补的后果，加大了安全隐患。

发明内容

本发明的目的是提供一种基于双目感知学习的加油加电智能动作的执行方法，该方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题，能够更高效且安全的实现油箱类及电源接入口开启与关闭精准机器智能动作的执行。

本发明的目的是通过以下技术方案实现的：

一种基于双目感知学习的加油加电智能动作的执行方法，所述方法包括：

步骤1、利用标定后的双目相机获取目标场景的多视角图像；

步骤2、将所述双目相机中左目相机捕获的图像分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；

步骤3、分割油箱类目标或电源接入口的区域位置，并结合深度图进行测距，实现三维重建，获取油箱类目标或电源接入口在重建的三维场景中的信息；

步骤4、获得在基于世界坐标下双目相机与机械手臂底座的旋转平移矩阵，并根据世界坐标系与像素坐标系的映射关系，以及机械手臂坐标系与世界坐标系的转换关系，计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于所述机械手臂底座的三维坐标；

步骤5、根据步骤4获得的三维坐标判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置，若能达到，则利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹，再计算出机械手臂按轨迹动作过程中机械手臂各个舵机的角度；

步骤6、依据所获得的机械手臂轨迹和各个舵机的角度操作机械手臂到达油箱类目标或电源接入口的位置，进行开启与关闭油箱类目标或电源接入口的操作。

由上述本发明提供的技术方案可以看出，上述方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题，能够更高效且安全的实现油箱类及电源接入口开启与关闭精准机器智能动作的执行。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于双目感知学习的加油加电智能动作的执行方法流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示为本发明实施例提供的基于双目感知学习的加油加电智能动作的执行方法流程示意图，所述方法包括：

步骤1、利用标定后的双目相机获取目标场景的多视角图像；

在该步骤中，由于坐标系的转换及三维重建需要双目相机的内外参数，因此需要对双目相机进行标定操作，具体标定过程如下：

首先利用双目相机采集标定板图像，并将图像分割成左相机图像与右相机图像；

之后利用matlab的stereoCameraCalibrator，输入左相机图片和右相机图片所在的文件夹，以及标定板的网格尺寸；

最后点击界面上方的Calibrate键，进行标定操作，点击界面上方按钮ExportCamera Parameters,即可导出标定结果。

步骤2、将所述双目相机中左目相机捕获的图像分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；

在该步骤中，首先将所述双目相机中左目相机捕获的图像输入到车型高效感知模块，并对感知结果进行概率评估，若达到设定的概率阈值，则输出厂商车体的具体车型，并根据具体车型判断油箱类目标或电源接入口的左右估计区域；举例来说：

将判断感知过程分为两个阶段，阶段一为车粗略感知网络，该网络的输入图像大小为608*608，包含图像预处理，即将左目相机捕获的图像缩放到网络的输入大小，并进行最小化风险归一化等操作，由于车粗略感知仅靠单一角度的图像信息难以高效实现，这里可以将多角度图像进行拼接，并利用风险评估最小化操作提高图像信息保存的完整性，即最小化风险归一化。

之后利用性能优异的分类器提取一些通用的车型特征，例如由于CNN网络后面接的全连接层需要固定的输入大小，故往往通过将输入图像resize到固定大小的方式输入卷积网络，这会造成几何失真影响精度，通过将候选区的特征图划分为多个不同尺寸的网格，然后对每个网格内都做最大池化，这样可以让后面的全连接层得到固定的输入；通过自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合等等，因此在第一阶段最后可以输出粗略的车体区域、粗略车型及其概率。

阶段二为厂商车模型或款式甄别的精细化感知网络，输入为最小化风险归一化处理后得到的图像和在第一阶段输出的粗略车体区域、粗略车型；输出为各类车体车型的概率并使用阶段一输出的粗略车型进行筛选；然后根据输出概率进行评估，若达到设定的概率阈值，本实施例设定为0.7(即70％)，则认为输出的车型正确无误，再输出厂商车体的具体车型，并根据具体车型判断油箱类目标或电源接入口的左右估计区域。

再以左右估计区域作为先验知识将图像输入到区域决策模块中，用于分割出油箱类目标或电源接入口在目标场景图像中的位置，具体过程为：

所述区域决策模块是根据所需的语义特征及所述车型高效感知模块输入的左右估计区域特征，分割出油箱类目标或电源接入口在目标场景图像中的位置，并进行风险搜索，具体来说：

规定风险评估函数为R，当风险评估函数的数值高于可操作的阈值时，代表车型识别或位置识别错误，则采用非正常处理流程，提醒车主移动车辆；若未超出，则正常输出油箱类目标或电源接入口在目标场景图像中的位置；

其中，风险评估函数R以所述车型高效感知模块在阶段一输出的车型粗略判断概率p₁、阶段二输出的车型精细化感知概率p₂、油箱类目标或电源接入口的左右方位判断概率p₃以及分割出区域位置的概率p₄作为指标，首先获取决策信息，即属性权重ω和归一化的属性值r，令：

ω₁＝ω₂＝0.2，ω₃＝ω₄＝0.3

其中，n为指标数，用于计算风险评估数值；i为下标，取值为1～4，p_i为相应概率；r_i为归一化后的指标值。

最后将左目相机捕获的图像输入到激光视觉感知再决策模块生成点云信息，同时利用激光结合相机得到的激光视觉RGBD-i图像与双目视觉估计的RGBD-j图像，利用两组RGBD图像进行相互校准，并结合L-RGBD的L，即点云信息实现区域再决策，得到准确性更高的油箱类目标或电源接入口在目标场景图像中的区域位置。

具体实现中，由于三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度数据，和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为点云。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，根据激光测量原理利用三维激光扫描可以得到直接的点云数据，对点云数据进行滤波、配准、分割、分类等等处理可以使其基于三维重建算法生成可用于规划路径的地图，充足的信息量也为风险代价估计提供了大量指标。同时由于RGB图像只能用于目标识别，类目标形状的干扰例如贴图、装饰品对结果有很大影响，而利用深度D可以有效甄别目标的三维真实性，筛除干扰，这使得利用RGB图像进行区域决策之后利用RGBD图像进行区域再决策尤为重要。

而单一的利用双目估计出的RGBD图像在准确度上存在一定的缺陷，因此本发明实施例使用激光结合相机再产生一组L-RGBD图像，通过RGBD-i(激光视觉)与双目视觉估计的RGBD-j(双目估计)图像的相互校准来弥补单一RGBD图像的准确性缺陷，以此确定作业目标正确无误；并结合L-RGBD的L，即激光生成的点云信息实现区域再决策，得到准确性更高的油箱类目标或电源接入口在目标场景图像中的区域位置，上述L-RGBD信息的利用可以有效提高油箱类及电源接入口的感知准确度，以感知车型与风险评估方法进行优选路径也可以有效避免杂物、车体坑洼、装饰物的干扰。

其中，利用两组RGBD图像进行相互校准的过程为：

两组RGBD图像的相互校准是利用绝对值偏差法，计算所有相同位置两图像在深度D通道上的绝对值偏差，当偏差为可接受范围内时，认为该位置图像正确，其中深度D通道值取均值；否则认为位置错误，将该深度D通道值改为0；如下公式所示：

其中，D_1-ij，D_2-ij分别是RGBD-i图像及RGBD-j图像在坐标(i,j)处的D通道值；为可允许最大偏差；D_ij是校准后的D通道值。

步骤3、分割油箱类目标或电源接入口的区域位置，并结合深度图进行测距，实现三维重建，获取油箱类目标或电源接入口在重建的三维场景中的信息；

在该步骤中，所述深度图是指将场景中各点的深度距离作为像素值的图像，它直接反映了景物可见表面的几何形状，相比于RGB图像补充了深度特征，利用深度图结合区域决策模块有效重建分割出区域位置包含目标的三维信息，实现三维重建；

另外，还可以利用SC形状置信度进行重建后效果的评价，与区域决策模块的风险评估函数R的计算类似，以分割区域重建前后三维信息为指标，令指标权重相等，令置信度α为：

步骤4、获得在基于世界坐标下双目相机与机械手臂底座的旋转平移矩阵，并根据世界坐标系与像素坐标系的映射关系，以及机械手臂坐标系与世界坐标系的转换关系，计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于所述机械手臂底座的三维坐标；

在该步骤中，世界坐标系、相机坐标系、图像坐标系和像素坐标系是图像处理、立体视觉经常涉及到的内容，世界坐标系和相机坐标系之间的转换涉及到物体的旋转和平移，绕着不同的坐标轴旋转不同的角度可以得到相应的旋转矩阵；从相机坐标系到图像坐标系是从3D转换到2D，属于透视投影关系；像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，以上可以推导出像素坐标系到世界坐标系的转换关系，具体推导过程不在此赘述。世界坐标系与像素坐标系的映射关系为：

即相机深度Zc乘以像素坐标Px＝相机内参K*相机外参RT*世界坐标Pw；其中，世界坐标系原点为左目相机x轴方向的中点；

另外，还需要进行世界坐标系与机械手臂坐标系的转换，机械手臂坐标系与世界坐标系的转换关系为：

计算以机械手臂坐标系为基准的世界坐标系与机械手臂坐标系的旋转平移矩阵Ta，Ta乘以世界坐标Pw，即得到机械手臂坐标系下的坐标Pa。

步骤5、根据步骤4获得的三维坐标判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置，若能达到，则利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹，再计算出机械手臂按轨迹动作过程中机械手臂各个舵机的角度；

在该步骤中，判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置的过程需要结合机械手臂模型，在已知机械手臂urdf模型时可以利用MoveI的插件实现判断，为了提高判断确信度，对于有解情况下可以使用DH表达法再进行顺运动学求解，将求解结果与MoveI结果进行比较。

具体实现中，利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹的过程为：

规划多个机械手臂轨迹是通过定义一个性能度量或成本函数来得到：

其中，0<γ≤1为折扣因子；u_k＝h(x_k)是控制反馈策略；函数r(x_i,u_i)称为效用，是控制成本的度量，根据最低风险因素进行选择，标准形式是二次能量函数，表示为：

其中，Q与R分别为设计的半正定矩阵和正定矩阵；x_k是矩阵形式的度量指标，上标T表示矩阵的转置；

或者

可行性与安全性融合最高的机械手臂轨迹是选择成本最小的策略来获得：

称为最优成本或最优价值，给出了最优控制策略，表示为：

对于一般的非线性系统，所有折扣成本总和的最小化问题通常是非常困难的，本实施例采用一种基于轨迹等级迭代算法简化这个问题的求解，它可以生成优选安全轨迹，具体实现中，初始化时选择一个控制策略h₀(x_k)，不要求可行性和稳定性，在等级更新时则使用方程：

V_j+1(x_k)＝r(x_k,h_j(x_k))+γV_j(x_k+1)

在策略改进时则使用方程：

其中，下标j表示当前状态，j+1表示下一状态；

最终得到可行性与安全性融合最高的机械手臂轨迹。

另外，计算机械手臂按轨迹动作过程中机械手臂各个舵机的角度的方法有多种，一般分为两类：封闭解(closed-form solutions)和数值解(numerical solutions)。本实施例使用MoveIt默认的逆运动学插件使用的基于雅克比迭代的数值求解器KDL结合机械手臂的urdf模型，实现机器人逆运动学的求解，计算出机械手臂各个舵机的关节角度，同时还可以根据计算出舵机角度结合机器人顺运动学知识，再次求得机械臂的末端位姿，与已知末端位姿作比较，判断是否符合条件。

步骤6、依据所获得的机械手臂轨迹和各个舵机的角度操作机械手臂到达油箱类目标或电源接入口的位置，进行开启与关闭油箱类目标或电源接入口的操作。

具体实现中，所述方法还包括：

机械手臂通过实时检测安装在机械手臂上的压力传感器数值，判断机械手臂的当前状态，以避免对机械手臂与目标造成损伤；

同时作最终风险估计，若判断系统能正常运行，则依据轨迹改变舵机角度到达目标位置，并进行后续操作；若判断不能正常运行，则系统暂停运行并给予反馈提示。

举例来说，将上述车型高效感知模块、区域决策模块、三维重建模块、轨迹规划及强化学习优选轨迹中所应用的风险评估值a_i作为最终的风险估计的指标，对各项指标的实际值，以同类指标的标准水平x₀为基础进行打分，可取均值也可为其他值，每高出或低于标准水平，则分数对应提高或减少，程度由分母D决定，具体公式如下：

其中，x_i为各个模块应用的风险评估值a_i，i为下标用以区分不同模块；D是变化率，即决定x_i偏移标准水平x₀一定值时风险分数的变化程度；

F_i以各风险分数相同权重进行线性加权，计算出最终风险分数F，以此判断系统是否能正常进行，若判断系统能正常运行，则依据轨迹改变舵机角度到达目标位置，并进行后续操作；若判断不能正常运行，则系统暂停运行并给予反馈提示。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本发明实施例所述方法通过多技术风险驱动融合，利用激光视觉感知生成的点云信息和双目感知相机RGBD深度图像信息深度融合的L-RGBD信息，经过借助于深度图的初步判断，再到重建后的点云信息为依托的精准判断，形成高精度、低风险的机器人运动轨迹，每个模块均在可靠性风险范围内运行，最终保证在场景语义理解准确性提高的同时，为场景下的机器人可靠行为提供了强力的视觉感知支持，从而更高效且安全的实现油箱类及电源接入口开启与关闭精准机器智能动作的执行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (8)

1.一种基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述方法包括：

步骤1、利用标定后的双目相机获取目标场景的多视角图像；

步骤2、将所述双目相机中左目相机捕获的图像分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；

步骤3、分割油箱类目标或电源接入口的区域位置，并结合深度图进行测距，实现三维重建，获取油箱类目标或电源接入口在重建的三维场景中的信息；

步骤4、获得在基于世界坐标下双目相机与机械手臂底座的旋转平移矩阵，并根据世界坐标系与像素坐标系的映射关系，以及机械手臂坐标系与世界坐标系的转换关系，计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于所述机械手臂底座的三维坐标；

步骤5、根据步骤4获得的三维坐标判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置，若能达到，则利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹，再计算出机械手臂按轨迹动作过程中机械手臂各个舵机的角度；

步骤6、依据所获得的机械手臂轨迹和各个舵机的角度操作机械手臂到达油箱类目标或电源接入口的位置，进行开启与关闭油箱类目标或电源接入口的操作。

2.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述步骤2的过程具体为：

首先将所述双目相机中左目相机捕获的图像输入到车型高效感知模块，并对感知结果进行概率评估，若达到设定的概率阈值，则输出厂商车体的具体车型，并根据具体车型判断油箱类目标或电源接入口的左右估计区域；

再以左右估计区域作为先验知识将图像输入到区域决策模块中，用于分割出油箱类目标或电源接入口在目标场景图像中的位置；

最后将左目相机捕获的图像输入到激光视觉感知再决策模块生成点云信息，同时利用激光结合相机得到的激光视觉RGBD-i图像与双目视觉估计的RGBD-j图像，利用两组RGBD图像进行相互校准，并结合L-RGBD的L，即点云信息实现区域再决策，得到准确性更高的油箱类目标或电源接入口在目标场景图像中的区域位置。

3.根据权利要求2所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述区域决策模块具体是根据所需的语义特征及所述车型高效感知模块输入的左右估计区域特征，分割出油箱类目标或电源接入口在目标场景图像中的位置，并进行风险搜索，具体来说：

规定风险评估函数为R，当风险评估函数的数值高于可操作的阈值时，代表车型识别或位置识别错误，则采用非正常处理流程，提醒车主移动车辆；若未超出，则正常输出油箱类目标或电源接入口在目标场景图像中的位置；

其中，风险评估函数R以所述车型高效感知模块在阶段一输出的车型粗略判断概率p1、阶段二输出的车型精细化感知概率p2、油箱类目标或电源接入口的左右方位判断概率p3以及分割出区域位置的概率p4作为指标，首先获取决策信息，即属性权重ω和归一化的属性值r，令：

ω₁＝ω₂＝0.2，ω₃＝ω₄＝0.3

其中，n为指标数，用于计算风险评估数值；i为下标，取值为1～4，p_i为相应概率；r_i为归一化后的指标值。

4.根据权利要求2所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述利用两组RGBD图像进行相互校准的过程为：

两组RGBD图像的相互校准是利用绝对值偏差法，计算所有相同位置两图像在深度D通道上的绝对值偏差，当偏差为可接受范围内时，认为该位置图像正确，其中深度D通道值取均值；否则认为位置错误，将该深度D通道值改为0；如下公式所示：

其中，D_1-ij，D_2-ij分别是RGBD-i图像及RGBD-j图像在坐标(i,j)处的D通道值；为可允许最大偏差；D_ij是校准后的D通道值。

5.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，在步骤3中，所述深度图是指将场景中各点的深度距离作为像素值的图像，它直接反映了景物可见表面的几何形状，相比于RGB图像补充了深度特征，利用所述深度图结合区域决策模块有效重建分割出区域位置包含目标的三维信息，实现三维重建。

6.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，在步骤4中，世界坐标系与像素坐标系的映射关系为：

即相机深度Zc乘以像素坐标Px＝相机内参K*相机外参RT*世界坐标Pw；其中，世界坐标系原点为左目相机x轴方向的中点；

机械手臂坐标系与世界坐标系的转换关系为：

计算以机械手臂坐标系为基准的世界坐标系与机械手臂坐标系的旋转平移矩阵Ta，Ta乘以世界坐标Pw，即得到机械手臂坐标系下的坐标Pa。

7.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，在步骤5中，利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹的过程为：

规划多个机械手臂轨迹是通过定义一个性能度量或成本函数来得到，表示为：

其中，0<γ≤1为折扣因子；u_k＝h(x_k)是控制反馈策略；函数r(x_i,u_i)称为效用，是控制成本的度量，根据最低风险因素进行选择，标准形式是二次能量函数，表示为：

其中，Q与R分别为设计的半正定矩阵和正定矩阵；x_k是矩阵形式的度量指标，上标T表示矩阵的转置；

或者

可行性与安全性融合最高的机械手臂轨迹是选择成本最小的策略来获得：

称为最优成本或最优价值，给出了最优控制策略，表示为：

具体实现中，初始化时选择一个控制策略h₀(x_k)，不要求可行性和稳定性，在等级更新时则使用方程：

V_j+1(x_k)＝r(x_k,h_j(x_k))+γV_j(x_k+1)

在策略改进时则使用方程：

其中，下标j表示当前状态，j+1表示下一状态；

最终得到可行性与安全性融合最高的机械手臂轨迹。

8.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述方法还包括：

所述机械手臂通过实时检测安装在机械手臂上的压力传感器数值，判断机械手臂的当前状态，以避免对机械手臂与目标造成损伤；

同时作最终风险估计，若判断系统能正常运行，则依据轨迹改变舵机角度到达目标位置，并进行后续操作；若判断不能正常运行，则系统暂停运行并给予反馈提示。