CN117193020B - 一种基于全自动液体样本处理工作站的目标识别和路径规划方法 - Google Patents

Abstract

一种基于全自动液体样本处理工作站的目标识别和路径规划方法，步骤包括：在参考图片和相机图片之间使用加权平均曼哈顿距离和欧几里德距离法判断是否执行循环，然后将参考图片和相机图片送入基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法KF‑GALSTM的视觉伺服控制算法，从而将机器手引导到机器人可以完全看到物体的位置，使用基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法得到抓取的坐标，将坐标映射为全局坐标后，利用基于Cubic映射和正余弦搜索策略的SSA算法控制执行器执行抓取功能。本发明结合了基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法(KF‑GALSTM)的视觉伺服控制算法，基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法和基于Cubic映射和正余弦搜索策略的SSA方法，能提高抓取物体的准确率，本发明在实现准确的抓取方面取得了显著的效果。

Description

一种基于全自动液体样本处理工作站的目标识别和路径规划 方法

技术领域

本发明适用于食品、临床医学等多个领域。具体涉及基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法(KF-GALSTM)的视觉伺服控制算法，融入正向运动学，基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法，提出了一种基于Cubic映射和正余弦搜索策略的麻雀搜索(SSA)方法，这些技术在处理吸取液体样本、添加试剂、混合、清洗时展现出优越性，能够具有节约成本、精度高、速度快、操作简单等优点。通过这些创新技术的应用，本发明在实现全自动液体样本处理方面取得了显著的效果。

背景技术

液体处理是生物学和医疗诊断的重要交叉领域，在医疗保健、基因组学和分子生物学等领域被广泛应用，近年来备受研究关注。

基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法(KF-GALSTM)的视觉伺服控制算法结合了长短期记忆网络(LSTM)、卡尔曼滤波算法(KalmanFilter，KF)和遗传算法(GeneticAlgorithm，GA)。为了得到最优估计，并使系统具有更优的性能，本文在已有的KF以及一些改进的扩展卡尔曼滤波基础上作更深一步的改进，利用神经网络作为补偿器弥补由KF带来的误差。分别通过卡尔曼滤波、优化神经网络误差补偿模块和速度控制器实现，得到末端执行器的位置。

基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法，使用ResNet-50网络作为特征提取器，通过定向参考抓取引入了关于抓取位置、大小和方向的先验知识，将参考抓取定义为参考抓取的变形。

基于Cubic映射和正余弦搜索策略的SSA方法，首先通过Cubic混沌映射的方法将初始麻雀种群进行优化，再运用正、余弦搜索策略对发现者位置进行更新，寻找更优质的可行解，来提高收敛精度和寻优能力。

发明内容

针对于样本处理的大量需求，以及传统细胞制样过程效率低、易因人为导致误差等问题，本文提出了一种基于全自动液体处理工作站的智能处理系统，结合基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法(KF-GALSTM)的视觉伺服控制算法，融入正向运动学，基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法和基于Cubic映射和正余弦搜索策略的SSA方法，基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法(KF-GALSTM)的视觉伺服控制算法较于卡尔曼滤波算法等其他算法得到雅可比矩阵最优值，增强机械臂运行的平稳性，减少图像特征误差，同时加入基于Cubic映射和正余弦搜索策略的SSA方法，通过对麻雀种群进行初始化策略，加速种群间的信息交流，提高了物种的多样性，再运用正余弦搜索策略对发现者位置进行更新，有效地降低了产生局部最优的概率，加快收敛的速度，提供更准确寻优搜索能力从而减少迭代次数，提高收敛精度。

具体发明内容：

一种基于全自动液体处理工作站的智能处理系统，其特征在于包括以下步骤：

步骤1)在相机图像与参考图像间使用加权平均曼哈顿距离和欧几里德距离法判断是否执行循环，包括以下步骤：

步骤1.1)若加权平均值大于某个阈值则执行循环，其中加权平均值S为：

其中α和β分别是曼哈顿距离和欧几里德距离的加权，这里分别取0.5和0.5；

步骤1.2)基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法KF-GALSTM的视觉伺服控制算法将机器手引导到机器人可以完全看到物体的位置并且得到末端执行器的位姿以满足后续抓取检测条件，包括以下步骤:

步骤1.2.1)初始化：机械臂运动的初始阶段给定任意m步线性无关的试探运动dq¹...dq^m得到图像特征变化ds¹...ds^m从而获得状态初始值X(0)即：

X(0)＝J′(0)＝[ds¹...ds^m][dq¹...dq^m]

步骤1.2.2)通过卡尔曼滤波得到K(t)误差、X(t/t)误差和Z(t)误差，并将其构造为单个向量输入到GALSTM网络，得到J_q(t/t)和期望矩阵的差值，其中K(t)是滤波增益，X(t/t)是KF的次优估计，Z(t)是系统观测向量；

步骤1.2.3)通过GALSTM网络更新值J_q′(t/t)：

其中J_q(t/t)是KF的次优估计，J_q′(t/t)是经过误差补偿后的最优估计，是KF估计误差；

步骤1.2.4)将其和图像特征误差一起放入速度控制器，并引入比例增益λ＝0.5，得到关节空间位置向量通过积分送入机械臂正向运动学模型得到末端执行器的位置；

步骤1.2.5)最后由控制规则驱动机械臂运行，当图像特征误差值在允许范围内时，机械臂停止运动，否则继续执行KF-GALSTM算法；

步骤2)基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法，得到抓取位置坐标(x,y,h,w,θ)，其中(x,y)是中心位置，(h,w)是其尺寸，θ是其方向，包括以下步骤：

步骤2.1)使用ResNet-50网络作为特征提取器，使用320×320像素的图像输入大小，获得第四个卷积块的输出，并根据要素贴图的所需大小，ResNet的最后几层将被丢弃，最终特征图的大小为20×20×1024；

步骤2.2)预测网络训练两个卷积层来预测特征图的每个像素和每个参考锚框的五个回归值，通过定向参考抓取引入了关于抓取位置、大小和方向的先验知识，将参考抓取定义为：

g_a＝(g_ax,g_ay,g_aw,g_ah,g_aθ)

步骤2.3)然后将抓取定义为参考抓取的变形δ＝(δ_x,δ_y,δ_w,δ_h,δ_θ)，根据如下方程：

x＝δ_x*g_aw+g_ax

y＝δ_y*g_ah+g_ay

w＝exp(δ_w)*g_aw

h＝exp(δ_h)*g_ah

θ＝δ_θ*(180/k)+g_aθ

其中k是不同参考抓取的数量，x,y是中心位置，h,w是其尺寸，θ是其方向；

步骤2.4)通过记分器网络预测描述出抓取的质量，选择得分最高的T个锚框，得分网络只评估相应的T次抓取，接近1的分数表示良好位置的高置信度，而接近0的分数表示平行板抓取器的位置或定向不足；

步骤3)基于Cubic映射和正余弦搜索策略的SSA算法求解机械臂逆解的方法，反求关节参数，执行抓取功能；

步骤3.1)初始化种群位置，在D维解空间内n只麻雀种群的位置可表示为：

步骤3.2)引入Cubic混沌映射生成0到1之间的随机性序列对初始化麻雀种群进行优化，其中Cubic混沌映射为：

式中，ρ为Cubic映射因子及控制参数，序列值x_n∈(0,1)；

步骤3.3)计算个体麻雀的适应度值并排序，并更新当前的最优值和最差值；

步骤3.4)从适应度值较低的麻雀中选取部分作为发现者，并引入正余弦搜索策略，按照下式更新追随者位置：

其中r₄∈(0,2π)，表示下一次迭代的移动距离，r₅表示[0,1]上服从均匀分布的随机数，用来判别是服从正弦函数还是余弦函数；

步骤3.5)根据以下公式更新追随者位置：

其中表示发现者在第t次迭代在第j维的最差位置信息，/>表示发现者在第t+1次迭代在第j维处于最优位置信息，A是一个1×d的一行多维向量，且内部元素随机选择是1或-1，A⁺＝A^T(AA^T)^-1，当i＞n/2时，表示当前位置的追随者处于饥饿状态，适应度值比较差，需要跳出当前位置去其他位置觅食；当i≤n/2时，表示当前位置的追随者有较好的适应度值，可以在该区域范围内继续觅食；

步骤3.6)根据下式更新侦察预警者位置：

其中：表示全局最优的位置信息；β为控制步长的参数，服从正态分布；K∈[-1,1]范围内的一个均匀随机数，用来控制麻雀的运动方向；f_i是当前个体麻雀的适应度值，f_g和f_w分别为当前种群的局部最优和最差适应度；ε为一个极小的常数，用来防止发生分母为0的情况，这里取10E-8，当f_i＞f_g时，表示麻雀觅食区域处于较差的位置，很容易受到攻击；当f_i＝f_g时，表明部分麻雀察觉到了危险，需要靠近其他同伴以减少被抓的风险；

步骤3.7)迭代更新得到当前更新位置，如果优于旧位置则执行抓取。

本发明具有如下优点和有益效果：

结合了加权平均曼哈顿距离和欧几里德距离对相机图像和参考图像进行处理，使用基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法KF-GALSTM的视觉伺服控制算法，通过依次进入卡尔曼滤波、优化神经网络误差补偿模块和速度控制器等模块有助于增强系统的鲁棒性和姿态估计精度，进而提高系统的准确性与快速性；

基于Cubic映射和正余弦搜索策略的SSA方法目的是解决非最优路径且收敛速度慢和容易陷入局部最优解等问题。通过使用Cubic映射初始化种群，可以使分布更加均匀，扩大了寻优的区域，通过正余弦搜索策略使得算法有效防止发现者落入局部最优值，大大地提高了收敛精度，同时加快了迭代效率。

附图说明

图1是本发明基于全自动液体样本处理工作站的目标识别和路径规划方法技术领域总体流程图；

具体实施方式

下面，将结合附图与实施例，进一步详细说明本发明的优点、目的，应当理解，此处描述仅解释本发明，并不用于限定本发明。

本发明提出的一种基于全自动液体处理工作站的智能处理系统，首先使用加权平均曼哈顿距离和欧几里德距离判断是否执行，然后使用KF-GALSTM算法得到最优雅可比矩阵和关节空间位置向量，再通过正运动学模型得到末端执行器的位置，并将该位置传输到视觉伺服和抓取检测网络，最后将当前图像送入抓取检测网络，得到局部坐标并映射到全局坐标，最高利用逆向运动学得到各关节坐标并执行夹持器闭合功能，附图1为本发明全自动液体处理工作站的智能处理系统总体流程图，包括以下步骤：

一种基于全自动液体处理工作站的智能处理系统，其特征在于包括以下步骤：

步骤1)在相机图像与参考图像间使用加权平均曼哈顿距离和欧几里德距离法判断是否执行循环，包括以下步骤：

步骤1.1)若加权平均值大于某个阈值则执行循环，其中加权平均值S为：

其中α和β分别是曼哈顿距离和欧几里德距离的加权，这里分别取0.5和0.5；

步骤1.2)基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法KF-GALSTM的视觉伺服控制算法将机器手引导到机器人可以完全看到物体的位置并且得到末端执行器的位姿以满足后续抓取检测条件，包括以下步骤:

步骤1.2.1)初始化：机械臂运动的初始阶段给定任意m步线性无关的试探运动dq¹...dq^m得到图像特征变化ds¹...ds^m从而获得状态初始值X(0)即：

X(0)＝J′(0)＝[ds¹...ds^m][dq¹...dq^m]

步骤1.2.2)通过卡尔曼滤波得到K(t)误差、X(t/t)误差和Z(t)误差，并将其构造为单个向量输入到GALSTM网络，得到J_q(t/t)和期望矩阵的差值，其中K(t)是滤波增益，X(t/t)是KF的次优估计，Z(t)是系统观测向量；

步骤1.2.3)通过GALSTM网络更新J_q′(t/t)值：

其中J_q(t/t)是KF的次优估计，J_q′(t/t)是经过误差补偿后的最优估计，是KF估计误差；

步骤1.2.4)将其和图像特征误差一起放入速度控制器，并引入比例增益λ＝0.5，得到关节空间位置向量通过积分送入机械臂正向运动学模型得到末端执行器的位置；

步骤1.2.5)最后由控制规则驱动机械臂运行，当图像特征误差值在允许范围内时，机械臂停止运动，否则继续执行KF-GALSTM算法；

步骤2)基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法，得到抓取位置坐标(x,y,h,w,θ)，其中(x,y)是中心位置，(h,w)是其尺寸，θ是其方向，包括以下步骤：

步骤2.1)使用ResNet-50网络作为特征提取器，使用320×320像素的图像输入大小，获得第四个卷积块的输出，并根据要素贴图的所需大小，ResNet的最后几层将被丢弃，最终特征图的大小为20×20×1024；

步骤2.2)预测网络训练两个卷积层来预测特征图的每个像素和每个参考锚框的五个回归值，通过定向参考抓取引入了关于抓取位置、大小和方向的先验知识，将参考抓取定义为：

g_a＝(g_ax,g_ay,g_aw,g_ah,g_aθ)

步骤2.3)然后将抓取定义为参考抓取的变形δ＝(δ_x,δ_y,δ_w,δ_h,δ_θ)，根据如下方程：

x＝δ_x*g_aw+g_ax

y＝δ_y*g_ah+g_ay

w＝exp(δ_w)*g_aw

h＝exp(δ_h)*g_ah

θ＝δ_θ*(180/k)+g_aθ

其中k是不同参考抓取的数量，x,y是中心位置，h,w是其尺寸，θ是其方向；

步骤2.4)通过记分器网络预测描述出抓取的质量，选择得分最高的T个锚框，得分网络只评估相应的T次抓取，接近1的分数表示良好位置的高置信度，而接近0的分数表示平行板抓取器的位置或定向不足；

步骤3)基于Cubic映射和正余弦搜索策略的SSA算法求解机械臂逆解的方法，反求关节参数，执行抓取功能；

步骤3.1)初始化种群位置，在D维解空间内n只麻雀种群的位置可表示为：

步骤3.2)引入Cubic混沌映射生成0到1之间的随机性序列对初始化麻雀种群进行优化，其中Cubic混沌映射为：

式中，ρ为Cubic映射因子及控制参数，序列值x_n∈(0,1)；

步骤3.3)计算个体麻雀的适应度值并排序，并更新当前的最优值和最差值；

步骤3.4)从适应度值较低的麻雀中选取部分作为发现者，并引入正余弦搜索策略，按照下式更新追随者位置：

其中r₄∈(0,2π)，表示下一次迭代的移动距离，r₅表示[0,1]上服从均匀分布的随机数，用来判别是服从正弦函数还是余弦函数；

步骤3.5)根据以下公式更新追随者位置：

其中表示发现者在第t次迭代在第j维的最差位置信息，/>表示发现者在第t+1次迭代在第j维处于最优位置信息，A是一个1×d的一行多维向量，且内部元素随机选择是1或-1，A⁺＝A^T(AA^T)^-1，当i＞n/2时，表示当前位置的追随者处于饥饿状态，适应度值比较差，需要跳出当前位置去其他位置觅食；当i≤n/2时，表示当前位置的追随者有较好的适应度值，可以在该区域范围内继续觅食；

步骤3.6)根据下式更新侦察预警者位置：

其中：表示全局最优的位置信息；β为控制步长的参数，服从正态分布；K∈[-1,1]范围内的一个均匀随机数，用来控制麻雀的运动方向；f_i是当前个体麻雀的适应度值，f_g和f_w分别为当前种群的局部最优和最差适应度；ε为一个极小的常数，用来防止发生分母为0的情况，这里取10E-8，当f_i＞f_g时，表示麻雀觅食区域处于较差的位置，很容易受到攻击；当f_i＝f_g时，表明部分麻雀察觉到了危险，需要靠近其他同伴以减少被抓的风险；

步骤3.7)迭代更新得到当前更新位置，如果优于旧位置则执行抓取。

Claims (1)

1.一种基于全自动液体样本处理工作站的目标识别和路径规划方法，其特征在于包括以下步骤：

步骤1)在相机图像与参考图像间使用加权平均曼哈顿距离和欧几里得距离法判断是否执行循环，包括以下步骤：

步骤1.1)若加权平均值大于某个阈值则执行循环，其中加权平均值S为：

其中α和β分别是曼哈顿距离和欧几里德距离的加权，这里分别取0.5和0.5；

步骤1.2)基于遗传算法优化的长短期记忆网络的卡尔曼滤波算法KF-GALSTM的视觉伺服控制算法将机器手引导到机器人可以完全看到物体的位置并且得到末端执行器的位姿以满足后续抓取检测条件，包括以下步骤:

步骤1.2.1)初始化：机械臂运动的初始阶段给定任意m步线性无关的试探运动dq¹...dq^m得到图像特征变化ds¹...ds^m从而获得状态初始值X(0)即：

步骤1.2.2)通过卡尔曼滤波得到K(t)误差、X(t/t)误差和Z(t)误差，并将其构造为单个向量输入到GALSTM网络，得到J_q(t/t)和期望矩阵的差值，其中K(t)是滤波增益，X(t/t)是KF的次优估计，Z(t)是系统观测向量；

步骤1.2.3)通过GALSTM网络更新J_q′(t/t)值：

其中J_q(t/t)是KF的次优估计，J_q′(t/t)是经过误差补偿后的最优估计，是KF估计误差；

步骤1.2.4)将其和图像特征误差一起放入速度控制器，并引入比例增益λ＝0.5，得到关节空间位置向量通过积分送入机械臂正向运动学模型得到末端执行器的位置；

步骤1.2.5)最后由控制规则驱动机械臂运行，当图像特征误差值在允许范围内时，机械臂停止运动，否则继续执行KF-GALSTM算法；

步骤2)基于扩展了评估给定位置的可抓取性的记分器的神经网络抓取检测算法，得到抓取位置坐标(x,y,h,w,θ)，其中(x,y)是中心位置，(h,w)是其尺寸，θ是其方向，包括以下步骤：

步骤2.1)使用ResNet-50网络作为特征提取器，使用320×320像素的图像输入大小，获得第四个卷积块的输出，并根据要素贴图的所需大小，ResNet的最后几层将被丢弃，最终特征图的大小为20×20×1024；

步骤2.2)预测网络训练两个卷积层来预测特征图的每个像素和每个参考锚框的五个回归值，通过定向参考抓取引入了关于抓取位置、大小和方向的先验知识，将参考抓取定义为：

g_a＝(g_ax,g_ay,g_aw,g_ah,g_aθ)

步骤2.3)然后将抓取定义为参考抓取的变形δ＝(δ_x,δ_y,δ_w,δ_h,δ_θ)，根据如下方程：

x＝δ_x*g_aw+g_ax

y＝δ_y*g_ah+g_ay

w＝exp(δ_w)*g_aw

h＝exp(δ_h)*g_ah

θ＝δ_θ*(180/k)+g_aθ

其中k是不同参考抓取的数量，x,y是中心位置，h,w是其尺寸，θ是其方向；

步骤2.4)通过记分器网络预测描述出抓取的质量，选择得分最高的T个锚框，得分网络只评估相应的T次抓取，接近1的分数表示良好位置的高置信度，而接近0的分数表示平行板抓取器的位置或定向不足；

步骤3)基于Cubic映射和正余弦搜索策略的SSA算法求解机械臂逆解的方法，反求关节参数，执行抓取功能；

步骤3.1)初始化种群位置，在D维解空间内n只麻雀种群的位置可表示为：

步骤3.2)引入Cubic混沌映射生成0到1之间的随机性序列对初始化麻雀种群进行优化，其中Cubic混沌映射为：

式中，ρ为Cubic映射因子及控制参数，序列值x_n∈(0,1)；

步骤3.3)计算个体麻雀的适应度值并排序，并更新当前的最优值和最差值；

步骤3.4)从适应度值较低的麻雀中选取部分作为发现者，并引入正余弦搜索策略，按照下式更新追随者位置：

其中r₄∈(0,2π)，表示下一次迭代的移动距离，r₅表示[0,1]上服从均匀分布的随机数，用来判别是服从正弦函数还是余弦函数；

步骤3.5)根据以下公式更新追随者位置：

其中表示发现者在第t次迭代在第j维的最差位置信息，/>表示发现者在第t+1次迭代在第j维处于最优位置信息，A是一个1×d的一行多维向量，且内部元素随机选择是1或-1，A⁺＝A^T(AA^T)^-1，当i＞n/2时，表示当前位置的追随者处于饥饿状态，适应度值比较差，需要跳出当前位置去其他位置觅食；当i≤n/2时，表示当前位置的追随者有较好的适应度值，可以在该区域范围内继续觅食；

步骤3.6)根据下式更新侦察预警者位置：

其中：表示全局最优的位置信息；β为控制步长的参数，服从正态分布；K∈[-1,1]范围内的一个均匀随机数，用来控制麻雀的运动方向；f_i是当前个体麻雀的适应度值，f_g和f_w分别为当前种群的局部最优和最差适应度；ε为一个极小的常数，用来防止发生分母为0的情况，这里取10E-8，当f_i＞f_g时，表示麻雀觅食区域处于较差的位置，很容易受到攻击；当f_i＝f_g时，表明部分麻雀察觉到了危险，需要靠近其他同伴以减少被抓的风险；

步骤3.7)迭代更新得到当前更新位置，如果优于旧位置则执行抓取。