CN113671960A - 一种磁性微纳机器人的自主导航与控制方法 - Google Patents
一种磁性微纳机器人的自主导航与控制方法 Download PDFInfo
- Publication number
- CN113671960A CN113671960A CN202110955991.9A CN202110955991A CN113671960A CN 113671960 A CN113671960 A CN 113671960A CN 202110955991 A CN202110955991 A CN 202110955991A CN 113671960 A CN113671960 A CN 113671960A
- Authority
- CN
- China
- Prior art keywords
- micro
- nano robot
- magnetic
- magnetic field
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 16
- 238000005096 rolling process Methods 0.000 claims description 12
- 230000002787 reinforcement Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 239000012530 fluid Substances 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 239000011324 bead Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- QJVKUMXDEUEQLH-UHFFFAOYSA-N [B].[Fe].[Nd] Chemical compound [B].[Fe].[Nd] QJVKUMXDEUEQLH-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 229910001172 neodymium magnet Inorganic materials 0.000 claims description 3
- 230000035699 permeability Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000001258 synovial membrane Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种磁性微纳机器人的自主导航与控制方法，涉及微纳机器人技术领域，该方法通过交流电流源来驱动三轴亥姆霍兹线圈产生空间旋转磁场以驱动磁性微纳机器人运动，采用显微镜对磁性微纳机器人的工作环境及其位置进行反馈，建立磁性微纳机器人的车辆等效模型，降低了控制的复杂度，然后基于边界扩充和路径平滑改进了RRT‑CONNET路径规划算法，最后设计了基于强化学习的轨迹跟踪控制器，并依据磁性微纳机器人的运动约束设计了回报函数以指导强化学习网络的收敛方向，提高了磁性微纳机器人的轨迹跟踪控制精度。
Description
技术领域
本发明涉及微纳机器人技术领域，尤其是一种磁性微纳机器人的自主导航与控制方法。
背景技术
近年来，磁场驱动式的微纳机器人由于远程化、入侵性小等优势，正受到广泛的关注，许多团体开始研究其在生物医疗中的应用，但是微纳机器人自主导航与控制系统在实际的应用中还是存在着不少的挑战。
以往的研究中，在对微纳机器人进行路径规划时，并未考虑运动对象的运动约束。如果规划的路径过于曲折，将会给机器人的运动控制带来很大的麻烦。另一方面，当前人们普遍采用PID或者滑膜控制器对微纳机器人进行控制，然而在一些复杂的高阶非线性系统中，传统的PID控制方法鲁棒性较差。基于滑膜控制器的方法在一定程度上具有优势，但其控制方法的主要缺点是“抖动”现象，在实际系统中可能会损坏执行器。
发明内容
本发明人针对上述问题及技术需求，提出了一种磁性微纳机器人的自主导航与控制方法，通过改进的RRT-CONNET算法，为磁性微纳机器人规划出平滑易控的最优避障路径，利用神经网络来构建从系统观测和控制输入到控制输出的磁性微纳机器人的轨迹跟踪控制器，弥补传统控制算法鲁棒性差，易产生抖动的缺点。
本发明的技术方案如下：
一种磁性微纳机器人的自主导航与控制方法，磁性微纳机器人的自主导航与控制系统包括形成闭环控制的交流电流源、三轴亥姆霍兹线圈、磁性微纳机器人、显微镜和上位机；
方法包括如下步骤：
建立磁性微纳机器人的车辆等效模型，将对磁性微纳机器人的控制等效为对微车的转向角和油门的控制；
对显微镜采集的图像进行图像特征的提取、匹配和融合，从局部地图扩充到全局地图，并利用语义分割和目标检测方法获取磁性微纳机器人的状态信息和所处环境信息；
利用改进的RRT-CONNET算法，引入边界扩充和曲线平滑算法对原始轨迹进行处理，得到磁性微纳机器人在全局地图的最优避障路径；
基于等效模型和状态信息，对磁性微纳机器人进行运动学建模得到状态空间方程；
利用状态空间方程设计基于强化学习的轨迹跟踪控制器，轨迹跟踪控制器依据状态信息输出控制信号至交流电流源，从而改变空间旋转磁场以跟踪最优避障路径，实现对磁性微纳机器人的闭环控制。
其进一步的技术方案为，利用改进的RRT-CONNET算法，引入边界扩充和曲线平滑算法对原始轨迹进行处理，得到磁性微纳机器人在全局地图的最优避障路径，包括：
通过像素语义图计算磁性微纳机器人的设定工作环境的可驱动区域的边界，然后根据磁性微纳机器人在像素上的大小扩展可驱动区域的边界，将扩展结果以外的区域作为非驾驶区，可驱动区域边界内部为驾驶区；
通过RRT-CONNET算法对规划路径进行节点细化，以提取关键地标，然后使用B样条函数优化由关键地标形成的局部路径以产生具有连续曲率的平滑路径作为最优避障路径。
其进一步的技术方案为，基于磁性微纳机器人的运动状态，定义状态空间方程为：
其中，δ表示微车的转向角，τ表示微车的油门；eθ表示微车与最优避障路径之间的角度差，
是一阶导数；ex、ey分别是x和y轴方向的位置误差，
和
是相应的一阶导数，
和
是相应的二阶导数，导数用于向轨迹跟踪控制器提供时间信息；χ中包含在最优避障路径中当前位置的后两个路径点的二维坐标，S表示维度为14的状态空间方程。
其进一步的技术方案为，利用状态空间方程设计基于强化学习的轨迹跟踪控制器，包括：
基于强化学习的轨迹跟踪控制器由三种神经网络组成，包括两个软Q函数Qθ1(st,at)、Qθ2(st,at)和可处理策略
其中，st表示t时刻状态空间方程的状态信息，at表示t时刻的动作空间，三种神经网络的参数是θ1、2和φ0；
算法流程如下：首先，观察当前时刻状态空间方程的14维状态，然后通过策略网络将状态信息转移到具有完全连接层的2维动作；从输出分布中采样动作，并使用tanh激活函数将其归一化为[-1,1]，采样动作将被进一步映射和平滑以与环境交互；当获得下一个状态信息st+1和r(st,at)时，参数(st,at,r(st,at),st+1)被存储到缓冲区中，在训练过程中会重复进行上述交互和存储的过程；在训练结束时，当过渡次数大于设置阈值时，分别使用函数JQ(θi)和Jπ(φ0)更新网络，重复整个算法流程，直到得到最佳策略为止。
其进一步的技术方案为，轨迹跟踪控制器依据状态信息输出控制信号至交流电流源，从而改变空间旋转磁场以跟踪最优避障路径，包括：
向轨迹跟踪控制器输入当前时刻的状态空间方程，输出包括转向角和油门控制量的动作空间；
将动作空间等效为空间旋转磁场的旋转角度，对当前时刻的空间旋转磁场值进行磁场转换，得到下一时刻旋转后的空间旋转磁场值；
根据下一时刻旋转后的空间旋转磁场值计算得到线圈的三轴电流，进而转换为交流电对应的频率和幅值作为控制信号输入至交流电流源。
其进一步的技术方案为，将动作空间等效为空间旋转磁场的旋转角度，对当前时刻的空间旋转磁场值进行磁场转换，得到下一时刻旋转后的空间旋转磁场值，包括：
采用四元数方法推导空间旋转磁场的产生，对于空间磁场矢量OM，O:(0,0,0)表示在空间的原点，设当前时刻的空间旋转磁场值M为(x,y,z)，下一时刻旋转后的空间旋转磁场值M’为(x’,y’,z’)；空间三维旋转视为绕三个基本轴的旋转组合，绕三个基本轴的旋转角度是
其中，将旋转矢量的旋转角度
等效为微车的转向角控制量，将旋转矢量的旋转角度φ等效为微车的油门控制量，且φ＝∫ωtdt，ω表示旋转角速度；
旋转前四元数坐标M[0(x,y,z)]是通过四元数方法展开磁场值(x,y,z)后得到的，求解旋转后四元数坐标M’[0(x’,y’,z’)]的过程如下：
q＝[q0(q1 q2 q3)]
q-1＝[q0(-q1 -q2 -q3)]
其中，q代表单位四元数；
设三个基本轴的旋转顺序依次为z、y、x，则旋转过程定义为：
qM＝[q0(q1 q2 q3)][0(x,y,z)]＝[w1(v1,v2,v3)]
旋转后四元数坐标M’基于单位四元数与旋转的关系，定义为：
M′＝qMq-1＝[w1(v1,v2,v3)][q0(-q1-q2-q3)]＝[w0(u,v,w)]
其中，中间变量分别表示为：
则下一时刻旋转后的空间旋转磁场值M’表示为：
其进一步的技术方案为，根据下一时刻旋转后的空间旋转磁场值计算得到线圈的三轴电流，其中，计算公式为：
其中，Be记为空间旋转磁场，μ0表示空间中的磁导率，Nk(k＝x,y,z)表示三轴亥姆霍兹线圈中每个线圈的匝数，Ik(k＝x,y,z)表示三轴电流，ak(k＝x,y,z)表示三轴亥姆霍兹线圈中每个线圈的半径；
通过空间旋转磁场与机器人的磁矩的乘积产生的磁转矩来操纵磁性微纳机器人按照最优避障路径运动，磁转矩的表达式为：Te＝m×Be，其中m表示磁矩。
其进一步的技术方案为，方法还包括：
基于最优避障路径跟随和非冲突的目标，设计回报函数用来评估轨迹跟踪控制器的性能，设计回报函数reθ、rex、rey和rco，表示如下：
其中，reθ、rex、rey表示距离目标点误差的回报函数，实现目标跟踪和自主规划功能；rco表示机器人避开非驾驶区的回报函数，对静态避障和动态避障同时有效，以磁性微纳机器人的直径作为圆的半径，圆的面积为
非驾驶区与圆相交的面积为sco，则总回报累积为：
R＝∑(reθ(t)+rex(t)+rey(t)+rco(t))。
其进一步的技术方案为，磁性微纳机器人采用磁珠，材料为钕铁硼材料、半径为rm，磁性微纳机器人在设定工作环境中运动，设定工作环境为含有流体的微流控芯片或者培养皿。
其进一步的技术方案为，分析磁性微纳机器人在设定工作环境下的滚动条件，包括：
在空间旋转磁场下，磁性微纳机器人受到磁转矩Te，并将磁转矩Te表示为切向力FT，磁性微纳机器人还受到地面摩擦力、流体阻力FP、浮力Fb和自身重力G；
其中：FT＝Te/rm
fs＝μ(G-Fb)
fr＝σ(G-Fb)
fs为静摩擦力，fr为滚动摩擦力，μ和σ分别为静摩擦系数和滚动摩擦系数；
则磁性微纳机器人的滚动条件为：
本发明的有益技术效果是：
通过对磁性微纳机器人进行车辆等效建模，大大优化了复杂环境下磁性微纳机器人的控制策略，采用闭环控制能够实时监测磁性微纳机器人的运动，通过改进的RRT-CONNET算法，为磁性微纳机器人规划出平滑易控的最优避障路径，设计基于强化学习的轨迹跟踪控制器，弥补了传统算法鲁棒性差，易产生抖动的缺点，在上位机中将控制器输出的动作空间通过磁场转换为下一时刻旋转后的空间旋转磁场值，进而转换为交流电对应的频率和幅值作为控制信号输入至交流电流源，实现改变空间旋转磁场以跟踪最优避障路径；依据机器人的运动约束设计了回报函数以指导强化学习网络的收敛方向，提高了磁性微纳机器人的轨迹跟踪控制精度。
附图说明
图1是本申请提供的磁性微纳机器人的自主导航与控制系统的闭环控制图。
图2是本申请提供的磁性微纳机器人的自主导航与控制方法的流程图。
图3是本申请提供的磁性微纳机器人的受力分析图。
图4是本申请提供的磁性微纳机器人的等效模型图。
图5是改进的RRT-CONNET算法的效果示意图，其中：(a)是标准RRT算法的效果图，(b)是边界扩充后的设定工作环境的示意图，(c)是边界扩充后的路径规划效果图，(d)是B样条函数平滑后的路径规划效果图。
图6是本申请提供的基于强化学习的轨迹跟踪控制器的网络架构。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示，磁性微纳机器人的自主导航与控制系统包括形成闭环控制的交流电流源、三轴亥姆霍兹线圈、磁性微纳机器人、显微镜和上位机。交流电流源包括直流电源和驱动板，直流电源通过驱动板将直流电转换为交流电，为三轴亥姆霍兹线圈提供交流电、以产生空间旋转磁场驱动磁性微纳机器人运动。上位机分别与驱动板、显微镜进行数据通信，显微镜用于获取磁性微纳机器人的状态信息和所处环境信息，给上位机提供视觉反馈信号。上位机中的路径规划器依据状态信息和环境信息进行路径规划，上位机中的轨迹跟踪控制器依据状态信息输出控制信号至驱动板上输出频率和幅值可调的交流电，从而改变空间旋转磁场以跟踪最优避障路径。
可选的，本申请采用磁珠作为磁性微纳机器人，材料为钕铁硼材料、半径为rm，磁性微纳机器人在设定工作环境中运动，设定工作环境为含有流体的微流控芯片或者培养皿。
基于上述系统，本申请还提供了一种磁性微纳机器人的自主导航与控制方法，如图2所示，具体包括如下步骤：
步骤1：建立磁性微纳机器人的车辆等效模型。
首先，分析磁性微纳机器人在设定工作环境下的滚动条件，包括：
如图3所示，在空间旋转磁场下，磁性微纳机器人受到磁转矩Te，并将磁转矩Te表示为切向力FT，磁性微纳机器人还受到地面摩擦力、流体阻力FP、浮力Fb和自身重力G；
其中：FT＝Te/rm
fs＝μ(G-Fb)
fr＝σ(G-Fb)
fs为静摩擦力，fr为滚动摩擦力，μ和σ分别为静摩擦系数和滚动摩擦系数；
则磁性微纳机器人的滚动条件为：
进一步的，为了优化复杂工作环境下磁性微纳机器人的控制策略，本申请建立车辆等效模型，将对磁性微纳机器人的控制等效为对微车的转向角和油门的控制，如图4所示。
步骤2：对显微镜采集的图像进行图像特征的提取、匹配和融合，从局部地图扩充到全局地图，并利用语义分割和目标检测方法获取磁性微纳机器人的状态信息和所处环境信息。
步骤3：利用改进的RRT-CONNET算法，引入边界扩充和曲线平滑算法对原始轨迹进行处理，得到磁性微纳机器人在全局地图的最优避障路径。
由于没有运动约束，所以规划的路径就像是树枝分支，而且该路径靠近驾驶区域的边界，因此，微纳机器人在行驶过程中很容易遇到边界，如图5-(a)所示，这将给微车的运动控制带来困难，因此本申请采用改进的RRT-CONNET算法，可用区域边界的扩展不会在RRT-CONNET的迭代过程中引入额外的计算，因此对总计划时间的影响很小，具体包括：
首先通过像素语义图计算磁性微纳机器人的设定工作环境的可驱动区域的边界，然后根据磁性微纳机器人在像素上的大小扩展可驱动区域的边界，如图5-(b)所示，粗线代表可驱动区域边界扩展的结果，将扩展结果以外的区域作为非驾驶区1，可驱动区域边界内部为驾驶区2。在新的语义图(b)上进行了模拟，效果图如图5-(c)所示，可以看到规划路径3不再出现在边界附近。
进一步，通过RRT-CONNET算法对规划路径进行节点细化，以提取关键地标，然后使用B样条函数优化由关键地标形成的局部路径以产生具有连续曲率的平滑路径作为最优避障路径4，如图5-(d)所示。
步骤4：基于等效模型和状态信息，对磁性微纳机器人进行运动学建模得到状态空间方程。
基于磁性微纳机器人的运动状态，定义状态空间方程为：
其中，δ表示微车的转向角，τ表示微车的油门；eθ表示微车与最优避障路径之间的角度差，
是一阶导数；ex、ey分别是x和y轴方向的位置误差，
和
是相应的一阶导数，
和
是相应的二阶导数，导数用于向轨迹跟踪控制器提供时间信息；χ中包含在最优避障路径中当前位置的后两个路径点的二维坐标，S表示维度为14的状态空间方程。
步骤5：利用状态空间方程设计基于强化学习的轨迹跟踪控制器，轨迹跟踪控制器依据状态信息输出控制信号至交流电流源，从而改变空间旋转磁场以跟踪最优避障路径，实现对磁性微纳机器人的闭环控制，具体包括：
<1>如图6所示，基于强化学习的轨迹跟踪控制器由三种神经网络组成，包括两个软Q函数Qθ1(st,at)、Qθ2(st,at)和可处理策略
其中，st表示t时刻状态空间方程的状态信息，at表示t时刻的动作空间，三种神经网络的参数是θ1、2和φ0。
算法流程如下：首先，观察当前时刻状态空间方程的14维状态，然后通过策略网络将状态信息转移到具有完全连接层的2维动作；从输出分布中采样动作，并使用tanh激活函数将其归一化为[-1,1]，采样动作将被进一步映射和平滑以与环境交互；当获得下一个状态信息st+1和r(st,at)时，参数(st,at,r(st,at),st+1)被存储到缓冲区中，在训练过程中会重复进行上述交互和存储的过程；在训练结束时，当过渡次数大于设置阈值时，分别使用函数JQ(θi)和Jπ(φ0)更新网络，重复整个算法流程，直到得到最佳策略为止。
<2>向轨迹跟踪控制器输入当前时刻的状态空间方程，输出包括转向角和油门控制量的动作空间。
<3>将动作空间等效为空间旋转磁场的旋转角度，对当前时刻的空间旋转磁场值进行磁场转换，得到下一时刻旋转后的空间旋转磁场值，具体包括：
采用四元数方法推导空间旋转磁场的产生，对于空间磁场矢量OM，O:(0,0,0)表示在空间的原点，设当前时刻的空间旋转磁场值M为(x,y,z)，下一时刻旋转后的空间旋转磁场值M’为(x’,y’,z’)；空间三维旋转视为绕三个基本轴的旋转组合，绕三个基本轴的旋转角度是
其中，将旋转矢量的旋转角度
等效为微车的转向角控制量，将旋转矢量的旋转角度φ等效为微车的油门控制量，且φ＝∫ωtdt，ω表示旋转角速度；
旋转前四元数坐标M[0(x,y,z)]是通过四元数方法展开磁场值(x,y,z)后得到的，求解旋转后四元数坐标M’[0(x’,y’,z’)]的过程如下：
q＝[q0(q1 q2 q3)]
q-1＝[q0(-q1 -q2 -q3)]
其中，q代表单位四元数；
设三个基本轴的旋转顺序依次为z、y、x，则旋转过程定义为：
qM＝[q0(q1 q2 q3)][0(x,y,z)]＝[w1(v1,v2,v3)]
旋转后四元数坐标M’基于单位四元数与旋转的关系，定义为：
M′＝qMq-1＝[w1(v1,v2,v3)][q0(-q1-q2-q3)]＝[w0(u,v,w)]
其中，中间变量分别表示为：
则下一时刻旋转后的空间旋转磁场值M’表示为：
<4>根据下一时刻旋转后的空间旋转磁场值计算得到线圈的三轴电流，进而转换为交流电对应的频率和幅值作为控制信号输入至交流电流源。
计算公式为：
其中，Be记为空间旋转磁场，μ0表示空间中的磁导率，Nk(k＝x,y,z)表示三轴亥姆霍兹线圈中每个线圈的匝数，Ik(k＝x,y,z)表示三轴电流，ak(k＝x,y,z)表示三轴亥姆霍兹线圈中每个线圈的半径。
通过空间旋转磁场与机器人的磁矩的乘积产生的磁转矩来操纵磁性微纳机器人按照最优避障路径运动，磁转矩的表达式为：Te＝m×Be，其中m表示磁矩。
步骤6：基于最优避障路径跟随和非冲突的目标，设计回报函数用来评估轨迹跟踪控制器的性能，设计回报函数reθ、rex、rey和rco，表示如下：
其中，reθ、rex、rey表示距离目标点误差的回报函数，实现目标跟踪和自主规划功能；rco表示机器人避开非驾驶区的回报函数，对静态避障和动态避障同时有效，以磁性微纳机器人的直径作为圆的半径，圆的面积为
非驾驶区与圆相交的面积为sco，则总回报累积为：
R＝∑(reθ(t)+rex(t)+rey(t)+rco(t))。
对轨迹跟踪控制器进行模型训练的目的是使总回报越高越好。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
Claims (10)
1.一种磁性微纳机器人的自主导航与控制方法，其特征在于，所述磁性微纳机器人的自主导航与控制系统包括形成闭环控制的交流电流源、三轴亥姆霍兹线圈、磁性微纳机器人、显微镜和上位机；
所述方法包括：
建立所述磁性微纳机器人的车辆等效模型，将对所述磁性微纳机器人的控制等效为对微车的转向角和油门的控制；
对所述显微镜采集的图像进行图像特征的提取、匹配和融合，从局部地图扩充到全局地图，并利用语义分割和目标检测方法获取所述磁性微纳机器人的状态信息和所处环境信息；
利用改进的RRT-CONNET算法，引入边界扩充和曲线平滑算法对原始轨迹进行处理，得到所述磁性微纳机器人在全局地图的最优避障路径；
基于所述等效模型和状态信息，对所述磁性微纳机器人进行运动学建模得到状态空间方程；
利用所述状态空间方程设计基于强化学习的轨迹跟踪控制器，所述轨迹跟踪控制器依据状态信息输出控制信号至所述交流电流源，从而改变空间旋转磁场以跟踪所述最优避障路径，实现对所述磁性微纳机器人的闭环控制。
2.根据权利要求1所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述利用改进的RRT-CONNET算法，引入边界扩充和曲线平滑算法对原始轨迹进行处理，得到所述磁性微纳机器人在全局地图的最优避障路径，包括：
通过像素语义图计算所述磁性微纳机器人的设定工作环境的可驱动区域的边界，然后根据所述磁性微纳机器人在像素上的大小扩展所述可驱动区域的边界，将扩展结果以外的区域作为非驾驶区，可驱动区域边界内部为驾驶区；
通过RRT-CONNET算法对规划路径进行节点细化，以提取关键地标，然后使用B样条函数优化由所述关键地标形成的局部路径以产生具有连续曲率的平滑路径作为所述最优避障路径。
3.根据权利要求1所述的磁性微纳机器人的自主导航与控制方法，其特征在于，基于所述磁性微纳机器人的运动状态，定义所述状态空间方程为：
其中，δ表示微车的转向角，τ表示微车的油门；eθ表示微车与最优避障路径之间的角度差，
是一阶导数；ex、ey分别是x和y轴方向的位置误差，
和
是相应的一阶导数，
和
是相应的二阶导数，导数用于向轨迹跟踪控制器提供时间信息；χ中包含在最优避障路径中当前位置的后两个路径点的二维坐标，S表示维度为14的状态空间方程。
4.根据权利要求1所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述利用所述状态空间方程设计基于强化学习的轨迹跟踪控制器，包括：
所述基于强化学习的轨迹跟踪控制器由三种神经网络组成，包括两个软Q函数Qθ1(st,at)、Qθ2(st,at)和可处理策略
其中，st表示t时刻状态空间方程的状态信息，at表示t时刻的动作空间，三种神经网络的参数是θ1、2和φ0；
算法流程如下：首先，观察当前时刻状态空间方程的14维状态，然后通过策略网络将状态信息转移到具有完全连接层的2维动作；从输出分布中采样动作，并使用tanh激活函数将其归一化为[-1,1]，所述采样动作将被进一步映射和平滑以与环境交互；当获得下一个状态信息st+1和r(st,at)时，参数(st,at,r(st,at),st+1)被存储到缓冲区中，在训练过程中会重复进行上述交互和存储的过程；在训练结束时，当过渡次数大于设置阈值时，分别使用函数JQ(θi)和Jπ(φ0)更新网络，重复整个算法流程，直到得到最佳策略为止。
5.根据权利要求1所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述轨迹跟踪控制器依据状态信息输出控制信号至所述交流电流源，从而改变空间旋转磁场以跟踪所述最优避障路径，包括：
向所述轨迹跟踪控制器输入当前时刻的状态空间方程，输出包括转向角和油门控制量的动作空间；
将所述动作空间等效为所述空间旋转磁场的旋转角度，对当前时刻的空间旋转磁场值进行磁场转换，得到下一时刻旋转后的空间旋转磁场值；
根据所述下一时刻旋转后的空间旋转磁场值计算得到线圈的三轴电流，进而转换为交流电对应的频率和幅值作为控制信号输入至所述交流电流源。
6.根据权利要求5所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述将所述动作空间等效为所述空间旋转磁场的旋转角度，对当前时刻的空间旋转磁场值进行磁场转换，得到下一时刻旋转后的空间旋转磁场值，包括：
采用四元数方法推导所述空间旋转磁场的产生，对于空间磁场矢量OM，O:(0,0,0)表示在空间的原点，设所述当前时刻的空间旋转磁场值M为(x,y,z)，所述下一时刻旋转后的空间旋转磁场值M’为(x’,y’,z’)；空间三维旋转视为绕三个基本轴的旋转组合，绕三个基本轴的旋转角度是
其中，将旋转矢量的旋转角度
等效为微车的转向角控制量，将旋转矢量的旋转角度φ等效为微车的油门控制量，且φ＝∫ωtdt，ω表示旋转角速度；
旋转前四元数坐标M[0(x,y,z)]是通过四元数方法展开磁场值(x,y,z)后得到的，求解旋转后四元数坐标M’[0(x’,y’,z’)]的过程如下：
q＝[q0(q1 q2 q3)]
q-1＝[q0(-q1 -q2 -q3)]
其中，q代表单位四元数；
设三个基本轴的旋转顺序依次为z、y、x，则旋转过程定义为：
qM＝[q0(q1 q2 q3)][0(x,y,z)]＝[w1(v1,v2,v3)]
所述旋转后四元数坐标M’基于单位四元数与旋转的关系，定义为：
M′＝qMq-1＝[w1(v1,v2,v3)][q0(-q1 -q2 -q3)]＝[w0(u,v,w)]
其中，中间变量分别表示为：
则所述下一时刻旋转后的空间旋转磁场值M’表示为：
7.根据权利要求5所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述根据所述下一时刻旋转后的空间旋转磁场值计算得到线圈的三轴电流，其中，计算公式为：
其中，Be记为所述空间旋转磁场，μ0表示空间中的磁导率，Nk(k＝x,y,z)表示所述三轴亥姆霍兹线圈中每个线圈的匝数，Ik(k＝x,y,z)表示三轴电流，ak(k＝x,y,z)表示所述三轴亥姆霍兹线圈中每个线圈的半径；
通过所述空间旋转磁场与机器人的磁矩的乘积产生的磁转矩来操纵所述磁性微纳机器人按照所述最优避障路径运动，所述磁转矩的表达式为：Te＝m×Be，其中m表示磁矩。
8.根据权利要求1-7任一所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述方法还包括：
基于最优避障路径跟随和非冲突的目标，设计回报函数用来评估所述轨迹跟踪控制器的性能，设计回报函数reθ、rex、rey和rco，表示如下：
其中，reθ、rex、rey表示距离目标点误差的回报函数，实现目标跟踪和自主规划功能；rco表示机器人避开非驾驶区的回报函数，对静态避障和动态避障同时有效，以所述磁性微纳机器人的直径作为圆的半径，圆的面积为
所述非驾驶区与圆相交的面积为sco，则总回报累积为：
R＝∑(reθ(t)+rex(t)+rey(t)+rco(t))。
9.根据权利要求1-7任一所述的磁性微纳机器人的自主导航与控制方法，其特征在于，所述磁性微纳机器人采用磁珠，材料为钕铁硼材料、半径为rm，所述磁性微纳机器人在设定工作环境中运动，所述设定工作环境为含有流体的微流控芯片或者培养皿。
10.根据权利要求9所述的磁性微纳机器人的自主导航与控制方法，其特征在于，分析所述磁性微纳机器人在所述设定工作环境下的滚动条件，包括：
在所述空间旋转磁场下，所述磁性微纳机器人受到磁转矩Te，并将所述磁转矩Te表示为切向力FT，所述磁性微纳机器人还受到地面摩擦力、流体阻力FP、浮力Fb和自身重力G；
其中：FT＝Te/rm
fs＝μ(G-Fb)
fr＝σ(G-Fb)
fs为静摩擦力，fr为滚动摩擦力，μ和σ分别为静摩擦系数和滚动摩擦系数；
则所述磁性微纳机器人的滚动条件为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955991.9A CN113671960A (zh) | 2021-08-19 | 2021-08-19 | 一种磁性微纳机器人的自主导航与控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955991.9A CN113671960A (zh) | 2021-08-19 | 2021-08-19 | 一种磁性微纳机器人的自主导航与控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113671960A true CN113671960A (zh) | 2021-11-19 |
Family
ID=78544083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955991.9A Pending CN113671960A (zh) | 2021-08-19 | 2021-08-19 | 一种磁性微纳机器人的自主导航与控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113671960A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114967458A (zh) * | 2022-05-30 | 2022-08-30 | 江南大学 | 一种微纳机器人集群的驱动控制系统 |
| CN116009452A (zh) * | 2023-01-04 | 2023-04-25 | 中国科学院深圳先进技术研究院 | 在分叉流道中协同驱动磁性微型机器人的控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717821A (zh) * | 2018-12-18 | 2019-05-07 | 江南大学 | 一种多旋转永磁体驱动微磁器件的系统及方法 |
| CN111904486A (zh) * | 2020-05-18 | 2020-11-10 | 吉林大学 | 螺旋型血管机器人姿轨一体化自适应滑模跟踪控制方法 |
| CN112180736A (zh) * | 2020-10-19 | 2021-01-05 | 江南大学 | 基于双闭环三维路径跟踪的微机器人磁驱装置和控制方法 |
-
2021
- 2021-08-19 CN CN202110955991.9A patent/CN113671960A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717821A (zh) * | 2018-12-18 | 2019-05-07 | 江南大学 | 一种多旋转永磁体驱动微磁器件的系统及方法 |
| CN111904486A (zh) * | 2020-05-18 | 2020-11-10 | 吉林大学 | 螺旋型血管机器人姿轨一体化自适应滑模跟踪控制方法 |
| CN112180736A (zh) * | 2020-10-19 | 2021-01-05 | 江南大学 | 基于双闭环三维路径跟踪的微机器人磁驱装置和控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIGAO FAN ETC.: "Dynamic Magnetic Field Generation With High Accuracy Modeling Applied to Magnetic Robots", IEEE TRANSACTIONS ON MAGNETICS, vol. 57, no. 7, XP011862398, DOI: 10.1109/TMAG.2021.3079252 * |
| 张鹏松等: "基于视觉反馈的磁性微型机器人自主导航控制", 传感器与微系统, vol. 40, no. 6, pages 11 - 15 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114967458A (zh) * | 2022-05-30 | 2022-08-30 | 江南大学 | 一种微纳机器人集群的驱动控制系统 |
| CN116009452A (zh) * | 2023-01-04 | 2023-04-25 | 中国科学院深圳先进技术研究院 | 在分叉流道中协同驱动磁性微型机器人的控制方法 |
| CN116009452B (zh) * | 2023-01-04 | 2024-01-30 | 中国科学院深圳先进技术研究院 | 在分叉流道中协同驱动磁性微型机器人的控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107490965B (zh) | 一种空间自由漂浮机械臂的多约束轨迹规划方法 | |
| Zhang et al. | Multilevel humanlike motion planning for mobile robots in complex indoor environments | |
| CN110653805B (zh) | 笛卡尔空间下的七自由度冗余机械臂任务约束路径规划方法 | |
| Li et al. | Adaptive trajectory tracking of nonholonomic mobile robots using vision-based position and velocity estimation | |
| Billard et al. | Discovering optimal imitation strategies | |
| CN109108942A (zh) | 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统 | |
| CN113671960A (zh) | 一种磁性微纳机器人的自主导航与控制方法 | |
| CN106774309A (zh) | 一种移动机器人同时视觉伺服与自适应深度辨识方法 | |
| Liu et al. | Distance-directed target searching for a deep visual servo sma driven soft robot using reinforcement learning | |
| Zhou | Lageo: a latent and geometrical framework for path and manipulation planning | |
| Zou et al. | Learning-based optimization algorithms combining force control strategies for peg-in-hole assembly | |
| CN107685343A (zh) | 一种机械臂运动学参数标定构型优化方法 | |
| CN112966816A (zh) | 一种编队包围的多智能体强化学习方法 | |
| CN112857370A (zh) | 一种基于时序信息建模的机器人无地图导航方法 | |
| Yang et al. | Vision-based localization and mapping for an autonomous mower | |
| Zhou et al. | Robot manipulator visual servoing based on image moments and improved firefly optimization algorithm-based extreme learning machine | |
| CN109542094B (zh) | 无期望图像的移动机器人视觉镇定控制 | |
| Maheshwari et al. | PIAug--Physics Informed Augmentation for Learning Vehicle Dynamics for Off-Road Navigation | |
| Du et al. | A novel natural mobile human-machine interaction method with augmented reality | |
| CN114756032A (zh) | 一种用于智能体自主导航的多传感信息高效融合方法 | |
| CN115179280A (zh) | 一种用于强化学习机械臂控制中基于磁场的奖励塑形方法 | |
| CN111221340B (zh) | 一种基于粗粒度特征的可迁移视觉导航设计方法 | |
| Lang et al. | Visual servoing with LQR control for mobile robots | |
| Szpakowska et al. | Navigational Strategies for Mobile Robots Using Rough Mereological Potential Fields and Weighted Distance to Goal | |
| Wang et al. | Dynamic Parallel Mapping and Trajectory Planning of Robot Arm in Unknown Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |