CN114571458B

CN114571458B - 基于动态运动基元的微纳机器人组装轨迹学习方法

Info

Publication number: CN114571458B
Application number: CN202210277914.7A
Authority: CN
Inventors: 杨湛; 巢沛栋; 韩驰瑞; 房梁; 王凤霞; 张略; 陈涛; 孙立宁
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2022-11-15
Anticipated expiration: 2042-03-21
Also published as: CN114571458A

Abstract

本发明涉及一种基于动态运动基元的微纳机器人组装轨迹学习方法，包括获取操作人员操作微纳机器人悬臂梁带动纳米线接触电极实现纳米线组装的演示视频，基于演示视频获得XY平面运动轨迹；在XY平面运动轨迹上设定Z轴的运动轨迹，合成三维示教轨迹；获取纳米线和电极之间的深度信息，结合深度信息利用动态运动基元对三维示教轨迹进行学习，得到组装轨迹。本发明提出一种基于动态运动基元的微纳机器人组装轨迹学习方法，其能够适用于微观环境中，通过动态运动基元学习人工组装轨迹，根据组装点的变化情况生成对应的组装轨迹，使得组装轨迹能够在微观尺度上复现。

Description

基于动态运动基元的微纳机器人组装轨迹学习方法

技术领域

本发明涉及纳米尺度的三维机器人自动化运动技术领域，尤其是指一种基于动态运动基元的微纳机器人组装轨迹学习方法。

背景技术

针对纳米器件的纳米操作机器人的自动化操作是目前研究的主要方向，其通过在SEM中集成视觉反馈和力反馈使三维操作系统可以实现对纳米操作的自动化。具体以SEM作为视觉传感器，使用基于视觉的接触检测方法判断探针尖端与基底之间的接触情况，从而实现纳米线的精准组装。

由于微纳机器人组装纳米线是在微观环境中，各种基本力与宏观有非常大的区别，相应轨迹学习方法也需要可以在微观尺度上复现；并且由于纳米线的直径在几十纳米，因此对组装轨迹的精度要求很高，到达了纳米级别；还有由于SEM本身无法获取深度信息，组装位置的深度无法判断，这大大提高了纳米线在组装过程的困难程度。

因此，迫切需要提出一种能够克服以上技术难题的适用于微观环境复现的微纳机器人轨迹学习方法。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于动态运动基元的微纳机器人组装轨迹学习方法，其能够适用于微观环境中，通过动态运动基元学习人工组装轨迹，根据组装点的变化情况生成对应的组装轨迹，使得组装轨迹能够在微观尺度上复现。

为解决上述技术问题，本发明提供一种基于动态运动基元的微纳机器人组装轨迹学习方法，包括以下步骤：

S10：获取操作人员操作微纳机器人悬臂梁带动纳米线接触电极实现纳米线组装的演示视频，基于所述演示视频获得XY平面运动轨迹；

S20：在所述XY平面运动轨迹上设定Z轴的运动轨迹，合成三维示教轨迹；

S30：获取纳米线和电极之间的深度信息，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习，得到组装轨迹；

其中，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习时，选择目标点与实际生成轨迹的端点进行接触判断，判断所述纳米线是否准确接触电极，若判断结果为是，则生成所述组装轨迹，若判断结果为否，则对轨迹参数进行修正，直至生成能够使得纳米线与电极准确接触的组装轨迹。

在本发明的一个实施例中，在S10中，基于所述演示视频获得XY平面运动轨迹的方法包括：

在所述演示视频上截取多帧图像；

选用低通高斯滤波器对每一帧图像进行滤波处理，识别出连续帧图像中微纳机器人悬臂梁的位置，并结合每一帧图像的时间得到连续的XY平面运动轨迹。

在本发明的一个实施例中，在S20中，在所述XY平面运动轨迹上设定Z轴的运动轨迹，合成三维示教轨迹的方法包括：

提取XY平面运动轨迹中的转折点，根据转折点拟合出XY平面轨迹，基于所述XY平面轨迹的变化幅度以及微纳机器人悬臂梁的清晰度判断所述微纳机器人处于平面运动的状态还是深度运动的状态，在判断所述微纳机器人处于深度运动状态时，在XY平面运动轨迹中的转折点上设定Z轴的运动速度，合成三维示教轨迹。

在本发明的一个实施例中，在S30中，获取纳米线和电极之间的深度信息的方法包括：

将图像中微纳机器人悬臂梁区域和电极区域进行框选，使用聚焦深度法获取纳米线和电极之间的深度信息。

在本发明的一个实施例中，在S30中，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习时，应用280-320的核函数区间生成组装轨迹。

在本发明的一个实施例中，在S30中，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习得到组装轨迹的方法包括：

根据电极和纳米线之间的深度信息，设定下降任务的初始点和目标点，核函数的数量，得到第一段下降轨迹，下降轨迹的实际终点由图像中获得，同时设定接触任务的初始点、在Y轴方向的往返距离、下降距离、目标点以及核函数的数量，得到第二段接触轨迹；

判断第一次接触是否成功，若判断结果为是，则生成组装轨迹，若判断结果为否，则对接触任务的目标点进行修正，并进行下一次的接触判断，直至电极与纳米线准确接触。

在本发明的一个实施例中，在判断电极与纳米线是否接触时，根据纳米线斜率的变化情况判断是否接触。

此外，本发明还提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的步骤。

并且，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述所述方法的步骤。

还有，本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述方法的步骤。

本发明的上述技术方案相比现有技术具有以下优点：

1.本发明提出一种基于动态运动基元的微纳机器人组装轨迹学习方法，其能够适用于微观环境中，通过动态运动基元学习人工组装轨迹，根据组装点的变化情况生成对应的组装轨迹，使得组装轨迹能够在微观尺度上复现；

2.本发明通过接触判断的方法自适应修正轨迹参数，确定组装点位置信息，在组装轨迹变化的情况下选择最佳组装轨迹，提高轨迹精度，从而实现精准组装。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。

图1是本发明基于动态运动基元的微纳机器人组装轨迹学习方法的流程示意图。

图2是本发明XY平面运动轨迹示意图。

图3是本发明在XY平面运动轨迹划分下降轨迹和接触轨迹的示意图。

图4是本发明合成得到的三维示教轨迹示意图。

图5是本发明SEM图像中纳米线在不同深度情况下清晰度变化示意图。

图6是本发明不同核函数的轨迹目标点的误差示意图。

图7是本发明动态运动基元(DMP)生成的轨迹与实际轨迹在X轴轨迹上的对比示意图。

图8是本发明动态运动基元(DMP)生成的轨迹与实际轨迹在Y轴轨迹上的对比示意图。

图9是本发明动态运动基元(DMP)生成的轨迹与实际轨迹在Z轴轨迹上的对比示意图。

图10是本发明动态运动基元(DMP)生成的轨迹与实际轨迹在3D轨迹上的对比示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

请参阅图1所示，本实施例提供一种基于动态运动基元的微纳机器人组装轨迹学习方法，包括以下步骤：

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S10，组装纳米线的演示视频由SEM自带的视频捕捉功能获得，在所述演示视频上截取多帧图像，选用低通高斯滤波器对每一帧图像进行滤波处理，识别出连续帧图像中微纳机器人悬臂梁的位置，并结合每一帧图像的时间得到连续的XY平面运动轨迹。

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S20，由于微纳机器人是直角机器人，直线运动较曲线运动更加方便，因此本发明根据图像处理方法获得的下降轨迹信息，针对微纳机器人直角化运动的特点，提取XY平面运动轨迹中的转折点，根据转折点拟合出直角化的示教轨迹，其避免了曲线轨迹的产生。同时由于SEM图像识别得到的移动轨迹仅有XY两平面，因此需要将平面操作与深度操作分割，AFM悬臂梁在深度运动时，其在XY平面上的位置是静止不变的，其上表面与SEM物镜的距离就会发生改变，产生的后果就是SEM图像中的悬臂梁的清晰度就会发生改变。因此，可以根据X轴和Y轴轨迹的变化幅度来确定悬臂梁是否处于平面运动的状态，根据清晰度的变化情况确定深度运动，将其划分为平面轨迹与深度轨迹。然后设定Z轴的运动速度，最后合成完整的三维直角示教组装轨迹。

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S30，对于组装操作来说，夹持有纳米线的悬臂梁和电极的高度差的估计是重要的。其XY的位置和方向可以直接从SEM的图像得到，而z方向的深度信息无法从SEM图像中获得。因此本发明将SEM图像中微纳机器人悬臂梁区域和电极区域进行框选，使用聚焦深度法获取电极和纳米线之间的深度信息。在光学显微镜中，聚焦深度法是获得三维图像和/或计算物体z位置的常用方法，但这种方法在扫描电子显微镜中存在一定的问题。其主要原因是扫描电镜的焦点深度比光学显微镜要大得多，与光学显微镜相比，扫描电镜的焦点深度是光学显微镜的10到100倍，这导致获得的深度信息存在一定的误差。因此本发明在焦平面改变时测量图像中的焦点(清晰度)，如果物体位于焦平面内，则相应图像区域内的清晰度测量结果是极大值。通过确定清晰度峰值点对应的深度，计算对象在z方向上的位置。通过改变工作距离来改变扫描电镜的焦面，工作距离是电子束枪与垂直于电子束聚焦的发射方向的平面之间的距离。其可通过SEM的远程控制界面自动更改和检索工作距离。Tenengrad梯度函数采用Sobel算子提取图像像素点水平方向和垂直方向的梯度值，定义为像素点梯度的平方和，并为梯度设置了一个阈值调节函数的灵敏度，其表达式为：

F＝∑_x∑_y[G(x，y)]² (G(x，y)＞T) (1)

其中，T是给定的边缘检测阈值，G(x，y)是像素点(x，y)处的梯度，Gx和Gy分别是像素点处Soble水平和垂直方向边缘检测算子的卷积。如果一个物体位于焦平面上，在相应的图像区域内的锐度测量结果是极值的。根据梯度函数评价清晰度，将得到的最大值所对应的工作距离作为深度信息。

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S30，在自动化组装过程中，最大的问题就是在SEM中无法获得深度信息，这导致了放置过程无法精准的执行。因此本发明采取接触判断的方式实现纳米线的精准放置。但接触判断需要进行多次操作微纳机器人运动，因此本发明将接触判断与动态运动基元相结合。由于纳米线与电极接触时会有明显的斜率变化，因此可以根据纳米线的斜率变化判断纳米线与电极是否接触，从而修正目标参数，调整运动轨迹，最终实现精准放置，使纳米线与电极精准接触。

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S30，本发明动态运动基元算法采用Ijspeert改进的算法公式。DMP算法框架的模型最开始是来自于弹簧阻尼器的二阶动力学系统，具有自主非线性微分方程的运动基元公式，随着时间的演变产生平滑的运动控制策略，基于模型的控制理论用于将这些策略的输出转换为运动命令，通过耦合项，在线修改可以纳入微分方程的时间演变，其方程为：

其中式(3)中的前半部分是通过弹簧阻尼模型推导出来的点吸引子系统，y为单自由度的运动状态即位移，τ为时间尺度因子，α和β是弹簧阻尼系统的参数，目标点用g来表示，f_t为强迫函数,(6)为f_t的表达形式，在选择强迫函数f_t阶段，由于强迫函数f_t是非线性方程，因此将f_t＝0时候的二阶线性系统转换为一个期望的弱非线性系统。当α＝4β时系统达到临界阻尼状态，能够快速稳定的到达目标点g。为了使系统实现高鲁棒性，而且避免对时间的依赖，引入了一个动力学系统方程(5)，x_t为相位变量，τ为时间尺度因子，当x_t＝1时表示运动起始点，x_t趋近于0时表示到达目标点g。

在本发明公开的一种基于动态运动基元的微纳机器人组装轨迹学习方法中，对于上述实施方式的S30，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习时，应用280-320的核函数区间生成组装轨迹。具体地，根据电极和纳米线之间的深度信息，设定下降任务的初始点和目标点，核函数的数量，得到第一段下降轨迹，下降轨迹的实际终点由图像中获得，同时设定接触任务的初始点、在Y轴方向的往返距离、下降距离、目标点以及核函数的数量，得到第二段接触轨迹；判断第一次接触是否成功，若判断结果为是，则生成组装轨迹，若判断结果为否，则对接触任务的目标点进行修正，并进行下一次的接触判断，直至纳米线与电极准确接触。

下面以具体的实施操作方式对本发明提出的一种基于动态运动基元的微纳机器人组装轨迹学习方法进行详细的阐述。

在组装实验中，电极的放置点A被框定，A点的XY坐标值由SEM图像获得。放置点A的初步深度信息h由聚焦深度法根据电极和纳米线对应的工作距离得到的。由于聚焦深度法得到的深度信息h与实际深度存在误差，我们取Z轴坐标值为深度信息的70％，得到放置点A的X、Y、Z坐标值。根据实际装配实验得到的装配轨迹训练动态运动基于的参数，得到可以改变目标点位置的装配轨迹生成程序。放置点A的三轴位置被输入以获得下降轨迹和接触轨迹。装配轨迹被传送到微纳机器人，微纳机器人悬臂梁夹持纳米线并驱动纳米线运动。根据从SEM侧传输的图像中的纳米线的斜率变化来判断接触结果，并修改目标点参数。结果，经过几次修改，目标点参数成功地接近了实际值，从而使纳米线与电极成功接触。

具体地包括如下内容：

1.操作者通过手动操纵微纳机器人成功地进行了纳米线组装实验。组装实验的演示视频通过SEM自带的视频捕捉功能获得。采用模板匹配的方法来识别和跟踪纳米线的运动。在组装任务中，纳米线在XY平面上的运动轨迹被捕获。根据微纳机器人的特点，采用直角拟合轨迹的方法来合成XY平面的示教轨迹，如图2所示。根据XY平面的示教轨迹得到运动的转折点，即微纳机器人从X轴运动转变为Y轴运动时的点以及微纳机器人在Y轴来回摆动时的点，从而划分出下降轨迹与接触轨迹，如图3所示。由于从SEM图像中无法获得Z轴方向的具体运动信息，因此记录了操作员在下降过程中的操纵参数。根据操纵参数，Z轴的运动速度被设定为100nm/s。根据XY轴变化幅度和清晰度，判断平面运动轨迹和深度运动轨迹，并判断是否加入Z轴方向运动。最后，合成了完整的三维组装示教轨迹，如图4所示。

2.请参阅图5所示，在获取纳米线与电极的深度信息时，将SEM图像中微纳机器人悬臂梁区域和电极区域进行框选。通过这两个区域的清晰度变化来获得相对深度信息。通过获得的相对深度信息，微纳机器人进行初步下降，通过悬臂梁在电极焦平面内清晰度的变化来验证：当微纳机器人下降到指定距离时，两个物体是否位于同一焦平面内。两个物体之间的相对深度由采集到的清晰度拟合曲线得到的。本实施例进行了六次计算得到平均相对深度距离为45.5±0.7μm，但是两个物体之间的实际距离被确定为40μm，计算结果相差约5.5μm，其原因主要是由于SEM的景深较大，因此基于聚焦深度法得到的初步深度信息主要用于粗略的定位，纳米线和电极的精确接触仍需通过与目标间的接触判断来实现。

3.在纳米线放置实验中，对轨迹过程中的形状要求并不高。由于纳米线的直径在30-100纳米的范围内，为了使纳米线与电极接触，要求动态运动基元产生的轨迹的端点的精度在纳米范围内。由动态运动基元生成的轨迹终点与目标点之间的误差主要取决于成核函数的数量。不同成核函数产生的轨迹效果差别很大，误差从1微米到5纳米不等。这导致了纳米线放置中的许多问题，如纳米线断裂、电极与AFM探针接触、电极刮伤等。因此本发明设计了一种自动选择成核功能的方法，应用280-320的核函数区间来生成相应的轨迹。由于我们装配过程中主要关注的是目标点是否准确，因此轨迹评价函数是目标点的误差。选择目标点与实际生成轨迹的端点进行比较。应用误差最小的核函数来生成最佳操纵轨迹。根据图6可以看出，当核函数N为298时，XYZ的三轴误差范围缩小到5nm以内，符合放置过程的要求。其余核函数产生的轨迹误差波动较大，这就不能满足三轴的误差。

4.在组装实验中，根据纳米线与电极之间的初步相对深度信息，本发明设定下降任务的初始点A，设定目标点g1，核函数的数量N＝298，得到第一段下降轨迹，下降轨迹的实际终点坐标从SEM图像中获得。设定接触任务的初始点为B，在Y轴方向往返1μm，下降距离为500nm，目标点为g2，核函数的数量N＝298，得到第二段接触轨迹。第一次接触判断失败后，轨迹参数被修正，目标点变为g3，进行第二次接触判断。本实施例一共进行了9次接触判断，每次下降100nm，目标点Z轴坐标总共下降了800nm，目标点由g2更改为g10后，纳米线与电极成功接触，完成纳米线的组装。结果显示，动态运动基元生成的轨迹的目标点X轴、Y轴和Z轴与实际轨迹的误差如图7-图10所示。可以看出，动态运动基元生成的轨迹误差基本在10nm以内，满足了装配工艺的操纵要求，实现了纳米线的精确组装。

相应于上面的方法实施例，本发明实施例还提供了一种计算机装置，包括：

存储器，其用于存储计算机程序；

处理器，其用于执行计算机程序时实现上述基于动态运动基元的微纳机器人组装轨迹学习方法的步骤。

在本发明实施例中，处理器可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。

处理器可以调用存储器中存储的程序，具体的，处理器可以执行基于动态运动基元的微纳机器人组装轨迹学习方法的实施例中的操作。

存储器中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令。

此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于动态运动基元的微纳机器人组装轨迹学习方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述基于动态运动基元的微纳机器人组装轨迹学习方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种基于动态运动基元的微纳机器人组装轨迹学习方法，其特征在于，包括以下步骤：

S20：在所述XY平面运动轨迹上设定Z轴的运动轨迹，合成三维示教轨迹，包括：

提取XY平面运动轨迹中的转折点，根据转折点拟合出XY平面轨迹，基于所述XY平面轨迹的变化幅度以及微纳机器人悬臂梁的清晰度判断所述微纳机器人处于平面运动的状态还是深度运动的状态，在判断所述微纳机器人处于深度运动状态时，在XY平面运动轨迹中的转折点上设定Z轴的运动速度，合成三维示教轨迹；

2.根据权利要求1所述的基于动态运动基元的微纳机器人组装轨迹学习方法，其特征在于，在S10中，基于所述演示视频获得XY平面运动轨迹的方法包括：

在所述演示视频上截取多帧图像；

3.根据权利要求2所述的基于动态运动基元的微纳机器人组装轨迹学习方法，其特征在于，在S30中，获取纳米线和电极之间的深度信息的方法包括：

4.根据权利要求1所述的基于动态运动基元的微纳机器人组装轨迹学习方法，其特征在于，在S30中，结合所述深度信息利用动态运动基元对所述三维示教轨迹进行学习得到组装轨迹的方法包括：

5.根据权利要求1或4所述的基于动态运动基元的微纳机器人组装轨迹学习方法，其特征在于：在判断电极与纳米线是否接触时，根据纳米线斜率的变化情况判断是否接触。

6.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5任一项所述方法的步骤。