CN114549269A - 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 - Google Patents
基于动态运动基元的微纳操作机器人自动拾取纳米线方法 Download PDFInfo
- Publication number
- CN114549269A CN114549269A CN202210102719.0A CN202210102719A CN114549269A CN 114549269 A CN114549269 A CN 114549269A CN 202210102719 A CN202210102719 A CN 202210102719A CN 114549269 A CN114549269 A CN 114549269A
- Authority
- CN
- China
- Prior art keywords
- meta
- micro
- motion
- task
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 134
- 239000002070 nanowire Substances 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 230000008439 repair process Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 239000000523 sample Substances 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 9
- 239000012636 effector Substances 0.000 description 6
- 238000001878 scanning electron micrograph Methods 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000228740 Procrustes Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，包括获取微纳操作机器人的演示轨迹；判断微纳操作机器人的演示轨迹上是否有深度运动信息，若判断结果为是，则为深度运动，若判断结果为否，则为平面运动，并将微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分；对元任务进行编码并建立元任务库，微纳操作机器人调用元任务库中的元任务，按照元任务的轨迹进行运动。本发明针对微纳操作机器人的操作环境和运动特征，将复杂的操作轨迹划分为多个简单的元任务轨迹，极大地降低了微纳操作机器人的学习难度，适用微观环境下的机器人操作。
Description
技术领域
本发明涉及机器人自动化技术领域，尤其是指一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法。
背景技术
在微观环境下借助扫描电子显微镜(Scanning Electron Microscope，SEM)搭建微纳操作机器人或者操作系统来完成纳米线的拾取。这些机器人组装在SEM的腔体内，其外形尺寸都非常小，通常在几个厘米。微纳操机器人的操作对象通常为微米和纳米级别，为了保证正常工作，运动精度都需要保证在纳米级别。以SEM作为视觉传感器，使用基于视觉的接触检测方法，可以检测探针尖端与基底之间的接触，还可以确定探针尖端和要操纵的纳米物体的相对垂直位置，以此可以基于SEM的图像建立带有前馈控制控制器的视觉伺服控制系统，用于多个微纳操纵器的闭环控制，可将探针精确地带到目标位置，通过这种基于视觉反馈的伺服控制方法可以实现一些纳米操作机器人的自动操作任务。
目前宏观机器人自动化的设计方案主要采取基于轨迹的演示学习方法，其一般需要分割轨迹来提高轨迹的学习效率，通常自动分割轨迹主要分为监督分割和非监督方法，其中监督分割方法中有一种方法为基于形状匹配的分割技术，接触提前训练好的运动轨迹模型，通过轨迹之间的几何形状等特征对示教轨迹进行分割；无监督分割方法中的一种分割演示轨迹是将机器人末端执行器与操作对象的接触关键帧作为分割点，完成轨迹的分割。但是上述通用的演示运动轨迹的分割方法基本上都是使用在宏观机器人领域当中，其运动特性和与操作对象的物理变化与微纳操作机器人存在一定区别，微纳操作机器人的工作环境是在微观环境中，其操作对象和信息收集都需要借助扫描电子显微镜，通用的分割方法不适合直接应用在微纳操作机器人上。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，。
为解决上述技术问题，本发明提供一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，包括以下步骤：
S10：获取操作人员操作微纳操作机器人完成纳米线拾取任务的演示轨迹；
S20：利用评价函数判断所述微纳操作机器人的演示轨迹上是否有深度运动信息，若判断结果为是，则该段轨迹为深度运动，若判断结果为否，则该段轨迹为平面运动，并将所述微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分；
S30：对元任务进行编码并建立元任务库，在有纳米线自动拾取任务时，所述微纳操作机器人调用所述元任务库中的元任务，按照所述元任务的轨迹进行运动，完成纳米线自动拾取任务。
在本发明的一个实施例中，在S10中，获取微纳操作机器人的演示轨迹包括：
获取微纳操作机器人的运动视频，在所述运动视频上截取多帧图像；
选用低通高斯滤波器对每一帧图像进行滤波处理，并对滤波处理后的图像先后进行腐蚀和二值化处理，获得所述图像中的悬臂梁和纳米线的轮廓。
在本发明的一个实施例中，在S20中，利用评价函数判断所述微纳操作机器人的演示轨迹上是否有深度运动信息包括：
将Tenengrad梯度函数作为评价函数，利用Tenengrad梯度函数计算悬臂梁在静止不动和进行深度运动时各自的清晰度变化情况，使用多项式回归模型进行表征，得出对应的斜率，判断悬臂梁是否进行深度运动还是静止不动。
在本发明的一个实施例中，在S20中，将所述微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分包括：
将所述演示轨迹上进行深度运动的一段轨迹分割出来，将该运动定义为上升元任务，在执行上升元任务之前，将悬臂梁运动到纳米线正下方，将该运动定义为定位元任务；
控制所述悬臂梁上升后增加悬臂梁在Y方向上的短距离摇摆的运动，并将该运动定义为接触判断元任务，根据所述接触判断元任务判断所述悬臂梁和纳米线的接触状态，若所述悬臂梁和纳米线的接触状态为线接触，则控制悬臂梁将纳米线拾取，并将该运动定义为分离元任务，若所述悬臂梁和纳米线的接触状态为点接触，则定义接触修复元任务对点接触进行修复，直至悬臂梁和纳米线的接触状态为线接触。
在本发明的一个实施例中，所述接触修复元任务为至少一个。
在本发明的一个实施例中，在S30中，对元任务进行编码包括：
对所述元任务的轨迹进行滤波处理，并采用普氏动态时间规整对滤波处理后的元任务的轨迹进行轨迹对齐处理，将多个轨迹正则化到同一时间步长；
采用高斯混合模型表征轨迹对齐处理后的元任务的运动特性，并采用混合高斯回归泛化生成元任务演示轨迹；
使用动态运动基元对元任务演示轨迹进行编码处理。
在本发明的一个实施例中，所述元任务包括划分的元任务和引入的空走演示元任务。
在本发明的一个实施例中，所述普氏动态时间规整的公式如下：
其中，
为第i个需要对齐的轨迹，i＝1,2,…,m，
是时间正则化矩阵。
此外，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的步骤。
并且，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提出了一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其针对微纳操作机器人的操作环境和运动特征，建立划分元任务的准则，将复杂的操作轨迹划分为多个简单的元任务轨迹，极大地降低了微纳操作机器人的学习难度，适用微观环境下的机器人操作。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明基于动态运动基元的微纳操作机器人自动拾取纳米线方法的流程示意图。
图2是本发明AFM悬臂梁在不同状态下的清晰度变化和多项式回归表征结果，其中图2(a)为AFM悬臂梁静止时清晰度变化和多项式回归表征结果；图2(b)为AFM悬臂梁深度运动时清晰度变化和多项式回归表征结果。
图3是本发明纳米线和AFM悬臂梁的三种接触状态。
图4是本发明微纳操作机器人拾取纳米线演示末端执行器的运动轨迹图。
图5是本发明划分出的深度运动的元任务示意图。
图6是本发明划分完整纳米线拾取任务的演示示意图。
图7(a)是定位元任务原始轨迹图，图7(b)是滤波之后的定位元任务原始轨迹图。
图8是本发明对齐多个定位元任务轨迹的效果图，左边为对齐之前，右边为对齐之后。
图9是本发明学习后的元任务演示轨迹，其上半部分为GMM表征定位元任务的运动特征，下半部分为GMR泛化生成最稳定的轨迹图。
图10是本发明DMP复现定位元任务演示轨迹图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参阅图1所示，本实施例提供一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，包括以下步骤：
S10：获取操作人员操作微纳操作机器人完成纳米线拾取任务的演示轨迹；
S20：利用评价函数判断所述微纳操作机器人的演示轨迹上是否有深度运动信息，若判断结果为是，则该段轨迹为深度运动，若判断结果为否，则该段轨迹为平面运动，并将所述微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分；
S30：对元任务进行编码并建立元任务库，在有纳米线自动拾取任务时，所述微纳操作机器人调用所述元任务库中的元任务，按照所述元任务的轨迹进行运动，完成纳米线自动拾取任务。
在本发明公开的一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法中，对于上述实施方式的S10，微纳操作机器人搭建在SEM中的，末端执行器为原子力显微镜(Atom Force Microscope，AFM)探针，但在SEM图像中能看到的是AFM探针的悬臂梁。操作人员操纵控制手柄和控制器可以控制微纳操作机器人运动，通过图像识别出AFM探针的悬臂梁，可以计算出探针悬臂梁的运动轨迹从而获得末端执行器的演示轨迹。主要的处理过程为：获取操作演示的运动视频，在运动视频上截取多帧图像，对每一帧图像选用低通高斯滤波器进行滤波处理，过滤后的图像使用形态学操作将较细的纳米线腐蚀掉，这样在探针和纳米线重叠时也可识别出探针。接着使用自动直方图阈值化图像获得二值化图像，从而能够获取图像中探针悬臂梁和纳米线的轮廓。由于纳米线杂乱导致其轮廓变化较大，而探针悬臂梁的轮廓不会发生明显改变，即可通过多边形逼近来识别出探针的悬臂梁。悬臂梁的形状与等腰梯形非常相似，所以选择悬臂梁短边的X坐标作为悬臂梁的X坐标，轮廓的形心的Y坐标作为悬臂梁的Y坐标。
在本发明公开的一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法中，对于上述实施方式的S20，由于上述SEM拍摄到的图像是二维的灰度图，微纳操作机器人的深度方向即Z轴运动信息无法精准获取，因此本发明所采用的方法是通过判断末端执行器AFM悬臂梁的清晰度的变化情况来分析它的Z轴运动情况。由于SEM的视场中心拍摄到的范围是有限的，而悬臂梁的大小远远超过SEM的拍摄范围，操作过程中能看到的悬臂梁的面积是一直在变化的，不好采用整个画面中的AFM悬臂梁区域计算其清晰度变化，因此本发明根据匹配到的AFM尖端区域进行扩展，选择一个固定大小的区域来计算AFM悬臂梁的清晰度变化情况，即本发明采用Tenengrad梯度函数作为评价清晰度的评价函数。Tenengrad梯度函数采用Sobel算子提取图像像素点水平方向和垂直方向的梯度值，定义为像素点梯度的平方和，并为梯度设置了一个阈值调节函数的灵敏度，其表达式为：
其中，T是给定的边缘检测阈值，G(x,y)是像素点(x,y)处的梯度，Gx和Gy分别是像素点处Soble水平和垂直方向边缘检测算子的卷积。
并且，SEM图像是一个包含二维信息的图像，对于其Z轴的深度信息无法直接获取。而研究人员在进行操纵微纳操作机器人时也无法判断Z轴的相对信息，因此平面操作和深度操作是分开来的，这是一个很好的分割点，分割出来的片段也可以很容易地赋予合理的语义解释。首先通过分析出深度运动与平面运动的转折点，将其做为分割的关键点，先分割出深度运动来。平面运动发生在XY平面，此时XY轨迹变化剧烈，而深度运动发生在Z轴上，这时的XY轨迹理论上是不变化的，但由于微纳操作机器人的三个驱动机构是连接在一起的，单独每个轴的在运动时都会带动其它轴的抖动，而且在SEM电镜中搭建机器人操作系统会干扰SEM的图像，这两个原因都会让AFM悬臂梁在进行Z轴运动时，XY平面的位置产生微小地变化。经过多次实验测量，AFM悬臂梁的抖动范围在15个像素点以内。因此，可以根据X轴和Y轴轨迹的变化幅度来确定悬臂梁是否处于深度运动的状态。然而，这还需要区分悬臂梁的Z轴运动和真实静止两种状态。AFM悬臂梁在进行Z轴运动时，其上表面与SEM物镜的距离就会发生改变，产生的后果就是SEM图像中的悬臂梁的清晰度就会发生改变。因此通过上述的Tenengrad梯度函数评价清晰度，可以计算出AFM悬臂梁在静止不动和进行深度运动时两种情况下各自的清晰度的变化情况，并利用多项式回归表征这两种变化情况，如图2所示，例如悬臂梁静止时的清晰度评价变化的|k|小于0.003，而深度运动时悬臂梁清晰度评价变化的|k|都大于0.003，因此采用0.003作为阈值来区分悬臂梁是否进行Z轴运动还是静止不动。
在划分出深度运动和平面运动后，但往往平面运动的轨迹较为复杂，需要对其进一步的划分。由于微纳操作的特殊性，本发明将所述演示轨迹上进行深度运动的一段轨迹分割出来，将该运动定义为上升元任务，在执行上升元任务之前，将悬臂梁运动到纳米线正下方，将该运动定义为定位元任务；控制所述悬臂梁上升后，从图像看到的是纳米线和悬臂梁的俯视图，它们之间是一个重叠状态，但是在Z轴方向上它们位置关系我们无法得知，就无法准确判断是否和纳米线接触，因此本发明增加悬臂梁在Y方向上的短距离摇摆的运动，并将该运动定义为接触判断元任务(先验的元任务)，根据所述接触判断元任务判断所述悬臂梁和纳米线的接触状态，接触判断之后，可以得到纳米线和悬臂梁之间的接触状态，分为三种接触状态：线接触、点接触a、点接触b，如图3所示。若所述悬臂梁和纳米线的接触状态为线接触，则控制悬臂梁将纳米线拾取，并将该运动定义为分离元任务；若所述悬臂梁和纳米线的接触状态为点接触，此时两者之间的接触力非常小，可能不足以将纳米线从基底上拔出来(拾取)。针对这两种点接触需要进行相应的修正操作，因此本发明将这两个接触修复根据两种线接触地不同定义为两种先验的元任务，分别为接触修复元任务a和接触修复元任务b。而接触修复后必要继续进行接触判断，所以接触修复是发生在两个接触判断之间的一个动作。基于这种时间上的特征，本发明可以进一步划分出这两个元任务，从而可以得到多个较为简单的元任务，大大地降低机器人学习这些元任务地难度。
在本发明公开的一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法中，对于上述实施方式的S30，元任务划分出来之后，本发明对这些元任务轨迹进行编码，让微纳操作机器人学习并复现这些元任务的运动。但是单单的划分出来的元任务可能还不够具有代表性，因此本发明还引入微纳操作机器人的空走演示元任务，增加元任务演示的示教能力。
在具体编码时，由于SEM图像会受到多种因素干扰加上微纳操作机器人的抖动，计算出的AFM悬臂梁的移动轨迹会有许多小幅度抖动，因此可以采用滑动平均滤波器对运动轨迹进行过滤处理。还有划分出的同一个元任务的多个轨迹之间的时间长度可能有差别，但是后续的处理需要时间长度一样的的轨迹，因此本发明采用普氏动态时间规整(Procrustes Dynamic Time Warping,PDTW)进行轨迹对齐处理。PDTW在原有动态时间规整的基础上进行修改，可以同时对齐多个轨迹，将多个轨迹正则化到同一时间步长，通过最小化：
其中，
为第i个需要对齐的轨迹，i＝1,2,…,m，
是时间正则化矩阵。
高斯混合模型(Gaussian Mix Model,GMM)是典型的演示学习算法，基于GMM的轨迹学习模型能够很好地保持AFM悬臂梁演示轨迹的形状特征。本发明使用K-means聚类方法和Bayesian Information Criterion(BIC)准则确定参数的初值，并采用EM算法进行参数估计。参数计算好后，使用混合高斯回归(Gaussian Mix Regression,GMR)对已表征的GMM进行回归处理，对每一个元任务生成最可靠的轨迹。并且使用动态运动基元DMP对GMR生成的最稳定的轨迹进行编码。动态运动基元利用一个可学习的强迫函数项将一个易于理解的简单吸引子系统转化为一个期望的吸引子系统，可以对几乎任意复杂程度的点吸引子和极限环吸引子都能起作用，具有良好的协调能力和稳定性。在本发明方法中，对于最优的元任务轨迹采用DMP对其进行编码，并建立元任务库，后续的自动执行任务就是微纳操作机器人调用元任务库对应的元任务DMP，按照DMP规划生成的轨迹进行运动。其中一个一维的DMP方程为：
其中，第一个公式的前半段为弹簧阻尼模型推导方程，当α＝4β时，轨迹会快速稳定地到达目标；f为干扰项，照示教轨迹数据用局部加权回归求基函数ψi的权重ωi，复现示教轨迹的形状；第三个公式为规范系统，x会在运动结束前衰减至0，从而不影响目标的的位置，因此DMP可以非常精确地复现GMR泛化后的的轨迹。
本发明针对微纳操作机器人的操作环境和运动特征，建立划分元任务的准则，将复杂的操作轨迹划分为多个简单的元任务轨迹，极大地降低了微纳操作机器人的学习难度，适用微观环境下的机器人操作。
本发明采用清晰度评价函数来计算微纳操作机器人末端执行器的深度运动时其清晰度的变化情况，来分析微纳操作机器人深度运动的移动情况，可以区分运动和静止两种状态。
本发明针对划分出来的同一个元任务的不同轨迹进行聚类，并对每一类轨迹进行编码学习，在不同的场景中使用不同的元任务轨迹可以更好地完成操作任务。
与传统的演示学习相比，本发明使用分割出来地简单的元任务轨迹作为示教，通过一系列优化过程得到最稳定的示教轨迹，进而采用DMP对这轨迹进行编码学习，极大地减小了DMP规划生成的轨迹与演示轨迹的误差。
下面通过一个具体的实施例子来详细的阐述本发明提出的基于动态运动基元的微纳操作机器人自动拾取纳米线方法的内容。
首先操作人员手动控制手柄完成拾取纳米线的任务，得到演示运动视频。对于从运动视频中截取的每一帧图像，存在许多噪声点，经对比验证选用低通高斯滤波处理，然后选择大小为1的圆形的核去腐蚀掉SEM图像中的纳米线。然后计算出图像中所有像素点的像素值，由于图像中背景占大部分区域，统计出最大占数比的像素值作为阈值，进行二值化分割，并识别出AFM悬臂梁和纳米线基底的轮廓，通过轮廓之间的区别可以识别出AFM悬臂梁的轮廓，以此可以计算出AFM悬臂梁的位置。通过识别连续帧图像中AFM悬臂梁的位置，根据图像帧的时间，可以获得微纳操作机器人XY平面的连续运动轨迹，如图4所示。
然后根据定义的元任务的划分准则，将操作人员手动操纵拾取纳米线的演示轨迹进行分割：首先根据是否进行深度运动进行划分，可以发现在32s到252s这一时间段的XY轴轨迹基本不变，且抖动不超过15个像素点，且使用Teneggrad函数计算这段时间段的清晰度变化情况，然后使用多项式回归模型进行表征，得出其斜率为0.036，判定为此段时间为深度运动，将这一段分割出来，根据其运动特性命名为上升元任务，如图5所示。在上升元任务之前控制悬臂梁运动到目标纳米线正下方，为上升元任务做基础，根据这种运动特性，本发明将这个运动命名为定位元任务，如图6所示。上升元任务之后，需要判断纳米线和AFM悬臂梁的接触状态。这个时候，从SEM收集到的二次电子图像看到的是纳米线和AFM悬臂梁的俯视图，它们之间是一个重叠状态，但是在Z轴方向上它们位置关系我们无法得知。因此可以增加悬臂梁在Y方向上的短距离摇摆的运动，通过该运动观察纳米线是否跟随悬臂梁移动来判断它们是一个怎样的接触状态，本发明将该运动定义为接触判断元任务，这是一个往返运动，轨迹也是特殊的，利用接触判断轨迹的特殊性从演示轨迹划分出来，如图6所示，一共划分出了3个接触判断元任务。而两个接触判断元任务之间就是接触修复元任务，根据这种时间上的特征分割出来，如图6所示。最后一次的接触判断的结果肯定是判定为线接触，这个时候肯定就是需要控制AFM悬臂梁将纳米线从基底上拔断，这个运动本发明定义为分离元任务，如图6所示。如此，本发明将一个完整的纳米线拾取任务演示划分为了六个简单的元任务，这样微纳操作机器人学习这六个元任务肯定比学习一个复杂的完整演示任务容易的多。
最后元任务划分完毕之后，需要让微纳操作机器人学习这些元任务的运动技能，即对元任务进行编码，首先是对元任务轨迹进行滤波处理。因为SEM图像会受到多种因素干扰加上纳米操作机器人的抖动，计算出的AFM悬臂梁的移动轨迹会有许多小幅度抖动，采用滑动平均滤波器对运动轨迹进行过滤处理，其效果展示在图7中。划分出的同一类元任务轨迹之间的时间长度可能有差别，但是后续的处理需要时间长度一样的的轨迹，因此采用普氏动态时间规整PDTW进行轨迹对齐处理。对齐多个定位元任务轨迹效果如图8所示。然后使用GMM表征元任务的运动特性，并采用GMR泛化生成最稳定的元任务演示轨迹，如图9所示。最后使用DMP对GMR生成的最优演示轨迹进行编码，DMP不仅能够非常好地复现演示轨迹，同时能够泛化学习演示轨迹，在实际地轨迹规划时，起始点目标点有所变动也不会影响生成地轨迹，DMP复现定位元任务演示轨迹的效果如图10所示。
相应于上面的方法实施例，本发明实施例还提供了一种计算机设备，包括：
存储器，其用于存储计算机程序；
处理器，其用于执行计算机程序时实现上述基于动态运动基元的微纳操作机器人自动拾取纳米线方法的步骤。
在本发明实施例中，处理器可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器可以调用存储器中存储的程序，具体的，处理器可以执行基于动态运动基元的微纳操作机器人自动拾取纳米线方法的实施例中的操作。
存储器中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令。
此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于动态运动基元的微纳操作机器人自动拾取纳米线方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于，包括以下步骤：
S10：获取操作人员操作微纳操作机器人完成纳米线拾取任务的演示轨迹；
S20：利用评价函数判断所述微纳操作机器人的演示轨迹上是否有深度运动信息，若判断结果为是，则该段轨迹为深度运动，若判断结果为否，则该段轨迹为平面运动，并将所述微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分；
S30：对元任务进行编码并建立元任务库，在有纳米线自动拾取任务时，所述微纳操作机器人调用所述元任务库中的元任务，按照所述元任务的轨迹进行运动，完成纳米线自动拾取任务。
2.根据权利要求1所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于，在S10中，获取微纳操作机器人的演示轨迹包括：
获取微纳操作机器人的运动视频，在所述运动视频上截取多帧图像；
选用低通高斯滤波器对每一帧图像进行滤波处理，并对滤波处理后的图像先后进行腐蚀和二值化处理，获得所述图像中的悬臂梁和纳米线的轮廓。
3.根据权利要求2所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于，在S20中，利用评价函数判断所述微纳操作机器人的演示轨迹上是否有深度运动信息包括：
将Tenengrad梯度函数作为评价函数，利用Tenengrad梯度函数计算悬臂梁在静止不动和进行深度运动时各自的清晰度变化情况，使用多项式回归模型进行表征，得出对应的斜率，判断悬臂梁是否进行深度运动还是静止不动。
4.根据权利要求3所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于，在S20中，将所述微纳操作机器人的演示轨迹划分为多个简单的元任务，其中元任务的划分准则为根据是否进行深度运动进行划分包括：
将所述演示轨迹上进行深度运动的一段轨迹分割出来，将该运动定义为上升元任务，在执行上升元任务之前，将悬臂梁运动到纳米线正下方，将该运动定义为定位元任务；
控制所述悬臂梁上升后增加悬臂梁在Y方向上的短距离摇摆的运动，并将该运动定义为接触判断元任务，根据所述接触判断元任务判断所述悬臂梁和纳米线的接触状态，若所述悬臂梁和纳米线的接触状态为线接触，则控制悬臂梁将纳米线拾取，并将该运动定义为分离元任务，若所述悬臂梁和纳米线的接触状态为点接触，则定义接触修复元任务对点接触进行修复，直至悬臂梁和纳米线的接触状态为线接触。
5.根据权利要求4所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于：所述接触修复元任务为至少一个。
6.根据权利要求1所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于，在S30中，对元任务进行编码包括：
对所述元任务的轨迹进行滤波处理，并采用普氏动态时间规整对滤波处理后的元任务的轨迹进行轨迹对齐处理，将多个轨迹正则化到同一时间步长；
采用高斯混合模型表征轨迹对齐处理后的元任务的运动特性，并采用混合高斯回归泛化生成元任务演示轨迹；
使用动态运动基元对元任务演示轨迹进行编码处理。
7.根据权利要求6所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于：所述元任务包括划分的元任务和引入的空走演示元任务。
8.根据权利要求6所述的基于动态运动基元的微纳操作机器人自动拾取纳米线方法，其特征在于：所述普氏动态时间规整的公式如下：
其中，
为第i个需要对齐的轨迹，i＝1,2,…,m，
是时间正则化矩阵。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210102719.0A CN114549269A (zh) | 2022-01-27 | 2022-01-27 | 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 |
| PCT/CN2022/078316 WO2023142215A1 (zh) | 2022-01-27 | 2022-02-28 | 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210102719.0A CN114549269A (zh) | 2022-01-27 | 2022-01-27 | 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549269A true CN114549269A (zh) | 2022-05-27 |
Family
ID=81673714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210102719.0A Pending CN114549269A (zh) | 2022-01-27 | 2022-01-27 | 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114549269A (zh) |
| WO (1) | WO2023142215A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117944057A (zh) * | 2024-03-26 | 2024-04-30 | 北京云力境安科技有限公司 | 一种机械臂轨迹规划方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105500389A (zh) * | 2016-02-03 | 2016-04-20 | 苏州大学 | 微纳机器人末端执行器自动更换装置 |
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| US20180029226A1 (en) * | 2016-07-26 | 2018-02-01 | University Of Connecticut | Skill transfer from a person to a robot |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9764469B1 (en) * | 2013-12-13 | 2017-09-19 | University Of South Florida | Generating robotic trajectories with motion harmonics |
| WO2020160431A1 (en) * | 2019-02-01 | 2020-08-06 | Google Llc | Generating a robot control policy from demonstrations |
| CN110653824B (zh) * | 2019-07-26 | 2021-06-04 | 同济人工智能研究院(苏州)有限公司 | 基于概率模型的机器人离散型轨迹的表征与泛化方法 |
| CN110561430B (zh) * | 2019-08-30 | 2021-08-10 | 哈尔滨工业大学（深圳） | 用于离线示例学习的机器人装配轨迹优化方法及装置 |
| CN110561450B (zh) * | 2019-08-30 | 2021-09-07 | 哈尔滨工业大学（深圳） | 一种基于动捕的机器人装配离线示例学习系统和方法 |
| CN110900609A (zh) * | 2019-12-11 | 2020-03-24 | 浙江钱江机器人有限公司 | 一种机器人示教装置及其方法 |
| CN111890353B (zh) * | 2020-06-24 | 2022-01-11 | 深圳市越疆科技有限公司 | 机器人示教轨迹复现方法、装置及计算机可读存储介质 |
| CN113043251B (zh) * | 2021-04-23 | 2023-07-07 | 江苏理工学院 | 一种机器人示教再现轨迹学习方法 |
-
2022
- 2022-01-27 CN CN202210102719.0A patent/CN114549269A/zh active Pending
- 2022-02-28 WO PCT/CN2022/078316 patent/WO2023142215A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| CN105500389A (zh) * | 2016-02-03 | 2016-04-20 | 苏州大学 | 微纳机器人末端执行器自动更换装置 |
| US20180029226A1 (en) * | 2016-07-26 | 2018-02-01 | University Of Connecticut | Skill transfer from a person to a robot |
Non-Patent Citations (4)
| Title |
|---|
| CHIRUI HAN; LUE ZHANG; ZHAN YANG: "Division of CNT placement meta-task for micro-nano robotic manipulator", 《2021 IEEE INTERNATIONAL CONFERENCE ON MANIPULATION, MANUFACTURING AND MEASUREMENT ON THE NANOSCALE》 * |
| CHIRUI HAN; LUE ZHANG; ZHAN YANG: "Motor Skills Learning for CNT Pick-up of Micro-Nano Robotic Manipulator in SEM", 《2021 IEEE 21ST INTERNATIONAL CONFERENCE ON NANOTECHNOLOGY》 * |
| 杨权等: "基于扫描电子显微镜的碳纳米管拾取操作方法研究", 《物理学报》 * |
| 王雅琼: "SEM 中多机械手运动分析与协同操作方法研究", 《中国优秀硕士学位论文全文数据库，信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117944057A (zh) * | 2024-03-26 | 2024-04-30 | 北京云力境安科技有限公司 | 一种机械臂轨迹规划方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023142215A1 (zh) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Modayil et al. | Bootstrap learning for object discovery | |
| CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
| CN107146237B (zh) | 一种基于在线状态学习与估计的目标跟踪方法 | |
| Lin et al. | Robotic grasping with multi-view image acquisition and model-based pose estimation | |
| Rudiawan et al. | The deep learning development for real-time ball and goal detection of barelang-FC | |
| JP5339065B2 (ja) | 対象物追跡装置 | |
| Gong et al. | Tracking and grasping of moving target based on accelerated geometric particle filter on colored image | |
| Ma et al. | Simultaneous localization, mapping, and manipulation for unsupervised object discovery | |
| CN109993770B (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
| Liu et al. | Automated robotic measurement of 3-D cell morphologies | |
| Long et al. | Rigidfusion: Robot localisation and mapping in environments with large dynamic rigid objects | |
| Valassakis et al. | Coarse-to-fine for sim-to-real: Sub-millimetre precision across wide task spaces | |
| Ziaeetabar et al. | Recognition and prediction of manipulation actions using enriched semantic event chains | |
| CN114549269A (zh) | 基于动态运动基元的微纳操作机器人自动拾取纳米线方法 | |
| CN114571458B (zh) | 基于动态运动基元的微纳机器人组装轨迹学习方法 | |
| Arsenic | Developmental learning on a humanoid robot | |
| Pang et al. | A human-following approach using binocular camera | |
| CN118252443A (zh) | 扫地机器人的清扫控制方法、装置和扫地机器人 | |
| Aksoy et al. | Enriched manipulation action semantics for robot execution of time constrained tasks | |
| CN113470073A (zh) | 一种基于深度学习的动物中心追踪方法 | |
| CN114359314B (zh) | 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法 | |
| Herbst et al. | Object segmentation from motion with dense feature matching | |
| Wang et al. | Robot Jenga: Autonomous and strategic block extraction | |
| Dyrstad | Training convolutional neural networks in virtual reality for grasp detection from 3D images | |
| Porichis et al. | Imitation learning from a single demonstration leveraging vector quantization for robotic harvesting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220527 |