CN102285630A - 基于光镊的自动化微粒搬运方法 - Google Patents

基于光镊的自动化微粒搬运方法 Download PDF

Info

Publication number
CN102285630A
CN102285630A CN2011101163089A CN201110116308A CN102285630A CN 102285630 A CN102285630 A CN 102285630A CN 2011101163089 A CN2011101163089 A CN 2011101163089A CN 201110116308 A CN201110116308 A CN 201110116308A CN 102285630 A CN102285630 A CN 102285630A
Authority
CN
China
Prior art keywords
particulate
grid
obstacle
carrying
handing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101163089A
Other languages
English (en)
Inventor
吴燕华
黄文浩
孙东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute for Advanced Study USTC
Original Assignee
Suzhou Institute for Advanced Study USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute for Advanced Study USTC filed Critical Suzhou Institute for Advanced Study USTC
Priority to CN2011101163089A priority Critical patent/CN102285630A/zh
Publication of CN102285630A publication Critical patent/CN102285630A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于光镊的自动化微粒搬运方法,属于微纳操作技术领域。包括:光镊装置,载玻片,两维电动位移平台,CCD相机,计算机。通过对CCD相机采集到的微粒图像进行识别处理,采用壁障算法求出搬运路径,并通过两维电动位移平台移动载玻片来实现微粒的自动化搬运。本发明解决了现有技术中光镊手工搬运微粒的耗时、耗力及精度差等缺点,提供了一种基于光镊的自动化微粒搬运方法,采用图像处理识别技术,利用电控高精度位移平台实现对细胞等微粒的自动化操作,降低人为干扰,提高操作效率和精度。

Description

基于光镊的自动化微粒搬运方法
技术领域
本发明属于微纳操作技术领域,具体是指一种基于光镊的自动化微粒搬运方法。
背景技术
光镊是基于光的力学效应的一项新型物理工具。它利用光子和微小物体碰撞时的动量守恒,把微粒吸引到光强最大的区域。如同一把无形的镊子一样,可以实现对活体细胞及其它微小尺寸微粒(尺寸从数十纳米到数十微米之间)非接触式的无损操作。这种新型的微操作技术克服了以往微操作过程中细胞难以被固定和易产生机械损伤的弱点。自从Ashkin在1986年首次用光镊实现对生物粒子的远距离非接触捕获,这个工具在许多生物试验室代替了传统的细胞操作实验技术。
由于光镊在无损微操作和精密力学测量上的优势,30年来对这一课题的研究越来越深入。初步研究已经表明,光镊在普通生物学、细胞生物学、分子遗传学、细胞工程、免疫学、基因工程等方面有广泛的应用前景。除了生物领域,光镊在表面科学、凝聚态物理、重力场和流体场等众多领域的应用也在研究之中。
由于光镊的操作精度高,且是非接触式操作,用其进行微米/纳米级微粒的搬运、收集、排列等操作已普遍应用。此项技术可用于稀少细胞的提取、药物检测、细胞融合、微粒装配等场合。但是,目前大多光镊操作方法还停留在手工操作光镊方式,即人工移动样品平台的位置。这样微粒在由光镊的搬运过程中,必须与其他微粒保持一定距离,以防卷入障碍微粒。同时微粒在液体环境中流动变化,更加增添了操作的难度。另外采用手动方式操作不仅耗时,定位精度较低(不高于1微米),且需要专业人员才能进行,大大提高了操作者的劳动强度,也进一步增加了企业的成本,正由于该技术自动化操作的缺乏,从而影响了这项技术在生产、生活中普及。
发明内容
本发明针对目前光镊手工搬运微粒的耗时、耗力及精度差等缺点,提供了一种基于光镊的自动化微粒搬运装置和搬运方法,采用图像处理识别技术,利用电控高精度位移平台实现对细胞等微粒的自动化操作,降低人为干扰,提高操作效率和精度。
为了达到上述目的,本发明所采取的技术方案是:
一种基于光镊的自动化微粒搬运方法,其特征在于:包括以下步骤:
(1)、通过光镊装置的激光束捕捉到载玻片上待搬运的微粒,并通过相机对微粒附近环境成像;
(2)、计算机将相机采集到的连续图像进行二值化处理和边缘提取,得到图像中各个障碍物的像素位置;
(3)、将二值化以后的图像划分栅格区域,根据栅格节点内的障碍物所占像素个数生成壁障节点地图,
(4)、然后以待搬运微粒的位置点和目的地的位置点作壁障算法,求出从待搬运微粒至目的地的壁障路径;
(5)、计算机按照生成的壁障路径控制位移平台直线移动载玻片到下一个拐弯处的格栅节点;
(6)、重复栅格节点搬运,最终将微粒搬运到目标位置。
前述的一种基于光镊的自动化微粒搬运方法,其特征在于:壁障算法为一种改进的A星算法,对格子中某一节点(i,j)来说,具体路径评估移动代价公式为:F(i,j)=G(i,j)+H(i,j)+η(i,j),其中G(i,j)为从起始点到格子中给定方块(i,j)的移动代价,H(i,j)为格子中给定的方块(i,j)到最终目标的评估移动代价,η为一个判断函数,如果此栅格节点(i,j)为拐点,则η取值大于0,如此栅格节点不是拐点,则η取值为0,然后反复的遍历开放列表,选择具有最小F值的方块。
前述的一种基于光镊的自动化微粒搬运方法,其特征在于:所述η取值范围为5-25。
前述的一种基于光镊的自动化微粒搬运方法,其特征在于:在步骤(5)和步骤(6)之间还包括以下步骤:每移动一个栅格节点后判断下一个栅格节点是否有障碍物存在,如果没有则继续按照原来的路径执行,否则重新计算壁障路径。
前述的任意一种基于光镊的自动化微粒搬运方法,其特征在于:在每一次直线搬运过程中,均采用比例积分控制器来进行运动规划,使电机速度能在线调整,实现环境变化时也不会丢失细胞。
本发明的有益效果是:
1、本发明采用壁障算法生成路径,能在比较各条路径时,惩罚有拐弯的节点,使有拐点的路径总移动代价大于平滑路径的总移动代价。所以能使选择的搬运路径长度较短,同时拐弯数目较少,提高搬运效率和安全性,有效防止微粒搬运过程中与其他障碍物发生碰撞,节省操作时间。
2、本发明采用比例积分控制来在线调整电机移动速度,在保证细胞不丢失的情况下以尽可能大的速度移动。
3、本发明采用自动化的搬运操作可减少人工参与,提高操作的精度。
附图说明
图1是本发明基于光镊的自动化微粒搬运装置结构图;
图2是本发明基于光镊的自动化微粒搬运方法的原理框图;
图3是本发明酵母菌实施例成像示意图;
图4是本发明酵母菌实施例η=10时壁障算法选择路径示意图;
图5是本发明酵母菌实施例η=0时壁障算法选择路径示意图;
图6是本发明酵母菌实施例η=1000壁障算法选择路径示意图;
图7是本发明酵母菌实施例壁障节点地图。
其中光镊装置1、载玻片2、两维电动位移平台3、CCD相机4、计算机5、外壳6、激光发生器7、光元件8、激光转向镜9、物镜10。
具体实施方式
下面结合附图对本发明装置结构作进一步的描述。
一种基于光镊的自动化微粒搬运装置,包括光镊装置1、载玻片2、两维电动位移平台3、CCD相机4、计算机5。光镊装置包括外壳6,以及设置在外壳6内的激光发生器7、光元件8、激光转向镜9、物镜10,在激光发生器7的前端依次设置有光元件8和激光转向镜9,在激光转向镜9的下端设置有物镜10,物镜10的前端伸出外壳6用来观测设置在物镜10下部的载玻片2,在外壳6的顶端开设有用于CCD相机4成像的开口,通过设置开口可使CCD相机4镜头与物镜10镜头位于一条直线上,便于CCD相机4对载玻片2上的微粒成像,CCD相机4与计算机5相连接,可将CCD相机采集到图像传输到计算机5内进一步处理。计算机5还与两维电动位移平台3相连接,计算机5通过控制两维电动位移平台3的移动来实现载玻片2的移动。
下面以酵母菌的搬运为例说明本发明方法的具体实施方式。
1、光镊装置1中的激光发生器7发出强激光束,强激光束依次经过光元件8、激光转向镜9、物镜10汇聚到载玻片2上,利用该激光点捕捉到待搬运的酵母菌个体,并指明搬运的目的地,同时通过CCD相机4对载玻片2上待搬运的酵母菌个体附近环境进行成像,如图3所示。
2、将CCD相机采集到图像传输到计算机5内,计算机5利用Canny算子将CCD相机4拍摄的原始图像(宽度为320像素,高度为240像素)进行二值化和边缘提取,去除背景得到障碍物所在像素位置,如图4所示。
3、按照栅格宽度为15将二值化后的图像划分为21X16的栅格区域,生成21x16的壁障节点地图,根据每个栅格区域中障碍物像素的个数判断地图节点是否可通行,如图4所示。然后利用改进的A星壁障算法F(i,j)=G(i,j)+H(i,j)+η(i,j)。求出从起始点格栅节点到目的地格栅节点之间的最优壁障路径。其中η为一个判断函数,如此栅格节点为拐点,则取值大于0,如此栅格节点不是拐点,则取值为0。通过适量增加路径中拐点处的路径代价,使算法选择拐弯较少、同时路径较短的路径(图4)。经实验测定,η附加值取5-25时能取得较好的效果。η过大则路径过长(图5),η过小则拐弯较多(图6)。
4、按照求出的壁障路径的下一个格栅节点位置计算两维电动位移平台3中每个轴的移动方向和距离,通过调用电机控制函数执行移动命令。在细胞移动时,力学公式为
F光镊=kx=F液体=bv  x<R
其中F光镊是光镊施加在细胞上的力,k是光镊的劲度系数,x为细胞偏移光镊中心的距离,F液体是液体对细胞的阻力,b是液体阻尼系数,v是电机移动速度,R为细胞半径。可见,移动速度越快,细胞偏移越大。一旦x超过R,细胞将脱离。故为了快速而安全的移动,应将细胞保持在接近但小于R的位置。此处使用比例积分控制来在线调整电机速度,使细胞偏移保持在一个定值(略小于半径的位置)。
5、一个格栅节点移动完成后,根据实时得到的壁障节点地图判断之前的路径中下一个格栅节点是否有障碍物进入,如果没有则沿原始路径继续移动,如果有则需要重新计算壁障路径。
6、重复格栅节点移动操作,直到到达目的地。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。

Claims (5)

1.一种基于光镊的自动化微粒搬运方法,其特征在于:包括以下步骤:
(1)、通过光镊装置的激光束捕捉到载玻片上待搬运的微粒,并通过相机对微粒附近环境成像;
(2)、计算机将相机采集到的连续图像进行二值化处理和边缘提取,得到图像中各个障碍物的像素位置;
(3)、将二值化以后的图像划分栅格区域,根据栅格节点内的障碍物所占像素个数生成壁障节点地图,
(4)、然后以待搬运微粒的位置点和目的地的位置点作壁障算法,求出从待搬运微粒至目的地的壁障路径;
(5)、计算机按照生成的壁障路径控制位移平台直线移动载玻片到下一个拐弯处的格栅节点;
(6)、重复栅格节点搬运,最终将微粒搬运到目标位置。
2.根据权利要求1所述的一种基于光镊的自动化微粒搬运方法,其特征在于:壁障算法为一种改进的A星算法,对格子中某一节点(i,j)来说,具体路径评估移动代价公式为:F(i,j)=G(i,j)+H(i,j)+η(i,j),其中G(i,j)为从起始点到格子中给定方块(i,j)的移动代价,H(i,j)为格子中给定的方块(i,j)到最终目标的评估移动代价,η为一个判断函数,如果此栅格节点(i,j)为拐点,则η取值大于0,如此栅格节点不是拐点,则η取值为0,然后反复的遍历开放列表,选择具有最小F值的方块。
3.根据权利要求2所述的一种基于光镊的自动化微粒搬运方法,其特征在于:所述η取值范围为5-25。
4.根据权利要求3所述的一种基于光镊的自动化微粒搬运方法,其特征在于:在步骤(5)和步骤(6)之间还包括以下步骤:每移动一个栅格节点后判断下一个栅格节点是否有障碍物存在,如果没有则继续按照原来的路径执行,否则重新计算壁障路径。
5.根据权利要求4所述的一种基于光镊的自动化微粒搬运方法,其特征在于:在每一次直线搬运过程中,均采用比例积分控制器来进行运动规划,使电机速度能在线调整,实现环境变化时也不会丢失细胞。
CN2011101163089A 2011-05-06 2011-05-06 基于光镊的自动化微粒搬运方法 Pending CN102285630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101163089A CN102285630A (zh) 2011-05-06 2011-05-06 基于光镊的自动化微粒搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101163089A CN102285630A (zh) 2011-05-06 2011-05-06 基于光镊的自动化微粒搬运方法

Publications (1)

Publication Number Publication Date
CN102285630A true CN102285630A (zh) 2011-12-21

Family

ID=45332421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101163089A Pending CN102285630A (zh) 2011-05-06 2011-05-06 基于光镊的自动化微粒搬运方法

Country Status (1)

Country Link
CN (1) CN102285630A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106092102A (zh) * 2016-07-20 2016-11-09 广州极飞电子科技有限公司 一种无人机路径规划方法及装置
CN106485204A (zh) * 2016-09-19 2017-03-08 天津大学 一种光镊系统中的微球自动捕获方法
CN107223208A (zh) * 2014-12-09 2017-09-29 伯克利照明有限公司 微流体装置中微物体的自动检测和重新定位
CN110331125A (zh) * 2019-06-28 2019-10-15 南京航空航天大学 一种自动化实现多组细胞配对方法
US11170200B2 (en) 2016-12-01 2021-11-09 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
WO2023102774A1 (zh) * 2021-12-08 2023-06-15 深圳先进技术研究院 一种基于人机交互的声操控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1438479A (zh) * 2002-12-31 2003-08-27 上海中科大光镊科技有限公司 一种用激光分选提取液相细胞内物质的技术
CN1830752A (zh) * 2006-04-29 2006-09-13 北京工业大学 一种用于金属微粒的激光光镊微细操控方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1438479A (zh) * 2002-12-31 2003-08-27 上海中科大光镊科技有限公司 一种用激光分选提取液相细胞内物质的技术
CN1830752A (zh) * 2006-04-29 2006-09-13 北京工业大学 一种用于金属微粒的激光光镊微细操控方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANHUA WU ET AL: "《Path Planning in Automated Manipulation of Biological Cells with Optical Tweezers》", 《IEEE》, 11 December 2009 (2009-12-11) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223208A (zh) * 2014-12-09 2017-09-29 伯克利照明有限公司 微流体装置中微物体的自动检测和重新定位
US10832404B2 (en) 2014-12-09 2020-11-10 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN107223208B (zh) * 2014-12-09 2021-04-09 伯克利之光生命科技公司 微流体装置中微物体的自动检测和重新定位
CN106092102A (zh) * 2016-07-20 2016-11-09 广州极飞电子科技有限公司 一种无人机路径规划方法及装置
CN106485204A (zh) * 2016-09-19 2017-03-08 天津大学 一种光镊系统中的微球自动捕获方法
CN106485204B (zh) * 2016-09-19 2019-06-04 天津大学 一种光镊系统中的微球自动捕获方法
US11170200B2 (en) 2016-12-01 2021-11-09 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN110331125A (zh) * 2019-06-28 2019-10-15 南京航空航天大学 一种自动化实现多组细胞配对方法
CN110331125B (zh) * 2019-06-28 2023-04-07 南京航空航天大学 一种自动化实现多组细胞配对方法
WO2023102774A1 (zh) * 2021-12-08 2023-06-15 深圳先进技术研究院 一种基于人机交互的声操控方法及系统

Similar Documents

Publication Publication Date Title
CN102285630A (zh) 基于光镊的自动化微粒搬运方法
WO2020192000A1 (zh) 一种基于自主导航的畜禽信息感知机器人与地图构建方法
Ropp et al. Manipulating quantum dots to nanometer precision by control of flow
Marden et al. Improving the performance of ICP for real-time applications using an approximate nearest neighbour search
CN103085084A (zh) 一种用于高压带电作业机器人的视觉系统及工作方法
CN103676126A (zh) 一种光镊操作仪
CN106485204B (zh) 一种光镊系统中的微球自动捕获方法
Capizzi et al. Optimizing the organic solar cell manufacturing process by means of AFM measurements and neural networks
Olorunfemi et al. Solar panels dirt monitoring and cleaning for performance improvement: a systematic review on smart systems
CN102095898A (zh) 一种光学显微-原子力显微双探头成像方法及装置
Gao et al. Multi-mobile robot autonomous navigation system for intelligent logistics
CN206348270U (zh) 快速三维探测光学元件亚表面缺陷的检测装置
CN101799273B (zh) 一种纳米级尺寸结构测量方法及装置
Yin et al. Research on the method of step feature extraction for EOD robot based on 2D laser radar
Li et al. A YOLO-GGCNN based grasping framework for mobile robots in unknown environments
Gao et al. A vision-based irregular obstacle avoidance framework via deep reinforcement learning
CN101871772B (zh) 基于轨迹重构的光斑轮廓测量方法
CN107462173A (zh) 基于显微视觉的微动平台位移测量方法及系统
Grammatikopoulou et al. Three-dimensional pose estimation of optically transparent microrobots
CN101982780A (zh) 机器人微纳混合生物活体细胞实时检测、操纵及诊断技术与系统
Pan et al. A searching space constrained partial to full registration approach with applications in airport trolley deployment robot
CN108983702B (zh) 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN207249232U (zh) 一种基于倒置显微镜和微球透镜的光学超分辨率成像系统
Dexiao et al. Research on fruit recognition and positioning based on you only look once version4 (YOLOv4)
Tazaki et al. Loop detection of outdoor environment using proximity points of 3D pointcloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111221