CN113312829A - 基于数据驱动odep运动学模型的微纳米粒子移动控制方法 - Google Patents
基于数据驱动odep运动学模型的微纳米粒子移动控制方法 Download PDFInfo
- Publication number
- CN113312829A CN113312829A CN202110606198.8A CN202110606198A CN113312829A CN 113312829 A CN113312829 A CN 113312829A CN 202110606198 A CN202110606198 A CN 202110606198A CN 113312829 A CN113312829 A CN 113312829A
- Authority
- CN
- China
- Prior art keywords
- micro
- particle
- optical pattern
- odep
- nano
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002105 nanoparticle Substances 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000002245 particle Substances 0.000 claims abstract description 89
- 230000003287 optical effect Effects 0.000 claims abstract description 75
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 239000007788 liquid Substances 0.000 claims abstract description 5
- 239000011521 glass Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 20
- 229910021417 amorphous silicon Inorganic materials 0.000 claims description 12
- 239000012535 impurity Substances 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 239000000853 adhesive Substances 0.000 claims description 3
- 230000001070 adhesive effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 239000011164 primary particle Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000005684 electric field Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 239000004793 Polystyrene Substances 0.000 description 4
- 229920002223 polystyrene Polymers 0.000 description 4
- 239000012798 spherical particle Substances 0.000 description 4
- 238000004720 dielectrophoresis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000424 optical density measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000005253 yeast cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/25—Design optimisation, verification or simulation using particle-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/14—Details relating to CAD techniques related to nanotechnology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Micromachines (AREA)
Abstract
本发明涉及基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法。本发明包括：制作ODEP芯片，注入带有微纳米粒子的液体样品；获得识别的微纳粒子信息；绘制光学图案；控制所述光学图案以实现对目标微纳米粒子的操控，采集被操控粒子和相应光学图案的横、纵坐标数据信息；将光学图案的横、纵坐标作为输入，被操控的目标微纳米粒子的横、纵坐标作为输出，建立模型；将所述模型设计控制器并用于微纳米粒子操控。本发明避免了现有基于ODEP力的计算表达式操作微纳粒子方法的假设条件和受力简化过程，只需根据建立的模型给定一个控制输入，即可得到相应的控制输出，提高了基于ODEP技术操作微纳粒子的精确度。
Description
技术领域
本发明涉及微纳操作与微纳器件精密制造的技术领域，尤其是指基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法。
背景技术
微纳米粒子可广泛运用于半导体材料及新型材料的制备、生物技术的研究、医学工业等领域。微纳米粒子的应用实质是通过微纳米技术对其进行操控，从而获得目标产品，而操纵微纳米粒子的技术直接影响产品的质量和效率。
光诱导介电泳(Optically Induced Dielectrophoresis,ODEP)技术可用于操控微纳米粒子，其核心是基于一种“三明治”结构的芯片，该芯片由上下两层单面附有氧化铟锡(ITO)的玻璃，且下面一层的ITO上镀了一层氢化非晶硅(a-Si:H)，及用双面胶将两层玻璃粘贴在一起形成的中间溶液层构成，然后在两层ITO玻璃外加一个交流电压，并利用投影仪将电脑软件绘制的光学图案投影到ITO玻璃表面，在溶液层形成一个非均匀电场，以产生ODEP力，进而对微纳米粒子进行操作。
ODEP力的计算表达式与传统的介电泳力一致，根据点偶极子方法，该表达式成立的前提假设条件为：被操作的物体必须是处在极其理想状态介质中的球形粒子，但是大部分的生物细胞并不是均匀的球形粒子，因此，如果仍使用该表达式计算ODEP力，得到的只是其估计值。另外，在实际操作过程中，除ODEP力外，被操作粒子还会受到重力、浮力、布朗力和粘滞阻力等，也有可能受到摩擦力，但通常只会考虑ODEP力和粘滞阻力。故上述这些原因会影响粒子的精确操控。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于ODPE产生的力对于操控粒子精度不高的问题。
为解决上述技术问题，本发明提供了基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，包括如下步骤：
步骤S1：制作ODEP芯片，向制作好的ODEP芯片的溶液层中注入带有微纳米粒子的液体样品；
步骤S2：获取注入ODEP芯片通道中的微纳粒子的图像，并对所述微纳粒子的图像进行实时采集，对实时采集到的图像进行处理和目标识别，获得识别的微纳粒子信息；
步骤S3：根据识别的微纳粒子信息绘制光学图案；
步骤S4：将所述识别的微纳粒子信息作为输入，将光学图案投射到识别的微纳米粒子，控制所述光学图案的移动以实现对识别的微纳米粒子的操控；
步骤S5：采集识别的微纳米粒子的横、纵坐标和光学图案的横、纵坐标的数据信息；
步骤S6：将光学图案的横、纵坐标作为输入，识别的微纳米粒子的横、纵坐标作为输出，建立模型；
步骤S7：利用所述模型作为被控对象设计控制器，输入被操控的微纳米粒子所要移动位置的横、纵坐标设定值，识别获得微纳米粒子的横、纵坐标的实际输出，调节控制器以使被操控的微纳米粒子的实际移动位置与被操控微纳米粒子的横、纵坐标的设定值之间的差值最小。
在本发明的一个实施例中，所述ODEP芯片的结构包括三层，上层为单面铺有氧化铟锡的ITO玻璃，下层为沉积有氢化非晶硅光敏材料的ITO玻璃，通过双面胶将两层ITO玻璃铺有ITO的一面粘贴在一起构成中间的溶液层，并形成通道。
在本发明的一个实施例中，S21：对实时采集到的图像进行灰度化处理；S22：对灰度图像进行图像增强；S23：对图像进行形态学处理；S24：对图像进行锐化，提取目标粒子轮廓的灰度值；S25：对图像进行自动化阈值分割，提取目标粒子轮廓；S26：对目标粒子轮廓进行处理；S27：对所述目标粒子轮廓进行一次粒子分析，得到带有杂质或错误识别的信息，利用粒子滤除删去所述带有杂质或错误识别的信息，再次使用粒子分析得到最终要识别的目标粒子信息。
在本发明的一个实施例中，所述步骤S22中，对灰度图像进行图像增强的方法包括：利用乘法运算改变图像亮度，再采用对数变换重新映射，以转换灰色图像的像素。
在本发明的一个实施例中，所述步骤S26中，所述对目标粒子轮廓进行处理的步骤包括：S261：对目标粒子轮廓进行填充；S262：使用腐蚀运算去除目标粒子轮廓杂质；S263：利用灰度形态学的膨胀运算填充目标粒子轮廓中的孔洞并平滑边缘；S264：锐化目标粒子的轮廓边缘。
在本发明的一个实施例中，所述步骤S4中，将所述识别的微纳粒子信息作为输入，将光学图案投射到识别的微纳米粒子，控制所述光学图案的移动的方法为：S41：设定一个微纳米粒子移动的目标位置；S42：计算该目标位置与所有输入识别的微纳米粒子信息中位置信息之间的距离，并取其中的最小值，得到与该目标位置最小距离的微纳米粒子；S43：将与目标位置相匹配的微纳米粒子的位置作为光学图案的初始位置进行投影，并操控移动光学图案至目标位置。
在本发明的一个实施例中，所述步骤S5中，采集被操控的目标微纳米粒子的横、纵坐标和光学图案的横、纵坐标的数据信息的方法为：S51：设置光学图案的移动速度和目标位置参数；S52：投射光学图案至识别的待操控粒子，并移动光学图案至目标位置，待操控粒子随着光学图案一起运动且被动态识别；S53：实时采集被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息；S54：改变光学图案的移动速度和目标位置参数，再次采集多组被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息。
在本发明的一个实施例中，将所述多组被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息中的一组建立模型，使用另一组数据信息对所述建立的模型进行拟合验证。
在本发明的一个实施例中，所述建立的模型为：
其中，ui(k)，i＝1,2表示光学图案的横、纵坐标，为模型输入，yi(k)，i＝1,2表示粒子的横、纵坐标，为模型输出，G(z-1)表示由输入输出数据建立的传递函数模型。
在本发明的一个实施例中，所述步骤S7中，利用所述模型设计控制器，输入识别的微纳米粒子所要移动位置的横、纵坐标设定值，获得被操控的微纳米粒子的横、纵坐标的实际输出方法包括：通过调节控制器参数，使得微纳米粒子的横、纵坐标的实际输出与微纳米粒子所要移动位置的横、纵坐标设定值的差值最小。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，对ODEP操控微纳粒子过程建立了模型，本发明不需要像传统ODEP力的计算表达式一样考虑将被操作粒子理想化为球形粒子，也不需要考虑粒子具体受力情况，即避免了现有基于ODEP力的计算表达式操作微纳粒子方法的假设条件和受力简化过程，只需根据建立的模型设计控制器，给定一个控制输入，即可得到相应的控制输出作为微纳米粒子的移动位置，提高了基于ODEP技术操作微纳粒子的精确度。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明的ODEP系统结构原理图。
图2是本发明的粒子动态识别流程图。
图3是本发明的投射光学图案过程图。
图4是本发明的数据采集结果图，其中，(a)光学图案横坐标，(b)光学图案纵坐标，(c)粒子横坐标，(d)粒子纵坐标。
图5是本发明的模型建立数据拟合结果图，其中，(a)粒子横坐标建模数据拟合，拟合率93.36％，(b)粒子纵坐标建模数据拟合，拟合率84.18％。
图6是本发明的模型验证数据拟合结果图，其中，(a)粒子横坐标模型验证数据拟合，拟合率86.37％，(b)粒子纵坐标模型验证数据拟合，拟合率94.46％。
图7是本发明的控制系统结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，包括如下步骤：
步骤S1：根据ODEP系统的结构原理图搭建系统并制作ODEP芯片，向制作好的ODEP芯片的溶液层中注入带有微纳米粒子的液体样品，然后启动系统；
步骤S2：获取注入ODEP芯片通道中的微纳粒子的图像，通过CCD对所述微纳粒子的图像进行实时采集，对实时采集到的图像进行处理和目标识别，获得识别的微纳粒子位置、尺寸等信息；
步骤S3：设置所需的光学图案的颜色和厚度，选择合适的交流电的电压大小和频率，对所述ODEP芯片中的上下两层ITO玻璃添加外加电场，绘制光学图案；
步骤S4：利用所述识别的微纳粒子信息作为输入，将绘制的光学图案投射到待操控的识别的微纳米粒子，控制所述光学图案以实现对目标微纳米粒子的操控；
步骤S5：采集被操控的目标微纳米粒子的横、纵坐标和相应光学图案的横、纵坐标的数据信息；
步骤S6：将光学图案的横、纵坐标作为输入，被操控的目标微纳米粒子的横、纵坐标作为输出，建立模型；
步骤S7：利用所述模型作为被控对象设计控制器，输入被操控的微纳米粒子所要移动位置的横、纵坐标设定值，识别获得微纳米粒子的横、纵坐标的实际输出，调节控制器以使被操控的微纳米粒子的实际移动位置与被操控微纳米粒子的横、纵坐标的设定值之间的差值最小。
通过上述方法，本发明不需要像传统ODEP力的计算表达式一样考虑将被操作粒子理想化为球形粒子，也不需要考虑粒子具体受力情况，即避免了现有基于ODEP力的计算表达式操作微纳粒子方法的假设条件和受力简化过程，只需利用建立的模型设计控制器，给定一个控制输入，即可得到相应的控制输出作为微纳米粒子的移动位置，提高了基于ODEP技术操作微纳粒子的精确度。
具体地，所述步骤S1中，光诱导介电泳系统的结构原理图如图1所示。ODEP系统结构包括视觉模块、ODEP芯片、3D移动平台、虚拟电极产生模块和软件操控模块。所述的ODEP芯片操作模块主要由上下两层单面铺有ITO的玻璃，其上层是单面铺有氧化铟锡(ITO)的透明导电玻璃、下层是沉积有氢化非晶硅光敏材料(a-Si:H)的ITO玻璃，通过双面胶将两层ITO玻璃铺有ITO的一面粘贴在一起构成中间的溶液层，并形成通道，以便注入带有微纳米粒子的液体样品。在两层ITO玻璃上通过函数发生器外加一个交流电压。所述虚拟电极产生模块主要用于在沉积了a-Si:H的ITO玻璃上形成特定的光学图案，包括投影仪、聚光镜等。所述视觉模块主要是由一台CCD组成，用于观测操作过程。所述3D移动模块主要是三维移动平台，ODEP芯片操作模块位于该移动平台上。所述软件操控模块是通过程序算法对CCD采集到的图像实时处理、分析和识别，获得待操控粒子的位置、尺寸等数据信息，将上述获得的粒子信息作为输入，以粒子的质心位置为环心绘制并投射光学图案，然后自动移动光学图案至目标位置，实现粒子的自动操控。通过投影仪和聚光镜将绘制的光学图案投影到沉积了氢化非晶硅的ITO玻璃上，并在两层ITO玻璃上使用函数发生器给芯片外加一个交流电场，以在溶液层产生非均匀电场，进而对分布在溶液中的微纳米粒子产生ODEP力，可通过调节外加电场的大小和频率或光学图案的厚度来改变作用于溶液层中的ODEP力的大小。移动绘制的光学图案，以此改变其在a-Si:H层上的投影位置来操作粒子，同时，通过装置在ODEP芯片上方的CCD不断采集微纳米粒子的图像，并传送至电脑软件上观察其操作过程。光诱导介电泳的具体工作原理为：当在上下ITO玻璃外加交流电压时，由于a-Si:H材料在无光照时电导率较低，有光照射时其电导率迅速增加，导致有光照射区域电压降很大，无光照区域电压降几乎为0；就会在溶液层的入射光处及其周边产生空间非均匀电场，入射光照区域即为虚拟电极。虚拟电极会对分布在溶液层的微纳米粒子提供一个ODEP力，操控系统改变或移动投影在a-Si:H层的光学图案，形成移动的虚拟电极，即产生移动的ODEP力，从而操作溶液层的微纳米粒子。
具体地，所述步骤S2中，通过CCD对所述微纳粒子的图像进行实时采集，对实时采集到的图像进行处理和目标识别的流程图如图2所示，包括：
步骤S201：灰度化处理；对CCD采集到的彩色图像进行灰度化处理，得到灰度图像，以简化后续操作。
步骤S202：图像镜像；由于显微镜成像是倒像，所以基于图像的垂直轴对灰度图像进行一次垂直翻转，便于观察和实验操作。
步骤S203：图像增强；利用乘法运算改变图像亮度，再采用对数变换重新映射，以转换灰色图像的像素，达到增强图像的亮度和对比度效果。
步骤S204：粒子分离；使用腐蚀运算将步骤203中接触、粘连在一起的粒子(酵母细胞或聚苯乙烯)各自分离开来，以便每个目标粒子的准确识别。
步骤S205：灰度形态学处理(腐蚀)；利用灰度形态学的腐蚀运算，侵蚀、消除步骤204图像中的孤立的小颗粒杂质，平滑目标边缘。
步骤S206：边缘检测；采用非线性高通滤波方法Sigma算法对图像进行锐化，提取粒子轮廓的灰度值。
步骤S207：二值化处理；采用均匀性度量法(Metric)对图像进行自动化阈值分割，计算出图像的最佳阈值，并将计算出的阈值用于提取粒子的轮廓图像，忽略其他无关信息。
步骤S208：孔洞填充；对上述提取的粒子的轮廓进行填充，以消除粒子边缘轮廓缝隙或将提取不完整、有孔洞的地方连接完整。
步骤S209：粒子去除；使用腐蚀运算去除图像中一些小的杂质。
步骤S210：灰度形态学处理(膨胀)；利用灰度形态学的膨胀运算对步骤209中的图像进行处理，填充粒子中的小孔洞，并平滑目标边缘。
步骤S211：边缘检测，同步骤206，锐化目标粒子的轮廓边缘。
步骤S212：粒子分析与粒子滤除，粒子分析包括粒子滤除前和粒子滤除后的两次分析，第一次分析得到的是带有杂质和错误识别的信息，根据第一次分析的结果，设置合适的参数，将无关杂质或错误识别的目标粒子滤除，第二次分析即可得到滤除杂质或错误识别的粒子信息后的目标粒子的准确信息。
具体地，步骤S4中利用所述识别的微纳粒子信息作为输入，将绘制的光学图案投射到待操控的识别的微纳米粒子的过程如图3所示，其步骤包括：给定一个微纳米粒子运输的目标位置，计算该目标位置与所有输入识别的微纳粒子信息中位置信息之间的距离，并取其中的最小值，得到与该目标位置最小距离的粒子，则该最小距离的粒子与该目标位置元素相匹配，将目标位置相匹配的粒子的位置作为光学图案的初始位置进行投影，并操控移动光学图案至目标位置。
具体地，所述的步骤S5采集多组被操控粒子的横、纵坐标和相应的光学图案的横、纵坐标的数据信息，具体步骤为：
步骤S501：设置光学图案的移动速度和目标位置等参数；
步骤S502：投射光学图案至识别的待操控粒子，并移动光学图案至目标位置，过程中被操控粒子会随着光学图案一起运动，且被动态识别；
步骤S503：实时采集被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置，将获得的数据一一对应输出保存；
步骤S504：改变光学图案的移动速度和目标位置等参数，采集多组数据信息，将获得的数据一一对应输出保存；
步骤S505：对采集的数据进行简单的处理。
具体地，所述步骤S6中，将采集的数据分为两组，一组用于建立，另一组用于模型验证，具体方法为：
步骤S601：将采集到的所有数据分为两组；
步骤S602：利用第一组数据建立模型，以光学图案的横、纵坐标作为输入，以粒子的横、纵坐标作为输出，假设模型结构，辨识模型参数，以获得较高的拟合程度，然后输出模型；
步骤S603：使用另一组数据对步骤S602建立的模型进行拟合验证。
通过上述方法，使用另一组数据对建立的模型进行拟合验证，以确定建立的模型能够同样对该组数据有较好的拟合度。
具体地，步骤S602所述的利用第一组数据建立模型，其模型建立结果为：
其中，ui(k)，i＝1,2表示光学图案的横、纵坐标，为模型输入，yi(k)，i＝1,2表示粒子的横、纵坐标，为模型输出，G(z-1)表示由模型输入和模型输出数据建立的传递函数模型。
具体地，所述的步骤S7以步骤S6建立的模型作为被控对象在控制系统中设计控制器，并将建立的模型和设计的控制器用于微纳粒子的实际操作，实现微纳粒子的精确操控，具体步骤为：
在控制系统中，以建立的模型作为被控对象，设计控制器，输入粒子横、纵坐标的设定值，得到相应实际控制输出的粒子横、纵坐标值，并通过反馈得到实际输出的粒子横、纵坐标值与输入粒子横、纵坐标的设定值的差值，通过调节控制器参数(比例系数，积分系数，微分系数)，使得差值最小，以实现粒子的精确操作。
基于所述设计的控制系统结果如图7所示。
以对直径5μm聚苯乙烯微粒移动为例，其一次实验操作的数据采集结果如图4所示；基于所述对直径5um聚苯乙烯微粒建立模型的数据拟合结果如图5所示：可以看出建模输入数据曲线与模型曲线基本重合，(a)中拟合率93.36％，(b)中拟合率84.18％，即建模数据拟合效果较好。
基于所述对直径5um聚苯乙烯微粒采集数据建立模型的结果如下：
其中，ui(k)，i＝1,2表示光学图案的横、纵坐标，为模型输入，yi(k)，i＝1,2表示粒子的横、纵坐标，为模型输出，G(z-1)表示由输入输出数据建立的传递函数模型，
基于所述对上述建立的模型进行模型验证的数据拟合结果如图6所示：可以看出模型验证的数据拟合曲线与建立的模型曲线基本重合，(a)中拟合率86.37％，(b)中拟合率94.46％，即模型验证的数据拟合效果较好。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，包括如下步骤：
步骤S1：制作ODEP芯片，向制作好的ODEP芯片的溶液层中注入带有微纳米粒子的液体样品；
步骤S2：获取注入ODEP芯片通道中的微纳粒子的图像，并对所述微纳粒子的图像进行实时采集，对实时采集到的图像进行处理和目标识别，获得识别的微纳粒子信息；
步骤S3：根据识别的微纳粒子信息绘制光学图案；
步骤S4：将所述识别的微纳粒子信息作为输入，将光学图案投射到识别的微纳米粒子，控制所述光学图案的移动以实现对识别的微纳米粒子的操控；
步骤S5：采集被操控的微纳米粒子的横、纵坐标和相应光学图案的横、纵坐标的数据信息；
步骤S6：将光学图案的横、纵坐标作为输入，识别的微纳米粒子的横、纵坐标作为输出，建立模型；
步骤S7：利用所述模型作为被控对象设计控制器，输入被操控的微纳米粒子所要移动位置的横、纵坐标设定值，识别获得微纳米粒子的横、纵坐标的实际输出，调节控制器以使被操控的微纳米粒子的实际移动位置与被操控微纳米粒子的横、纵坐标的设定值之间的差值最小。
2.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述ODEP芯片的结构包括三层，上层为单面铺有氧化铟锡的ITO玻璃，下层为沉积有氢化非晶硅光敏材料的ITO玻璃，通过双面胶将两层ITO玻璃铺有ITO的一面粘贴在一起构成中间的溶液层，并形成通道。
3.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，S21：对实时采集到的图像进行灰度化处理；S22：对灰度图像进行图像增强；S23：对图像进行形态学处理；S24：对图像进行锐化，提取目标粒子轮廓的灰度值；S25：对图像进行自动化阈值分割，提取目标粒子轮廓；S26：对目标粒子轮廓进行处理；S27：对所述目标粒子轮廓进行一次粒子分析，得到带有杂质或错误识别的信息，利用粒子滤除删去所述带有杂质或错误识别的信息，再次使用粒子分析得到最终要识别的目标粒子信息。
4.根据权利要求3所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述步骤S22中，对灰度图像进行图像增强的方法包括：利用乘法运算改变图像亮度，再采用对数变换重新映射，以转换灰色图像的像素。
5.根据权利要求3所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述步骤S26中，所述对目标粒子轮廓进行处理的步骤包括：S261：对目标粒子轮廓进行填充；S262：使用腐蚀运算去除目标粒子轮廓杂质；S263：利用灰度形态学的膨胀运算填充目标粒子轮廓中的孔洞并平滑边缘；S264：锐化目标粒子的轮廓边缘。
6.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述步骤S4中，将所述识别的微纳粒子信息作为输入，将光学图案投射到识别的微纳米粒子，控制所述光学图案的移动的方法为：S41：设定一个微纳米粒子移动的目标位置；S42：计算该目标位置与所有输入识别的微纳米粒子信息中位置信息之间的距离，并取其中的最小值，得到与该目标位置最小距离的微纳米粒子；S43：将与目标位置相匹配的微纳米粒子的位置作为光学图案的初始位置进行投影，并操控移动光学图案至目标位置。
7.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述步骤S5中，采集被操控的目标微纳米粒子的横、纵坐标和光学图案的横、纵坐标的数据信息的方法为：S51：设置光学图案的移动速度和目标位置参数；S52：投射光学图案至识别的待操控粒子，并移动光学图案至目标位置，待操控粒子随着光学图案一起运动且被动态识别；S53：实时采集被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息；S54：改变光学图案的移动速度和目标位置参数，再次采集多组被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息。
8.根据权利要求7所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，将所述多组被操控粒子的横、纵坐标位置和相应的光学图案的横、纵坐标位置数据信息中的一组建立模型，使用另一组数据信息对所述建立的模型进行拟合验证。
9.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述建立的模型为：
其中，ui(k)，i＝1,2表示光学图案的横、纵坐标，为模型输入，yi(k)，i＝1,2表示粒子的横、纵坐标，为模型输出，G(z-1)表示由输入输出数据建立的传递函数模型。
10.根据权利要求1所述的基于数据驱动ODEP运动学模型的微纳米粒子移动控制方法，其特征在于，所述步骤S7中，利用所述模型设计控制器，输入识别的微纳米粒子所要移动位置的横、纵坐标设定值，获得被操控的微纳米粒子的横、纵坐标的实际输出方法包括：通过调节控制器参数，使得微纳米粒子的横、纵坐标的实际输出与微纳米粒子所要移动位置的横、纵坐标设定值的差值最小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606198.8A CN113312829B (zh) | 2021-05-26 | 2021-05-26 | 基于数据驱动odep运动学模型的微纳米粒子移动控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606198.8A CN113312829B (zh) | 2021-05-26 | 2021-05-26 | 基于数据驱动odep运动学模型的微纳米粒子移动控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113312829A true CN113312829A (zh) | 2021-08-27 |
| CN113312829B CN113312829B (zh) | 2022-07-26 |
Family
ID=77376755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110606198.8A Active CN113312829B (zh) | 2021-05-26 | 2021-05-26 | 基于数据驱动odep运动学模型的微纳米粒子移动控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113312829B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428782A (zh) * | 2023-12-04 | 2024-01-23 | 南开大学 | 一种微纳目标声波操纵方法及声波操纵平台 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344518A (zh) * | 2008-08-15 | 2009-01-14 | 东南大学 | 微纳生物粒子的多模式集成化介电表征装置及方法 |
| CN101403742A (zh) * | 2008-10-29 | 2009-04-08 | 东南大学 | 利用光电镊对微纳米生物粒子进行介电表征的方法 |
| WO2015172672A1 (en) * | 2014-05-15 | 2015-11-19 | Tsinghua University | Dielectrophoresis-based apparatus for operating three-dimensional rotation of particles and control method of the same |
| CN105092679A (zh) * | 2015-08-14 | 2015-11-25 | 深圳大学 | 一种基于光诱导介电泳技术的单细胞控制方法 |
| CN107357034A (zh) * | 2017-08-02 | 2017-11-17 | 长春理工大学 | 一种激光干涉图案化光场作为光源的光诱导介电泳装置 |
| CN109725044A (zh) * | 2018-12-29 | 2019-05-07 | 长春理工大学 | 基于分焦平面型偏振片和光诱导介电泳的细胞筛选装置 |
| CN211358388U (zh) * | 2019-11-29 | 2020-08-28 | 海南大学 | 一种基于连续流的光诱导介电泳微粒分离装置 |
| CN111908421A (zh) * | 2020-07-31 | 2020-11-10 | 江南大学 | 基于光诱导介电泳的微纳自组装操作方法及系统 |
| CN111948841A (zh) * | 2020-07-03 | 2020-11-17 | 南京南辉智能光学感控研究院有限公司 | 一种基于液晶体系的图案化粒子操纵方法 |
-
2021
- 2021-05-26 CN CN202110606198.8A patent/CN113312829B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344518A (zh) * | 2008-08-15 | 2009-01-14 | 东南大学 | 微纳生物粒子的多模式集成化介电表征装置及方法 |
| CN101403742A (zh) * | 2008-10-29 | 2009-04-08 | 东南大学 | 利用光电镊对微纳米生物粒子进行介电表征的方法 |
| WO2015172672A1 (en) * | 2014-05-15 | 2015-11-19 | Tsinghua University | Dielectrophoresis-based apparatus for operating three-dimensional rotation of particles and control method of the same |
| CN105092679A (zh) * | 2015-08-14 | 2015-11-25 | 深圳大学 | 一种基于光诱导介电泳技术的单细胞控制方法 |
| CN107357034A (zh) * | 2017-08-02 | 2017-11-17 | 长春理工大学 | 一种激光干涉图案化光场作为光源的光诱导介电泳装置 |
| CN109725044A (zh) * | 2018-12-29 | 2019-05-07 | 长春理工大学 | 基于分焦平面型偏振片和光诱导介电泳的细胞筛选装置 |
| CN211358388U (zh) * | 2019-11-29 | 2020-08-28 | 海南大学 | 一种基于连续流的光诱导介电泳微粒分离装置 |
| CN111948841A (zh) * | 2020-07-03 | 2020-11-17 | 南京南辉智能光学感控研究院有限公司 | 一种基于液晶体系的图案化粒子操纵方法 |
| CN111908421A (zh) * | 2020-07-31 | 2020-11-10 | 江南大学 | 基于光诱导介电泳的微纳自组装操作方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| GONGXIN LI等: "Nano-Manipulation Based on Real-Time Compressive Tracking", 《IEEE TRANSACTIONS ON NANOTECHNOLOGY》 * |
| 倪中华等: "基于光诱导介电泳的微纳米生物粒子操纵平台关键技术", 《中国科学(E辑:技术科学)》 * |
| 闫树斌等: "光电子镊的研究进展", 《激光与光电子学进展》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428782A (zh) * | 2023-12-04 | 2024-01-23 | 南开大学 | 一种微纳目标声波操纵方法及声波操纵平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113312829B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021042277A1 (zh) | 基于神经网络的三维物体法向量、几何及材质获取方法 | |
| CN103503029B (zh) | 检测面部特性的方法 | |
| US11747796B2 (en) | System and method for voltage-based real-time micro-object position control with the aid of a digital computer | |
| US10769432B2 (en) | Automated parameterization image pattern recognition method | |
| WO2020243826A1 (en) | Computer-implemented method of analyzing an image to segment article of interest therein | |
| CN113312829B (zh) | 基于数据驱动odep运动学模型的微纳米粒子移动控制方法 | |
| Tao et al. | Industrial weak scratches inspection based on multifeature fusion network | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN114091606A (zh) | 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法 | |
| Zhao et al. | Recognition of flooding and sinking conditions in flotation process using soft measurement of froth surface level and QTA | |
| CN108161938A (zh) | 一种机器人中的视觉跟踪方法及系统 | |
| CN111179308A (zh) | 一种基于视觉伺服的果蝇跟踪方法及系统 | |
| Liang et al. | Lightweight convolutional neural network driven by small data for asphalt pavement crack segmentation | |
| CN109493370A (zh) | 一种基于空间偏移学习的目标跟踪方法 | |
| Castañeda et al. | Computational methods for analysis of dynamic events in cell migration | |
| CN111908421B (zh) | 基于光诱导介电泳的微纳自组装操作方法及系统 | |
| CN115546163A (zh) | 宫颈脱落细胞玻片识别方法、装置、设备和介质 | |
| CN104298987A (zh) | 基于点密度加权在线fcm聚类的手写数字识别方法 | |
| Zhang et al. | Segmentation and measurement of superalloy microstructure based on improved nonlocal block | |
| Vallotton et al. | Segmentation and tracking individual pseudomonas aeruginosa bacteria in dense populations of motile cells | |
| JP2022023322A (ja) | 荷電粒子線装置および帯電評価方法 | |
| Ming et al. | Fault condition detection for a copper flotation process based on a wavelet multi-scale binary froth image | |
| Liu et al. | Dynamic Control Framework for Automated Particle Transport Based on Optically Induced Dielectrophoresis | |
| Sun et al. | Dynamic detection and depth location of pipette tip in microinjection | |
| Aodi et al. | Based on Weak Light YOLOv3 Multi-Target Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |