CN114308159A - 一种光致电润湿芯片中液滴的自动化控制方法 - Google Patents

Abstract

本发明公开了一种光致电润湿芯片中液滴的自动化控制方法，包括以下步骤：首先布置光控电润湿平台；训练深度学习系统中的神经网络模块；使用设备实时拍摄图片，传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即光图；将光图投影至所述光控电润湿平台的芯片上，在设定的起始点生成待操作液滴，连续变化光图以驱动液滴。本发明的一种光致电润湿芯片中液滴的自动化检测和反馈控制方法，该方法也适用于各种类型尤其是无电极阵列的数字微流控芯片，具有检测精度高、控制灵活、可以自动进行路径规划躲避障碍物，对人工操作的依赖度低的优势。

Description

一种光致电润湿芯片中液滴的自动化控制方法

技术领域

本发明涉及计算机科学及微流控芯片技术，尤其是涉及一种光致电润湿芯片中液滴的自动化控制方法。

背景技术

随着微生物科学研究在微尺度上的重要性日益提高，基于液滴的微流控技术已被证明是用于各种生物医学研究应用程序的强大平台，例如PCR、酶分析、血液分析等。这些应用通常需要使用离散液滴形式的少量水性试剂充当芯片实验室(LOC)中反应物传输的载体，并以运动方式处理这些液滴，例如液滴的运输，分裂，合并和混合。基于液滴的微流控技术的新兴领域导致需要对微液滴中的单个液滴进行有效处理。大多数LOC使用基于微通道的一维(1-D)连续流平台，可以通过压差、热毛细作用力等实现对微液滴的主动控制。与1-D微流体设备相比，基于液滴的二维(2-D)微流体设备可以更灵活地单独处理液滴。2-D设备可以通过化学或热梯度，表面声波，电场和磁场等来实现驱动，其中介电润湿(EWOD)机制因其快速的开关响应和低功耗而受到较多的关注，并实现了可以在pL–μL的体积范围内处理液滴的数字微流控(Digital microfluidics DMF)系统，每个液滴都可以被运输，混合，反应和分析。但EWOD芯片控制液滴的灵活程度与芯片电极阵列的规模正相关，要实现更加精密的操作就伴随着更加复杂的电极制备和布线工作。近期，基于光的驱动方式，如光致电润湿(Optoelectrowetting)得到了广泛研究，其工作原理是在芯片上制备一层光敏材料，在整个芯片接通电压的前提下，通过改变芯片表面的光照状态来改变光敏材料的电阻，以导致指定位置产生电压降而改变液滴接触角，从而驱动液滴。光驱动使得能够在单个芯片上执行复杂的微流体功能，而不会遇到电润湿电极的二维阵列的布线瓶颈。

由于各种生物医学分析过程复杂，精确性要求高，并且在微流控芯片中，当液滴遇到障碍物(如其他试剂的残留)，很容易影响芯片使用或造成交叉污染，因此实现微流控系统的自动化和智能化成为微流控技术的重要发展方向之一。目前自动化的微流控设备，大多依然对操作者有较高的依赖性，如需要操作者确认障碍物属性及液滴操纵轨迹等，且功能较少，没有实现真正意义上的自动化。

精准、高效的液滴自动化检测和反馈系统以及信息处理和控制系统是微流控智能操控平台的关键。现有技术中，在DMF设备上检测液滴的常用方案是使用电容式检测和阻抗检测，如环形振荡器电路利用所施加信号的频率变化来监控液滴的分配；电阻器和电容器电路输出电压值用于监视液滴运动；以及计算优化的电极充电时间并实时监测设备上的液滴的模糊控制算法。这些监测方法都依赖于外加电压和电极阵列，不适用于基于光致电润湿的微流控系统。除此之外，基于图像边缘检测的反馈和分析系统，能够检测单个液滴的分配和移动故障并实现反馈，并且可以与设备上的其他液滴的操作同时进行，这一系统也可用于光、磁等驱动的微流控设备，但对于光致电润湿设备，光照的干扰将对边缘检测的准确度造成较大影响。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在数字微流控芯片中，由于障碍物或者其他试剂的残留的存在难以避免，容易影响芯片使用或造成交叉污染；现常用的自动化检测方法不适用于光、磁等驱动的无电极阵列的微流控设备且精度较低；现有检测方法很难同时实现对液滴位置、尺寸、颜色以及芯片本身缺陷等的多维度检测；单平面光致电润湿芯片难以实现对液滴的二维操控等。本发明提供了一种光致电润湿芯片中液滴的自动化检测和控制方法，该方法也适用于各种类型尤其是无电极阵列的数字微流控芯片，具有检测精度高、控制灵活、可以自动进行路径规划躲避障碍物，对人工操作的依赖度低的优势。

为实现上述目的，本发明提供了一种光致电润湿芯片中液滴的自动化控制方法，包括以下步骤：

首先布置光控电润湿平台；

训练深度学习系统中的神经网络模块；

使用设备实时拍摄图片，传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即光图；

将光图投影至光控电润湿平台的芯片上，在设定的起始点生成待操作液滴，连续变化光图以驱动液滴。

进一步地，深度学习系统包括神经网络模块和光图生成模块。

进一步地，深度学习系统中的神经网络模块可以由多种神经网络实现，达到输入图片，输出路径指令的效果，包括采用目标检测模型和最短路径算法，通过训练目标检测模型以识别芯片上液滴位置，再由最短路径算法规划液滴移动路径；或采用强化学习神经网络，经过训练后直接根据芯片实时图像做出路径指令。

进一步地，训练深度学习系统中的神经网络模块是根据神经网络模块的实现方案采取对应的训练方式，采用目标检测模型和最短路径算法，通过训练目标检测模型以识别芯片上液滴位置，由最短路径算法规划液滴移动路径，具体为：采集含有液滴状态各不相同的光致电润湿芯片表面图片，加标签制作数据集训练目标检测模型。

进一步地，采用强化学习神经网络，经过训练后直接根据芯片实时图像做出路径指令是根据神经网络模块的实现方案采取对应的训练方式，具体为：以Q-learning为例，可通过实验或仿真的方法，使系统随机做出指令，根据指令达到的效果给予相应反馈，不断重复直到系统能稳定做出最佳指令。

进一步地，深度学习系统中的光图生成模块是使用最短路径算法和画图程序库，根据神经网络模块的输出路径画出对应的连续变化的驱动光图，在驱动指定液滴的同时不影响芯片上其他液滴。

进一步地，采集含有液滴状态各不相同的光致电润湿芯片表面图片具体包括采集液滴状态各不相同的光致电润湿芯片表面图片，具体包括用相机拍摄一定数量的光致电润湿芯片表面图片，包括在设备实际使用过程中液滴可能存在的各种状态的图片，并根据算法模型参数调整各种状态图片所占比例。

进一步地，采集含有液滴状态各不相同的光致电润湿芯片表面图片，加标签制作数据集训练目标检测模型，具体包括：

利用相机拍摄多张光致电润湿芯片表面图片，包括含有尺寸、状态不同的液滴的图片；

将采集到的图片制作成数据集，其中，随机抽取若干张图片作为测试集检验最终训练模型的效果，其余图片按照一定比例划分为训练集和验证集；

然后利用训练集进行训练，使用验证集测试训练好的模型效果。

进一步地，布置光控电润湿平台包括图片获取装置、投影装置(即光源)、光致电润湿芯片、控制中心及液滴生成装置，获取装置、液滴生成装置、投影装置与控制中心相连，由控制中心控制，通过图片获取装置实时获取光致电润湿芯片的图像，传入控制中心进行处理并规划液滴路径，并控制液滴生成装置生成待操作液滴，投影装置将控制中心根据路径生成的驱动光图投影至光致电润湿芯片上。

进一步地，使用设备实时拍摄图片并传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即光图，具体包括以下步骤：

实时获取光致电润湿芯片表面图像，并得到相应的三通道像素信息数组；

将三通道像素信息数组转化为图片并传入深度学习系统中的神经网络模块进行处理，得到一条绕开所有障碍物到达指定位置的最短路径；

将神经网络模块输出的路径指令输入到光图生成模块生成对应的驱动光图。

进一步地，深度学习系统中的光图生成模块是将神经网络模块的输出，即路径指令，输入到光图生成模块，其根据输入路径由最短路径算法生成驱动光图并通过投影装置投影至芯片表面，光图连续变化以起到驱动液滴按照规划的最短路径移动的效果，同时光图不影响芯片上其他液滴。

进一步地，图片获取装置前设置有图像采集过滤装置，利用图像采集过滤装置采集来自芯片的自然光。

进一步地，图像采集过滤装置设置为滤光片、偏振镜头、偏振片中的一种或多种。

进一步地，投影装置的镜头前端还包括光源过滤装置，光源过滤装置使得部分的光源从光源过滤器中透过，在光致电润湿芯片上形成光虚拟电极。

进一步地，光源过滤装置设置为滤光片、偏振镜头、偏振片中的一种或多种。

进一步地，光源的光偏振方向与相机镜头前的光偏振方向垂直。

本发明提供的光致电润湿芯片中液滴的自动化控制方法，相较于现有技术至少具有以下有益效果：

本发明光致电润湿芯片中液滴的自动化控制方法，适用于无电极阵列的数字微流控芯片的物体检测方法。本发明首次将基于深度学习的目标检测应用到实现微流控设备的自动化上，与现有方法相比，该方法应用范围广，精度高，可实现功能多，控制灵活。除传统方法中对液滴位置的检测以外，本发明亦可实现对液滴尺寸、颜色、以及芯片缺陷等的高精度检测，以实现微流控装置的全方位自动化。对于光驱动的微流控装置，可以在存在光照影响的情况下对于微流控芯片图像实现高精度液滴及障碍物检测。设备可以根据芯片上液滴状态的反馈进行规划及控制，生成并连续变化光照图案(以下均称为光图)使目标液滴以最短路径避开障碍物，移动至指定位置(光图分为白色背景和黑色条纹，黑色条纹的移动会驱动液滴)。实现可以对单平面光致电润湿芯片上的液滴进行二维操作的光图生成方案。当芯片上存在多个待操作液滴或障碍液滴时，能够自动生成仅移动指定液滴的光图，而不影响其他液滴。实现完整的微流控自动化平台，即检测、反馈、控制端口的连接。只需设定简单的最终预期目标，平台即可根据设定自动规划并完成液滴移动、混合、分裂甚至更加复杂的液滴补充、细胞培养等操作。

附图说明

图1为本发明的一个较佳实施例的一种光致电润湿芯片中液滴的自动化控制方法的光控电润湿平台示意图；

图2为本发明的一个较佳实施例的一种光致电润湿芯片中液滴的自动化控制方法的路径规划结果示意图；

图3为本发明的一个较佳实施例的一种光致电润湿芯片中液滴的自动化控制方法的路径规划的驱动光图示意图；

图中标号所示：

1、图片获取装置，2、投影装置，3、光致电润湿芯片，4、控制中心，5、液滴生成装置，6、液滴导管，7、障碍物，8、液滴的起点，9、最短路径，10、液滴的终点，11、黑色条纹。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明公开了一种光致电润湿芯片中液滴的自动化控制方法，包括以下步骤：

步骤100，首先布置光控电润湿平台；

步骤200，训练深度学习系统中的神经网络模块，其中，深度学习系统包括神经网络模块和光图生成模块，深度学习系统中的神经网络模块由多种神经网络实现，达到输入图片，输出路径指令的效果，包括采用目标检测模型和最短路径算法来训练目标检测模型以识别芯片上液滴位置，由最短路径算法规划液滴移动路径；或采用强化学习神经网络，经过训练后直接根据芯片实时图像做出路径指令。其中，采用目标检测模型和最短路径算法来训练目标检测模型以识别芯片上液滴位置，由最短路径算法规划液滴移动路径，是采集含有液滴状态各不相同的光致电润湿芯片表面图片，加标签制作数据集训练目标检测模型，具体为采集含有液滴状态各不相同的光致电润湿芯片表面图片，作为数据集训练目标检测模型；其中，采集液滴状态各不相同的光致电润湿芯片表面图片，具体包括用相机拍摄一定数量的光致电润湿芯片表面图片，包括没有液滴、单个液滴、多个液滴、不同尺寸的液滴、不同位置的液滴以及暗条纹与液滴无重叠和有不同程度重叠的各种状态的图片，并且使各种状态的图片所占比例相同。而采用强化学习神经网络，经过训练后直接根据芯片实时图像做出路径指令则是通过实验或仿真的方法，使系统随机做出指令，根据指令达到的效果给予相应反馈，不断重复直到系统能稳定做出最佳指令。

步骤300，使用设备实时拍摄图片，传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即生成对应的光图。包括获取待处理的光致电润湿芯片表面图像，将图像传入检测模型进行检测，调用路径规划算法根据检测信息进行路径规划，从而得到最优路径；

步骤400，将所述光图投影至所述光控电润湿平台的芯片上，在设定的起始点生成待操作液滴，连续变化所述光图以驱动液滴。包括根据规划得到的最优路径生成光图并投影至光控电润湿平台的芯片上，在设定的起始点生成待操作液滴，并连续变化光图以驱动液滴。深度学习系统中的光图生成模块是使用最短路径算法和画图程序库，根据神经网络模块的输出路径画出对应的连续变化的驱动光图，在驱动指定液滴的同时不影响芯片上其他液滴。

如图1所示，布置光控电润湿平台包括图片获取装置1、投影装置2、光致电润湿芯片3、控制中心4及液滴生成装置5，图片获取装置1、液滴生成装置5、投影装置2、与控制中心4相连，由控制中心4控制，通过图片获取装置1实时获取光致电润湿芯片3的图像，传入控制中心4进行检测并规划液滴路径，并控制液滴生成装置5生成待操作液滴，投影装置2作为光源，将控制中心4根据路径生成的驱动光图投影至光致电润湿芯片3上，液滴生产装置5与光致电润湿芯片3通过液滴导管6连接。

其中，步骤200，训练深度学习系统中的神经网络模块中的采集含有液滴状态各不相同的光致电润湿芯片表面图片，经处理形成目标检测模型，具体包括：

步骤201，利用相机拍摄多张光致电润湿芯片表面图片，包括含有尺寸、状态不同的液滴的图片；具体的，用Therlab相机拍摄100张光致电润湿芯片表面图片，包括没有液滴、单个液滴、多个液滴、不同尺寸的液滴、不同位置的液滴以及暗条纹以及液滴无重叠和有不同程度重叠等各种状态的图片。尽可能使各种状态的图片所占比例相近，以便训练后的模型可以在不同状态下识别液滴。

步骤202，将采集到的图片添加标签并制作成数据集，其中，随机抽取若干张图片作为测试集检验最终训练模型的效果，其余图片则选中图片中所需检测的目标并添加标签；本实施例中，在步骤201中的图片中随机抽取10张留作测试集检验最终训练效果，其他图片用labelimg软件打开，对每一张图片选中图片中所有需检测目标并加标签(本发明中仅检测液滴，即选中所有液滴并标注“droplet”，若还需检测其他目标则分别加标签即可)。软件将相关信息保存为对应的.xml文件。

步骤203，对添加标签的图片进行4：1划分为训练集和验证集，然后对训练集进行训练，使用测试集测试后生成权重文件。本实施例中，下载YOLO V3源代码，将步骤202中的图片和.xml文件分别放到指定文件夹中。编写代码以4：1的比例划分训练集和验证集，并将划分结果保存为.txt文件(训练集和测试集分别保存在不同的.txt文件，文件中保存的是对应集合中所有图片的文件名)。根据我们需要检测的类别数(只检测液滴，则类别数为1)对源代码进行相应的修改。最后调用源代码中的train.py训练模型，训练结束后会生成相应的权重文件。

步骤204，利用已提前抽取的若干图片对权重文件进行目标检测，查看是否能准确检测出图片中的液滴。调用步骤203中训练生成的权重文件，分别读取2中预留的10张图片进行目标检测，查看是否能准确检测图片中的所有液滴。若检测结果良好，可用该权重文件进行后续步骤，若检测结果不佳则增加数据集图片数量或更改源文件训练参数重新执行步骤202、203、204。

进一步地，步骤300，使用设备实时拍摄图片并传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即生成对应的光图。包括获取待处理的光致电润湿芯片表面图像，将图像传入检测模型进行识别，调用路径规划算法根据检测结果信息进行路径规划，从而得到最优路径，具体包括：

步骤301，实时获取光致电润湿芯片表面图像，并得到相应的三通道像素信息数组；具体的，使用相机对应的python库调用相机捕获图像，得到相应的三通道像素信息数组；

步骤302，调用PIL库将三通道像素信息数组转化为图片并传入训练好的模型中进行目标识别；

步骤303，将识别到的所有目标的位置、尺寸信息分别放入数组(把所有检测到的液滴看作障碍物)，并设置为返回值，使其可以通过外部程序获得；

步骤304，然后操作者通过python编写的GUI交互界面设定被操作液滴的起点和终点，调用A*算法并根据设定点和检测结果的相关信息进行路径规划，得到一条绕开所有障碍物到达指定位置的最短路径。如图2所示，7为障碍物(包括已有的液滴也看做是障碍物)，设置液滴的起点8和液滴的终点10，及通过算法得到的最短路径9，该算法在进行路径规划时会考虑被操作液滴的半径，以保证液滴在移动过程中不会碰到障碍物。

步骤400，将所述光图投影至所述光控电润湿平台的芯片上，在设定的起始点生成待操作液滴，连续变化所述光图以驱动液滴。包括根据规划得到的最优路径生成光图并投影至光控电润湿平台的芯片上，在设定的起始点生成带操作液滴，并驱动液滴。通过python程序操控可编程微泵在设定的起始位置生成待操作液滴，根据规划的路径生成光图，如图3所示，经投影仪和透镜投射到芯片上，驱动液滴移动。对于光图，仍使用A*算法规划一条从上电极到下点极的最短路径，绕过其他液滴，并根据该路径用pygame库在白色画布上画出黑色条纹11。该条纹图案在计算机上生成，经投影仪和棱镜后的等比例缩小的条纹图案投射到芯片上，并根据液滴的移动方向依次变化达到驱动液滴的目的。

如图1所示，本发明实施例中，图片获取装置前设置有图像采集过滤装置，利用图像采集过滤装置采集来自芯片的自然光。图像采集过滤装置设置为滤光片、偏振镜头、偏振片中的一种或多种。投影装置的镜头前端还包括光源过滤装置，光源过滤装置使得部分的光源从光源过滤器中透过，在光致电润湿芯片上形成光虚拟电极。光源过滤装置设置为滤光片、偏振镜头、偏振片中的一种或多种。光源的光偏振方向与相机镜头前的光偏振方向垂直。

以下将以具体实施例来说明本发明的具体自动控制方法及光控电润湿平台。

实施例1

本实施例利用单平面光控电润湿芯片对液滴进行操作，利用双偏振镜头对图像采集进行优化，具体方案如下：

1.本实施例的芯片基本原理和结构：芯片由下到上分别为衬底，光导层，两端电极，介质层和疏水层，在两端电极上施加一定直流偏置电压，当芯片被均匀光照射，光导层电导率较大且均匀，当两端电极中间某位置投射一条黑色条纹时，黑色条纹处的光导层电阻增大，其他光照位置电阻较小，由此在黑色条纹处上方介质层感应出较大电压降，因此，黑色条纹处即成为一个虚拟电极。如果该处存在液滴，液滴接触角将变小，移动暗条纹，液滴被驱动，即黑色条纹处液滴接触角变小(相当于被吸在条纹处)，液滴会跟随黑色条纹移动。

2.光源：本实施例中采用商用投影仪作为虚拟电极光源。通过代码进行用户图形界面小程序生成，再通过电脑连接投影仪，使该图形通过投影仪投射到芯片上，我们可以通过对图形的调整，图形特征由小程序控制，可以通过键盘输入一些指令，在小程序界面来改变图形特征，例如暗条纹的粗细，位置和移动速度，来实现对液滴的操作。

3.图像采集：本实施例中，利用双偏振镜头对采集图像进行优化，第一个偏振镜头置于投影仪灯源前，调整偏振角度，自然光投射到第一个偏振镜头后得到偏振矢量单一的线偏振光，照射到芯片上，此时存在液滴，液滴下方即会形成虚拟电极，该光强度随有所减弱，但不影响驱动液滴；第二个偏振镜头置于CCD相机镜头前端，调整偏振角度与偏振光垂直，使来自光源的偏振光被完全过滤，而来自芯片上自然光中，只允许偏振方向与垂直的部分通过，最后通过偏振镜头到达CCD相机的光只来自于芯片表面的图像，并传输至计算机，这样可以大大降低投影仪本身光对图像质量的影响，而只采集芯片上液滴的图像。还可以通过在芯片周围加LED光源进行增亮，进一步提升液滴的识别清晰度。值得注意的是，如果利用带有偏振功能的投影仪作为光源，可以只在CCD相机前安装偏振镜头，使其偏振方向与光源的偏振方向垂直即可。由于投影仪发出的光为自然光，即没有特定的偏振方向，在各个方向都有偏振矢量，此处调整偏振片的角度，使光源来的光，符合偏振片偏振方向的部分透过偏振片，偏振方向不符合偏振片的部分被滤掉。相机前的偏振镜头偏振角度调整到与第一个角度垂直，这样，透过第一个偏振片的偏振光可以完全被第二个偏振片滤掉，而采集到的只有来自芯片上的光。

4.反馈控制：本实施例中的反馈控制是基于机器学习的模型进行的。通过对采集到的图像进行分析，确定液滴实时位置和状态，判断液滴是否正常驱动，正常驱动则按原定路线进行驱动，若液滴未被正常驱动，例如卡在某处，或者前面出现障碍(已存在一液滴)，则控制驱动的虚拟光电极改变驱动方向，使液滴绕过该障碍点，选择合适路径继续进行驱动，直到到达目标位置。

实施例2

本实施例利用双平面光控电润湿芯片对液滴进行操作，利用滤光片对图像采集进行优化，具体方案如下：

1.本实施例的芯片基本原理和结构：芯片分为驱动下极板和接地上极板两部分，下极板由下到上分别为衬底、电极层、光导层，介质层和疏水层，上极板由上到下分别为衬底、电极层和疏水层。液滴被夹在上下极板中间，上下极板电极层分别连接交流电源正负极，当一个亮光斑照射到芯片某处，该处光导层电阻大大降低，电压降发生在该处介质层上，而其余未被光照的地方，电压降发生在光导层上，如果该亮斑处存在一个液滴，液滴接触角将会被介质层上电压降改变，移动该光斑，液滴被驱动。

2.光源：本实施例中采用近红外激光器(波长780nm～1000nm)作为虚拟电极光源。通过代码对激光进行自动或手动控制，主要包括激光的强度和位置。

3.图像采集：本实施例中，利用两个滤光镜头对采集图像进行优化：第一个滤光镜头选择性通过近红外光，将其安装在近红外激光器光源前端，使到达芯片上的驱动信号波长范围限定在780nm到1000nm，(需要注意的是，近红外光可以使芯片发生光电导效应，即有效驱动液滴)。第二个滤光镜头选择性透过可见光(波长400nm～780nm)，将其安装在CCD相机前端，使采集到的图像信号只来自于芯片本身，而过滤掉来自近红外激光光源的信号，从而大大提高采集图像的精度。

4.反馈控制：本实施例中的反馈控制是基于机器学习的模型进行的。通过对采集到的图像进行分析，确定液滴实时位置和状态，判断液滴是否正常驱动，正常驱动则按原定路线进行驱动，若液滴未被正常驱动，例如当一个液滴被激光移动到某处被黏住，无法继续前进，此时可适当增加激光强度，进一步降低该处光导层电阻，提高该处介质层电压降，使液滴可以继续被驱动；当液滴运行到某处遇到障碍，控制激光光斑选择合适路径绕过该处后继续运动。

实施例3

本实施例利用双平面光控电润湿芯片对液滴进行操作，利用线栅偏振膜加偏振镜头对图像采集进行优化，具体方案如下：

1.芯片基本原理和结构：芯片分为驱动下极板和接地上极板两部分，下极板由下到上分别为衬底、电极层、光导层，介质层和疏水层，上极板由上到下分别为衬底、电极层和疏水层。液滴被夹在上下极板中间，上下极板电极层分别连接交流电源正负极，当一个亮光斑照射到芯片某处，该处光导层电阻大大降低，电压降发生在该处介质层上，而其余未被光照的地方，电压降发生在光导层上，如果该亮斑处存在一个液滴，液滴接触角将会被介质层上电压降改变，移动该光斑，液滴被驱动，

2.光源：本实施例中采用便携式激光器作为虚拟电极光源。通过代码对激光进行自动或手动控制，主要包括激光的强度和位置。

3.图像采集：本实施例中，利用线栅偏振膜加偏振镜头对采集图像进行优化：线栅偏振膜倾斜一定角度放置在激光光源前端，激光可部分透过偏振膜(入射光源)照射到芯片上进行液滴驱动，少部分被反射；来自于芯片的光信号大部分经过偏振膜的反射(反射图像，进入到CCD相机前端的偏振镜头，然后调节偏振角度，使CCD相机采集到的图像信息主要来自于芯片，而非激光光源。利用这种方法，相机不直接对芯片进行拍摄，而是采集芯片通过线栅偏振片的反射图像。

4.反馈控制：本实施例中的反馈控制是基于机器学习的模型进行的。通过对采集到的图像进行分析，确定液滴实时位置和状态，判断液滴是否正常驱动，正常驱动则按原定路线进行驱动，若液滴未被正常驱动，例如当一个液滴被激光移动到某处被黏住，无法继续前进，此时可适当增加激光强度，进一步降低该处光导层电阻，提高该处介质层电压降，使液滴可以继续被驱动；当液滴运行到某处遇到障碍，控制激光光斑选择合适路径绕过该处后继续运动。

本发明中基于深度学习的目标检测方法通用于所有类型的数字微流控芯片，不需特别制备电极阵列和外部布线。在图片清晰度低或存在光线等干扰的情况下仍能实现高精度的识别，降低了对外部相机等设备的要求，经过训练可以检测芯片表面的液滴残留、污染物、以及片上缺陷等，可以实现灵活、全面的检测。本发明中的光图生成方案可以对单平面光致电润湿芯片的液滴进行二维平面内的操作。本发明中的自动化平台可以根据操作指令(如移动至指定位置、融合、分裂等)和检测反馈自动规划最优路径并发出详细指令(具体的移动方向、距离等)。每一步指令可以根据反馈实时调整。本发明中的反馈控制系统可以实现对多液滴的灵活控制，有较高的实用性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种光致电润湿芯片中液滴的自动化控制方法，其特征在于，包括下列步骤：

首先布置光控电润湿平台；

训练深度学习系统中的神经网络模块；

使用设备实时拍摄图片，传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即生成对应的光图；

将所述光图投影至所述光控电润湿平台的光致电润湿芯片上，在设定的起始点生成待操作液滴，控制所述光图连续变化以驱动液滴。

2.根据权利要求1所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述深度学习系统包括神经网络模块和光图生成模块。

3.根据权利要求2所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述神经网络模块由多种神经网络实现，达到输入图片，输出路径指令的效果，包括采用目标检测模型和最短路径算法，通过训练目标检测模型以识别光致电润湿芯片上液滴位置，再由最短路径算法规划液滴移动路径；或采用强化学习神经网络，经过训练后直接根据光致电润湿芯片实时图像做出路径指令。

4.根据权利要求1所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，训练深度学习系统中的神经网络模块的具体内容为：

根据神经网络模块的实现方案采取对应的训练方式，采用目标检测模型和最短路径算法，是通过训练目标检测模型以识别光致电润湿芯片上液滴位置，由最短路径算法规划液滴移动路径，具体为：采集含有液滴状态各不相同的光致电润湿芯片表面图片，加标签制作数据集训练目标检测模型。

5.根据权利要求3所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，采用强化学习神经网络，经过训练后直接根据光致电润湿芯片实时图像做出路径指令是根据神经网络模块的实现方案采取对应的训练方式，具体为：通过实验或仿真的方法，使系统随机做出指令，根据指令达到的效果给予相应反馈，不断重复直到系统稳定做出最佳指令。

6.根据权利要求2所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述光图生成模块采用最短路径算法和画图程序库，根据神经网络模块的输出路径画出对应的连续变化的驱动光图，在驱动指定液滴的同时不影响光致电润湿芯片上其他液滴。

7.根据权利要求4所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，采集含有液滴状态各不相同的光致电润湿芯片表面图片的具体内容包括：

使用相机拍摄一定数量的光致电润湿芯片表面图片，包括在设备实际使用过程中液滴可能存在的各种状态的图片，并根据算法模型参数调整各种状态图片所占比例。

8.根据权利要求7所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，采集含有液滴状态各不相同的光致电润湿芯片表面图片后，加标签制作数据集训练目标检测模型的具体内容为：

利用相机拍摄多张光致电润湿芯片表面图片，包括含有不同尺寸、状态的液滴的图片；

将采集到的图片制作成数据集，其中，随机抽取若干张图片作为测试集检验最终训练模型的效果，其余图片按照一定比例划分为训练集和验证集；

利用训练集进行训练，采用验证集测试训练好的模型效果。

9.根据权利要求1所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述光控电润湿平台包括图片获取装置、投影装置、所述光致电润湿芯片、控制中心及液滴生成装置，所述获取装置、所述液滴生成装置、所述投影装置与所述控制中心相连，由所述控制中心控制，通过所述图片获取装置实时获取所述光致电润湿芯片的图像，传入控制中心进行处理并规划液滴路径，并控制所述液滴生成装置生成待操作液滴，所述投影装置作为光源，将所述控制中心根据路径生成的驱动光图投影至所述光致电润湿芯片上。

10.根据权利要求1所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，使用设备实时拍摄图片并传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极，即生成对应的光图，具体包括以下步骤：

实时获取所述光致电润湿芯片表面图像，并得到相应的三通道像素信息数组；

将所述三通道像素信息数组转化为图片并传入深度学习系统中的神经网络模块进行处理，获取一条绕开所有障碍物到达指定位置的最短路径；

将神经网络模块输出的路径指令输入到光图生成模块生成对应的驱动光图。

11.根据权利要求6所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述光图生成模块将神经网络模块的输出，即路径指令，输入至光图生成模块，其根据输入路径由最短路径算法生成驱动光图，通过投影装置投影至光致电润湿芯片表面，基于光图连续变化驱动液滴按照规划的最短路径移动，同时光图不影响光致电润湿芯片上其他液滴。

12.根据权利要求9所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述图片获取装置前设有图像采集过滤装置，利用所述图像采集过滤装置采集来自所述光致电润湿芯片的自然光。

13.根据权利要求12所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述图像采集过滤装置为滤光片、偏振镜头、偏振片中的一种或多种。

14.根据权利要求9所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述投影装置的镜头前端还包括用以使得部分的光源从光源过滤器中透过，在光致电润湿芯片上形成光虚拟电极的光源过滤装置。

15.根据权利要求14所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述光源过滤装置为滤光片、偏振镜头、偏振片中的一种或多种。

16.根据权利要求14所述的光致电润湿芯片中液滴的自动化控制方法，其特征在于，所述光源的光偏振方向与用以拍摄图片的设备前的光偏振方向垂直。

Images