CN116432435A - 一种基于显微视觉的微力估计方法 - Google Patents

一种基于显微视觉的微力估计方法 Download PDF

Info

Publication number
CN116432435A
CN116432435A CN202310319224.8A CN202310319224A CN116432435A CN 116432435 A CN116432435 A CN 116432435A CN 202310319224 A CN202310319224 A CN 202310319224A CN 116432435 A CN116432435 A CN 116432435A
Authority
CN
China
Prior art keywords
convolution
module
micro
deflection
needle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310319224.8A
Other languages
English (en)
Other versions
CN116432435B (zh
Inventor
周鸣川
郭祥雨
张友超
王芳豪
赵安恬
戴淼淼
蒋焕煜
应义斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310319224.8A priority Critical patent/CN116432435B/zh
Publication of CN116432435A publication Critical patent/CN116432435A/zh
Application granted granted Critical
Publication of CN116432435B publication Critical patent/CN116432435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061—Force sensors associated with industrial machines or actuators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于显微视觉的微力估计方法。首先，建立初始微针挠度‑力学模型；搭建力学校正平台，采集实验数据后再对初始微针挠度‑力学模型进行校准，获得校准后的微针挠度‑力学模型；接着采集一组焦距连续且均匀变化的显微视觉图像和对应的深度数据，利用基于显微视觉的多聚焦图像融合算法对采集的一组显微视觉图像和对应的深度数据进行三维重建，获得微针的三维结构；最后计算获得微针的挠度，基于微针的挠度再利用校准后的微针挠度‑力学模型计算获得微针的轴向力。与其他方法相比，本发明不需要额外的物理感知元件或精确地细胞模型，与现有显微操作平台具有良好的适配性，能够在实际细胞显微操作中进行应用。

Description

一种基于显微视觉的微力估计方法
技术领域
本发明属于显微操作领域的微力估计方法，尤其是涉及一种基于显微视觉的微力估计方法。
背景技术
机器人显微操作是一种常用的细胞研究手段，已广泛的应用在生物学、医学和农业领域。在细胞操作中，末端执行器与细胞相互作用并对细胞施加作用力，作用于细胞表面的力可能会影响细胞的功能、发育或活动。因此，准确地测量施加在活细胞上的微力对于细胞的生物力学特征至关重要，这对于理解细胞的生理和生理功能也至关重要。在过去的几十年中，人们探索了多种细胞水平的微力传感方法，例如光学镊子，基于视觉的微力传感器，电容式微力传感器，压阻式微力传感器，压电式微力传感器。光学镊子是一种非接触的力表征方法，它通过激光束捕获的粒子挤压细胞来测量对细胞的捕获力。然而，高能激光束会对细胞造成光损伤，影响细胞发育。压电式微力传感器是基于压电效应，当压电材料的表面受到挤压时会产生电荷，电荷经放大电路和测量电路处理后解算出作用力，测量范围为μN-mN。由于这种传感器对温度很敏感，所以它使用时要考虑到温度的影响。与压电式传感器一样，压阻式和电容式微力传感器将电阻或电容信号转化为高灵敏度的电流或电压信号。该传感器的分辨率为nN-μN，比压电式传感器更灵敏，但是这类传感器的探头很脆弱，容易损坏。这些微力传感器都需要额外的物理元件测量电参数的变化。基于视觉的微力传感器是一种基于图像特征的细胞微力估计方法，它不需要额外的物理传感元件。该方法的局限在于需要建立精确地细胞模型，由于细胞内组成复杂，难以探明其力学性能。因此，建立一个可靠的细胞力学模型是一项具有挑战性的任务。
发明内容
本发明的目的是针对现有微力传感方法存在的不足，提供一种基于显微视觉的微力估计方法，基于显微视觉重建玻璃针在空间的三维状态，提取针的挠度参数，建立了针挠度与针施加在细胞表面力的理论模型，并通过力学校正平台修正模型，从而获得可靠的微力模型，用于估计玻璃针施加在细胞表面的作用力。
本发明采用的技术方案如下：
1)建立初始微针挠度-力学模型；
2)搭建力学校正平台，利用力学校正平台采集实验数据后再对初始微针挠度-力学模型进行校准，获得校准后的微针挠度-力学模型；
3)采集一组焦距连续且均匀变化的显微视觉图像和对应深度数据，利用基于显微视觉的多聚焦图像融合算法对采集的一组显微视觉图像和对应的深度数据进行三维重建，获得微针的三维结构；
4)根据微针的三维结构计算获得微针的挠度，基于微针的挠度再利用校准后的微针挠度-力学模型计算获得微针的轴向力。
所述1)中，初始微针挠度-力学模型的公式如下：
N＝Ax2+Bx+C
Figure BDA0004151044850000021
G＝Nsinα
其中，A代表第一拟合系数，B代表第二拟合系数，C代表第三拟合系数，N是微针的轴向力，G为微针的轴向力N在垂直方向上的分力，e为轴向力N的初始偏心率，x是微针的挠度，l为微针的长度，NE为欧拉临界力，α表示针与水平方向的夹角。
所述2)具体为：
2.1)搭建力学校正平台；
2.2)利用力学校正平台采集获得微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据；
2.3)利用微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据对初始微针挠度-力学模型进行校准，获得校准后的微针挠度-力学模型；
所述力学校正平台包括计算机、升降平台、控制器、驱动器、三轴高精度机械臂、可调持针器、微针、载玻片、显微镜头和万分之一电子天平；
万分之一电子天平上放置有载玻片，显微镜头设置在载玻片的一侧，万分之一电子天平的一侧安装有升降平台，升降平台上固定安装有三轴高精度机械臂，三轴高精度机械臂的末端安装有微针，微针的针尖与载玻片接触，三轴高精度机械臂与驱动器相连，驱动器与控制器相连，控制器与计算机相连。
所述3)中，基于显微视觉的多聚焦图像融合算法由依次相连的离焦网络、全聚焦融合图像网络和深度融合网络组成；
所述离焦网络包括4个卷积池化模块、第一多卷积模块和4个卷积采样模块，显微视觉图像为离焦网络的输入，同时也为第一卷积池化模块的输入，第一-第四卷积池化模块、第一多卷积模块、第一-第四卷积采样模块依次相连，第一卷积池化模块与第四卷积采样模块相连，第二卷积池化模块与第三卷积采样模块相连，第三卷积池化模块与第二卷积采样模块相连，第四卷积池化模块与第一卷积采样模块相连，第一卷积池化模块与全聚焦融合图像网络的第八卷积采样模块相连，第二卷积池化模块与全聚焦融合图像网络的第七卷积采样模块相连，第三卷积池化模块与全聚焦融合图像网络的第六卷积采样模块相连，第四卷积池化模块与全聚焦融合图像网络的第五卷积采样模块相连，第四卷积采样模块与全聚焦融合图像网络的第二多卷积模块相连；第四卷积采样模块的输出作为离焦网络的输出；
所述全聚焦融合图像网络包括第二多卷积模块和4个卷积采样模块，第二多卷积模块、第五-第八卷积采样模块依次相连，第八卷积采样模块与深度融合网络相连，深度数据为深度融合网络的输入，深度融合网络输出微针的三维结构。
所述第一卷积池化模块-第八卷积池化模块结构相同，均由第一卷积块、最大池化层和全局池化层依次相连组成；卷积池化模块的输入作为第一卷积块的输入，全局池化层的输出作为卷积池化模块的输出；
所述第一卷积采样模块-第八卷积采样模块结构相同，均由第二卷积块、第一上采样层和第三卷积块依次相连组成；卷积采样模块的输入作为第二卷积块的输入，第三卷积块的输出作为卷积采样模块的输出；
所述第一多卷积模块和第二多卷积模块结构相同，均由第四卷积块和第二上采样层相连组成；多卷积模块的输入作为第四卷积块的输入，第二上采样层的输出作为多卷积模块的输出。
所述第一卷积块由第一2D卷积层、第二2D卷积层、第一激活层和第二激活层依次相连组成。
所述第二卷积块-第四卷积块的结构相同，均由第三2D卷积层和第三激活层相连组成。
本发明的有益效果为：
本发明提出一种基于显微视觉的微力估计方法，可用于细胞力表征，不需要额外的物理传感器或精确的细胞模型，该方法成本低、结构简单，不会增加额外的物理装置，与现有显微操作平台具有良好的适配性，能够在实际细胞显微操作中进行应用。
附图说明
图1是本发明方法的基本流程图；
图2是本发明方法的多聚焦图像算法网络图；
图3是微针挤压细胞的示意图；
图4是针弯曲数学模型示意图；
图5是本发明方法的力学校正平台示意图；
图6是多聚焦图像融合结果示意图；
图7是多聚焦图像融合结果的误差；
图8是不同力学校正数据的试验示意图；
图9是玻璃针挠度-力拟合模型的相关示意图；
图10是力学表征实例示意图。
图中：1、计算机，2、升降平台，3、控制器，4、驱动器，5、三轴高精度机械臂，6、可调持针器，7、微针，8、载玻片，9、显微镜头，10、万分之一电子天平。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1所示，本发明包括以下步骤：
1)当细长的玻璃微针挤压细胞时，细胞受到挤压产生变形，玻璃针弯曲。原因是针受到轴向力的挤压，轴向力大于临界屈服力。因此，针头不会保持原来的笔直状态。针可以被认为是一根玻璃针其力模型可以简化，如图3所示，玻璃针的针尖在显微视野下的直径为2微米左右。根据图3所示的力学关系，建立初始微针挠度-力学模型；
初始微针挠度-力学模型的公式如下：
N＝Ax2+Bx+C
Figure BDA0004151044850000041
G＝Nsinα
其中，A代表第一拟合系数，B代表第二拟合系数，C代表第三拟合系数，N是微针的轴向力，G为微针的轴向力N在垂直方向上的分力，e为轴向力N的初始偏心率，x是玻璃微针的挠度，l为微针的长度，NE为欧拉临界力，α表示针与水平方向的夹角。
2)搭建如图5所示的力学校正平台，利用力学校正平台采集实验数据后再对初始微针挠度-力学模型进行校准，获得校准后的微针挠度-力学模型；
2)具体为：
2.1)搭建力学校正平台；力学校正平台中所有的电气连接和通信接口工作正常
力学校正平台包括计算机1、升降平台2、控制器3、驱动器4、三轴高精度机械臂5、可调持针器6、微针7、载玻片8、显微镜头9和万分之一电子天平10；
万分之一电子天平10上放置有载玻片8，显微镜头9设置在载玻片8的一侧，用于采集视觉图像。万分之一电子天平10的一侧安装有升降平台2，升降平台2上固定安装有三轴高精度机械臂5，三轴高精度机械臂5的末端安装有微针7，微针7的针尖与载玻片8接触，三轴高精度机械臂5与驱动器4相连，驱动器4与控制器3相连，控制器3与计算机1相连。其中，万分之一电子天平10已用200g的砝码进行校准，确保电子秤不受其他因素的影响，例如来自空气的气流。
2.2)利用力学校正平台采集获得微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据；
具体地：微针7的轴向夹角为微针7的中轴线与水平方向的夹角，计算机通过控制器3、驱动器4、升降平台2和三轴高精度机械臂5调整微针7的轴向夹角和高度。多次进行以下实验：当微针7的针尖刚接触到载玻片时，固定微针7的轴向夹角，然后匀速调整微针7的高度，微针7的前端发生弯曲，显微镜头9实时采集微针7的弯曲图像，同时记录万分之一电子天平10的示数，利用图像处理技术处理微针7的弯曲图像，获得对应的微针7挠度，将当前实验中的万分之一电子天平10的示数与轴向夹角记为一组轴向力-轴向夹角数据，万分之一电子天平10的示数与微针7的挠度记为一组微针的轴向力-挠度数据。第一次实验中，微针7的轴向夹角为30°。力学校正实验时，玻璃针与水平方向的角度分别为90°、60°、45°，每种校正角度下重复三次，实验结果如图8的(a)、图8的(b)和图8的(c)所示。
2.3)利用微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据对初始微针挠度-力学模型进行校准，通过数据拟合获得校准后的微针挠度-力学模型：
F＝0.01369x2-0.2304x+1.8630
具体结果如图9的(a)所示，图9的(b)为力学模型拟合误差，图9的(c)为力学模型分辨率；
3)采集一组焦距连续且均匀变化的显微视觉图像和对应深度数据，利用基于显微视觉的多聚焦图像融合算法对采集的一组显微视觉图像和对应深度数据进行三维重建，获得微针的三维结构；
在倒置显微视野中，显微镜只能清晰的观察到玻璃针的针尖，不能呈现针前端的整个状态。通过利用显微镜的景深(低至1μm)，可以通过调整成像系统的焦距来扫描针的3D曲线。
为了重建玻璃微针的三维状态，如图2所示，基于显微视觉的多聚焦图像融合算法由依次相连的离焦网络、全聚焦融合图像网络和深度融合网络组成；
如图2所示，离焦网络包括4个卷积池化模块、第一多卷积模块和4个卷积采样模块，显微视觉图像为离焦网络的输入，同时也为第一卷积池化模块的输入，第一-第四卷积池化模块、第一多卷积模块、第一-第四卷积采样模块依次相连，第一卷积池化模块与第四卷积采样模块相连，第二卷积池化模块与第三卷积采样模块相连，第三卷积池化模块与第二卷积采样模块相连，第四卷积池化模块与第一卷积采样模块相连，第一卷积池化模块与全聚焦融合图像网络的第八卷积采样模块相连，第二卷积池化模块与全聚焦融合图像网络的第七卷积采样模块相连，第三卷积池化模块与全聚焦融合图像网络的第六卷积采样模块相连，第四卷积池化模块与全聚焦融合图像网络的第五卷积采样模块相连，第四卷积采样模块与全聚焦融合图像网络的第二多卷积模块相连；第四卷积采样模块的输出作为离焦网络的输出；
离焦网络用于估计输入的显微视觉图像中所有像素的离焦值。基于所有像素的离焦值计算整幅图像的散焦值。
为了计算整幅图像的散焦值，使用弥散圆c作为评估指标。方程式如下：
Figure BDA0004151044850000061
其中，f是相机的焦距，s1是焦距，s2是相机到物体的距离，N是f-number的个数，f-number是焦距与有效孔径的比值，表示孔径大小。
输入焦点堆栈由自动编码器卷积神经网络处理，所有分支共享权重，并且通过全局池逐层实现任意数量的图像作为输入。
离焦网络用于区分每张图像的聚焦区域和离焦区域，并使用L2损失函数来训练离焦网络，而无需额外的正则化处理。
为了获得玻璃针的清晰图像，需要获得全聚焦图像。全聚焦图像是通过全聚焦网络计算，所有像素都被适当地锐化。离焦网络模型估计了不同焦距下图像的清晰度级别，根据离焦图将所有图像的清晰区域融和为一张全聚焦图像。操纵杆通过串行端口与控制器通信，串行端口记录Z轴方向的数据。深度融合网络通过线性差值将每张图像的聚焦区域与深度值一一对应，以获得玻璃针的3D结构图。
全聚焦融合图像网络包括第二多卷积模块和4个卷积采样模块，第二多卷积模块、第五-第八卷积采样模块依次相连，第八卷积采样模块与深度融合网络相连(即第八卷积采样模块的输出作为全聚焦融合图像网络的输出)，深度数据为深度融合网络的输入，深度融合网络输出微针的三维结构。
第一卷积池化模块-第八卷积池化模块结构相同，均由第一卷积块、最大池化层和全局池化层依次相连组成；卷积池化模块的输入作为第一卷积块的输入，全局池化层的输出作为卷积池化模块的输出；
第一卷积采样模块-第八卷积采样模块结构相同，均由第二卷积块、第一上采样层和第三卷积块依次相连组成；卷积采样模块的输入作为第二卷积块的输入，第三卷积块的输出作为卷积采样模块的输出；
第一多卷积模块和第二多卷积模块结构相同，均由第四卷积块和第二上采样层相连组成；多卷积模块的输入作为第四卷积块的输入，第二上采样层的输出作为多卷积模块的输出。
第一卷积块由第一2D卷积层、第二2D卷积层、第一激活层和第二激活层依次相连组成。
第二卷积块-第四卷积块的结构相同，均由第三2D卷积层和第三激活层相连组成，第一激活层-第三激活层的激活函数为ReLu函数。
4)根据微针的三维结构计算获得微针的挠度，基于微针的挠度再利用校准后的微针挠度-力学模型计算获得微针的轴向力。
用于实施的硬件环境是Ubuntu 18.04 11th Gen Intel(R)Core(TM)i5-11400F@2.6GHz，采用Python编程语言。图6是多聚焦图像融合结果，图7是多聚焦图像融合结果的误差，图像融合误差为0.94μm。
本方法以斑马鱼胚胎和水稻小孢子细胞为实验对象进行力表征实验，如图10所示，图10的(a)水稻小孢子细胞力学表征，图10的(b)水稻小孢子细胞力学表征中玻璃针三维结构，图10的(c)水稻小孢子细胞力学表征中玻璃针挠度与受力关系图，图10的(d)斑马鱼胚胎细胞力学表征，图10的(e)斑马鱼胚胎细胞力学表征中玻璃针三维结构，图10的(f)斑马鱼胚胎细胞力学表征中玻璃针挠度与受力关系图。玻璃针施加在水稻小孢子表面的力为25.37μN，玻璃针此时的挠度50.50μm；玻璃针施加在斑马鱼胚胎表面的力为132.60μN，玻璃针此时的挠度106.50μm。
最后所应说明的是，以上实施例和阐述仅用以说明本发明的技术方案而非进行限制。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，不脱离本发明技术方案公开的精神和范围的，其均应涵盖在本发明的权利要求保护范围之中。

Claims (8)

1.一种基于显微视觉的微力估计方法，其特征在于，包括以下步骤：
1)建立初始微针挠度-力学模型；
2)搭建力学校正平台，利用力学校正平台采集实验数据后再对初始微针挠度-力学模型进行校准，获得校准后的微针挠度-力学模型；
3)采集一组焦距连续且均匀变化的显微视觉图像和对应深度数据，利用基于显微视觉的多聚焦图像融合算法对采集的一组显微视觉图像和对应的深度数据进行三维重建，获得微针的三维结构；
4)根据微针的三维结构计算获得微针的挠度，基于微针的挠度再利用校准后的微针挠度-力学模型计算获得微针的轴向力。
2.根据权利要求1所述的一种基于显微视觉的微力估计方法，其特征在于，所述1)中，初始微针挠度-力学模型的公式如下：
N＝Ax2+Bx+C
Figure QLYQS_1
G＝Nsinα
其中，A代表第一拟合系数，B代表第二拟合系数，C代表第三拟合系数，N是微针的轴向力，G为微针的轴向力N在垂直方向上的分力，e为轴向力N的初始偏心率，x是微针的挠度，l为微针的长度，NE为欧拉临界力，α表示针与水平方向的夹角。
3.根据权利要求1所述的一种基于显微视觉的微力估计方法，其特征在于，所述2)具体为：
2.1)搭建力学校正平台；
2.2)利用力学校正平台采集获得微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据；
2.3)利用微针的轴向力-轴向夹角数据以及微针的轴向力-挠度数据对初始微针挠度-力学模型进行校准，获得校准后的微针挠度-力学模型。
4.根据权利要求3所述的一种基于显微视觉的微力估计方法，其特征在于，所述力学校正平台包括计算机(1)、升降平台(2)、控制器(3)、驱动器(4)、三轴高精度机械臂(5)、可调持针器(6)、微针(7)、载玻片(8)、显微镜头(9)和万分之一电子天平(10)；
万分之一电子天平(10)上放置有载玻片(8)，显微镜头(9)设置在载玻片(8)的一侧，万分之一电子天平(10)的一侧安装有升降平台(2)，升降平台(2)上固定安装有三轴高精度机械臂(5)，三轴高精度机械臂(5)的末端安装有微针(7)，微针(7)的针尖与载玻片(8)接触，三轴高精度机械臂(5)与驱动器(4)相连，驱动器(4)与控制器(3)相连，控制器(3)与计算机(1)相连。
5.根据权利要求1所述的一种基于显微视觉的微力估计方法，其特征在于，所述3)中，基于显微视觉的多聚焦图像融合算法由依次相连的离焦网络、全聚焦融合图像网络和深度融合网络组成；
所述离焦网络包括4个卷积池化模块、第一多卷积模块和4个卷积采样模块，显微视觉图像为离焦网络的输入，同时也为第一卷积池化模块的输入，第一-第四卷积池化模块、第一多卷积模块、第一-第四卷积采样模块依次相连，第一卷积池化模块与第四卷积采样模块相连，第二卷积池化模块与第三卷积采样模块相连，第三卷积池化模块与第二卷积采样模块相连，第四卷积池化模块与第一卷积采样模块相连，第一卷积池化模块与全聚焦融合图像网络的第八卷积采样模块相连，第二卷积池化模块与全聚焦融合图像网络的第七卷积采样模块相连，第三卷积池化模块与全聚焦融合图像网络的第六卷积采样模块相连，第四卷积池化模块与全聚焦融合图像网络的第五卷积采样模块相连，第四卷积采样模块与全聚焦融合图像网络的第二多卷积模块相连；第四卷积采样模块的输出作为离焦网络的输出；
所述全聚焦融合图像网络包括第二多卷积模块和4个卷积采样模块，第二多卷积模块、第五-第八卷积采样模块依次相连，第八卷积采样模块与深度融合网络相连，深度数据为深度融合网络的输入，深度融合网络输出微针的三维结构。
6.根据权利要求5所述的一种基于显微视觉的微力估计方法，其特征在于，所述第一卷积池化模块-第八卷积池化模块结构相同，均由第一卷积块、最大池化层和全局池化层依次相连组成；卷积池化模块的输入作为第一卷积块的输入，全局池化层的输出作为卷积池化模块的输出；
所述第一卷积采样模块-第八卷积采样模块结构相同，均由第二卷积块、第一上采样层和第三卷积块依次相连组成；卷积采样模块的输入作为第二卷积块的输入，第三卷积块的输出作为卷积采样模块的输出；
所述第一多卷积模块和第二多卷积模块结构相同，均由第四卷积块和第二上采样层相连组成；多卷积模块的输入作为第四卷积块的输入，第二上采样层的输出作为多卷积模块的输出。
7.根据权利要求6所述的一种基于显微视觉的微力估计方法，其特征在于，所述第一卷积块由第一2D卷积层、第二2D卷积层、第一激活层和第二激活层依次相连组成。
8.根据权利要求7所述的一种基于显微视觉的微力估计方法，其特征在于，所述第二卷积块-第四卷积块的结构相同，均由第三2D卷积层和第三激活层相连组成。
CN202310319224.8A 2023-03-29 2023-03-29 一种基于显微视觉的微力估计方法 Active CN116432435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310319224.8A CN116432435B (zh) 2023-03-29 2023-03-29 一种基于显微视觉的微力估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310319224.8A CN116432435B (zh) 2023-03-29 2023-03-29 一种基于显微视觉的微力估计方法

Publications (2)

Publication Number Publication Date
CN116432435A true CN116432435A (zh) 2023-07-14
CN116432435B CN116432435B (zh) 2024-02-09

Family

ID=87082604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310319224.8A Active CN116432435B (zh) 2023-03-29 2023-03-29 一种基于显微视觉的微力估计方法

Country Status (1)

Country Link
CN (1) CN116432435B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08233836A (ja) * 1995-02-28 1996-09-13 Hitachi Constr Mach Co Ltd 走査型プローブ顕微鏡、並びにその高さ方向較正用基準器および較正方法
US20060196280A1 (en) * 2005-03-02 2006-09-07 Ning Xi Active sensor for micro force measurement
US20060272398A1 (en) * 2005-06-06 2006-12-07 Academia Sinica Beam tracking system for scanning-probe type atomic force microscope
WO2008123908A1 (en) * 2007-02-21 2008-10-16 The Board Of Trustees Of The University Of Illinois Stress micro mechanical test cell, device, system and methods
KR20090032203A (ko) * 2007-09-27 2009-04-01 성균관대학교산학협력단 미세힘 측정센서
CN101561334A (zh) * 2009-05-15 2009-10-21 天津大学 三维微触觉力传感器的标定方法
CN103471905A (zh) * 2013-09-16 2013-12-25 清华大学 用于扫描显微环境的单轴双向微力学测量装置及测量方法
CN110967248A (zh) * 2019-11-06 2020-04-07 英国微力测量有限公司 一种微颗粒强度测量仪及测量方法
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置
US11468543B1 (en) * 2021-08-27 2022-10-11 Hong Kong Applied Science and Technology Research Institute Company Limited Neural-network for raw low-light image enhancement
WO2023005091A1 (en) * 2021-07-30 2023-02-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for object detection

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08233836A (ja) * 1995-02-28 1996-09-13 Hitachi Constr Mach Co Ltd 走査型プローブ顕微鏡、並びにその高さ方向較正用基準器および較正方法
US20060196280A1 (en) * 2005-03-02 2006-09-07 Ning Xi Active sensor for micro force measurement
US20060272398A1 (en) * 2005-06-06 2006-12-07 Academia Sinica Beam tracking system for scanning-probe type atomic force microscope
WO2008123908A1 (en) * 2007-02-21 2008-10-16 The Board Of Trustees Of The University Of Illinois Stress micro mechanical test cell, device, system and methods
EP2122317A1 (en) * 2007-02-21 2009-11-25 The Board of Trustees of the University of Illinois Stress micro mechanical test cell, device, system and methods
KR20090032203A (ko) * 2007-09-27 2009-04-01 성균관대학교산학협력단 미세힘 측정센서
CN101561334A (zh) * 2009-05-15 2009-10-21 天津大学 三维微触觉力传感器的标定方法
CN103471905A (zh) * 2013-09-16 2013-12-25 清华大学 用于扫描显微环境的单轴双向微力学测量装置及测量方法
CN110967248A (zh) * 2019-11-06 2020-04-07 英国微力测量有限公司 一种微颗粒强度测量仪及测量方法
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置
WO2023005091A1 (en) * 2021-07-30 2023-02-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for object detection
US11468543B1 (en) * 2021-08-27 2022-10-11 Hong Kong Applied Science and Technology Research Institute Company Limited Neural-network for raw low-light image enhancement

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUAWEI, HISILICON: "R1-131858 "Initial geometry results for calibration"", 3GPP TSG_RAN\\WG1_RL1, no. 1 *
MITSUBISHI ELECTRIC CO.: "R1-1705817 "Summary of analysis of nonlinear precoding schemes for NR"", 3GPP TSG_RAN\\WG1_RL1, no. 1 *
于辉, 左洪福, 黄传奇: "基于立体视觉技术的磨粒显微测量方法", 交通运输工程学报, no. 01 *
屈泽华;卜娟;潘晓霞;: "原子力显微镜探针悬臂弹性常数校正技术进展", 中国测试, no. 03 *
栗大超;王和牛;傅星;胡小唐;: "MEMS三维微触觉力传感器标定方法", 纳米技术与精密工程, no. 04 *
荣伟彬;王家畴;赵玉龙;陈立国;孙立宁;: "基于MEMS技术的微操作三维力传感器研究", 仪器仪表学报, no. 04 *

Also Published As

Publication number Publication date
CN116432435B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11654568B2 (en) 3D measurement model and spatial calibration method based on 1D displacement sensor
CN101907448B (zh) 一种基于双目三维视觉的深度测量方法
CN110842901A (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
CN101231158A (zh) 基于液体变焦透镜的微小物体三维外形尺寸的快速检测装置
CN105258629B (zh) 一种多电极含芯压电聚合物放大装置
CN109760107B (zh) 一种基于单目视觉的机器人定位精度评价方法
CN112991460A (zh) 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN111009014A (zh) 通用成像模型正交分光成像位姿传感器的标定方法
Guo et al. Mechanical force characterization of living cells based on needle deformation
CN116432435B (zh) 一种基于显微视觉的微力估计方法
CN102721476B (zh) 基于psd阵列的大口径高速红外激光测量装置
Qiu et al. A shape reconstruction and visualization method for a flexible hinged plate using binocular vision
CN1458528A (zh) 一种新的工程结构与材料变形测量技术
CN113959927A (zh) 基于多芯光纤光动力操控的活体单细胞质量光学测量系统
CN110320011B (zh) 一种透射波前检测系统和方法
CN114417537A (zh) 一种开式行骨架结构变形场实时测量方法、装置及系统
US11385164B2 (en) Method for calibrating an analysis device, and associated device
Salfelder et al. Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video
CN109856422B (zh) 加速度传感器、加速度测量装置和方法
CN209961599U (zh) 透射电子显微镜原位高温定量化力学实验台
CN112798143A (zh) 一种基于集成光纤传感器的型架状态监控方法
CN106840024A (zh) 大口径非球面在线轮廓检测装置及其检测方法
Gao et al. The Measurement of the elastic modulus and kinetic friction coefficient of long nanowires by the micro-force probe in the SEM combined with finite element simulation
CN111986268B (zh) 一种3d线激光扫描相机手眼标定方法
CN113639631A (zh) 一种基于双轴mems微镜的视觉检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant