CN111239085B - 基于深度学习的显微视觉伺服控制方法 - Google Patents

基于深度学习的显微视觉伺服控制方法 Download PDF

Info

Publication number
CN111239085B
CN111239085B CN201910168809.8A CN201910168809A CN111239085B CN 111239085 B CN111239085 B CN 111239085B CN 201910168809 A CN201910168809 A CN 201910168809A CN 111239085 B CN111239085 B CN 111239085B
Authority
CN
China
Prior art keywords
servo control
simulation
deep learning
microscopic
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910168809.8A
Other languages
English (en)
Other versions
CN111239085A (zh
Inventor
邓承志
吴朝明
田伟
张绍泉
徐晨光
李璠
张俊
汪胜前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN201910168809.8A priority Critical patent/CN111239085B/zh
Publication of CN111239085A publication Critical patent/CN111239085A/zh
Application granted granted Critical
Publication of CN111239085B publication Critical patent/CN111239085B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks

Landscapes

  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Microscoopes, Condenser (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于深度学习的显微视觉伺服控制方法，属于显微伺服控制领域，基于深度学习的显微视觉伺服控制方法，可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。

Description

基于深度学习的显微视觉伺服控制方法
技术领域
本发明涉及显微伺服控制领域，更具体地说，涉及基于深度学习的显微视觉伺服控制方法。
背景技术
在生物医学工程领域中，存在着大量涉及对细胞、染色体等的显微操作，如细胞的分离、捡取、融合、显微注射，染色体的切割等。对于这类微操作，不但要求定位准确、操作精度高、一致性好，而且要做到操作时间短、效率高，目前，微操作都是人工通过显微操作仪来完成的，显微操作仪大都包括以下几部分：隔振台、显微镜、左微操作臂、右微操作臂、细胞吸附及基因注射装置、左遥控操纵手柄、右遥控操纵手柄等。
操作人员通过显微镜的目镜观察和感知细胞及微操作臂的位姿信息，通过手柄控制左右微操作臂，将人手的动作按照一定的缩放比例传递到微操作臂的操作工具(左操作臂上安装有微吸管，右操作臂上安装微注射针)，使之对细胞进行操作。左操作臂完成被操作对象的捕捉与固定，右操作臂对被固定住的操作对象进行微细操作(如基因注射、染色体切割等)。
其操作方式是由操作人员根据显微监视目镜输出的图像通过遥控操纵手柄来遥控微操作臂的运动，操作人员的大脑、手、遥控手柄、微操作臂、显微镜及操作者的眼睛等构成了一个大的“控制闭环”，即由操作人员去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力。这种显微操作仪只有一个位比(位移缩放比例)的传递，没有任何控制器、没有任何传感器(显微镜除外)，没有任何“智能”。
但是现有的显微操作是由操作人员直接去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力，但是这种方式很容易受到个人技术、精神状态及心理、情绪的影响等人为因素的影响，从而造成大的而且不稳定的人为误差，导致显微操作的成功率不稳定而且很低，进而无形中增加了显微操作的成本投入。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供基于深度学习的显微视觉伺服控制方法，它可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术直接进行显微操作，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
基于深度学习的显微视觉伺服控制方法，包括以下步骤：
S1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
S2、将采集的动态信息实时导入到计算机内；
S3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
S4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
S5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
进一步的，所述模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
进一步的，所述模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
进一步的，所述计算机内通过逻辑语言编程有模拟操控软件，所述模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入。
进一步的，所述摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性。
进一步的，在进行S3前，首先将所述摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息。
进一步的，所述摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，所述计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
进一步的，所述纳米级标记点设置在载玻片上方的中心位置，带有所述目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系。
进一步的，所述纳米级标记点作为基准点，且S3中的模拟操控以及S5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性。
进一步的，所述纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
3.有益效果
相比于现有技术，本发明的优设置在于：
(1)本方案可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
(2)模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
(3)模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
(4)计算机内通过逻辑语言编程有模拟操控软件，模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入。
(5)摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性。
(6)在进行S3前，首先将摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息。
(7)摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
(8)纳米级标记点设置在载玻片上方的中心位置，带有目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系。
(9)纳米级标记点作为基准点，且S3中的模拟操控以及S5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性。
(10)纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
附图说明
图1为本发明的主要流程框图；
图2为本发明的主要的功能示意图；
图3为本发明的载玻片的立体的结构示意图；
图4为本发明的载玻片的正面的结构示意图；
图5为本发明的摄像显微镜下的视频信息进行上下、左右颠倒的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图；对本发明实施例中的技术方案进行清楚、完整地描述；显然；所描述的实施例仅仅是本发明一部分实施例；而不是全部的实施例，基于本发明中的实施例；本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例；都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
请参阅图1-2，基于深度学习的显微视觉伺服控制方法，包括以下步骤：
S1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息，摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性；
S2、将采集的动态信息实时导入到计算机内；
S3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
S4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
S5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
实施例2：
请参阅图1-2，基于深度学习的显微视觉伺服控制方法，包括以下步骤：
S1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
S2、将采集的动态信息实时导入到计算机内，请参阅图5，在进行S3前，首先将摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息；
S3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
S4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
S5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
计算机内通过逻辑语言编程有模拟操控软件，模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入，摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
请参阅图3-4，纳米级标记点设置在载玻片上方的中心位置，带有目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系，纳米级标记点作为基准点，且S3中的模拟操控以及S5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性，纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
以上所述；仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此；任何熟悉本技术领域的技术人员在本发明揭露的技术范围内；根据本发明的技术方案及其改进构思加以等同替换或改变；都应涵盖在本发明的保护范围内。

Claims (8)

1.基于深度学习的显微视觉伺服控制方法，其特征在于：包括以下步骤：
S1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
S2、将采集的动态信息实时导入到计算机内；
S3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
S4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
S5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作；
所述模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，所述模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应。
2.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述计算机内通过逻辑语言编程有模拟操控软件，所述模拟操控软件的模拟界面可以在二维和三维上随机转换。
3.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述摄像显微镜在使用时，呈倒置放置。
4.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：在进行S3前，首先将所述摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒。
5.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述摄像显微镜与计算机通过无线信号连接，所述计算机与伺服控制中心通过无线信号连接。
6.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点设置在载玻片上方的中心位置，带有所述目标细胞的培养液滴在纳米级标记点正上方。
7.根据权利要求6所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点作为基准点，且S3中的模拟操控以及S5中的显微操作均在基准点的对照下完成。
8.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点为荧光材质。
CN201910168809.8A 2019-03-06 2019-03-06 基于深度学习的显微视觉伺服控制方法 Expired - Fee Related CN111239085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910168809.8A CN111239085B (zh) 2019-03-06 2019-03-06 基于深度学习的显微视觉伺服控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910168809.8A CN111239085B (zh) 2019-03-06 2019-03-06 基于深度学习的显微视觉伺服控制方法

Publications (2)

Publication Number Publication Date
CN111239085A CN111239085A (zh) 2020-06-05
CN111239085B true CN111239085B (zh) 2022-11-22

Family

ID=70871844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910168809.8A Expired - Fee Related CN111239085B (zh) 2019-03-06 2019-03-06 基于深度学习的显微视觉伺服控制方法

Country Status (1)

Country Link
CN (1) CN111239085B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104280886A (zh) * 2014-09-25 2015-01-14 清华大学 基于原位立体增强显示的显微系统及显微方法
CN105264459A (zh) * 2012-09-27 2016-01-20 沉浸式触感有限公司 用于模拟外科手术的触觉增强和虚拟现实系统
CN105717078A (zh) * 2014-12-22 2016-06-29 Fei 公司 基于基准点的相关显微术
CN106772996A (zh) * 2017-01-23 2017-05-31 清华大学 一种增强现实操作方法及系统
CN108982344A (zh) * 2018-08-07 2018-12-11 中国石油大学(华东) 电化学腐蚀发展过程原位显微图像扫描采集平台及方法
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264459A (zh) * 2012-09-27 2016-01-20 沉浸式触感有限公司 用于模拟外科手术的触觉增强和虚拟现实系统
CN104280886A (zh) * 2014-09-25 2015-01-14 清华大学 基于原位立体增强显示的显微系统及显微方法
CN105717078A (zh) * 2014-12-22 2016-06-29 Fei 公司 基于基准点的相关显微术
CN106772996A (zh) * 2017-01-23 2017-05-31 清华大学 一种增强现实操作方法及系统
CN108982344A (zh) * 2018-08-07 2018-12-11 中国石油大学(华东) 电化学腐蚀发展过程原位显微图像扫描采集平台及方法
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备

Also Published As

Publication number Publication date
CN111239085A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
AU2020201554B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN110497386B (zh) 一种协作机器人手眼关系自动标定方法
WO2018137445A1 (zh) 一种基于ros系统的机械臂抓取方法及系统
Yu et al. Microrobotic cell injection
US20130023052A1 (en) Manipulator system and manipulation method of micromanipulation target object
CN112906797A (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
CN111823233B (zh) 基于高精度立体光学定位的机械臂手眼标定系统及方法
CN106596352A (zh) 用于高温微观渗流实验的复眼式图像采集装置及分析方法
CN108858202A (zh) 基于“对准-趋近-抓取”的零件抓取装置的控制方法
CN104459964B (zh) 一种可远程控制的共聚焦显微镜成像装置
CN111239085B (zh) 基于深度学习的显微视觉伺服控制方法
CN113925613B (zh) 一种腹腔镜手术持镜机器人系统
CN105572836B (zh) 基于LabVIEW的强激光打靶光路调节系统及方法
Mattos et al. Semi-automated blastocyst microinjection
CN206892438U (zh) 基于无线信号传输和控制的便携显微装置
CN110977970B (zh) 图像识别系统的识别方法
Lin et al. Tims: A tactile internet-based micromanipulation system with haptic guidance for surgical training
CN104959971B (zh) 一种面向微米级软管与微球组件的装配系统
CN110784647A (zh) 一种艺术设计多媒体教学系统及方法
JP2009211027A (ja) マニピュレータシステム及び微小操作対象物の操作方法
CN110196642A (zh) 一种基于意图理解模型的导航式虚拟显微镜
CN207114871U (zh) 全自动细胞培养系统中的智能显微镜对焦调节装置
CN108965812A (zh) 机器人全景数据采集层结构
CN107393375A (zh) 一种冒泡排序算法演示装置
JP2022041308A (ja) 検体検査システム、検体検査方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221122

CF01 Termination of patent right due to non-payment of annual fee