CN109035340A - 一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置 - Google Patents

一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置 Download PDF

Info

Publication number
CN109035340A
CN109035340A CN201810940041.7A CN201810940041A CN109035340A CN 109035340 A CN109035340 A CN 109035340A CN 201810940041 A CN201810940041 A CN 201810940041A CN 109035340 A CN109035340 A CN 109035340A
Authority
CN
China
Prior art keywords
image
needle
automatic
needle point
injection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810940041.7A
Other languages
English (en)
Other versions
CN109035340B (zh
Inventor
高会军
庄松霖
佟明斯
林伟阳
李湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810940041.7A priority Critical patent/CN109035340B/zh
Publication of CN109035340A publication Critical patent/CN109035340A/zh
Application granted granted Critical
Publication of CN109035340B publication Critical patent/CN109035340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation

Abstract

本发明涉及一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置,属于自动显微注射系统领域,本发明为了解决现有的针尖定位方法由于难以将注射针与背景相分离,从而导致无法准确地定位吸持针针尖位置的缺点,而提出一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,包括:对采集到的原始图像进行预处理;将滤波后的图像与降噪图像做像素值差;确定预定个数的最大连通区域;做连通区域的外接矩形,确定外接矩形与图像边界的两个交点的平均位置作为针尖的根位置;计算外轮廓中所有点与所述根位置的距离,及与根位置所连线段与图像横轴的夹角;做距离曲线,根据曲线确定针尖尖端位置。本发明适用于生物的自动显微注射。

Description

一种自动显微注射系统中不同微量吸液管尖端的自动定位方 法及装置
技术领域
本发明涉及一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置,属于自动显微注射系统领域。
背景技术
在生物实验、医学研究中,注射技术扮演着越来越重要的角色,因此人们也开始不断研究与探索自动显微注射技术。在自动显微注射系统中,主要利用显微镜的图像作为反馈信号,利用机械臂操作的微量吸液管为主体,对视野内的对象进行操作。其中微量吸液管即玻璃针因其形态和用途不同可分为注射针和吸持针。
在自动显微注射的过程中,需首先确定多个不同形态的微量吸液管以及其尖端的准确位置,以便于在在显微注射过程中对洗液管的位置进行准确的操作。目前已有的针尖定位自动技术主要存在两大问题:第一,在确定吸液管外轮廓时,常利用图像中吸液管与背景之间的像素值差,通过设置阈值区分两者,但由于注射针针尖较细,在图像中与背景间的对比度较小,传统的方法难以将其与背景相分离;其次,在确定针尖位置时,传统方法时利用针的外轮廓与图像外轮廓的两个交点的均值作为“根”,寻找针的外轮廓与“根”的最远距离作为针尖的位置。然而由于吸持针末端较宽且不平整,利用传统方法无法准确的定位吸持针针尖的位置。
发明内容
本发明的目的是为了解决现有的针尖定位方法由于难以将注射针与背景相分离,从而导致无法准确地定位吸持针针尖位置的缺点,而提出一种自动显微注射系统中不同微量吸液管尖端的自动定位方法。
一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,包括:
步骤1、采集显微镜下的原始图像;
步骤2、对所述原始图像进行预处理,得到降噪图像;
步骤3、使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像;
步骤4、在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;
步骤5、对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
步骤6、确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
步骤7、计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
步骤8、以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
步骤9、定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
本发明还包括一种自动显微注射系统中不同微量吸液管尖端的自动定位装置,包括:
采集模块,用于采集显微镜下的原始图像;
预处理模块,用于对所述原始图像进行预处理,得到降噪图像;
滤波模块,用于使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像;
连通区域确定模块,用于在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;
外切矩形确定模块,用于对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
根位置确定模块,用于确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
距离及夹角确定模块,用于计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
距离曲线确定模块,用于以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
针尖端点确定模块,用于定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
本发明的有益效果为:本方法可以清晰的提取视野中的针尖轮廓,无论针尖的形状如何,99%的情况都可将其与背景准确地分割出来,并提取到其外轮廓;同时还可在针尖外轮廓较为平滑等情况下准确得到针尖端点的位置,准确率达到98%以上,为后续利用操纵针尖做好了准备。
附图说明
图1为本发明的自动显微注射系统中不同微量吸液管尖端的自动定位方法的流程图;
图2为本发明步骤3中经过滤波处理后的图像与原图像做差后的效果图;
图3为本发明步骤4中生成的外接矩形的的效果图;
图4为本发明进行针尖端点定位的示意图;
图5为本发明的方法与现有定位方法的效果对比图。
具体实施方式
本发明的方法主要应用在对斑马鱼幼鱼等生物对象的心脏进行自动显微注射过程中,需要将斑马鱼幼鱼调整到适当位置,并利用旋转针吸持住斑马鱼并将其旋转至恰当的角度,再在吸持针和注射针的配合下对斑马鱼幼鱼进行注射。在这一系列过程中,均需要利用视觉反馈定位并操作视野中的三个吸液管,并利用其配合完成对斑马鱼幼鱼的注射操作。因此准确定位三个吸液管的位置以及其针尖尖端则是必要的准备工作。下面具体介绍本发明的具体实施方式。
具体实施方式一:本实施方式的自动显微注射系统中不同微量吸液管尖端的自动定位方法,包括如下步骤:
步骤1、采集显微镜下的原始图像。其中原始图像如图2所示。
步骤2、对所述原始图像进行预处理,得到降噪图像。
步骤3、使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像。这一步的目的是,将方向性较强的针尖部分加深,而使背景部分不产生明显变化,之后可以得到针尖的大致位置,如图3所示。
步骤4、在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;所选取的外接矩形如图4所示。
步骤5、对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
步骤6、确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
步骤7、计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
步骤8、以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
步骤9、定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
图4是使用本发明的方法与传统方法选取针尖位置的对比图,图5是本发明的距离曲线相比于现有技术的对比图。从图4中可以看出,本发明定位的针尖位置更接近于真实的针尖位置。从图5中可看出,由于吸持针针尖较为平缓,且顶端存在较多杂质,因此利用传统方法,计算根位置与针尖的最远距离可能出现较大误差,而利用本方法将针尖部分利用二次曲线拟合,则可得到真实的针尖端点的位置。
具体实施方式二:本实施方式与具体实施方式一不同的是:步骤二中,预处理包括:
步骤2.1、通过低通高斯滤波器降低图像中的噪声。
步骤2.2、使用全局二值化去除显微镜视野中由于培养皿中的杂质造成的噪声。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:
步骤3中,所述滤波器为Gabor滤波器。Gabor滤波器可以放大方向信息,更符合本发明的要求。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:
步骤8中,所述距离曲线为二次曲线。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:本发明的方法还包括步骤10:根据曲线的特性不同,判断曲线代表旋转针、吸持针或注射针。
例如图5中,通过曲线的特性可以大致判断针的形状,从而判断出每条曲线代表哪种针。
具体实施方式六:本实施方式提供一种自动显微注射系统中不同微量吸液管尖端的自动定位装置,包括:
采集模块,用于采集显微镜下的原始图像;
预处理模块,用于对所述原始图像进行预处理,得到降噪图像;
滤波模块,用于使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像;
连通区域确定模块,用于在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;
外切矩形确定模块,用于对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
根位置确定模块,用于确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
距离及夹角确定模块,用于计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
距离曲线确定模块,用于以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
针尖端点确定模块,用于定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
本实施方式与具体实施方式一对应相同,此处不再详述。
具体实施方式七:本实施方式与具体实施方式六不同的是,本发明还包括针尖类别识别模块,用于根据曲线的特性不同,判断曲线代表旋转针、吸持针或注射针。
本实施方式与具体实施方式五对应相同,此处不再详述。
其它步骤及参数与具体实施方式六相同。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,其特征在于,包括如下步骤:
步骤1、采集显微镜下的原始图像;
步骤2、对所述原始图像进行预处理,得到降噪图像;
步骤3、使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像;
步骤4、在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;
步骤5、对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
步骤6、确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
步骤7、计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
步骤8、以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
步骤9、定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
2.根据权利要求1所述一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,其特征在于,步骤二中,预处理包括:
步骤2.1、通过低通高斯滤波器降低图像中的噪声;
步骤2.2、使用全局二值化去除显微镜视野中由于培养皿中的杂质造成的噪声。
3.根据权利要求1所述一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,其特征在于,步骤3中,所述滤波器为Gabor滤波器。
4.根据权利要求1所述一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,其特征在于,步骤8中,所述距离曲线为二次曲线。
5.根据权利要求1所述一种自动显微注射系统中不同微量吸液管尖端的自动定位方法,其特征在于,还包括步骤10:
根据曲线的特性不同,判断曲线代表旋转针、吸持针或注射针。
6.一种自动显微注射系统中不同微量吸液管尖端的自动定位装置,其特征在于,包括:
采集模块,用于采集显微镜下的原始图像;
预处理模块,用于对所述原始图像进行预处理,得到降噪图像;
滤波模块,用于使用滤波器处理所述降噪图像,并将得到的图像与所述降噪图像做像素值差,得到差值图像;
连通区域确定模块,用于在所述差值图像中确定预定个数的最大连通区域;每个所述最大连通区域用于表征针尖所在的区域;
外切矩形确定模块,用于对每个最大连通区域分别做与其外边界相切的最小面积的矩形;
根位置确定模块,用于确定所述矩形与图像边界的两个交点,取两个交点的平均位置作为针尖的根位置;
距离及夹角确定模块,用于计算针尖的外轮廓中所有点与所述根位置的距离,并记录每个点与根位置所连线段与图像横轴的夹角;
距离曲线确定模块,用于以所述夹角的角度为横坐标,距离为纵坐标,绘制距离曲线;
针尖端点确定模块,用于定位所述距离曲线的对称轴,并将对称轴所对应的角度下,针尖外轮廓上的点作为针尖的尖端点。
7.根据权利要求6所述一种自动显微注射系统中不同微量吸液管尖端的自动定位装置,其特征在于,还包括针尖类别识别模块,用于根据曲线的特性不同,判断曲线代表旋转针、吸持针或注射针。
CN201810940041.7A 2018-08-17 2018-08-17 一种不同微量吸液管尖端的自动定位方法及装置 Active CN109035340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810940041.7A CN109035340B (zh) 2018-08-17 2018-08-17 一种不同微量吸液管尖端的自动定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810940041.7A CN109035340B (zh) 2018-08-17 2018-08-17 一种不同微量吸液管尖端的自动定位方法及装置

Publications (2)

Publication Number Publication Date
CN109035340A true CN109035340A (zh) 2018-12-18
CN109035340B CN109035340B (zh) 2021-08-20

Family

ID=64630903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810940041.7A Active CN109035340B (zh) 2018-08-17 2018-08-17 一种不同微量吸液管尖端的自动定位方法及装置

Country Status (1)

Country Link
CN (1) CN109035340B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597914A (zh) * 2020-04-23 2020-08-28 于兴虎 一种斑马鱼幼鱼尾部吸持损伤评估方法及系统
CN111611844A (zh) * 2020-03-30 2020-09-01 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN112198216A (zh) * 2020-09-26 2021-01-08 宁波大学 毛细针端部位置的控制方法及单细胞分析方法
CN112465740A (zh) * 2020-09-30 2021-03-09 宁波智能装备研究院有限公司 一种基于显微操作系统的目标吸持点定位方法及系统
CN114463222A (zh) * 2022-02-21 2022-05-10 广州联合丽拓生物科技有限公司 一种皮内或皮下注射微型针头端的自动定位组装方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126051A1 (en) * 2006-07-28 2008-05-29 Fujitsu Limited Microinjection apparatus and microinjection method
CN102016687A (zh) * 2008-03-19 2011-04-13 多伦多大学管理委员会 显微操作样品的系统和方法
CN106381264A (zh) * 2016-11-25 2017-02-08 哈尔滨工业大学 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法
CN106730106A (zh) * 2016-11-25 2017-05-31 哈尔滨工业大学 机器人辅助的显微注射系统的坐标标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126051A1 (en) * 2006-07-28 2008-05-29 Fujitsu Limited Microinjection apparatus and microinjection method
CN102016687A (zh) * 2008-03-19 2011-04-13 多伦多大学管理委员会 显微操作样品的系统和方法
CN106381264A (zh) * 2016-11-25 2017-02-08 哈尔滨工业大学 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法
CN106730106A (zh) * 2016-11-25 2017-05-31 哈尔滨工业大学 机器人辅助的显微注射系统的坐标标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FUJUN SUN等: "Dynamic detection and depth location of pipette tip in microinjection", 《2015 INTERNATIONAL CONFERENCE ON MANIPULATION, MANUFACTURING AND MEASUREMENT ON THE NANOSCALE (3M-NANO)》 *
何钧: "贴壁细胞自动化显微注射方法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
张安: "基于视觉定位的斑马鱼幼鱼心脏全自动显微注射系统", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张毅晶: "基于视觉伺服的生物显微操作系统关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611844A (zh) * 2020-03-30 2020-09-01 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN111611844B (zh) * 2020-03-30 2023-06-13 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN111597914A (zh) * 2020-04-23 2020-08-28 于兴虎 一种斑马鱼幼鱼尾部吸持损伤评估方法及系统
CN112198216A (zh) * 2020-09-26 2021-01-08 宁波大学 毛细针端部位置的控制方法及单细胞分析方法
CN112198216B (zh) * 2020-09-26 2023-06-02 宁波大学 毛细针端部位置的控制方法及单细胞分析方法
CN112465740A (zh) * 2020-09-30 2021-03-09 宁波智能装备研究院有限公司 一种基于显微操作系统的目标吸持点定位方法及系统
CN112465740B (zh) * 2020-09-30 2022-06-14 宁波智能装备研究院有限公司 一种基于显微操作系统的目标吸持点定位方法及系统
CN114463222A (zh) * 2022-02-21 2022-05-10 广州联合丽拓生物科技有限公司 一种皮内或皮下注射微型针头端的自动定位组装方法

Also Published As

Publication number Publication date
CN109035340B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109035340A (zh) 一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置
Wu et al. A novel color image segmentation method and its application to white blood cell image analysis
CN110580480B (zh) 基于图像处理的表计读数识别方法
CN109409385A (zh) 一种指针式仪表自动识别方法
WO2016091016A1 (zh) 一种基于胞核标记分水岭变换的粘连白细胞分割方法
CN107145890B (zh) 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN107153848A (zh) 基于OpenCV的仪表图像自动识别方法
CN106960207A (zh) 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别系统及方法
CN106599890B (zh) 变电站巡检机器人数字式仪表识别算法
CN103584854B (zh) 心电信号r波的提取方法
CN104036516B (zh) 基于对称性分析的摄像机标定棋盘图像角点检测方法
CN105930852B (zh) 一种气泡图像识别方法
CN106683098B (zh) 一种重叠叶片图像的分割方法
CN111814919A (zh) 一种基于深度学习的仪表定位与识别系统
CN111127429A (zh) 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法
CN105748066A (zh) 一种心电信号波形特征点的提取方法及装置
CN103325128A (zh) 一种智能识别阴道镜所采集的图像特征的方法及装置
CN107677989B (zh) 一种基于rssi最大值进行rssi去除噪声的室内位置定位方法
CN110298840A (zh) 一种基于图像的纱线缺陷检测方法
CN109034170A (zh) 一种开关柜检测装置的圆形指针式仪表读数方法
CN108830270A (zh) 对满文单词正确分割各识别的满文单词中轴线的定位方法
CN107301412A (zh) 一种基于图像处理的指针式仪表读数方法
TW201938887A (zh) 自動跟蹤尿液的方法及裝置
CN108960100A (zh) 一种基于图像处理的甘蔗蔗节的识别方法
WO2023202190A1 (zh) 一种图像批处理识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant