CN106730106A - 机器人辅助的显微注射系统的坐标标定方法 - Google Patents

机器人辅助的显微注射系统的坐标标定方法 Download PDF

Info

Publication number
CN106730106A
CN106730106A CN201611054854.3A CN201611054854A CN106730106A CN 106730106 A CN106730106 A CN 106730106A CN 201611054854 A CN201611054854 A CN 201611054854A CN 106730106 A CN106730106 A CN 106730106A
Authority
CN
China
Prior art keywords
coordinate system
coordinate
mechanical arm
visual field
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611054854.3A
Other languages
English (en)
Other versions
CN106730106B (zh
Inventor
高会军
庄松霖
林伟阳
张格非
叶超
尚忻忻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201611054854.3A priority Critical patent/CN106730106B/zh
Publication of CN106730106A publication Critical patent/CN106730106A/zh
Application granted granted Critical
Publication of CN106730106B publication Critical patent/CN106730106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests

Landscapes

  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Anesthesiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

机器人辅助的显微注射系统的坐标标定方法,属于显微注射系统的坐标标定方法领域。现有的显微注射系统存在针尖移动定位效率低的问题。一种机器人辅助的显微注射系统的坐标标定方法,在当前视野区域的点阵选取M个点作为标定点,按设定的时间最优的路线操作机械臂,使针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,重复以上步骤完成N个视野区域,并记录第j个视野区域中点对应的机械臂坐标;计算坐标变换矩阵;期望针尖坐标和坐标变换矩阵计算得到对应的机械臂坐标,之后操作机械臂移动,使微量吸液管针尖能够移动到期望位置处。本发明具有避免重复定位问题、定位准确和工作效率高的优点。

Description

机器人辅助的显微注射系统的坐标标定方法
技术领域
本发明涉及一种机器人辅助的显微注射系统的坐标标定方法。
背景技术
在显微注射过程中,第一步要做的是将针尖移动到特定的位置以便进行后续的操作。现有针尖自动定位的方法相对手动定位虽然节约了时间,但效率仍有待提高。事实上,假如机械臂和载物台没有改变安装位置,是没有必要对针尖进行重新定位的,只需事先对显微注射系统中几个坐标的关系进行标定即可。本发明根据这种实际需要,设计了一种沿着时间最优路线的标定方法。
发明内容
本发明的目的是为了解决现有的显微注射系统存在针尖移动定位效率低的问题,而提出一种机器人辅助的显微注射系统的坐标标定方法。
一种机器人辅助的显微注射系统的坐标标定方法,所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
本发明的有益效果为:
本发明利用标定方法确定了显微注射系统中几个坐标轴的坐标转换关系,避免了每次使用需要重复定位的问题,显著提升了工作效率,并能保证可以将针尖准确定位到视野区域中某一期望的位置。
本发明方法测量精度高,实验中测得误差小于6个像素。
附图说明
图1为本发明涉及的三自由度的机械臂坐标系和照相机坐标系关系的正视图;
图2为本发明涉及的三自由度的机械臂坐标系中虚拟X轴(Δx)、X轴(Δxm)、Z轴(Δzm)三者关系的正视图;
图3为本发明涉及的机械臂坐标系倾角的俯视图;
图4为本发明涉及的标定点阵的设计示意图;
图5为本发明方法的流程图。
具体实施方式
具体实施方式一:
本实施方式的机器人辅助的显微注射系统的坐标标定方法,如图5所示,所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在如图1所示的标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
具体实施方式二:
与具体实施方式一不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤一所述确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:以及
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:的过程为,
三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,如图2所示,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,如图3所示,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,由于照相机坐标系是人为定义的,zc可任意选取,为了方便可取0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法,且能看清。
具体实施方式三:
与具体实施方式一或二不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤二所述的计算机械臂在视野区域中完成移动的时间的过程为,设机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时,在横向u轴和纵向v轴方向上的移动距离分别为Δx和Δy,且视野区域中的点阵在横向u轴和竖向v轴方向上分别有n1和n2个点,如图4所示,且
横向u轴方向,如标定点1→2,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向,如标定点1→5,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向,如标定点7→4,相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
比较3种可能的路线:
路线1:1→5→9→10→6→2→3→7→11→12→8→4
路线2:1→5→9→10→11→12→8→4→3→2→6→7
路线3:1→5→2→3→6→9→10→7→4→8→11→12
用Z1、Z2、Z3分别表示三种路线沿zm方向移动的距离,当点阵横向和纵向分别有n1和n2个点时,Z1、Z2、Z3分别为:
Z1=(n2-1)n1Δx sinγtanα+(n1-1)Δy cosγtanα,n2≥n1
Z3=(n2-1)Δx sinγtanα+(n1-1)Δy cosγtanα,
由于点阵中n1和n2都大于2,可以判断出Z3<Z1<Z2,故Z3路线为时间最优的方案。
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δx sinγtanα+(n1-1)Δy cosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角。
具体实施方式四:
与具体实施方式三不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤二所述的计算机械臂在视野区域中完成移动所需的时间之前,还要计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
Z1 Z2 Z3
Z4 (x,y) Z6
Z7 Z8 Z9
横向和纵向的索贝尔算法模板分别为:
1 0 -1
2 0 -2
1 0 -1
1 0 -1
2 0 -2
1 0 -1
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
得:G(z)=ΣxΣyg(x,y)。
实施例1:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;
三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,如图2所示,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,如图3所示,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,由于照相机坐标系是人为定义的,zc可任意选取,为了方便可取0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法,且能看清,则确定出:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,
(1)首先,计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
Z1 Z2 Z3
Z4 (x,y) Z6
Z7 Z8 Z9
横向和纵向的索贝尔算法模板分别为:
1 0 -1
2 0 -2
1 0 -1
1 0 -1
2 0 -2
1 0 -1
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
得:G(z)=∑xyg(x,y);
(2)再计算机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时所需的时间:
设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),且视野区域中的点阵在横向u轴和竖向v轴方向上的点的个数n1为4,n2为3,如图4所示,
横向u轴方向,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向,相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δx sinγtanα+(n1-1)Δy cosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角;计算出机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线:1→5→2→3→6→9→10→7→4→8→11→12;
步骤三、在当前视野区域的标定点点阵中选取标定点个数M=4×4=16个,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到选取的个视野区域个数N=5全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),根据伯努利双纽线方程(单位:像素),利用坐标变换矩阵Θ1
计算出每个时刻对应的机械臂坐标,操作机械臂,之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处,观察视野中针尖是否沿预期轨迹移动,并测得机械臂移动误差小于6个像素。

Claims (4)

1.一种机器人辅助的显微注射系统的坐标标定方法,其特征在于:所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
2.根据权利要求1所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤一所述确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:以及三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:的过程为,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
x m y m z m 1 = c o s γ s i n γ 0 t x - s i n γ c o s γ 0 t y 0 1 t z 0 0 1 x c y c z c 1
又根据三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
x m y m z m 1 = cos γ sin α sin γ sin α 0 t x - sin γ cos γ 0 t y cos γ tan α sin γ tan α 1 t z 0 0 1 x c y c z c 1 = cos γ sin α sin γ sin α 0 t x - sin γ cos γ 0 t y cos γ tan α sin γ tan α 1 t z 0 1 f x - 1 0 0 0 0 f y - 1 0 0 0 0 1 0 0 u v z c 1 = R T 0 1 f - 1 0 0 1 u v z c 1 = Rf - 1 T 0 1 u v z c 1 = Rf - 1 T 0 1 u v z c 1 ;
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法。
3.根据权利要求1或2所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤二所述的计算机械臂在视野区域中完成移动的时间的过程为,设机械臂在视野区域中相邻两个标定点之间移动时,在横向u轴和纵向v轴方向上的移动距离分别为Δx和Δy,且视野区域中的点阵在横向u轴和竖向v轴方向上分别有n1和n2个点,且
横向u轴方向两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角。
4.根据权利要求3所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤二所述的计算机械臂在视野区域中完成移动所需的时间之前,还要计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
Z1 Z2 Z3 Z4 (x,y) Z6 Z7 Z8 Z9
横向和纵向的索贝尔算法模板分别为:
1 0 -1 2 0 -2 1 0 -1
1 0 -1 2 0 -2 1 0 -1
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
g ( x , y ) = g x 2 + g y 2 ,
得:G(z)=∑xyg(x,y)。
CN201611054854.3A 2016-11-25 2016-11-25 机器人辅助的显微注射系统的坐标标定方法 Active CN106730106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611054854.3A CN106730106B (zh) 2016-11-25 2016-11-25 机器人辅助的显微注射系统的坐标标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611054854.3A CN106730106B (zh) 2016-11-25 2016-11-25 机器人辅助的显微注射系统的坐标标定方法

Publications (2)

Publication Number Publication Date
CN106730106A true CN106730106A (zh) 2017-05-31
CN106730106B CN106730106B (zh) 2019-10-08

Family

ID=58911406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611054854.3A Active CN106730106B (zh) 2016-11-25 2016-11-25 机器人辅助的显微注射系统的坐标标定方法

Country Status (1)

Country Link
CN (1) CN106730106B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035340A (zh) * 2018-08-17 2018-12-18 哈尔滨工业大学 一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置
CN109596126A (zh) * 2017-09-30 2019-04-09 北京柏惠维康科技有限公司 一种机器人空间坐标系转换关系的确定方法和装置
CN111496779A (zh) * 2020-03-09 2020-08-07 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN112037281A (zh) * 2020-08-18 2020-12-04 重庆大学 一种用于引导自动化毛囊采集机器的视觉系统
CN112716650A (zh) * 2021-01-25 2021-04-30 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN112837391A (zh) * 2021-03-04 2021-05-25 北京柏惠维康科技有限公司 坐标转换关系获取方法、装置、电子设备及存储介质
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1595941A2 (en) * 2004-05-10 2005-11-16 Fujitsu Limited Microinjectiuon device and microinjection method
US20080102516A1 (en) * 2006-07-04 2008-05-01 Fujitsu Limited Microinjection equipment
CN102477396A (zh) * 2010-11-22 2012-05-30 大连创达技术交易市场有限公司 一种显微视觉伺服控制的微操作机器人系统
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103646377A (zh) * 2013-12-19 2014-03-19 北京中电科电子装备有限公司 一种坐标转换方法及装置
CN105018333A (zh) * 2015-08-24 2015-11-04 苏州大学张家港工业技术研究院 一种基于粘滑驱动原理的显微注射机构
CN105021139A (zh) * 2015-07-16 2015-11-04 北京理工大学 一种机器人线结构光视觉测量系统的手眼标定方法
CN105278454A (zh) * 2015-11-05 2016-01-27 合肥图迅电子科技有限公司 基于机械臂视觉定位系统的机器人手眼定位算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1595941A2 (en) * 2004-05-10 2005-11-16 Fujitsu Limited Microinjectiuon device and microinjection method
US20080102516A1 (en) * 2006-07-04 2008-05-01 Fujitsu Limited Microinjection equipment
CN102477396A (zh) * 2010-11-22 2012-05-30 大连创达技术交易市场有限公司 一种显微视觉伺服控制的微操作机器人系统
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103646377A (zh) * 2013-12-19 2014-03-19 北京中电科电子装备有限公司 一种坐标转换方法及装置
CN105021139A (zh) * 2015-07-16 2015-11-04 北京理工大学 一种机器人线结构光视觉测量系统的手眼标定方法
CN105018333A (zh) * 2015-08-24 2015-11-04 苏州大学张家港工业技术研究院 一种基于粘滑驱动原理的显微注射机构
CN105278454A (zh) * 2015-11-05 2016-01-27 合肥图迅电子科技有限公司 基于机械臂视觉定位系统的机器人手眼定位算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIE, Y (XIE, YU)1 等: "Fabrication of a Cell Fixation Device for Robotic Cell Microinjection", 《MICROMACHINES》 *
秦传波: "基于微型机器人的自动化显微注射系统关键技术研究", 《中国博士学位论文全文数据库医药卫生辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109596126A (zh) * 2017-09-30 2019-04-09 北京柏惠维康科技有限公司 一种机器人空间坐标系转换关系的确定方法和装置
CN109035340A (zh) * 2018-08-17 2018-12-18 哈尔滨工业大学 一种自动显微注射系统中不同微量吸液管尖端的自动定位方法及装置
CN109035340B (zh) * 2018-08-17 2021-08-20 哈尔滨工业大学 一种不同微量吸液管尖端的自动定位方法及装置
CN111496779A (zh) * 2020-03-09 2020-08-07 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN111496779B (zh) * 2020-03-09 2021-04-02 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN112037281A (zh) * 2020-08-18 2020-12-04 重庆大学 一种用于引导自动化毛囊采集机器的视觉系统
CN112037281B (zh) * 2020-08-18 2022-09-23 重庆大学 一种用于引导自动化毛囊采集机器的视觉系统
CN112716650A (zh) * 2021-01-25 2021-04-30 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN112716650B (zh) * 2021-01-25 2023-03-03 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN112837391A (zh) * 2021-03-04 2021-05-25 北京柏惠维康科技有限公司 坐标转换关系获取方法、装置、电子设备及存储介质
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN114949468B (zh) * 2022-05-31 2023-09-26 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴

Also Published As

Publication number Publication date
CN106730106B (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN106730106A (zh) 机器人辅助的显微注射系统的坐标标定方法
CN110103217B (zh) 工业机器人手眼标定方法
CN106338245B (zh) 一种工件非接触移动测量方法
JP4191080B2 (ja) 計測装置
CN107175660B (zh) 一种基于单目视觉的六自由度机器人运动学标定方法
CN103954213B (zh) 一种分析零件的实测图的方法
CN105511462B (zh) 一种基于视觉的agv导航方法
Tsuruta et al. Mobile robot for marking free access floors at construction sites
CN107671896A (zh) 基于scara机器人的快速视觉定位方法及系统
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
US20050040332A1 (en) Electron beam device and method for stereoscopic measurements
CN103846192A (zh) 自主定位智能点胶系统
CN110291438A (zh) 用以在显微镜术中促进大区域成像的相机与试样对准
CN109532779A (zh) 换电站中的视觉定位系统及定位方法
CN103729837A (zh) 一种单个路况摄像机的快速标定方法
CN105444699B (zh) 一种显微操作系统坐标与位移误差检测和补偿的方法
CN104634246B (zh) 目标空间坐标的浮动式立体视觉测量系统及测量方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN114119456A (zh) 一种基于机器视觉的管道自动对中方法
CN115345881A (zh) 一种基于计算机视觉的路面病害检测方法
Xiao et al. An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system
CN115752295A (zh) 一种线激光轮廓仪自动手眼标定方法
CN105844670A (zh) 水平机器人移动相机多点移动标定方法
CN103646377A (zh) 一种坐标转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant