CN106730106B - 机器人辅助的显微注射系统的坐标标定方法 - Google Patents
机器人辅助的显微注射系统的坐标标定方法 Download PDFInfo
- Publication number
- CN106730106B CN106730106B CN201611054854.3A CN201611054854A CN106730106B CN 106730106 B CN106730106 B CN 106730106B CN 201611054854 A CN201611054854 A CN 201611054854A CN 106730106 B CN106730106 B CN 106730106B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- mechanical arm
- axis
- coordinate
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000520 microinjection Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 230000009466 transformation Effects 0.000 claims abstract description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims description 30
- 238000013519 translation Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims description 4
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
Landscapes
- Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Engineering & Computer Science (AREA)
- Anesthesiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hematology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
机器人辅助的显微注射系统的坐标标定方法,属于显微注射系统的坐标标定方法领域。现有的显微注射系统存在针尖移动定位效率低的问题。一种机器人辅助的显微注射系统的坐标标定方法,在当前视野区域的点阵选取M个点作为标定点,按设定的时间最优的路线操作机械臂,使针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,重复以上步骤完成N个视野区域,并记录第j个视野区域中点对应的机械臂坐标;计算坐标变换矩阵;期望针尖坐标和坐标变换矩阵计算得到对应的机械臂坐标,之后操作机械臂移动,使微量吸液管针尖能够移动到期望位置处。本发明具有避免重复定位问题、定位准确和工作效率高的优点。
Description
技术领域
本发明涉及一种机器人辅助的显微注射系统的坐标标定方法。
背景技术
在显微注射过程中,第一步要做的是将针尖移动到特定的位置以便进行后续的操作。现有针尖自动定位的方法相对手动定位虽然节约了时间,但效率仍有待提高。事实上,假如机械臂和载物台没有改变安装位置,是没有必要对针尖进行重新定位的,只需事先对显微注射系统中几个坐标的关系进行标定即可。本发明根据这种实际需要,设计了一种沿着时间最优路线的标定方法。
发明内容
本发明的目的是为了解决现有的显微注射系统存在针尖移动定位效率低的问题,而提出一种机器人辅助的显微注射系统的坐标标定方法。
一种机器人辅助的显微注射系统的坐标标定方法,所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
本发明的有益效果为:
本发明利用标定方法确定了显微注射系统中几个坐标轴的坐标转换关系,避免了每次使用需要重复定位的问题,显著提升了工作效率,并能保证可以将针尖准确定位到视野区域中某一期望的位置。
本发明方法测量精度高,实验中测得误差小于6个像素。
附图说明
图1为本发明涉及的三自由度的机械臂坐标系和照相机坐标系关系的正视图;
图2为本发明涉及的三自由度的机械臂坐标系中虚拟X轴(Δx)、X轴(Δxm)、Z轴(Δzm)三者关系的正视图;
图3为本发明涉及的机械臂坐标系倾角的俯视图;
图4为本发明涉及的标定点阵的设计示意图;
图5为本发明方法的流程图。
具体实施方式
具体实施方式一:
本实施方式的机器人辅助的显微注射系统的坐标标定方法,如图5所示,所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在如图1所示的标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
具体实施方式二:
与具体实施方式一不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤一所述确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:以及
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:的过程为,
三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,如图2所示,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,如图3所示,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,由于照相机坐标系是人为定义的,zc可任意选取,为了方便可取0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法,且能看清。
具体实施方式三:
与具体实施方式一或二不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤二所述的计算机械臂在视野区域中完成移动的时间的过程为,设机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时,在横向u轴和纵向v轴方向上的移动距离分别为Δx和Δy,且视野区域中的点阵在横向u轴和竖向v轴方向上分别有n1和n2个点,如图4所示,且
横向u轴方向,如标定点1→2,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向,如标定点1→5,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向,如标定点7→4,相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
比较3种可能的路线:
路线1:1→5→9→10→6→2→3→7→11→12→8→4
路线2:1→5→9→10→11→12→8→4→3→2→6→7
路线3:1→5→2→3→6→9→10→7→4→8→11→12
用Z1、Z2、Z3分别表示三种路线沿zm方向移动的距离,当点阵横向和纵向分别有n1和n2个点时,Z1、Z2、Z3分别为:
Z1=(n2-1)n1Δxsinγtanα+(n1-1)Δycosγtanα,n2≥n1,
Z3=(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα,
由于点阵中n1和n2都大于2,可以判断出Z3<Z1<Z2,故Z3路线为时间最优的方案。
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角。
具体实施方式四:
与具体实施方式三不同的是,本实施方式的机器人辅助的显微注射系统的坐标标定方法,步骤二所述的计算机械臂在视野区域中完成移动所需的时间之前,还要计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
横向和纵向的索贝尔算法模板分别为:
1 | 0 | -1 |
2 | 0 | -2 |
1 | 0 | -1 |
和
1 | 0 | -1 |
2 | 0 | -2 |
1 | 0 | -1 |
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
得:G(z)=∑x∑yg(x,y)。
实施例1:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;
三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,如图2所示,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,如图3所示,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,由于照相机坐标系是人为定义的,zc可任意选取,为了方便可取0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法,且能看清,则确定出:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:其中,表示机械臂坐标,表示照相机坐标系,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标系,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标系坐标,表示标定点阵图图像平面坐标系坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,
(1)首先,计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
Z1 | Z2 | Z3 |
Z4 | (x,y) | Z6 |
Z7 | Z8 | Z9 |
横向和纵向的索贝尔算法模板分别为:
1 | 0 | -1 |
2 | 0 | -2 |
1 | 0 | -1 |
和
1 | 0 | -1 |
2 | 0 | -2 |
1 | 0 | -1 |
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
得:G(z)=∑x∑yg(x,y);
(2)再计算机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时所需的时间:
设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),且视野区域中的点阵在横向u轴和竖向v轴方向上的点的个数n1为4,n2为3,如图4所示,
横向u轴方向,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向,两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向,相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角;计算出机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线:1→5→2→3→6→9→10→7→4→8→11→12;
步骤三、在当前视野区域的标定点点阵中选取标定点个数M=4×4=16个,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到选取的个视野区域个数N=5全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离;
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),根据伯努利双纽线方程(单位:像素),利用坐标变换矩阵Θ1:
计算出每个时刻对应的机械臂坐标,操作机械臂,之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处,观察视野中针尖是否沿预期轨迹移动,并测得机械臂移动误差小于6个像素。
Claims (4)
1.一种机器人辅助的显微注射系统的坐标标定方法,其特征在于:所述方法通过以下步骤实现:
步骤一、设显微镜载物台坐标系为Os-XsYsZs,原点Os为初始位置;照相机坐标系为Oc-XcYcZc,点Oc位于显微镜的物镜中央,Zc为显微镜光轴;三自由度的机械臂坐标系为Om-XmYmZm;标定点阵图图像平面坐标系为Oi-UV,原点Oi位于图像左上角;并确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间的转换关系为:其中,表示机械臂坐标点的向量坐标,表示照相机坐标点的向量坐标,R表示旋转变换矩阵,T表示平移变换向量;
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:其中,表示标定点阵图图像平面坐标点的向量坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,视野区域中的横向用u轴表示,视野区域中的纵向用v轴表示,表示照相机坐标系坐标;
三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:其中,表示机械臂坐标点的向量坐标,表示标定点阵图图像平面坐标点的向量坐标,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值;R表示旋转变换矩阵,T表示平移变换向量;
步骤二、在标定点阵图图像中,设Δx表示横向相邻标定点间的距离,Δy表示纵向相邻标定点间的距离,且满足γ=tan-1(Δx/Δy),并计算机械臂在视野区域中完成移动的时间,从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角;
步骤三、在当前视野区域的标定点点阵中选取M个标定点,按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂,使微量吸液管针尖经过这些标定点并获得清晰图像,然后移动载物台到下一个视野区域,直到N个视野区域全部完成,并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标
步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T:和第j个视野区域对应的平移变换向量T:计算得到坐标变换矩阵和坐标变换矩阵式中,
R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵,且
其中,λ表示显微镜放大倍数,δu表示沿u轴方向相邻像素的距离,δv表示沿v轴方向相邻像素的距离,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角;
表示视野区域中M个点的坐标集合,
分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和;
每个视野区域对应的载物台坐标为:
以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标;
坐标变换矩阵Θ1中平移变换向量:
步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd),利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动,使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。
2.根据权利要求1所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤一所述确定:
三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为:
标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为:以及三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为:的过程为,
三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交,为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴,
根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的,三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为:
又根据三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系,得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系:
其中,zc为固定值,zc表示在同一物镜下能看清的物体距离镜头的竖直距离,即为聚焦,此处值为0,u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值,为已知量,计算出矩阵即可得出操作机械臂当前坐标点的向量坐标达到期望位置坐标的方法。
3.根据权利要求1或2所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤二所述的计算机械臂在视野区域中完成移动的时间的过程为,设机械臂在视野区域中相邻两个标定点之间移动时,在横向u轴和纵向v轴方向上的移动距离分别为Δx和Δy,且视野区域中的点阵在横向u轴和竖向v轴方向上分别有n1和n2个点,且
横向u轴方向两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δy cosγ,ym=Δy sinγ,zm=Δy cosγtanα;
纵向v轴方向两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=Δx sinγ,ym=Δx cosγ,zm=Δx sinγtanα;
斜向方向相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离:
xm=0,zm=0;
则沿着zm方向移动的距离计算公式为:Z=(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα;其中,γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角,α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角。
4.根据权利要求3所述机器人辅助的显微注射系统的坐标标定方法,其特征在于:步骤二所述的计算机械臂在视野区域中完成移动所需的时间之前,还要计算机械臂在zm方向移动时图像的清晰度G(z),从而选择出清晰度G(z)的值最大的图像;其中,图像的清晰度G(z)的计算过程为:
利用索贝尔算子进行边缘检测,对于像素(x,y),像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9:
横向和纵向的索贝尔算法模板分别为:
和
所以,gx=(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9),
gy=(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9),
得:G(z)=∑x∑yg(x,y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611054854.3A CN106730106B (zh) | 2016-11-25 | 2016-11-25 | 机器人辅助的显微注射系统的坐标标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611054854.3A CN106730106B (zh) | 2016-11-25 | 2016-11-25 | 机器人辅助的显微注射系统的坐标标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106730106A CN106730106A (zh) | 2017-05-31 |
CN106730106B true CN106730106B (zh) | 2019-10-08 |
Family
ID=58911406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611054854.3A Active CN106730106B (zh) | 2016-11-25 | 2016-11-25 | 机器人辅助的显微注射系统的坐标标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106730106B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109596126A (zh) * | 2017-09-30 | 2019-04-09 | 北京柏惠维康科技有限公司 | 一种机器人空间坐标系转换关系的确定方法和装置 |
CN109035340B (zh) * | 2018-08-17 | 2021-08-20 | 哈尔滨工业大学 | 一种不同微量吸液管尖端的自动定位方法及装置 |
CN111496779B (zh) * | 2020-03-09 | 2021-04-02 | 哈尔滨工业大学 | 一种基于机器视觉的智能显微操作系统 |
CN112037281B (zh) * | 2020-08-18 | 2022-09-23 | 重庆大学 | 一种用于引导自动化毛囊采集机器的视觉系统 |
CN112716650B (zh) * | 2021-01-25 | 2023-03-03 | 南开大学 | 一种机器人化的斑马鱼主静脉显微注射方法 |
CN112837391B (zh) * | 2021-03-04 | 2022-02-18 | 北京柏惠维康科技有限公司 | 坐标转换关系获取方法、装置、电子设备及存储介质 |
CN114949468B (zh) * | 2022-05-31 | 2023-09-26 | 华南理工大学 | 一种医用注射机器人的使用方法及其近红外反光标记贴 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1595941A2 (en) * | 2004-05-10 | 2005-11-16 | Fujitsu Limited | Microinjectiuon device and microinjection method |
CN102477396A (zh) * | 2010-11-22 | 2012-05-30 | 大连创达技术交易市场有限公司 | 一种显微视觉伺服控制的微操作机器人系统 |
CN103065323A (zh) * | 2013-01-14 | 2013-04-24 | 北京理工大学 | 一种基于单应性变换矩阵的分段空间对准方法 |
CN103646377A (zh) * | 2013-12-19 | 2014-03-19 | 北京中电科电子装备有限公司 | 一种坐标转换方法及装置 |
CN105018333A (zh) * | 2015-08-24 | 2015-11-04 | 苏州大学张家港工业技术研究院 | 一种基于粘滑驱动原理的显微注射机构 |
CN105021139A (zh) * | 2015-07-16 | 2015-11-04 | 北京理工大学 | 一种机器人线结构光视觉测量系统的手眼标定方法 |
CN105278454A (zh) * | 2015-11-05 | 2016-01-27 | 合肥图迅电子科技有限公司 | 基于机械臂视觉定位系统的机器人手眼定位算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4910516B2 (ja) * | 2006-07-04 | 2012-04-04 | 富士通株式会社 | マイクロインジェクション装置 |
-
2016
- 2016-11-25 CN CN201611054854.3A patent/CN106730106B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1595941A2 (en) * | 2004-05-10 | 2005-11-16 | Fujitsu Limited | Microinjectiuon device and microinjection method |
CN102477396A (zh) * | 2010-11-22 | 2012-05-30 | 大连创达技术交易市场有限公司 | 一种显微视觉伺服控制的微操作机器人系统 |
CN103065323A (zh) * | 2013-01-14 | 2013-04-24 | 北京理工大学 | 一种基于单应性变换矩阵的分段空间对准方法 |
CN103646377A (zh) * | 2013-12-19 | 2014-03-19 | 北京中电科电子装备有限公司 | 一种坐标转换方法及装置 |
CN105021139A (zh) * | 2015-07-16 | 2015-11-04 | 北京理工大学 | 一种机器人线结构光视觉测量系统的手眼标定方法 |
CN105018333A (zh) * | 2015-08-24 | 2015-11-04 | 苏州大学张家港工业技术研究院 | 一种基于粘滑驱动原理的显微注射机构 |
CN105278454A (zh) * | 2015-11-05 | 2016-01-27 | 合肥图迅电子科技有限公司 | 基于机械臂视觉定位系统的机器人手眼定位算法 |
Non-Patent Citations (2)
Title |
---|
Fabrication of a Cell Fixation Device for Robotic Cell Microinjection;Xie, Y (Xie, Yu)1 等;《MICROMACHINES》;20160807;第7卷(第8期);全文 * |
基于微型机器人的自动化显微注射系统关键技术研究;秦传波;《中国博士学位论文全文数据库医药卫生辑》;20151216(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106730106A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106730106B (zh) | 机器人辅助的显微注射系统的坐标标定方法 | |
CN109794938B (zh) | 一种适用于曲面结构的机器人制孔误差补偿装置及其方法 | |
JP4191080B2 (ja) | 計測装置 | |
CN113001535B (zh) | 机器人工件坐标系自动校正系统与方法 | |
CN112070133B (zh) | 一种基于测距仪和机器视觉的三维空间点定位的方法 | |
CN103558850A (zh) | 一种激光视觉引导的焊接机器人全自动运动自标定方法 | |
CN108731591A (zh) | 一种基于平面约束的机器人工具坐标系标定方法 | |
CN105014677A (zh) | 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法 | |
CN112871587B (zh) | 一种基于3d视觉引导的涂胶路径规划方法和涂胶系统 | |
CN111707189B (zh) | 基于双目视觉的激光位移传感器光束方向标定方法 | |
US20200262080A1 (en) | Comprehensive model-based method for gantry robot calibration via a dual camera vision system | |
CN104197960A (zh) | 一种激光跟踪仪视觉导引摄像机的全局标定方法 | |
CN113386136A (zh) | 一种基于标准球阵目标估计的机器人位姿矫正方法及系统 | |
CN109571471B (zh) | 一种用于双机器人相对空间位置标定的方法 | |
CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN104976950A (zh) | 物件空间信息量测装置与方法及取像路径的计算方法 | |
CN113781558B (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
CN110928311B (zh) | 一种基于全景相机下直线特征的室内移动机器人导航方法 | |
Xu et al. | A new monocular vision measurement method to estimate 3D positions of objects on floor | |
CN117584121A (zh) | 一种基于点云场景理解的焊接机器人路径规划方法 | |
CN117340879A (zh) | 一种基于图优化模型的工业机器人参数辨识方法和系统 | |
CN114474069B (zh) | 一种基于空间正交约束的机器人线结构光手眼标定方法 | |
TWI710441B (zh) | 機器手臂的座標校正方法 | |
CN109158871B (zh) | 一种非向心多孔轴精密视觉连续对准系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |