CN107993227B - 一种获取3d腹腔镜手眼矩阵的方法和装置 - Google Patents

一种获取3d腹腔镜手眼矩阵的方法和装置 Download PDF

Info

Publication number
CN107993227B
CN107993227B CN201711351562.0A CN201711351562A CN107993227B CN 107993227 B CN107993227 B CN 107993227B CN 201711351562 A CN201711351562 A CN 201711351562A CN 107993227 B CN107993227 B CN 107993227B
Authority
CN
China
Prior art keywords
hand
matrix
eye
coordinate system
calibration reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711351562.0A
Other languages
English (en)
Other versions
CN107993227A (zh
Inventor
罗火灵
邵瑾良
贾富仓
尹大龙
宋瑞鹏
刘连新
方驰华
范应方
项楠
杨剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711351562.0A priority Critical patent/CN107993227B/zh
Publication of CN107993227A publication Critical patent/CN107993227A/zh
Application granted granted Critical
Publication of CN107993227B publication Critical patent/CN107993227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

一种获取3D腹腔镜手眼矩阵的方法和装置,包括采集数据步骤、获取相机坐标系坐标步骤、优化手眼矩阵步骤和获取手眼矩阵步骤。在本发明的具体实施方式中,包括对手眼矩阵进行迭代优化,得到最优手眼矩阵,根据所述最优手眼矩阵和姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和金标准数据,若误差满足要求,最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理;本发明采用渐进式策略和优化算法迭代求得手眼矩阵各个分量的值,在误差精度满足预先设置的阈值后即停止渐进迭代过程,并输出最终的手眼校准变换结果,实现了自动、快速获取3D腹腔镜手术导航系统手眼校准变换。

Description

一种获取3D腹腔镜手眼矩阵的方法和装置
技术领域
本发明涉及图像处理,尤其涉及一种获取3D腹腔镜手眼矩阵的方法和装置。
背景技术
“手眼校准”一词来源于机器人领域,原意是指获取机器人执行器末端坐标系和传感器(如用于测量三维空间中目标的位置和方向,并固定于机器人手臂上的摄像机)坐标系之间的空间变换。引申至3D腹腔镜手术导航系统中,就是确定固定于3D腹腔镜上的动态参考帧坐标系与3D腹腔镜自身的相机坐标系之间的空间变换。3D腹腔镜手术导航中的每个实体对象自身都定义了一个局部坐标系,要达到术中导航的目的,必须将定义于各个坐标系的空间坐标信息统一到某一个坐标空间中,该坐标空间一般为术前图像空间。图1为3D腹腔镜手术导航系统各实体对象及空间变换关系示意图,其中,1为3D腹腔镜,2为动态参考帧,3为光学定位系统,4为术前图像,5为3D腹腔镜相机。导航系统各个实体对象所定义的局部坐标系之间的空间变换可以构成一个闭合的回路,按照某一变换顺序(逆时针左乘),各个变换矩阵(齐次矩阵)相互之间的乘积为单位矩阵。手眼矩阵(也称为手眼校准变换,标记为eyeThand)就是整个闭合的空间变换回路中的一个。由于3D腹腔镜手术导航系统各个环节的误差都会累积,影响到最终的导航系统误差,所以对于腹腔镜手术导航系统所涉及到的每一个环节都必须保证精度最优。因此,手眼矩阵是腹腔镜手术导航中需要精确计算的空间变换之一。
由于动态参考帧通过一种可拆卸的装置固定于腹腔镜上,其自身的坐标系会随着可拆卸装置每次固定于腹腔镜上时,都会与前一次的状态不一致。此外3D腹腔镜相机安装在腹腔镜内部,相机坐标系和动态参考帧坐标系无法直接测量来得到相互之间的空间变换关系,而且这两个坐标系在空间中可以任意指定,直角坐标系的方向也无法通过物理测量的方法来确定。
手眼校准问题在数学上抽象为AX=XB,其中A、X和B都是4×4的齐次矩阵,其形式为
Figure BDA0001510359580000021
R表示3×3的旋转矩阵,t表示3×1的平移向量,
Figure BDA0001510359580000022
表示3×1的零向量;A表示两个不同状态下相机坐标系的空间变换矩阵;B表示两个不同状态下动态参考帧坐标系的空间变换矩阵;X表示需要求解的手眼矩阵。由于测量误差的影响,AX=XB一般没有解析解。
手眼矩阵的线性解法虽然可以求解出手眼矩阵,但是该类解法分两步求解,旋转矩阵参数的估计误差会传递到手眼矩阵的平移部分,因此,此类算法对数据中的噪声较为敏感。非线性解法通常计算量较大,耗时长,难以满足实时计算的需求,而且非线性求解结果依赖于初值的选择,初值选择不当容易陷入局部最优,难以得到全局最优解。
发明内容
本发明提供一种获取3D腹腔镜手眼矩阵的方法和装置。
根据本发明的第一方面,本发明提供一种获取3D腹腔镜手眼矩阵的方法,包括:
采集数据步骤:使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录所述动态参考帧在光学定位系统坐标系的姿态矩阵;
获取相机坐标系坐标步骤:对所述左右图像进行处理,获取所述校准参考物标记点的图像像素坐标,根据所述图像像素坐标获取所述校准参考物标记点在相机坐标系的三维坐标,第一个状态的所述校准参考物标记点在相机坐标系的三维空间坐标为所述校准参考物标记点的金标准数据;
优化手眼矩阵步骤:将所述校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和所述姿态矩阵变换后得到的光学定位系统下的三维坐标,根据所述变换后得到的光学定位系统下的三维坐标与所述校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵;
获取手眼矩阵步骤:读取所述校准参考物标记点在光学定位系统坐标系下的坐标,根据所述最优手眼矩阵和所述姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和所述金标准数据,若误差满足要求,所述最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。
上述方法,所述获取手眼矩阵步骤中的误差为均方根误差,所述优化手眼矩阵步骤中的误差为残差误差。
上述方法,所述获取手眼矩阵步骤,还包括:
输出均方根误差,使所述均方根误差可视化。
上述方法,采集数据步骤前,还包括设置校准参考物标记点的步骤,所述校准参考物标记点中间设有限位凹槽。
根据本发明的第二方面,本发明提供一种用于实现获取3D腹腔镜手眼矩阵的方法的装置,包括:
采集数据模块,用于使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录所述动态参考帧在光学定位系统坐标系的姿态矩阵;
获取相机坐标系坐标模块,用于对所述左右图像进行处理,获取所述校准参考物标记点的图像像素坐标,根据所述图像像素坐标获取所述校准参考物标记点在相机坐标系的三维坐标,第一个状态的所述校准参考物标记点在相机坐标系的三维空间坐标为所述校准参考物标记点的金标准数据;
优化手眼矩阵模块,用于将所述校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和所述姿态矩阵变换后得到的光学定位系统下的三维坐标,根据所述变换后得到的光学定位系统下的三维坐标与所述校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵;
获取手眼矩阵模块,用于读取所述校准参考物标记点在光学定位系统坐标系下的坐标,根据所述最优手眼矩阵和所述姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和所述金标准数据,若误差满足要求,所述最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。
上述装置,所述获取手眼矩阵模块中的误差为均方根误差,所述优化手眼矩阵模块中的误差为残差误差。
上述装置,所述获取手眼矩阵模块,还包括输出单元;
所述输出单元,用于输出均方根误差,使所述均方根误差可视化。
上述装置,还包括设置模块;
所述设置模块,用于设置校准参考物标记点,所述校准参考物标记点中间设有限位凹槽。
根据本发明的第三方面,本发明提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现上述方法。
由于采用了以上技术方案,使本发明具备的有益效果在于:
在本发明的具体实施方式中,包括对手眼矩阵进行迭代优化,得到最优手眼矩阵,根据所述最优手眼矩阵和姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和金标准数据,若误差满足要求,最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理;本发明采用渐进式策略和优化算法迭代求得手眼矩阵各个分量的值,在误差精度满足预先设置的阈值后即停止渐进迭代过程,并输出最终的手眼校准变换结果,实现了自动、快速获取3D腹腔镜手术导航系统手眼校准变换。
附图说明
图1为腹腔镜手术导航系统各实体对象及空间变换关系示意图;
图2为本发明的方法在一种实施方式中的流程图;
图3为本发明的方法在一种实施方式中的手眼校准算法流程图;
图4为本发明的方法在一种实施方式中的手眼校准变换关系图;
图5为本发明的装置在一种实施方式中的功能模块示意图;
图6为渐进式迭代列文伯格-马夸尔特优化算法迭代误差曲线;
图7为渐进式迭代标记点反投影误差曲线。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
实施例一:
如图2所示,本发明的获取3D腹腔镜手眼矩阵的方法,其一种实施方式,包括以下步骤:
步骤202:采集数据步骤,使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录所述动态参考帧在光学定位系统坐标系的姿态矩阵。
步骤204:获取相机坐标系坐标步骤,对左右图像进行处理,获取所述校准参考物标记点的图像像素坐标,根据图像像素坐标获取校准参考物标记点在相机坐标系的三维坐标,其中,第一个状态的校准参考物标记点在相机坐标系的三维空间坐标为校准参考物标记点的金标准数据。相机坐标系包括左相机坐标系或右相机坐标系。
步骤206:优化手眼矩阵步骤,将校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和所述姿态矩阵变换后得到的光学定位系统下的三维坐标,根据变换后得到的光学定位系统下的三维坐标与校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵。本步骤中的误差可以包括多种,在本实施方式中,该误差为残差误差。
步骤208:获取手眼矩阵步骤,读取校准参考物标记点在光学定位系统坐标系下的坐标,根据最优手眼矩阵和姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和金标准数据,若误差满足要求,最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。本步骤中的误差可以包括多种,在本实施方式中,该误差为均方根误差。
在一种实施方式中,步骤208中还可以包括:
输出均方根误差,使均方根误差可视化。
手眼校准过程中可以实时查看校准的精度,当满足实际需求时,可以人为终止校准过程。
在另一种实施方式中,本发明的获取3D腹腔镜手眼矩阵的方法,步骤202前还可以包括:
步骤200:设置校准参考物标记点步骤,校准参考物标记点中间设有限位凹槽。
本发明提出一种能够快速获取腹腔镜手眼校准变换矩阵的方法,校准参考物简化为白色背景、中间嵌套直径为1毫米的黑色标记点,实现了自动、快速获取3D腹腔镜手术导航手眼矩阵,所用的校准参考物制作简单,易于集成到手术操作环境或腹腔镜导航手术的教学训练系统中,不会对现有操作流程产生显著影响。
实施例二:
实施例二为本发明的获取3D腹腔镜手眼矩阵的方法的一种具体应用例。具体包括以下步骤:
1、腹腔镜相机校准:
采用张正友的棋盘格相机标定算法,相机标定算法的实现工具可以采用OpenCV或者MATLAB工具箱,获取3D腹腔镜左右相机的内参数和外参数。其中相机的内参数矩阵为K、外参数矩阵为A。
2、手眼校准场景设置:
图4为手眼校准变换关系示意图,其中10为腹腔镜,20为动态参考帧,30为光学定位系统,40为3D腹腔镜相机,将动态参考帧固定在3D腹腔镜相机的远端,并保持动态参考帧与3D腹腔镜相机之间的位置相对固定。固定光学定位系统,校准参考物放置在某一空间位置后,保持静止,并保证校准参考物与光学定位系统之间的距离在光学定位系统的视野范围内。
3、采集校准数据:
保持3D腹腔镜与校准参考物之间的距离在6至10厘米,并拍摄校准参考物,记左相机和右相机采集到的二维彩色图像分别为IL和IR。同时记录3D腹腔镜相机远端的动态参考帧在光学定位系统坐标系下的姿态矩阵,记为trackerThand。相应的第i个采集状态的姿态矩阵记为trackerThand_i
4、获取金标准数据:
将拍摄的左右相机的二维彩色图像IL和IR进行灰度化,然后经双边滤波提取校准参考物的边缘信息,再经霍夫变换提取校准参考物标记点的图像像素坐标,记为PL和PR。结合相机标定得到的相机内参数矩阵K和外参数矩阵A,采用三角测量算法,计算出校准参考物标记点在左相机坐标系的三维空间坐标。记第一个状态的校准参考物标记点在左相机坐标系的三维空间坐标为Xcamera_point_base,即为标记点的金标准数据,用于后续步骤手眼矩阵反投影误差精度的比较。
5、列文伯格-马夸尔特优化手眼矩阵handTeye参数:
以校准参考物标记点为中心,在其上方最大60°的锥形体范围内,保持3D腹腔镜与校准参考物之间的距离在6至10厘米之间,并保证校准参考物标记点成像位置在腹腔镜左右相机图像的中间区域,然后采集左右相机二维彩色图像,同时记录动态参考帧在对应状态下的光学定位系统坐标系的姿态矩阵trackerThand_i。每采集完一个状态的3D腹腔镜左右相机图像后,使用第4步所描述的方法计算校准参考物标记点在左相机坐标系的三维空间坐标,记该坐标为XL_i
如图4所示,考虑第i个状态校准参考物标记点在左相机坐标系的坐标值XL_i经手眼矩阵handTeye和动态参考帧的姿态矩阵trackerThand_i变换后的光学定位系统坐标系下的空间坐标,记该坐标为Xworld_i,满足如下关系式:
Xworld_itrackerThand_i×handTeye×XL_i 式①
记校准参考物标记点在光学定位系统坐标系下的空间坐标为Xtracker_point=(xt,yt,zt),这样就得到了关于同一个点(校准参考物标记点)的两组坐标值,理论上这两组坐标值应该一样或误差最小。考虑Xtracker_point和Xworld_i这两组坐标值,它们的残差为:
Ej=Xworld_i,j﹣Xtracker_point_j 式②
上式中的j=X,Y,Z,表示坐标值的三个坐标分量。
手眼矩阵handTeye由旋转矩阵和平移向量组成,其形式为:
Figure BDA0001510359580000091
其中R是3×3的旋转矩阵,可以由3个旋转向量(设为R1,R2和R3)变换得到。t为3×1的平移向量,设其三个分量为t1,t2,t3。所以R、t和Xtracker_point一个组成了9个待优化的参数,即:R1,R2,R3,t1,t2,t3,xt,yt和zt
设校准参考物标记点在左相机坐标系下的坐标值XL_i的齐次坐标为[xi,yi,zi,1]T,其中T表示转置,xi,yi和zi的值由第(4)步所描述的方法获得。设式①中的Xworld_i的齐次坐标为[Xi,Yi,Zi,1]T。式①可以转化为以下线性方程组:
Figure BDA0001510359580000092
对式③求解雅克比矩阵,得:
Figure BDA0001510359580000101
上式中的f,g,h和I等是式①中的Xworld各个不同坐标轴分量关于R1,R2,R3,t1,t2,t3,xt,yt,zt的函数。给定初值,即handTeye=I,I表示单位矩阵,Xtracker_point=(0,0,0)。将handTeye代入式①,可得Xworld,所以初始残差为:
E=Xworld–Xtracker_point
再根据:
[JTJ+λdiag(JTJ)]δ=JTE,λ>0 式⑤
可求得δ。然后令:
(R1,t1,xt1,yt1,zt1)=(R0,t0,xt0,yt0,zt0)–δ 式⑥
更新handTeye的值。
用(R1,t1,xt1,yt1,zt1)代入式①和式②,求得新的残差E。若E减小,则用λ/10代替λ;若E增大,则用10×λ代替λ。不断迭代,直至残差E无法缩小,并接受handTeye的值为该状态下的手眼矩阵最优值。
本发明可快速获取3D腹腔镜手眼校准变换矩阵。从已实施的实验结果可知,本发明方法执行渐进策略,采集少量的数据(实验结果是渐进式采集16次)即可达到误差小1毫米的精度。这一点对于在实际的手术导航操作环境中是比较关键的,因为实际手术导航场景中,3D腹腔镜的手眼校准都是由外科医生等非工程技术人员实施,要求不能占用过多的时间,否则会影响后续的手术导航操作。
本发明提出渐进式手眼校准策略。在采用列文伯格-马夸尔特优化算法获得手眼矩阵后,将手眼矩阵应用于校准参考物标记点,求得它的反投影坐标值,通过比较与金标准数据的均方根误差,来决定校准过程是否继续执行(渐进式)。
6、反投影标记点:
根据式①,利用当前状态的3D腹腔镜左右相机图像和动态参考帧的姿态矩阵信息迭代所得的手眼矩阵handTeye,可以将校准参考物标记在光学定位系统空间下的坐标反投影至左相机坐标系下的三维空间坐标XL_project_i,即:
XL_project_ihandTeye -1×trackerThand_i -1×Xtracker_point 式⑦
然后比较XL_project_i和第(4)步所得的金标准Xcamera_point_base的均方根误差,同时输出该误差进行可视化。如果该误差满足预先设置的阈值,即接受当前优化迭代所得的手眼矩阵handTeye为最终的结果;如果误差不满足要求,即进入下一步。
7、渐进式迭代:
重新采集一个状态的数据,包括3D腹腔镜左右相机的二维彩色图像、动态参考帧在光学定位系统坐标系下的姿态矩阵,重复第(4)至第(6)的步骤,直到校准参考物标记的反投影坐标与金标准Xcamera_point_base的均方根误差满足预先设置的阈值,或者可以根据输出的可视化误差结果提前终止手眼校准过程,所得的手眼矩阵即为最终的手眼校准变换结果。
本发明方法已经通过3D腹腔镜以及体模实验验证。实验表明利用本发明方法可以快速获取腹腔镜手眼矩阵,算法自动化程度高,无需人工干预。图6是渐进式迭代方法中每增加一个状态的数据后,列文伯格-马夸尔特优化算法的迭代误差曲线。图7是渐进式迭代方法中每个状态下的数据优化得到手眼矩阵后,校准参考物标记点的反投影误差曲线。表(1)是与图7对应的每次迭代的标记点反投影误差值,其中斜体加粗字体为误差最小值(即表(1)中的第19个数据)。从图7和表(1)可见,只需渐进采集16次即可达到误差小于1毫米的精度。
表(1)与图7对应的渐进式迭代标记点反投影误差
Figure BDA0001510359580000121
实施例三:
如图5所示,本发明的用于实现获取3D腹腔镜手眼矩阵的方法的装置,其一种实施方式,包括采集数据模块、获取相机坐标系坐标模块、优化手眼矩阵模块和获取手眼矩阵模块。
采集数据模块,用于使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录所述动态参考帧在光学定位系统坐标系的姿态矩阵;
获取相机坐标系坐标模块,用于对左右图像进行处理,获取校准参考物标记点的图像像素坐标,根据图像像素坐标获取校准参考物标记点在相机坐标系的三维坐标,第一个状态的校准参考物标记点在相机坐标系的三维空间坐标为所述校准参考物标记点的金标准数据;
优化手眼矩阵模块,用于将校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和姿态矩阵变换后得到的光学定位系统下的三维坐标,根据变换后得到的光学定位系统下的三维坐标与校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵。在一种实施方式中,优化手眼矩阵模块中的误差可以为残差误差
获取手眼矩阵模块,用于读取校准参考物标记点在光学定位系统坐标系下的坐标,根据最优手眼矩阵和姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和金标准数据,若误差满足要求,最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。在一种实施方式中,获取手眼矩阵模块中的误差可以为均方根误差。
在一种实施方式中,获取手眼矩阵模块还可以包括输出单元,输出单元用于输出均方根误差,使均方根误差可视化。
在另一种实施方式中,本发明的用于实现获取3D腹腔镜手眼矩阵的方法的装置,还包括设置模块。设置模块,用于设置校准参考物标记点,校准参考物标记点中间设有限位凹槽。
实施例四:
依据本发明还提供计算机可读存储介质,其一种实施方式,包括程序,程序能够被处理器执行以实现实施例一中的方法。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换。

Claims (9)

1.一种获取3D腹腔镜手眼矩阵的方法,其特征在于,包括:
采集数据步骤:使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录动态参考帧在光学定位系统坐标系的姿态矩阵,所述动态参考帧固定在3D腹腔镜相机的远端;
获取相机坐标系坐标步骤:对所述左右图像进行处理,获取所述校准参考物标记点的图像像素坐标,根据所述图像像素坐标获取所述校准参考物标记点在相机坐标系的三维坐标,第一个状态的所述校准参考物标记点在相机坐标系的三维空间坐标为所述校准参考物标记点的金标准数据;
优化手眼矩阵步骤:将所述校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和所述姿态矩阵变换后得到的光学定位系统下的三维坐标,根据所述变换后得到的光学定位系统下的三维坐标与所述校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵;
获取手眼矩阵步骤:读取所述校准参考物标记点在光学定位系统坐标系下的坐标,根据所述最优手眼矩阵和所述姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和所述金标准数据,若误差满足要求,所述最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。
2.如权利要求1所述的方法,其特征在于,所述获取手眼矩阵步骤中的误差为均方根误差,所述优化手眼矩阵步骤中的误差为残差误差。
3.如权利要求2所述的方法,其特征在于,所述获取手眼矩阵步骤,还包括:
输出均方根误差,使所述均方根误差可视化。
4.如权利要求1至3中任一项所述的方法,其特征在于,采集数据步骤前,还包括设置校准参考物标记点的步骤,所述校准参考物标记点中间设有限位凹槽。
5.一种用于实现获取3D腹腔镜手眼矩阵的方法的装置,其特征在于,包括:
采集数据模块,用于使用腹腔镜相机采集当前状态下校准参考物的左右图像,同时记录动态参考帧在光学定位系统坐标系的姿态矩阵,所述动态参考帧固定在3D腹腔镜相机的远端;
获取相机坐标系坐标模块,用于对所述左右图像进行处理,获取所述校准参考物标记点的图像像素坐标,根据所述图像像素坐标获取所述校准参考物标记点在相机坐标系的三维坐标,第一个状态的所述校准参考物标记点在相机坐标系的三维空间坐标为所述校准参考物标记点的金标准数据;
优化手眼矩阵模块,用于将所述校准参考物标记点在相机坐标系的三维坐标经手眼矩阵和所述姿态矩阵变换后得到的光学定位系统下的三维坐标,根据所述变换后得到的光学定位系统下的三维坐标与所述校准参考物标记点在光学定位系统坐标系下的坐标的误差,对手眼矩阵进行迭代优化,得到最优手眼矩阵;
获取手眼矩阵模块,用于读取所述校准参考物标记点在光学定位系统坐标系下的坐标,根据所述最优手眼矩阵和所述姿态矩阵反投影得到相机坐标系下的三维空间坐标,比较反投影到相机坐标系下的三维空间坐标和所述金标准数据,若误差满足要求,所述最优手眼矩阵为最终结果,若误差不满足要求,转采集数据步骤继续处理。
6.如权利要求5所述的装置,其特征在于,所述获取手眼矩阵模块中的误差为均方根误差,所述优化手眼矩阵模块中的误差为残差误差。
7.如权利要求6所述的装置,其特征在于,所述获取手眼矩阵模块,还包括输出单元;
所述输出单元,用于输出均方根误差,使所述均方根误差可视化。
8.如权利要求5至7中任一项所述的装置,其特征在于,还包括设置模块;
所述设置模块,用于设置校准参考物标记点,所述校准参考物标记点中间设有限位凹槽。
9.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的方法。
CN201711351562.0A 2017-12-15 2017-12-15 一种获取3d腹腔镜手眼矩阵的方法和装置 Active CN107993227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711351562.0A CN107993227B (zh) 2017-12-15 2017-12-15 一种获取3d腹腔镜手眼矩阵的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711351562.0A CN107993227B (zh) 2017-12-15 2017-12-15 一种获取3d腹腔镜手眼矩阵的方法和装置

Publications (2)

Publication Number Publication Date
CN107993227A CN107993227A (zh) 2018-05-04
CN107993227B true CN107993227B (zh) 2020-07-24

Family

ID=62038669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711351562.0A Active CN107993227B (zh) 2017-12-15 2017-12-15 一种获取3d腹腔镜手眼矩阵的方法和装置

Country Status (1)

Country Link
CN (1) CN107993227B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112936301B (zh) * 2021-01-26 2023-03-03 深圳市优必选科技股份有限公司 一种机器人手眼标定方法、装置、可读存储介质及机器人
CN113119083B (zh) * 2021-03-19 2022-05-06 深圳市优必选科技股份有限公司 一种机器人标定方法、装置、机器人及存储介质
CN113838138A (zh) * 2021-08-06 2021-12-24 杭州灵西机器人智能科技有限公司 一种优化特征提取的系统标定方法、系统、装置和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672881A (zh) * 2005-04-21 2005-09-28 上海交通大学 基于运动选择的机器人在线手眼标定方法
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN103925879A (zh) * 2014-04-24 2014-07-16 中国科学院合肥物质科学研究院 基于3d图像传感器的室内机器人视觉手眼关系标定方法
CN104021554A (zh) * 2014-04-23 2014-09-03 北京大学深圳研究生院 基于部分传感器信息的相机-惯性传感器标定方法
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN105030331A (zh) * 2015-04-24 2015-11-11 长春理工大学 位置传感器与三维腹腔镜摄像机标定装置及方法
CN107369184A (zh) * 2017-06-23 2017-11-21 中国科学院自动化研究所 混合双目工业机器人系统同步标定系统、方法及其它装置
CN107817682A (zh) * 2017-10-20 2018-03-20 北京控制工程研究所 一种基于手眼相机的空间机械臂在轨标定方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
US8457790B2 (en) * 2007-09-14 2013-06-04 Zimmer, Inc. Robotic calibration method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672881A (zh) * 2005-04-21 2005-09-28 上海交通大学 基于运动选择的机器人在线手眼标定方法
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN104021554A (zh) * 2014-04-23 2014-09-03 北京大学深圳研究生院 基于部分传感器信息的相机-惯性传感器标定方法
CN103925879A (zh) * 2014-04-24 2014-07-16 中国科学院合肥物质科学研究院 基于3d图像传感器的室内机器人视觉手眼关系标定方法
CN105030331A (zh) * 2015-04-24 2015-11-11 长春理工大学 位置传感器与三维腹腔镜摄像机标定装置及方法
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN107369184A (zh) * 2017-06-23 2017-11-21 中国科学院自动化研究所 混合双目工业机器人系统同步标定系统、方法及其它装置
CN107817682A (zh) * 2017-10-20 2018-03-20 北京控制工程研究所 一种基于手眼相机的空间机械臂在轨标定方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB》;YIU CHEUNG SHIU等;《IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION》;19890228;第5卷(第1期);第16-29页 *
《一种基于平面的手术机器人手眼标定方法》;曾柏伟等;《生物医学工程学杂志》;20170430;第34卷(第2期);第200-207,213页 *
《机器人手眼关系、基坐标系和世界坐标系关系的同时标定》;张旭等;《控制与决策》;20091031;第24卷(第10期);第1531-1534,1539页 *
《非线性最优机器人手眼标定》;王君臣等;《西安交通大学学报》;20110930;第45卷(第9期);第15-20,89页 *

Also Published As

Publication number Publication date
CN107993227A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
US20200238525A1 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP4886560B2 (ja) 情報処理装置、情報処理方法
JP6740033B2 (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
JP6324025B2 (ja) 情報処理装置、情報処理方法
Probst et al. Automatic tool landmark detection for stereo vision in robot-assisted retinal surgery
CN107993227B (zh) 一种获取3d腹腔镜手眼矩阵的方法和装置
WO2015132981A1 (ja) 位置測定装置及び位置測定方法
Malti Hand–eye calibration with epipolar constraints: Application to endoscopy
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN111890356A (zh) 机械臂坐标系和相机坐标系标定方法、装置、设备及介质
Ilonen et al. Robust robot-camera calibration
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
Morgan et al. Hand-eye calibration for surgical cameras: A procrustean perspective-n-point solution
JP6626338B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
Chuan et al. A planar homography estimation method for camera calibration
CN115401685A (zh) 相机导引的装置的手眼校准
Eslamian et al. Towards the implementation of an autonomous camera algorithm on the da vinci platform
CN112700505A (zh) 一种基于双目三维跟踪的手眼标定方法、设备及存储介质
CN112261399A (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
Strydom et al. Robotic arthroscopy: The uncertainty in internal knee joint measurement
Pérez et al. Video-based tracking of laparoscopic instruments using an orthogonal webcams system
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
JP2017162449A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant