CN111012506A - 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 - Google Patents

基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 Download PDF

Info

Publication number
CN111012506A
CN111012506A CN201911384144.0A CN201911384144A CN111012506A CN 111012506 A CN111012506 A CN 111012506A CN 201911384144 A CN201911384144 A CN 201911384144A CN 111012506 A CN111012506 A CN 111012506A
Authority
CN
China
Prior art keywords
coordinate system
camera
measurement space
robot
needle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911384144.0A
Other languages
English (en)
Other versions
CN111012506B (zh
Inventor
李长乐
刘玉斌
张雷锋
张学贺
范逸伦
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201911384144.0A priority Critical patent/CN111012506B/zh
Publication of CN111012506A publication Critical patent/CN111012506A/zh
Application granted granted Critical
Publication of CN111012506B publication Critical patent/CN111012506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，属于机器人控制领域，为实现机器人对针尖的精确控制，本本发明方法：对两个相机进行单目视觉标定，再进行双目系统视觉标定，进而建立视觉测量空间坐标系；穿刺针在视觉测量空间范围内分别进行单平移和旋转平移运动；对移动操作中采集的图像处理生成封闭区域及该封闭区域的最小外接矩形；循环检测最小外接矩形的短边与封闭区域的交点，获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述；得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系；获取针尖相对于机械臂末端的位置描述，完成对针尖的位置标定。

Description

基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
技术领域
本发明属于机器人控制领域，涉及针尖位置标定技术。
背景技术
经皮穿刺手术在三叉神经热凝，射频消融，近距离放疗和肿瘤活检等领域有着非常广泛的应用，但是由于人体组织的非线性和非刚性导致依靠手工实现精确穿刺异常困难，随着技术的发展，机器人辅助的经皮穿刺手术为精确穿刺的实现提供了技术方案，在机器人辅助经皮穿刺手术中必不可少的一项技术是对针尖(即机器人辅助穿刺手术过程中的末端工具中心)进行标定，以实现机器人对针尖的精确控制，实现精确穿刺。
目前典型的末端工具中心标定方法大多数是接触式的，这对于穿刺针这种低刚度末端执行工具而言势必会在标定过程中引入较大误差，当然也有部分技术是非接触式的，主要原理是通过线激光获得末端工具的特征，目前只适用于焊枪等大型且形状简单的末端工具，对穿刺针这样的小型目标难以适用。因此如何能够快速精确地标定穿刺针针尖对于进一步推进机器人辅助精确穿刺技术具有重要意义。
发明内容
本发明目的是为了提供了一种基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，获取穿刺针针尖相对于机器人末端法兰的位置描述。
本发明所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，该方法包括以下步骤：
步骤一、对两个相机进行单目视觉标定，每个相机分别建立各自的像平面坐标系；
所述两个相机均用于采集机器人辅助穿刺手术末端工具的图像，且两个相机的光轴垂直；
步骤二、进行双目系统视觉标定，进而建立视觉测量空间坐标系；
步骤三、拍摄视觉测量空间内无异物状态下的背光图像，以作为后期图像差分处理的背景；
步骤四、控制机械臂移动，将其末端的穿刺针放入视觉测量空间范围内，分别进行单平移运动和旋转平移运动，并拍摄图像；
步骤五、对移动操作中采集的所有图像依次进行与背景的差分运算、大津法阈值提取、开运算平滑边界、图像二值化，生成封闭区域及该封闭区域的最小外接矩形；
所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域；
步骤六、循环检测最小外接矩形的短边与封闭区域的交点，其所有交点的位置的均值即为针尖在两个像平面坐标系的位置，进而获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述；
步骤七、通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵，通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系；
步骤八、通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述、机械臂末端在机器人基坐标系中的位置变化描述及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系，获取针尖相对于机械臂末端的位置描述，完成对针尖的位置标定。
优选地，步骤一建立像平面坐标系，两个相机的像平面坐标系与像素坐标的关系分别为：
Figure BDA0002343079170000021
和
Figure BDA0002343079170000022
其中L表示a相机，R表示b相机，(XL,YL)表示a相机像平面坐标系下某点的坐标，(XR,YR)表示b相机像平面坐标系下某点的坐标；
SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸，SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸；
(u0L,v0L)表示a相机像素坐标系下的中心点坐标，(u0R,v0R)表示b相机像素坐标系下的中心点坐标；
(uL,vL)表示a相机像素坐标系下的某点坐标，(uR,vR)表示b相机像素坐标系下的某点坐标。
优选地，步骤二建立视觉测量空间坐标系下的某点坐标(x,y,z)表示为：
Figure BDA0002343079170000031
其中，fL和fR分别表示a相机和b相机的镜头焦距；
r1～r9构建了a相机和b相机两个像平面坐标系的相对姿态转换关系矩阵
Figure BDA0002343079170000032
Figure BDA0002343079170000033
tx、ty、tz构建了a.相机的相机坐标系L和b相机的相机坐标系R两个坐标系的相对位置关系矩阵
Figure BDA0002343079170000034
Figure BDA0002343079170000035
根据相对姿态转换关系矩阵
Figure BDA0002343079170000036
相对位置关系矩阵
Figure BDA0002343079170000037
构建a相机和b相机两个相机坐标系的相对位姿关系矩阵
Figure BDA0002343079170000038
该相对位姿转换关系存在如下关系式：
Figure BDA0002343079170000039
式中：(xR,yR,zR)表示b相机的相机坐标系R下的某点坐标。
优选地，步骤七的具体过程为：
将单平移运动获取的所有针尖在视觉测量空间坐标代入公式
Figure BDA00023430791700000310
中，
再通过最小二乘法获取觉测量空间坐标系V和机器人基坐标系B的转换关系
Figure BDA0002343079170000041
式中：
第i次运动针尖在视觉测量空间中的三维坐标记作[PVi 1]Τ，
第i+1次运动针尖在视觉测量空间中的三维坐标记作[PVi+1 1]Τ，
Figure BDA0002343079170000042
表示第i次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系，
Figure BDA0002343079170000043
表示第i+1次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系。
优选地，步骤八的具体过程为：
将旋转平移运动获取的所有针尖在视觉测量空间坐标代入公式
Figure BDA0002343079170000044
中，
再通过最小二乘法获取针尖相对于机械臂末端位置在机械臂末端坐标系E中的三维坐标[PE 1]Τ。
本发明的有益效果：本发明方法能快速精准地标定穿刺针针尖与末端法兰的相对位置，以实现机器人对针尖的精确控制，实现精确穿刺。
附图说明
图1是本发明所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法的结构示意图。
1-a相机，2-b相机，3-a光源，4-b光源，5-计算机，6-机械臂，7-手术针。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
具体实施方式一：下面结合图1说明本实施方式所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法。
计算机5给机械臂6下达指令实现运动，机械臂6的末端安装手术针7，机械臂末端坐标系E相对于机器人基坐标系B的位置关系是确定的，本实施方式的标定方法是标定手术针7的针尖相对于机械臂末端坐标系E的相对位置关系，标定后机械臂携同手术针7无论怎样运动，针尖位置均可被获取。
首先，对图1涉及的坐标系进行如下说明：
机器人基坐标系B位于机械臂6的固定基座处，机械臂末端坐标系E位于机械臂6末端法兰处，这两个坐标系都是三维空间的物理坐标系，且两个坐标系的相对位置关系是系统标定过的，机械臂6运动，其末端法兰的位置是可获知的量。
两个相机先是建立像平面坐标系，每个像平面坐标系用与之对应的像素坐标系进行表征，每个像平面坐标系与相机坐标系是相呼应的，a相机1的相机坐标系L，b相机1的相机坐标系R，经双目系统标定形成视觉测量空间坐标系V，三个坐标系都是三维空间的物理坐标系，且L与V是重合的。
标定过程具体如下：
首先对两个相机进行单目视觉标定，每个相机分别建立各自的像平面坐标系，两个相机均用于采集机器人辅助穿刺手术末端工具的图像，且两个相机的光轴垂直；两个相机采集到的图片发送至计算机5中。两个光源提供拍摄背景光源。
两个相机单目视觉标定，建立的图像坐标与像素坐标的关系如下：
a相机1的像平面坐标系与其对应像素坐标的关系：
Figure BDA0002343079170000051
b相机2的像平面坐标系与其对应像素坐标的关系：
Figure BDA0002343079170000061
其中下角标L表示a相机，下角标R表示b相机，(XL,YL)表示a相机像平面坐标系下某点的坐标，(XR,YR)表示b相机像平面坐标系下某点的坐标；
SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸，SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸；
(u0L,v0L)表示a相机像素坐标系下的中心点坐标，(u0R,v0R)表示b相机像素坐标系下的中心点坐标；
(uL,vL)表示a相机像素坐标系下的某点坐标，(uR,vR)表示b相机像素坐标系下的某点坐标。
然后进行双目系统标定，进而建立视觉测量空间坐标系；建立两个相机平面坐标与视觉测量空间(V)中对应点的空间坐标的之间的转换关系如下：
Figure BDA0002343079170000062
a相机1和b相机2两个像平面坐标系的相对姿态转换关系矩阵
Figure BDA0002343079170000063
为
Figure BDA0002343079170000064
a.相机1的相机坐标系L和b相机2的相机坐标系R两个坐标系的相对位置关系矩阵
Figure BDA0002343079170000065
为：
Figure BDA0002343079170000071
视觉测量空间坐标系下的某点坐标(x,y,z)表示为：
Figure BDA0002343079170000072
其中，fL和fR分别表示a相机1和b相机2的镜头焦距；
然后拍摄视觉测量空间内无异物状态下的背光图像，以作为后期图像差分处理的背景。无异物状态下的背光图像即为拍摄无异物状态下的a光源3和b光源4所获得的图像。
控制机械臂移动，将其末端的穿刺针放入视觉测量空间范围内，分别进行单平移运动和旋转平移运动，并拍摄图像；本实施方式中，计算机5控制机械臂6带动针尖做单平移运动和旋转平移运动两种类型运动对针尖位置进行标定。
由计算机5控制机械臂6以机器人基坐标系B为基准移动机器人末端，使穿刺针7的针尖进入视觉测量空间(坐标系V)，分别进行单平移运动和平移旋转运动，并采集相应的图像数据，依次对所有采集到的图像进行与无异物状态下背光图像的差分运算，使用大津法进行阈值提取、进行开运算平滑边界、去除孤立点、图像二值化，然后生成封闭区域及封闭区域的最小外接矩形，所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域；根据图像特点可以定位穿刺针针尖必然位于靠近图像中心的短边的某点，循环检测靠近图像中心的短边的像素值，记录所有边界像素值与封闭区域像素值相同的像素位置，并对其求均值，即为两个像平面坐标系中针尖的位置，记作
Figure BDA0002343079170000073
根据针尖在两个像平面坐标系的位置获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述，具体为：将单平移运动和旋转平移运动过程中采集到的所有图片进行上述运算，得到每幅图像的针尖位置，将其分别代入(1)(2)中，根据像平面坐标系与相机坐标系的关系计算出每次运动的针尖在视觉测量空间中的三维坐标，记作[PVi 1]Τ，i表示单平移运动或旋转平运动时采集的图像的次数，比如单平移运动走完一个封闭区域过程中共采集N个图像，则i＝1，2，3，…，N，以下命名为第i次运动。[PVi 1]Τ即为针尖在视觉测量空间坐标系中的位置变化描述。
通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述[PVi 1]Τ与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵
Figure BDA0002343079170000081
通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系
Figure BDA0002343079170000082
具体为：
针尖相对于机械臂末端的位置在机械臂末端坐标系E中的三维坐标记作[PE 1]Τ，显然二者满足以下关系：
Figure BDA0002343079170000083
其中
Figure BDA0002343079170000084
表示视觉测量空间坐标系V与机器人基坐标系B的齐次空间位姿转换关系，由
Figure BDA0002343079170000085
和
Figure BDA0002343079170000086
两部分组成分别描述姿态转换关系和相对位置关系，
Figure BDA0002343079170000087
表示第i次运动机器人末端法兰坐标系V与机器人基坐标系B的齐次空间位姿转换关系，由
Figure BDA0002343079170000088
和
Figure BDA0002343079170000089
两部分组成分别描述第i次运动的姿态转换关系和相对位置关系。
将式(7)相邻的两个式子(第i次和第i+1次)做差，可以得到如下关系：
Figure BDA00023430791700000810
当仅发生平移时，由于没有发生旋转运动
Figure BDA00023430791700000811
故公式(8)转换为下式：
Figure BDA00023430791700000812
其中只有
Figure BDA00023430791700000813
未知，代入所有仅平移运动的针尖点的坐标，通过最小二乘法可以求解得到视觉测量空间坐标系V和机器人基坐标系B的转换关系
Figure BDA00023430791700000814
通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述[PVi1]Τ、机械臂末端在机器人基坐标系中的位置变化描述
Figure BDA00023430791700000815
及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系
Figure BDA0002343079170000091
获取针尖相对于机械臂末端的位置描述[PE 1]Τ，完成对针尖的位置标定，具体为：
当发生旋转平移运动时，公式(8)转换为下式：
Figure BDA0002343079170000092
由于之前已经求出
Figure BDA0002343079170000093
将发生旋转平移运动的点代入公式(10)通过最小二乘法即可求得PE，完成对针尖的标定。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，其特征在于，该方法包括以下步骤：
步骤一、对两个相机进行单目视觉标定，每个相机分别建立各自的像平面坐标系；
所述两个相机均用于采集机器人辅助穿刺手术末端工具的图像，且两个相机的光轴垂直；
步骤二、进行双目系统视觉标定，进而建立视觉测量空间坐标系；
步骤三、拍摄视觉测量空间内无异物状态下的背光图像，以作为后期图像差分处理的背景；
步骤四、控制机械臂移动，将其末端的穿刺针放入视觉测量空间范围内，分别进行单平移运动和旋转平移运动，并拍摄图像；
步骤五、对移动操作中采集的所有图像依次进行与背景的差分运算、大津法阈值提取、开运算平滑边界、图像二值化，生成封闭区域及该封闭区域的最小外接矩形；
所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域；
步骤六、循环检测最小外接矩形的短边与封闭区域的交点，其所有交点的位置的均值即为针尖在两个像平面坐标系的位置，进而获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述；
步骤七、通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵，通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系；
步骤八、通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述、机械臂末端在机器人基坐标系中的位置变化描述及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系，获取针尖相对于机械臂末端的位置描述，完成对针尖的位置标定。
2.根据权利要求1所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，其特征在于，步骤一建立像平面坐标系，两个相机的像平面坐标系与像素坐标的关系分别为：
Figure FDA0002343079160000021
和
Figure FDA0002343079160000022
其中L表示a相机，R表示b相机，(XL,YL)表示a相机像平面坐标系下某点的坐标，(XR,YR)表示b相机像平面坐标系下某点的坐标；
SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸，SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸；
(u0L,v0L)表示a相机像素坐标系下的中心点坐标，(u0R,v0R)表示b相机像素坐标系下的中心点坐标；
(uL,vL)表示a相机像素坐标系下的某点坐标，(uR,vR)表示b相机像素坐标系下的某点坐标。
3.根据权利要求2所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，其特征在于，步骤二建立视觉测量空间坐标系下的某点坐标(x,y,z)表示为：
Figure FDA0002343079160000023
其中，fL和fR分别表示a相机和b相机的镜头焦距；
r1～r9构建了a相机和b相机两个像平面坐标系的相对姿态转换关系矩阵
Figure FDA0002343079160000024
Figure FDA0002343079160000025
该相对姿态转换关系矩阵
Figure FDA0002343079160000031
存在如下关系式：
Figure FDA0002343079160000032
式中：(xR,yR,zR)表示b相机的相机坐标系R下的某点坐标；
tx、ty、tz构建了a.相机的相机坐标系L和b相机的相机坐标系R两个坐标系的相对位置关系矩阵
Figure FDA0002343079160000033
Figure FDA0002343079160000034
根据相对姿态转换关系矩阵
Figure FDA0002343079160000035
相对位置关系矩阵
Figure FDA0002343079160000036
构建a相机和b相机两个相机坐标系的相对位姿关系矩阵
Figure FDA0002343079160000037
4.根据权利要求3所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，其特征在于，步骤七的具体过程为：
将单平移运动获取的所有针尖在视觉测量空间坐标代入公式
Figure FDA0002343079160000038
中，
再通过最小二乘法获取觉测量空间坐标系V和机器人基坐标系B的转换关系
Figure FDA0002343079160000039
式中：
第i次运动针尖在视觉测量空间中的三维坐标记作[PVi 1]Τ，
第i+1次运动针尖在视觉测量空间中的三维坐标记作[PVi+1 1]Τ，
Figure FDA00023430791600000310
表示第i次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系，
Figure FDA00023430791600000311
表示第i+1次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系。
5.根据权利要求4所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法，其特征在于，步骤八的具体过程为：
将旋转平移运动获取的所有针尖在视觉测量空间坐标代入公式
Figure FDA0002343079160000041
中，
再通过最小二乘法获取针尖相对于机械臂末端位置在机械臂末端坐标系E中的三维坐标[PE 1]Τ。
CN201911384144.0A 2019-12-28 2019-12-28 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 Active CN111012506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911384144.0A CN111012506B (zh) 2019-12-28 2019-12-28 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911384144.0A CN111012506B (zh) 2019-12-28 2019-12-28 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法

Publications (2)

Publication Number Publication Date
CN111012506A true CN111012506A (zh) 2020-04-17
CN111012506B CN111012506B (zh) 2021-07-27

Family

ID=70197144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911384144.0A Active CN111012506B (zh) 2019-12-28 2019-12-28 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法

Country Status (1)

Country Link
CN (1) CN111012506B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370163A (zh) * 2020-11-11 2021-02-19 上海交通大学医学院附属第九人民医院 用于下颌骨重建的腓骨移植手术机器人
CN112754616A (zh) * 2020-12-30 2021-05-07 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
CN113180828A (zh) * 2021-03-25 2021-07-30 北京航空航天大学 基于旋量理论的手术机器人约束运动控制方法
CN113208731A (zh) * 2021-04-23 2021-08-06 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113403198A (zh) * 2021-05-10 2021-09-17 华南理工大学 一种多目复合单细胞微操作系统及控制方法
CN113650019A (zh) * 2021-09-01 2021-11-16 东莞拓斯达技术有限公司 一种机械手工具坐标的标定方法、装置及机器人
CN114061738A (zh) * 2022-01-17 2022-02-18 风脉能源（武汉）股份有限公司 一种基于标定板位姿计算的风机塔筒基础环振动监测方法
CN114367986A (zh) * 2022-01-14 2022-04-19 上海立升医疗科技有限公司 智能机器人低温活检方法、装置和控制系统
CN114569201A (zh) * 2022-02-16 2022-06-03 佛山市柏康机器人技术有限公司 一种图像导航穿刺进针点检测方法及装置
CN114918928A (zh) * 2022-07-22 2022-08-19 杭州柳叶刀机器人有限公司 手术机械臂精准定位方法、装置、控制终端及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015659A2 (en) * 2010-07-28 2012-02-02 Arnold Oyola Surgical positioning and support system
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN108205315A (zh) * 2016-12-19 2018-06-26 广东技术师范学院 一种基于双目视觉的机器人自动导航方法
CN108460804A (zh) * 2018-03-20 2018-08-28 重庆大学 一种基于机器视觉的转运对接机构及转运对接机构的三自由度位姿检测方法
CN108766894A (zh) * 2018-06-07 2018-11-06 湖南大学 一种机器人视觉引导的芯片贴装方法及系统
CN108972559A (zh) * 2018-08-20 2018-12-11 上海嘉奥信息科技发展有限公司 基于红外立体视觉定位系统和机械臂的手眼标定方法
CN109760107A (zh) * 2019-01-22 2019-05-17 广东工业大学 一种基于单目视觉的机器人定位精度评价方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110480642A (zh) * 2019-10-16 2019-11-22 遨博（江苏）机器人有限公司 工业机器人及其利用视觉标定用户坐标系的方法
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015659A2 (en) * 2010-07-28 2012-02-02 Arnold Oyola Surgical positioning and support system
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN108205315A (zh) * 2016-12-19 2018-06-26 广东技术师范学院 一种基于双目视觉的机器人自动导航方法
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
CN108460804A (zh) * 2018-03-20 2018-08-28 重庆大学 一种基于机器视觉的转运对接机构及转运对接机构的三自由度位姿检测方法
CN108766894A (zh) * 2018-06-07 2018-11-06 湖南大学 一种机器人视觉引导的芯片贴装方法及系统
CN108972559A (zh) * 2018-08-20 2018-12-11 上海嘉奥信息科技发展有限公司 基于红外立体视觉定位系统和机械臂的手眼标定方法
CN109760107A (zh) * 2019-01-22 2019-05-17 广东工业大学 一种基于单目视觉的机器人定位精度评价方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110480642A (zh) * 2019-10-16 2019-11-22 遨博（江苏）机器人有限公司 工业机器人及其利用视觉标定用户坐标系的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王君臣: "非线性最优机器人手眼标定", 《西安交通大学学报》 *
王才东: "基于手眼关系的机器人TCP自标定方法", 《机床与液压》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370163A (zh) * 2020-11-11 2021-02-19 上海交通大学医学院附属第九人民医院 用于下颌骨重建的腓骨移植手术机器人
CN112370163B (zh) * 2020-11-11 2022-05-31 上海交通大学医学院附属第九人民医院 用于下颌骨重建的腓骨移植手术机器人
CN112754616A (zh) * 2020-12-30 2021-05-07 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
CN113180828A (zh) * 2021-03-25 2021-07-30 北京航空航天大学 基于旋量理论的手术机器人约束运动控制方法
CN113208731B (zh) * 2021-04-23 2023-02-10 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113208731A (zh) * 2021-04-23 2021-08-06 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113403198A (zh) * 2021-05-10 2021-09-17 华南理工大学 一种多目复合单细胞微操作系统及控制方法
CN113650019A (zh) * 2021-09-01 2021-11-16 东莞拓斯达技术有限公司 一种机械手工具坐标的标定方法、装置及机器人
CN114367986A (zh) * 2022-01-14 2022-04-19 上海立升医疗科技有限公司 智能机器人低温活检方法、装置和控制系统
CN114367986B (zh) * 2022-01-14 2023-12-29 赛恩医疗科技(连云港)有限公司 智能机器人低温活检方法、装置和控制系统
CN114061738A (zh) * 2022-01-17 2022-02-18 风脉能源（武汉）股份有限公司 一种基于标定板位姿计算的风机塔筒基础环振动监测方法
CN114569201B (zh) * 2022-02-16 2023-11-17 佛山市柏康机器人技术有限公司 一种图像导航穿刺进针点检测方法及装置
CN114569201A (zh) * 2022-02-16 2022-06-03 佛山市柏康机器人技术有限公司 一种图像导航穿刺进针点检测方法及装置
CN114918928A (zh) * 2022-07-22 2022-08-19 杭州柳叶刀机器人有限公司 手术机械臂精准定位方法、装置、控制终端及存储介质

Also Published As

Publication number Publication date
CN111012506B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN111012506B (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109974584B (zh) 一种辅助激光截骨手术机器人的标定系统及标定方法
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
CN110919658B (zh) 一种基于视觉和多坐标系闭环转换的机器人标定方法
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
JP2005300230A (ja) 計測装置
CN113910219A (zh) 运动臂系统以及控制方法
CN114343847B (zh) 基于光学定位系统的手术机器人的手眼标定方法
EP2728374A1 (de) Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
CN108180834A (zh) 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN113876426A (zh) 一种与无影灯结合的术中定位跟踪系统及方法
CN109940626A (zh) 一种基于机器人视觉的画眉机器人系统及其控制方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN115284292A (zh) 基于激光相机的机械臂手眼标定方法及装置
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN114224489B (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN114413788B (zh) 基于双目视觉和反向模型重构的零件表面图案检测方法
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN112215871B (zh) 一种基于机器人视觉的移动目标追踪方法及装置
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant