CN111870346A - 机器人与影像设备的空间注册方法、装置及电子设备 - Google Patents

机器人与影像设备的空间注册方法、装置及电子设备 Download PDF

Info

Publication number
CN111870346A
CN111870346A CN202010764873.5A CN202010764873A CN111870346A CN 111870346 A CN111870346 A CN 111870346A CN 202010764873 A CN202010764873 A CN 202010764873A CN 111870346 A CN111870346 A CN 111870346A
Authority
CN
China
Prior art keywords
coordinate system
robot
image
perspective
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010764873.5A
Other languages
English (en)
Other versions
CN111870346B (zh
Inventor
段星光
何睿
潘月
李浩源
贾晓波
周珅珅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010764873.5A priority Critical patent/CN111870346B/zh
Publication of CN111870346A publication Critical patent/CN111870346A/zh
Application granted granted Critical
Publication of CN111870346B publication Critical patent/CN111870346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人与影像设备的空间注册方法、装置及电子设备，其中方法包括：基于标记物组建立中间坐标系，对透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；确定机器人坐标系和中间坐标系的相对位姿关系，进而确定机器人坐标系和透视图像坐标系的相对位姿关系；基于透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册；本发明提供的空间注册方法减小了注册误差，医生进行基本医学影像设备操作和影像分析即可实现手术机器人与医学影像设备的快速、高精度空间注册。

Description

机器人与影像设备的空间注册方法、装置及电子设备
技术领域
本发明涉及机器人领域，具体涉及一种机器人与影像设备的空间注册方法、装置及电子设备。
背景技术
手术机器人具有定位精准、可重复性高、能有效提升医生手术操作能力等优点，已经被越来越广泛应用于临床手术实施。使用手术机器人对患者实施手术的前提是确定患者空间与机器人操作空间的相对位置关系，患者空间通常通过医学影像设备例如CT扫描CT影像来确定，为了在确定患者空间的同时避免手术机器人碰撞医学影像设备，需要确定机器人操作空间与医学影像设备空间的相对位置关系，即实现手术机器人与医学影像设备的空间注册。
目前常用的一种技术手段是利用光学或电磁定位设备确定手术机器人、医学影像设备和患者空间的相对位置关系。具体实施时，在机器人和患者上安装光学或电磁定位标记，用光学或电磁定位设备追踪定位标记确定机器人操作空间和患者空间的相对位置关系，通过医学影像设备扫描患者上安装的定位标记确定医学影像设备空间和患者空间的相对位置关系，进一步实现手术机器人与医学影像设备的空间注册。
另一种技术手段是采用手术机器人触碰标记点的方法确定机器人操作空间和医学影像设备空间的相对位置关系。具体实施时，在患者上安装标记点，通过机器人触碰标记点确定机器人操作空间和患者空间的相对位置关系，通过医学影像设备扫描患者上安装的标记点确定医学影像设备空间和患者空间的相对位置关系，进一步实现手术机器人与医学影像设备的空间注册。
上述两种技术手段虽然能够实现手术机器人与医学影像设备的空间注册，但是存在以下问题：
1、光学或电磁定位设备容易受到光线遮挡、手术器械铁磁干扰等不良影响，这会直接导致注册误差甚至造成注册失败；且定位设备价格昂贵，其安装对手术室有特殊要求；
2、采用手术机器人触碰标记点的方法需要医生手动操控机器人触碰多个标记点，医生操作繁琐；标记点的中心位置、被触碰时标记点移动、医生手动操控机器人触碰标记点误差等均会导致注册误差；
3、注册时间较长，进一步增加了整个手术时间；且鉴于医生普遍只对影像设备的操作和影像分析具有深入研究，所使用定位设备和注册方法对医生的学习能力和操作技能的要求较高。
发明内容
本发明的主要目的在于提供一种机器人与影像设备的空间注册方法、装置及电子设备，以解决现有机器人与影像设备的空间注册容易导致注册误差、注册时间长、操作复杂繁琐对医生要求高且成本高的问题。
为了实现上述目的，根据本发明的第一方面，提供了一种机器人与影像设备的空间注册方法，包括：
将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
确定机器人坐标系和透视图像坐标系的相对位姿关系；
获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
可选地，所述基于所述标记物组建立中间坐标系包括：
所述标记物组包括至少三个标记物；
基于任意两个标记物之间形成两条相交垂线，以所述两条相交垂线的垂点为原点建立中间坐标系。
可选地，所述确定透视图像坐标系和中间坐标系的相对位姿关系包括：
对标记物组的透视图像进行处理，获取标记物组中各标记物的形心在透视图像坐标系中的坐标；
根据各标记物的形心在透视图像坐标系中的坐标，采用最小二乘法确定中间坐标系原点在透视图像坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在透视图像坐标系中的坐标，确定透视图像坐标系和中间坐标系之间的坐标转换矩阵。
可选地，所述确定所述机器人坐标系和所述中间坐标系的相对位姿关系，包括：
根据机器人正运动学，确定标记物组中各标记物的形心在机器人坐标系中的坐标；
根据各标记物的形心在机器人坐标系中的坐标，采用最小二乘法确定中间坐标系原点在机器人坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在机器人坐标系中的坐标，确定机器人坐标系和中间坐标系之间的坐标转换矩阵。
可选地，所述确定机器人坐标系和透视图像坐标系的相对位姿关系包括：
根据透视图像坐标系和中间坐标系之间的坐标转换矩阵、机器人坐标系和中间坐标系之间的坐标转换矩阵，通过中间坐标系进行关联，确定机器人坐标系和透视图像坐标系之间的坐标转换矩阵。
可选地，所述基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系，包括：
以透视扫描区域的圆心为原点，建立各坐标轴方向与透视图像坐标系各坐标轴方向相同的影像设备坐标系；
对透视图像进行处理，获取透视扫描区域的圆心在透视图像坐标系中的坐标；
根据透视扫描区域的圆心在透视图像坐标系中的坐标，确定透视图像坐标系和影像设备坐标系之间的坐标转换矩阵。
可选地，所述确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册，包括：
根据机器人坐标系和透视图像坐标系之间的坐标转换矩阵、透视图像坐标系和影像设备坐标系之间的坐标转换矩阵，通过透视图像坐标系进行关联，确定机器人坐标系和影像设备坐标系之间的坐标转换矩阵。
根据本发明的第二方面，提供了一种机器人与影像设备的空间注册装置，包括：
第一建立单元，用于将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
第一确定单元，用于获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
第二确定单元，用于接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
第三确定单元，用于确定机器人坐标系和透视图像坐标系的相对位姿关系；
第二建立单元，用于获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
实现单元，用于确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
根据本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面任意一项提供的机器人与影像设备的空间注册方法。
根据本发明的第四方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的机器人与影像设备的空间注册方法。
本发明实施例提供的机器人与影像设备的空间注册方法，首先将机器人的标记物组移动至影像设备透视范围内，基于标记物组建立中间坐标系，获取影像设备对标记物组进行扫描得到的透视图像，对透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系，其次接收预先设置的机器人坐标系，确定机器人坐标系和中间坐标系的相对位姿关系，进而确定机器人坐标系和透视图像坐标系的相对位姿关系，然后获取影像设备的透视扫描区域，基于透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系，最后确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册；本发明实施例提供的技术方案使机器人与影像设备的空间注册精度高、减小了注册误差，并且成本低、注册时间短，医生进行基本的医学影像设备操作和影像分析即可实现手术机器人与医学影像设备的快速、高精度空间注册，解决了由于光学、电磁等第三方定位设备和在患者上安装标记点造成的容易引起注册误差及操作繁琐复杂等技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的空间注册方法流程示意图；
图2为本发明实施例提供的空间注册系统结构图；
图3为本发明实施例提供的标记物组结构图；
图4为本发明实施例提供的从CT透视图像观察到的标记小球；
图5为本发明实施例提供的标记小球和中间坐标系；
图6为本发明实施例提供的影像设备坐标系；
图7为本发明实施例提供的从CT透视图像观察到的影像设备坐标系；
图8为本发明实施例提供的空间注册装置框图；
图9为本发明实施例提供的电子设备框图；
其中，1-机器人，2-机器人基座，3-标记物组，4.1-第一标记小球，4.2-第二标记小球，4.3-第三标记小球，4.4-第四标记小球，5-CT透视范围，6-刹车脚轮，7-位置指示方格，8-CT内定位线，9-中间坐标系，10-影像设备坐标系，11-CT三维数模。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
手术机器人与医学影像设备的空间注册常采用光学或电磁定位设备和手术机器人触碰标记点的方法，然而光学或电磁定位设备容易受到光线遮挡、手术器械铁磁干扰等不良影响，这会直接导致注册误差甚至造成注册失败，且定位设备价格昂贵，其安装对手术室有特殊要求；采用手术机器人触碰标记点的方法需要医生手动操控机器人触碰多个标记点，医生操作繁琐，标记点的中心位置、被触碰时标记点移动、医生手动操控机器人触碰标记点误差等均会导致注册误差；注册时间较长，进一步增加了整个手术时间；且鉴于医生普遍只对影像设备的操作和影像分析具有深入研究，所使用定位设备和注册方法对医生的学习能力和操作技能的要求较高。
为了解决上述问题，本发明实施例提供了一种机器人与影像设备的空间注册方法，如图1所示，该方法包括如下的步骤S101至步骤S106：
步骤S101：将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
步骤S102：获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
步骤S103：接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
步骤S104：确定机器人坐标系和透视图像坐标系的相对位姿关系；
步骤S105：获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
步骤S106：确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
手术机器人设有标记物组，将标记物组移动至医学影像设备透视范围内，影像设备对标记物组进行扫描得到透视图像，对透视图像进行处理生成透视图像坐标系，基于标记物组建立中间坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；接收预先设置的机器人坐标系，确定机器人坐标系和中间坐标系的相对位姿关系，进而确定机器人坐标系和透视图像坐标系的相对位姿关系；基于影视设备透视扫描区域的圆心建立影像设备坐标系，确定透视图像坐标系和影像设备坐标系的相对位姿关系，进而确定机器人坐标系和影像设备坐标系的相对位姿关系，即实现机器人与影像设备的空间注册；在手术机器人设置标记物组，通过标记物组实现机器人与影像设备的空间注册，无需利用光学、电磁等第三方定位设备，也无需在患者上安装标记点，成本低且操作简单、要求低，医生进行基本的医学影像设备操作和影像分析就可以实现手术机器人与影像设备的快速、高精度空间注册。
其中，所述医学影像设备包括CT、MRI、PET或PET-CT等，为方便理解本发明的技术方案，在本实施例中，以CT为例对医学影像设备进行解释说明；两个坐标系的相对位姿关系是指一个坐标系相对于另一个坐标系的位置和姿态，确定机器人坐标系和影像设备坐标系的相对位姿关系，即确定机器人坐标系相对影像设备坐标系的位置和姿态，也就是实现机器人与影像设备的空间注册。
具体的，所述基于所述标记物组建立中间坐标系包括：
所述标记物组包括至少三个标记物；
基于任意两个标记物之间形成两条相交垂线，以所述两条相交垂线的垂点为原点建立中间坐标系。
例如，标记物的个数可以为三个、四个或更多个，当标记物为三个时，其中两个标记物分别与第三个标记物相连，形成两条相交垂线，即所构成的角为直角；当标记物为四个时，任意两个标记物之间形成两条相交垂线，即其中两个标记物的连线与另外两个标记物的连线垂直相交，形成两条相交垂线；当标记物为更多个时，各标记物的位置满足基于任意两个标记物之间形成两条相交垂线，即其中两个标记物的连线和两个标记物的连线垂直相交。以所形成两条相交垂线的垂点为原点，两条垂线分别为x轴方向和y轴方向，根据空间坐标系右手定则确定z轴方向，建立中间坐标系。空间坐标系右手定则即以右手握住z轴，让右手的四指从x轴的正方向以90度的直角转向y轴的正方向，这时大拇指的方向就是z轴的正方向。
为方便理解本发明的技术方案，在本实施例中，以标记物组包括四个标记物为例对所述标记物组进行解释说明。本发明对标记物的结构不做具体限定，可以为正方体、长方体、椎体、球体或其他结构，在本实施例中，以球体为例对标记物进行解释说明。需要说明的是，本实施例中标记物组包含四个球体只是为方便理解技术方案而做出的具体示例，不应视为对本发明技术方案的限制。
本发明实施例提供了一种机器人与影像设备的空间注册系统，如图2所示，包括手术机器人和CT；其中，机器人1末端设有标记物组3，标记物组包括四个标记小球，机器人基座2下安装有刹车脚轮6，CT床旁的地面上有机器人基座2的位置指示方格7，可以在四个标记小球都进入CT透视范围5内后将机器人1固定在CT床旁；
如图3所示，当标记物组3中的标记小球处于CT透视范围5内时，标记小球位于CT内定位线8以里。
将机器人1推至CT床旁，开启CT透视扫描，主从操控机器人1移动标记物组3，直至标记物组3中的标记小球进入CT透视范围5内，此时标记小球位于CT内定位线8以里，停止操控，将机器人基座2固定在位置指示方格7。当标记小球处于CT透视范围5内时，从CT透视图像上观察到的标记小球如图4所示。
如图5所示，设第一标记小球4.1、第二标记小球4.2、第三标记小球4.3和第四标记小球4.4的球心分别为M1、M2、M3和M4，连接M1和M3得到向量M13，连接M2和M4得到向量M24，向量M13和M24垂直相交，以交点为原点，M13方向为x轴正方向，M24方向为y轴正方向，z轴正方向满足右手定则，建立中间坐标系9。
具体的，所述确定透视图像坐标系和中间坐标系的相对位姿关系包括：
对标记物组的透视图像进行处理，获取标记物组中各标记物的形心在透视图像坐标系中的坐标；
根据各标记物的形心在透视图像坐标系中的坐标，采用最小二乘法确定中间坐标系原点在透视图像坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在透视图像坐标系中的坐标，确定透视图像坐标系和中间坐标系之间的坐标转换矩阵。
CT对标记物组进行扫描得出透视图像，处理透视图像生成透视图像坐标系。在本实施例中，标记物的形心可以为标记小球的球心，设所获取的各标记小球的球心在透视图像坐标系中的坐标分别为(x1CTI,y1CTI,z1CTI)、(x2CTI,y2CTI,z2CTI)、(x3CTI,y3CTI,z3CTI)和(x4CTI,y4CTI,z4CTI)，采用最小二乘法确定中间坐标系原点在透视图像坐标系中的坐标OM：
Figure BDA0002611911990000101
由上式可以推出：
Figure BDA0002611911990000102
其中，M3和M4分别是第三标记小球和第四标记小球的球心在透视图像坐标系中的坐标，l1和l2分别是中间坐标系原点OM到M3和M4的距离，M13是连接M1和M3得到的向量，M24是连接M2和M4得到的向量，I是单位矩阵，0是零矩阵；
按下式确定透视图像坐标系和中间坐标系之间的坐标转换矩阵
Figure BDA0002611911990000111
Figure BDA0002611911990000112
其中，eM13、eM24和eM13×M24分别是向量M13、向量M24和向量M13×M24的单位向量，OM是中间坐标系原点在透视图像坐标系中的坐标；两个坐标系的相对位姿关系通过两个坐标系之间的坐标转换矩阵来描述，确定透视图像坐标系和中间坐标系之间的坐标转换矩阵，即确定透视图像坐标系和中间坐标系的相对位姿关系。
具体的，所述确定所述机器人坐标系和所述中间坐标系的相对位姿关系，包括：
根据机器人正运动学，确定标记物组中各标记物的形心在机器人坐标系中的坐标；
根据各标记物的形心在机器人坐标系中的坐标，采用最小二乘法确定中间坐标系原点在机器人坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在机器人坐标系中的坐标，确定机器人坐标系和中间坐标系之间的坐标转换矩阵。
在机器人领域，机器人运动学包括正运动学和逆运动学，机器人正运动学即给定机器人各关节变量，计算机器人末端的位置和姿态；设根据机器人正运动学所确定的各标记小球的球心在机器人坐标系中的坐标分别为(x1R,y1R,z1R)、(x2R,y2R,z2R)、(x3R,y3R,z3R)和(x4R,y4R,z4R)，同理，将上述各公式中各标记小球的球心在透视图像坐标系中的坐标替换为各标记小球的球心在机器人坐标系中的坐标，依次可得中间坐标系原点在机器人坐标系中的坐标、机器人坐标系和中间坐标系之间的坐标转换矩阵
Figure BDA0002611911990000113
两个坐标系的相对位姿关系通过两个坐标系之间的坐标转换矩阵来描述，得出机器人坐标系和中间坐标系之间的坐标转换矩阵，也就得出了机器人坐标系和中间坐标系的相对位姿关系。
具体的，所述确定机器人坐标系和透视图像坐标系的相对位姿关系包括：
根据透视图像坐标系和中间坐标系之间的坐标转换矩阵、机器人坐标系和中间坐标系之间的坐标转换矩阵，通过中间坐标系进行关联，确定机器人坐标系和透视图像坐标系之间的坐标转换矩阵。
具体的，按下式确定机器人坐标系和透视图像坐标系之间的坐标转换矩阵TRCTI：
Figure BDA0002611911990000121
其中，
Figure BDA0002611911990000122
是机器人坐标系和中间坐标系之间的坐标转换矩阵，
Figure BDA0002611911990000123
是透视图像坐标系和中间坐标系之间的坐标转换矩阵；两个坐标系的相对位姿关系通过两个坐标系之间的坐标转换矩阵来描述，确定机器人坐标系和透视图像坐标系之间的坐标转换矩阵，即确定机器人坐标系和透视图像坐标系的相对位姿关系。
具体的，所述基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系，包括：
以透视扫描区域的圆心为原点，建立各坐标轴方向与透视图像坐标系各坐标轴方向相同的影像设备坐标系；
对透视图像进行处理，获取透视扫描区域的圆心在透视图像坐标系中的坐标；
根据透视扫描区域的圆心在透视图像坐标系中的坐标，确定透视图像坐标系和影像设备坐标系之间的坐标转换矩阵。
如图6所示，在CT三维数模11上，以CT透视扫描区域的圆心为原点，建立各坐标轴方向与透视图像坐标系各坐标轴方向相同的影像设备坐标系10，影像设备坐标系10和从CT透视图像上观察到的标记小球的位置关系如图7所示。
按下式确定透视图像坐标系和影像设备坐标系之间的坐标转换矩阵
Figure BDA0002611911990000124
Figure BDA0002611911990000125
其中，OCT是影像设备坐标系原点在透视图像坐标系中的坐标，I是单位矩阵，0是零矩阵；两个坐标系的相对位姿关系通过两个坐标系之间的坐标转换矩阵来描述，确定透视图像坐标系和影像设备坐标系之间的坐标转换矩阵，即确定透视图像坐标系和影像设备坐标系的相对位姿关系。
具体的，所述确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册，包括：
根据机器人坐标系和透视图像坐标系之间的坐标转换矩阵、透视图像坐标系和影像设备坐标系之间的坐标转换矩阵，通过透视图像坐标系进行关联，确定机器人坐标系和影像设备坐标系之间的坐标转换矩阵。
按下式确定机器人坐标系和影像设备坐标系之间的坐标转换矩阵TRCT：
Figure BDA0002611911990000131
其中，TRCTI是机器人坐标系和透视图像坐标系之间的坐标转换矩阵，
Figure BDA0002611911990000132
是透视图像坐标系和影像设备坐标系之间的坐标转换矩阵；两个坐标系的相对位姿关系通过两个坐标系之间的坐标转换矩阵来描述，确定机器人坐标系和影像设备坐标系之间的坐标转换矩阵，即确定机器人坐标系和影像设备坐标系的相对位姿关系，也就是实现机器人与影像设备的空间注册。
从以上的描述中，可以看出，本发明实现了如下技术效果：
本发明实施例提供的技术方案使机器人与影像设备的空间注册精度高、减小了注册误差，并且成本低、注册时间短，医生进行基本的医学影像设备操作和影像分析即可实现手术机器人与医学影像设备的快速、高精度空间注册，解决了由于光学、电磁等第三方定位设备和在患者上安装标记点造成的容易引起注册误差及操作繁琐复杂等技术问题。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种机器人与影像设备的空间注册装置，如图8所示，该装置包括：
第一建立单元81，用于将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
第一确定单元82，用于获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
第二确定单元83，用于接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
第三确定单元84，用于确定机器人坐标系和透视图像坐标系的相对位姿关系；
第二建立单元85，用于获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
实现单元86，用于确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
本发明实施例还提供了一种电子设备，如图9所示，该电子设备包括一个或多个处理器91以及存储器92，图9中以一个处理器为例。
该控制器还可以包括：输入装置93和输出装置94。
处理器91、存储器92、输入装置93和输出装置94可以通过总线或者其他方式连接，图9中以通过总线连接为例。
处理器91可以为中央处理器(Central Processing Unit，CPU)。处理器91还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器92作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的控制方法对应的程序指令/模块。处理器91通过运行存储在存储器92中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的机器人与影像设备的空间注册方法。
存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置93可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置94可包括显示屏等显示设备。
一个或者多个模块存储在存储器92中，当被一个或者多个处理器91执行时，执行如图1所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory，FM)、硬盘(HardDiskDrive，HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种机器人与影像设备的空间注册方法，其特征在于，所述方法包括：
将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
确定机器人坐标系和透视图像坐标系的相对位姿关系；
获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
2.根据权利要求1所述的方法，其特征在于，所述基于所述标记物组建立中间坐标系包括：
所述标记物组包括至少三个标记物；
基于任意两个标记物之间形成两条相交垂线，以所述两条相交垂线的垂点为原点建立中间坐标系。
3.根据权利要求1所述的方法，其特征在于，所述确定透视图像坐标系和中间坐标系的相对位姿关系包括：
对标记物组的透视图像进行处理，获取标记物组中各标记物的形心在透视图像坐标系中的坐标；
根据各标记物的形心在透视图像坐标系中的坐标，采用最小二乘法确定中间坐标系原点在透视图像坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在透视图像坐标系中的坐标，确定透视图像坐标系和中间坐标系之间的坐标转换矩阵。
4.根据权利要求1所述的方法，其特征在于，所述确定所述机器人坐标系和所述中间坐标系的相对位姿关系，包括：
根据机器人正运动学，确定标记物组中各标记物的形心在机器人坐标系中的坐标；
根据各标记物的形心在机器人坐标系中的坐标，采用最小二乘法确定中间坐标系原点在机器人坐标系中的坐标；
根据各标记物的形心和中间坐标系原点在机器人坐标系中的坐标，确定机器人坐标系和中间坐标系之间的坐标转换矩阵。
5.根据权利要求1所述的方法，其特征在于，所述确定机器人坐标系和透视图像坐标系的相对位姿关系包括：
根据透视图像坐标系和中间坐标系之间的坐标转换矩阵、机器人坐标系和中间坐标系之间的坐标转换矩阵，通过中间坐标系进行关联，确定机器人坐标系和透视图像坐标系之间的坐标转换矩阵。
6.根据权利要求1所述的方法，其特征在于，所述基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系，包括：
以透视扫描区域的圆心为原点，建立各坐标轴方向与透视图像坐标系各坐标轴方向相同的影像设备坐标系；
对透视图像进行处理，获取透视扫描区域的圆心在透视图像坐标系中的坐标；
根据透视扫描区域的圆心在透视图像坐标系中的坐标，确定透视图像坐标系和影像设备坐标系之间的坐标转换矩阵。
7.根据权利要求1所述的方法，其特征在于，所述确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册，包括：
根据机器人坐标系和透视图像坐标系之间的坐标转换矩阵、透视图像坐标系和影像设备坐标系之间的坐标转换矩阵，通过透视图像坐标系进行关联，确定机器人坐标系和影像设备坐标系之间的坐标转换矩阵。
8.一种机器人与影像设备的空间注册装置，其特征在于，所述装置包括：
第一建立单元，用于将机器人的标记物组移动至影像设备透视范围内，基于所述标记物组建立中间坐标系；
第一确定单元，用于获取影像设备对标记物组进行扫描得到的透视图像，对所述透视图像进行处理生成透视图像坐标系，确定透视图像坐标系和中间坐标系的相对位姿关系；
第二确定单元，用于接收预先设置的机器人坐标系，确定所述机器人坐标系和所述中间坐标系的相对位姿关系；
第三确定单元，用于确定机器人坐标系和透视图像坐标系的相对位姿关系；
第二建立单元，用于获取影像设备的透视扫描区域，基于所述透视扫描区域的圆心建立影像设备坐标系，并确定透视图像坐标系和影像设备坐标系的相对位姿关系；
实现单元，用于确定机器人坐标系和影像设备坐标系的相对位姿关系，实现机器人与影像设备的空间注册。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的机器人与影像设备的空间注册方法。
10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的机器人与影像设备的空间注册方法。
CN202010764873.5A 2020-07-31 2020-07-31 机器人与影像设备的空间注册方法、装置及电子设备 Active CN111870346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010764873.5A CN111870346B (zh) 2020-07-31 2020-07-31 机器人与影像设备的空间注册方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010764873.5A CN111870346B (zh) 2020-07-31 2020-07-31 机器人与影像设备的空间注册方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111870346A true CN111870346A (zh) 2020-11-03
CN111870346B CN111870346B (zh) 2022-05-13

Family

ID=73206147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010764873.5A Active CN111870346B (zh) 2020-07-31 2020-07-31 机器人与影像设备的空间注册方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111870346B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114184581A (zh) * 2021-10-25 2022-03-15 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070135708A1 (en) * 2001-12-14 2007-06-14 Boston Scientific Scimed, Inc. Methods and apparatus for guiding a needle
CN103006251A (zh) * 2012-12-06 2013-04-03 深圳先进技术研究院 用于ct系统中标定几何参数的标定体模、标定装置及标定方法
CN107468350A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法
CN110236583A (zh) * 2019-06-19 2019-09-17 新里程医用加速器(无锡)有限公司 旋转平台锥形束ct系统、标定模体及标定方法
CN111388091A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 光标尺、坐标系配准的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070135708A1 (en) * 2001-12-14 2007-06-14 Boston Scientific Scimed, Inc. Methods and apparatus for guiding a needle
CN103006251A (zh) * 2012-12-06 2013-04-03 深圳先进技术研究院 用于ct系统中标定几何参数的标定体模、标定装置及标定方法
CN107468350A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法
CN110236583A (zh) * 2019-06-19 2019-09-17 新里程医用加速器(无锡)有限公司 旋转平台锥形束ct系统、标定模体及标定方法
CN111388091A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 光标尺、坐标系配准的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114184581A (zh) * 2021-10-25 2022-03-15 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质
CN114184581B (zh) * 2021-10-25 2024-05-07 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111870346B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
JP4191080B2 (ja) 計測装置
US8660694B2 (en) Method for computer-aided movement planning of a robot
KR20160070006A (ko) 간섭 회피 방법, 제어 장치 및 프로그램
WO2022062464A1 (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
CN112318506A (zh) 机械臂自动标定方法、装置、设备、机械臂和介质
JP6985532B2 (ja) データ処理方法及び装置、電子機器並びに記憶媒体
JP2021007739A (ja) 医用イメージングシステムにおいて対象３ｄポイントクラウドを生成するための方法及びシステム
KR20140106421A (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
CN104869934A (zh) 利用三维跟踪传感器进行配准及导航
CN104735444A (zh) 根据直线特征执行视觉系统平面手眼校准的系统和方法
CN112603542B (zh) 手眼标定方法、装置、电子设备和存储介质
CN113081266B (zh) 机器人配准方法、装置、电子设备及存储介质
Beyl et al. Time-of-flight-assisted Kinect camera-based people detection for intuitive human robot cooperation in the surgical operating room
CN111870346B (zh) 机器人与影像设备的空间注册方法、装置及电子设备
CN115229805A (zh) 手术机器人手眼标定方法、装置、存储介质及处理器
CN111973273A (zh) 基于ar技术的手术导航系统、方法、设备和介质
CN117084788A (zh) 机械臂目标姿态的确定方法、装置及存储介质
CN116269763A (zh) 坐标转换关系的标定方法、装置、手术导航系统和介质
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质
US20230015238A1 (en) Method and Apparatus for Vision-Based Tool Localization
CN114407012B (zh) 机器人运动校准方法、装置、计算机设备和存储介质
CN114209433B (zh) 一种手术机器人导航定位装置
CN112060083B (zh) 用于机械臂的双目立体视觉系统及其测量方法
CN114833822A (zh) 一种机器人的快速手眼标定方法
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant