CN101903140B - 机器人、医疗工作台和用于将图像投影到对象表面的方法 - Google Patents

Abstract

本发明涉及一种机器人(R)、一种医疗工作台和一种将图像(20)投影到对象(P)表面上的方法。所述机器人(R)具有机器人臂(A)和固定在机器人臂(A)上或集成在机器人臂(A)中的装置(18)，该装置(18)用于将图像(20)投影在对象(P)的表面上。

Description

机器人、医疗工作台和用于将图像投影到对象表面的方法

技术领域

本发明涉及一种机器人、一种医疗工作台和一种将图像投影到对象表面上的方法。

背景技术

例如，在外科手术当中越来越多地使用基于计算机的信息系统向为生命体做手术的外科医生提供信息。对于手术而言，这些信息例如包括生命体的生命体征、风险结构或对象位置。所述信息例如可以由信息系统的显示装置示出，并且该信息系统同样包括用于操控的输入装置。由于利用显示装置所示出的信息，外科医生必须在手术台和显示装置之间进行视角转换，在必要情况下可能还有输入装置。

发明内容

因此本发明的目的在于，提出一种装置，该装置可以允许简化的采集可视信息的前提条件。

本发明的目的通过一种机器人实现，该机器人具有机器人臂、固定在机器人臂上或集成在机器人臂中的装置，该装置用于将图像投影在对象表面上。

本发明的目的还通过一种将图像投影在对象表面上的方法来实现，该方法包括以下步骤：

利用集成在机器人的机器人臂中或固定在机器人臂上的用于投影图像的装置，将图像投影在对象、特别是一种生命体的表面上。

虽然根据本发明的方法或根据本发明的机器人特别考虑用于医疗领域，但是也可以考虑将它们应用到非医疗领域，例如，对机器进行保养、检查和维修。

工业机器人通常是执行机器，其装备有特定的工具，并对多个运动轴，特别是关于方向、位置和工作流程是可编程的，以自动地处理对象。工业机器人通常包括也被称为机械臂的机器人手臂、控制装置，必要时还有执行器，执行器可以设计为，例如作为用于抓住工具的夹持器，或者例如应用于医疗技术中时，用于传送医疗器械。机械臂或机器人手臂实质上描述了机器人的可运动部分。机器人手臂尤其是具有多个轴，它们例如通过电动驱动器由例如实施为计算机的控制装置来控制。

为了将图像投影在特别是生命体的对象的表面上，根据本发明，将图像投影装置集成在机器人的机器人臂中或固定在机器人臂上。因此可以相对简单的方式，根据对机器人臂的适当控制来将图像投影在对象的表面上。所述图像投影装置尤其可以被集成在或固定在所谓的机器人的工具中心点(TCP)的附近。投影的位置例如可以通过软件来选择。

根据本发明的机器人的一种实施方式，该机器人具有特别是固定在机器人臂上或集成在机器人臂中的装置，用于从投影在对象表面上的图像拍摄图像，其中，特别设置一种机器人的数据处理装置，用于分析图像数据组，该图像数据组对应于通过所述图像拍摄装置从投影在对象表面上的图像所拍摄的图像。用于从投影在对象表面的图像拍摄图像的装置例如是照相机或传感器，它们尤其可以提供2.5D的周围环境的图像。但是，所述图像拍摄装置也可以例如固定在三角架、墙壁或覆盖物上。

如果例如投影的图像涉及特别是机器人的数据处理装置的虚拟输入装置，或者涉及其他数据处理装置的虚拟输入装置，则根据本发明的机器人的一种扩展，将机器人的数据处理装置设置为，对基于工作人员的身体语言的图像数据组进行分析，以识别对虚拟输入装置的操作。虚拟输入装置可以具有，例如虚拟的、借助于所投影的图像在对象的表面上所示出的操作元件，其中，数据处理装置例如利用模式识别算法对图像数据组进行分析，以确定工作人员是否接触到虚拟示出的操作元件。根据对图像或图像数据组的分析，可以相应地识别工作人员的身体语言，并将其解释为对虚拟输入装置的操作。如果所述对象特别涉及到生命体，例如等待治疗的患者，则工作人员，例如外科医生或普通医生，能够在无菌环境中操作虚拟输入装置。

根据本发明的机器人的另一种实施方式，机器人具有用于识别由对象表面的表面几何形状所引起的投影图像的畸变的装置，该装置控制图像投影装置，以使图像投影装置至少能够部分地对投影的图像的畸变进行补偿。可以将畸变理解为图像高度，即以非线性方式取决于相应的对象点(Objektpunkt)的高度的投影图像的图像点与图像中心之间的距离。也可以说，成像比例取决于相应的对象点的高度。畸变会导致，例如，成像没有通过投影图像的图像中心的直线被曲折地再现。

根据本发明的机器人的一种扩展，所述用于识别畸变的装置具有：特别是集成在机器人臂中或固定在机器人臂上的图像拍摄装置，以及数据处理装置，根据这种实施方式，数据处理装置设置为，根据所分析的图像数据组对畸变进行识别。这可以例如通过下述方法实现：将与从投影图像拍摄的图像相对应的图像数据组与对应的投影图像的图像数据组进行对比。由此产生用于确定畸变的立体系统(Stereosystem)。在对投影图像进行投影时，可以考虑投影图像的颠倒成像，从而能够至少部分地对畸变进行补偿。

例如，可以在图像投影期间确定畸变。但是，畸变的确定也可以在使用参考图像对图像投影装置的校正过程中进行。

根据本发明的机器人的另一种实施方式，数据处理装置设置为，根据事先建立的对象的其他图像数据组，尤其是对象的三维图像数据组，对图像投影装置进行控制，以使图像投影装置至少部分地补偿投影图像的畸变。如果对象涉及生命体，则可以特别使用成像医疗设备，如磁共振成像仪、计算机断层扫描设备、X光机或超声波来建立对象的其他图像数据组。

根据本发明的机器人特别设计为应用于医疗工作台的范围内。根据本发明医疗工作台的一种实施方式，位于根据本发明的机器人旁的医疗工作台具有用于检测生命体和机器人位置的导航系统，其中机器人的数据处理装置设置为，控制图像投影装置，从而在至少部分地补偿投影图像的畸变时考虑到机器人和生命体的位置。因此这种根据本发明的医疗工作台的扩展被实现为，对于根据本发明的方法还实施以下步骤：

特别是利用导航系统确定机器人和生命体的位置，

根据生命体和机器人的位置，并根据事先从生命体拍摄的图像数据组，确定投影在生命体表面上的图像的预期的畸变，并

根据机器人和生命体的位置以及根据生命体的图像数据组，至少部分地对投影在表面上的图像的预期的畸变进行补偿。

导航系统在医疗技术中，特别是在最小介入医疗技术中，是普遍公知的，例如由专利文献DE 19951503B4所公知的。导航系统包括：例如，设置在机器人上的标记；设置在生命体上或患者躺在其上的病床上的标记；和用于采集标记的装置。用于采集标记的装置例如是光学采集装置，如立体照相机。导航系统根据利用采集标记的装置所采集到的标记以基本上普遍公知的方式确定机器人和生命体的位置。根据机器人和生命体的位置以及由生命体采集到的图像数据组，尤其是三维图像数据组，数据处理装置可以计算出投影图像的预期畸变，并相应地调整图像投影的畸变，从而至少部分地对预期的畸变进行补偿。

用于采集导航系统的标记的装置也可以用于从投影图像拍摄图像。对应于图像的图像数据组也可以用于识别畸变的装置中。

如果在治疗生命体期间，为了确定生命体的位置而使用导航系统，则可以通过患者的移动来更新对预期畸变的部分补偿。例如，这种补偿可以通过相同的投影装置来实施。

但是根据本发明的方法的一种实施方式，对至少部分补偿进行更新，其中，对机器人臂相应于生命体的移动一同引导。

在根据本发明的机器人或根据本发明的方法中，可以相应地采用所谓的增强现实(英语：Augmented Reality)。通常把增强现实理解为真实感知的计算机辅助增强。

附图说明

在所附简图中示例性描述了本发明的实施例。

图1示出了机器人，

图2示出了具有医疗工作台的图1中的机器人，

图3示出了虚拟输入装置，和

图4示出了成像医疗技术系统。

具体实施方式

图1示出了具有机器人臂A的机器人R，在当前实施例的情况下，机器人臂A被固定在基座S上。机器人臂A基本上示出了机器人R的可运动的部分，其具有多个轴1-6、多个杠杆7-10和法兰F，例如工具或医疗器械可以固定在法兰F上。

在当前实施例的情况下，每个轴1-6都利用电动驱动装置运动，所述电动驱动装置以未示出的方式电动连接机器人R的控制计算机17，使得控制计算机17或在控制计算机17上运行的计算机程序能够控制电动驱动装置，从而可以基本上在空间中自由地调整机器人R的法兰F的位置和方向。机器人R的电动驱动装置每一个都具有例如电动机11-16，必要时还具有控制电动机11-16的功率电子电路。

在当前实施例的情况下，投影仪18集成在机器人臂A中，特别是集成在法兰F中，投影仪18可以将图像投影在对象的表面上。也可以选择将投影仪18例如可松脱地固定在机器人臂A的结构上，特别是固定在法兰F上。

投影仪18以未示出的方式电连接计算机，例如控制计算机17。

在当前实施例的情况下，机器人R被设置成图2中所示的医疗工作台的一部分。

在上当前实施例的情况下，示出的医疗工作台具有：位于机器人R旁边的病床L，病床L必要时是高度可调的；以及导航系统。病床L被设置为，在图2中所示出的患者P可以躺在病床上。在图2中未示出的外科医生可以例如对患者P实施手术。

在当前实施例的情况下，机器人R被设置为，利用机器人R的投影仪18将图像20投影在患者P的表面上。在本实施例中，图3所示出的投影图像20描述了用于控制计算机17的输入装置，或用于在图中未示出的其他数据处理装置的输入装置，并且投影图像20具有例如键盘的形状。投影图像20形状的虚拟输入装置也具有虚拟操作元件21，虚拟操作元件21例如与真实的键盘的键相同。

在当前实施例的情况下，机器人R还具有与控制计算机17电连接的照相机19，照相机19集成在机器人臂A中或固定在机器人臂A上。照相机19被设置为，能够从患者P身上的投影图像20拍摄图像。利用模式识别算法，控制计算机17或在控制计算机17上运行的计算机程序对与从投影图像20所拍摄的图像相对应的图像数据组进行分析，在图中未示出的工作人员(例如治疗患者P的外科医生)是否在操作虚拟的并以投影图像20的形式示出示出的虚拟输入装置的虚拟操作元件21。如果根据所提到的图像数据组，在控制计算机17上运行的计算机程序可以识别外科医生例如碰触到虚拟操作元件21的范围，则在控制计算机17上运行的计算机程序可以引起与操作虚拟操作元件21相对应的反应。

投影图像20由于患者P起伏的表面而具有畸变。这当前实施例的情况下，畸变至少能够部分地通过在将图像20投影到患者P上之前，利用投影仪18将未在附图中详细示出的参考图像投影在患者P上得到补偿。在此，参考图像通常投影在患者P表面上与投影图像20相同的位置上。

随后，利用照相机19拍摄所投影的参考图像的图像，并使用另一个在控制计算机17上运行的计算机程序对属于该图像的图像数据组进行分析。控制计算机17根据对应于由投影的参考图像拍摄的图像的图像数据组和投影的参考图像的标称显式来控制投影仪18，使投影仪18至少能够部分地对稍后要成像的投影图像20的畸变进行补偿。

在另一种实施方式中，在对患者P进行治疗之前，利用在图4中示出的成像医疗技术设备22特别是产生患者P的三维图像数据组。成像医疗技术设备22例如是磁共振成像仪、计算机断层扫描设备、X光机(例如C形臂X光机)或超声波设备。

由患者P产生的三维图像数据组例如可以用于对患者P的诊断，并在机器人R的控制计算机17中运行。根据机器人R和患者P的位置以及根据患者P的三维图像数据组，另一个在控制计算机17中运行的计算机程序可以确定投影图像20的预期的畸变，并由此使投影仪18的投影发生改变，从而至少部分地补偿投影图像20的预期的畸变。

为了确定机器人R和患者P的位置，使用以上所述的导航系统。导航系统通常对于专业人员而言是普遍公知的，导航系统例如包括：立体照相机23、设置在患者P上的参考标记M1和设置在机器人R上的参考标记M2。为了确定机器人R和患者P的位置，采用立体照相机23对参考标记M1、M2拍照，而后利用导航系统的计算机24以普遍公知的方式对属于M1和M2的图像数据组进行分析。此外，导航系统的计算机24以未示出的方式与机器人R的控制计算机17连接，以为控制计算机17提供关于机器人R的位置、特别是机器人R的投影仪18的位置以及患者P的位置的信息。

此外，在上述实施例中还能够，对由于患者P的移动而变化的投影图像20的畸变进行校正，其中，例如根据已知的患者P的移动或患者P的由于移动而改变的位置，调整投影仪18，或者随着患者P的移动来一同引导机器人臂A，使得改变了的畸变至少能够部分地得到补偿。

Claims (12)

1.一种机器人，其具有机器人臂（A）和固定在所述机器人臂（A）上或集成在所述机器人臂（A）中的装置（18），该装置（18）用于将图像（20）投影到对象（P）的表面上，以及具有数据处理装置（17），和固定在所述机器人臂（A）上或集成在所述机器人臂（A）中、用于从所述投影在对象（P）表面上的图像（20）拍摄图像的装置（19），其中，所述数据处理装置（17）设置用于分析图像数据组，该图像数据组对应于利用所述拍摄图像的装置（19）从所述投影在对象（P）表面上的图像（20）所拍摄的图像，以及其中，所述投影图像（20）表示所述数据处理装置（17）的虚拟输入装置，或者另一数据处理装置的虚拟输入装置，所述数据处理装置（17）设置为，用于分析基于工作人员身体语言的图像数据组，以识别对所述虚拟输入装置的操作，以及具有用于识别由所述对象（P）表面的表面几何形状引起的所述投影图像（20）的畸变的装置，该装置对所述图像投影装置（18）进行控制，使该图像投影装置（18）至少能够部分地对所述投影图像（20）的畸变进行补偿。

2.如权利要求1所述的机器人，其中，所述用于识别畸变的装置包括：所述集成在所述机器人臂（A）中或固定在所述机器人臂（A）上的用于拍摄图像的装置（19），以及所述数据处理装置（17），其中，所述数据处理装置（17）设置为，根据所分析的图像数据组对畸变进行识别。

3.如权利要求1或2所述的机器人，所述数据处理装置（17）设置为，根据事先建立的所述对象（P）的其他图像数据组来控制所述图像投影装置，使该图像投影装置至少部分地对所述投影图像（20）的畸变进行补偿。

4.如权利要求3所述的机器人，其中，所述对象（P）的其他的图像数据组是利用成像医疗技术设备（22）产生的三维图像数据组。

5.如权利要求1所述的机器人，其中，该机器人（R）用于医疗工作台中。

6.如权利要求4所述的机器人，其中，所述数据处理装置（17）设置为，对所述图像投影装置（18）进行控制，使得在至少部分地对所述投影图像（20）的畸变进行补偿时考虑该机器人（R）和对象（P）的位置，其中，所述机器人（R）和对象（P）的位置是利用导航系统（23，24，M1，M2）采集的。

7.如权利要求6所述的机器人，其中，所述导航系统（23，24，M1，M2）具有设置在该机器人（R）上的标记（M2）、设置在所述对象（P）上或设置在该对象位于其上的病床（L）上的标记（M2），和用于采集所述标记（M1，M2）的装置（23）。

8.如权利要求7所述的机器人，其中，所述用于采集标记（M1，M2）的装置（23）还用于，从投影在所述对象（P）上的图像（20）拍摄图像，其中，所述数据处理装置（17）设置成，对对应于利用所述采集标记（M1，M2）的装置（23）对投影在所述对象（P）上的图像（20）所拍摄的图像的图像数据组进行分析。

9.一种将图像投影在对象表面的方法，包括以下步骤：

利用集成在机器人（R）的机器人臂（A）中或固定在所述机器人臂（A）上的图像投影装置（18），将图像（20）投影到对象（P）的表面上；

利用固定在所述机器人臂（A）上或集成在所述机器人臂（A）中的照相机（19），从所述投影在对象（P）表面上的图像（20）拍摄图像，其中，所述投影图像（20）示出了虚拟输入装置；

基于工作人员的身体语言，对与利用所述照相机（19）拍摄的图像相对应的其他图像数据组进行分析，以识别对所述虚拟输入装置的操作；以及

利用导航系统（23，24，M1，M2）确定所述机器人（R）和所述对象（P）的位置，

根据所述机器人（R）和所述对象（P）的位置，以及根据事先从所述对象（P）拍摄的图像数据组，确定投影在所述对象（P）表面上的所述图像（20）的预期的畸变，以及

根据所述机器人（R）和所述对象（P）的位置，以及根据所述对象（P）的图像数据组，至少部分地对所述投影在表面上的图像（20）的预期的畸变进行补偿。

10.如权利要求9所述的方法，包括：根据所述对象（P）的移动，对所述投影在表面上的图像（20）的预期的畸变的至少部分的补偿进行更新。

11.如权利要求10所述的方法，包括：根据所述对象（P）的通过所述机器人臂（A）相应于该对象（P）的移动而引导的移动，对所述投影在表面上的图像（20）的预期的畸变的至少部分的补偿进行更新。

12.如权利要求9到11中任一项所述的方法，其中，所述对象（P）的图像数据组是利用成像医疗技术设备（22）拍摄的。

Images