CN115707564A - 机器人成像系统及用于控制机器人装置的方法 - Google Patents
机器人成像系统及用于控制机器人装置的方法 Download PDFInfo
- Publication number
- CN115707564A CN115707564A CN202210883236.9A CN202210883236A CN115707564A CN 115707564 A CN115707564 A CN 115707564A CN 202210883236 A CN202210883236 A CN 202210883236A CN 115707564 A CN115707564 A CN 115707564A
- Authority
- CN
- China
- Prior art keywords
- robotic
- center point
- imaging device
- tool center
- tcp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明涉及机器人成像系统(1),该机器人成像系统包括:成像装置(10),其具有至少一个物镜(11),其中,该至少一个物镜(11)提供沿物镜(11)的聚焦方向延伸的光轴(11a);机器人装置(20),其连接到成像装置(10)以移动和/或定向成像装置(10);以及控制装置(30),其被配置成设置预设工具中心点(TCP)并且控制机器人装置(20)以使成像装置(10)相对于预设工具中心点(TCP)移动和/或定向,其中,用于移动和/或定向成像装置(10)的预设工具中心点(TCP)在该至少一个物镜(11)的光轴(11a)上或者在与成像装置(10)的多个物镜(11)的各个光轴(11a)的平均矢量对应的虚拟轴(12)上。
Description
技术领域
本发明涉及机器人成像系统、用于控制这种机器人成像系统的机器人装置的方法以及相应的计算机程序产品。
背景技术
例如机器人医学成像系统的机器人成像系统允许在手术过程期间显示和记录图像。为了改变对象的视图,成像装置连接到机器人臂组件以通过机器人臂组件移动。这种运动的参考点是相对于机器人臂组件(例如使用与成像装置的连接相对的机器人臂组件的原点)设置的。因此,对通过机器人臂组件进行的成像装置的相应运动的计算和控制可能变得复杂。特别地,考虑到通过机器人臂组件使用远离成像装置的参考点移动成像装置的自由度,机器人臂系统可能会执行横扫运动,从而导致对应的空间消耗并且易于发生碰撞。反过来,可能会限制移动选项,以限制空间消耗和碰撞风险。此外,由于机器人臂组件提供了相对较低的刚度,因此通过基于远离的参考点的移动实现的成像装置的目标位置可能会具有相当大的公差。
因此,本发明的目的是提供机器人成像系统、用于控制这种机器人成像系统的机器人装置的方法以及相应的计算机程序产品,其能够提供通过机器人装置使成像装置相对于要查看的对象的改进的运动。
发明内容
该目的通过根据权利要求1所述的机器人成像系统、根据权利要求14所述的用于控制这种机器人成像系统的机器人装置的方法以及根据权利要求15所述的计算机程序产品来解决。
根据本发明的一个方面,机器人成像系统包括:成像装置,其具有至少一个物镜,其中,所述至少一个物镜提供沿物镜的聚焦方向延伸的光轴;机器人装置,其连接到成像装置以移动和/或定向成像装置;以及控制装置,其被配置成设置预设工具中心点并且控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向。用于移动和/或定向成像装置的预设工具中心点被设置在所述至少一个物镜的光轴上或者与成像装置的多个物镜的各个光轴的平均矢量对应的虚拟轴上。
在将预设工具中心点设置在所述至少一个物镜的光轴或者与成像装置的多个物镜的光轴成限定的关系的虚拟轴上的情况下,对成像装置的移动和/或方向的参考从机器人装置移到成像装置。这还可以允许将成像装置相对于预设工具中心点的移动和/或定向的计算减少为相对移动和/或定向(即相对于预设工具中心点的重新定位)的计算,而不是以绝对坐标计算。
成像装置可以仅包括一个物镜。在这种情况下,控制装置将预设的工具中心点设置在物镜的光轴上。光轴是沿光束传播方向延伸的假想线。光轴与光束基本同轴。根据相应的物镜和入射角,光轴可以通过例如透镜的中心并且与轴一致或旋转对称。
然而,成像装置还可以包括例如两个物镜以用于立体成像。在这种情况下,控制装置可以将预设的工具中心点设置在与两个物镜的光轴的平均矢量对应的虚拟轴上。平均矢量可以表示两个光轴的平均视角。优选地,虚拟轴通过与平均矢量同轴而对应于平均矢量。替选地,虚拟轴可以根据预定位置关系对应于平均矢量,例如,平行于虚拟矢量而偏移。
在成像装置包括多个物镜的情况下,预设工具中心点可以由控制装置相对于一个物镜或预选的物镜子集来设置。控制装置还可能能够改变用于设置预设工具中心点的物镜的分配。例如,成像装置可以包括三个物镜。对于单目成像,控制装置可以选择各物镜中的一个物镜并且将预设工具中心点设置在所选物镜的光轴上。对于由于物镜属性而导致的不同视角和/或不同成像设置,控制装置可以改变选择,从而根据新选择的物镜将工具中心点设置在另一个光轴上。然而,如果要进行立体成像,则控制装置可以选择多个物镜中的两个,并且将预设的工具中心点设置在与所选物镜的各个光轴的平均矢量对应的虚拟轴上。与单目成像类似,控制装置还可以改变用于立体成像的物镜的选择,并且相应地适配预设的工具中心点。控制装置还可以选择用于平行成像的三个物镜,并且将预设的工具中心点设置在与所有光轴的平均矢量对应的虚拟轴上。
在一些实施方式中,虚拟轴是成像装置的多个物镜的各个光轴的角度的平分线(bisector)。
例如,虚拟轴可以是关于相应的物镜的两个光轴的平分线。因此,虚拟轴位于由两个光轴定义的平面中,并且根据两个光轴的交点平分两个光轴所跨越的角度。对于多于两个的物镜,虚拟轴可以是由多个光轴跨越的体积内的空间平分线。换言之,作为空间平分线的虚拟轴延伸通过多个光轴的交点,与每个光轴的距离基本相等。
替选地,控制装置可以被配置成将加权因子分配给每个光轴,以使虚拟轴朝向或远离光轴之一偏移。控制装置可以根据不同的操作或观看模式(例如,当从3D模式改变到2D模式时,以及反之,当从2D模式改变到3D模式时)适配这种加权因子。然而,虚拟轴仍可以延伸通过光轴的交点。
在一些实施方式中,所述至少一个物镜的焦点被设置为预设工具中心点。
相应地,预设工具中心点对应于所述至少一个物镜的焦点。在预设的工具中心点为所述至少一个物镜的焦点的情况下,可以通过机器人装置使成像装置绕预设的工具中心点以与所述至少一个物镜的焦距对应的半径移动。相应的移动可以允许以不同的视角对对象的预定关注点进行成像。
替选地,预设工具中心点被设置为在沿光轴或虚拟轴的方向上相对于所述至少一个物镜的焦点偏离。
因此,成像装置绕偏离焦点的预设工具中心点的旋转运动可以允许焦点沿着曲面移动,该曲面具有与预设工具中心点与焦点之间的偏移对应的半径。
在一些实施方式中,预设工具中心点被设置为朝向成像装置偏移。
因此,通过成像装置绕相应地预设的工具中心点的旋转运动,焦点可以沿着要成像的凹面移动。特别是关于医学成像,从焦点朝向成像装置偏移的预设工具中心点可以允许通过成像装置绕工具中心点的旋转运动对基本上凹形的腔体或腔体的凹形部分进行成像。优选地,从焦点朝向成像装置偏移的预设工具中心点被设置为对应于这种腔体的开口,以分别优化可接近性或增强成像范围。
在一些实施方式中,预设工具中心点被设置在所述至少一个物镜的物镜平面中或者多个物镜的平均物镜平面中。
对于一个物镜,预设工具中心点被设置为基本在物镜的物镜平面内。然而,在使用多个物镜的情况下,这些物镜可能相互倾斜,例如,为了将各个焦点对准同一关注点,预设工具中心点被设置在多个物镜的平均物镜平面上。例如,用于立体成像的两个物镜可以通过与和每个物镜中心相交的直线重合的平面来定义平均物镜平面,并且光轴从该直线在到其焦点的方向上延伸。换言之,这种配置中的预设工具中心点被设置在虚拟轴上,该虚拟轴在两个物镜之间的中间分别以在对应于物镜中心的高度或平均高度处延伸。
在预设工具中心点被设置在物镜平面或平均物镜平面中的情况下,绕该预设工具中心点转动成像装置可以允许改变要成像的关注点。要成像的关注点的这种移动或变化主要对应于成像装置的最小移动下的环视。
替选地,预设工具中心点被设置为偏离成像装置。
根据预设工具中心点距成像装置的偏移量,预设工具中心点比焦点更远离成像装置。通过成像装置绕这样的预设工具中心点的旋转运动,焦点可以沿着凸面移动,该凸面具有与预设工具中心点与焦点之间的距离对应的半径。
在一些实施方式中,机器人成像系统包括跟踪系统,该跟踪系统被配置成跟踪代表操作者运动的运动,并且控制装置被配置成根据由跟踪系统跟踪的运动控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向。
要由跟踪系统跟踪的操作者或者对象的预定位置可以被控制装置设置为参考位置。成像装置的移动和/或定向因此与被跟踪的操作者或对象的位置变化相关。换言之,成像装置的移动和/或定向可以对应于相对移动,而不是以绝对坐标计算。在变型中,可以不设置预定位置,并且将在开始跟踪以移动和/或定向成像装置时要跟踪的操作者或对象的位置设置为参考位置。为了避免随着操作者或代表性对象的任何移动造成的成像装置的意外移动和/或定向和/或为了将当前位置设置为参考位置,控制装置和/或跟踪系统可以被配置成需要激活跟踪功能。这种激活可以通过脚踏开关、预定的识别手势、经由用户界面的输入等来实现。
在一些实施方式中,跟踪系统被配置成跟踪代表操作者头部运动的运动,特别是由操作者佩戴的与机器人成像系统可操作地连接的头戴式显示器的运动。
例如,操作者头部的位置变化被转换成成像装置的相对移动和/或定向。操作者头部或其计算的原点由此可以被设置为要跟踪的对象。在变型中,跟踪系统可以跟踪与机器人成像系统可操作地连接的头戴式显示器的移动。在另一个变型中,跟踪系统可以跟踪操作者头部和头戴式显示器以进行合理性检查。例如,仅当头戴式显示器的跟踪位置和/或移动对应于操作者头部的跟踪位置和/或移动时,才执行成像装置的移动和/或定向。否则,认为头戴式显示器没有被操作者移动,因此可能不在使用中。
通过跟踪操作者头部和/或头戴式显示器,可以通过控制装置将像点头一样的操作者头部升高和降低转换为绕预设工具中心点相对于与这种点头对应的水平旋转轴的相应旋转运动。因此,控制装置还可以被配置成考虑操作者的观看方向的定向和位置或者相应表示的观看方向的定向和位置。结果,当操作者头部升高或降低时,成像装置可以绕预设工具中心点朝向或远离操作者旋转移动,反之亦然。
类似地,当操作者头部横向倾斜时,成像装置可以相对于与这种横向倾斜对应的水平旋转轴绕预设工具中心点旋转移动。
在一些实施方式中,控制装置被配置成根据由跟踪系统跟踪的移动以预定缩放比率来控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向。
由于操作者的许多移动相对于成像装置所需的精确移动和/或定向而言可能是不精确的,因此可以应用缩放比率以将跟踪的移动转换为成像装置的减少的移动和/或定向。这也可以避免当相应的操作者执行过度的意外移动时被成像对象立即离开视线。特别地,由于操作者倾向于执行小的移动,如果成像装置跟随这样的小移动,这可能导致图像模糊,因此控制装置可以被配置成仅在操作者的最小移动的情况下移动和/或定向成像装置。因此可以设置用于位置改变的相应阈值。然而,这样的阈值可以大于成像装置的最小移动和/或定向。这种潜在的冲突也可以通过预定的缩放比率来减轻。就人体工程学考虑而言,预定缩放比率还可以提高可用性。例如,操作者头部移动45°可能只会导致成像装置移动10°。因此,预定缩放比率大于1。替选地,预定缩放比率可以小于1,例如,以允许成像装置在就跟踪的移动能力而言增强的范围内移动和/或定向。
在一些实施方式中,控制装置被配置成提供不同的预定缩放比率,特别是关于由跟踪系统跟踪的移动的不同移动方向提供不同的预定缩放比率。
由于与点头相比,操作者头部的横向倾斜可以提供增强的移动能力,因此转换为移动和/或定向的这种横向倾斜转换的预定缩放比率可以不同于相对于点头的预定缩放比率。例如,用于操作者头部横向倾斜的预定缩放比率可以高于用于点头的预定缩放比率。
在一些实施方式中,控制装置被配置成:根据由跟踪系统跟踪的运动,适配预设工具中心点和/或控制机器人装置和/或成像装置以适配所述至少一个物镜的焦点。
因此,可以通过相应定义的操作者或者代表操作者的对象的移动来适配预设工具中心点,以设置新的预设工具中心点。例如,当意欲观察腔体而不是暴露表面时,可以将与焦点对应的初始预设工具中心点沿着光轴或虚拟轴在远离成像装置的方向上偏移。例如,可以通过降低操作者头部来执行这种偏移以得到相应偏移的新预设工具中心点。
替选地或附加地,可以通过机器人系统移动成像装置在沿着光轴或虚拟轴的方向上来适配焦点以重新定位焦点。替选地或附加地,可以通过调整所述至少一个物镜的位置或者改变所述至少一个物镜或物镜的配置来适配焦点,例如,通过控制具有多个物镜的转筒式头部来替换或堆叠物镜。因此,可以通过根据代表相应控制的跟踪运动控制机器人装置和/或成像装置来适配焦点。
在一些实施方式中,控制装置被配置成提供不同的操作模式来控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向,或者来适配预设工具中心点和/或控制机器人装置和/或成像装置以适配所述至少一个物镜的焦点。
由于根据相应的操作模式对于控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向或者对于适配预设工具中心点和/或对于控制机器人装置和/或成像装置以适配所述至少一个物镜的焦点进行了可用功能组的限制,因此可以减轻执行意外功能的风险。例如,控制装置可以提供:移动模式,其控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向;工具中心点模式,其适配预设工具中心点;以及聚焦模式,其控制机器人装置和/或成像装置以适配所述至少一个物镜的焦点。因此,要跟踪的不同运动可以根据当前选择的操作模式提供不同的功能。可以根据与跟踪的运动相关联的操作者的授权级别和/或具体操作过程,基于控制装置和/或与机器人成像系统可操作地连接的头戴式显示器的预设配置来选择操作模式。控制装置可以被配置成改变选择性操作模式,例如,由于操作者经由脚踏开关或其他输入装置的输入、基于预定手势和/或接收到其他外部触发信号,例如需要将成像装置移出特定区域以便更好地访问该区域的紧急事件。
替代不同的操作模式或者除此之外,可以跟踪操作者不同身体部位的运动和/或代表操作者的对象的运动。例如,可以根据跟踪的操作者头部和/或相应的头戴式显示器的移动来执行移动和/或定向成像装置,同时可以根据跟踪的操作者手臂或手的运动来执行适配工具中心点。因此,机器人成像系统可以包括能够区分要跟踪的多个对象的跟踪系统和/或多于一个的跟踪系统。在变型中,为了允许操作者在不用手的情况下进行控制或者不干扰通过移动手臂进行的手动任务,可以将不同的操作者头部运动分配给不同的功能。由于头部运动的数量可能受到限制,因此控制装置可以被适配成在预先选择的事件下提供不同组的受限功能。这种选择可能会在过程中发生变化。
在另一方面中,本发明涉及用于控制如前所述的机器人成像系统的机器人装置以使成像装置相对于预设工具中心点移动和/或定向的方法,包括如下步骤:跟踪代表操作者运动的运动;以及根据由跟踪系统跟踪的运动控制控制机器人装置以使成像装置相对于预设工具中心点移动和/或定向。
该方法的优点和修改类似地对应于对包括跟踪系统的机器人成像系统的描述,该跟踪系统被配置成执行相应的方法步骤。具体而言,提供相应机器人成像系统的描述功能的特征或者功能性特征可以被单独视为该方法的特征。
本发明在另一方面中涉及计算机程序产品,该计算机程序产品包括存储在机器可读介质上的程序代码,并且该程序代码当在数据处理装置上执行时被配置成使数据处理装置执行如上所述的方法。
因此,可以升级机器人成像系统,以用简单的方式执行如上所述并且根据相应的机器人成像系统的方法。
本公开内容的其他优点、方面和细节以权利要求、以下应用本公开内容的原理对优选实施方式的描述和附图为准。在附图中,相同的附图标记表示相同的特征和功能。
附图说明
图1是根据示例性实施方式的机器人成像系统的示意性俯视图;
图2是根据示例性实施方式的机器人成像系统的成像装置的示意性前视图。
图3是示例性机器人成像系统的示意性侧视图,其中焦点被设置为预设工具中心点;
图4是示例性机器人成像系统的示意性侧视图,其中预设工具中心点偏离焦点;
图5是示例性机器人成像系统的示意性侧视图,其中预设工具中心点在物镜平面中;以及
图6是示例性机器人成像系统的示意性侧视图,其中焦点和/或工具中心点被适配。
具体实施方式
图1示出了根据示例性实施方式的机器人成像系统1的示意性俯视图。机器人成像系统1包括成像装置10、用于移动和/或定向成像系统10的机器人装置20、控制装置30和跟踪系统40。在示例性实施方式中,控制装置30是单独的装置。然而,在替选实施方式中,控制装置30可以结合在机器人装置20或成像装置10中。控制装置30被配置成通过机器人系统控制成像装置10的移动和/或定向。具体地,控制装置30被配置成控制第一机器人臂22、第二机器人臂23以及铰接接头24,以移动和/或定向成像装置10,该第一机器人臂22从机器人基部21延伸并且与机器人基部21铰接连接,该第二机器人臂23与第一机器人臂铰接连接,成像装置10通过该铰接接头24连接到机器人系统20。控制装置30根据由跟踪系统40跟踪的由操作者60佩戴的头戴式显示器50的移动来控制成像装置10的移动和/或定向。头戴式显示器与机器人成像装置1可操作地连接以显示由成像装置10记录的图像。头戴式显示器50提供要跟踪的预设跟踪参考。在替选实施方式中,跟踪系统40可以替选地或附加地跟踪操作者60的头部的运动。控制装置30通过对机器人系统20的相应控制将所跟踪的预设跟踪参考或头戴式显示器50的位置的变化分别转换为成像装置10相对于预设工具中心点TCP的移动和/或定向(如下所述)。在替选实施方式中,跟踪系统40可以向控制装置30提供已经分别转换的运动数据,以由控制装置30相应地控制机器人系统20。从跟踪系统40到控制装置30的数据传输是通过有线连接执行的。在替选实施方式中,可以无线地执行数据传输。
在示例性实施方式中,成像装置10是立体医学显微镜。成像装置10包括用于立体视图的两个物镜11。在替选实施方式中,成像装置10可以包括仅一个物镜11或多于两个的物镜11。
图2示出了根据示例性实施方式的机器人成像系统1的成像装置10的示意性前视图。两个物镜11中的每一个物镜都指向共同的焦点11b。换言之,物镜11的光轴11a在由共同焦点11b表示的各自的焦点处彼此相交。由于提供了两个光轴11a,所以在光轴11a的方向上对两个物镜11的参考由虚拟轴12表示。虚拟轴12是光轴11a的平分线。垂直于虚拟轴12并且与焦点11b相交的平面是焦平面11c。此外,成像装置10包括作为两个物镜11的平均物镜平面的物镜平面11d。物镜平面11d对应于通过物镜11的一个或多个光学元件(未示出)的光学中心的平面,光轴11a或虚拟轴12从该平面在焦点11b的方向上延伸。
图3示出了示例性机器人成像系统1的示意性侧视图,其中焦点11b被设置为预设工具中心点TCP。这里,控制装置30被配置成提供不同的操作模式,其中,图3示出了控制机器人装置20相对于预设工具中心点TCP移动和/或定向成像装置10的移动模式。此外,控制装置30被配置成提供移动模式中的不同的子模式。图3表示控制机器人装置20相对于作为预设工具中心点TCP的焦点11b移动和/或定向成像装置10的子模式。在替选实施方式中,控制装置30可以被配置成仅向作为工具中心点TCP的焦点11b提供控制和/或可以仅提供移动模式。后面将参照图4至图6描述其他操作模式和子模式。
随着分别激活被设置为预设工具中心点TCP的焦点11b的子模式或移动模式,所跟踪的头戴式显示器50的移动被转换为成像装置10围绕预设工具中心点TCP的旋转运动。换言之,焦点11b保持在相同位置,同时成像装置10的视角对应于代表操作者60头部的运动的头戴式显示器50的运动而改变。如由双箭头指示的,操作者60可以升高或降低他/她的头部以使成像装置10绕预设工具中心点TCP中的第一水平轴朝向或远离操作者的位置移动,或者可以横向倾斜他/她的头部以同样地使成像装置10绕垂直于第一水平轴的第二水平轴横向倾斜。控制装置30以预定缩放比率将所跟踪的移动转换为成像装置10的移动。此处,作为示例性示例,头戴式显示器50移动45°导致绕预设工具中心点TCP相应旋转10°。移动后的成像装置10的位置由图3中的虚线指示。
图4示出了示例性机器人成像系统1的示意性侧视图,其中,预设工具中心点TCP偏离焦点11b。控制装置30仍执行移动模式,但是以预设工具中心点TCP从焦点11b沿虚拟轴12朝向成像装置10偏移的子模式来执行。预设工具中心点TCP从焦点11b朝向成像装置10偏移可以允许沿着凹形路径对腔体70内的不同位置进行成像,该凹形路径具有根据预设工具中心点TCP与焦点11b之间的距离的半径。预设工具中心点TCP被设置为基本上位于由腔体70的开口限定的平面中,以允许增强的视角范围而不受可能很窄的开口的限制。在替选设置中,例如,当对暴露的凹面进行成像时,可以根据要遵循的曲率自由选择预设工具中心点TCP。这允许在表面偏离具有恒定半径的曲率的情况下以更少的努力来适配焦点11b。替代在这种情况下适配焦点或除此之外,控制装置10可以被配置成重新定位预设工具中心点TCP。如根据图3的双箭头所指示的所跟踪的头戴式显示器50的移动导致如关于图3描述的成像装置10的移动,但是参考从焦点11b偏移的重新定位的预设工具中心点TCP。
图5示出了示例性机器人成像系统1的示意性侧视图,其中,预设工具中心点TCP位于物镜平面11d中。控制装置30仍执行移动模式,但是以虚拟轴12上的预设工具中心点TCP位于物镜平面11d中的子模式来执行。从成像装置10的初始位置与根据虚线表示的移动后的成像装置10的位置之间的比较可以明显看出,可以在仅稍微移动成像装置10的同时完成环视。如根据图3和图4中的一个的双箭头所指示的所跟踪的头戴式显示器50的移动导致如关于图3描述的成像装置10的移动,但是参考被设置在物镜平面11d中的重新定位的预设工具中心点TCP。
图6示出了示例性机器人成像系统1的示意性侧视图,其中,焦点和/或工具中心点被适配。因此,控制装置30可以执行聚焦模式或工具中心点模式。关于示例性聚焦模式,控制装置30将如由双箭头指示的所跟踪的根据头戴式显示器50的升高或降低的运动转换为焦点11b的相应重定位,头戴式显示器50的升高或降低响应于操作者60的移动。换言之,操作者60的头部的旋转运动被转换为焦点11b的平移运动。焦点的重新定位可以通过相应地移动成像装置10和/或通过适配物镜11的焦距来执行。类似地,在工具中心点模式下通过将所跟踪的头戴式显示器50的旋转运动转换为预设工具中心点TCP沿虚拟轴12的平移重定位来适配预设工具中心点TCP。
在本文中关于示例性实施方式对本发明进行了描述。然而,本发明不限于示例性实施方式。特别地,控制装置10可以被配置成在没有或独立于任何操作模式的情况下根据预定的跟踪运动执行不同的描述的功能。
附图标记列表
1机器人成像系统
10成像装置
11物镜
11a光轴
11b焦点
11c焦平面
11d物镜平面
12虚拟轴
20机器人装置
21机器人基部
22第一机器人臂
23第二机器人臂
24铰接接头
30控制装置
40跟踪系统
50头戴式显示器
60操作者
70腔体
TCP工具中心点。
Claims (15)
1.一种机器人成像系统(1),包括:
成像装置(10),其具有至少一个物镜(11),其中,所述至少一个物镜(11)提供沿所述物镜(11)的聚焦方向延伸的光轴(11a),
机器人装置(20),其连接到所述成像装置(10)以移动和/或定向所述成像装置(10),以及
控制装置(30),其被配置成设置预设工具中心点(TCP)并且控制所述机器人装置(20)以相对于所述预设工具中心点(TCP)移动和/或定向所述成像装置(10),
其中,用于移动和/或定向所述成像装置(10)的所述预设工具中心点(TCP)被设置在所述至少一个物镜(11)的光轴(11a)上或者被设置在与所述成像装置(10)的多个物镜(11)的各个光轴(11a)的平均矢量对应的虚拟轴(12)上。
2.根据权利要求1所述的机器人成像系统(1),其中,所述虚拟轴(12)是所述成像装置(10)的所述多个物镜(11)的各个光轴(11a)的角度的平分线。
3.根据权利要求1或2所述的机器人成像系统(1),其中,所述至少一个物镜(11)的焦点(11b)被设置为所述预设工具中心点(TCP)。
4.根据权利要求1或2所述的机器人成像系统(1),其中,所述预设工具中心点(TCP)被设置为在沿所述光轴(11a)或者所述虚拟轴(12)的方向上相对于所述至少一个物镜(11)的焦点(11b)偏移。
5.根据权利要求4所述的机器人成像系统(1),其中,所述预设工具中心点(TCP)被设置为朝向所述成像装置(10)偏移。
6.根据权利要求5所述的机器人成像系统(1),其中,所述预设工具中心点(TCP)被设置在所述至少一个物镜(11)的物镜平面(11d)中或者多个物镜(11)的平均物镜平面(11d)中。
7.根据权利要求4所述的机器人成像系统(1),其中,所述预设工具中心点(TCP)被设置为偏离所述成像装置(10)。
8.根据前述权利要求中任一项所述的机器人成像系统(1),其中,所述机器人成像系统(1)包括跟踪系统(40)和控制装置(30),所述跟踪系统(40)被配置成跟踪代表操作者运动的运动,所述控制装置(30)被配置成根据由所述跟踪系统(40)跟踪到的运动来控制所述机器人装置(20)以相对于预设工具中心点(TCP)移动和/或定向所述成像装置(10)。
9.根据权利要求8所述的机器人成像系统(1),其中,所述跟踪系统(40)被配置成跟踪代表操作者的头部运动的运动,特别是要由所述操作者(60)佩戴的头戴式显示器(50)的运动,所述头戴式显示器(50)与所述机器人成像系统(1)可操作地连接。
10.根据权利要求8或9所述的机器人成像系统(1),其中,所述控制装置(30)被配置成根据由所述跟踪系统(40)跟踪到的运动以预定缩放比率控制所述机器人装置(20)相对于所述预设工具中心点(TCP)移动和/或定向所述成像装置(10)。
11.根据权利要求10所述的机器人成像系统(1),其中,所述控制装置(30)被配置成提供不同的预定缩放比率,特别是针对由所述跟踪系统(40)跟踪到的运动的不同移动方向提供不同的预定缩放比率。
12.根据权利要求8至11中任一项所述的机器人成像系统(1),其中,所述控制装置(30)被配置成:根据由所述跟踪系统(40)跟踪到的运动,适配所述预设工具中心点(TCP)和/或控制所述机器人装置(20)以及/或者所述成像装置(10)以适配所述至少一个物镜(11)的焦点(11b)。
13.根据前述权利要求中任一项所述的机器人成像系统(1),其中,所述控制装置(30)被配置成提供不同的操作模式来:控制所述机器人装置(20)以相对于预设工具中心点(TCP)移动和/或定向所述成像装置(10);或者适配所述预设工具中心点(TCP)和/或控制所述机器人装置(20)以及/或者所述成像装置(10)以适配所述至少一个物镜(11)的焦点(11b)。
14.一种用于控制根据权利要求8至13中任一项所述的机器人成像系统(1)的所述机器人装置(20)以相对于所述预设工具中心点(TCP)移动和/或定向所述成像装置(10)的方法,所述方法包括以下步骤:
-跟踪代表操作者运动的运动,以及
-根据由所述跟踪系统(40)跟踪到的运动,控制所述机器人装置(20)以相对于预设工具中心点(TCP)移动和/或定向所述成像装置(10)。
15.一种计算机程序产品,包括存储在机器可读介质上的程序代码,并且所述程序代码当在数据处理装置上执行时,被配置成使所述数据处理装置执行根据权利要求14所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21192310.7 | 2021-08-20 | ||
EP21192310.7A EP4137279A1 (en) | 2021-08-20 | 2021-08-20 | Robotic imaging system and method for controlling a robotic device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115707564A true CN115707564A (zh) | 2023-02-21 |
Family
ID=77431168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210883236.9A Pending CN115707564A (zh) | 2021-08-20 | 2022-07-26 | 机器人成像系统及用于控制机器人装置的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230055955A1 (zh) |
EP (1) | EP4137279A1 (zh) |
CN (1) | CN115707564A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6795471B2 (ja) * | 2017-08-25 | 2020-12-02 | ファナック株式会社 | ロボットシステム |
US11382699B2 (en) * | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
-
2021
- 2021-08-20 EP EP21192310.7A patent/EP4137279A1/en active Pending
-
2022
- 2022-07-26 CN CN202210883236.9A patent/CN115707564A/zh active Pending
- 2022-08-10 US US17/884,639 patent/US20230055955A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230055955A1 (en) | 2023-02-23 |
EP4137279A1 (en) | 2023-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230355323A1 (en) | Surgical microscope with gesture control and method for a gesture control of a surgical microscope | |
US20180160035A1 (en) | Robot System for Controlling a Robot in a Tele-Operation | |
US10251713B2 (en) | Robotized surgery system with improved control | |
US10682038B1 (en) | Autonomous robotic laparoscope based on eye tracking | |
EP3912588B1 (en) | Imaging system for surgical robot, and surgical robot | |
JP2019523663A (ja) | ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体 | |
AU2012227252B2 (en) | Surgical Stereo Vision Systems And Methods For Microsurgery | |
US9510753B2 (en) | Asymmetric aperture for eyetracking | |
WO2019143864A1 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
US20200397531A1 (en) | Medical handling device and method for controlling a handling device | |
US11868525B2 (en) | Eye center of rotation determination with one or more eye tracking cameras | |
CN109977828B (zh) | 一种摄像头云台自动俯仰调节的方法与装置 | |
US11409091B2 (en) | Method of operating a surgical microscope and surgical microscope | |
US11864841B2 (en) | Method of operating a surgical microscope and surgical microscope | |
US11460684B2 (en) | Method of operating a surgical microscope and surgical microscope | |
CN115707564A (zh) | 机器人成像系统及用于控制机器人装置的方法 | |
WO2021181303A1 (en) | Head mounted display (hmd) apparatus, method, and system | |
JP2008233081A (ja) | 視空間点認知の方法 | |
KR20020044750A (ko) | 영상을 이용한 머리의 위치 및 방향을 추적하는 방법 | |
US11981035B2 (en) | Medical handling device and method for controlling a handling device | |
JP4290084B2 (ja) | 3次元視点位置・視線方向の入力装置 | |
WO2024097162A1 (en) | Systems including a graphical user interface for a surgical robotic system | |
CN109960025A (zh) | 用于观察物体的方法、非暂时性计算机可读存储介质和医学观察设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |