CN102791214B - 采用实时速度优化的不经校准的视觉伺服 - Google Patents

采用实时速度优化的不经校准的视觉伺服 Download PDF

Info

Publication number
CN102791214B
CN102791214B CN201080065226.XA CN201080065226A CN102791214B CN 102791214 B CN102791214 B CN 102791214B CN 201080065226 A CN201080065226 A CN 201080065226A CN 102791214 B CN102791214 B CN 102791214B
Authority
CN
China
Prior art keywords
robot
end effector
image
trace
digital video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080065226.XA
Other languages
English (en)
Other versions
CN102791214A (zh
Inventor
A·波波维奇
P·西恩帕波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102791214A publication Critical patent/CN102791214A/zh
Application granted granted Critical
Publication of CN102791214B publication Critical patent/CN102791214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/14—Arm movement, spatial
    • Y10S901/15—Jointed arm
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

一种用于具有光学取景器的摄像机（30）和机器人（40）的机器人控制方法，所述机器人（40）具有末端执行器（42）以及用于操纵所述末端执行器（42）的一个或多个关节（41）。所述机器人控制方法涉及：采集示出了所述摄像机（30）光学检视的图像的数字视频帧（32）；以及执行视觉伺服，所述视觉伺服用于控制所述末端执行器（42）相对于所述数字视频帧（32）内的图像特征的姿态。所述视觉伺服涉及：识别所述数字视频帧（32）的图像坐标系（80）内的从跟踪点（TR）延伸至与所述图像特征相关联的目标点（TG）的跟踪向量（vtrk）；将跟踪向量映射到从与末端执行器（42）相关联的机器人坐标系（90）构建的配置空间（100）内；并从跟踪向量（vtrk）在所述配置空间（100）内的映射导出机器人坐标系（90）内的末端执行器（42）的姿态。

Description

采用实时速度优化的不经校准的视觉伺服
技术领域
本发明总体涉及机器人流程期间机器人的视觉伺服。本发明尤其涉及在微创手术期间内窥镜机器人的视觉伺服。
背景技术
一般而言，微创手术利用内窥镜，内窥镜是一种具有成像能力的长的柔性或刚性管。在将内窥镜通过自然孔口或者小的切口插入到体内时，内窥镜提供感兴趣区域的图像，外科医生在执行操作时可以通过目镜或者屏幕观看所述图像。
视觉伺服是一种采用视觉输入（图像）来设置机器人运动参数的机器人控制方法。这一方法用于对目标的机器人追随、自主型机器人等。就手术机器人学而言，在控制回路中采用视觉伺服，其借助医学图像朝向某些特定解剖学目标（例如，器官）或手术目标（例如，仪器）引导机器人。在这一领域中，一种用于视觉伺服的标准成像模态是刚性内窥镜。将内窥镜的摄像机馈入连接至提供导引信息的机器人控制环。
为了使所述视觉伺服的控制环闭合，必须在图像坐标与机器人关节空间之间建立数学变换（其被称为ImageJacobian(图像雅可比矩阵))。所述整个过程被称为系统校准，并且其需要诸如摄像机校准和机器人校准的各种步骤。此外，为了提供充分的校准，必须通过图像或者利用专用传感器测量摄像机与研究中的器官/对象之间的深度。
更具体而言，摄像机校准是设定固有摄像机参数的过程，所述参数例如为图像的光学中心、沿两个方向的焦距和像素大小。这一操作通常在手术前完成，并且其涉及采集校准对象（通常为棋盘状对象）的若干幅图像，并从这些图像计算参数。如果在手术期间改变这些参数中的一些（例如，改变摄像机聚焦），那么必须重复摄像机校准。
机器人校准是在机器人的关节空间和末端执行器（end-effector）之间建立数学关系的过程，在这一领域内所述末端执行器为内窥镜。这一过程是一个在实践中得到完善的简单过程。然而，通常要求由技术专家来执行所述校准。如果用户/外科医生使内窥镜相对于机器人发生了移动，那么必须重复机器人校准。
人们已经提出了各种不同的用于解决医学机器人学中的，尤其是内窥镜手术中的视觉伺服的方案，但是所有的这些方案都依赖于ImageJacobian，其可能经受本领域已知的各种缺陷。
发明内容
本发明提供了一种视觉伺服技术，其不依赖于ImageJacobian或者从内窥镜图像的深度感知。更具体而言，本发明的视觉伺服技术涉及持有内窥镜的机器人，由此消除了校准内窥镜或者获得内窥镜图像相对于机器人的相对位置的必要性。本发明的视觉伺服技术还允许机器人系统与标准内窥镜一起使用，无需对硬件做出任何调整，而且在手术工作流程中不需要额外的过程。本发明的视觉伺服还允许内窥镜在手术中变化（例如，前视到倾斜或相反）。
本发明的一种形式是采用摄像机（例如，内窥镜）、机器人和机器人控制器的机器人系统。所述摄像机具有光学取景器（例如，前向或倾斜)，其用于采集示出了图像的数字视频帧。所述机器人包括末端执行器以及用于操纵所述末端执行器的一个或多个关节。所述机器人控制器包括视觉伺服，其用于控制所述末端执行器相对于所述数字视频帧内的图像特征的姿态。为此，所述视觉伺服识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量，将跟踪向量映射到从与末端执行器相关联的机器人坐标系构建的配置空间内，以及从跟踪向量在所述配置空间内的映射导出机器人坐标系内的末端执行器的姿态。
本发明的另一种形式是一种包括具有光学取景器的摄像机和机器人的机器人控制方法，所述机器人具有末端执行器以及用于操纵所述末端执行器的一个或多个关节。所述机器人控制方法涉及：采集示出了由所述摄像机光学检视的图像的数字视频帧；以及执行视觉伺服，用于控制所述末端执行器相对于所述数字视频帧内的图像特征的姿态。所述视觉伺服涉及：识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量；将跟踪向量映射到从与末端执行器相关联的机器人坐标系构建的配置空间内；以及从跟踪向量在所述配置空间内的映射导出机器人坐标系内的末端执行器的姿态。
附图说明
图1图示了根据本发明的机器人系统的示范性实施例。
图2图示了根据本发明的机器人控制环的示范性实施例。
图3-6图示了根据图2所示的机器人控制环的示范性数字视频帧序列。
图7图示了表示根据本发明的机器人控制方法的示范性实施例的流程图。
图8图示了表示根据本发明的方向设定方法的示范性实施例的流程图。
图9-11图示了根据图8所示的流程图的末端执行器姿态确定的第一示范性序列。
图12-14图示了根据图8所示的流程图的末端执行器姿态确定的第二示范性序列。
图15图示了表示根据本发明的光学视觉伺服方法的第一示范性实施例的流程图。
图16图示了表示根据本发明的光学视觉伺服的第二示范性实施例的流程图。
图17图示了根据本发明的速率因数的示范性稳定化。
图18图示了表示根据本发明的速率调节方法的示范性实施例的流程图。
图19图示了表示根据本发明的方向调节方法的示范性实施例的流程图。
图20图示了表示根据本发明的目标探头方法的示范性实施例的流程图。
具体实施方式
如图1所示，机器人系统20采用摄像机30、机器人40和机器人控制器50实施涉及机器人40的自动运动能力的任何机器人过程。这样的机器人过程的范例包括，但不限于，医学流程、装配线流程以及涉及移动机器人的流程。具体而言，机器人系统20可以应用的医学流程包括，但不限于，微创心脏手术（例如，冠状动脉旁路移植术或二尖瓣置换）、微创腹部手术（腹腔镜检查）（例如，前列腺切除术或胆囊切除手术）和通过自然孔口穿越腔的内窥镜手术。
摄像机30可以是具有前向光学取景器或倾斜光学取景器的任何类型的摄像机，并且其采用任意类型的帧接收器31，所述帧接收器能够以预定帧速率（例如，每秒30帧）采集二维数字视频帧序列32。在一个示范性实施例中，摄像机30是内窥镜，文中将其广义地定义为在结构上被配置为通过成像装置（例如，光纤光学器件、透镜、基于微型化CCD的成像系统等）对（例如，人或动物的）身体的解剖区域进行成像的任何装置，其具有前向光学取景器或倾斜光学取景器，并且采用能够向机器人控制器50提供每一数字视频帧32的数字帧接收器。内窥镜的范例包括，但不限于，任何类型的成像窥镜（例如，支气管镜、结肠镜、腹窥镜、关节镜等）以及与窥镜类似的配备有成像系统（例如，成像套管）的任何装置。
文中将机器人40广义地定义为任何机器人装置，其在结构上配置了对一个或多个关节41的电动化控制，从而根据需要操纵机器人40的末端执行器42实施具体的机器人过程。在实践中，机器人40可以具有最少四（4）个自由度，优选具有六（6）个或七（7）个自由度。
末端执行器42的姿态是末端执行器42在机器人40的坐标系内的位置和取向，并且末端执行器42的任何既定的姿态都决定着摄像机40的光学取景器在机器人40的坐标系内的姿态。照此，可以将摄像机30安装到末端执行器42上（例如，将内窥镜安装到机器人40上，从而在医学过程中提供身体解剖区域的视图）。
对于涉及具有前向光学取景器的摄像机30的机器人40的实施例而言，机器人40可以允许摄像机30的任何暂时（provisory）取向（例如，摄像机30关于摄像机30的纵轴的手术中人工旋转）。对于涉及具有倾斜光学取景器的摄像机30的机器人40的实施例而言，机器人40可以具有用于使摄像机30关于摄像机30的纵轴旋转的特定的关节。
文中将机器人控制器50广义地定义为任何控制器，其在结构上被配置为向机器人40提供一个或多个机器人控制命令（“RCC”），从而针对具体的机器人流程根据需要控制末端执行器42的姿态，其方式是根据需要命令每一（或多个）机器人关节41产生所限定的运动，以实现末端执行器42的预期姿态。
例如，在摄像机30是安装到末端执行器42上的内窥镜的情况下，（一个或多个）机器人控制命令52可以根据需要使一个或多个机器人关节41产生运动，从而促进内窥镜对手术工具的仪器顶端的跟踪，由此为外科医生提供所述顶端的一致的视图，或者通过所述关节运动使内窥镜朝向具体的解剖学特征，诸如，心脏手术中的血管导引所述内窥镜，也可以通过所述关节运动使内窥镜的生理运动与器官吻合，从而提供所述器官的解剖学视图的稳定图像。
对于数字视频帧32内的图像的特征的机器人跟踪而言，机器人控制器50包括视觉伺服51，其用于控制末端执行器42相对于每一数字视频帧32内的图像的特征的姿态。具体而言，视觉伺服51通过执行自适应算法实现对数字视频帧32内的具体图像特征的定义目标点（例如，一个或多个像素）的静态或动态机器人跟踪，所述算法自动识别从跟踪点（例如，一个或多个像素）延伸至数字视频帧32内的目标点的跟踪向量。此外，所述自适应算法根据需要为每一数字视频帧32更新所述跟踪向量，或者按照数字视频帧32的任何指定的帧速率更新所述向量。
为此目的，如图2所示，视觉伺服51通过闭合机器人控制环21实施特征跟踪过程53、方向设置过程55和逆运动学过程57，其图像采集33由帧接收器31和（一个或多个）机器人关节41的（一个或多个）受控运动43实施。在实践中，可以通过视觉伺服51的模块（未示出）实施过程53、55和57，所述模块是通过安装在任何平台（例如，通用计算机、ASIC板等）上的硬件、软件和/或固件实现的。
参考图2，特征跟踪过程53涉及对每一数字视频帧32的单独处理，以识别数字视频帧32内的特定图像特征的目标点，这是本领域已知的。例如，图3-6示出了由黑色X标示的特定图像特征的目标点TG的四（4）个数字视频帧32。在图3-6的这一范例中，所述特定特征可以是具有摄像机30的手术工具的仪器顶端，所述摄像机30是用于为外科医生提供所述顶端的一致视图的内窥镜，或者所述特定特征可以是诸如血管或器官的具体解剖学特征的限定部分。
再次参考图2，特征跟踪53生成指示每一数字视频帧32内的目标点的受到跟踪的运动的二维图像数据（“2DID”），并且方向设置过程55继而对所述2D数据54进行处理，从而针对每一数字视频帧32识别从跟踪点延伸至目标点的跟踪向量（例如，跟踪方向和跟踪速率）。所述跟踪向量的识别设定从跟踪点延伸至目标点的固定跟踪方向，并且设定跟踪速率，所述跟踪速率同样可以是固定的，也可以通过对其进行调整来优化对目标点的跟踪。对于其跟踪向量具有任意大小或者具有最低大小的每一数字视频帧32而言，方向设置过程55生成指示机器人40的末端执行器42相对于数字视频帧32内的图像特征的预期姿态的三维机器人数据（“3DRD”）。逆运动学过程57对3D数据56进行本领域已知的处理，从而根据需要生成一个或多个机器人控制命令52，以实现（一个或多个）机器人关节41的（一个或多个）适当关节运动43，由此实现末端执行器42相对于数字视频帧32内的图像特征的预期姿态。
例如，图3-6图示了跟踪向量的识别，所述跟踪向量从由白色X标示的跟踪点TR延伸至目标点TG。具体而言，图3示出了数字视频帧32（1），其具有最初处于跟踪点TR处的目标点TG。如图4所示，随着目标点TG在数字视频帧32（2）内从跟踪点TR处移开，方向设置过程55识别通过从跟踪点TR指向目标点TG的箭头标示的跟踪向量。方向设置过程55从所述跟踪向量的识别为数字视频帧32（3）设置用于使数字视频帧32（2）内的跟踪点TR向目标点TG的方向运动的跟踪方向，并利用所述跟踪向量的跟踪方向和跟踪速率来确定机器人40的末端执行器42相对于数字视频帧32（2）内的图像特征的预期姿态。接着，逆运动学过程57根据需要生成（一个或多个）机器人控制命令52，以实现（一个或多个）机器人关节41的（一个或多个）适当关节运动43，由此实现末端执行器42相对于数字视频帧32（2）内的图像特征的预期姿态。
如图5所示，数字视频帧32（3）图示了被朝向目标点TG的方向运动的跟踪点TR，但是目标点TG仍然距跟踪点TR存在位移。方向设置过程55再次识别由从跟踪点TR指向目标点TG的箭头标示的跟踪向量。方向设置过程55从跟踪向量的识别为数字视频帧32（5）（未示出）设置用于使数字视频帧32（4）内的跟踪点TR向目标点TG的方向运动的跟踪方向，并利用所述跟踪向量的跟踪方向和跟踪速率确定末端执行器42相对于数字视频帧32（3）内的图像特征的预期姿态。逆运动学过程57再次根据需要生成（一个或多个）机器人控制命令52，以实现（一个或多个）机器人关节41的（一个或多个）适当关节运动43，由此实现机器人40的末端执行器42相对于数字视频帧32（4）内的图像特征的预期姿态。
如图6所示，数字视频帧32（4）图示了再一次吻合的跟踪点TR和目标点TG。因而，数字视频帧32（4）的跟踪向量为零，并且机器人控制器50将使（一个或多个）机器人关节41保持固定状态，直到这样的在时间上相继产生的数字视频帧32指示在跟踪点TR与目标点TG之间存在非零跟踪向量或者具有最低大小的跟踪向量为止。
文中对图1-6的描述便于对视觉伺服51的一般理解。下文中对图8-16所示的视觉伺服51的示范性实施例的描述便于对视觉伺服51的更加详尽的理解。具体地，对于图15和16所示的视觉伺服方法而言，在每一视频帧内根据需要调整所述跟踪速度，或者按照任何指定的帧速率调整所述跟踪速度，直到锁定最佳跟踪速度为止。
图7图示了由机器人系统20（图1）执行的表示视觉伺服51的机器人控制方法的流程图60。具体而言，流程图60包括机器人校准阶段S61和目标初始化阶段S62，所述阶段是视觉伺服阶段S63的先决条件。在实践中，在最初实施阶段S61时，可以仅须针对新的受到跟踪的图像特征执行阶段S62和S63，本领域技术人员应当认识到这一点。
阶段S61包括本领域技术人员已知的对机器人40的机器人校准，其涉及在机器人40的关节空间和末端执行器42之间建立数学关系。
阶段62包括本领域已知的对数字视频帧32内的图像的具体特征的目标初始化。在阶段S62的一个示范性实施例中，摄像机30在特定环境内的垂直运动（插入）是一项可由系统20的用户设置的参数，因此其超出了视觉伺服51的自动控制范围。因此，在摄像机30插入到所述环境内之后，可以以两（2）个末端执行器42的自由度执行由视觉伺服51对机器人40的自动控制，所述两个自由度包括theta角θ和phi角其用于界定机器人40的二维球冠。其可能涉及在将摄像机30插入到所述环境内时为机器人40建立虚拟的远程旋转中心（“RCM”），由此，所述虚拟RCM将决定机器人40围绕指定枢轴点（例如，在具有最低侵入性的手术过程中内窥镜通过患者体内的小的切口的插入点）的运动，其界定了机器人40的球锥工作区。本领域技术人员将认识到基于theta角θ和phi角将所述球锥工作区转换成二维球冠。
对于摄像机30为内窥镜的机器人控制器50的RCM实施例而言，可以通过下述方式定义相对于内窥镜的RCM点：（1）利用沿内窥镜的轴被布置为与内窥镜的顶端相距固定距离的标记；（2）用户通过计算机程序指定RCM点与内窥镜顶端之间的距离；（3）将内窥镜的窥镜顶端放置到预期的插入点，尔后将所述插入点设定为RCM，并将内窥镜插入到预期的深度；或者（4）利用相对于机器人40的空间预定点，并将机器人放置到所述预定点与预期插入点吻合的位置。
在实践中，机器人40的基于RCM的运动将是由机器人控制器50实施的用以实现流程图60的阶段S63的视觉伺服的典型工作模式。或者，机器人控制器50可以为阶段S63的视觉伺服实施摄像机40的初始放置，其定义了摄像机40的球锥工作区。对于任何工作模式而言（RCM或其他），阶段S63包含涉及前文结合图2的说明描述的特征跟踪过程53和逆运动学过程57的视觉伺服，阶段S63还涉及图8-16所示的方向设置过程55的示范性实施例。
具体而言，图8图示了表示本发明的方向设置方法的流程图70。为了便于对流程图70的理解，由内窥镜末端执行器93代表末端执行器42。在一个实施例中，内窥镜末端执行器93是其近端通过本领域已知的任何手段耦合至机器人40的内窥镜。
参考图8，流程图70的阶段S71包含每一数字视频帧32的二维图像坐标系80向机器人40的三维、二自由度机器人坐标系90的映射。在通过阶段S71所示的一个实施例中，图像坐标系80具有x坐标和y坐标，并且机器人坐标系90是具有通过虚线标示的从枢轴点91（例如，虚拟RCM）延伸至二维面92的轴的球冠，所述二维面92是由内窥镜末端执行器93关于枢轴点91的完整旋转勾勒出来的。在已知枢轴点91和内窥镜末端执行器93的远端顶端之间的距离的实践当中，theta角θ对内窥镜末端执行器93的远端顶端相对于原点沿面92的边缘关于所述球冠的轴的旋转程度给出了明确的定量表述，而phi角对内窥镜末端执行器93的远端顶端与所述球冠的轴之间的分离程度给出了明确的定量表述。或者，在已知枢轴点91和内窥镜末端执行器93的远端顶端之间的距离的实践当中，theta角θ隐含指示内窥镜末端执行器93的远端顶端相对于原点沿面92的边缘关于所述球冠的轴的旋转程度，而phi角隐含指示内窥镜末端执行器93的远端顶端与所述球冠的轴之间的分离程度。
流程图70的阶段S72包含相对于由机器人坐标系90定义的theta角θ和phi角的可能范围构建机器人坐标系90的二维配置空间100。具体而言，所述配置空间的构建涉及将机器人坐标系90的面92的球面投影到充当所述配置空间100的二维面内。所得到的配置空间100表示内窥镜末端执行器93的顶端的相对于两个可设置参数的整个配置空间。
流程图70的阶段S73包含相对于机器人坐标系90的对内窥镜末端执行器93的姿态确定，其涉及以跟踪向量在图像坐标系80内的映射为基础的配置空间100内的机器人向量的映射。具体而言，将多个数字视频帧上的图像坐标系80内的图像的运动映射到配置空间100内。将图像坐标系80内的通过像素（隐含地通过毫米）表示的位置转换为通过机器人坐标系90内的两个角度（弧度）表示的内窥镜末端执行器93的姿态，其中，所述两个角度是由配置空间100表现的，鉴于这一事实，这一映射是具有未知比例尺的定性映射。
例如，如图9-11所示，在三（3）个数字视频帧内，对具有由围绕跟踪点（白色X）的环表示的最低大小的跟踪向量（vtrk）的识别将实现将所述跟踪向量（vvtrk）映射为配置空间100内的机器人向量（vrob）。在映射比例尺未知的情况下，将图像坐标系80内的目标点TG的位置转换为通过机器人坐标系90内的两个角度（弧度）表示的内窥镜末端执行器93的姿态，其中，所述两个角度是由配置空间100表示的。为此目的，图像坐标系80内的跟踪向量（vtrk）的跟踪方向决定着机器人坐标系90内的机器人向量（vrob）的机器人方向，接着通过逆运动学对所述机器人方向进行处理，从而使机器人关节41产生运动，进而实现机器人坐标系90内的内窥镜末端执行器93的姿态。
作为另一个范例，如图12-14所示，在三（3）个数字视频帧内，对具有最低大小的跟踪向量（vtrk）的识别再次实现了将所述跟踪向量（vtrk）映射为配置空间100内的机器人向量（vrob）。再次在映射比例尺未知的情况下，将图像坐标系80内的目标点TG的位置转换为通过机器人坐标系90内的两个角度（弧度）表示的内窥镜末端执行器93的姿态，其中，所述两个角度是通过配置空间100表示的。为此目的，图像坐标系80内的跟踪向量（vtrk）的跟踪方向决定着机器人坐标系90内的机器人向量（vrob）的机器人方向，接着通过逆运动学对所述机器人方向进行处理，从而使机器人40的（一个或多个）关节41产生运动，进而实现机器人坐标系90内的内窥镜末端执行器93的姿态。
参考图9-14，如前文所述，图像坐标系80和配置空间100之间的映射比例尺是未知的。因而，使跟踪向量（vtrk）归一化（即，将长度设为1），并将其作为机器人向量（vrob）变换至配置空间100。因此，与机器人向量（vrob）相关的theta角θ和phi角的值界定了沿机器人向量（vrob）的既定方向的单位机器人位移。在实践中，可以对机器人40进行速度控制，其中，沿theta角θ方向和phi角方向这两个方向通过弧度/秒定义单位机器人位移。由于对机器人向量（vrob）进行了归一化，因而沿theta角θ方向和phi角方向的速度应当≤1弧度/秒。然而，根据其他参数（例如，数字视频帧32中的特征的深度、数字视频帧32中的跟踪点的相对速率等），机器人向量（vrob）的速度可能不足以使跟踪点TR抵达目标点TG，或者可能过快，从而使跟踪点TR越过了目标点TG。
为了对图像坐标系80和配置空间100之间的未知映射比例尺做出补偿，图15图示了流程图110，并且图16图示了流程图120，二者均表示可以在阶段S73期间实施的对跟踪向量的跟踪速率分量进行优化的最佳视觉伺服方法。
参考图15，只要目标点已经在数字视频帧32的两（2）个相继的采样帧之间相对于跟踪点发生了位移，那么流程图110的阶段S111就将涉及速率因数（s）的初始化和图像坐标系80内的跟踪向量（vtrk）的识别。在实践中，速率因数（s）的初始值可以是任何无量纲经验值（例如，≤1≥）。阶段S111还涉及等于跟踪向量（vtrk）的参考向量（vref)的初始化。
流程图110的阶段S112涉及配置工作区100内的机器人向量（vrob）的识别，其涉及将跟踪向量（vtrk）映射到配置工作区100内。阶段S112还涉及将跟踪速度设置为速率因数（s）与机器人向量（vrob）的乘积，其中，速率因数（s）调整与机器人向量（vrob）相关的theta角θ和phi角的弧度/秒值。将跟踪速度（s*vrob）映射至机器人坐标空间100，从而采用对应的theta角θ和phi角生成3D机器人数据作为实现所述跟踪速度（s*vrob）所需的机器人运动的指示。
由于机器人40根据跟踪速度产生了运动，因而鉴于这样的事实，即：（1）由于末端执行器42的任何运动，目标点可能正在相继的采样数字图像帧32的图像坐标系80内发生运动；以及（2）目标点可能正在所述环境的坐标系内运动，必须从数字视频帧32的后续帧对跟踪点和目标点之间的任何位移进行更新。因此，利用流程图110的阶段S113-S117按照数字视频帧32的采样速率（例如，数字视频帧32的每一帧或者按照指定的数字视频帧32的帧速率）来调整跟踪速度。
具体而言，阶段S113涉及在相继的数字视频帧32的采样帧内更新跟踪点和目标点之间的跟踪向量（vtrk）。阶段S114确定跟踪向量（vtrk）是否小于准确度阈值，建立所述阈值的目的在于，在数字视频帧32的相继采样帧内不存在显著噪声的情况下保持稳定的机器人40的定位。如果跟踪向量（vtrk）小于准确度阈值，那么流程图110返回至阶段S113，从而跟踪数字视频帧32的下一相继采样帧内的跟踪向量（vtrk）。否则，流程图110进行至阶段S115，以确定跟踪向量（vtrk）和参考向量（vref）之间的角度是否小于角度阈值X°（例如，90°）。
如果跟踪向量（vtrk）和参考向量（vref）之间的角度小于所述角度阈值X°，那么流程图110进行至阶段S116，从而更新等于跟踪向量（vtrk）的参考向量（vref），并增大速率因数（s），尔后返回至阶段S112，从而根据需要针对额外的数字视频帧32的采样帧重复所述环。如果跟踪向量（vtrk）和参考向量（vref)之间的角度等于或大于角度阈值X°，那么流程图110进行至阶段S117，从而更新等于跟踪向量（vtrk）的参考向量（vref），并降低速率因数（s），尔后返回至阶段S112，从而根据需要针对额外的数字视频帧32的采样帧重复所述环。
在实践中，如果系统20的用户旋转了摄像机30（例如，使内窥镜围绕其轴旋转或者使处于内窥镜的近端的CCD摄像机发生旋转），那么跟踪向量（vtrk）和参考向量（vref）可以改变取向。如果系统不允许这类运动，那么可以省略阶段S117。
阶段S113-S117的益处在于优化跟踪速度（s*vrob）。具体而言，如果跟踪点在数字视频帧32的两个采样帧之间发生了运动，那么阶段S115评估最新更新的跟踪向量（S113）和先前更新的参考向量（vref）之间的角位移，以确定最新更新的跟踪向量（vtrk）是否与先前更新的参考向量（vref）处于相同的总方向内（例如，角（vtrk、vref）<90°），或者最新更新的跟踪向量（vtrk）是否指向与先前更新的参考向量（vref）不同的方向（例如，（vtrk、vref）≥90°）。在实践中，可以按照大于0°，小于90°的任何角度完成所述方向变化。
在相同总方向的情境下，假定机器人沿正确的方向运动，从而使跟踪点沿数字视频帧32内的目标点的方向运动，而不会越过目标点。在这种情况下，在阶段S116期间更新参考向量（vref）并增大速率因数（s），并且在阶段S112-S117的另一环期间继续对目标点的跟踪。例如，如图9所示，在图像坐标系的第一帧80（1）内识别初始跟踪向量（vtrk），并利用其映射配置工作区100（1）内的机器人向量（vrob）。为机器人向量（vrob）设置跟踪速度（s*vrob），机器人40由此产生相应地运动，并如图10所示在图像坐标系的第二帧80（2）内更新跟踪向量（vtrk）。图10的跟踪向量（vtrk）与图9所示的跟踪向量（vtrk）处于相同的总方向内。因而，将参考向量（vref）更新为图像坐标系80（1）中所示的跟踪向量（vtrk），并增大速率因数（s）。在接下来的阶段S112-S117的环内，利用图像坐标系的第二帧80（2）内的更新跟踪向量（vtrk）映射配置工作区100（2）内的机器人向量（vrob）。之后，为机器人向量（vrob）更新跟踪速度（s*vrob），机器人40由此产生相应的运动，并在图11所示的图像坐标系的第三帧80（3）内识别新的跟踪向量（vtrk）。跟踪向量（vtrk）（图11中未示出）小于通过围绕跟踪点的环标示的阶段S114的准确度阈值，因而将机器人40设定到固定位置，直到下一更新跟踪向量（vtrk）大于等于所述准确度阈值为止。
在不同方向的情境内，假定机器人40沿正确的方向运动，从而使跟踪点沿数字视频帧32中的目标点的方向运动，但是越过了目标点，或者目标点在数字视频帧32的相继采样帧内改变了方向。在这种情况下，在阶段S116内更新参考向量（vref）并降低速率因数（s），并且在阶段S112-S117的另一环内继续目标点的跟踪。例如，如图12所示，利用在图像坐标系的第四帧80（4）内识别的初始跟踪向量（vtrk）来映射配置工作区100（4）内的机器人向量（vrob）。为机器人向量（vrob）生成跟踪速度（s*vrob），机器人40借此产生相应的运动，并在图13所示的图像坐标系的第五帧80（5）内识别新的跟踪向量（vtrk）。与图12所示的跟踪向量（vtrk）的方向相比，图13的跟踪向量（vtrk）处于不同的方向内。因而将参考向量（vref）更新为图像坐标系80（4）的跟踪向量（vtrk），并降低速率因数（s）。在接下来的阶段S112-S117的环内，利用图像坐标系的第五帧80（5）内的更新跟踪向量（vtrk）映射配置工作区100（5）内的机器人向量（vrob）。之后，为机器人向量（vrob）更新跟踪速度（s*vrob），机器人40由此产生相应的运动，并在图14所示的图像坐标系的第六帧80（6）内识别新的跟踪向量（vtrk）。跟踪向量（vtrk）（图14中未示出）小于通过围绕跟踪点的环标示的阶段S114的准确度阈值，因而将机器人40设定到固定位置，直到下一跟踪向量（vtrk）大于等于所述准确度阈值为止。
参考图16，流程图120的内在含义与流程图110（图14）相同，只是其采用图像坐标系80内的跟踪向量的长速因数（1）实施了比例控制。长度因数（1）指示跟踪点距目标点有多远，并且可以通过像素对其加以表示。因而，在流程图120的阶段S121期间对长度因数（1）进行相应地初始化，并且在流程图120的阶段S122中可以将机器人向量（vrob）的跟踪速度表述为（s*l*vrob）。在这种情况下，速率因数（s）的量纲为mm/（s*像素）。在一个实施例中，可以采用长度因数（1）的微分和积分因数增强阶段S126和S127中的长度因数（1）的比例控制，这与本领域已知的PID（比例－积分－微分）控制类似。
图9-14图示了速率因数（s）的优化的两个简单的范例。在实践中，阶段S112-S117（图15）以及阶段S122-S127的优点在于，视觉伺服51实时地习得（learning）最佳速率因数（s）。如果目标点以恒定速度运动，那么如图17所示，最初的速率因数（s）变化将在数字视频帧32的多个帧之后稳定化，其中，在覆盖所述帧的时间ts之后将达到速率因数（s）的稳定化。否则，如果跟踪点以变化的速度运动，那么最初的速率因数（s）的变化将在数字视频帧32的多个帧之后以一定量的噪声稳定化。
在实践中，图15和16所示的速率因数（s）的增大值和降低值可以是常数。或者，图18图示了表示本发明的速率调节方法的流程图140。具体而言，流程图140的阶段S141包含在考虑跟踪点的跟踪等待时间或者考虑系统20的应用的情况下对跟踪速度（s*rob）或者（s*l*rob）的速率进行评估。在跟踪等待时间实施例中，对机器人40的控制总是在尝试以机器人40在任何既定时间上可能的最大速率对跟踪点进行跟踪。为此目的，对速率因数（s）的稳定化和跟踪等待时间进行评估，这样做是为了调节流程图140的阶段S142中的速率因数（s），从而尝试以其在任何既定时间上可能的最大速率对跟踪点进行跟踪。例如，对于具有低跟踪等待时间的稳定速率因数（s）或者对于不稳定的速率因数（s）（例如，目标点越过了跟踪点）在阶段S142中降低速率因数（s）的增大值和降低值。反之，对于具有高跟踪等待时间的稳定速率因数（s）在阶段S142内增大速率因数（s）的增大值和降低值。在实践中，除了固有的机器人速率以外的影响跟踪等待时间的参数包括，但不限于，跟踪点和目标点之间的距离、摄像机30的插入深度、摄像机30的顶端和RCM插入点之间的距离。然而，不管所述参数发生任何变化，速率因数（s）的调节都保持了跟踪速度（s*rob）或（s*l*vrob）的优化。
在所述应用的实施例中，机器人40的控制并不一直尝试以机器人40的最大速率跟踪数字视频帧32内的跟踪点，而是以适合所述应用的速率进行跟踪。为此目的，在考虑预测的跟踪点运动的情况下，评估跟踪速度（s*rob）或（s*l*vrob）的速度范围，所述预测的跟踪点运动是视觉伺服51由数字视频帧32确定的，或者是由系统20的操作员提供给视觉伺服51的。在阶段S142期间相应地设置速度因数（s）。例如，对手术工具的静态跟踪将忽略小的震颤，因而应当将速度因数（s）设定为忽略小的震颤。而且，例如，对搏动的心脏的动态跟踪涉及心脏运动的快速变化，因此应当将速率因数（s）设定为遵循心脏运动的快速变化。
而且，在实践中，可能使受到跟踪的特定特征相对于机器人40旋转（例如，上下和左右运动在所述两个坐标系内并不相同，尤其是对于倾斜光学检视摄像机而言），并且对机器人40的控制可能在不曾抵达目标点的情况下围绕目标点振荡。图19示出了表示本发明的方向评估的流程图150，其用于校正机器人40围绕目标点的潜在振荡。流程图150的阶段S151包含对跟踪速度（s*rob）或（s*l*vrob）的跟踪方向的评估，其涉及计量数字视频帧32的两个既定帧之间的连续方向变化的数量。在计数器达到指定的连续方向变化数量（优选为2个或3个连续方向变化）时，流程图150进行至阶段S152，从而在使机器人40发生运动之前，使映射在配置工作区100内的机器人向量（vrob）相对于映射在图像坐标系80内的跟踪向量（vtrk）发生旋转。最快的达到收敛的技术是针对90°、180°或270°的旋转将配置工作区划分成四（4）个象限。在阶段S112内实施流程图150，其中，在检测到正确的象限时，可能在对跟踪方向做进一步评估时需要对所述象限进行细分。
而且，在实践中，可以对机器人40加以控制，从而实现一旦定义了倾斜光学检视摄像机30的插入点（例如，RCM点），就将自动找到并跟踪数字视频帧32内的特定特征。图20示出了表示目标探头法的流程图160，其用于自动找到并跟踪图像40内的特定特征。流程图160的阶段S161包含摄像机扫描，其涉及使摄像机30相对于插入点围绕其轴发生旋转。摄像机30一旦那找到了被设定为目标的特征，机器人控制器50就将流程图160的阶段S162中的扫描配置锁定为机器人坐标系90，其目的在于实现前文所述的方向设置。
尽管已经参考示范性的方面、特征和实现描述了本发明，但是所公开的系统和方法不限于这样的示范性方面、特征和/或实现。相反，本领域技术人员通过文中提供的描述显然可以容易地认识到，在不背离本发明的精神或范围的情况下，所公开的系统和方法可受到修改、变更或强化。因此，本发明明确地包含这样的处于其范围内的修改、变更或强化。

Claims (20)

1.一种机器人系统(20)，包括：
摄像机(30)，其具有光学取景器，用于采集示出了图像的数字视频帧(32)的序列；
机器人(40)，其包括末端执行器(42)以及用于操纵所述末端执行器(42)的至少一个机器人关节(41)；以及
机器人控制器(50)，其与所述摄像机(30)和所述机器人(40)通信，所述机器人控制器(50)包括用于控制所述末端执行器(42)相对于每一数字视频帧(32)内的图像特征的姿态的视觉伺服(51)，
其中，对于每一数字视频帧(32)，所述视觉伺服(51)能用于识别所述数字视频帧(32)的图像坐标系(80)内的从跟踪点(TR)延伸至与所述图像特征相关联的目标点(TG)的跟踪向量(vtrk)，以将所述跟踪向量(vtrk)映射到从与所述末端执行器(42)相关联的机器人坐标系(90)构建的配置空间(100)内，并从所述跟踪向量(vtrk)在所述配置空间(100)内的所述映射导出所述机器人坐标系(90)内的所述末端执行器(42)的姿态。
2.根据权利要求1所述的机器人系统(20)，其中，所述摄像机(30)是被安装到所述末端执行器(42)上的内窥镜。
3.根据权利要求1所述的机器人系统(20)，其中，所述视觉伺服(51)还能用于跟踪所述数字视频帧(32)内的所述图像特征的任何运动。
4.根据权利要求1所述的机器人系统(20)，其中，所述视觉伺服(51)还能用于命令产生至少一个机器人关节运动，以实现所述末端执行器(42)的至少一个导出的姿态。
5.根据权利要求1所述的机器人系统(20)，其中，跟踪向量(vtrk)的识别设置了跟踪速度，其包括所述图像坐标系(80)内的所述跟踪向量(vtrk)的跟踪方向和跟踪速率。
6.根据权利要求5所述的机器人系统(20)，其中，响应于先前映射在所述配置空间(100)中的至少两个跟踪向量(vtrk)之间的指定数量的连续方向变化，在所述配置空间(100)的至少两个象限之间旋转当前映射在所述配置空间(100)中的所述跟踪向量(vtrk)的所述跟踪方向。
7.根据权利要求5所述的机器人系统(20)，其中，响应于所述数字视频帧(32)的相继采样帧的图像特征的运动程度，通过速率因数(s)调整映射在所述配置空间(100)中的所述跟踪向量(vtrk)的跟踪速率。
8.根据权利要求7所述的机器人系统(20)，其中，所述速率因数(s)是所述跟踪向量(vtrk)的跟踪等待时间和与所述机器人系统(20)的应用对应的速率中的至少一个的函数。
9.根据权利要求5所述的机器人系统(20)，其中，响应于所述跟踪点(TR)与所述目标点(TG)之间的距离，通过长度因数(1)调整映射在所述配置空间(100)中的所述跟踪向量(vtrk)的跟踪速率。
10.根据权利要求9所述的机器人系统(20)，其中，所述长度因数(1)是比例控制、积分控制和微分控制中的至少一个的函数。
11.根据权利要求1所述的机器人系统(20)，其中，所述机器人的配置空间(90)表示所述摄像机(30)关于相对于远程旋转中心的轴的旋转。
12.根据权利要求11所述的机器人系统(20)，其中，随着所述摄像机(30)关于相对于远程旋转中心的所述轴的旋转，通过探头和对所述图像特征的识别建立所述机器人的配置空间(90)。
13.一种用于摄像机(30)和机器人(40)的视觉伺服(51)，所述摄像机具有光学取景器，用于采集示出了图像的数字视频帧(32)的序列，所述机器人具有末端执行器(42)以及用于操纵末端执行器(42)的至少一个关节(41)，所述视觉伺服(51)包括：
特征跟踪模块，其用于跟踪所述数字视频帧(32)内的图像特征的任何运动；以及
方向设置模块，其响应于所述特征跟踪模块，用于识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量，将所述跟踪向量映射到从与所述末端执行器相关联的机器人坐标系构建的配置空间内，并从所述跟踪向量在所述配置空间内的所述映射导出所述机器人坐标系内的所述末端执行器的姿态。
14.根据权利要求13所述的视觉伺服(51)，还包括：
逆运动学模块，其响应于所述方向设置模块，用于命令产生至少一个机器人关节运动(43)，以实现所述末端执行器(42)的至少一个导出的姿态。
15.根据权利要求13所述的视觉伺服(51)，其中，所述摄像机(30)是被安装在所述末端执行器(42)上的内窥镜。
16.一种包括摄像机(30)和机器人(40)的机器人控制方法，所述摄像机具有光学取景器，所述机器人具有末端执行器(42)以及用于操纵末端执行器(42)的至少一个关节(41)，所述机器人控制方法包括：
采集示出了由所述摄像机(30)光学检视的图像的数字视频帧(32)的序列；以及
执行视觉伺服以控制所述末端执行器(42)相对于每一数字视频帧(32)内的图像特征的姿态，其中，针对每一数字视频帧所述视觉伺服包括：
识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量，
将所述跟踪向量映射到从与所述末端执行器相关联的机器人坐标系构建的配置空间内，以及
从所述跟踪向量在所述配置空间内的所述映射导出所述机器人坐标系内的所述末端执行器的姿态。
17.根据权利要求16所述的机器人控制方法，还包括：
跟踪所述数字视频帧(32)内的所述图像特征的任何运动。
18.根据权利要求16所述的机器人控制方法，还包括：
命令产生至少一个机器人关节运动，以实现所述末端执行器(42)的至少一个导出的姿态。
19.根据权利要求16所述的机器人控制方法，其中，跟踪向量(vtrk)的识别设置了跟踪速度，其包括所述图像坐标系(80)内的所述跟踪向量(vtrk)的跟踪方向和跟踪速率。
20.根据权利要求16所述的机器人控制方法，其中，所述机器人的配置空间(90)表示所述摄像机(30)关于相对于远程旋转中心的轴的旋转。
CN201080065226.XA 2010-01-08 2010-11-17 采用实时速度优化的不经校准的视觉伺服 Active CN102791214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US29322210P 2010-01-08 2010-01-08
US61/293,222 2010-01-08
PCT/IB2010/055245 WO2011083374A1 (en) 2010-01-08 2010-11-17 Uncalibrated visual servoing using real-time velocity optimization

Publications (2)

Publication Number Publication Date
CN102791214A CN102791214A (zh) 2012-11-21
CN102791214B true CN102791214B (zh) 2016-01-20

Family

ID=43498595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065226.XA Active CN102791214B (zh) 2010-01-08 2010-11-17 采用实时速度优化的不经校准的视觉伺服

Country Status (5)

Country Link
US (2) US8934003B2 (zh)
EP (1) EP2521507B1 (zh)
JP (1) JP5814938B2 (zh)
CN (1) CN102791214B (zh)
WO (1) WO2011083374A1 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
GB201003883D0 (en) * 2010-03-09 2010-04-21 Univ Southampton Apparatus and method for measurement of hand joint movement
EP2369899A1 (en) 2010-03-25 2011-09-28 Koninklijke Philips Electronics N.V. Method for controlling an outdoor lighting system, a computer program product, a controlling device and an outdoor lighting system
US20120197461A1 (en) * 2010-04-03 2012-08-02 Geoffrey Louis Barrows Vision Based Hover in Place
EP2802894B1 (en) * 2012-01-12 2018-03-28 Brainlab AG Method and system for medical tracking using a plurality of camera positions
US10898064B2 (en) * 2012-03-07 2021-01-26 Transenterix Europe S.A.R.L. Endoscopic control and maneuvering system in at least two degrees of freedom
JP6307431B2 (ja) * 2012-05-25 2018-04-04 学校法人立命館 ロボット制御装置、ロボット制御方法、プログラム、記録媒体、ロボットシステム
JP5766150B2 (ja) * 2012-05-29 2015-08-19 国立大学法人東京工業大学 内視鏡操作システム
US10194801B2 (en) 2012-06-28 2019-02-05 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
CN104298244B (zh) * 2013-07-17 2016-12-28 刘永 一种工业机器人三维实时高精度定位装置的定位方法
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
CN103544701B (zh) * 2013-10-15 2016-03-02 中国科学院自动化研究所 一种多路显微视觉标定系统及方法
JP6000928B2 (ja) * 2013-10-24 2016-10-05 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの初期化方法
CN105934216B (zh) * 2014-01-24 2019-09-17 皇家飞利浦有限公司 机器人引导系统、控制单元和装置
CN105992568B (zh) 2014-02-12 2018-06-08 皇家飞利浦有限公司 手术仪器可见性的机器人控制
JP6364836B2 (ja) * 2014-03-14 2018-08-01 セイコーエプソン株式会社 ロボット、ロボットシステム、及び制御装置
US9701018B2 (en) 2014-04-01 2017-07-11 Bot & Dolly, Llc Software interface for authoring robotic manufacturing process
US9841749B2 (en) 2014-04-01 2017-12-12 Bot & Dolly, Llc Runtime controller for robotic manufacturing system
US9555545B2 (en) 2014-05-21 2017-01-31 Bot & Dolly, Llc Systems and methods for time-based parallel robotic operation
US9278449B1 (en) 2014-05-21 2016-03-08 Bot & Dolly, Llc Closed-loop control system for robotic operation
US9308647B2 (en) * 2014-06-03 2016-04-12 Bot & Dolly, Llc Systems and methods for instructing robotic operation
WO2016009339A1 (en) * 2014-07-15 2016-01-21 Koninklijke Philips N.V. Image integration and robotic endoscope control in x-ray suite
DE102014226240A1 (de) * 2014-12-17 2016-06-23 Kuka Roboter Gmbh System zur roboterunterstützten medizinischen Behandlung
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6871929B2 (ja) * 2015-09-29 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット支援低侵襲手術のための器具コントローラ
WO2017100434A1 (en) 2015-12-10 2017-06-15 Covidien Lp Robotic surgical systems with independent roll, pitch, and yaw scaling
US11209954B2 (en) 2015-12-10 2021-12-28 Cmr Surgical Limited Surgical robotic system using dynamically generated icons to represent orientations of instruments
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
JP6835850B2 (ja) * 2015-12-29 2021-02-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 手術ロボットの制御のためのシステム、制御ユニット、及び方法
EP3397187A1 (en) 2015-12-30 2018-11-07 Koninklijke Philips N.V. Image based robot guidance
WO2017167971A1 (en) 2016-03-31 2017-10-05 Koninklijke Philips N.V. Image guided robotic system for tumor aspiration
CN105643607A (zh) * 2016-04-08 2016-06-08 深圳市中科智敏机器人科技有限公司 一种具备感知和认知能力的智能工业机器人
CN106256310B (zh) * 2016-08-18 2018-04-13 中国科学院深圳先进技术研究院 自动调节鼻内镜位姿的方法和系统
CN106239520A (zh) * 2016-08-23 2016-12-21 深圳市中科智敏机器人科技有限公司 具备认知能力的智能工业机器人运动控制系统
CN110678141A (zh) * 2017-03-31 2020-01-10 皇家飞利浦有限公司 无标记机器人跟踪系统、控制器和方法
WO2019008127A1 (en) 2017-07-07 2019-01-10 Koninklijke Philips N.V. INTEGRATION OF ROBOTIC INSTRUMENT GUIDE WITH AN ACOUSTIC PROBE
WO2019134945A1 (en) 2018-01-03 2019-07-11 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
US11833696B2 (en) * 2018-01-15 2023-12-05 Technische Universität München Vision-based sensor system and control method for robot arms
CN110051436B (zh) * 2018-01-18 2020-04-17 上海舍成医疗器械有限公司 自动化协同工作组件及其在手术器械中的应用
EP3781363B1 (en) * 2018-04-17 2023-06-07 ABB Schweiz AG Method for controlling a robot arm
US20200015899A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization with proximity tracking features
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
CN109454639A (zh) * 2018-11-02 2019-03-12 广东人励智能工程有限公司 一种智能制造生产线中机器人臂调整的方法及系统
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
US20200205911A1 (en) * 2019-01-01 2020-07-02 Transenterix Surgical, Inc. Determining Relative Robot Base Positions Using Computer Vision
JP6898374B2 (ja) * 2019-03-25 2021-07-07 ファナック株式会社 ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法
CN110039542B (zh) * 2019-06-13 2022-04-12 东北大学 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
IT201900009354A1 (it) 2019-06-18 2020-12-18 Hiro Robotics S R L Robot con controllo di inseguimento pezzo e metodo di controllo di un end effector corrispondentemente ad un pezzo da trattare spostabile nello spazio
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
US11173610B2 (en) 2019-11-13 2021-11-16 Vicarious Fpc, Inc. Method and system for robot control using visual feedback
CN111179308B (zh) * 2019-12-17 2022-10-11 清华大学 一种基于视觉伺服的果蝇跟踪方法及系统
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US20210196384A1 (en) * 2019-12-30 2021-07-01 Ethicon Llc Dynamic surgical visualization systems
US11864841B2 (en) 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) * 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11409091B2 (en) * 2019-12-31 2022-08-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US20210244485A1 (en) * 2020-02-12 2021-08-12 Medtech S.A. Robotic guided 3d structured light-based camera
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
CN112947569B (zh) * 2021-03-09 2022-08-12 中南大学 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
CN113601498B (zh) * 2021-07-11 2024-02-02 西北工业大学 基于权重分配的机器人视觉伺服与人机交互混合操控方法
CN113848908B (zh) * 2021-09-27 2024-04-05 浙江工业大学 一种全方位移动机器人视觉伺服系统的建模与控制方法
CN113814986B (zh) * 2021-11-23 2022-04-26 广东隆崎机器人有限公司 一种基于机器视觉控制scara机器人的方法及系统
CN115082518B (zh) * 2022-05-30 2024-03-26 华南理工大学 视觉伺服的在线轨迹生成系统及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3236070B2 (ja) * 1992-06-04 2001-12-04 オリンパス光学工業株式会社 スコープ保持装置およびスコープ装置
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5855583A (en) * 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
JP2000042960A (ja) * 1998-07-29 2000-02-15 Gifu Prefecture マニピュレータの遠隔操作装置
WO2000045229A1 (en) 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
JP2006289531A (ja) 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
EP1769769A1 (en) * 2005-09-28 2007-04-04 DePuy Orthopädie GmbH Tracking surgical items
US7819859B2 (en) * 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
ES2298051B2 (es) 2006-07-28 2009-03-16 Universidad De Malaga Sistema robotico de asistencia a la cirugia minimamente invasiva capaz de posicionar un instrumento quirurgico en respueta a las ordenes de un cirujano sin fijacion a la mesa de operaciones ni calibracion previa del punto de insercion.
US20100168518A1 (en) * 2007-02-23 2010-07-01 Universite De Strasbourg Flexible endoscope device with visual control and process for stabilization of such a device
WO2009045827A2 (en) * 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US9411037B2 (en) * 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization

Also Published As

Publication number Publication date
EP2521507B1 (en) 2015-01-14
JP2013516264A (ja) 2013-05-13
JP5814938B2 (ja) 2015-11-17
US20150094856A1 (en) 2015-04-02
US8934003B2 (en) 2015-01-13
CN102791214A (zh) 2012-11-21
WO2011083374A1 (en) 2011-07-14
US9205564B2 (en) 2015-12-08
US20120307027A1 (en) 2012-12-06
EP2521507A1 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102791214B (zh) 采用实时速度优化的不经校准的视觉伺服
CN110325331B (zh) 医疗支撑臂系统和控制装置
JP2013516264A5 (zh)
CN110678142B (zh) 医疗系统、用于医疗支撑臂的控制装置以及用于医疗支撑臂的控制方法
CN106061427B (zh) 机器人臂设备、机器人臂控制方法和程序
US10945796B2 (en) Robotic control of surgical instrument visibility
US20230000565A1 (en) Systems and methods for autonomous suturing
CN113180828B (zh) 基于旋量理论的手术机器人约束运动控制方法
Wu et al. Safety-enhanced model-free visual servoing for continuum tubular robots through singularity avoidance in confined environments
WO2017114855A1 (en) System, control unit and method for control of a surgical robot
US20120209069A1 (en) Collision avoidance and detection using distance sensors
CN105188594B (zh) 根据解剖特征对内窥镜的机器人控制
US20220192777A1 (en) Medical observation system, control device, and control method
CN113143461B (zh) 人机协同的微创内窥镜持镜机器人系统
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
JP2021531910A (ja) ロボット操作手術器具の位置を追跡システムおよび方法
US20190069955A1 (en) Control unit, system and method for controlling hybrid robot having rigid proximal portion and flexible distal portion
Molnár et al. Visual servoing-based camera control for the da Vinci Surgical System
Dehghani et al. Colibridoc: An eye-in-hand autonomous trocar docking system
CN114730454A (zh) 场景感知系统和方法
Tamadazte et al. Weakly calibrated stereoscopic visual servoing for laser steering: Application to phonomicrosurgery
Huber et al. Homography-based visual servoing with remote center of motion for semi-autonomous robotic endoscope manipulation
Doignon et al. The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks
Marzi et al. Continuous feature-based tracking of the inner ear for robot-assisted microsurgery
US20220142721A1 (en) System and method for view restoration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant