CN111278344B - 手术臂系统和手术臂控制系统 - Google Patents
手术臂系统和手术臂控制系统 Download PDFInfo
- Publication number
- CN111278344B CN111278344B CN201880069629.8A CN201880069629A CN111278344B CN 111278344 B CN111278344 B CN 111278344B CN 201880069629 A CN201880069629 A CN 201880069629A CN 111278344 B CN111278344 B CN 111278344B
- Authority
- CN
- China
- Prior art keywords
- endoscope
- arm
- squint
- unit
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
Abstract
[问题]为了确保观察对象的视线不会从监视器的视野中丢失。[解决方案]提供了一种手术臂系统,设有:多关节臂,其中多个关节部通过多个连杆以可旋转的方式连接,并且能够在远端支撑斜视内窥镜;以及控制系统,用于控制多关节臂使得斜视内窥镜的位置和姿势被改变。控制系统基于经由斜视内窥镜进行摄像的视野内的观察对象的位置来控制斜视内窥镜的旋转速度和/或移动速度。
Description
技术领域
本公开涉及一种用于斜视内窥镜和医疗系统的控制装置。
背景技术
在相关技术中,例如,在下面的专利文献1中,描述了以下一种技术,其假设内窥镜图像的上、下、左、右方向与操作者的上、下、左、右操作方向一致的内窥镜图像可被显示在监视器上,以不引起作业期间的违和感。
现有技术列表
专利文献
专利文献1:特开2006-218027号公报
发明内容
技术问题
近几年,斜视内窥镜已用作插入人体中的硬质镜。然而,斜视内窥镜相对于镜轴做出斜视旋转,并且因此,存在相比于简单的水平或垂直移动,难以直观地理解旋转之后的视野的问题。因此,存在诸如观察对象由于斜视旋转而位于屏幕的视野之外以及看不见视野中示出的仪器的问题。
因此,要求不能从监视器图像的视野中看不见观察对象。
问题的解决方案
根据本公开,提供了一种手术臂系统,包括:多关节臂,其中多个关节通过多个连杆可旋转地连接并且能够在远端支撑斜视内窥镜;以及控制系统,该控制系统控制多关节臂改变斜视内窥镜的位置和姿势,其中,控制系统在通过斜视内窥镜摄像的视野中,基于视野中的观察对象的位置控制斜视内窥镜的旋转速度和移动速度中的至少一个。
此外,根据本公开,提供了一种手术臂控制系统,控制多关节臂,其中多个关节通过多个连杆可旋转地连接并且在远端能够支撑斜视内窥镜,并且控制多关节臂以改变斜视内窥镜的位置和姿势,其中,在通过斜视内窥镜摄像的视野中,基于视野中的观察对象的位置,控制斜视内窥镜的旋转速度和移动速度中的至少一个。
发明的有益效果
根据本公开,可以防止观察对象从监视器图像的视野中丢失。
应注意,不必局限于以上效果,并且除了上述效果之外或代替上述效果,本说明书中示出的效果或者可以从本说明书中领会的其他效果中任一个均可以实施。
附图说明
图1是示出了可以应用根据本公开的医疗支撑臂装置的内窥镜手术系统的示意性构造的一个实例的图。
图2是示出了图1所示的摄像头和CCU的功能构造的一个实例的框图。
图3是示出了根据本公开的实施方式的医疗支撑臂装置的构造实例的透视图。
图4是示出了医疗支撑臂装置的构造实例的框图。
图5是示出了斜视内窥镜100的外观的示意图。
图6是示出了通过斜视旋转改变视野200的状态的示意图。
图7是示出投影到监视器上的视野由于斜视旋转而改变的状态的示意图。
图8是示出用于计算从视野200的中心到观察对象210的距离的方法的示意图。
图9是示出根据屏幕中的被摄体的位置限定斜视旋转的速度的映射的一个实例的示意图。
图10是示出从屏幕中心O到观察对象210的距离(横轴)与斜视旋转速度(纵轴)之间的关系的特性图。
图11是示出由于斜视内窥镜100的斜视旋转,物镜光学系统的光轴的方向改变的状态的示意图。
图12是示出了通过在套管针点的中心或移动至其附近使光轴旋转而进行沿XY方向移动的情况的示意图。
图13示出了在Y方向上的移动的一个实例,并且是示出了连同Y方向上的移动一起进行斜视旋转的情况的示意图。
图14是示出了绕约束点300旋转的一个实例的示意图。
图15是用于说明用于将观察对象移动至屏幕中心的臂的控制的示图。
图16是用于说明用于将观察对象移动至屏幕中心的臂的控制的示图。
图17是用于说明将观察对象移动至屏幕中心的控制处理的概要的示图。
图18是示出了目标计算处理的流程的一个实例的流程图。
图19是用于说明目标位置计算的示图。
图20A是用于说明根据本实施方式的根据斜视内窥镜的控制斜视指向左侧的情况下的具体实例的示意图。
图20B是用于说明根据本实施方式的根据斜视内窥镜的控制斜视指向左侧的情况下的具体实例的示意图。
图20C是用于说明根据本实施方式的根据斜视内窥镜的控制斜视指向左侧的情况下的具体实例的示意图。
图20D是用于说明根据本实施方式的根据斜视内窥镜的控制斜视指向左侧的情况下的具体实例的示意图。
图21是示出了用于进行斜视旋转操作和跟踪操作的支撑臂装置的控制单元的构造的示意图。
图22是示出了独立控制斜视内窥镜的旋转和摄像头的旋转的保持单元设置在图3所示的构造实例中的臂单元的远端的构造的示意图。
图23是示出了图22所示的构造实例中的包括臂单元和控制装置的支撑臂装置、内窥镜单元以及CCU的构造的示意图。
图24是示出了图22和图23所示的构造中的处理流程的顺序图。
具体实施方式
在下文中,将参考附图详细地描述本公开的优选实施方式。此外,在本说明书和附图中,具有基本相同的功能构造的组成元件由相同的参考标号表示,并且省略冗余描述。
将按以下顺序进行描述。
1.基本构造
1.1内窥镜系统的构造实例
1.2医疗支撑臂装置的特定构造实例
1.3控制装置的构造实例
2.通过斜视内窥镜对观察对象进行的斜视旋转操作和跟踪操作
2.1斜视内窥镜的旋转操作
2.2斜视旋转速度根据距视野中心的距离的改变
2.3观察对象的跟踪操作
2.4用于斜视旋转操作和跟踪操作的控制单元的构造实例
2.5跟踪操作的细节
2.6跟踪操作的具体实例
3.单独控制斜视内窥镜的旋转的保持单元的实例
4.总结
<<1.基本构造>>
首先,将参考图1到图4描述根据本公开的实施方式的内窥镜系统的基本构造。
<1.1内窥镜系统的构造实例>
图1是可以应用根据本公开的技术的内窥镜手术系统5000的示意性构造的一个实例的图。图1示出了操作者(医师(doctor))5067正在使用内窥镜手术系统5000对病床5069上的患者5071进行手术的状态。如所描绘的,内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027和安装用于内窥镜手术的各种装置的手推车5037。
在内窥镜手术中,将称为套管针的多个管状开孔仪器5025a至5025d用于刺破腹壁,而不是切开腹壁。然后,通过套管针5025a至5025d将内窥镜5001的透镜镜筒5003和其他手术工具5017插入到患者5071的体腔中。在所描绘的实例中,作为其他的手术工具5017,将气腹管5019、能量治疗工具5021和钳子5023插入到患者5071的体腔中。进一步地,能量治疗工具5021是通过高频电流和超声波振动进行组织的切割和剥离、血管的密封等的治疗工具。然而,描绘的手术工具5017仅是一个实例,可以将通常用于内窥镜手术的各种手术工具例如镊子和牵引器用作手术工具5017。
通过内窥镜5001成像的患者5071的体腔中的手术区域的图像显示在显示装置5041上。操作者5067将在实时基础上观看显示在显示装置5041上的手术区域的图像的同时使用能量治疗工具5021和钳子5023来进行例如切除患部的处理。应注意尽管没有描绘,气腹管5019、能量治疗工具5021和钳子5023由操作者5067或者助手等在手术期间握持。
(支撑臂装置)
支撑臂装置5027包括从底座单元5029延伸的臂单元5031。在所描绘的实例中,臂单元5031包括关节5033a、5033b和5033c和连杆5035a和5035b并在臂控制装置5045的控制下驱动。内窥镜5001由臂单元5031支撑从而控制内窥镜的位置和姿态。因此,可以实现内窥镜5001的位置的稳定固定。
(内窥镜)
内窥镜5001包括其远端起具有预定长度的区域插入到患者5071的体腔中的透镜镜筒5003和连接到透镜镜筒5003的近端的摄像头5005。在所描绘的实例中,描绘了内窥镜5001,其被配置为具有硬质的透镜镜筒5003的硬质镜。然而,内窥镜5001也可以被配置为具有软质透镜镜筒5003的软质镜。
透镜镜筒5003在其远端具有安装物镜的开口。光源装置5043连接到内窥镜5001使得通过在透镜镜筒5003内延伸的光导将由光源装置5043产生的光引入到透镜镜筒的远端并通过物镜照射向患者5071的体腔的观察对象。应注意内窥镜5001是斜视内窥镜(斜视镜)。
摄像头5005内设置有光学系统和摄像元件,使得来自观察对象的反射光(观察光)通过光学系统在摄像元件上聚集。观察光通过摄像元件光电转换来产生对应于观察光的电信号,即对应于观察图像的图像信号。图像信号作为RAW数据传输到摄像机控制单元(CCU)5039。应注意通过合适地驱动光学系统,摄像头5005具有调节放大倍数和焦距的功能。
应注意为了建立与例如立体视觉(三维(3D)显示)的兼容性,可以在摄像头5005上设置多个摄像元件。在这种情况下,可以在透镜镜筒5003内设置多个中继光学系统以将观察光引导至多个摄像元件中的每个中。
(搭载在手推车中的各种装置)
CCU 5039配置有中央处理单元(CPU)、图形处理单元(GPU)等,整体控制内窥镜5001和显示装置5041的操作。具体地,CCU 5039对从摄像头5005接收的图像信号进行各种图像处理用于基于图像信号显示图像,如例如显影处理(去马赛克处理)等。CCU 5039向显示装置5041提供已经进行了图像处理的图像信号。进一步地,CCU 5039将控制信号传输至摄像头5005以控制摄像头的驱动。控制信号可以包括与摄像条件如放大倍数和焦距有关的信息。
显示装置5041在CCU 5039的控制下显示基于图像信号的图像,对该图像信号已经通过CCU 5039进行了图像处理。如果内窥镜5001准备用于高分辨如4K(水平像素量3840×竖直像素量2160)、8K(水平像素量7680×竖直像素量4320)等的成像和/或准备用于3D显示,那么也可以使用相对应的可以高分辨显示的装置和/或可以3D显示的装置作为显示装置5041。在装置准备用于高分辨如4K或8K的成像时,如果用作显示装置5041的显示装置具有等于或不小于55英寸的尺寸,那么可以得到更逼真的体验。进一步地,可以根据用途提供具有不同分辨率和/或不同尺寸的多个显示装置5041。
光源装置5043包括光源例如发光二极管(LED)等,并在将手术区域成像时为内窥镜5001供应照射光。
臂控制装置5045配置有处理器例如CPU等,并根据预定程序操作来根据预定的控制方法控制支撑臂装置5027的臂单元5031的驱动。
输入装置5047是用于内窥镜手术系统5000的输入接口。使用者可以通过输入装置5047进行输入,将各种信息或指令输入到内窥镜手术系统5000中。例如,使用者将通过输入装置5047输入与手术有关的各种信息如患者的身体信息、关于手术的手术流程的信息等。进一步地,使用者将通过输入装置5047输入例如驱动臂单元5031的指令、改变内窥镜5001的摄像条件(照射光的类型、放大倍数、焦距等)的指令、驱动能量治疗工具5021的指令等。
输入装置5047的类型不受限制且输入装置5047可以是已知的各种输入装置中的任一种。例如,可以将鼠标、键盘、触板、开关、脚踏开关5057和/或操纵杆等用作输入装置5047。在将触板用作输入装置5047时,可以将其设置在显示装置的5041显示面。
或者,输入装置5047是安装在使用者上的设备,例如眼镜型的可佩带设备或头戴式显示器(HMD),并响应于通过提到的任何设备所检测的使用者的手势或视线进行各种输入。进一步地,输入装置5047包括可以检测使用者的运动的摄像机,并响应于由摄像机成像的视频检测的使用者的手势或视线进行各种输入。更进一步地,输入装置5047包括麦克风,其可以收集使用者的声音,以及由通过麦克风收集的声音进行各种输入。如上所述,通过配置输入装置5047使得可以以这种方式以非接触形式输入各种信息,尤其是属于干净区域的使用者(例如操作者5067)可以以非接触形式操作属于不干净区域的装置。进一步地,由于使用者可以在不放下其手中持有的手术工具的情况下操作装置,所以对使用者的便利性得到改善。
治疗工具控制装置5049控制能量治疗工具5021的驱动用于组织的灼烧或切割、血管的密封等。气腹装置5051通过气腹管5019向患者5071的体腔中进料气体来使体腔充气以确保内窥镜5001的视野和确保操作者的工作空间。记录仪5053是能够记录与手术有关的各种信息的装置。打印机5055是能够将与手术有关的信息通过如文本、图像或图表等各种形式打印的装置。
以下尤其更详细地描述了内窥镜手术系统5000的特征构造。
(支撑臂装置)
支撑臂装置5027包括用作底座的底座单元5029和从底座单元5029延伸的臂单元5031。在所描绘的实例中,臂单元5031包括多个关节5033a、5033b和5033c以及通过关节5033b彼此连接的多个连杆5035a和5035b。在图1中,为了简化示意图,以简化形式描绘了臂单元5031的构造。实际上,可以合适地设定关节5033a至5033c以及连杆5035a和5035b的形状、数量和布置以及关节5033a至5033c的旋转轴线的方向等,使得臂单元5031具有期望的自由度。例如,臂单元5031可以优选地配置为使得其具有等于或大于6自由度的自由度。这使得可以在臂单元5031的可移动范围内自由地移动内窥镜5001,从而可以从期望的方向将内窥镜5001的透镜镜筒5003插入到患者5071的体腔中。
关节5033a至5033c中设置有致动器,以及关节5033a至5033c配置为通过驱动各个致动器,它们可围绕它们的预定旋转轴线旋转。通过臂控制装置5045控制致动器的驱动来控制每个关节5033a至5033c的旋转角,从而控制臂单元5031的驱动。因此,可以实现对内窥镜5001的位置和姿态的控制。此时,臂控制装置5045可以通过已知的各种控制方法如受力控制或位置控制来控制臂单元5031的驱动。
例如,如果操作者5067通过输入装置5047(包括脚踏开关5057)合适地进行操作输入,那么可以响应于操作输入通过臂控制装置5045合适地控制臂5031的驱动来控制内窥镜5001的位置和姿态。在位于臂单元5031的远端的内窥镜5001通过刚刚描述的控制从任意位置移动到不同的任意位置之后,内窥镜5001可以固定支撑在移动之后的位置处。应注意可以以主从方式操作臂单元5031。在这种情况下,使用者可以通过放置在远离手术室的地方的输入装置5047远程控制臂单元5031。
进一步地,在应用受力控制时,臂控制装置5045可以进行动力辅助的控制来驱动关节5033a至5033c的致动器使得臂单元5031可以接收使用者的外力并遵循外力平稳地移动。如此,当使用者直接接触和移动臂单元5031时,可以通过相对弱的力移动臂单元5031。因此,使用者可以通过更简单和更容易的操作来更直观地移动内窥镜5001,且对使用者的便利性可以得到改善。
此处,通常在内窥镜手术中,内窥镜5001由称为scopist的医师握持。相反,在使用支撑臂装置5027时,可以在不用手的情况下更有把握地固定内窥镜5001的位置,且因此可以稳定地得到手术区域的图像以及可以平稳地进行手术。
应注意不一定将臂控制装置5045设置在手推车5037上。进一步地,臂控制装置5045可以不一定是单个装置。例如,可以将臂控制装置5045设置在支撑臂装置5027的臂单元5031的每个关节5033a至5033c中,使得多个臂控制装置5045彼此协作来实现臂单元5031的驱动控制。
(光源装置)
在将手术区域成像时,光源装置5043向内窥镜5001供应照射光。光源装置5043包括例如白色光源,其包括例如LED、激光源或它们的组合。在这种情况下,在白色光源包括红色、绿色和蓝色(RGB)激光源的组合时,由于可以通过高精确度地控制每种颜色(每种波长)的输出强度和输出时间,所以可以通过光源装置5043进行拍摄的图像的白平衡的调节。进一步地,在这种情况下,如果来自各个RGB激光源的激光束按时间区分的方式照射在观察对象上以及与照射时间同步控制摄像头5005的摄像元件的驱动,那么可以按时间区分方式来拍摄各自对应于R、G和B颜色的图像。根据刚刚所描述的方法,即使没有为摄像元件设置滤色器,也可以得到彩色图像。
进一步地,可以控制光源装置5043的驱动使得输出的光强度针对每种预定的时间改变。通过与光强度的改变的时间同步控制摄像头5005的摄像元件的驱动来获取根据时间区分的图像,并合成图像,可以生成没有曝光不足的过厚阴影和曝光过度的加亮区的高动态范围的图像。
进一步地,可以将光源装置5043配置为供应预定波段的光,准备用于特定的光观察。在特定的光观察中,例如,通过利用身体组织对光吸收的波长依赖性,发射与普通观察时的照射光(即白光)相比的较窄频带的照射光,以高对比度进行预定组织如粘膜表面层的血管等的成像的窄频带成像。可替换地,在特定的光观察中,可以进行荧光观察用于由照射激发光产生荧光来获得图像。在荧光观察中,可以通过在身体组织上照射激发光进行身体组织的荧光观察(自身荧光观察)或可以通过将试剂如靛青绿(ICG)局部注射到身体组织中并照射对应于试剂的荧光波长的激发光到身体组织上得到荧光图像。光源装置5043可以配置为供应适用于上述的特定光观察的这种窄频带光和/或激发光。
(摄像头和CCU)
参考图2,更详细地描述了内窥镜5001的摄像头5005和CCU 5039的功能。图2是描绘了在图1中描绘的摄像头5005和CCU 5039的功能构造的一个实例的框图。
参照图2,摄像头5005作为其功能件具有透镜单元5007、摄像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。进一步地,CCU 5039作为其功能件具有通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039通过传输电缆5065连接以彼此双向通信。
首先,对摄像头5005的功能结构进行描述。透镜单元5007是设置在与透镜镜筒5003的连接位置处的光学系统。从透镜镜筒5003的远端吸收的观察光被引入到摄像头5005中并进入透镜单元5007。透镜单元5007包括多个透镜的组合,包括变焦透镜和聚焦透镜。透镜单元5007调节其光学性质使得观察光在摄像单元5009的摄像元件的光接收面上聚集。进一步地,配置变焦透镜和聚焦透镜使得它们在它们的光轴上的位置是可移动的,从而调节拍摄的图像的放大倍数和焦点。
摄像单元5009包括摄像元件并布置在透镜单元5007的后段处。通过透镜单元5007的观察光在摄像元件的光接收面上聚集,并通过光电转换产生对应于观察图像的图像信号。将通过摄像单元5009产生的图像信号提供至通信单元5013。
将例如互补金属氧化物半导体(CMOS)类型的图像传感器用作包括在摄像单元5009中的摄像元件,其具有Bayer排列并能够拍摄有颜色的图像。应注意摄像元件可以使用例如能够成像等于或不小于4K的高分辨率的图像的摄像元件。如果得到高分辨率的手术区域的图像,那么操作者5067可以更详细地了解手术区域的状态以及可以更平稳地进行手术。
进一步地,包括在摄像单元5009中的摄像元件包括具有与3D显示兼容的用于获取右眼和左眼的图像信号的一对摄像元件。在应用3D显示时,操作者5067可以更精确地了解手术区域中的活体组织的深度。应注意如果将摄像单元5009配置为多板型,那么与各摄像元件对应设置多个透镜单元5007。
进一步地,摄像单元5009可以不一定被设置在摄像头5005上。例如,可以将摄像单元5009正好设置在透镜镜筒5003内的物镜的后面。
驱动单元5011包括致动器并在摄像头控制单元5015的控制下以沿着光轴的预定距离移动透镜单元5007的变焦透镜和聚焦透镜。因此,可以合适地调节通过摄像单元5009拍摄的图像的放大倍数和焦点。
通信单元5013包括用于将各种信息传输至CCU 5039和接收来自CCU 5039的各种信息的通信装置。通信单元5013通过传输电缆5065将由摄像单元5009获取的图像信号作为RAW数据传输至CCU 5039。此时,为了在低延迟下显示拍摄的手术区域的图像,优选地通过光通信传输图像信号。这是因为在手术时操作者5067在通过拍摄的图像观察患部的状态的同时进行手术,要求尽可能地在实时基础上显示手术区域的移动图像以实现高度安全和毫无疑问的手术。在应用光通信时,在通信单元5013中设置用于将电信号转换为光信号的光电转换模块。在通过光电转换模块将图像信号转换为光信号后,通过传输电缆5065将其传输到CCU 5039。
进一步地,通信单元5013接收来自CCU 5039用于控制摄像头5005的驱动的控制信号。控制信号包括与摄像条件有关的信息如例如指定拍摄图像的帧速率的信息、指定拍摄图像时的曝光值的信息和/或指定拍摄图像的放大倍数和焦点的信息。通信单元5013将接收的控制信号提供至摄像头控制单元5015。应注意也可以通过光通信传输来自CCU 5039的控制信号。在这种情况下,在通信单元5013中设置用于将光信号转换为电信号的光电转换模块。在通过光电转换模块将控制信号转换为电信号之后,将其提供至摄像头控制单元5015。
应注意上述摄像条件如帧速率、曝光值、放大倍数或焦点是基于获取的图像信号通过CCU 5039的控制单元5063自动设定的。换句话说,在内窥镜5001中搭载了自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元5015基于通过通信单元5013接收的CCU 5039的控制信号来控制摄像头5005的驱动。例如,摄像头控制单元5015基于指定拍摄的图像的帧速率的信息和/或指定摄像时的曝光值的信息控制摄像单元5009的摄像元件的驱动。进一步地,例如,摄像头控制单元5015基于指定拍摄的图像的放大倍数和焦点的信息通过驱动单元5011合适地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015可以进一步包括用于存储识别透镜镜筒5003和摄像头5005的信息的功能件。
通过在具有高气密性和防水性的密封结构中布置透镜单元5007、摄像单元5009等,可以使得摄像头5005具有对高压釜杀菌处理的耐性。
现在,描述CCU 5039的功能构造。通信单元5059包括用于将各种信息传输至摄像头5005和接收来自摄像头5005的各种信息的通信装置。通信单元5059通过传输电缆5065接收从摄像头5005传输至其的图像信号。此时,可以优选地通过如上所述的光通信传输图像信号。在这种情况下,响应于光学通信,通信单元5059包括用于将光信号转换为电信号的光电转换模块。通信单元5059向图像处理单元5061提供转换为电信号的图像信号。
通信单元5059将用于控制摄像头5005的驱动的控制信号传输至摄像头5005。也可以通过光通信传输控制信号。
图像处理单元5061对从摄像头5005传输至其的RAW数据形式的图像信号进行各种图像处理。图像处理包括已知的各种信号处理例如显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、噪音减弱(降噪,noise reduction,NR)处理和/或抖动矫正处理)和/或放大处理(电子调焦处理)。进一步地,图像处理单元5061对图像信号进行检波处理以进行AE、AF和AWB。
图像处理单元5061包括处理器如CPU和GPU等,以及当处理器根据预定程序操作时,可以进行上述图像处理和检波处理。应注意在图像处理单元5061包括多个GPU时,图像处理单元5061合适地划分与图像信号有关的信息使得通过多个GPU同时进行图像处理。
控制单元5063进行关于通过内窥镜5001拍摄的手术区域的图像和拍摄图像的显示的各种控制。例如,控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时,如果由使用者输入摄像条件,那么控制单元5063基于使用者的输入产生控制信号。可替换地,如果内窥镜5001结合了AE功能、AF功能和AWB功能时,控制单元5063响应于通过图像处理单元5061的检波处理的结果,合适地计算最佳曝光值、焦距和白平衡并产生控制信号。
进一步地,控制单元5063控制显示装置5041来基于已经通过图像处理单元5061进行了图像处理的图像信号显示手术区域的图像。此时,控制单元5063使用各种图像识别技术来识别手术区域图像中的各种对象。例如,控制单元5063通过检测包括在手术区域图像中的对象的边缘的形状、颜色等可以识别手术工具如钳子、具体的活体区域、流血、当使用能量治疗工具5021时的雾气等。当其控制显示装置5041来显示手术区域的图像时,控制单元5063利用识别结果将各种手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示和呈现给操作者5067时,操作者5067可以安全和毫无疑问地进行手术。
将摄像头5005和CCU 5039彼此连接的传输电缆5065是用于电信号的通信的电信号电缆、用于光通信的光纤或用于电通信和光通信两者的复合电缆。
此处,虽然在描述的实例中通过利用传输电缆5065进行有线通信,但是可以另外通过无线通信进行摄像头5005和CCU 5039之间的通信。在通过无线通信进行摄像头5005和CCU 5039之间的通信时,没有必要将传输电缆5065铺设在手术室中,因此,可以消除手术室中的医务人员的走动受到传输电缆5065的妨碍的这种情形。
以上描述了可以应用根据本公开的技术的内窥镜手术系统5000的一个实例。此处应注意尽管作为一个实例描述了内窥镜手术系统5000,但是可以应用根据本公开的实施方式的技术的系统不限于该实例。例如,根据本公开的技术可以应用于用于检查的软式内窥镜系统或显微镜手术系统。
<1.2.医疗支撑臂装置的特定构造实例>
接下来,将详细描述根据本公开的实施方式的医疗支撑臂装置的特定构造实例。下述的支撑臂装置是配置为支撑在臂单元的远端处的内窥镜的支撑臂装置的实例,但本实施方式不限于该实例。
首先,将参考图3描述根据本实施方式的支撑臂装置1400的示意性构造。图3是示出根据本实施方式的支撑臂装置1400的外观的示意图。
根据本实施方式的支撑臂装置1400包括底座单元1410和臂单元1420。底座单元1410是支撑臂装置1400的底座,并且臂单元1420从底座单元1410延伸出。尽管图3中未示出,整体地控制支撑臂装置1400的控制单元可以设置在底座单元1410中,并且可以由控制单元控制臂单元1420的驱动。控制单元包括各种信号处理电路(诸如,CPU和DSP)。
臂单元1420包括多个主动关节(active joint,活动关节)1421a至1421f,多个连杆1422a至1422f以及作为远端单元设置在臂单元1420的远端处的内窥镜装置423。
连杆1422a至1422f为基本杆状构件。连杆1422a的一端经由主动关节1421a连接至底座单元1410,连杆1422a的另一端经由主动关节1421b连接至连杆1422b的一端,并且连杆1422b的另一端经由主动关节1421c连接至连杆1422c的一端。连杆1422c的另一端经由被动滑动机构1100连接至连杆1422d,并且连杆1422d的另一端经由被动关节200连接至连杆1422e的一端。连杆1422e的另一端经由主动关节1421d和1421e连接至连杆1422f的一端。内窥镜装置1423经由主动关节1421f连接至臂单元1420的远端,即,连杆1422f的另一端。如上所述,多个连杆1422a至1422f的端部以底座单元1410作为支点,通过主动关节1421a至1421f、被动滑动机构1100以及被动关节1200彼此连接,从而形成从底座单元1410延伸的臂形状。
通过驱动和控制设置在臂单元1420的主动关节1421a至1421f中的致动器来控制内窥镜装置1423的位置和姿势。在本实施方式中,内窥镜装置1423的远端进入患者的体腔(手术区域),并且内窥镜装置对手术区域的部分区域摄像。然而,设置在臂单元1420的远端处的远端单元不限于内窥镜装置1423,并且各种医疗器械可以连接至臂单元1420的远端作为远端单元。如上所述,根据本实施方式的支撑臂装置1400配置为包括医疗器械的医疗支撑臂装置。
在此,如图3所示的,下面将通过定义坐标轴描述支撑臂装置1400。另外,根据坐标轴定义上下方向、前后方向以及左右方向。即,相对于安装在地板上的底座单元1410的垂直方向被定义为z轴方向和上下方向。正交于z轴的方向和臂单元1420从底座单元1410延伸的方向(即,内窥镜装置1423相对于底座单元1410定位的方向)被定义为y轴方向和前后方向。此外,正交于y轴和z轴的方向被定义为x轴方向和左右方向。
主动关节1421a至1421f将连杆彼此连接从而能够旋转。主动关节1421a至1421f中的每一个具有致动器,并且具有通过驱动致动器而被驱动以绕预定旋转轴旋转的旋转机构。通过控制主动关节1421a至1421f中的每一个的旋转驱动,可以控制臂单元1420的驱动,例如,使臂单元1420伸展或收缩(折叠)。在此,主动关节1421a至1421f的驱动可由例如已知的全身协作控制和理想关节控制来控制。如上所述,由于主动关节1421a至1421f具有旋转机构,在下面的描述中,主动关节1421a至1421f的驱动控制具体是指主动关节1421a至1421f的旋转角和/或生成扭矩(主动关节1421a至1421f生成的扭矩)的控制。
被动滑动机构1100是被动形式改变机构的一个方面,并且沿着预设方向将连杆1422c和连杆1422d彼此连接以便能够前进和后退。例如,被动滑动机构1100可以将连杆1422c和连杆1422d彼此连接以便能够线性移动。然而,连杆1422c于连杆1422d之间的往复运动不限于线性运动,并且可以是弧形方向的往复运动。例如,被动滑动机构1100由使用者操作以便前进和后退,从而改变连杆1422c的一端处的主动关节1421c与被动关节1200之间的距离。因此,可以改变臂单元1420的整体形式。随后将描述被动滑动机制1100的构造细节。
被动关节1200是被动形式改变机构的一个方面,并且将连杆1422d和连杆1422e彼此连接以能够旋转。例如,被动关节1200由使用者旋转,以改变于连杆1422d与连杆1422e之间形成的角度。因此,可以改变臂单元1420的整体形式。随后将描述被动关节1200的构造细节。
在本说明书中,“臂单元的姿势”是指在一个或多个连杆两端的彼此相邻的主动关节之间的距离恒定的状态下,可通过控制单元对设置在主动关节1421a至1421f中的致动器进行驱动控制而改变的臂单元的状态。“臂的形式”是指可响应于被动形式改变机构的操作,改变连杆两端的彼此相邻的主动关节之间的距离或连接相邻主动关节的连杆之间的角度而改变的臂单元的状态。
根据本实施方式的支撑臂装置1400包括6个主动关节1421a至1421f,并且在驱动臂单元1420时具有6个自由度。即,支撑臂装置1400的驱动控制是通过控制单元对6个主动关节1421a至1421f进行驱动控制来实现的,而被动滑动机制1100和被动关节1200未受到控制单元的驱动控制。
具体地,如图3所示,主动关节1421a、1421d和1421f设置为使得连接的连杆1422a和1422e中的每一个的长轴方向和连接的内窥镜装置1423的摄像方向设置为旋转轴方向。主动关节1421b、1421c和1421e设置为使得改变y-z平面(由y轴和z轴限定的平面)中连接的连杆1422a至1422c、1422e和1422f中的每一个与内窥镜装置423的连接角的x轴方向被设置为旋转轴方向。如上所述,在本实施方式中,主动关节1421a、1421d和1421f具有进行所谓偏航的功能,并且主动关节1421b、1421c和1421e具有进行所谓俯仰的功能。
利用臂单元1420的这种构造,根据本实施方式的支撑臂装置1400在驱动臂单元1420时具有6个自由度。因此,内窥镜装置1423可在臂单元1420的活动范围内自由移动。图3示出了半球作为内窥镜装置1423的活动范围的实例。如果半球的中心点RCM(远程移动中心)为待由内窥镜装置1423摄像的手术区域的摄像中心,那么当内窥镜装置1423在内窥镜装置1423的摄像中心固定在半球的中心点处的情况下,在半球的球形表面上移动时,可从各种不同角度拍摄手术区域。
此外,除了以上描述的自由度之外,臂单元1420可具有1421g的自由度,用以使内窥镜装置1423与连杆1422f同轴地旋转。因此,内窥镜装置1423可在连杆1422f的长轴作为旋转轴的情况下旋转。
<1.3控制装置的构造实例>
目前,已描述根据本实施方式的支撑臂装置1400的构造。在下文中,将描述用于根据本实施方式的支撑臂装置1400中的臂单元1420的驱动控制(即,用于控制设置在主动关节1421a至1421f中的致动器1430的旋转驱动)的控制装置的构造实例。
图4是示出包含控制装置1350的支撑臂装置1400的总体构造实例的框图。控制装置1350包括控制单元1351、存储单元1357和输入单元1359。
控制单元1351通过各种信号处理电路(诸如,CPU和DSP)配置。控制单元1351整体地控制控制装置1350并且进行各种计算用以控制支撑臂装置1400中的臂单元1420的驱动。具体地,控制单元1351具有全身协作控制单元1353和理想关节控制单元1355。全身协作控制单元1353进行全身协作控制中的各种计算以便驱动和控制设置在支撑臂装置1400的臂单元1420的主动关节1421a至1421f中的致动器1430。理想关节控制单元1355进行理想关节控制中的各种计算,理想关节控制通过校正干扰的影响而实现全身协作控制的理想的响应。存储单元1357可以是存储元件(诸如,随机存取存储器(RAM)或只读存储器(ROM)),或者可以是半导体存储器、硬盘或外部存储装置。
输入单元359是供使用者向控制单元351输入有关支撑臂装置400的驱动控制的信息以及指令等的输入接口。输入单元359具有由使用者操作的操作单元(诸如,操纵杆和踏板),并且可以根据操纵杆、踏板等的操作,设置臂单元420的每个部件的位置、速度等以用于瞬时运动的目的。除了操纵杆和踏板之外,输入单元359可包括例如使用者操作的操作单元,诸如,鼠标、键盘、触板、按钮及开关。
由控制装置1350控制的臂单元1420包括主动关节1421。主动关节1421(1421a至1421f)包括驱动臂单元1420所需的各种部件,诸如,用于连接或者支撑连杆1422a至1422f和内窥镜装置1423的支撑构件。在上文的描述和下文的描述中,臂单元1420的关节的驱动可指主动关节1421a至1421f中的致动器430的驱动。
主动关节1421包括扭矩传感器1428、编码器1427和致动器1430。在图4中,单独示出了致动器1430、编码器1427及扭矩传感器1428,但编码器1427和扭矩传感器1428可以包括在致动器1430中。
致动器1430包括电动机、电动机驱动器及减速器。例如,致动器1430为对应于受力控制的致动器。在致动器1430中,减速器以预定的减速比减少电动机的旋转,经由输出轴传输到在后续阶段的另一构件,从而驱动另一构件。
电动机是产生旋转驱动力的驱动机构。驱动电动机以在电动机驱动器的控制下产生对应于来自控制单元的扭矩命令值的扭矩。作为电动机,例如,使用无刷电动机。然而,本实施方式不限于该实例,并且各种已知类型的电动机可以用作电动机。
电动机驱动器是通过向电动机提供电流而驱动电动机旋转的驱动电路(驱动器IC(集成电路))。电动机驱动器可以通过调整提供给电动机的电流量来控制电动机的旋转数。电动机驱动器通过将对应于控制单元的扭矩命令值τ的电流提供给电动机而驱动电动机。
此外,电动机驱动器可以调整提供给电动机的电流量以调整致动器1430的旋转运动中的粘性阻力的系数。结果,预定阻力可以施加于致动器1430的旋转运动,即,主动关节1421a至1421f的旋转运动。例如,主动关节1421a至1421f可以设定为主动关节容易通过外部作用力旋转的状态(即,臂单元1420容易手动移动的状态),相反,也可以设置为主动关节难以通过外部作用力旋转的状态(即,臂单元1420难以手动移动的状态)。
减速器连接至电动机的旋转轴(驱动轴)。减速器以预定减速比减小所连接的电动机的旋转轴的旋转速度(即,输入轴的旋转速度)并且将减慢的速度传动到输出轴。在本实施方式中,减速器的构造不限于一特定的构造,并且各种已知类型的减速器可以用作减速器。然而,作为减速器,优选使用可以高精度设定减速比的减速器,诸如,谐波驱动(Harmonic Drive)(注册商标)。此外,减速器的减速比可根据致动器1430的使用适当设定。例如,当致动器1430应用于如本实施方式中的支撑臂装置400的主动关节1421a至1421f时,减速器可以适当地使用大约1:100的减速比。
编码器1427检测输入轴的旋转角(即,电动机的旋转轴的旋转角)。基于编码器1427检测的输入轴的旋转速度和减速器的减速比,可以获得诸如主动关节1421a至1421f的旋转角、旋转角速度及旋转角加速度的信息。作为编码器1427,可以使用各种已知旋转编码器,诸如,磁式编码器和光学编码器。应注意,编码器1427可以仅设置在致动器1430的输入轴上,或者可以在减速器之后的阶段进一步设置用于检测致动器1430的输出轴的旋转角等的编码器。
扭矩传感器1428连接至致动器1430的输出轴,并且检测作用于致动器1430上的扭矩。扭矩传感器1428检测致动器1430输出的扭矩(产生的扭矩)。扭矩传感器1428也可以检测从外部施加至致动器1430的外部扭矩。
上面已描述了主动关节1421的构造。在此,在本实施方式中,通过受力控制来控制臂单元1420的操作。在受力控制中,在支撑臂装置1400中,分别通过为每个致动器1430设置的编码器1427和扭矩传感器1428检测主动关节1421a至1421f中的每一个的旋转角和作用于主动关节1421a至1421f中的每一个上的扭矩。此时,扭矩传感器1428检测的作用于主动关节1421a至1421f中的每一个上的扭矩可包括作用于臂单元1420和/或内窥镜装置1423的力。
此外,基于编码器1427检测到的旋转角和扭矩传感器1428检测到的扭矩值,还可以获得臂单元1420的当前状态(位置、速度等)。在支撑臂装置1400中,基于所获取的臂单元1420的状态(臂状态),计算臂单元1420执行期望运动目的所需要的且由设置在主动关节1421a至1421f中的每一个中的致动器1430产生的扭矩,并且将扭矩用作控制值,驱动主动关节1421a至1421f中的每一个的致动器1430。
作为致动器1430,可以使用通常通过受力控制来控制其操作的各种装置所使用的各种已知致动器。例如,作为致动器1430,可优选使用在作为本申请的在先专利申请的JP2009-269102A和JP 2011-209099A中描述的致动器。
在根据本实施方式的支撑臂装置1400中,致动器1430的构造和配置致动器的每个部件不限于以上配置,并且可以是其他配置。
上面已描述了内窥镜系统的基本构造。在下文中,将描述上述内窥镜系统的具体实施方式。
2.<<通过斜视内窥镜对观察对象进行的斜视旋转操作和跟踪操作>>
<2.1斜视内窥镜的旋转操作>
在本实施方式中,斜视内窥镜用作以上描述的内窥镜5001(内窥镜装置423)。图5是示出斜视内窥镜100的外观的示意图。在斜视内窥镜100中,物镜朝向被摄体的方向(C1)相对于斜视内窥镜100的纵向方向(镜轴C2)具有预定角度φ。即,在斜视内窥镜100中,物镜光学系统与该镜的目镜光学系统形成一角度。在斜视内窥镜100中,进行以镜轴C2作为旋转轴的斜视内窥镜100的旋转操作(在下文中,称作斜视旋转)以进行观察。通过进行斜视旋转,可以获得环绕的视野以及上侧、下侧、左侧、及右侧的周边视野。
图6为示出通过斜视旋转改变显示于显示设备5041上的视野200的状态的示意图。如图6所示,在视野200显示在监视器上的状态中,当通过斜视旋转角α斜视旋转斜视内窥镜以控制视野200的垂直方向时,显示在监视器上的视野从视野200变为视野200'。因此,通过控制斜视旋转和摄像机的垂直方向的两个轴,可以获得上侧、下侧、左侧、及右侧的周边视野。
图7是示出投影到监视器上的视野由于斜视旋转而改变的状态的示意图。图7示出了利用斜视内窥镜观察身体内部的状态,并且示出了待由使用者(操作者)查看的观察对象210存在于各种器官215中的状态。在图7中,用矩形区域示出了监视器的视野200,并且与视野200一起示出了使用者(操作者)想要看到的观察对象210和镜轴C2。此外,图7示出了操作者使手术工具220(诸如,钳子)接触观察对象210并且抓住观察对象210的状态。
如图7所示,观察对象210相对于镜轴C2的位置定位在视野200(操作手术工具220的操作者一侧)下方。图7示出了当斜视内窥镜100绕镜轴C2旋转时观察对象210相对于视野200移动的状态。
图7中示出的“向下侧斜视”的图示出了斜视内窥镜100的物镜光学系统的光轴在视野200的上下方向上指向下侧的状态。在这种情况下,观察对象210进入视野200,并且操作者能够可视地识别监视器上的观察对象210。
图7中示出的“向右侧斜视”的图示出了斜视内窥镜100的物镜光学系统的光轴在视野200的左右方向上指向右侧的状态。在这种情况下,观察对象210从视野200移除,并且操作者不能够可视地识别监视器上的观察对象210。
图7中示出的“向上侧斜视”的图示出了斜视内窥镜100的物镜光学系统的光轴在视野200的上下方向上指向上侧的状态。此外,图7中示出的“向左侧斜视”的图示出了斜视内窥镜100的物镜光学系统的光轴在视野200的左右方向上指向左侧的状态。同样在这些情况下,观察对象210从视野200移除,并且操作者不能可视地识别监视器上的观察对象210。
如上所述,在斜视内窥镜100中,通过进行斜视旋转,可以改变视野相对于观察对象210的位置,并且能够可视地识别绕镜轴C2的相对宽范围。另一方面,如图7所示,存在使用者想要看到的部分或仪器由于斜视旋转而消失于监视器的视野200的概率,使得可能看不见那些地方。
因此,在本实施方式中,检测到观察对象210的位置,并且对臂控制使得观察对象210移动至屏幕中心。在本实施方式中,斜视旋转期间的旋转速度根据观察对象210相对于视野200的位置而改变。具体地,进行控制使得斜视旋转时的旋转速度随着观察对象210进一步远离视野200的中心而降低。随着观察对象210进一步远离视野200的中心,当进行斜视旋转时,观察对象210更容易偏离视野200。因此,随着观察对象210进一步远离视野200的中心,斜视旋转期间的旋转速度降低。因此,观察对象210更不可能偏离视野200,从而抑制观察对象210的位置消失。然而,斜视旋转的跟踪功能和速度不同。因此,当具有在上下左右的方向上移动屏幕以进行跟踪的自由度的移动速度与斜视旋转的速度没有进行协调和控制时,观察对象会离开屏幕。因此,在观察对象210被控制在屏幕中心时,进行控制使得斜视旋转的速度根据从屏幕中心到对象21的距离L或相对位置而减小。
<2.2斜视旋转速度根据距视野中心的距离而改变>
在此,将描述斜视旋转速度根据从视野200的中心到观察对象210的距离而改变。图8是示出用于计算从视野200的中心到观察对象210的距离的方法的示意图。如图8所示,当斜视旋转速度为ω[rad/s]并且从屏幕中心O到观察对象210的位置p的像素数量为(x,y)[pixels]((x,y)[像素])时,通过I=√(x2+y2)获得从屏幕中心到观察对象210的位置的像素的数量l。由此处,通过利用斜视旋转速度ω=f(l)的函数进行调节而实现。例如,当从屏幕中心到对角屏幕顶点的像素的数量为lmax[pixels]并且斜视旋转速度的最高速度为ωmax时,满足ω=ωmax*(lmax-l)=ωmax*(lmax-√(x2+y2))。
因此,当观察对象210的位置在屏幕中心时以ω=ωmax的形式进行调节,并且当观察对象210的位置在对角屏幕顶点时,ω=0。在这个实例中,计算为线性的,但可以使用高阶函数等。如果从摄像机到被摄体的距离Z[mm]和视角θ已知,则可以计算从屏幕中心到观察对象210的距离L[mm]以设置ω=f(L)。
图9是示出根据屏幕中的被摄体的位置限定斜视旋转的速度的映射的实例的示意图。映射400示出了基于图8的实例,其中斜视旋转的速度随着距屏幕中心O的距离增大而减小。映射400中的点的密度对应于斜视旋转的速度,并且映射410示出映射400中点的密度与斜视旋转的速度之间的关系。如在映射410中所示,点密度越高,斜视旋转的速度就越高。因此,在映射400中,斜视旋转的速度随着距屏幕中心O的距离增大而减小。
还示出了点密度与斜视旋转的速度和距被摄体(观察对象210)的距离之间的关系。根据映射420,距被摄体的距离越短,斜视旋转的速度越低。随着距被摄体的距离变短,观察对象210响应于斜视内窥镜100的移动而在视野200中移动的量变大。因此,通过随着距被摄体的距离变短,减小斜视旋转的速度,可以防止观察对象210从视野200中丢失。
图10是示出从屏幕中心O到观察对象210的距离(横轴)与斜视旋转速度(纵轴)之间的关系的特性图。如上所述,进行控制使得斜视旋转的速度随着从屏幕中心O到观察对象210的距离增大而减小,但图10中示出的变化可以假设为控制方法。
在图10中示出的特性1的情况下,以优先给予斜视旋转的速度的情况下进行控制。如果臂在XY方向上的移动足够快,即使在这种特性下,也可以跟随观察对象210。由于斜视内窥镜的旋转速度即使在屏幕端(Lmax)也不是0,因此根据观察对象210在开始斜视旋转时的位置,观察对象210可能离开屏幕。
在图10所示的特性2和3的情况下,假设臂的XY移动的速度比通过斜视旋转进行的视野的展开慢的情况。当观察对象210接近屏幕中心O时,快速进行斜视旋转,并且即使在屏幕端(Lmax),斜视内窥镜的旋转速度也不是0。由于即使当观察对象210与屏幕中心O分开某一距离或更大时,观察对象210也具有速度,因此根据观察对象210在开始斜视旋转时的位置,观察对象210可能离开屏幕。
此外,在图10所示的特性4的情况下,假设XY移动相当缓慢并且观察对象210没有偏离视野200的情况。当观察对象210与屏幕中心O在一定程度上偏离时,斜视旋转完全停止,并且仅进行XY移动。
在特性1到4中任一项中,特性依据斜视旋转的最大速度与臂的XY移动的速度之间的关系以及是否允许观察对象210移动到视野200之外等而改变。
<2.3观察对象的跟踪操作>
[如何移动臂以将观察对象移动到屏幕中心]
图11示出由于斜视内窥镜100绕长轴的旋转(斜视旋转),物镜光学系统的光轴的方向改变的一方面。如图10所示,可以通过斜视旋转改变操作者的观察方向,但视野依然如在图7中所描述的那样移动。另一方面,图12示出了通过使光轴在套管针点的中心或移动至其附近旋转而进行沿XY方向移动的情况。套管针点是指套管针插入人体的位置。如图12所示,当绕套管针点向斜视内窥镜100施加旋转移动(斜视内窥镜枢转的移动)时,斜视旋转角可以改变,且不会偏离视野。当进行这种移动时,斜视旋转角和XY移动联动移动。
在下文中,将描述结合斜视内窥镜100的斜视旋转,相对于视野移动斜视内窥镜100的方法的实例。图13示出了在没有改变斜视内窥镜的姿势的情况下的平行移动的实例,并且图13为示出了连同平行移动一起进行斜视旋转的情况的示意图。在这种情况下,进行移动,且不改变斜视内窥镜100相对于摄像机的视野的姿势。
当设置了(绕Y轴)的斜视角α、(绕Z轴)的斜视旋转角ψ、硬质镜长度L、距观察对象的距离R、在视野的中心处的点V、以及平行移动的量(ax,ay,az)时,表示平行移动的同时转换矩阵如下。
此外,斜视角和斜视旋转角的同时转换矩阵可以表示如下。应注意,为简单起见,将硬质镜的根部的初始位置设置为(0,0,0)的原点。
此时,在视野中心的点V如下。
如由上述式明显看出,视野可移动与硬质镜的平行移动的量相同的移动量。相反,通过根据ψ的值控制ax和ay从而使V保持恒定,在如图13所示进行斜视旋转的同时仍可以持续地看到对象点。此外,如果移动以将V保持在固定位置的(ax,ay)的改变量足够快于(Rcosψα,Rsinψsinα)的改变量,则对象不会由于斜视内窥镜的旋转而偏离视野。因此,当斜视旋转速度如以上所描述地受控制时,倾斜视野可以被旋转,且不会从屏幕中失去对象。此外,由于(Rcosψα,Rsinψsinα)与(ax,ay)的改变量之间的相对差产生影响,因此除了斜视旋转角的速度之外,还可以通过调节(ax,ay)的速度实现相同的移动。这种移动限于套管针点不受约束的情况,并且对应于例如带有胸部的小开胸手术/小切口的斜视内窥镜手术的情况。由于移动处于Y方向上,因此保持视野200与摄像机之间的距离。
图14示出了通过绕约束点300的旋转,视野向上、向下、向左及向右移动的实例。约束点300对应于例如套管针点。在这种情况下,臂的构造可以实现为具有以约束点300为中心的三个自由度。假定将绕约束点300绕X轴的旋转被设置为φ,并且绕Y轴的旋转设置为θ,则每个旋转矩阵如下。
此外,绕约束点300的旋转的同时转换矩阵如下。
此时,在视野中心的点V可以表示如下。
如果调节θ、φ及ψ使得保持上述V,则视野不会偏离。当确定作为目标的斜视角ψ时,选择用于保持V的值θ和φ的目标值。当利用目标值作为命令值控制θ、φ、和ψ时,通过调节上述斜视旋转角,即使在追踪目标值的过程中,也可以在不会将对象从视野中移除的情况下控制目标值。
此外,由于相对于θ和φ的改变,V的改变量还依据ψ的姿势改变,因此可以调节θ和φ的旋转速度使得X和Y的改变量根据斜视旋转角ψ的值而变得相同。顺便提及,以上计算将变得复杂。因此,为了简单安装,可以设置α=0,ψ=0,并且不论斜视旋转角如何,可将硬质镜轴旋转θ和φ以简化视野的移动。
[将观察对象移动至屏幕中心的臂的控制]
在下文中,将描述进行跟踪使得当斜视内窥镜100绕约束点300移动时观察对象210位于视野200的中心的实例。可以使用通过图像识别等识别屏幕中的对象的位置并且基于信息移动屏幕中的观察对象的臂控制方法。此外,还可以通过凝视检测确定操作者的观察对象点并且将观察对象点移动至视野的中心。
根据本实施方式,提供一种信息处理装置,该信息处理装置包括控制单元,控制单元控制支撑臂装置并且移动内窥镜使得患者的身体内部的对象匹配附接至支撑臂装置并且插入患者的身体中的内窥镜的光轴。当通过图像识别等识别对象,并且对臂控制使得对象显示在屏幕中心时,可以在通过内窥镜获得的图像的中心处捕获手术仪器或对象(诸如,肿瘤),从而提高操作者的便利性。这种信息处理装置可以与内窥镜手术系统5000分开配置,或者可以配置为包含在内窥镜手术系统5000中的任意装置。
在下文中,将参考图15和图16描述本实施方式的概述。
图15和图16是用于说明本实施方式的概述的示图。图15示出了内窥镜5001的透镜镜筒5003由在患者5071的腹壁中刺穿的套管针5025a插入到患者5071的体腔中的一方面。由实线指示的内窥镜5001示出当前位置和姿势,并且由虚线指示的内窥镜5001示出通过根据本实施方式的内窥镜控制处理进行的(即,将来)移动的目的地的位置和姿势。此外,钳子5023由在患者5071的腹壁中刺穿的套管针5025d插入。在图16中,示出了通过图15所示的内窥镜5001获得的图像(在下文中,还称作内窥镜图像)。左图是在当前位置和姿势获得的图像,并且右图是通过根据本实施方式的内窥镜控制处理进行移动之后获得的图像。
参考图15,在内窥镜5001的当前位置和姿势处,在内窥镜5001的视野6052中而不是中心轴线(即,光轴)6051上捕获钳子5023的远端。因此,如图16的左图所示,获得钳子5023的远端未显示在中心的内窥镜图像。在这种情况下,根据本实施方式的内窥镜手术系统5000进行移动内窥镜5001的处理使得手术工具(诸如,钳子5023)显示在屏幕中心。具体地,内窥镜手术系统5000通过支撑臂装置5027(未示出)移动内窥镜5001使得钳子5023的远端位于中心轴线6051上。结果,如图16的右图所示,获得钳子5023的远端显示在中心的内窥镜图像。在下文中,示出了在不考虑斜视角和斜视旋转角的情况下钳子5023的远端位于中心轴线6051上的实例。然而,需要考虑斜视角和斜视旋转角对斜视内窥镜200进行控制。此外,示出了钳子5023的远端位于中心轴线6051上的实例。然而,同样在通过对观察对象210进行图像识别将观察对象210作为对象置于中心轴线6051上的情况下进行相同的操作。
如上所述,内窥镜手术系统5000可以通过自动跟随手术工具而提供其中手术工具显示在屏幕中心的内窥镜图像。因此,操作者可以继续舒适地进行手术而不用操作内窥镜5001。
<2.4用于斜视旋转操作和跟踪操作的控制单元的构造实例>
图21是示出了用于进行上述斜视旋转操作和跟踪操作的支撑臂装置1400的控制单元1351的构造的示意图。如图21所示,控制单元1351包括:距离获取单元1351a,获取从视野的中心到通过对观察对象210进行摄像而获得的视野200中的观察对象210的位置的距离;以及速度计算单元1351b,基于从视野的中心到观察对象210的位置的距离计算斜视内窥镜100的斜视旋转的速度或者斜视内窥镜100的移动速度。基于由CCU5039的控制单元5063进行的观察对象210的图像识别的结果,进行距离获取单元1351a对从视野的中心到观察对象210的位置的获取。
此外,控制单元1351控制支撑臂装置1400使得基于由CCU 5039的控制单元5063进行的观察对象210的图像识别结果,使观察对象210位于视野200的中心。此时,控制单元1351根据视野200中的观察对象210的位置,控制斜视内窥镜100的斜视旋转的速度和斜视内窥镜100的移动速度中的至少一个。控制单元1351根据视野200中的观察对象210的位置,控制斜视内窥镜100的绕长轴的旋转角和旋转速度。如上所述,CCU5039的控制单元5063可以使用各种图像识别技术,识别观察对象210的图像的特征和视野200中的位置。控制单元1351从CCU 5039获得有关视野200中的观察对象210的位置的信息。
操作者可以在实时观看显示在显示设备5041上的手术区域的图像时通过操作输入设备5047,从显示在显示设备5041上的手术区域指定观察对象210。控制单元5063基于指定的观察对象210识别观察对象210的图像的特征和视野200中的位置。
<2.5跟踪操作的细节>
接下来,将参考图17描述用于实现上述内窥镜控制的处理。
图17是用于说明根据本实施方式的内窥镜控制处理的概述的示图。图17所示的每个块均指示处理,并且内窥镜控制处理包括多个处理。如图17所示,内窥镜手术系统5000进行图像处理以检测对象(诸如,手术工具)。接下来,内窥镜手术系统5000基于检测结果计算对象位置。接下来,内窥镜手术系统5000基于所计算出的对象位置和套管针位置计算内窥镜的当前姿势。接下来,内窥镜手术系统5000基于所计算出的内窥镜的当前姿势和虚拟平面(平面或曲面)的设置信息,计算目标内窥镜远端位置。接下来,内窥镜手术系统5000基于内窥镜的当前姿势和目标内窥镜远端位置计算内窥镜的姿势上的改变量,并且根据所计算出的改变量生成用于实现姿势改变的臂的控制信息(即,命令)。然后,内窥镜手术系统5000控制支撑臂(例如,臂单元5031)以根据所生成的命令操作。内窥镜手术系统5000重复进行上述一系列处理。
在下文中,将详细描述根据本实施方式的内窥镜控制处理。
(1)简介
根据本实施方式,内窥镜手术系统5000可以根据内窥镜图像中实现识别手术工具并且自动跟踪手术仪器的功能。在下文中,将描述臂根据图像处理部分(标记物检测)和检测结果操作内窥镜以在考虑套管针点的同时将手术工具移动至屏幕中心的计算方法。
在下文中,在描述了功能需求之后,描述了通过图像处理检测手术工具(标记物)的方法,并且然后描述了将检测结果转换为对象移动信息和姿势信息以进行运算的计算方法。
在此,描述了臂在不用考虑斜视角和斜视旋转角的情况下绕约束点移动的实例。
(2)图像处理
内窥镜手术系统5000通过图像处理检测手术工具(例如,手术工具的远端位置和/或姿势)。
例如,当用作标记的标记物附接至手术工具的远端时,可以基于内窥镜图像,通过图像处理检测手术工具的位置。期望标记物容易检测。例如,标记物可以是相比于体腔中的器官或血管的颜色凸显的诸如蓝色或绿色的颜色(例如,器官或血管在色环中的颜色的相反侧上的颜色)。此外,标记物可以是特定图案,诸如,二维码或条形码。
例如,可以将用作标记的标志物附接到暴露在身体外部的手术工具的一部分,并且可以基于由外部传感器获得的标志物的检测结果和诸如手术工具的长度和姿势的信息等来检测手术工具的位置。
可以通过除了图像处理以外的方法进行手术工具的检测。
例如,通过制造特定套管针,可以基于手术工具的插入量和套管针的角度计算手术工具的位置。
例如,当与内窥镜不同的手术工具附接至支撑臂装置时,可以由支撑臂装置的位置信息和姿势信息计算手术工具的位置。
(3)目标计算
内窥镜手术系统5000执行目标计算。目标计算是计算位置和姿势并给出运动指令的计算。
具体地,内窥镜手术系统5000首先从图像处理结果获得目标位置,然后,基于使用套管针点作为起点的当前姿势和到达目标位置时的姿势来确定姿势的变化量。此外,内窥镜手术系统5000在从图像处理结果获得移动量的同时,基于由编码器获取的当前位置和姿势来执行目标计算,但是将计算值添加到在执行实际命令的情况下最后进行的命令值。其原因在于,由于控制误差,当前值与命令值之间存在偏移,及在输出命令值的情况下,如果使用当前值作为起点来设置目标,则存在操作不能平稳执行且误差增大的问题。
在下文中,将参考图18描述目标计算处理的流程的实例。
图18是示出通过根据本实施方式的内窥镜手术系统5000进行的目标计算处理的流程的实例的流程图。如图18所示,内窥镜手术系统5000首先进行坐标计算。
在坐标计算中,内窥镜手术系统5000首先基于当前值计算坐标。具体地,内窥镜手术系统5000获取图像处理结果(步骤S402)。接下来,内窥镜手术系统5000将检测到的位置转换为摄像机坐标系(换句话说,从2D转换到3D)(步骤S404)。接下来,内窥镜手术系统5000将摄像机坐标系转换为世界坐标系(步骤S406)。接下来,内窥镜手术系统5000将套管针点转换为单位矢量(步骤S408)。接下来,内窥镜手术系统5000获得直到与既定平面(换句话说,虚拟平面)的交点的长度(步骤S410)。接下来,内窥镜手术系统5000将从套管针点到预定平面的矢量转换为世界坐标系(步骤S412)。
内窥镜手术系统5000在基于当前值计算坐标之后,基于命令值计算坐标。具体地,内窥镜手术系统5000基于内窥镜的长度执行到插入深度的转换(步骤S414)。
在坐标计算之后,内窥镜手术系统5000执行姿势计算。
在姿势计算中,内窥镜手术系统5000首先基于当前值计算姿势。具体地,内窥镜手术系统5000获取当前姿势矢量(步骤S416)。接下来,内窥镜手术系统5000获得计算出的新目标矢量的姿势(步骤S418)。接下来,内窥镜手术系统5000确定相对于计算出的新目标矢量的相对姿势变化量(步骤S420)。
内窥镜手术系统5000在基于当前值计算姿势之后,基于命令值计算姿势。具体地,内窥镜手术系统5000执行从最终命令值的姿势到姿势变化量的转换(步骤S422)。
通过上述处理,内窥镜手术系统5000获得目标位置和目标姿势。
(4)目标位置计算
图19是用于说明根据本实施方式的目标位置计算的示图。如图19所示,通知中给出图像处理结果作为通过将从摄像机远端的屏幕的中心为(0.5,0.5)的摄像机坐标系观察到的位置归一化到[0.0-1.0]而获得的值。由于该值实际上是无量纲值,所以内窥镜手术系统5000首先将该值转换为以米为单位的系统。然而,由于图像处理结果是2D并且在深度方向上没有信息,所以内窥镜手术系统5000在转换期间假定深度为例如50[mm],并且结合视角获得虚拟位置。
将描述假定深度为50[mm]的原因。第一个原因是因为如果假定值大于实际值,则(x,y)的移动量变得大于实际值(x,y)并且溢出(振荡)。第二个原因是因为假定手术技术中的成像距离被设置为50[mm]至100[mm],作为最小距离。第三个原因是因为在实际距离较大的情况下,从下一图像处理结果中的残差重新确定运动,使得最终可以达到目标。
(5)目标姿势计算
内窥镜手术系统5000在确定目标位置之后获得目标姿势。控制单元1351由基于目标位置和目标姿势的臂单元来控制臂单元1420。
<2.6跟踪操作的具体实例>
图20A至图20D是用于说明根据本实施方式的根据斜视内窥镜的控制斜视指向左侧的情况下的具体实例的示意图。与图7相似,图20A至图20D还示出了将由使用者(操作者)观看的观察对象210存在于各种器官215中的状态。在此,图20A示出了物镜光学系统的光轴指向相对于镜轴C的位置的视野200的下侧(操作手术工具220的操作者的一侧)的状态(斜视下的状态)。图20B示出图20A的放大视野200。在这种情况下,当进行斜视旋转以观看视野200的左侧时,在如图20C所示没有进行观察对象210的跟踪操作的现有技术中,相比于图20B,可以通过斜视旋转观看观察对象210的左侧,但不能够看到观察对象210。
另一方面,在本实施方式中,如图20D所示,控制臂以跟随观察对象210,使得观察对象210位于屏幕中心。因此,可将斜视内窥镜100旋转至左侧,且不会失去对观察对象210的视线。
<<3.提供了用于独立控制斜视内窥镜的旋转的保持单元的实例>>
在以上描述的图3所示的构造实例中,示出了仅通过控制臂单元1420的主动关节1421a至1421f而改变斜视内窥镜100的姿势和位置的实例。另一方面,可以在臂单元1420的远端设置具有内置致动器的用于单独控制斜视内窥镜的旋转的保持单元。在这种情况下,通过保持单元进行斜视内窥镜100的旋转,并且整个斜视内窥镜的位置和相对于手术区域的姿势都可由臂的主动关节控制。
图22是示出了独立控制斜视内窥镜100的旋转和摄像头7100的旋转的保持单元7000设置在图3所示的构造实例中臂单元1420的远端的构造的示意图。保持单元7000安装到臂单元1420的远端处的内窥镜单元安装单元7300,并且包括摄像头安装单元7100、摄像头旋转驱动单元7200、斜视内窥镜安装单元7400、以及斜视内窥镜旋转驱动单元7500。
如图22所示,摄像头5005经由摄像头安装单元7100安装在摄像头旋转驱动单元7200上。摄像头旋转驱动单元7200包括致动器7210(诸如,电动机),并且相对于内窥镜单元安装单元7300和保持单元7000的主体旋转摄像头5005。
此外,斜视内窥镜100经由斜视内窥镜安装单元7400安装至斜视内窥镜旋转驱动单元7500。斜视内窥镜旋转驱动单元7500包括致动器7510(诸如,电动机),并且绕内窥镜单元安装单元7300和保持单元7000的主体旋转斜视内窥镜100。
图23是示出了图22所示的构造实例中的包括臂单元1420和控制装置1350的支撑臂装置1400、内窥镜单元5006、以及CCU 5039的构造的示意图。除了图4所示的构造之外,控制装置1350包括与CCU 5039通信的CCU通信单元1358。除了图2所示的构造之外,CCU 5039包括与控制装置1350通信的臂通信单元5064。控制装置1350和CCU 5039可以通过CCU通信单元1358与臂通信单元5064之间的通信,彼此发送与接收信息。此外,通过向图2所示的摄像头5005增加保持单元7000的功能获得内窥镜单元5006,并且内窥镜单元5006包括内窥镜单元控制单元5014而不是图2所示的控制单元5015。除了图2所示的摄像头5005的构造之外,内窥镜单元5006包括斜视控制单元(第一控制单元)5016、摄像头控制单元(第二控制单元)5017、斜视内窥镜旋转驱动单元7500、以及摄像头旋转驱动单元7200。斜视控制单元5016和摄像头控制单元5017可以设置在保持单元7000中。内窥镜单元控制单元5014、斜视控制单元5016、以及摄像头控制单元5017的功能可以设置在控制装置1350的控制单元1351中。
斜视控制单元5016基于来自内窥镜单元控制单元5014的命令驱动致动器7510。致动器7510和斜视旋转单元编码器7520设置在斜视内窥镜旋转驱动单元7500中。内窥镜单元控制单元5014驱动致动器7510并且基于斜视旋转单元编码器7520检测到的致动器7510的旋转角来控制斜视内窥镜100绕轴的旋转。
此外,摄像头控制单元5017基于来自内窥镜单元控制单元5014的命令驱动致动器7210。致动器7210和摄像头旋转单元编码器7220设置在摄像头旋转驱动单元7200中。内窥镜单元控制单元5014基于摄像头旋转单元编码器7220检测到的致动器7210的旋转角来控制摄像头5005绕轴的旋转。
利用以上配置,斜视内窥镜100和摄像头5005可以相对于内窥镜单元安装单元7300独立旋转。因此,其变得可以旋转斜视内窥镜100以视觉地识别期望观察对象并且旋转摄像头5005以适当控制图像的顶部和底部。
图24是示出了图22和图23所示的构造中的处理流程的顺序图。首先,在步骤S502中,将有关斜视内窥镜100的斜视旋转和摄像头5005用于顶部和底部控制的姿势的信息从内窥镜单元发送到CCU 5039。在下一步骤S504中,将有关斜视内窥镜100的斜视旋转和摄像头5005用于顶部和底部控制的姿势的信息从CCU 5039发送到臂控制装置。
在下一步骤S506中,计算内窥镜单元的臂控制命令和驱动命令值。在下一步骤S508中,将内窥镜单元的驱动命令值连同驱动命令一起从臂控制装置发送至CCU 5039。在步骤S510中,基于臂控制命令控制臂。
在步骤S512中,将内窥镜单元的驱动命令值连同驱动命令一起从CCU 5039发送到内窥镜单元。在下一步骤S514中,基于驱动命令值控制内窥镜单元。
在下一步骤S516中,将有关斜视内窥镜100的斜视旋转和摄像头5005用于顶部和底部控制的姿势的信息从内窥镜单元发送到CCU 5039。在下一步骤S504中,将有关斜视内窥镜100的斜视旋转和摄像头5005用于顶部和底部控制的姿势的信息从CCU 5039发送到臂控制装置。
在下一步骤S510中,
<<4.总结>>
如上所述,根据本实施方式,斜视旋转的速度随着距监视器的视野200的中心的距离增加而减小。因此,在通过使用斜视内窥镜100的斜视旋转对周边进行视觉识别的情况下,可以抑制观察对象210偏离视野200。
此外,根据本实施方式,识别存在于患者的人体内部的观察对象210的图像,控制医疗臂使得斜视内窥镜100的物镜光学系统的光轴匹配观察对象210的位置,并且在内窥镜的远端约束到虚拟平面上时移动内窥镜。因此,当进行斜视旋转时,可以在视野200的中心捕获观察对象210(诸如,手术仪器或肿瘤),并且提高了操作者的便利性。
因此,操作者可以在将期望部分、仪器等始终保持在屏幕中的同时进行斜视旋转,并且可以抑制由于斜视旋转而引起的看不见观察对象210。此外,实现能够容易完成,且不基于如绕被摄体的枢转操作中的距离信息那样进行姿势控制。
上面已经参照附图详细描述了本公开的优选实施方式,但本公开的技术范围并不限于这种实例。可见本公开所属的本领域普通技术人员能够提出在权利要求描述的技术构思的范围内的各种改变或变形。当然,应理解的是,它们属于本公开的技术范围。
应注意,可以使用软件、硬件、和软件和硬件的组合中任一项实现本说明书中描述的每个装置的一系列处理。例如,构成软件的程序提前存储在设置在每个装置的内部或者外部的存储介质(非易失性介质)中。当计算机执行程序时读出RAM中的每个程序,并且由处理器(诸如,CPU)执行。
此外,参考本说明书中的流程图等描述的处理不一定要按所示出的顺序执行。可以同时执行一些处理步骤。此外,可以采用附加处理步骤,并且可以省去一些处理步骤。
此外,本说明书中描述的效果仅仅是说明性的或示例性的效果,并不受限制。即,作为以上效果的补充或替代,通过本说明书的描述,根据本公开的技术可以表现出对本领域中的技术人员显而易见的其他效果。
应注意,以下配置也属于本公开的技术范围。
(1)一种手术臂系统,包括:
多关节臂,其中多个关节通过多个连杆可旋转地连接并且在远端能够支撑斜视内窥镜;以及
控制系统,该控制系统控制多关节臂改变斜视内窥镜的位置和姿势,其中,
控制系统在通过斜视内窥镜摄像的视野中基于视野中的观察对象的位置控制斜视内窥镜的旋转速度和移动速度中的至少一个。
(2)根据(1)所述的手术臂系统,其中,控制系统控制斜视内窥镜绕长轴的旋转角和旋转速度。
(3)根据(1)或(2)所述的手术臂系统,其中,控制系统控制多关节臂的姿势和移动速度以在视野内移动观察对象的位置。
(4)根据(1)~(3)中任一项所述的手术臂系统,其中,控制系统在视野中基于从视野的中心到观察对象的位置的距离来控制斜视内窥镜的旋转速度和移动速度中的至少一个。
(5)根据(1)~(4)中任一项所述的手术臂系统,其中,控制系统随着从视野的中心到观察对象的位置的距离增加而减小旋转速度。
(6)根据(1)~(5)中任一项所述的手术臂系统,其中,控制系统基于确定观察对象的位置的结果控制支撑斜视内窥镜的多关节臂,使得观察对象位于视野的中心。
(7)根据(6)所述的手术臂系统,其中,控制系统基于观察对象的图像识别的结果控制支撑斜视内窥镜的多关节臂,使得观察对象位于视野的中心。
(8)根据(1)~(7)中任一项所述的手术臂系统,其中,在观察对象位于视野的一端的情况下,控制系统将旋转速度设置为0。
(9)根据(5)所述的手术臂系统,其中,控制系统控制旋转速度使得旋转速度的减小量相对于距离的增加量具有线性关系。
(10)根据(5)所述的手术臂系统,其中,在距离在预定范围内的情况下,控制系统将旋转速度设置为与在中心匹配观察对象的位置的情形下的旋转速度相同。
(11)根据(5)所述的手术臂系统,其中,在距离超过预定范围的情况下,控制系统将旋转速度设为恒定值。
(12)根据(1)~(11)中任一项所述的手术臂系统,其中,控制系统包括控制斜视内窥镜的旋转的第一控制单元和控制多关节臂的第二控制单元。
(13)根据(12)所述的手术臂系统,其中,多关节臂包括以分别独立地可控制旋转的方式保持斜视内窥镜和摄像头的保持单元。
(14)根据(13)所述的手术臂系统,其中,
保持单元包括第一控制单元,并且
第二控制单元经由连接至摄像头的图像处理单元获得由第一控制单元获得的斜视内窥镜的旋转角信息并且基于旋转角信息控制多关节臂。
(15)一种手术臂控制系统,控制多关节臂,其中多个关节通过多个连杆可旋转地连接并且在远端能够支撑斜视内窥镜,并且控制多关节臂改变斜视内窥镜的位置和姿势,其中,
在通过斜视内窥镜摄像的视野中基于视野中的观察对象的位置控制斜视内窥镜的旋转速度和移动速度中的至少一个。
符号的说明
100 斜视内窥镜
200 视野
210 观察对象
350 控制装置
351 控制单元
351a 距离获取单元
351b 速度计算单元
400 支撑臂装置
Claims (14)
1.一种手术臂系统,包括:
多关节臂,多个关节通过多个连杆可旋转地连接并且能够在远端支撑斜视内窥镜;以及
控制系统,控制所述多关节臂以改变所述斜视内窥镜的位置和姿势,其中,
所述控制系统在通过所述斜视内窥镜而摄像的视野中,基于所述视野中的观察对象的位置,控制所述斜视内窥镜的旋转速度和移动速度中的至少一个,
其中,所述控制系统随着从所述视野的中心到所述观察对象的位置的距离增加而减小所述旋转速度。
2.根据权利要求1所述的手术臂系统,其中,所述控制系统控制所述斜视内窥镜绕长轴的旋转角和旋转速度。
3.根据权利要求1所述的手术臂系统,其中,所述控制系统控制所述多关节臂的姿势和移动速度以在所述视野内移动所述观察对象的位置。
4.根据权利要求1所述的手术臂系统,其中,所述控制系统在所述视野内,基于从所述视野的中心到所述观察对象的位置的距离来控制所述斜视内窥镜的旋转速度和移动速度中的至少一个。
5.根据权利要求1所述的手术臂系统,其中,所述控制系统基于确定所述观察对象的位置的结果来控制对所述斜视内窥镜进行支撑的所述多关节臂,以使得所述观察对象位于所述视野的中心。
6.根据权利要求5所述的手术臂系统,其中,所述控制系统基于所述观察对象的图像识别的结果来控制对所述斜视内窥镜进行支撑的所述多关节臂,以使得所述观察对象位于所述视野的中心。
7.根据权利要求1所述的手术臂系统,其中,在所述观察对象位于所述视野的一端的情况下,所述控制系统将所述旋转速度设置为0。
8.根据权利要求1所述的手术臂系统,其中,所述控制系统控制所述旋转速度使得所述旋转速度的减小量相对于所述距离的增加量具有线性关系。
9.根据权利要求1所述的手术臂系统,其中,在所述距离在预定范围内的情况下,所述控制系统将所述旋转速度设置为与所述中心匹配所述观察对象的位置的情形下的所述旋转速度相同。
10.根据权利要求1所述的手术臂系统,其中,在所述距离超出预定范围的情况下,所述控制系统将所述旋转速度设为恒定值。
11.根据权利要求1所述的手术臂系统,其中,所述控制系统包括:控制所述斜视内窥镜的旋转的第一控制单元和控制所述多关节臂的第二控制单元。
12.根据权利要求11所述的手术臂系统,其中,所述多关节臂包括以可旋转控制彼此独立的方式保持所述斜视内窥镜和摄像头的保持单元。
13.根据权利要求12所述的手术臂系统,其中,
所述保持单元包括所述第一控制单元,并且
所述第二控制单元经由与所述摄像头连接的图像处理单元,获得由所述第一控制单元获得的所述斜视内窥镜的旋转角信息,并且基于所述旋转角信息控制所述多关节臂。
14.一种手术臂控制系统,所述手术臂控制系统控制多关节臂,在所述多关节臂中多个关节通过多个连杆可旋转地连接且能够在远端支撑斜视内窥镜,并且所述手术臂控制系统控制所述多关节臂以改变所述斜视内窥镜的位置和姿势,其中,
在通过所述斜视内窥镜而摄像的视野中,基于所述视野中的观察对象的位置,控制所述斜视内窥镜的旋转速度和移动速度中的至少一个,
其中,所述手术臂控制系统随着从所述视野的中心到所述观察对象的位置的距离增加而减小所述旋转速度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-211783 | 2017-11-01 | ||
JP2017211783 | 2017-11-01 | ||
PCT/JP2018/039539 WO2019087904A1 (ja) | 2017-11-01 | 2018-10-24 | 手術アームシステム及び手術アーム制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111278344A CN111278344A (zh) | 2020-06-12 |
CN111278344B true CN111278344B (zh) | 2023-09-05 |
Family
ID=66331868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880069629.8A Active CN111278344B (zh) | 2017-11-01 | 2018-10-24 | 手术臂系统和手术臂控制系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11612306B2 (zh) |
EP (1) | EP3705018A4 (zh) |
JP (1) | JP7115493B2 (zh) |
CN (1) | CN111278344B (zh) |
WO (1) | WO2019087904A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11612306B2 (en) * | 2017-11-01 | 2023-03-28 | Sony Corporation | Surgical arm system and surgical arm control system |
JP2020162633A (ja) * | 2019-03-28 | 2020-10-08 | ソニー株式会社 | 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム |
WO2021024754A1 (ja) * | 2019-08-02 | 2021-02-11 | ソニー株式会社 | 内視鏡システム、制御装置、および制御方法 |
CN112754662B (zh) * | 2020-12-31 | 2022-07-15 | 北京科迈启元科技有限公司 | 一种变角度rcm执行机构及手术装置 |
CN113311941B (zh) * | 2021-05-08 | 2023-11-10 | 南通大学 | 一种生物视觉感知机制研究用实验装置 |
CN113524182B (zh) * | 2021-07-13 | 2023-05-16 | 东北石油大学 | 一种智能调节人与屏幕距离的装置及方法 |
WO2023017651A1 (ja) * | 2021-08-13 | 2023-02-16 | ソニーグループ株式会社 | 医療用観察システム、情報処理装置及び情報処理方法 |
CN114713421B (zh) * | 2022-05-05 | 2023-03-24 | 罗海华 | 一种遥控喷涂的控制方法及系统 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000166857A (ja) * | 1998-12-04 | 2000-06-20 | Olympus Optical Co Ltd | 視野移動内視鏡システム |
JP2000271081A (ja) * | 1999-03-19 | 2000-10-03 | Olympus Optical Co Ltd | 内視鏡カメラ視野制御方法 |
JP2002191547A (ja) * | 2000-12-26 | 2002-07-09 | Olympus Optical Co Ltd | 内視鏡装置及び内視鏡装置の駆動方法 |
JP2003265408A (ja) * | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
JP3668269B2 (ja) * | 1995-01-10 | 2005-07-06 | オリンパス株式会社 | 体腔内手術用マニピュレータ装置 |
CN101594835A (zh) * | 2007-02-01 | 2009-12-02 | 奥林巴斯医疗株式会社 | 内窥镜手术装置 |
CN102090880A (zh) * | 2011-01-31 | 2011-06-15 | 广州宝胆医疗器械科技有限公司 | 三维立体硬质电子关节镜系统及其使用方法 |
CN102123651A (zh) * | 2009-01-15 | 2011-07-13 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
CN102834064A (zh) * | 2010-03-30 | 2012-12-19 | 泰尔茂株式会社 | 医疗用操纵系统 |
CN103445875A (zh) * | 2012-05-15 | 2013-12-18 | 株式会社电装 | 用于支持牙科植入手术的方法及设备 |
JP2014094039A (ja) * | 2012-11-07 | 2014-05-22 | Tokyo Institute Of Technology | 内視鏡操作システム |
CN104080391A (zh) * | 2012-07-10 | 2014-10-01 | 奥林巴斯医疗株式会社 | 插入装置 |
CN203970548U (zh) * | 2013-01-10 | 2014-12-03 | M.S.T.医学外科技术有限公司 | 外科手术控制系统 |
CN104582624A (zh) * | 2012-06-29 | 2015-04-29 | 儿童国家医疗中心 | 自动的外科手术和介入过程 |
CN104717935A (zh) * | 2012-08-15 | 2015-06-17 | 直观外科手术操作公司 | 利用零空间取消关节运动的系统和方法 |
CN105188594A (zh) * | 2013-05-09 | 2015-12-23 | 皇家飞利浦有限公司 | 根据解剖特征对内窥镜的机器人控制 |
CN105848552A (zh) * | 2013-12-26 | 2016-08-10 | 奥林巴斯株式会社 | 基于内窥镜的距离测定方法和内窥镜系统 |
CN105939647A (zh) * | 2013-10-24 | 2016-09-14 | 奥瑞斯外科手术机器人公司 | 机器人辅助腔内外科手术系统及相关方法 |
CN105992568A (zh) * | 2014-02-12 | 2016-10-05 | 皇家飞利浦有限公司 | 手术仪器可见性的机器人控制 |
CN106061427A (zh) * | 2014-02-28 | 2016-10-26 | 索尼公司 | 机器人臂设备、机器人臂控制方法和程序 |
WO2017015235A1 (en) * | 2015-07-17 | 2017-01-26 | The Johns Hopkins University | Delta mechanism with enhanced torsional stiffness |
CN106361440A (zh) * | 2016-08-31 | 2017-02-01 | 北京术锐技术有限公司 | 一种柔性手术工具系统及其在运动约束下的控制方法 |
CN106456260A (zh) * | 2014-05-15 | 2017-02-22 | 柯惠Lp公司 | 用于控制手术机器人系统中的照相机位置的系统和方法 |
JP2017093818A (ja) * | 2015-11-25 | 2017-06-01 | リバーフィールド株式会社 | 撮像システムおよび固定具 |
WO2017163407A1 (ja) * | 2016-03-25 | 2017-09-28 | 株式会社ニコン | 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3236070B2 (ja) * | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
US5673367A (en) * | 1992-10-01 | 1997-09-30 | Buckley; Theresa M. | Method for neural network control of motion using real-time environmental feedback |
JP3618413B2 (ja) | 1995-05-15 | 2005-02-09 | オリンパス株式会社 | 内視鏡装置 |
JP2000051149A (ja) * | 1998-08-05 | 2000-02-22 | Techno Sophia:Kk | リニアモーター駆動−無盲点診断治療大腸内視鏡 |
US6471637B1 (en) * | 1999-09-24 | 2002-10-29 | Karl Storz Imaging, Inc. | Image orientation for endoscopic video displays |
US7037258B2 (en) * | 1999-09-24 | 2006-05-02 | Karl Storz Imaging, Inc. | Image orientation for endoscopic video displays |
JP2002024795A (ja) * | 2000-07-04 | 2002-01-25 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP4647839B2 (ja) * | 2001-06-11 | 2011-03-09 | オリンパス株式会社 | 硬性ビデオ内視鏡システム |
US6663559B2 (en) * | 2001-12-14 | 2003-12-16 | Endactive, Inc. | Interface for a variable direction of view endoscope |
JP2004173972A (ja) * | 2002-11-27 | 2004-06-24 | Azemoto Shiyougo | 斜視内視鏡用画像処理システムおよびこれを備えた斜視内視鏡装置 |
JP2004173973A (ja) * | 2002-11-27 | 2004-06-24 | Azemoto Shiyougo | 斜視内視鏡用投影モデルのパラメータ推定方法 |
JP4426770B2 (ja) | 2003-03-12 | 2010-03-03 | オリンパス株式会社 | 内視鏡保持装置 |
US7517314B2 (en) * | 2004-10-14 | 2009-04-14 | Karl Storz Development Corp. | Endoscopic imaging with indication of gravity direction |
JP4689291B2 (ja) | 2005-02-09 | 2011-05-25 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置用プログラム |
EP1967126B1 (en) * | 2005-12-28 | 2014-05-21 | Olympus Medical Systems Corp. | Container device |
JP5259167B2 (ja) * | 2007-12-06 | 2013-08-07 | オリンパスメディカルシステムズ株式会社 | 光源装置および内視鏡装置 |
JP4715863B2 (ja) | 2008-05-01 | 2011-07-06 | ソニー株式会社 | アクチュエータ制御装置及びアクチュエータ制御方法、アクチュエータ、ロボット装置、並びにコンピュータ・プログラム |
US20100228427A1 (en) * | 2009-03-05 | 2010-09-09 | Massachusetts Institute Of Technology | Predictive semi-autonomous vehicle navigation system |
JP2011209099A (ja) | 2010-03-30 | 2011-10-20 | Sony Corp | トルクセンサおよびロボット装置 |
DE102010024003A1 (de) * | 2010-06-11 | 2011-12-15 | Karl Storz Gmbh & Co. Kg | Endoskop |
US10052157B2 (en) * | 2011-08-21 | 2018-08-21 | M.S.T. Medical Surgery Technologies Ltd | Device and method for assisting laparoscopic surgery—rule based approach |
CA2847182C (en) * | 2011-09-02 | 2020-02-11 | Stryker Corporation | Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing |
KR102087595B1 (ko) * | 2013-02-28 | 2020-03-12 | 삼성전자주식회사 | 내시경 시스템 및 그 제어방법 |
CN105050475B (zh) * | 2013-03-29 | 2017-10-13 | 索尼公司 | 激光扫描观察装置和激光扫描方法 |
CN106132346B (zh) * | 2014-03-28 | 2019-11-26 | 索尼公司 | 机器人手臂设备、机器人手臂设备的控制方法和程序 |
JP6419462B2 (ja) * | 2014-06-10 | 2018-11-07 | キヤノンメディカルシステムズ株式会社 | X線診断装置 |
JP6519144B2 (ja) * | 2014-11-06 | 2019-05-29 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
JP6632204B2 (ja) * | 2015-03-13 | 2020-01-22 | キヤノン株式会社 | 駆動装置、ロボット装置、および物品の製造方法 |
JP6565104B2 (ja) * | 2015-05-21 | 2019-08-28 | シャープ株式会社 | アクチュエータ |
JP6753081B2 (ja) * | 2016-03-09 | 2020-09-09 | ソニー株式会社 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
US10807233B2 (en) * | 2016-07-26 | 2020-10-20 | The University Of Connecticut | Skill transfer from a person to a robot |
JP6514166B2 (ja) * | 2016-09-16 | 2019-05-15 | ファナック株式会社 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
JP2018078463A (ja) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | 画像処理装置および設定方法、並びにプログラム |
JP2018075674A (ja) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | 関節駆動用アクチュエータ |
JP2018075218A (ja) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | 医療用支持アーム及び医療用システム |
EP3590406A4 (en) * | 2017-02-28 | 2020-04-01 | Sony Corporation | MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD |
US20190365489A1 (en) * | 2017-02-28 | 2019-12-05 | Sony Corporation | Medical support arm system and control device |
DE112018001058B4 (de) * | 2017-02-28 | 2020-12-03 | Sony Corporation | Medizinisches tragarmsystem und steuervorrichtung |
CN110325093B (zh) * | 2017-02-28 | 2022-04-08 | 索尼公司 | 医疗用臂系统、控制装置与控制方法 |
US10904437B2 (en) * | 2017-03-16 | 2021-01-26 | Sony Corporation | Control apparatus and control method |
WO2018179979A1 (ja) * | 2017-03-29 | 2018-10-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム |
JP2018198750A (ja) * | 2017-05-26 | 2018-12-20 | ソニー株式会社 | 医療用システム、医療用支持アームの制御装置、および医療用支持アームの制御方法 |
US11344180B2 (en) * | 2017-06-15 | 2022-05-31 | Children's National Medical Center | System, apparatus, and method for calibrating oblique-viewing rigid endoscope |
CN110892455A (zh) * | 2017-07-14 | 2020-03-17 | 索尼公司 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
EP3643220B1 (en) * | 2017-07-19 | 2023-04-26 | Sony Group Corporation | Surgery system, control method, surgery device, and program |
WO2019044328A1 (ja) * | 2017-08-31 | 2019-03-07 | ソニー株式会社 | 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 |
US11612306B2 (en) * | 2017-11-01 | 2023-03-28 | Sony Corporation | Surgical arm system and surgical arm control system |
JP7159579B2 (ja) * | 2017-11-01 | 2022-10-25 | ソニーグループ株式会社 | 医療用保持装置、及び医療用アームシステム |
WO2019087934A1 (en) * | 2017-11-01 | 2019-05-09 | Sony Corporation | Medical holding apparatus, medical arm system, and drape mounting mechanism |
US20210169305A1 (en) * | 2017-11-13 | 2021-06-10 | Sony Corporation | Image processing apparatus, image processing method, and image processing system |
JPWO2019155931A1 (ja) * | 2018-02-09 | 2021-01-28 | ソニー株式会社 | 手術システム、画像処理装置及び画像処理方法 |
JP7151109B2 (ja) * | 2018-03-19 | 2022-10-12 | ソニーグループ株式会社 | 医療用撮像装置及び医療用観察システム |
JP2021097720A (ja) * | 2018-03-20 | 2021-07-01 | ソニーグループ株式会社 | 内視鏡及びアームシステム |
WO2019187502A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
WO2019210227A1 (en) * | 2018-04-26 | 2019-10-31 | Deka Products Limited Partnership | Endoscope with rotatable camera and related methods |
DE112019003031T5 (de) * | 2018-06-15 | 2021-03-18 | Sony Corporation | Chirurgische beobachtungsvorrichtung, chirurgisches beobachtungsverfahren, chirurgische lichtquellenvorrichtung und lichtbestrahlungsverfahren für chirurgie |
DE112019004340T5 (de) * | 2018-08-28 | 2021-05-12 | Sony Corporation | Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren |
JPWO2020045014A1 (ja) * | 2018-08-28 | 2021-08-12 | ソニーグループ株式会社 | 医療システム、情報処理装置及び情報処理方法 |
CN113015474A (zh) * | 2018-10-12 | 2021-06-22 | 索尼集团公司 | 用于核实场景特征的系统、方法和计算机程序 |
JP2020071270A (ja) * | 2018-10-29 | 2020-05-07 | ソニー株式会社 | 撮像レンズおよび撮像装置 |
JPWO2020116067A1 (ja) * | 2018-12-04 | 2021-10-21 | ソニーグループ株式会社 | 医療システム、情報処理装置及び情報処理方法 |
US11653119B2 (en) * | 2019-03-14 | 2023-05-16 | Sony Semiconductor Solution Corporation | Solid-state image sensor and imaging device |
JP2020156800A (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 医療用アームシステム、制御装置、及び制御方法 |
WO2020203167A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2020213296A1 (ja) * | 2019-04-19 | 2020-10-22 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム及び指向性可変用システム |
JP2021013412A (ja) * | 2019-07-10 | 2021-02-12 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
WO2021024754A1 (ja) * | 2019-08-02 | 2021-02-11 | ソニー株式会社 | 内視鏡システム、制御装置、および制御方法 |
JP2021040987A (ja) * | 2019-09-12 | 2021-03-18 | ソニー株式会社 | 医療用支持アーム、及び医療用システム |
JP2021040988A (ja) * | 2019-09-12 | 2021-03-18 | ソニー株式会社 | 医療用支持アーム、及び医療用システム |
JP7385731B2 (ja) * | 2020-02-27 | 2023-11-22 | オリンパス株式会社 | 内視鏡システム、画像処理装置の作動方法及び内視鏡 |
JP2022020592A (ja) * | 2020-07-20 | 2022-02-01 | ソニーグループ株式会社 | 医療用アーム制御システム、医療用アーム制御方法、及びプログラム |
JP2022045236A (ja) * | 2020-09-08 | 2022-03-18 | ソニーグループ株式会社 | 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム |
-
2018
- 2018-10-24 US US16/758,864 patent/US11612306B2/en active Active
- 2018-10-24 WO PCT/JP2018/039539 patent/WO2019087904A1/ja unknown
- 2018-10-24 EP EP18874625.9A patent/EP3705018A4/en active Pending
- 2018-10-24 JP JP2019551211A patent/JP7115493B2/ja active Active
- 2018-10-24 CN CN201880069629.8A patent/CN111278344B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668269B2 (ja) * | 1995-01-10 | 2005-07-06 | オリンパス株式会社 | 体腔内手術用マニピュレータ装置 |
JP2000166857A (ja) * | 1998-12-04 | 2000-06-20 | Olympus Optical Co Ltd | 視野移動内視鏡システム |
JP2000271081A (ja) * | 1999-03-19 | 2000-10-03 | Olympus Optical Co Ltd | 内視鏡カメラ視野制御方法 |
JP2002191547A (ja) * | 2000-12-26 | 2002-07-09 | Olympus Optical Co Ltd | 内視鏡装置及び内視鏡装置の駆動方法 |
JP2003265408A (ja) * | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
CN101594835A (zh) * | 2007-02-01 | 2009-12-02 | 奥林巴斯医疗株式会社 | 内窥镜手术装置 |
CN102123651A (zh) * | 2009-01-15 | 2011-07-13 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
CN102834064A (zh) * | 2010-03-30 | 2012-12-19 | 泰尔茂株式会社 | 医疗用操纵系统 |
CN102090880A (zh) * | 2011-01-31 | 2011-06-15 | 广州宝胆医疗器械科技有限公司 | 三维立体硬质电子关节镜系统及其使用方法 |
CN103445875A (zh) * | 2012-05-15 | 2013-12-18 | 株式会社电装 | 用于支持牙科植入手术的方法及设备 |
CN104582624A (zh) * | 2012-06-29 | 2015-04-29 | 儿童国家医疗中心 | 自动的外科手术和介入过程 |
CN104080391A (zh) * | 2012-07-10 | 2014-10-01 | 奥林巴斯医疗株式会社 | 插入装置 |
CN104717935A (zh) * | 2012-08-15 | 2015-06-17 | 直观外科手术操作公司 | 利用零空间取消关节运动的系统和方法 |
JP2014094039A (ja) * | 2012-11-07 | 2014-05-22 | Tokyo Institute Of Technology | 内視鏡操作システム |
CN203970548U (zh) * | 2013-01-10 | 2014-12-03 | M.S.T.医学外科技术有限公司 | 外科手术控制系统 |
CN105188594A (zh) * | 2013-05-09 | 2015-12-23 | 皇家飞利浦有限公司 | 根据解剖特征对内窥镜的机器人控制 |
CN105939647A (zh) * | 2013-10-24 | 2016-09-14 | 奥瑞斯外科手术机器人公司 | 机器人辅助腔内外科手术系统及相关方法 |
CN105848552A (zh) * | 2013-12-26 | 2016-08-10 | 奥林巴斯株式会社 | 基于内窥镜的距离测定方法和内窥镜系统 |
CN105992568A (zh) * | 2014-02-12 | 2016-10-05 | 皇家飞利浦有限公司 | 手术仪器可见性的机器人控制 |
CN106061427A (zh) * | 2014-02-28 | 2016-10-26 | 索尼公司 | 机器人臂设备、机器人臂控制方法和程序 |
CN106456260A (zh) * | 2014-05-15 | 2017-02-22 | 柯惠Lp公司 | 用于控制手术机器人系统中的照相机位置的系统和方法 |
WO2017015235A1 (en) * | 2015-07-17 | 2017-01-26 | The Johns Hopkins University | Delta mechanism with enhanced torsional stiffness |
JP2017093818A (ja) * | 2015-11-25 | 2017-06-01 | リバーフィールド株式会社 | 撮像システムおよび固定具 |
WO2017163407A1 (ja) * | 2016-03-25 | 2017-09-28 | 株式会社ニコン | 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム |
CN106361440A (zh) * | 2016-08-31 | 2017-02-01 | 北京术锐技术有限公司 | 一种柔性手术工具系统及其在运动约束下的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111278344A (zh) | 2020-06-12 |
EP3705018A1 (en) | 2020-09-09 |
JPWO2019087904A1 (ja) | 2020-12-10 |
EP3705018A4 (en) | 2020-10-14 |
JP7115493B2 (ja) | 2022-08-09 |
WO2019087904A1 (ja) | 2019-05-09 |
US20210369351A1 (en) | 2021-12-02 |
US11612306B2 (en) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111278344B (zh) | 手术臂系统和手术臂控制系统 | |
CN110325093B (zh) | 医疗用臂系统、控制装置与控制方法 | |
JP7003985B2 (ja) | 医療用支持アームシステムおよび制御装置 | |
WO2020196338A1 (en) | Medical arm system, control device, and control method | |
WO2017145475A1 (ja) | 医療用情報処理装置、情報処理方法、医療用情報処理システム | |
US11540700B2 (en) | Medical supporting arm and medical system | |
JP2021013412A (ja) | 医療用観察システム、制御装置及び制御方法 | |
US11109927B2 (en) | Joint driving actuator and medical system | |
US20220008156A1 (en) | Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method | |
WO2021049438A1 (ja) | 医療用支持アーム、及び医療用システム | |
WO2021049220A1 (ja) | 医療用支持アーム、及び医療用システム | |
CN113905652A (zh) | 医学观察系统、控制装置和控制方法 | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2022269992A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
WO2023176133A1 (ja) | 内視鏡用保持装置、内視鏡手術システム、及び制御方法 | |
WO2020050187A1 (ja) | 医療システム、情報処理装置及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |