CN108697304A - 医疗用信息处理装置、信息处理方法、医疗用信息处理系统 - Google Patents

医疗用信息处理装置、信息处理方法、医疗用信息处理系统 Download PDF

Info

Publication number
CN108697304A
CN108697304A CN201680082111.9A CN201680082111A CN108697304A CN 108697304 A CN108697304 A CN 108697304A CN 201680082111 A CN201680082111 A CN 201680082111A CN 108697304 A CN108697304 A CN 108697304A
Authority
CN
China
Prior art keywords
arm
control unit
zoom
control
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680082111.9A
Other languages
English (en)
Other versions
CN108697304B (zh
Inventor
杉江雄生
菊地大介
平山智之
松田康宏
长尾大辅
笠井荣良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108697304A publication Critical patent/CN108697304A/zh
Application granted granted Critical
Publication of CN108697304B publication Critical patent/CN108697304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

常规手术装置仅控制用于捕获图像的切除位置并且因此在腹腔镜手术期间仅执行有限范围的图像控制。一种医疗用信息处理装置，该信息处理装置具有：图像控制单元，控制来自照相机的捕获图像的处理；以及臂控制单元，控制支撑照相机的臂的移动。图像控制单元和臂控制单元中的一者基于来自另一者的控制信息执行控制。

Description

医疗用信息处理装置、信息处理方法、医疗用信息处理系统
技术领域
本公开涉及医疗用信息处理装置、信息处理方法和医疗用信息处理系统。
背景技术
近来，正在执行的许多内窥镜手术使用对病人具有很少负担的内窥镜。在内窥镜手术中，内窥镜用于捕获病人的腹腔内部的图像，并且在显示器上显示通过内窥镜捕获的捕获图像的同时执行手术。
专利文献1公开了在以上描述的内窥镜手术中使用的内窥镜手术装置。专利文献1中公开的手术装置从内窥镜的捕获图像检测治疗工具的前端的位置，并且基于检测结果，剪切和放大捕获图像的一部分以在监视器上显示。
引文列表
专利文献
专利文献1：JP H8-164148A
发明内容
技术问题
专利文献1中公开的手术装置控制捕获图像的剪切位置。然而，利用捕获图像的剪切位置，在内窥镜手术中限制可以成像的范围。
因此，本公开提出通过控制支撑照相机的臂部的运动执行手术者或外科医生期望的各种成像的信息处理装置。
问题的解决方案
根据本公开，提供了一种医疗用信息处理装置，包括：图像控制部，控制来自照相机的捕获图像的处理；以及臂控制部，控制支撑照相机的臂部的运动。图像控制部和臂控制部中的一个基于来自另一个控制部的控制信息执行控制。
本发明的有利效果
根据以上描述的本公开，可以执行由手术者或外科医生期望的各种成像。
应注意，上述效果不必是限制性的。利用或代替上述效果，可以实现本说明书中描述的任一种效果或可以从本说明书中掌握的其他效果。
附图说明
[图1]图1是示出了内窥镜手术系统的示意性配置的实例的示图。
[图2]图2是示出了图1中示出的相机头和CCU的功能配置的实例的框图。
[图3]图3是示出了图1中示出的手术系统的配置的一部分的框图。
[图4A]图4A是示出了本公开中的跟踪手术仪器的操作中的CCU的处理实例的流程图。
[图4B]图4B是示出了本公开中的跟踪手术仪器的操作中的臂控制装置的处理实例的流程图。
[图5]图5是示出了本公开中的跟踪手术仪器的操作的实例的流程图。
[图6A]图6A是示出了本公开中的通过臂控制的变焦操作中的CCU的处理实例的流程图。
[图6B]图6B是示出了本公开中的通过臂控制的变焦操作中的臂控制装置的处理实例的流程图。
[图7]图7是示出了通过图6中示出的臂控制的变焦操作中的转换的示图。
[图8]图8是示出了通过图6中示出的臂控制的变焦操作中的转换的另一实例的示图。
[图9]图9是示出了通过图6中示出的臂控制的变焦操作中的转换的另一实例的示图。
[图10]图10是示出了本公开中的基于手术仪器的类型的显示图像分类操作的示图。
[图11]图11是示出了基于图10中示出的手术仪器的类型的显示图像分类操作的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施方式。应注意，在说明书和附图中，具有基本上相同功能和结构的结构元件利用相同的参考标号来表示，并且省略了对这些结构元件的重复说明。
在下文中，按以下顺序进行描述。
1.手术系统的示例性配置
2.第一实施方式
3.第二实施方式
4.第三实施方式
5.补充说明
6.结论
<1.手术系统的示例性配置>
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
图1是示出了可以应用根据本公开的技术的内窥镜手术系统3000的示意性配置的实例的示图。图1示出了其中外科医生(医生)3501使用内窥镜手术系统3000对躺在病床3503上的病人3505执行手术的情形。如图所示，内窥镜手术系统3000包括内窥镜3100、其他手术仪器3200、支撑内窥镜3100的支撑臂装置3300、以及在其上设置用于内窥镜手术的各种装置的手推车3400。
在内窥镜手术中，不是通过切开腹壁打开腹部，而是使用被称为套管针3207a至3207d的管状孔开口工具在多个位置刺穿腹壁。随后，内窥镜3100的透镜管3101和其他手术仪器3200从套管针3207a至3207d插入病人3505的体腔中。在示出的实例中，气腹管3201、能量治疗工具3202和镊子3205如其他手术仪器3200一样被插入病人3505的体腔中。进一步地，能量治疗工具3203是利用高频电流或超声波振动切割并且烧蚀组织或者密封血管等的治疗工具。然而，图中示出的手术仪器3200仅是实例，并且例如通常在内窥镜手术中使用的各种类型的手术仪器中的任一种(诸如，钳子和牵开器)也可以用作手术仪器3200。
由内窥镜3100拍摄的病人3505的体腔内部的手术部位的图像显示在显示装置3403上。外科医生3501例如在实时观看显示在显示装置3403上的手术部位的图像的同时，使用能量治疗工具3203和镊子3205执行诸如切除患部的治疗。应注意，尽管从示图中省略了，但是气腹管3201、能量治疗工具3203和镊子3205在手术期间由诸如外科医生3501或助手的个人支撑。
(支撑臂装置)
支撑臂装置3300设置有从基座部3301延伸的臂部3303。在示出的实例中，臂部3303包括接合部3305a、3305b和3305c、以及连杆3307a和3307b，并且由来自臂控制装置3407的控制驱动。内窥镜3100由臂部3303支撑，从而控制其位置和姿势。利用该布置，可以实现将内窥镜3100锁定在稳定位置中。
(内窥镜)
内窥镜3100包括：透镜管3101，具有距插入病人3505的体腔中的前端的一定长度的区域；以及相机头3103，连接至透镜管3101的基端。该实例示出了被配置为具有刚性透镜管3101的被称为刚性镜的内窥镜3100。然而，内窥镜3100还可以被配置为具有柔性透镜管3101的所谓柔性镜。
在透镜管3101的前端上，设置了物镜适配到其中的开口。光源装置3405连接至内窥镜3100。通过光源装置3405生成的光通过在透镜管3101内部延伸的光导而引导到透镜管的前端，并且通过物镜朝向病人3505的体腔内部的观察目标照射。应注意，内窥镜3100可以是直视镜，并且还可以是斜视镜或侧视镜。
光学系统和图像传感器设置在相机头3103的内部，并且从观察目标反射的光(观察光)通过光学系统聚集在图像传感器上。观察光通过图像传感器光电转换，并且生成对应于观察光的电信号，或者换言之，生成对应于观察图像的图像信号。图像信号作为原始数据被传输至照相机控制单元(CCU)3401。应注意，相机头3103设置有通过适当地驱动光学系统来调整放大倍率和焦距的功能。
应注意，为了支持立体视觉(3D显示)等，例如，可以在相机头3103中设置多个图像传感器。在这种情况下，多个中继光学子系统设置在透镜管3101的内部以便将观察光引导至多个图像传感器中的每一个。
(设置在手推车上的各种装置)
CCU 3401包括中央处理单元(CPU)、图形处理单元(GPU)等，并且集中控制内窥镜3100和显示装置3403的操作。具体地，例如，CCU 3401基于图像信号使从相机头3103接收的图像信号经受各种类型的图像处理，诸如，显影处理(去马赛克处理)，以用于基于该图像信号显示图像。CCU3401将已经经受这种图像处理的图像信号提供至显示装置3403。另外，CCU3401将控制信号传输至相机头3103以控制它的驱动。控制信号可包括与成像条件相关的信息，诸如，放大倍率和焦距。
在CCU 3401的控制下，显示装置3403基于经受CCU 3401的图像处理的图像信号显示图像。在其中内窥镜3100支持以诸如4K(3840水平像素×2160垂直像素)或者8K(7680水平像素×4320垂直像素)的高分辨率成像、和/或支持3D显示的情况下，例如，与每一者兼容并且能够进行高分辨率显示和/或能够进行3D显示的装置可以用作显示装置3403。在支持以诸如4K或8K的高分辨率成像的情况下，具有55英寸或更大尺寸的装置可以用作显示装置3403，从而获得更加身临其境的感觉。另外，根据该应用，还可以提供具有不同分辨率和尺寸的多个显示装置3403。
例如，光源装置3405包括光源，诸如发光二极管(LED)，并且当使手术部位成像时为内窥镜3100供应照射光。
臂控制装置3407包括诸如CPU的处理器，并且例如，通过根据预定程序操作，而根据预定控制方法控制支撑臂装置3300的臂部3303的驱动。
输入装置3409是关于内窥镜手术系统3000的输入界面。通过输入装置3409，用户能够将各种信息和指令输入到内窥镜手术系统3000中。例如，通过输入装置3409，用户输入与手术相关的各种信息，诸如，有关病人的身体信息以及有关手术流程的信息。如另一实例，通过输入装置3409，用户输入驱动臂部3303的指令、通过内窥镜3100改变成像的成像条件的指令(诸如，照射光的类型、放大倍率和焦距)、驱动能量治疗工具3203的指令等。
输入装置3409的类型不受限制，并且输入装置3409可以是各种已知类型的输入装置中的任一种。例如，鼠标、键盘、触摸板、开关、脚踏开关3419和/或操纵杆等可以应用为输入装置3409。在触摸板用作输入装置3409的情况下，触摸板可以设置在显示装置3403的显示屏幕上。
可替换地，输入装置3409是用户佩戴的设备，诸如，眼镜式可佩戴设备或头戴式显示器(HMD)，并且例如，根据由这些设备检测到的用户手势或目光等执行各种类型的输入。进一步，输入装置3409包括能够检测用户的运动的照相机。根据从照相机成像的图片检测到的用户手势或目光执行各种类型的输入。此外，输入装置3409包括能够拾取用户语音的麦克风。通过经由麦克风的语音执行各种类型的输入。以此方式，通过将输入装置3409配置为能够以非接触方式接收各种类型的信息的输入，特别是属于洁净区的用户(例如，外科医生3501)变得能够以非接触方式操作属于非洁净区域的设备。另外，由于用户变得能够在无需用户的手远离其正在持有的工具的情况下操作设备，因此改善用户便利性。
治疗工具控制装置3411控制能量治疗工具3203的驱动以烧灼或切割组织、密封血管等。为了固定内窥镜3100的视野并且固定外科医生的工作区，气腹装置3413通过气腹管3201将气体递送到体腔中以使病人3505的体腔充气。记录器3415是能够记录与手术相关的各种类型的信息的装置。打印机3417是能够以各种格式(诸如，文本、图像或曲线图)打印出与手术相关的各种类型的信息的装置。
在下文中，将更详细地描述特别在内窥镜手术系统3000中的特性配置。
(支撑臂装置)
支撑臂装置3300设置有充当基座的基座部3301、以及从基座部3301延伸的臂部3303。在示出的实例中，臂部3303包括多个接合部3305a、3305b和3305c、以及由接合部3305b连接的多个连杆3307a和3307b，但是在图1中，为了简化起见，以简化方式示出了臂部3303的配置。实际上，可以适当地设定接合部3305a至3305c以及连杆3307a和3307b的形状、数量和布置、接合部3305a至3305c的旋转轴线的方向等，使得臂部3303具有期望的自由度。例如，臂部3303优选地可以被配置为具有六个或更多个自由度。利用这种布置，可以在臂部3303的移动范围内自由移动内窥镜3100，并且因此，变得可以将内窥镜3100的透镜管3101从期望方向插入到病人3505的体腔中。
接合部3305a至3305c设置有致动器，并且接合部3305a至3305c被配置为可以根据致动器的驱动而关于某个旋转轴线可旋转。通过利用臂控制装置3407控制致动器的驱动，控制接合部3305a至3305c中的每一个的旋转角，并且控制臂部3303的驱动。利用这种布置，可以控制内窥镜3100的位置和姿势。此时，臂控制装置3407能够利用各种已知类型的控制方法中的任一种(诸如，力控制或者位置控制)来控制臂部3303的驱动。
例如，通过使外科医生3501经由输入装置3409(包括脚踏开关3419)执行适当的操作输入，可以根据操作输入通过臂控制装置3407适当地控制臂部3303的驱动，并且可以控制内窥镜3100的位置和姿势。通过这种控制，在将臂部3303的前端上的内窥镜3100从任意位置移动至任意位置之后，可以将内窥镜3100固定地支撑在移动后的位置处。应注意，可以通过所谓的主从方法操作臂部3303。在这种情况下，可以由用户经由安装在远离手术室的地点中的输入装置3409远程操作臂部3303。
进一步，在应用力控制的情况下，臂控制装置3407接收来自用户的外力，并且可以执行所谓的动力辅助控制，在动力辅助控制中，接合部3305a至3305c中的每一个的致动器被驱动，使得臂部3303跟随外力平稳地移动。利用这种布置，当用户在直接触摸臂部3303的同时移动臂部3303时，臂部3303可以利用相对轻的力移动。因此，变得可以利用较简单的操作更直观地移动内窥镜3100，并且可以改善用户的便利性。
在本文中，在内窥镜手术中，通常由称为剪切者的医生支撑内窥镜3100。相反，通过使用支撑臂装置3300，可以保持内窥镜3100的位置更可靠地固定而不需要人工工作，并且因此可以持续获得手术部位的图像，使得可以顺利地执行手术。
应注意，臂控制装置3407不必必须设置在手推车3400上。另外，臂控制装置3407臂控制装置3407不必必须是单个设备。例如，臂控制装置3407还可以分别设置在支撑臂装置3300的臂部3303的接合部3305a至3305c的每一个中，并且多个臂控制装置3407可以彼此协作以实现臂部3303的驱动控制。
(相机头和CCU)
将参考图2更详细地描述内窥镜3100的相机头3103和CCU 3401的功能。图2是示出了图1中示出的相机头3103和CCU 3401的功能配置的实例的框图。
参考图2，在功能上，相机头3103包括透镜单元3105、成像部3107、驱动部3109、通信部3111和相机头控制部3113。另外，在功能上，CCU3401包括通信部3421、图像处理部3423和控制部3425。相机头3103和CCU 3401可通过传输电缆3427双向通信地连接。
首先，将描述相机头3103的功能配置。透镜单元3105是设置在连接透镜管3101的部分中的光学系统。从透镜管3101的前端拍摄的观察光被引导至相机头3103，并且入射在透镜单元3105上。透镜单元3105包括多个镜头(包括变焦透镜和聚焦透镜)的组合。透镜单元3105的光学特性被调整为使观察光聚集在成像部3107中的图像传感器的感光面上。另外，变焦透镜和聚焦透镜被配置为能够在光轴上移动位置以便调整捕获图像的放大倍率和焦点。
成像部3107包括图像传感器，并且被布置在透镜单元3105的下游。穿过透镜单元3105的观察光被聚集在图像传感器的感光面上，并且通过光电转换，生成对应于观察图像的图像信号。通过成像部3107生成的图像信号被提供至通信部3111。
至于包括在成像部3107中的图像传感器，例如，使用具有能够彩色成像的拜耳阵列(Bayer array)的互补金属氧化物半导体(CMOS)类型的图像传感器。应注意，例如，能够捕获4K或更大的高分辨率图像的传感器可以用作图像传感器。通过获得手术部位的高分辨率图像，外科医生3501变得能够更详细地掌握手术部位的状态，并且更顺利地进行手术。
另外，包括在成像部3107中的图像传感器被配置为包括用于获取对应于3D显示的右眼和左眼中的每一个的图像信号的一对图像传感器。通过呈现3D显示，外科医生3501变得能够在手术部位处更精确地掌握生物组织的深度。应注意，如果成像部3107具有多芯片配置，则透镜单元3105同样设置有对应于每一个图像传感器的多个子系统。
另外，成像部3107不必必须设置在相机头3103中。例如，成像部3107还可以设置在透镜管3101内部，直接在物镜的后面。
驱动部3109包括致动器，并且在相机头控制部3113的控制下，沿着光轴以预定距离移动透镜单元3105的变焦透镜和聚焦透镜。利用这种布置，可以适当地调整通过成像部3107捕获的图像的放大倍率和焦点。
通信部3111包括用于将各种信息传输至CCU 3401并且从CCU 3401接收各种信息的通信装置。通信部3111通过传输电缆3427将从成像部3107获得的图像信号作为原始数据传输至CCU 3401。此时，为了以低延迟显示手术部位的捕获图像，图像信号优选地通过光通信传输。这是因为在手术期间，外科医生3501在经由捕获图像观察患部的状态的同时执行手术，并且因此为了更安全且更可靠的手术，需要手术部位的移动图像尽可能接近实时地显示。在进行光通信的情况下，图像部3111设置有将电信号转换为光信号的光电转换模块。图像信号通过光电转换模块被转换为光信号，并且然后通过传输电缆3427被传输至CCU3401。
另外，通信部3111从CCU 3401接收用于控制相机头3103的驱动的控制信号。例如，控制信号包括与成像参数相关的信息，诸如，指定捕获图像的帧速率的信息、指定成像期间的曝光值的信息、和/或指定捕获图像的放大倍率和焦点的信息。通信部3111将接收到的控制信号提供至相机头控制部3113。应注意，来自CCU 3401的控制信号还可以通过光通信传输。在这种情况下，通信部3111设置有将光信号转换为电信号的光电转换模块，由此控制信号通过光电转换模块转换为电信号，并且然后被提供至相机头控制部3113。
应注意，基于获取的图像信号，由CCU 3401的控制部3425自动设定上述成像参数，诸如，帧速率、曝光值、放大倍率和焦点。换言之，在内窥镜3100中设置所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头控制部3113基于从CCU 3401经由通信部3111接收的控制信号来控制相机头3103的驱动。例如，基于指定捕获图像的帧速率的信息和/或指定成像期间的曝光的信息，相机头控制部3113控制成像部3107的图像传感器的驱动。如另一实例，基于指定捕获图像的放大倍率和焦点的信息，相机头控制部3113经由驱动部3109适当地移动透镜单元3105的变焦透镜和聚焦透镜。另外，相机头控制部3113还可以设置有存储用于识别透镜管3101和相机头3103的信息的功能。
应注意，通过将配置的部件(诸如透镜单元3105和成像部3107)布置在高度气密且防水的密封结构内部，相机头3103可以承受高压灭菌处理。
接下来，将描述CCU 3401的功能配置。通信部3421包括用于将各种信息传输至相机头3103并且从相机头3103接收各种信息的通信装置。通信部3421通过传输电缆3427接收从相机头3103传输的图像信号。此时，如先前描述的，图像信号优选地可以通过光通信传输。在这种情况下，为了支持光通信，通信部3421设置有将光信号转换为电信号的光电转换模块。通信部3421将转换为电信号的图像信号提供至图像处理部3423。
另外，通信部3421将用于控制相机头3103的驱动的控制信号传输至相机头3103。控制信号还可以通过光通信传输。
图像处理部3423对作为从相机头3103传输的原始数据的图像信号执行各种类型的图像处理。例如，图像处理包括各种已知类型的信号处理中的任一种，诸如，显影处理、图像质量改善处理(诸如，频带增强处理、超分辨率处理、噪音减小(NR)处理和/或抖动校正处理)和/或放大处理(数字变焦处理)。另外，图像处理部3423对图像信号执行波检测处理以执行AE、AF和AWB。
图像处理部3423包括诸如CPU或GPU的处理器，并且通过使处理器根据预定程序操作，可以执行以上描述的图像处理和波检测处理。应注意，在其中图像处理部3423包括多个GPU的情况下，图像处理部3423适当地划分与图像信号相关的信息，并且与多个GPU并行执行图像处理。
控制部3425通过内窥镜3100执行与手术部位的成像相关的各种类型的控制并且显示从其中捕获的图像。例如，控制部3425生成用于控制相机头3103的驱动的控制信号。此时，在其中由用户输入成像参数的情况下，控制部3425基于用户的输入生成控制信号。可替换地，在其中内窥镜3100设置有AE功能、AF功能和AWB功能的情况下，控制部3425根据由图像处理部3423进行的波检测处理的结果计算最佳的曝光值、焦距和白平衡，并且生成控制信号。
此外，控制部3425使显示装置3403基于经受了由图像处理部3423进行的图像处理的图像信号显示手术部位的图像。此时，控制部3425使用各种类型的图像技术中的任一种识别手术部位图像中的各种对象。例如，通过检测包括在手术部位图像中的对象的边缘形状、颜色等，控制部3425能够在能量治疗工具3203等的使用期间识别手术仪器(诸如，镊子)、特定的生理部位、出血、雾。当使显示装置3403显示手术部位的图像时，控制部3425使用识别结果将各种手术辅助信息叠加在手术部位的图像上。通过叠加呈现给外科医生3501的用于显示的手术辅助信息，可以更安全且可靠地进行手术。
连接相机头3103和CCU 3401的传输电缆3427是支持电信号的通信的电信号电缆、支持光通信的光纤、或者以上的复合电缆。
在本文中，在示出的实例中，使用传输电缆3427以有线方式执行通信，但是还可以无线执行相机头3103与CCU 3401之间的通信。在无线地执行这两者之间的通信的情况下，不再需要将传输电缆3427放在手术室内部，并且因此，可以解决传输电缆3427妨碍手术室内部的医务人员的移动的情形。
在本文中应注意，尽管将内窥镜手术系统3000作为实例描述，但是可以应用根据本公开的技术的系统不限于这种实例。例如，根据本公开的技术还可以应用于检查的柔性内窥镜系统、或者显微镜手术系统。
<2.第一实施方式>
(跟踪手术仪器的操作)
以上示出了根据本实施方式的内窥镜手术系统3000的配置。在下文中，将描述跟踪以上描述的内窥镜手术系统3000中的手术仪器3200的操作。如上所述，CCU 3401从相机头3103接收图像信号，并且基于所接收的图像信号识别对象。在本公开的内窥镜手术系统3000中，执行跟踪识别的手术仪器3200的操作。应注意，相机头3103是捕获图像的照相机的一个实例，并且CCU 3401是控制捕获图像的处理的图像控制部的一个实例。
另外，通过检测如上所述的手术仪器3200的边缘形状和/或颜色等执行手术仪器3200的检测。然而，还可以通过另一种方法执行手术仪器3200的检测，例如，还可以通过检测手术仪器3200的亮度梯度执行手术仪器3200的检测。这是基于手术仪器3200的亮度梯度如何一致(在固定方向上是固定的)，然而除了手术仪器3200之外的对象(诸如，器官)的亮度梯度是不一致的。另外，还可以使用机器学习执行手术仪器3200的检测。通过使用机器学习，利用每次使用改善手术仪器3200的检测精确度。这在手术系统(即，不接受误识别的系统)中是极其有效的。
图3是示出了跟踪本公开中的手术仪器3200的操作的实例的示图。由图3中的实线表示的框示出了通过成像部3107的图像传感器捕获的图像捕获区域100。另外，由图3中的虚线表示的框示出了CCU 3401传输至显示装置3403的显示区域200。通常，图像捕获区域100大于显示区域200，CCU 3401从图像捕获区域100剪切显示区域200，并且显示区域200传输至显示装置3403。
另外，图3的上排示出了显示区域200如何显示在显示装置3403上。图3的下排示出了图像捕获区域100与显示区域200之间的关系。图3的上排示出了成像目标300(诸如，病人3505的器官)和手术仪器3200(诸如，镊子3205)如何成像。
图3的A是初始状态，其中，手术仪器3200的前端附近被放置在显示区域200的中心中。接下来，图3的B示出了手术仪器3200如何因为外科医生3501或助手移动手术仪器3200等而移动至右侧。
此时，如图3的B的下排所示，CCU 3401将显示区域200的剪切位置转移至右侧，以跟踪检测到的手术仪器3200的运动。以此方式，通过使CCU 3401根据手术仪器3200的运动改变显示区域200的剪切位置，手术仪器3200的前端附近保持在显示区域200的中心。将手术仪器3200的前端保持在显示区域200的中心使得外科医生3501和助手更容易执行治疗。
接下来，图3的C是示出了其中手术仪器3200从图3的B向右侧更远地移动的情况的示图。在图3的C中，手术仪器3200的前端在初始状态下放置在图像捕获区域100(A和B的图像捕获区域100)的范围的外部。此时，CCU 3401将控制信息发送至臂控制装置3407以便移动臂部3303并且跟踪手术仪器3200。从CCU 3401接收控制信息的臂控制装置3407移动臂部3303，并且跟踪手术仪器3200。应注意，臂控制装置3407是控制臂部3303的臂控制部的实例。
此时，为了将手术仪器3200的前端保持在显示区域200的中心，如图3的C的下排所示，CCU 3401在镊子3205的移动方向(移动至图3的C的上示图中的右侧)的相反方向上(移动至图3的C的下示图中的左侧)转移显示区域200的剪切位置。利用这种布置，显示区域200变成图像捕获区域100的中心，并且固定用于执行剪切位置的下一个变化的区域。
在以此方式改变显示区域200的剪切位置中，在不能适应手术仪器3200的运动的情况下，CCU 3401将移动臂部3303的控制信息传输至臂控制装置3407。利用这种布置，在较宽范围上跟踪手术仪器3200变得可行。
应注意，由于臂部3303的刚性，存在臂移动之后可发生相机抖动的可能性。此时，CCU 3401可以被配置为通过改变显示区域的剪切位置来校正此相机抖动。通过使CCU 3401执行图像处理或者通过将陀螺仪传感器附接至臂部3303来执行相机抖动校正。
图4A是示出了在跟踪以上描述的手术仪器3200的操作中的CCU3401的处理的流程图。在S100中，CCU 3401检测手术仪器3200的运动。接下来，在S102中，CCU 3401确定手术仪器3200的运动是否可以适应显示区域200的剪切位置的变化。
在S102中，在手术仪器3200的运动可以适应显示区域200的剪切位置的变化的情况下，该处理进行至S108。在S108中，CCU 3401根据手术仪器3200的运动改变显示区域200的剪切位置。
在S102中，在手术仪器3200的运动不能适应显示区域200的剪切位置的变化的情况下，CCU 3401将用于控制臂部3303的控制信息发送至臂控制装置3407(S104)。
当臂控制装置3407使臂部3303基于在S104中传输的控制信息移动时，臂控制装置3407将臂移动信息传输至CCU 3401，并且CCU 3401接收臂移动信息(S106)。
随后，在S108中，CCU 3401基于从臂控制装置3407接收的臂移动信息改变显示区域200的剪切位置。通过S110，在臂部3303的移动方向的相反方向上执行显示区域200的剪切位置的变化。
接下来，将描述在跟踪手术仪器3200的操作中的臂控制装置3407的处理。图4B是示出了在跟踪手术仪器3200的操作中的臂控制装置3407的处理的流程图。当CCU 3401在图4A的S104中传输控制信息时，在S110中，臂控制装置3407接收控制信息。
接下来，在S112中，基于从CCU 3401接收的控制信息，臂控制装置3407计算移动臂部3303的臂移动量。接下来，在S114中，臂控制装置3407使臂部3303基于计算出的臂移动量移动。在S114中，当臂部3303移动时，在S116中，臂控制装置3407将臂移动信息发送至CCU3401。
应注意，可以通过各种方法执行图4A的S102中的确定。例如，在图像捕获区域100内部预设预定帧并且手术仪器3200的前端移动超出预定帧的情况下，CCU 3401可以确定该运动不适应显示区域200的剪切位置的变化。另外，CCU 3401可以计算手术仪器3200的运动矢量，并且当运动矢量的矢量量大于预定尺寸时，CCU 3401可以确定该运动不适应显示区域200的剪切位置的变化。在这种情况下，CCU 3401还可以将以一速度并且在根据计算的矢量量的方向上移动臂的控制信息传输至臂控制装置3407。
另外，在以上描述的实例中，在图4B的S116中，臂控制装置3407将臂移动信息传输至CCU 3401，并且CCU 3401基于臂移动信息改变剪切位置。然而，CCU 3401还可以通过图像检测来检测手术仪器3200，并且改变显示区域200的剪切位置，使得检测到的手术仪器3200的前端的附近在显示区域200的中心。应注意，在CCU 3401基于在图4A的S106中接收到的臂移动信息改变显示区域200的剪切位置的情况下，CCU 3401不执行图像检测，并且因此CCU3401能够以小处理负荷改变剪切位置。
以上描述了当跟踪本公开的手术系统中的手术仪器3200时的示例性操作。在下文中，将参考图5示出当跟踪以上描述的手术仪器3200时在每个装置之间传输和接收的信息。
如上所述，CCU 3401从相机头3103接收图像信号，并且处理所接收的图像信号。此外，CCU 3401将用于改变相机头3103中的放大倍率、焦距等的相机头控制信号传输至相机头3103。
另一方面，臂控制装置3407从臂部3303接收表示外力已经施加至臂部3303的外力信息。此外，臂控制装置3407将用于控制臂部3303的臂控制信号传输至臂部3303。
在CCU 3401与臂控制装置3407之间，传输和接收利用以上描述的臂部3303的移动跟踪手术仪器3200的控制信息。例如，作为图4A的S104中示出的控制信息，CCU 3401将关于手术仪器3200的位置信息或者关于显示区域200的剪切位置信息传输至臂控制装置3407。另外，作为控制信息，CCU 3401可以将与检测到的手术仪器3200的运动相关的矢量量传输至臂控制装置3407。通过使CCU 3401传输矢量量，臂控制装置3407能够控制臂部3303的操作以匹配手术仪器3200的运动的速度和方向。
另外，例如，作为图4B的S116中示出的臂移动信息，臂控制装置3407将臂的位置信息、移动速度或移动方向传输至CCU 3401。另外，作为臂移动信息，臂控制装置3407可以将与臂部3303的移动相关的矢量量传输至CCU 3401。通过使臂控制装置3407传输矢量量，CCU3401能够控制显示区域200的剪切位置以匹配臂部3303的运动的速度和方向。
随后，CCU 3401处理从相机头3103接收的图像信号，从图像捕获区域100剪切显示区域200，并且将剪切的显示区域200传输至显示装置3403。
应注意，在图4A的S102中，在运动不能适应剪切位置的变化的情况下，存在手术仪器3200不再存在于图像捕获区域100内部的可能性。在这种情况下，CCU 3401还可以存储由成像部3107的图像传感器捕获的图像捕获区域100的过去帧。随后，CCU 3401和臂控制装置3407使用在过去帧中的与手术仪器3200的运动(例如，运动矢量量)相关的信息以通过臂控制执行跟踪手术仪器3200的操作。另外，在手术仪器3200存在于图像捕获区域100内部的情况下，臂控制装置3407还可以与CCU 3401协作控制臂，使得手术仪器3200的前端接近图像捕获区域100的中心。(第一实施方式的总结)
在如上所述的本公开的手术系统中，CCU 3401不仅通过改变显示区域200的剪切位置来跟踪手术仪器3200，而且另外地，臂控制装置3407使支撑相机头3103的臂部3303移动并跟踪手术仪器3200。通过这种布置，变得即使在手术仪器3200的移动不能适应仅通过CCU 3401进行的显示区域200的剪切位置的变化的情况下也可以跟踪手术仪器3200。因此，外科医生3501或助手不用必须执行改变显示区域200的操作，允许执行无压力的手术。
<3.第二实施方式>
(通过臂控制的变焦操作)
以上描述了通过控制臂部3303跟踪手术仪器3200的操作的实例。在下文中，将描述通过控制臂部3303的变焦操作。如上所述，通过使透镜单元3105的变焦透镜沿着光轴移动预定距离，本公开的内窥镜手术系统3000能够执行光学变焦。应注意，除非另有明确指出，否则在下文中描述的术语“缩放”包括“放大”和“缩小”的含义。
考虑到透镜通过灭菌处理变得失真，手术系统中的透镜单元3105可以使图像放大的放大倍率受到限制。因此，除了通过相机头3103的光学变焦或电子变焦之外，本公开的内窥镜手术系统3000通过控制臂部3303执行变焦。利用这种布置，以比光学变焦甚至更大或更小的放大倍率的变焦变得可行，并且此外，以比数字变焦更高的分辨率的图像变焦变得可行。应注意，通过切断和放大由成像部3107捕获的图像的一部分来执行电子变焦。
以下表1中示出了光学变焦、电子变焦和通过臂控制的变焦操作中的每一项的特性。
[表1]
响应速度 图像质量 障碍物处理
光学变焦 中速 良好 可行
电子变焦 快速 差 可行
臂控制 慢速 良好 不可行
如表1所示，关于来自用户的变焦指令的响应速度，电子变焦在三种变焦方法之中是最快的，而臂控制在三种变焦方法之中是最慢的。另外，光学变焦的响应速度介于这两者之间。接下来，关于图像质量，通过光学变焦和臂控制的变焦保持高图像质量，但是利用电子变焦，图像质量下降。另外，关于是否可以在相机头3103与对象之间存在障碍物(障碍物处理)的情况下执行变焦操作，光学变焦和电子变焦能够进行变焦操作，然而通过臂控制的变焦操作不可用。
以上示出了每个变焦操作的特性。在下文中，将描述结合通过相机头3103的变焦操作和通过臂控制的变焦操作的变焦操作。图6A是示出了结合通过相机头3103的变焦操作和通过臂控制的变焦操作的变焦操作中的CCU 3401的处理实例的流程图。初始地，在S200中，用户输入指定变焦放大倍率的指令。
在S202中，CCU 3401确定S200中指定的放大倍率是不是当前放大倍率。在S202中，如果CCU 3401确定指定的放大倍率是当前放大倍率，则该处理结束。另一方面，在S202中，如果CCU 3401确定指定的放大倍率不同于当前放大倍率，则该处理进行至S204。
在S204中，CCU 3401基于S200中指定的放大倍率执行光学变焦或电子变焦。接下来，该处理进行至S206，并且CCU 3401确定光学或电子变焦的放大倍率是否达到预定值。在S206中，在CCU 3401确定光学或电子变焦的放大倍率没有达到预定值的情况下，该处理返回至S204，并且重复该变焦操作。在S206中，在CCU 3401确定光学或电子变焦的放大倍率达到预定值的情况下，该处理进行至S208。
在S208中，CCU 3401通过执行图像检测确定是否存在障碍物。在S208中，如果CCU3401确定存在障碍物，因为它对于臂部3303移动是危险的，因此该处理结束。另一方面，在S208中，如果CCU 3401确定不存在障碍物，则CCU 3401将以上使用图4和图5描述的控制信息发送至臂控制装置3407(S210)。
当臂控制装置3407使臂部3303基于在S210中传输的控制信息移动时，臂控制装置3407将臂移动信息传输至CCU 3401，并且CCU 3401接收臂移动信息(S212)。另外，在S214中，CCU 3401基于从臂控制装置3407接收的臂移动信息调整视角和焦点。
接下来，将描述在结合通过相机头3103的变焦操作和通过臂控制的变焦操作的变焦操作中的臂控制装置3407的处理。图6B是示出了结合通过相机头3103的变焦操作和通过臂控制的变焦操作的变焦操作中的臂控制装置3407的处理的流程图。当CCU 3401在图6A的S210中传输控制信息时，在S216中，臂控制装置3407接收控制信息。
在S218中，基于从CCU 3401接收的控制信息，臂控制装置3407计算移动臂部3303的臂移动量。接下来，在S220中，臂控制装置3407基于计算出的臂移动量使臂部3303移动。在S220中，当臂部3303移动时，在S222中，臂控制装置3407将以上使用图4和图5描述的臂移动信息发送至CCU 3401。
应注意，S206中的预定值可以是光学或电子变焦的放大倍率的极限值。另外，S206中的预定值可以是低于光学或电子变焦的放大倍率的极限值的预定值。在S206中的预定值是低于光学或电子变焦的放大倍率的极限值的预定值的情况下，CCU 3401能够留下执行光学或电子变焦的空间。利用这种布置，CCU 3401能够通过用户指令将显示图像立即切换为俯瞰图像。
另外，在以上描述的实例中，在图6B的S222中，臂控制装置3407将臂移动信息传输至CCU 3401，并且CCU 3401基于臂移动信息调整视角和焦点。然而，CCU 3401还可以基于捕获图像的对比度等通过处理调整视角和焦点。
以上描述了在本公开的内窥镜手术系统3000中通过臂控制的变焦操作的操作流程。在下文中，将使用图7描述图6中示出的本公开的变焦操作中的每个变焦之间的关系。图7中的实线L1示出了通过臂控制的变焦，而虚线L2示出了通过相机头3103的变焦(光学变焦和/或电子变焦)的操作。
垂直轴线的左侧是示出了通过相机头3103的变焦的放大倍率的轴线，并且是关于实线L1的轴线。垂直轴线的右侧是示出了工作距离(WD)的轴线并且是关于虚线L2的轴线，该工作距离是透镜管3101的透镜的前端至对象的距离。
在图7中，通过相机头3103的变焦的放大倍率的初始值是×1，并且WD的初始值是L。应注意，以下描述假设×2是通过相机头3103的放大倍率的极限值。
当用户在t1给出变焦指令时，在通过臂控制的变焦之前执行通过相机头3103的变焦。以此方式在通过臂控制的变焦之前执行通过相机头3103的变焦的理由是因为通过相机头3103的变焦操作比通过臂控制的变焦操作更快。
另外，因为臂部3303在通过臂控制的变焦操作中开始移动需要时间，因此优选的是在通过臂控制的变焦操作之前执行通过相机头3103的变焦操作。
接下来，在t2时，当通过相机头3103的变焦放大倍率达到小于×2的极限值的预定值时，通过相机头3103的变焦放大倍率开始下降。在以此方式达到极限值之前降低通过相机头3103的变焦放大倍率留出用户要求的突然变焦操作的空间。例如，响应于用户指令，变焦放大倍率可以迅速返回至×1的放大倍率，并且当外科医生3501想要查看手术部位的俯瞰图像时，外科医生3501可以立即适应。另外，通过不使用电子放大至极限放大倍率，减小图像质量下降。
另外，在t2时，当通过相机头3103的变焦放大倍率达到小于×2的极限值的预定值时，开始通过臂控制的变焦。通过使臂部3303移动为使透镜更靠近对象来执行通过臂控制的变焦。接下来，在t3时，通过相机头3103的变焦返回至×1的变焦放大倍率。随后，直到t4都执行通过臂控制的变焦，并且在t4时，WD变成初始值的1/2。此时，通过臂控制的变焦操作实现初始值的×2放大倍率。
在t4之后，在来自用户的另一个变焦操作指令的情况下，重复与t1至t4相似的变焦操作，并且在时间t7时，变焦放大倍率变成×3。与时间t2类似，在时间t5时，通过相机头3103的变焦的放大倍率开始减小，并且在时间t6时，通过相机头3103的变焦的放大倍率返回至×1。在t6之后，继续通过臂控制的变焦操作，并且在t7时，WD变成通过臂控制的变焦操作的初始值的1/3。通过这种布置，透镜与对象之间的距离变得更小，并且变焦放大倍率变成初始值的×3。
(图像质量优先模式)
以上描述了本公开的内窥镜手术系统3000中的变焦操作的概述。在下文中，将描述当用户已经选择了优先考虑图像质量的模式时的内窥镜手术系统3000中的变焦操作。
如通过以上描述的表1表明的，就图像质量而言，电子变焦次于其他两个变焦方法。因此，在选择优先考虑图像质量的模式的情况下，通过使光学变焦和通过臂控制的变焦操作优先来执行变焦操作。
图8是示出了在选择图像质量优先模式的情况下的每个变焦操作之间的关系的示图。图8中的实线L1示出了光学变焦的操作，虚线L2示出了通过臂控制的变焦操作，并且虚线L3示出了通过电子变焦的变焦操作。
从t1至t6的操作对应于图7中示出的变焦操作。然而，在图像质量优先模式中，与图7中示出的通过相机头3103的变焦操作一样执行通过光学变焦的变焦操作。如以上使用图7所描述的，在时间t6时，放大倍率变成初始值的×3。
如果在时间t6时之后用户给出变焦指令，则在电子变焦之前执行光学变焦。随后，在t7时，当光学变焦执行到极限值时，放大倍率变成初始值的×6。如果在t7时用户给出变焦指令，则最终执行电子变焦。随后，在t8时，当电子变焦执行到极限值时，放大倍率变成初始值的×12。通过以此方式在执行电子变焦之前执行光学变焦和通过臂控制的变焦，放大图像，同时保持图像质量。
以上描述了在选择优先考虑图像质量的模式的情况下的变焦操作。在下文中，将描述在已经选择了优先考虑变焦速度的模式的情况下的操作。如表1表明，把响应速度看作变焦操作，电子变焦是最快的，并且光学变焦是次快的。以此方式，就变焦操作的响应速度而言，通过臂控制的变焦操作次于通过其他两个方法的变焦操作。
(速度优先模式)
图9是示出了在选择速度优先模式的情况下的每个变焦操作之间的关系的示图。图9中的虚线之间对应关系与图8的相似，其中，实线L1示出了光学变焦的操作，虚线L2示出了通过臂控制的变焦操作，并且虚线L3示出了通过电子变焦的变焦操作。
在速度优先模式中，在t1时，执行具有最快响应速度的电子变焦。接下来，在t2时，在电子变焦之后执行具有次快响应速度的光学变焦。随后，在t3时，在电子变焦的放大倍率达到×2的极限值之前执行通过臂控制的变焦。随后，在时间t4时，放大倍率通过电子变焦、光学变焦以及通过臂控制的变焦这三者变为初始值的×2。
从t4至t5，通过电子变焦的变焦放大倍率减小，同时继续执行光学变焦和通过臂控制的变焦。在时间t5时，通过光学变焦的变焦放大倍率开始减小，同时继续执行通过臂控制的变焦操作。
在时间t6时，电子变焦和光学变焦的放大倍率返回至×1。此外，从透镜的前端至对象的WD变成通过臂控制的初始值的1/2，并且通过臂控制的变焦的放大倍率变成×2。因此，总体变焦放大倍率变成×2。
随后，类似于t1至t6，从t6至t8，以电子变焦、光学变焦和通过臂控制的变焦的顺序执行变焦操作。另外，从t7直到t8，电子变焦和光学变焦的放大倍率返回至×1，并且WD变成初始值的1/3，从而使得通过臂控制的变焦的放大倍率变成×3。因此，总体变焦放大倍率变成×3。通过以此方式按照变焦操作的最快响应速度的顺序执行变焦操作，可以迅速适应来自用户的变焦指令。另外，通过在通过臂控制的变焦操作之前执行电子变焦和光学变焦，可以增加移动臂的时间。
应注意，在内窥镜手术系统3000中，在一些情况下，臂部3303的一部分的位置或者附接至臂前端的内窥镜3100的位置可以通过套管针等固定。另外，即使利用手术显微镜等，在一些情况下，期望的是，对从固定外科医生的视野或者固定手术区域的视角的臂的运动施加限制。在这种模式的情况下，通过相对于通过臂控制的变焦操作优先考虑通过相机头3103的光学变焦或电子变焦来执行本公开的内窥镜手术系统3000中的变焦操作。利用这种布置，控制臂的位置尽可能不变。
(第二实施方式的总结)
在以上描述的本公开的内窥镜手术系统3000中，除了通过相机头3103的变焦(电子变焦和光学变焦)之外，还执行通过臂控制的变焦操作，从而能够放大到不能仅适应通过相机头3103变焦的放大倍率。因此，可以将显示图像放大或缩小为外科医生3501或助手期望的放大倍率。
另外，通过提供图像质量优先模式和速度优先模式，并且改变根据所选择的模式使用的变焦操作，可以根据外科医生3501或助手期望的图像质量或速度放大或缩小显示图像。
<4.第三实施方式>
(基于手术仪器的类型将显示图像分类的操作)
以上描述了其中除了通过相机头3103的变焦(电子变焦和光学变焦)之外还执行通过臂控制的变焦操作的实施方式。在下文中，将描述基于手术仪器3200的类型把显示图像分类的操作。
图10是示出了通过成像部3107捕获的手术部位的捕获图像的实例的示图。在内窥镜手术系统3000中，使用各种手术仪器3200。例如，外科医生3501使用能量治疗工具3203切除患部，并且助手通过使用镊子3205保持患部来辅助外科医生3501。
因为通过外科医生3501和助手执行的治疗是不同的，因此每个人期望的视野也是不同的。例如，因为外科医生3501使用能量治疗工具3203执行诸如切掉患部的微小治疗，因此外科医生3501期望手术部位的放大图像。同时，因为助手想要确认手术仪器3200是否损害其他器官，因此助手期望包括全部手术仪器3200的俯瞰图像。
因此，CCU 3401将针对外科医生3501的由图10中的虚线示出的区域输出至主监视器，并且将针对助手的由图10中的实线示出的区域输出至子监视器，该子监视器不同于主监视器。在本文中，由图10中的实线示出的区域包括三个手术仪器(一个能量治疗工具3203和两个镊子3205)，并且三个手术仪器3200的所有前端都包含在由图10中的实线示出的捕获图像中。在下文中，包含手术仪器3200的所有前端意味着包含在捕获图像中的所有手术仪器3200的前端都包含在捕获图像中。
图11是示出了以上描述的显示图像分类操作的流程图。首先，在S300中，CCU 3401检测手术仪器3200。此时，CCU 3401区分检测到的手术仪器3200是由外科医生使用的手术仪器3200、或者由助手使用的手术仪器3200。接下来，在S302中，CCU 3401确定是否包含在捕获图像中的所有手术仪器3200的前端都包含在捕获图像中。
在S302中，如果CCU 3401确定手术仪器3200的所有前端都包含在捕获图像内部，则该处理进行至S308。在S308中，CCU 3401将包含由外科医生使用的手术仪器3200的放大图像输出至主监视器，并且将包含手术仪器3200的所有前端的图像输出至子监视器作为供助手使用的俯瞰图像。应注意，通过剪掉捕获图像的一部分并且执行电子变焦创建放大图像。
在S302中，如果CCU 3401确定手术仪器3200的所有前端不是都包括在捕获图像内部，则该处理进行至S304。在S304中，为了通过臂控制执行变焦操作，CCU 3401将用于控制臂部3303的控制信息发送至臂控制装置3407。此时发送的控制信息可包括移动臂部3303的移动量或速度、或者与手术仪器3200的位置相关的信息。
在S304中，臂控制装置3407接收控制信息，并且臂控制装置3407计算臂部3303的移动量，并且使臂部3303移动(S306)。接下来，该处理返回至S300，并且重复S300至S306。换言之，当臂控制装置3407移动臂部3303时，CCU 3401确定手术仪器3200的所有前端是否都包含在捕获图像中。随后，如果不是包含手术仪器3200的所有前端，则CCU 3401发送控制信息，并且臂控制装置3407基于控制信息移动臂部3303。
通过重复从S300至S306的处理通过臂部3303的移动执行缩小。另外，在S302中，如果CCU 3401确定手术仪器3200的所有前端都包含在捕获图像中，则CCU 3401将包括外科医生3501的手术仪器3200的放大图像输出至主监视器(S308)。另外，CCU 3401将包括手术仪器3200的所有前端的图像输出至子监视器(S308)。
应注意，如上所述，通过检测手术仪器3200的边缘形状和/或颜色、手术仪器3200的亮度梯度等执行S300中的手术仪器3200的检测。另外，还可以使用机器学习执行手术仪器3200的检测。
另外，在S300中的手术仪器3200的检测中，确定手术仪器3200是由外科医生3501使用的手术仪器3200、或者由助手使用的手术仪器3200。可以通过使内窥镜手术系统3000存储用于手术仪器3200的每一个的以上描述的手术仪器3200的边缘形状和/或颜色以及手术仪器3200的亮度梯度的图案。并且执行图案匹配进行确定。另外，因为诸如由助手使用的镊子3205的手术仪器3200基本上不能移动，CCU 3401还可以检测手术仪器3200的运动，并且确定移动的手术仪器3200是由外科医生3501使用的手术仪器3200。
在以上描述的实例中，根据手术仪器3200的检测结果执行变焦位置和放大率。然而，在变焦放大中，还可以采用不仅以由此包括手术仪器3200的放大率而且以由此包括患部和手术仪器3200的区域的放大率呈现显示的配置。在这种情况下，患部的区域的说明可基于与检测手术仪器3200的处理相似的学习处理，或者可以基于通过特殊光(窄带光、荧光激发光)的观察结果进行检测。
(第三实施方式的总结)
在如上所述的本公开的手术系统3000中，可以将用于外科医生的显示图像和用于助手的显示图像分为不同的监视器。因此，可以通过外科医生3501和助手中的每一个期望的视角提供显示图像。
<5.补充说明>
上面参考附图描述了本公开的优选实施方式，而本公开不限于上述实例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解，这些变更和修改将自然地落入本公开的技术范围内。
例如，在图11中，仅描述了通过臂控制的变焦操作，但是还可以在执行光学变焦之后执行通过臂控制的变焦操作。利用这种布置，可以执行大型缩小，并且提供外科医生3501和助手期望的图像。另外，因为光学变焦具有比通过臂控制的变焦更快的响应速度，因此可以增加移动臂部3303的时间。
<6.结论>
根据如上所述的本公开的实施方式，不仅执行通过相机头3103的成像控制而且执行通过臂控制的成像控制。利用这种布置，外科医生3501或助手能够获取他们期望的显示图像。
进一步地，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，利用或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
此外，本技术还可以进行如下配置。
(1)一种医疗用信息处理装置，包括：
图像控制部，控制来自照相机的捕获图像的处理；以及
臂控制部，控制支撑照相机的臂部的运动，其中
图像控制部和臂控制部中的一者基于来自另一个控制部的控制信息执行控制。
(2)根据项(1)的医疗用信息处理装置，其中
图像控制部从由照相机捕获的捕获图像检测治疗工具，并且
图像控制部根据检测到的治疗工具的运动改变捕获图像的剪切位置。
(3)根据项(1)和(2)中任一项所述的医疗用信息处理装置，其中
图像控制部基于检测到的治疗工具的运动将控制信息发送至臂控制部，并且
臂控制部基于从图像控制部接收的控制信息计算将臂部移动的移动量。
(4)根据项(3)所述的医疗用信息处理装置，其中
臂控制部将计算出的臂部的移动量发送至图像控制部，并且
图像控制部基于从臂控制部接收的臂部的移动量改变捕获图像的剪切位置。
(5)根据项(3)和(4)中任一项所述的医疗用信息处理装置，其中
在治疗工具的运动超过预定标准的情况下，图像控制部将用于控制臂部的控制信息发送至臂控制部。
(6)根据项(1)至(5)中任一项所述的医疗用信息处理装置，其中
图像控制部将放大指令发送至照相机，并且
当图像控制部确定通过臂部的移动进行的放大比通过照相机进行的放大更合适时，
图像控制部将用于控制臂部的控制信息发送至臂控制部。
(7)根据项(6)所述的医疗用信息处理装置，其中
通过照相机进行的放大包括光学变焦和电子变焦，并且
在选择优先考虑图像质量的模式的情况下，图像控制部在电子变焦之前控制光学变焦。
(8)根据项(6)所述的医疗用信息处理装置，其中
通过照相机进行的放大包括光学变焦和电子变焦，并且
在选择优先考虑放大图像的速度的模式的情况下，图像控制部在光学变焦之前控制电子变焦。
(9)根据项(6)至(8)中任一项所述的医疗用信息处理装置，其中
在照相机的放大倍率达到极限值之前，图像控制部将控制信息发送至臂控制部。
(10)根据项(1)至(9)中任一项所述的医疗用信息处理装置，其中
图像控制部从由照相机捕获的捕获图像检测多个治疗工具，并且
图像控制部执行缩减处理使得检测到的多个治疗工具的前端全部包含在捕获图像中。
(11)根据项(10)所述的医疗用信息处理装置，其中
图像控制部另外检测治疗工具的类型，并且
图像控制部剪切捕获图像，使得由外科医生使用的治疗工具包含在显示图像中。
(12)一种信息处理方法，包括：
控制来自照相机的捕获图像的处理；并且
控制支撑照相机的臂部的运动，其中
捕获图像的处理的控制和臂部的运动的控制中的一者基于来自另一控制的控制信息执行控制。
(13)一种医疗用信息处理系统，包括：
照相机，捕获图像；
图像控制部，控制来自照相机的捕获图像的处理；
臂部，支撑照相机；以及
臂控制部，控制支撑照相机的臂部的运动，其中
图像控制部和臂控制部中的一者基于来自另一个控制部的控制信息执行控制。
参考符号列表
3000 内窥镜手术系统
3100 内窥镜
3101 透镜管
3103 相机头
3105 透镜单元
3107 成像部
3109 驱动部
3111 通信部
3113 相机头控制部
3200 手术仪器
3201 气腹管
3203 能量治疗工具
3205 镊子
3300 支撑臂装置
3301 基座部
3303 臂部
3400 手推车
3401 照相机控制单元(CCU)
3403 显示装置
3405 光源装置
3407 臂控制装置
3409 输入装置
3411 治疗工具控制装置
3413 气腹装置
3423 图像处理部
3425 控制部
3427 传输电缆
3501 外科医生
3503 病床
3505 病人。

Claims (13)

1.一种医疗用信息处理装置，包括:
图像控制部，控制来自照相机的捕获图像的处理；以及
臂控制部，控制支撑所述照相机的臂部的运动，其中，
所述图像控制部和所述臂控制部中的一者基于来自另一个控制部的控制信息执行控制。
2.根据权利要求1所述的医疗用信息处理装置，其中，
所述图像控制部从由所述照相机捕获的捕获图像检测治疗工具，并且
所述图像控制部根据检测到的所述治疗工具的运动改变所述捕获图像的剪切位置。
3.根据权利要求2所述的医疗用信息处理装置，其中，
所述图像控制部基于检测到的所述治疗工具的运动将控制信息发送至所述臂控制部，并且
所述臂控制部基于从所述图像控制部接收的所述控制信息计算将所述臂部移动的移动量。
4.根据权利要求3所述的医疗用信息处理装置，其中，
所述臂控制部将计算出的所述臂部的移动量发送至所述图像控制部，并且
所述图像控制部基于从所述臂控制部接收的所述臂部的所述移动量改变所述捕获图像的所述剪切位置。
5.根据权利要求3所述的医疗用信息处理装置，其中，
在所述治疗工具的所述运动超过预定标准的情况下，所述图像控制部将用于控制所述臂部的控制信息发送至所述臂控制部。
6.根据权利要求1所述的医疗用信息处理装置，其中，
所述图像控制部将放大指令发送至所述照相机，并且
当所述图像控制部确定通过所述臂部的移动进行的放大比通过所述照相机进行的放大更合适时，
所述图像控制部将用于控制所述臂部的控制信息发送至所述臂控制部。
7.根据权利要求6所述的医疗用信息处理装置，其中，
通过所述照相机进行的所述放大包括光学变焦和电子变焦，并且
在选择优先考虑图像质量的模式的情况下，所述图像控制部在控制所述电子变焦之前控制所述光学变焦。
8.根据权利要求6所述的医疗用信息处理装置，其中，
通过所述照相机进行的所述放大包括光学变焦和电子变焦，并且
在选择优先考虑放大图像的速度的模式的情况下，所述图像控制部在控制所述光学变焦之前控制所述电子变焦。
9.根据权利要求6所述的医疗用信息处理装置，其中，
在所述照相机的放大倍率达到极限值之前，所述图像控制部将所述控制信息发送至所述臂控制部。
10.根据权利要求1所述的医疗用信息处理装置，其中，
所述图像控制部从由所述照相机捕获的捕获图像检测多个治疗工具，并且
所述图像控制部执行缩减处理使得检测到的多个所述治疗工具的前端全部包含在所述捕获图像中。
11.根据权利要求10所述的医疗用信息处理装置，其中，
所述图像控制部另外检测所述治疗工具的类型，并且
所述图像控制部剪切所述捕获图像，使得由外科医生使用的治疗工具包含在显示图像中。
12.一种信息处理方法，包括：
控制来自照相机的捕获图像的处理；并且
控制支撑所述照相机的臂部的运动，其中，
所述捕获图像的所述处理的控制和所述臂部的所述运动的控制中的一者基于来自另一控制的控制信息执行控制。
13.一种医疗用信息处理系统，包括:
照相机，捕获图像；
图像控制部，控制来自所述照相机的捕获图像的处理；
臂部，支撑所述照相机；以及
臂控制部，控制支撑所述照相机的所述臂部的运动，其中，
所述图像控制部和所述臂控制部中的一者基于来自另一个控制部的控制信息执行控制。
CN201680082111.9A 2016-02-24 2016-11-28 医疗用信息处理装置、信息处理方法、医疗用信息处理系统 Active CN108697304B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016033031 2016-02-24
JP2016-033031 2016-02-24
PCT/JP2016/085189 WO2017145475A1 (ja) 2016-02-24 2016-11-28 医療用情報処理装置、情報処理方法、医療用情報処理システム

Publications (2)

Publication Number Publication Date
CN108697304A true CN108697304A (zh) 2018-10-23
CN108697304B CN108697304B (zh) 2021-04-13

Family

ID=59684942

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111129918.2A Pending CN114019990A (zh) 2016-02-24 2016-09-27 用于控制可移动物体的系统和方法
CN201680082111.9A Active CN108697304B (zh) 2016-02-24 2016-11-28 医疗用信息处理装置、信息处理方法、医疗用信息处理系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111129918.2A Pending CN114019990A (zh) 2016-02-24 2016-09-27 用于控制可移动物体的系统和方法

Country Status (5)

Country Link
US (1) US11033338B2 (zh)
EP (1) EP3420878B1 (zh)
JP (1) JP7067467B2 (zh)
CN (2) CN114019990A (zh)
WO (1) WO2017145475A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113826037A (zh) * 2019-05-15 2021-12-21 莱卡微系统Cms有限责任公司 用于提供成像设备的操作设置的控制器和方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3590406A4 (en) 2017-02-28 2020-04-01 Sony Corporation MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD
CN110678902A (zh) * 2017-05-31 2020-01-10 Eizo株式会社 手术器具检测系统及计算机程序
EP3679853A4 (en) * 2017-09-07 2020-10-14 Fujifilm Corporation DIAGNOSIS SUPPORT SYSTEM, ENDOSCOPE SYSTEM, PROCESSOR, AND DIAGNOSIS SUPPORT METHOD
WO2019116593A1 (ja) 2017-12-14 2019-06-20 オリンパス株式会社 手術支援装置
CN110131532A (zh) * 2018-02-08 2019-08-16 泰科电子(上海)有限公司 成像设备
JP2020072457A (ja) * 2018-11-02 2020-05-07 ソニー株式会社 映像処理装置、映像処理方法、およびプログラム
GB2580625B (en) * 2019-01-17 2023-04-19 Mo Sys Engineering Ltd Camera control
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
WO2020195204A1 (ja) * 2019-03-22 2020-10-01 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置及び医療用観察システム
JP2020156800A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 医療用アームシステム、制御装置、及び制御方法
JP7480477B2 (ja) * 2019-07-10 2024-05-10 ソニーグループ株式会社 医療用観察システム、制御装置及び制御方法
JP2022020592A (ja) 2020-07-20 2022-02-01 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法、及びプログラム
WO2022254836A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
DE102022116672A1 (de) 2022-07-04 2024-01-04 Karl Storz Se & Co. Kg Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197347A (ja) * 2000-01-05 2001-07-19 Fuji Photo Film Co Ltd 情報記録装置、情報取得方法、およびデジタルカメラ
JP2008252348A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp デジタルカメラ及びデジタルカメラの制御方法
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP3668269B2 (ja) * 1995-01-10 2005-07-06 オリンパス株式会社 体腔内手術用マニピュレータ装置
JP3744974B2 (ja) * 1995-07-20 2006-02-15 オリンパス株式会社 内視鏡下外科手術装置
JPH10118076A (ja) 1996-10-24 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2002159444A (ja) * 2000-11-28 2002-06-04 Olympus Optical Co Ltd 撮像画像表示システム
JP2002172083A (ja) 2000-12-06 2002-06-18 Olympus Optical Co Ltd 内視鏡装置
JP2005046233A (ja) 2003-07-31 2005-02-24 Fujinon Corp 電子内視鏡装置
JP4027876B2 (ja) 2003-10-20 2007-12-26 オリンパス株式会社 体腔内観察システム
US10588486B2 (en) * 2013-09-19 2020-03-17 Physio-Control, Inc Multi-function video system with interchangeable medical tool
JP5131951B2 (ja) 2006-02-21 2013-01-30 富士フイルム株式会社 体腔内観察装置
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
KR101057702B1 (ko) 2009-04-09 2011-08-18 의료법인 우리들의료재단 수술용 로봇의 제어 방법 및 그 시스템
JP6006199B2 (ja) * 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置
EP2852475A4 (en) * 2012-05-22 2016-01-20 Intouch Technologies Inc SOCIAL BEHAVIOR OF A MEDICAL TELEPRESCENT ROBOT
WO2014093824A1 (en) * 2012-12-14 2014-06-19 The Trustees Of Columbia University In The City Of New York Markerless tracking of robotic surgical tools
KR102146244B1 (ko) * 2013-02-22 2020-08-21 삼성전자주식회사 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
EP3031386B1 (en) * 2013-09-10 2021-12-29 Sony Group Corporation Image processing device and program
JP6150130B2 (ja) * 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
WO2016033796A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
KR101740286B1 (ko) * 2015-12-17 2017-05-29 (주)미래컴퍼니 수술 로봇 시스템 및 적응 제어 방법
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197347A (ja) * 2000-01-05 2001-07-19 Fuji Photo Film Co Ltd 情報記録装置、情報取得方法、およびデジタルカメラ
JP2008252348A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp デジタルカメラ及びデジタルカメラの制御方法
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113826037A (zh) * 2019-05-15 2021-12-21 莱卡微系统Cms有限责任公司 用于提供成像设备的操作设置的控制器和方法

Also Published As

Publication number Publication date
CN114019990A (zh) 2022-02-08
US11033338B2 (en) 2021-06-15
EP3420878B1 (en) 2021-11-17
WO2017145475A1 (ja) 2017-08-31
JPWO2017145475A1 (ja) 2018-12-20
US20190053857A1 (en) 2019-02-21
EP3420878A1 (en) 2019-01-02
JP7067467B2 (ja) 2022-05-16
EP3420878A4 (en) 2019-01-30
CN108697304B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN108697304A (zh) 医疗用信息处理装置、信息处理方法、医疗用信息处理系统
US11612306B2 (en) Surgical arm system and surgical arm control system
JPWO2018159328A1 (ja) 医療用アームシステム、制御装置及び制御方法
US20210015346A1 (en) Medical imaging apparatus and medical observation system
US11540700B2 (en) Medical supporting arm and medical system
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
US11109927B2 (en) Joint driving actuator and medical system
JPWO2020054566A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP2021003531A (ja) 手術支援システム、制御装置及び制御方法
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
US11483473B2 (en) Surgical image processing apparatus, image processing method, and surgery system
US11553838B2 (en) Endoscope and arm system
US20220322919A1 (en) Medical support arm and medical system
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
JPWO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant