CN108778085A - 图像处理设备、内窥镜手术系统以及图像处理方法 - Google Patents

Abstract

提供的是一种图像处理设备(3401)，其包括：图像处理单元(122)，该图像处理单元(122)从由内窥镜拍摄的患者体腔内部的捕获图像生成用于输出的图像数据。该图像处理单元以以下方式生成该图像数据：当该内窥镜的镜筒在拍摄期间在物镜的光轴方向上移动时，捕获图像中的显示范围在移动期间和移动之后都不会从移动之前的显示范围改变，该显示范围是显示在显示设备上的显示图像中表示的范围。

Description

图像处理设备、内窥镜手术系统以及图像处理方法

相关申请的引证

本申请要求于2016年3月9日提交的日本在先专利申请JP2016-045400的权益，其全部内容通过引证结合于此。

技术领域

本公开涉及一种图像处理设备、一种内窥镜手术系统以及一种图像处理方法。

背景技术

在内窥镜手术操作中，医务人员的成员，诸如手术者(医生)，将内窥镜的镜筒插入患者的体腔以便将从内窥镜获得的捕获图像投影在显示设备上，并且操纵治疗设备以执行各种治疗，诸如切除观看该显示的损害。因此，图像应更稳定地提供至医务人员以便帮助他们更安全且更顺利地执行手术操作。

作为用于稳定地提供图像的技术，例如，PTL 1公开了如下技术：其中，检测在患者的体腔中的治疗仪器的前端的位置，通过内窥镜在拍摄的捕获图像中跟踪治疗仪器的特定部分的移动以便仅切开接近治疗仪器的特定部分的区域，并且显示设备显示图像。根据该技术，不断显示治疗仪器的特定部分附近的图像，且不必使内镜医生用手操纵内窥镜以跟踪治疗仪器的移动，并且因此图像可更稳定地提供至医务人员。

此外，在手术操作过程中，存在当使用能量设备执行治疗时从烧灼生物组织生成雾的情形。在拍摄包括治疗部位的观察目标位置的同时生成雾时，存在配备有自动聚焦(AF)功能的内窥镜由于降低其对比度的雾而执行AF的不正确操作以及不能获得治疗部位的逼真图像的担忧。另一方面，PTL 2公开了当检测到雾的生成时停止配备有AF功能的内窥镜的聚焦操作的技术。根据该技术，即使在生成雾时，显示了在生成雾之前获得的焦点在治疗部位上的图像，由于它没有AF的不正确操作，并且因此图像可更稳定地提供至医务人员。

文献列表

专利文献

PTL 1：JP H8-164148 A

PTL 2：JP 2015-136470 A

发明内容

技术问题

本文，当如上所述生成雾时或者当诸如血液的体液由于内窥镜手术操作中的治疗而散射时，如果镜筒的物镜被雾和/或体液污染，则存在观察目标位置不能被清晰拍摄的担忧。因此，在生成雾和/或体液散射的情况下，镜筒可在拍摄过程中移动以避免这些物质。或者，例如，镜筒可同样移动以固定用于使用其他治疗仪器执行治疗的工作空间。如上所述，在由于各种原因的内窥镜手术操作的拍摄过程中，移动镜筒可能是必需的。

如果即使如上所述在镜筒移动时，图像也可更稳定地提供至医务人员，则它将有助于医务人员执行顺利的操作，并且因此存在改进手术操作安全性并缩短操作时间的可能性。

考虑到上述情形，需要一种在内窥镜的镜筒移动时，用于在内窥镜手术操作过程中向医务人员更稳定地提供图像的技术。因此，本公开的实施方式提出一种新颖且改进的图像处理设备、内窥镜手术系统和图像处理方法，使得图像能够更稳定地提供至医务人员的成员，诸如手术者。

问题的解决方案

根据本公开的实施方式，这里提供了一种包括电路的图像处理设备，该电路被配置为从由患者体内的内窥镜捕获的图像生成图像数据，并且响应于在图像捕获期间移动的内窥镜，该电路生成图像数据使得显示在显示设备上的对应图像的显示范围基本不改变。

根据本公开的实施方式，这里提供了一种内窥镜手术系统，其包括：包括电路的图像处理设备，该电路被配置为从由患者体内的内窥镜捕获的图像生成图像数据，并且响应于在图像捕获期间移动的内窥镜，该电路生成图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变；以及臂控制设备，其利用臂单元控制支撑内窥镜的支撑设备的驱动并且移动内窥镜的镜筒，

响应于满足预定缩回条件，该电路被配置为向臂控制设备发布执行缩回操作的指令以在缩回方向上移动镜筒，该缩回方向是物镜的光轴方向，并且其中，镜筒远离观察目标位置移动，并且响应于满足预定返回条件，该电路被配置为向臂控制设备发布执行返回操作的指令以在返回方向上移动镜筒，该返回方向是物镜的光轴方向，并且其中，在满足预定返回条件时镜筒接近观察目标位置。

根据本公开的实施方式，这里提供了一种图像处理方法，包括：利用电路从由患者体内的内窥镜捕获的图像生成图像数据，并且响应于在图像捕获过程中移动的内窥镜，该电路生成图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变。

根据本公开的实施方式，当在拍摄期间内窥镜的镜筒在物镜的光轴方向上移动时，生成用于在显示设备上显示捕获图像的图像数据，使得捕获图像中的显示范围在移动期间和移动之后都无法从移动之前的显示范围改变，该显示范围是显示在显示设备上的显示图像中表示的范围。因此，即使在镜筒移动的同时，基本恒定的图像也可稳定地提供至医务人员的成员，诸如观看显示设备的显示的手术者。

本发明的有益效果

根据上述的本公开的实施方式，能够更稳定地向医务员工的成员诸如手术者提供图像。应注意，上述效果不必是限制性的。利用或代替以上效果，可实现本说明书中描述的任何一种效果或者可从本说明书中掌握的其他效果。

附图说明

[图1]图1是示出根据第一实施方式的内窥镜手术系统的配置的实例的示图。

[图2]图2是示出根据第一实施方式的图像处理系统的配置的实例的框图。

[图3]图3是用于描述在缩回操作过程中镜筒的移动的示图。

[图4]图4是示意性示出在镜筒的缩回之前和缩回过程中，拍摄范围、捕获图像以及显示图像的关系的示图。

[图5]图5是示出根据第一实施方式的图像处理方法的处理过程的实例的流程图。

[图6]图6是示出根据第二实施方式的图像处理系统的配置的实例的框图。

[图7]图7是示出根据第三实施方式的在图像处理系统中执行的图像处理方法的处理过程的实例的流程图。

[图8]图8是用于描述根据雾检测目标区域设置在捕获图像内部的一部分中的改进实例的检测雾的生成的方法的示图。

[图9]图9是用于描述治疗仪器与治疗部位之间的距离是缩回条件和返回条件的改进实例的示图。

[图10]图10是用于描述能量设备的关注点的示图。

[图11]图11是示出根据能量设备的状态用作缩回条件和返回条件的改进实例的图像处理系统的配置的框图。

[图12]图12是示出手术者使用能量设备的状态的示图。

[图13]图13是示出根据用户的指令被设为缩回条件和返回条件的改进实例的图像处理系统的配置的框图。

[图14]图14是示意性示出支撑臂设备的另一配置的实例的示图。

[图15]图15是用于描述与半自动缩回操作和返回操作相关的辅助力的示图。

[图16]图16是用于描述与半自动缩回操作和返回操作相关的辅助力的示图。

[图17]图17是示出镜筒的前端与显示屏上的观察目标位置之间的距离的显示的实例的示图。

具体实施方式

在下文中，将参考附图详细描述本公开的一个或多个优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重复解释。

应注意，将按照以下顺序提供描述。

1.第一实施方式

1-1.内窥镜手术系统的配置

1-2.图像处理系统的配置

1-3.图像处理方法

2.第二实施方式

3.第三实施方式

4.改进实例

4-1.基于捕获图像检测雾的其他方法

4-2.缩回条件和返回条件的其他实例

4-2-1.治疗仪器与治疗部位之间的距离

4-2-2.能量设备的状态

4-2-3.能量设备的前端的移动的检测

4-2-4.来自用户的指令

4-2-5.内窥镜的镜筒的前端与治疗仪器之间的距离

4-3.支撑臂设备的配置的其他实例

4-4.缩回操作和返回操作的半自动化

5.补充

应注意，作为本公开的示例性实施方式，以下将描述本技术应用于内窥镜手术系统的实例。此外，在以下描述中，假定“用户”指的是使用内窥镜手术系统的医务人员的至少一个成员(对治疗部位执行治疗的医生(手术者)、操纵内窥镜的医生(内镜医生)、助手等)。当特别需要区分他们时，用户将被描述为手术者、内镜医生等。

此外，在一些情况下，一些组成构件的尺寸在以下示出的附图中被放大表达以用于说明，并且附图所示的相应组成构件的相对尺寸不必表达实际组成构件的准确尺寸关系。

(1.第一实施方式)

(1-1.内窥镜手术系统的配置)

将参考图1描述根据本公开的第一实施方式的图像处理系统可应用至的内窥镜手术系统的配置。图1是示出根据第一实施方式的内窥镜手术系统3000的配置的实例的示图。图1示出手术者(医生)3501使用内窥镜手术系统3000对躺在病床3503上的患者3505进行手术操作的状态。如示出的，内窥镜手术系统3000由内窥镜3100、其他手术仪器3200、支撑内窥镜3100的支撑臂设备3300，以及在其上安装用于内窥镜手术操作的各种设备的手推车3400构成。

在内窥镜手术中，利用被称为套管针3207a至3207d的多个管状开口工具刺穿腹壁，而不是切割用于腹部的腹壁。然后，内窥镜3100的镜筒3101以及其他手术仪器3200通过套管针3207a至3207d插入患者3505的体腔。在所示实例中，作为其他手术仪器3200，气腹管3201、能量设备3203以及钳子3205被插入至患者3505的体腔。此外，能量设备3203是使用高频电流或超声振动用于执行组织的切割和解剖、血管的缝合等的治疗仪器。然而，示出的手术仪器3200仅是实例，并且作为手术仪器3200，可使用在内窥镜手术操作中常用的各种手术仪器，例如，镊子、牵开器等。应注意，在以下描述中，在手术仪器之中，相对于患者体腔内部的生物组织(内脏、血管等)执行各种治疗(诸如，切除、保持和支撑)的手术仪器也将被称为治疗仪器。在以上举例的那些治疗仪器之中，能量设备3203、钳子3205、镊子以及牵开器对应于治疗仪器。

由内窥镜3100拍摄的患者3505的体腔内部的操作位置的图像显示在显示设备3403上。手术者3501在实时观看显示在显示设备3403上的操作位置的图像的同时，使用能量设备3203和钳子3205执行治疗，例如，切除对应于损害(lesion)的身体组织。应注意，尽管在附图中未示出，但是在手术操作过程中，气腹管3201、能量设备3203和钳子3205由手术者3501、助手等支撑和操纵。

(支撑臂设备)

支撑臂设备3300设置有从底座单元3301伸展的臂单元3303。在所示实例中，臂单元3303由接头3305a、3305b和3305c以及连杆3307a和3307b构成，并且在臂控制设备3407的控制下驱动。内窥镜3100由臂单元3303支撑，并且因此控制其位置和姿态。因此，可实现内窥镜3100的位置的稳定的固定。

然而，为了简单，图1示出臂单元3303的简化配置。为了使臂单元3303实际上具有期望的自由度，接头3305a至3305c以及连杆3307a和3307b的形状、数量和部署以及接头3305a至3305c的旋转轴的方向可被适当地设置。例如，臂单元3303可具有等于或高于6个自由度的适当自由度。因此，因为内窥镜3100可在臂单元3303的可移动范围内自由移动，所以能够从期望方向将内窥镜3100的镜筒3101插入患者3505的体腔。

致动器设置在接头3305a至3305c中，并且因此接头3305a至3305c在由致动器驱动时围绕预定旋转轴可旋转。因为这些致动器的驱动由以下要被描述的臂控制设备3407以协调方式控制，所以相应接头3305a至3305c的旋转角被适当控制，并且由此控制臂单元3303的姿态。由此控制内窥镜3100的位置和姿态。

具体地，设置在接头3305a至3305c中的致动器包括用于检测接头的状态的各种传感器，诸如检测相应接头的旋转角的编码器、检测应用于相应接头的扭矩的扭矩传感器等。这些传感器的检测值传输至臂控制设备3407。臂控制设备3407具有内部模型，其中，臂单元3303的几何状态和机械状态利用支撑臂设备3300的内部坐标表示，并且基于内部模型以及传感器的检测值，可确定接头3305a至3305c的当前状态，即，臂单元3303的当前状态(包括位置、姿势、速度等)。基于所确定的臂单元3303的状态，臂控制设备3407计算对应于来自用户的关于臂单元3303的操作的操纵输入的相应接头的驱动控制量(例如，旋转角或驱动扭矩)，并且根据驱动控制量驱动相应接头。

例如，当用户经由输入设备3409(包括脚踏开关3419)适当执行操纵输入时，臂控制设备3407根据操纵输入适当控制臂单元3303的驱动，并且由此可控制内窥镜3100的位置和姿态。可替代地，可通过用户的手势等操纵臂单元3303。可替代地，可通过所谓的主从方案操纵臂单元3303。在该情况下，可经由安装在远离手术室的地点处的输入设备3409，由用户远程操纵臂单元3303。

应注意，臂单元3303的驱动方案不限于第一实施方式，并且臂控制设备3407可使用各种已知控制方案中的任一种控制臂单元3303的驱动，诸如力控制或位置控制。在该情况下，当施加力控制时，臂控制设备3407可执行所谓的动力辅助控制，以便根据通过操纵内窥镜3100、与臂单元3303或内窥镜3100直接接触(在下文中，也被称为直接操纵)的内镜医生执行的操纵，驱动相应接头3305a至3305c的致动器，使得臂单元3303根据直接操纵时的外力平稳移动。因此，当内镜医生在与臂单元3303直接接触的同时移动臂单元3303时，臂单元3303可以以相对轻的力移动。因此，能够利用更简单的操纵更直观地移动内窥镜3100，并且因此可提高对于内镜医生的便利性。

(内窥镜)

内窥镜3100由镜筒3101和相机头3103构成，镜筒3101的从其前端的预定长度的区域插入患者3505的体腔，相机头3103与镜筒3101的底座端部连接。在第一实施方式中，内窥镜3100是具有硬镜筒3101的所谓的硬镜。

在其中构成物镜的开口设置在镜筒3101的前端处。在第一实施方式中，内窥镜3100是所谓的直视镜，其中，物镜设置为使得其光轴与镜筒3101的拉伸方向平行。内窥镜3100与光源设备3405连接，并且由光源设备3405生成的光通过在镜筒内部伸展的光导被引导至镜筒3101的前端，并且通过物镜朝向患者3505的体腔内部的观察目标位置辐射。来自观察目标位置的反射光(观察光)经由物镜以及设置在镜筒3101内部的中继光学系统(relay optical system)引导至相机头3103。

光学系统和图像传感器设置在相机头3103内部，并且观察光经由光学系统集中在图像传感器上。图像传感器光电转换观察光，并且由此生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号传输至相机控制单元(CCU)3401作为原始数据。应注意，通过适当驱动光学系统来调节放大率和焦距(焦点)的机制被安装在相机头3103中。

应注意，相机头3103可设置有多个图像传感器以支撑例如，立体视图(3D显示)等。即，立体相机可安装在内窥镜3100中。在该情况下，多个中继光学系统可设置在镜筒3101内部以将观察光引导至多个图像传感器。

(安装在手推车中的各种设备)

CCU 3401由中央处理单元(CPU)、图形处理单元(GPU)等构成以控制内窥镜3100、显示设备3403和臂控制设备3407的整体操作。CCU3401对应于根据本公开的实施方式的图像处理设备。具体地，CCU 3401对从相机头3103接收的图像信号执行各种图像处理，以用于基于要被显示在显示设备3403上的图像信号使图像进行例如，显影处理(去马赛克)、放大处理(电子缩放处理)等。因此，CCU 3401生成用于在显示设备3403上显示由内窥镜3100拍摄的捕获图像的图像数据。CCU 3401向显示设备3403传输已经经历各种图像处理的图像信号(即，生成的图像数据)。

此外，CCU 3401向相机头3103传输控制信号以控制其驱动。控制信号可包括与诸如放大率和焦点的成像条件有关的信息。

此外，当满足预定条件时，CCU 3401向臂控制设备3407传输使内窥镜3100的镜筒3101从其当前位置缩回的指令以及关于此时的缩回移动量的信息。基于该指令，臂控制设备3407驱动臂单元3303，使得镜筒3101远离观察目标位置移动缩回移动量。此时，臂控制设备3407在设置在其前端的物镜的光轴方向(即，镜筒3101的拉伸方向)上移动镜筒3101。

在第一实施方式中，在镜筒3101移动的同时或者在它根据缩回指令移动之后，CCU3401生成上述图像数据，使得通过内窥镜3100的捕获图像中的显示范围不从移动之前的显示范围改变，该显示范围是显示在显示设备3403上的显示图像中表示的范围。因此，因为在镜筒3101的移动期间和移动之后，显示设备3403不断显示通过内窥镜3100的捕获图像的观察目标位置内部的相同范围，所以不管镜筒3101的移动，都向手术者3501更稳定地提供基本相同的显示。

应注意，内窥镜3100的镜筒3101的移动以及通过上述CCU 3401和臂控制设备3407执行的移动之后的图像处理将在以下(1-2.图像处理系统的配置)中再次详细描述。

显示设备3403在CCU 3401的控制下，基于通过CCU 3401生成的图像数据显示图像。当内窥镜3100支持高分辨率拍摄，例如，4K(3840(水平像素的数目)×2160(垂直像素的数目))或8K(7680(水平像素的数目)×4320(垂直像素的数目))和/或支持3D显示时，使能够进行高分辨率显示和/或3D显示的设备可用作支持该分辩率的显示设备3403。当具有55英寸屏或更大屏的设备被用作显示设备3403以支持高分辨率拍摄，诸如4K或8K时，可获得更深的沉浸感(feeling of immersion)。此外，具有不同分辩率和尺寸的多个显示设备3403可根据其目的设置。

光源设备3405是光源，例如，发光二极管(LED)等，以用于在拍摄操作位置时向内窥镜3100提供辐射光。

臂控制设备3407由处理器，例如，CPU等构成，以便在它根据预定程序操作时，根据预定控制方案控制支撑臂设备3300的臂单元3303的驱动。

输入设备3409是用于内窥镜手术系统3000的输入界面。用户可通过输入设备3409向内窥镜手术系统3000执行各种信息的输入以及指令的输入。例如，用户通过输入设备3409输入与手术操作有关的各种信息，诸如患者的身体信息或手术操作的操作方法。此外，例如，用户通过输入设备3409输入驱动臂单元3303的指令、改变内窥镜3100的成像条件(辐射光的类型、放大率、焦点等)的指令或驱动能量设备3203的指令。

输入设备3409的种类不限制，并且各种已知输入设备可用作输入设备3409。作为输入设备3409，例如，可施加鼠标、键盘、触摸板、交换机、脚踏开关3419和/或杠杆。当接触面板用作输入设备3409时，接触面板可设置在显示设备3403的显示表面上。

可替代地，输入设备3409可包括由用户佩戴的设备，例如，眼镜型可穿戴设备、头戴式显示器(HMD)等，并且可根据由设备检测的用户的手势或视线执行各种输入。此外，输入设备3409可包括可检测用户的运动的相机，并且可根据从由相机捕获的视频检测的用户的手势或视线执行各种输入。此外，输入设备3409可包括可收集用户的语音的麦克风，并且可通过麦克风使用语音执行各种输入。以此方式，当输入设备3409能够无接触地输入各种信息时，具体地，特定位于清洁区域中的用户(例如，手术者3501)可无接触地操纵位于不清洁区域中的装置。此外，因为用户可在不从他或她所保持的手术仪器移除他或她的手的情况下，操纵这些装置，所以提高了用户便利性。

治疗仪器控制设备3411控制用于烧灼或切除组织或者缝合血管的能量设备3203的驱动。气腹设备3413经由气腹管3201将气体送至体腔以便使患者3505的体腔膨胀，以用于确保内窥镜3100的视野并确保手术者的工作空间的目的。记录器3415是可记录与手术操作有关的各种信息的设备。打印机3417是可以以诸如文本、图像和图表的各种形式打印与手术操作有关的各种信息的设备。

上面已描述了内窥镜手术系统3000的配置。

(1-2.图像处理系统的配置)

将参考图2描述根据第一实施方式的将要被应用于上述内窥镜手术系统3000的图像处理系统1的配置。图2是示出根据第一实施方式的图像处理系统1的配置的实例的框图。当在手术操作过程中移动内窥镜3100时，图像处理系统1控制在显示设备3403上显示的显示图像。应注意，图2示出仅与从上述内窥镜手术系统3000提取的图像处理系统1相关的配置。以下也将参考图1所示的内窥镜手术系统3000的配置描述图像处理系统1的配置。

参考图2，图像处理系统1包括内窥镜3100、CCU 3401、臂控制设备3407以及支撑臂设备3300的臂单元3303。

图像传感器111和焦点调整机制112安装在如上所述的内窥镜3100中(更精确地，在内窥镜3100的相机头3103中)。必要时，在手术操作过程中，由图像传感器111获得的图像信号以对应于帧速率(frame rate)的预定间隔传输至CCU 3401。

CCU 3401具有移动控制单元121、图像处理单元122和焦点控制单元123作为其功能。这些功能可在构成CCU 3401的处理器根据预定程序操作时实现。

图像处理单元122对由图像传感器111获得的图像信号执行各种图像处理，并且由此生成与捕获图像相关的图像数据。此外，基于与捕获图像相关的图像数据，图像处理单元122生成用于输出的图像数据。用于输出的图像数据指的是以各种数据输出设备(诸如，上述内窥镜手术系统3000的显示设备3403、记录器3415和打印机3417)可处理的形式具体处理的图像数据。在本实施方式中，图像处理单元122基于与捕获图像相关的图像数据，生成与将要被显示在显示设备3403上的显示图像相关的图像数据。

在此，在本说明书中，捕获图像指的是具有根据内窥镜3100的成像机制的硬件(诸如，设置在其先前阶段中的图像传感器111以及光学系统)决定的放大率、视角、焦点等的图像。另一方面，显示图像指的是实际显示在显示设备3403上的图像。显示图像可指的是捕获图像自身。可替代地，显示图像可以是通过对捕获图像执行预定处理、通过从捕获图像中切去部分区域、使用电子缩放功能放大捕获图像的部分区域等获得的图像。换言之，图像处理单元122通过对与捕获图像相关的图像数据执行各种处理或者在其上不执行处理，生成与显示图像相关的图像数据。

在正常时间，即，当在手术操作过程中以下将要被描述的移动控制单元121不控制镜筒3101的移动时，与将要通过图像处理单元122生成的显示图像相关的图像数据的类型可由用户适当设置。即，在正常时间，图像处理单元122根据由用户适当设置的条件，生成与显示图像相关的图像数据(切开捕获图像、使用电子缩放放大等)。然后，生成的图像数据被传输至显示设备3403并随后显示。手术者3501在观察该显示图像中的治疗部位的状态的同时操纵治疗仪器，以执行用于治疗部位的各种治疗。

当满足预定条件时，移动控制单元121通过发布将内窥镜3100的镜筒3101移动至臂控制设备3407的指令，来控制镜筒3101的移动。具体地，当满足预定缩回条件时，移动控制单元121移动镜筒3101，使得镜筒3101远离观察目标位置移动。此外，当满足预定返回条件时，移动控制单元121移动镜筒3101使得镜筒3101返回至缩回之前的位置(即，镜筒3101接近观察目标位置)。应注意，在缩回和返回操作时镜筒3101的移动方向是设置在镜筒3101中的物镜的光轴方向，即，镜筒3101的拉伸方向。

在第一实施方式中，缩回条件是检测到由于使用能量设备3203烧灼身体组织而引起的雾的生成。此外，返回条件是检测到雾的消失。具体地，移动控制单元121基于与由图像处理单元122生成的捕获图像相关的图像数据，检测雾的生成和消失。应注意，因为用于图像识别处理的各种已知方法中的任一个可用作基于图像数据检测雾的生成和消失的具体方法，所以这里将省略其详细说明。例如，在上述PTL 2(JP 2015-136470 A)中公开的方法可有利地用于检测基于图像数据的雾的生成和消失。在PTL 2所公开的方法中，计算指示亮度的时间变化的评估值、和指示捕获图像的饱和度的时间变化的评估值以及指示动态范围的时间变化的评估值，并且基于这些评估值，检测雾的生成和消失。

当检测到雾的生成时，移动控制单元121决定作为镜筒3101在缩回操作时的移动量的缩回移动量，并且向臂控制设备3407传输执行缩回操作的指令以及与缩回移动量有关的信息。在第一实施方式中，由用户预先设定的定值用作缩回移动量。例如，缩回移动量可被适当设为生成的雾不太有可能影响内窥镜3100的捕获图像的值。

此外，当检测到雾的消失时，移动控制单元121决定作为镜筒3101在返回时的移动量的返回移动量，并且向臂控制设备3407传输执行返回操作的指令以及与返回移动量有关的信息。此时，返回移动量被设为与缩回移动量相同的值。

焦点控制单元123控制内窥镜3100的焦点调整机制112的驱动，使得观察目标位置在镜筒3101移动期间和移动之后的所有时间都在焦点中。因此，在镜筒3101的缩回和返回操作中的一系列移动中，不断获得在缩回之前拍摄的焦点在观察目标位置上的捕获图像。

臂控制设备3407具有致动器驱动控制单元131作为功能。在构成臂控制设备3407的处理器根据预定程序操作时，可实现该功能。

致动器141设置在支撑臂设备3300的臂单元3303的相应接头中。在各种控制方案中，致动器驱动控制单元131根据来自移动控制单元121的指令以协调方式驱动设置在臂单元3303的相应接头中的致动器141，并且由此使得臂单元3303操作，并且因此使得镜筒3101执行缩回操作和返回操作。应注意，图2通过以虚线箭头联接两个框，表示内窥镜3100由臂单元3303物理支撑。

必要时，臂控制设备3407基于设置在臂单元3303的相应接头中的传感器的检测值，确定镜筒3101在缩回操作和返回操作时的实际移动量。必要时，在缩回操作和返回操作过程中，臂控制设备3407向CCU 3401传输与镜筒3101的移动量有关的信息。

在第一实施方式中，在执行镜筒3101的缩回操作和返回操作的同时，图像处理单元122基于与正常时间的显示图像不同的显示图像生成图像数据。然后，所生成的该图像数据传输至显示设备3403，并在其上显示。具体地，图像处理单元122生成图像数据，使得在镜筒3101的移动期间或移动之后，通过内窥镜3100捕获的图像中的显示范围从移动之前的显示范围不改变，该显示范围是在显示设备3403上显示的显示图像中表示的范围。

将参考图3和图4详细描述在镜筒3101的缩回操作和返回操作时通过图像处理单元122执行的处理。在此，将举例说明缩回操作的情况，详细描述图像处理。

图3是用于描述镜筒在缩回操作过程中的移动的示图。图3(a)示出缩回之前的状态。在该状态下，使用能量设备3203执行治疗，并且当生成雾201时，通过如上所述的CCU3401的移动控制单元121检测雾201的生成，并且发布执行缩回操作的指令。图3(b)示出缩回时的状态。如图3(b)所示，根据该指令，臂控制设备3407的致动器驱动控制单元131移动镜筒3101以便在物镜的光轴方向上缩回。

图4是示意性示出在镜筒3101的缩回操作之前和过程中的拍摄范围、捕获图像以及显示图像的关系的示图。图4的左列示意性示出缩回操作之前的拍摄范围、捕获图像和显示图像，并且其右列示意性示出在缩回操作过程中的拍摄范围、捕获图像和显示图像。

如图4所示，在缩回操作之前(即，正常时间)，给定拍摄范围203的内部的状态被拍摄作为镜筒3101的位置处的捕获图像205。此外，如果用户不执行特定设置，诸如切开(cutting-out)或电子缩放，则与该捕获图像205基本相同的图像显示作为显示图像207。

另一方面，如所示出的，在缩回操作过程中，当镜筒3101远离观察目标位置移动时，在该情况下的拍摄范围209变得大于缩回操作之前的拍摄范围203。在图4中，为了便于描述的目的，在缩回操作过程中，缩回操作之前的拍摄范围203在拍摄范围209中以双点划线表示。如所示出的，在该情况下，因为该拍摄范围209的出现获得作为捕获图像211，所以包括缩回操作之前的捕获图像205的较宽范围的图像获得作为捕获图像211。在该情况下，如果该捕获图像211投影为与缩回操作之前一样、不改变的显示图像，则显示图像就好像治疗部位的显示逐渐减少那样改变，并且因此手术者3501应在该时间期间停止执行治疗，其使得难以顺利执行手术操作。

因此，在第一实施方式中，图像处理单元122切去包括在镜筒3101的缩回操作过程中获取的捕获图像211中的对应于缩回操作之前的显示范围的区域213，使用电子缩放功能放大该区域213，并且由此生成与显示图像相关的图像数据。具体地，因为镜筒3101被设为在如上所述的第一实施方式中，在缩回操作过程中在物镜的光轴方向上移动，所以图像处理单元122可根据镜筒3101的移动量，逐渐降低切开区域213的尺寸，其中，切开区域213的中心固定至捕获图像211的中心。应注意，可基于从臂控制设备3407传输的与镜筒3101在缩回操作之前的位置有关的信息以及与镜筒3101的当前位置有关的信息，计算镜筒3101的移动量。因此，尽管由于电子缩放，示出缩回的显示图像215可具有稍微劣化的质量，但是也获得基本类似于缩回之前的显示图像207的图像。

尽管在上面已举例说明缩回操作的情况以描述在缩回操作时执行的图像处理，但是图像处理单元122在返回操作时执行类似处理。具体地，图像处理单元122切去包括在镜筒3101的返回操作过程中获取的捕获图像中的对应于缩回操作之前的显示范围的区域，使用电子缩放功能放大该区域，并且由此生成与显示图像相关的图像数据。此时，在缩回操作过程中，图像处理单元122可根据镜筒3101的移动量逐渐增加切开区域的尺寸，其中，切开区域的中心固定至捕获图像的中心。

在第一实施方式中，因为执行上述图像处理，所以即使根据缩回操作或返回操作移动镜筒3101，将要被提供至手术者3501的图像也几乎不改变。就是说，即使在手术操作过程中移动镜筒3101，图像也可更稳定地提供至手术者，并且因此手术操作的安全性可改进，并且手术操作可更顺利地执行。此外，能够进一步缩短操作时间。

上面已描述根据第一实施方式的图像处理系统的配置。应注意，尽管在上述配置的实例中，缩回条件和返回条件被分别设为检测雾的生成以及检测雾的消失，但是本实施方式不限于此。例如，代替雾的生成或随着雾的生成，关于通过使用治疗仪器治疗引起的诸如血液的体液的散射可设置缩回条件和返回条件。此外，尽管图像处理单元122已被描述为生成与显示在以上显示设备3403上的显示图像相关的图像数据，但是第一实施方式不限于此。在第一实施方式中，图像处理单元122可生成用于相对于另一数据输出设备(如同如上所述的记录器3415或打印机3417)的输出的图像数据。在该情况下，图像处理单元122可生成用于根据每个数据输出设备的输出的图像数据，使得在镜筒3101的移动期间或移动之后，通过内窥镜3100捕获的图像中的显示范围不从移动之前的显示范围改变，该显示范围是显示在显示设备3403上的显示图像中的范围。因此，图像处理单元122可不必创建将要被显示在显示设备3403上的图像数据，并且可创建将要通过诸如记录器3415的记录设备记录的图像数据或者将要通过诸如打印机3417的打印设备打印的图像数据。

在此，如上所述，在一般内窥镜手术操作中，当使用治疗仪器对治疗部位执行治疗时，生成雾或者散射诸如血液的体液。当通过使内窥镜3100的镜筒3101相对接近包括治疗部位的观察目标位置执行拍摄时，如果如上所述出现雾的生成和体液的散射，则这些雾和/或体液污染镜筒3101的物镜，并且因此可能不能够逼真地观察或拍摄观察目标位置。

关于此，当在手术操作过程中，镜筒3101的物镜被雾和/或体液污染时，采用将镜筒3101拿出患者体腔一会儿、清洁它、将镜筒3101插回患者的体腔并且随后恢复观察目标位置的拍摄的方法。

然而，在该方法中，在取出镜筒3101的同时，当然停止拍摄，并且因此在该时间期间，不能够检查插入至体腔的其他治疗仪器的状态，其可引起危险。此外，当镜筒3101再次插入时，必须复制与停止拍摄之前基本相同的观察状态。因此，该工作对内镜医生施加增加的负担，其导致操作时间的增加，并且因此对手术者3501和患者3505的负担也增加。此外，取出镜筒3101一会儿并且随后将其再次插入的非常工作可能是对内镜医生和患者3505的负担。此外，因为当必须再次插入镜筒3101时，难以将镜筒放置在与停止拍摄之前相同的位置，所以停止拍摄之前所得到的捕获图像与从恢复拍摄之后所获得的捕获图像存在显著改变的可能性。在该情况下，手术者3501必须重新开始手术操作，观看在与停止拍摄之前不同的拍摄方向和拍摄范围中拍摄的捕获图像，并且因此存在对手术者3501的负担增加以及手术操作的风险逐步升高的担忧。

因此，作为针对雾和/或体液的对策，提前从更远位置拍摄观察目标位置以防止镜筒3101的物镜的污染的方法也被考虑。然而，如果在远距离处执行拍摄，则难以精准拍摄观察目标位置，并且因此在执行治疗时难以观察较小部分。即使使用电子缩放功能放大并显示治疗部位，与在短距离处拍摄时相比，图像质量也劣化更多，并且因此难以说该拍摄是最佳的。

此外，作为针对雾和/或体液的另一对策，也考虑手术者3501和内镜医生协作以在存在雾和/或体液的散射时提前缩回镜筒3101的方法。根据该方法，能够即使在缩回过程中也继续拍摄体腔的状态，并且因此与如上所述的将镜筒3101取出一会儿的方法相比，存在手术操作更安全进行的可能性。然而，在该方法中，与取出镜筒3101一会儿的情况一样，当恢复拍摄时，使得镜筒3101再次靠近观察目标位置的工作也是必需的，并且因此难以复制与停止拍摄之前相同的观察状态，并且因此捕获图像被改变。此外，存在如下情形，其中，当在缩回过程中拍摄继续时，焦点必须重新调整，使得在缩回之后的位置处获得适当捕获图像，并且在恢复拍摄时，焦点必须再次调整。因此，这样的工作导致对内镜医生的负担增加以及操作时间增加。

为了解决上述所有问题，在第一实施方式中，在检测到雾的生成和/或体液的散射的出现的缩回条件下，支撑臂设备3300使得镜筒3101自动缩回至雾和/或体液不影响捕获图像的位置。因此，在不进行如在相关技术的上述方法中将镜筒3101取出一会儿的工作的情况下，能够避免镜筒3101被雾和/或体液污染，并且体腔内部的状态可被不断观察。因此，可提供更安全的手术操作。应注意，如果镜筒3101自动缩回，则存在用户(具体地，内镜医生)经历不了解镜筒3101的位置的不便利的担忧。然而，在第一实施方式中，当在缩回操作之后检测到雾的消失和/或体液的固定(settled)散射时，支撑臂设备3300使得镜筒3101自动返回至其原始位置。因此，也可解决这种不便利的出现。

此外，根据第一实施方式，因为通过焦点控制单元123的焦点控制处理和通过图像处理单元122的上述图像处理在镜筒3101的缩回操作和返回操作时执行，所以显示设备3403投射基本恒定的显示图像。就是说，起因于镜筒3101的移动的改变几乎不出现在提供至手术者3501的显示中。如上所述，根据第一实施方式，在保持稳定显示的同时，可防止镜筒3101被雾和/或体液污染。因此，能够顺利执行手术操作，并且因此可实现操作时间的缩短、对医务人员的负担的降低以及对患者3505的负担的降低(侵入力(invasiveness)的降低)。

(1-3.图像处理方法)

将参考图5描述根据第一实施方式的在图像处理系统1中执行的图像处理方法的处理过程。图5是示出根据第一实施方式的图像处理方法的处理过程的实例的流程图。

应注意，图5所示的相应步骤的处理对应于图2所示的由CCU 3401执行的处理。具体地，步骤S101至步骤S107的处理和步骤S111至步骤S117的处理对应于由CCU 3401的移动控制单元121执行的处理。此外，步骤S109和步骤S119的处理对应于由CCU 3401的图像处理单元122和焦点控制单元123执行的处理。因为处理的细节已参考图2描述，所以在图像处理方法的处理过程的以下描述中，将省略处理的详细说明。

此外，在图5所示的一系列处理过程中，内窥镜3100的图像传感器111在必要时获取图像信号，并且CCU 3401的图像处理单元122基于图像信号生成与捕获图像相关的图像数据以及与显示图像相关的图像数据。然后，基于生成的与显示图像相关的图像数据，显示图像显示在显示设备3403上。

参考图5，首先，在根据第一实施方式的图像处理方法中，确定是否检测到雾的生成(步骤S101)。具体地，在步骤S101中，基于与捕获图像相关的图像数据来确定是否检测到雾的生成。

当在步骤S101中未检测到雾的生成时，不执行镜筒3101的缩回操作，并且因此图像处理方法结束。另一方面，当在步骤S101中检测到雾的生成时，处理进行至步骤S103。

在步骤S103中，决定镜筒3101的缩回移动量。在第一实施方式中，由用户预先设定的预定值用作缩回移动量。

接下来，确定镜筒3101的当前位置是否是最终位置，即，它是否已经移动了在步骤S103中决定的缩回移动量(步骤S105)。当它是紧接着检测到雾的生成但是在开始缩回操作之前时，镜筒3101的当前位置当然不是最终位置。在该情况下，处理进行至步骤S107。

在步骤S107中，发布在缩回方向上移动镜筒3101的指令。根据该指令，图2所示的臂控制设备3407的致动器驱动控制单元131驱动设置在支撑臂设备3300的臂单元3303的相应接头中的致动器141，并且由此镜筒3101在缩回方向上移动。

接下来，在镜筒3101在缩回方向上移动的同时，焦点控制为在观察目标位置上，切去捕获图像，并且随后执行电子缩放处理，使得显示图像的显示范围变得与缩回操作之前的相同(步骤S109)。即，生成与显示图像相关的图像数据，使得显示图像的显示范围变得与缩回操作之前的相同。

当步骤S109的处理结束时，处理返回至步骤S105，并且再次执行确定镜筒3101的当前位置是否是最终位置的处理。此后，重复步骤S105至步骤S109的处理直至在步骤S105中确定镜筒3101的当前位置是最终位置，即，直至镜筒3101移动了缩回移动量。因此，在缩回操作过程中，显示基本相同的显示图像。

当在步骤S105中确定镜筒3101的当前位置是最终位置时，处理进行至步骤S111。在步骤S111中，确定是否检测到雾的消失。具体地，基于与捕获图像相关的图像数据，在步骤S111中确定是否检测到雾的消失。

当在步骤S111中未检测到雾的消失时，镜筒保持原样，并且例如，在对应于捕获图像的帧速率的预定时间段之后，重复步骤S111的确定过程。即，镜筒3101保持在缩回位置处直至雾消失。

当在步骤S111中已经检测到雾的消失时，处理进行至步骤S113。在步骤S113中，决定镜筒3101的返回移动量。在第一实施方式中，与缩回移动量相同的值用作返回移动量。

接下来，确定镜筒3101的当前位置是否是最终位置，即，镜筒是否移动了在步骤S113中决定的返回移动量(步骤S115)。紧接着检测到雾的消失并且在开始返回操作之前，镜筒3101的当前位置当然不是最终位置。在该情况下，处理进行至步骤S117。

在步骤S117中，发布在返回方向上移动镜筒3101的指令。根据该指令，图2所示的臂控制设备3407的致动器驱动控制单元131驱动设置在支撑臂设备3300的臂单元3303的相应接头中的致动器141，并且由此镜筒3101在返回方向上移动。

接下来，在镜筒3101在返回方向上移动的同时，焦点控制为在观察目标位置上，切去捕获图像，并且随后执行电子缩放处理，使得显示图像的显示范围变得与缩回操作之前的相同(步骤S119)。即，生成与显示图像相关的图像数据，使得显示图像的显示范围变得与缩回操作之前的相同。

当步骤S119的处理结束时，处理返回至步骤S115，并且再次执行确定镜筒3101的当前位置是否是最终位置的处理。此后，重复步骤S115至步骤S119的处理直至在步骤S115中确定镜筒3101的当前位置是最终位置，即，直至镜筒3101移动了返回移动量。因此，即使在返回操作过程中，显示基本相同的显示图像。

当在步骤S115中确定镜筒3101的当前位置是最终位置时，图像处理方法的一系列处理结束。在第一实施方式中，在手术操作过程中在内窥镜3100拍摄观察目标位置的同时，必要时执行上述一系列处理。

上面已描述根据第一实施方式的图像处理方法的处理过程。

(2.第二实施方式)

将参考图6描述本公开的第二实施方式。图6是示出根据第二实施方式的图像处理系统的配置的实例的框图。应注意，因为根据第二实施方式的图像处理系统可应用至的内窥镜手术系统与图1所示的内窥镜手术系统3000类似，所以这里将省略其描述。

参考图6，根据第二实施方式的图像处理系统2对应于具有图2所示的根据第一实施方式的来自图像处理系统1的内窥镜3100和CCU 3401的改变功能的系统。因为图像处理系统2的其他配置与图像处理系统1类似，所以这里将省略对与图像处理系统1重叠的物体的描述。此外，除了以下将要被描述的决定缩回移动量的方法不同并且添加基于缩回移动量确定执行缩回操作的处理以外，根据第二实施方式的图像处理方法类似于根据第一实施方式的图像处理方法，并且因此将省略其描述。

根据第二实施方式，图像传感器111和焦点调整机制112安装在内窥镜3100a中。元件与安装在根据第一实施方式的图像处理系统1的内窥镜3100中的那些元件类似。与第一实施方式不同，在第二实施方式中，内窥镜3100a具有距离检测单元113作为功能。

距离检测单元113在镜筒3101的物镜的光轴方向上，检测从内窥镜3100a的镜筒3101的前端到观察目标位置的距离(即，在镜筒3101的拉伸方向上的距离)。距离检测单元113将检测到的距离信息传输至CCU 3401a。

应注意，不存在对距离检测单元113的配置的特定限制。例如，当立体相机安装在内窥镜3100a中时，距离检测单元113可以是立体相机。因为从立体相机获得的捕获图像包括存在于捕获图像中的物体的深度信息，所以可从立体相机的捕获图像中检测距离。应注意，尽管为了便利性，在图2中距离检测单元113被示出为内窥镜3100a的功能，但是严格来讲，当从立体相机的捕获图像中检测距离时，包括在CCU 3401a中的处理器基于通过立体相机获取的图像信号计算距离。由于该原因，可以说距离检测单元113的功能是通过内窥镜3100a的立体相机和CCU 3401a的处理器实现的。

可替代地，例如，距离检测单元113可以是设置在镜筒3101的前端处的距离测量传感器。然而，如果设置距离测量传感器，则存在镜筒3101具有较大尺寸并且由此侵入力增长的担忧。此外，存在由于设置的距离测量传感器所导致的成本将增加的担忧。因此，期望的是利用立体相机实现距离检测单元113。

在第二实施方式中，CCU 3401a具有移动控制单元121a、图像处理单元122和焦点控制单元123作为功能。图像处理单元122和焦点控制单元123的功能类似于第一实施方式的那些功能。在第二实施方式中，移动控制单元121a的功能不同于第一实施方式中的功能。

具体地，当镜筒3101的前端与雾未影响捕获图像的观察目标位置之间的距离被设为X1，并且镜筒3101的前端与紧接着检测到雾的生成之前的观察目标位置之间的距离被设为X2时，移动控制单元121a通过X3＝X1-X2决定缩回移动量X3。距离X2是在检测到雾的生成之前立即通过上述距离检测单元113检测到的距离。此外，距离X1可由用户基于过去经验适当决定。例如，当生成雾的量具有根据作为观察目标位置的生物组织的类型、能量设备3203的类型、操作方法等的倾向时，距离X1可基于从过去知识获得的倾向决定。

此外，当缩回移动量X3>0时，移动控制单元121a向臂控制设备3407发布指令以使得缩回操作通过缩回移动量X3执行。在缩回操作中，臂控制设备3407使得镜筒3101移动缩回移动量X3。在该情况下，因为如上所述，X3＝X1-X2，所以移动镜筒3101为使得其前端放置在远离雾未影响捕获图像的观察目标位置距离X1的位置处。

另一方面，当缩回移动量X3<0时，移动控制单元121a不发布执行缩回操作的指令。这是因为，当缩回移动量X3<0时，即使检测到雾的生成，镜筒3101也已经处于雾无法影响捕获图像的距离处，并且因此不存在执行缩回操作的必要。

应注意，因为移动控制单元121a的其他功能类似于根据第一实施方式的移动控制单元121的那些功能，所以将省略其描述。

上面已描述第二实施方式。根据第二实施方式，检测镜筒3101的前端与紧挨着检测到雾的生成之前的观察目标位置之间的距离X2，并且基于该距离X2以及镜筒3101的前端与雾不影响捕获图像的观察目标位置之间的距离X1，如上所述使用X3＝X1-X2决定缩回移动量X3。此外，仅在缩回移动量X3>0时执行缩回操作。

在此，第一实施方式的缩回移动量是预先设定的给定值。因此，如果镜筒3101基于缩回移动量缩回，则存在镜筒3101缩回得比必要的更远并且即使镜筒3101已经足够远离观察目标位置也执行缩回操作的可能性，并且因此不存在使其缩回的必要。

另一方面，在第二实施方式中，考虑如上所述的距离X1和X2，使镜筒3101缩回雾不影响捕获图像的最小必要量。此外，当镜筒3101已足够远离观察目标位置时，不执行缩回操作。例如，当缩回移动量变得更大时，相对于显示图像的电子缩放的放大率因此增加，并且因此存在图像质量变得较差的担忧。然而，在第二实施方式中，使镜筒3101的缩回操作最小化，即，如果不存在如上所述的针对其的必要，则能够不执行缩回，并且因此可向手术者更稳定地提供图像。

(3.第三实施方式)

将参考图7描述根据本公开的第三实施方式的图像处理方法的处理过程。图7是示出根据第三实施方式的在图像处理系统中执行的图像处理方法的处理过程的实例的流程图。应注意，因为根据第三实施方式的图像处理系统可应用至的内窥镜手术系统与图1所示的内窥镜手术系统3000类似，所以这里将省略其描述。根据第三实施方式的图像处理系统对应于CCU 3401的移动控制单元121的功能从图2所示的根据第一实施方式的图像处理系统1改变的配置，并且因此这里将省略对根据第三实施方式的图像处理系统的描述。在将参考图7描述图像处理方法的处理过程的同时，这里也将描述根据第三实施方式的移动控制单元的功能。

应注意，图7所示的处理中的步骤S201至步骤S205、步骤S209至步骤S211以及步骤S215的处理对应于通过CCU 3401的移动控制单元执行的处理。此外，步骤S207和步骤S213的处理对应于通过CCU 3401的图像处理单元122和焦点控制单元123执行的处理。图7所示的处理中的类似于第一实施方式的那些处理的详细说明将省略。

此外，在第三实施方式中，在图7所示的一系列处理的过程中，必要时，内窥镜3100的图像传感器111获取图像信号，并且如在第一实施方式中，CCU 3401的图像处理单元122基于图像信号生成与捕获图像相关的图像数据以及与显示图像相关的图像数据。此外，基于所生成的与显示图像相关的图像数据，显示图像显示在显示设备3403上。

参考图7，在根据第三实施方式的图像处理方法中，首先确定是否检测到雾的生成(步骤S201)。步骤S201的处理类似于第一实施方式的图5所示的步骤S101的处理。

当在步骤S201中未检测到雾的生成时，不执行镜筒3101的缩回操作，并且因此图像处理方法结束。另一方面，当在步骤S201中检测到雾的生成时，处理进行至步骤S203。

在步骤S203中，确定雾的存在区域是否占据捕获图像的30％或更大。具体地，在步骤S203中，基于与捕获图像相关的图像数据，捕获图像被划分为多个区域，并且通过图像识别处理确定雾是否存在于区域中的每一个中。然后，基于该结果，计算雾的存在区域占据捕获图像的比率，并且将该值与30％的阈值相比较。应注意，计算雾的存在区域占据捕获图像的比率的方法不限于此，并且可使用各种方法中的任一种。

当在步骤S203中确定雾的存在区域占据捕获图像的30％或更大时，发布在缩回方向上移动镜筒3101的指令(步骤S205)，并且根据该指令，臂控制设备3407控制支撑臂设备3300的臂单元3303的驱动以在缩回方向上移动镜筒3101。然后，在该镜筒3101在缩回方向上移动的同时，焦点控制为在观察目标上，并且执行捕获图像的切开以及电子缩放处理，使得显示图像的显示范围与缩回操作之前的相同(步骤S207)。步骤S205和步骤S207的处理类似于第一实施方式中的图5所示的步骤S107和步骤S109的处理。

当步骤S207的处理结束时，处理返回至步骤S203，并且再次执行确定雾的存在区域是否占据捕获图像的30％或更大的处理。此后，重复步骤S203至步骤S207的处理直至在步骤S203中确定雾的存在区域占据捕获图像的小于30％。因此，在缩回操作过程中，显示基本相同的显示图像。

如上所述，与第一实施方式不同，在第三实施方式中，在雾的存在区域占据捕获图像的第一预定比率的缩回条件下，移动控制单元发布执行缩回操作的指令。此外，在该情况下，缩回操作继续直至雾的存在区域占据捕获图像的小于30％，其中，没有决定缩回移动量以及发布执行缩回操作的指令。因为雾的存在区域占据捕获图像的数目增长意味着镜筒3101的前端与雾生成位置之间的距离短，所以如上所述通过在雾的存在区域占据捕获图像的比率高于预定比率时执行缩回操作，镜筒3101可缩回以更远离雾的生成位置。

当在步骤S203中确定雾的存在区域占据捕获图像小于30％时，处理进行至步骤S209。在步骤S209中，确定雾的存在区域是否占据捕获图像的25％或更小。具体地，在步骤S209中，以与上述步骤S203的方法类似的方法计算雾的存在区域占据捕获图像的比率，并且将该值与25％的阈值相比较。

当在步骤S209中确定雾的存在区域占据捕获图像超过25％时，处理返回至步骤S203，并且再次执行确定雾的存在区域是否占据捕获图像的30％或更大的处理。然后，根据该结果，处理再次进行至步骤S205和步骤S209中的任一个。

另一方面，当在步骤S209中确定雾的存在区域占据捕获图像的25％或更小时，发布在返回方向上移动镜筒3101的指令(步骤S211)，并且臂控制设备3407根据该指令控制支撑臂设备3300的臂单元3303的驱动以在返回方向上移动镜筒3101。然后，在该镜筒3101在返回方向上移动的同时，焦点控制为在观察目标上，并且执行捕获图像的切开和电子缩放处理，使得显示图像的显示范围与缩回操作之前相同(步骤S213)。步骤S211和步骤S213的处理类似于第一实施方式中的图5所示的步骤S117和步骤S119的那些处理。

如上所述，与第一实施方式不同，在第三实施方式中，移动控制单元发布在雾的存在区域占据捕获图像的第二预定比率或更小的返回条件下执行返回操作的指令。当雾的存在区域占据捕获图像的预定比率或更小时，镜筒3101足够远离雾的生成位置或者雾从生成固定下来。因此，如果基于这样的返回条件执行返回操作，则镜筒3101的移动可被控制为使得镜筒3101不移动得更加远离必需的雾的生成位置。

当步骤S213的处理结束时，确定返回操作是否已经结束(步骤S215)。具体地，基于镜筒3101是否已经返回至执行缩回操作之前的原始位置，来确定返回操作是否已经结束。可替代地，可通过分开设置返回移动量并且确定镜筒3101是否在返回方向上从镜筒缩回最多的位置已经返回返回移动量，来确定返回操作是否已经结束。

当在步骤S215中返回操作确定为未结束时，处理返回至步骤S203，并且执行确定雾的存在区域是否占据捕获图像的30％或更大的处理。然后，根据该结果，处理再次进行至步骤S205和步骤S209中的任一个。以此方式，在第三实施方式中，在步骤S203和步骤S209中重复执行确定雾的存在区域占据捕获图像的处理，直至图像处理方法的一系列处理结束。然后，如果雾的存在区域占据捕获图像的第一预定比率或更大，则镜筒3101执行缩回操作，并且如果雾的存在区域占据捕获图像的第二预定比率或更小，则镜筒3101执行返回操作。因此，当已经检测到雾的生成时，镜筒3101可移动为使得镜筒3101从雾的存在区域占据小于第一预定比率的雾的生成位置移动第一预定距离或更远并且不过度移动与第一距离不同的第二预定距离或与其更远。

当在步骤S215中确定返回操作已经结束时，即使镜筒3101靠近雾的生成位置，雾的存在区域也占据捕获图像的25％或更小。换言之，生成的雾已固定到它不影响捕获图像的程度，并且因此在该情况下图像处理方法的一系列处理结束。在第三实施方式中，在手术操作过程中在内窥镜3100拍摄观察目标位置的同时，必要时执行上述一系列处理。

上面已描述根据第三实施方式的图像处理方法的处理过程。应注意，尽管在上述实例中，雾的存在区域占据捕获图像的第一比率(其是用于确定是否应该执行缩回操作的标准)被设为30％，并且雾的存在区域占据捕获图像的第二比率(其是用于确定是否应该执行返回操作的标准)被设为25％，但是这些值仅是实例。在第三实施方式中，这些第一和第二阈值可由用户基于过去经验等适当设置。在镜筒3101的物镜不被雾污染的情况下，第一和第二比率可例如基于雾的存在区域占据捕获图像与从过去知识获得的雾对捕获图像的影响之间的关系，适当设置为可获得逼真捕获图像的值。

在此，在上述第一和第二实施方式中，镜筒3101缩回以避免镜筒3101的物镜主要被雾污染。然而，在雾生成之后，即使物镜将不直接被雾污染，雾也充满拍摄范围，其阻挡可见度，并且因此获得逼真捕获图像的难度是一种担忧。为此，根据第三实施方式，根据如上所述的雾的存在区域占据捕获图像的比率，缩回镜筒3101。即使雾生成量假定为相同，雾的存在区域占据捕获图像的比率也随着镜筒3101缩回而降低，并且因此可获得更逼真的捕获图像。如上所述，根据第三实施方式，不仅可避免镜筒3101的物镜被雾污染，而且即使在由于雾充满拍摄范围而可能难以拍摄时，也可更稳定地提供适当图像。

(4.改进实例)

将描述上述第一至第三实施方式的若干改进实例。

(4-1.基于捕获图像检测雾的其他方法)

在上述配置的实例中，当从与捕获图像相关的图像数据中检测到雾的生成时，CCU3401和3401a的移动控制单元121和121a针对整个捕获图像以从与捕获图像相关的图像数据中检测雾的生成。然而，第一和第二实施方式不限于此。移动控制单元121和121a可在捕获图像内部的一部分中设置雾检测目标区域，并且仅对该雾检测目标区域执行检测雾的生成的处理。

将参考图8描述这种雾检测目标区域设置在捕获图像内部的一部分中的改进实例作为第一和第二实施方式的改进实例。图8是用于描述根据雾检测目标区域设置在捕获图像内部的一部分中的改进实例的检测雾的生成的方法的示图。应注意，在雾检测处理的细节方面，本改进实例不同于第一和第二实施方式，并且其他主题(subjects)类似于第一和第二实施方式。因此，以下将仅描述本改进实例与第一和第二实施方式的差异。

图8示意性示出在手术操作过程中从内窥镜3100获得的捕获图像217的实例。如示出的，捕获图像217包括能量设备3203以及在其上利用能量设备3203执行治疗的治疗部位219。

在改进实例中，如图8(a)所示，当检测到雾时，移动控制单元首先从捕获图像中检测能量设备3203的前端221。在检测该能量设备3203的前端221的过程中，可使用各种已知图像识别技术中的任一种。应注意，在所示实例中，前端221形成为抓握机制，并且在治疗部位被抓握机制抓住的状态下，能量设备3203通过向抓握机制施加高频电流来烧灼并切除该治疗部位。

移动控制单元设置雾检测目标区域223作为接近能量设备3203的检测前端221的区域。这是因为在对治疗部位实际执行治疗的前端221的附近生成雾。

在该状态下，移动控制单元执行用于设置的雾检测目标区域223的雾检测处理。图8(b)示意性示出在雾检测目标区域223中生成雾201的状态。

在本实施方式中，不对整个捕获图像执行雾检测处理，而是如上所述，雾检测目标区域设置在捕获图像内部的一部分中，并且仅对该雾检测目标区域执行雾生成检测处理。通过以此方式将目标限制至部分区域，在雾检测处理中对包括在移动控制单元中的处理器施加的负载可减小。

应注意，尽管在以上描述中，检测雾的生成被设为缩回条件，但是代替雾的生成或随着雾的生成，当诸如血液的体液的散射被设为缩回条件时，本改进实例的配置可应用于检测诸如血液的体液的散射。具体地，移动控制单元从捕获图像中检测治疗仪器的可引起体液的散射的前端，并且在前端附近设置体液散射检测目标区域。然后，移动控制单元仅在体液散射检测目标区域中执行检测体液的散射的处理。因此，如同在检测到雾的生成时，起因于体液散射检测处理的对处理器施加的负载可减小。

(4-2.缩回条件和返回条件的其他实例)

在以上描述中，在第一和第二实施方式中，镜筒3101的缩回条件和返回条件分别设置为检测雾的生成和检测雾的消失。然而，第一和第二实施方式不限于此。在第一和第二实施方式中，CCU 3401和3401a的移动控制单元121和121a可发布在另一缩回条件和返回条件下执行缩回操作和返回操作的相应指令。

在此，将描述具有镜筒3101的不同缩回条件和返回条件的若干改进实例。应注意，关于以下要被描述的缩回条件和返回条件的相应改进实例仅在缩回条件和返回条件方面不同于第一和第二实施方式，并且其其他主题类似于第一和第二实施方式的那些。因此，以下将仅主要描述该改进实例与第一和第二实施方式的差异。

(4-2-1.治疗仪器与治疗部位之间的距离)

在第一和第二实施方式中，治疗仪器与治疗部位之间的距离可以是缩回条件和返回条件。图9是用于描述治疗仪器与治疗部位之间的距离是缩回条件和返回条件的改进实例的示图。图9示意性示出经历内窥镜手术操作的患者的体腔内部的状态。

在本改进实例中，移动控制单元基于与捕获图像相关的图像数据从捕获图像中检测可引起雾的治疗仪器及其前端，以确定是否满足缩回条件或返回条件。在图9(a)所示的实例中，能量设备3203及其前端221示出为检测目标。应注意，各种已知图像识别技术中的任一种可用于能量设备3203及其前端221的检测处理。

然后，移动控制单元计算能量设备3203的前端221与放置在能量设备3203的前端221所面向的方向上的治疗部位之间的距离d。更具体地，如图10所示，移动控制单元假设能量设备3203的前端221的方向上的延伸线与包括治疗部位的器官224的表面的相交点作为能量设备3203的关注点Q，并且计算能量设备3203的前端221与关注点Q之间的距离作为能量设备3203的前端221与治疗部位之间的距离。图10是用于描述能量设备3203的关注点Q的示图。

基于能量设备3203和器官224的3维位置信息，可计算关注点Q。当内窥镜3100和3100a是立体相机时，可从捕获图像获得3维位置信息。可替代地，通过将多个距离测量传感器分别插入至患者的体腔，基于距离测量传感器的检测值，可获得3维位置信息。

基于如以上获得的3维信息，例如，移动控制单元可使用例如，作为本申请的申请人的在先申请的JP 2015-228954 A和JP 2015-228955 A的方法，获得能量设备3203的关注点Q的空间坐标。然后，移动控制单元从关注点的空间坐标以及从能量设备3203的3维信息获得的前端221的空间坐标，计算关注点Q与前端221之间的距离d。

基于能量设备3203的前端221与治疗部位之间的距离d，移动控制单元确定是否应该执行缩回操作以及是否应该执行返回操作。例如，移动控制单元发布使得镜筒3101在距离d等于或小于第一预定阈值的缩回条件下执行缩回操作的指令。此外，例如，作为执行的缩回操作的结果，移动控制单元发布使得镜筒3101在距离d等于或大于第二预定阈值的返回条件下执行返回操作的指令。当作为由能量设备3203执行的治疗的结果而生成雾时，第一和第二阈值可被适当设置为雾不太可能影响捕获图像的值。

应注意，用于缩回条件的第一阈值和用于返回条件的第二阈值可以是相同值或不同值。例如，因此当第二阈值被设为大于第一阈值时，在镜筒3101缩回之后，除非能量设备3203移动得足够远离治疗部位，否则可不执行返回操作，并且能够适当限制镜筒3101的过量移动。

应注意，尽管在以上描述中，可引起雾的治疗仪器与治疗部位之间的距离用作缩回条件和返回条件，但是治疗仪器与治疗部位之间的距离可用作利用可引起诸如血液的体液的散射(而不是可引起雾的治疗仪器)的治疗仪器的缩回条件和返回条件。此外，尽管在上述实例中，基于包括治疗仪器的生物组织以及治疗部位的3维信息计算治疗仪器与治疗部位之间的距离，但是可通过在治疗仪器的前端处设置例如距离测量传感器，使用另一方法获得距离。

根据上述本改进实例，在可引起雾或体液的散射的治疗仪器与治疗部位在预定距离内的缩回条件下，向镜筒3101发布执行缩回操作的指令。因此，可在实际上引起雾或体液的散射之前，执行缩回操作，并且因此能够可靠地避免污染镜筒3101。

(4-2-2.能量设备的状态)

在第一和第二实施方式中，能量设备3203的状态可用作缩回条件和返回条件。图11是示出根据能量设备3203的状态用作缩回条件和返回条件的改进实例的图像处理系统的配置的框图。应注意，根据本改进实例的图像处理系统1a对应于如下配置：其中，图1所示的治疗仪器控制设备3411添加至图2所示的根据第一实施方式的图像处理系统1作为其组成元件，并且移动控制单元121的功能的一部分由于不同缩回条件和返回条件而改变。图像处理系统1a的其他配置类似于图像处理系统1的那些，并且因此这里将省略与图像处理系统1的重叠描述。

如示出的，在根据本改进实例的图像处理系统1a中，必要时，与治疗仪器的状态有关的信息从治疗仪器控制设备3411传输至CCU 3401b。在本改进实例中，基于与治疗仪器的状态有关的信息，移动控制单元121b确定是否满足缩回条件或返回条件。

具体地，与治疗仪器的状态有关的信息包括与能量设备3203是否已经被激活有关的信息。基于与治疗仪器的状态有关的信息，移动控制单元121b发布使得镜筒3101在能量设备3203被激活(即，能量设备3203通电)的缩回条件下执行缩回操作的指令。此外，基于与治疗仪器的状态有关的信息，移动控制单元121b发布使得镜筒3101在能量设备3203的输出停止(即，能量设备3203停止通电)并且基于捕获图像检测到雾的消失的返回条件下执行返回操作的指令。

可替代地，与治疗仪器的状态有关的信息包括与由手术者3501执行的把手的操纵以打开或闭合能量设备3203的前端处的抓握机制有关的信息。图12是示出手术者3501正使用能量设备3203的状态的示图。如示出的，把手225设置在能量设备3203的基座端侧上，并且当手术者3501操纵把手225时，前端221处的抓握机制打开或闭合。即，手术者3501操纵把手225以闭合能量设备3203的抓握机制的状态意味着利用能量设备3203的治疗正在执行。此外，手术者3501操纵把手225以打开能量设备3203的抓握机制的状态意味着利用能量设备3203的治疗已结束。

基于与治疗仪器的状态有关的信息，移动控制单元121b发布使得镜筒3101在手术者3501操纵把手225以闭合能量设备3203的抓握机制的缩回条件下执行缩回操作的指令。此外，基于与治疗仪器的状态有关的信息，移动控制单元121b发布使得镜筒3101在手术者3501操纵把手225以打开能量设备3203的抓握机制并且基于捕获图像检测到雾的消失的返回条件下执行返回操作的指令。

能量设备3203被激活并且手术者操纵把手225以闭合能量设备3203的抓握机制分别指的是将使用能量设备3203尽快执行治疗并且正使用能量设备3203执行治疗，并且因此这些操作动作可被称为极有可能生成雾的动作。因此，在本改进实例中，通过设置这些动作中的一个作为缩回条件，可在实际生成雾之前执行缩回操作，并且因此能够可靠地避免镜筒3101的污染。

(4-2-3.能量设备的前端的移动的检测)

在第一和第二实施方式中，能量设备3203的前端的移动可用作缩回条件和返回条件。在本改进实例中，移动控制单元从捕获图像检测能量设备的前端及其移动，即，抓握机制的打开或闭合操作(抓握机制设置在图12所示的前端221处)。应注意，各种已知图像识别技术中的任一种可用于检测能量设备的前端及检测其移动。

此外，移动控制单元发布使得镜筒3101在检测到能量设备3203的前端处的抓握机制抓握对应于治疗部位的生物组织的一部分的操作的缩回条件下执行缩回操作的指令。此外，移动控制单元发布使得镜筒3101在检测到能量设备3203的前端处的抓握机制释放对应于治疗部位的生物组织的一部分的操作并且基于捕获图像检测到雾的消失的返回条件下执行返回操作的指令。

应注意，在以上描述中，尽管相对于可引起雾的治疗仪器，能量设备3203的前端处的抓握机制的操作用作缩回条件和返回条件，但是相对于可引起诸如血液的体液散射的治疗仪器，治疗仪器(例如，钳子等)的前端的操作也可用作缩回条件和返回条件。在该情况下，例如，移动控制单元发布使得镜筒3101在治疗仪器的前端对治疗部位执行治疗的缩回条件(即，基于捕获图像检测到可引起体液散射的操作)下执行缩回操作的指令。此外，例如，移动控制单元发布使得镜筒3101在治疗仪器的前端不对治疗部位执行治疗(即，基于捕获图像未检测到可引起体液散射的操纵)并且基于捕获图像检测到诸如血液的体液的散射固定的返回条件下执行返回操作的指令。

如在本改进实例中描述的，通过根据诸如能量设备3203的治疗仪器的前端的移动执行缩回操作，可在实际引起雾和/或诸如血液的体液的散射之前执行缩回操作，并且因此能够可靠地避免污染镜筒3101。

(4-2-4.来自用户的指令)

在第一和第二实施方式中，用户(例如，手术者3501或内镜医生)的指令可用作缩回条件和返回条件。图13是示出根据用户的指令用作缩回条件和返回条件的改进实例的图像处理系统的配置的框图。应注意，根据本改进实例的图像处理系统1b对应于如下配置：其中，图1所示的输入设备3409添加至图2所示的根据第一实施方式的图像处理系统1，并且移动控制单元121的一部分功能由于不同缩回条件和返回条件而改变。图像处理系统1b的其它配置类似于图像处理系统1的那些，并且因此这里将省略与图像处理系统1的重叠描述。

如示出的，在根据本改进实例的图像处理系统1b中，CCU 3401c经由输入设备3409从用户接收使得镜筒3101执行缩回操作的指令以及使得镜筒3101执行返回操作的指令的输入。来自用户的指令的输入可以以各种形式执行，诸如如同图1所示的脚踏开关3419的开关、语音、手势等。然而，可假定，在手术操作过程中，手术者3501和内镜医生的两只手都被治疗仪器、内窥镜3100等占用，并且因此如果使用语音、手势等的非接触输入是可能的，则手术者3501和内镜医生的便利性可提高。在本改进实例中，使用来自用户的指令作为缩回条件和返回条件，移动控制单元121c向臂控制设备3407发布使得镜筒3101执行缩回操作的指令以及使得镜筒3101执行返回操作的指令。

在此，在上述实施方式和改进实例中，缩回条件和返回条件被设为用于防止镜筒3101被雾和/或体液污染的目的。然而，存在为了其它目的(例如确保用于使用治疗仪器执行治疗的工作空间)，期望镜筒3101故意远离观察目标位置移动一会儿的情形。在本改进实例中，在不改变显示图像的情况下，可通过来自用户的在任意时刻的指令执行缩回操作，并且因此该技术在镜筒3101旨在缩回一会儿时是特别有效的。

(4-2-5.内窥镜的镜筒的前端与治疗仪器之间的距离)

在第一和第二实施方式中，内窥镜3100或3100a的镜筒3101的前端与治疗仪器之间的距离可用作缩回条件和返回条件。应注意，与上述实施方式和改进实例不同，本改进实例并非旨在防止镜筒被雾和/或体液污染。在本改进实例中，通过使用内窥镜3100或3100a的镜筒3101的前端与治疗仪器之间的距离作为缩回条件和返回条件，能够防止镜筒3101与治疗仪器意外接触。

具体地，在本改进实例中，检测内窥镜3100或3100a的镜筒3101的前端与治疗仪器之间的距离。作为距离的检测方法，可使用各种方法中的任一种。例如，当内窥镜3100或3100a是立体相机时，可基于其捕获图像检测距离。可替代地，例如，通过在镜筒3101的前端处设置距离测量传感器，可基于距离测量传感器的检测值检测距离。可替代地，例如，通过将多个距离测量传感器插入患者的体腔，基于这些距离测量传感器的检测值获取镜筒3101和治疗仪器的3维位置信息，并且由此可基于3维位置信息获取距离。

在本改进实例中，基于检测到的内窥镜3100或3100a的镜筒3101的前端与治疗仪器之间的距离，移动控制单元确定是否应该执行缩回操作以及是否应该执行返回操作。例如，移动控制单元发布使得镜筒3101在距离等于或小于第一预定阈值的缩回条件下执行缩回操作的指令。此外，例如，移动控制单元发布使得镜筒3101在从缩回操作得到的距离等于或大于第二预定阈值的返回条件下执行返回操作的指令。第一和第二阈值可被适当设为可可靠地防止镜筒3101与治疗仪器的接触的值。

如上所述，根据本改进实例，如果将内窥镜3100或3100a的镜筒3101的前端与治疗仪器之间的距离用作缩回条件和返回条件，则即使在手术操作过程中在镜筒3101与治疗仪器在它们体腔内部移动时有可能彼此无意接触时，也可防止这种接触。此外，在移动镜筒3101以防止接触的同时，显示设备维持基本恒定的显示，并且因此实现手术操作的顺利继续。

应注意，当多个治疗仪器插入体腔中时，检测内窥镜3100或3100a的镜筒3101的前端与多个治疗仪器之间的距离，并且基于这些相应距离，可相对于治疗仪器中的每一个决定是否应该执行缩回操作以及是否应该执行返回操作。因此，即使在存在插入体腔中的多个治疗仪器时，也可防止镜筒3101与这些治疗仪器之间的接触。

此外，在本改进实例中，返回移动量可不必与缩回移动量相同。此外，返回移动量可能不是恒定值。因为本改进实例旨在防止镜筒3101与治疗仪器无意接触，所以对于例如在返回操作时，镜筒3101返回至可更安全确保与治疗仪器的距离的位置并且随后镜筒3101停止在该位置处，而不是镜筒3101返回至缩回操作之前的原始位置，它被视为是更有效地满该足目标。因此，在本改进实例中，在每次执行返回操作时，返回移动量可被适当设置，使得例如，在所有时间，镜筒3101与治疗仪器之间的距离保持为给定值或更大。

(4-3.支撑臂设备的配置的其它实例)

如参考图1描述的，在上述配置的实例中，支撑臂设备3300的具有例如6自由度的臂单元3303支撑内窥镜31，并且通过控制臂单元3303的姿态，执行内窥镜3100的镜筒3101的缩回操作和返回操作。然而，第一至第三实施方式不限于此。具有另一配置的支撑臂设备可移动镜筒3101以用于缩回操作和返回操作。应注意，除了支撑臂设备的配置不同以外，本改进实例类似于上述第一至第三实施方式，并且因此，在缩回操作和返回操作时支撑臂设备的驱动控制方法不同。因此，将仅主要描述本改进实例与第一至第三实施方式的差异。

图14是示意性示出支撑臂设备的另一配置的实例的示图。参考图14，根据本改进实例的支撑臂设备300设置有底座单元310以及从底座单元310伸展的臂单元230。此外，保持内窥镜3100的保持单元330设置在臂单元320的前端处。在本改进实例中，该支撑臂设备300应用于图1所示的内窥镜手术系统3000，而不是上述支撑臂设备3300。

在所示实例中，臂单元320包括接头321a、321b和321d以及连杆323a、323b和323c，并且在图1所示的臂控制设备3407的控制下驱动。然而，在图14中，为了简化的目的，臂单元320的配置将被简化示出。现实中，接头321a至321c以及连杆323a至323c的形状、数量和部署、接头321a至321c的旋转轴的方向等可被适当设置使得臂单元320具有期望自由度。如同根据上述第一至第三实施方式的支撑臂设备3300，例如，臂单元320可适当具有6或更大的自由度。因此，保持单元330可在臂单元320的可移动范围内自由移动，并且因此内窥镜3100的镜筒3101可从期望方向插入患者3505的体腔。

保持单元330是内径与内窥镜3100的镜筒3101的外径基本相同的大致圆柱形构件，并且利用插入至圆柱体的镜筒3101保持内窥镜3100。可在其拉伸方向(即，物镜的光轴方向)上移动镜筒3101的滑块机制以及驱动滑块机制的致动器被设置在保持单元330的圆柱体的内壁上。因为臂控制设备3407控制致动器的驱动，所以镜筒3101可在拉伸方向上移动预定量。在本改进实例中，镜筒3101在缩回操作和返回操作时使用保持单元330的这些机制移动。

在此，因为根据上述第一至第三实施方式的支撑臂设备3300的多轴臂单元3303的姿态被适当控制，所以镜筒3101在缩回操作和返回操作时移动。在该情况下，为了与其拉伸方向平行地移动镜筒3101，臂单元3303的移动变得相对复杂。此外，因为镜筒3101的移动应通过控制臂单元3303的接头3305a至3305c的旋转以协调方式实现，所以控制也变得相对复杂。

另一方面，根据本改进实例，因为具有上述机制的保持单元330保持镜筒3101并且实现了在其拉伸方向上的移动，所以在缩回操作和返回操作时，在不必驱动臂单元320自身的情况下，保持单元330的致动器的更简单的控制可实现镜筒3101的移动。

(4-4.缩回操作和返回操作的半自动化)

在配置的以上实例中，可以说，当满足缩回条件和返回条件时，通过臂控制设备3407自动执行缩回操作和返回操作。然而，第一至第三实施方式不限于此，并且当内镜医生在内窥镜3100由如图1所示的支撑臂设备3300保持的状态下操纵内窥镜3100时，臂控制设备3407可驱动支撑臂设备3300以促进内镜医生执行缩回操作和返回操作。应注意，在本说明书中，为了与到目前为止描述的所谓的自动缩回操作和返回操作相区分，支撑臂设备3300的驱动被控制为促进内镜医生执行缩回操作和返回操作的这种模式缩回操作和返回操作将被称为半自动缩回操作和返回操作。除了执行半自动缩回操作和返回操作以外，本改进实例类似于上述第一至第三实施方式。因此，以下将主要描述本改进实例与第一至第三实施方式的差异。

假定内镜医生在内窥镜3100由支撑臂设备3300保持的状态下操纵内窥镜3100时，执行半自动缩回操作和返回操作。此外，支撑臂设备3300的驱动控制假定为通过力控制执行。此外，在该情况下，内镜医生通过例如直接操纵来操纵内窥镜3100。

在本改进实例中，当满足缩回条件时，臂控制设备3407驱动支撑臂设备3300以便在镜筒3101缩回的方向上给予内镜医生以力(缩回方向上的辅助力(assist force))。因此，内镜医生认识到已产生镜筒3101应该缩回的情况(即，上述缩回条件中的任一个)，并且因此可操纵内窥镜3100以根据从臂单元3303给予的辅助力执行缩回操作。

在该情况下，如图15和图16所示，辅助力Y(在缩回方向上正施加)可根据能量设备3203与治疗部位之间的距离X改变。图15和图16是用于描述与半自动缩回操作和返回操作相关的辅助力的示图。如同图9，图15示意性示出在内窥镜手术操作过程中患者的体腔内部的状态。此外，图16示意性示出能量设备3203与治疗部位之间的距离X与辅助力Y之间的关系。

如示出的，在本改进实例中，当能量设备3203与治疗部位之间的距离X等于或小于预定阈值thr时，在缩回方向上生成辅助力Y。此外，在能量设备3203与治疗部位之间的距离X变短时，辅助力Y生成为线性增加。当能量设备3203与治疗部位之间的距离短时，存在由能量设备3203执行治疗并且因此生成雾的高可能性。因此，通过根据如描述的距离X生成辅助力Y，当雾极有可能生成时，内镜医生在缩回方向上感到更强的辅助力，并且因此可更强烈地向内镜医生通知已产生镜筒3101应该缩回的情况，并且缩回操作可顺利执行。应注意，能量设备3203与治疗部位之间的距离X可使用类似于在上述(4-2-1.治疗仪器与治疗部位之间的距离)中描述的方法检测。

尽管以上已提供关于缩回操作的描述，但是臂控制设备3407在返回操作时驱动支撑臂设备3300以同样在返回方向上生成辅助力。

在此，在上述实施方式和改进实例中，在开始缩回操作之后且在结束返回操作之前的周期过程中，图像处理单元对捕获图像适当执行切开处理和电子缩放处理，并且因此显示设备3403的显示基本恒定。通常，内镜医生识别镜筒3101在体腔内部的位置，并且移动观看内窥镜3100拍摄的图像的镜筒3101。因此，如果显示设备3403上的显示基本恒定，则存在内镜医生难以操纵镜筒3101的担忧。

关于此，在除上述本改进实例以外的实施方式和改进实例中，可以说，缩回操作和返回操作自动执行而不是根据内镜医生的操纵执行。此外，缩回移动量和返回移动量基本被设为相同值，并且在缩回操作之后当满足返回条件时，镜筒3101返回至其原始位置。在实施方式和改进实例中，不假定缩回操作和返回操作根据内镜医生的操纵执行，并且即使执行缩回操作和返回操作，镜筒3101也在最后返回至其原始位置。因此，即使在开始缩回操作之后且在结束返回操作之前的周期内，显示设备3403的显示基本恒定，也被认为未产生显著问题。

另一方面，在本改进实例中，半自动地执行缩回操作和返回操作，即，根据内镜医生的操纵执行缩回操作和返回操作。因此，如果在缩回操作和返回操作过程中，显示设备3403的显示基本恒定，则存在内镜医生不能识别镜筒3101在体腔内部的位置并且难以执行用于缩回操作和返回操作的操纵的担忧。

因此，在本改进实例中，如图17所示，指示镜筒3101的前端与作为观察目标位置的器官231之间的当前距离的指示符229可叠加在显示图像上并且显示在显示屏227上。指示符229的显示控制可由CCU的图像处理单元执行。图17是示出镜筒3101的前端与显示屏上的观察目标位置之间的距离的显示的实例的示图。应注意，尽管在所示实例中，使用指示符229表示距离，但是更具体地，该距离可使用数值显示。

上面已描述半自动执行缩回操作和返回操作的改进实例。在此，如果在内镜医生直接操纵由通过力控制驱动的支撑臂设备3300保持的内窥镜3100时，执行上述所谓的自动缩回操作和返回操作，则存在相对强的力突然施加给内镜医生的可能性，其引起内镜医生的操纵能力劣化的担忧。另一方面，在本改进实例中，生成足够促进缩回操作和返回操作的相对弱的辅助力，并且因此，内镜医生的操纵仅是用于执行缩回操作和返回操作的主要手段。因此，当由通过力控制驱动的支持臂设备3300保持的内窥镜3100假定由内镜医生直接操纵时，执行根据本改进实例的这种半自动缩回操作和返回操作，并且因此不劣化内镜医生的操纵能力，缩回操作和返回操作可更顺利地执行。

应注意，在本改进实例中，在返回操作中向内镜医生通知镜筒3101返回至返回位置(即，缩回操作之前的原始位置)的功能可设置在图像处理系统中。针对这的原因是因为在从开始缩回操作到结束返回操作的周期过程中，保持显示设备3403的基本恒定的显示，在内镜医生在返回操作时将镜筒3101移动得接近观察目标位置时，内镜医生不能够识别镜筒3101的前端与观察目标位置之间的距离短。例如，即使上述指示符229叠加并显示，也难以直观识别镜筒3101的前端与观察目标位置之间的距离，并且因此优选地，进一步提供通知功能。

可使用各种方法中的任一种执行通知。例如，臂控制设备3407可生成脉动辅助力。此外，例如，CCU可使得显示屏显示除指示符229以外的任何类型的通知。此外，例如，当内镜医生在他或她的身体上穿戴HMD或任意可穿戴设备时，可穿戴设备可通过包括振动、语音、显示等的各种机制中的任一种执行通知。

(5.补充)

本领域技术人员应理解，根据设计要求和其他因素，可发生各种修改、组合、子组合和更改，只要它们落在所附权利要求或其等同物的范围内。

此外，本说明书中描述的效果仅仅是说明性或示例性的效果，并不是限制性的。即，利用或代替以上效果，基于本说明书的描述，根据本公开的技术可实现对于本领域技术人员清楚的其他效果。

例如，根据上述每个实施方式和每个改进实例的图像处理系统可应用至的内窥镜手术系统的配置不限于图1所示的实例。根据每个实施方式和每个改进实例的图像处理系统可应用于各种内窥镜系统。此外，根据每个实施方式和每个改进实例的图像处理系统的配置不限于图2、图6、图11和图13所示的实例。图像处理系统可整体执行上述处理，并且其配置可以是任意的。例如，构成图像处理系统的设备，具体地，CCU 3401、3401a、3401b和3401c以及臂控制设备3407的功能可各自通过单个设备或通过多个任意设备以协作方式实现。

此外，用于构成根据上述每个实施方式和每个改进实例的图像处理系统的设备的功能的计算机程序，具体地，CCU和臂控制设备的功能，可生成并安装在诸如PC的处理设备中。此外，也可提供存储这种计算机程序并且通过计算机可读的记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，计算机程序可经由例如网络分布，而不使用记录介质。

此外，上述每个实施方式和每个改进实例可具有的配置可组合应用在可能范围中。例如，在以上(4-2.缩回条件和返回条件的其他实例)中描述的缩回条件和返回条件中的一些可组合并设置。在该情况下，如果满足多个设置缩回条件中的任一个和多个设置返回条件中的任一个，则可分别执行缩回操作和返回操作。

此外，本技术也可如下配置。

(1)

一种图像处理设备，其包括：

电路，被配置为从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获期间移动的内窥镜，电路生成图像数据使得显示在显示设备上的对应图像的显示范围不实质改变。

(2)

根据(1)所述的图像处理设备，其中，电路被配置为从内窥镜的移动期间和移动之后获得的捕获图像的中心，将来自内窥镜的捕获图像剪切并放大预定的距离，并且在移动期间和移动之后生成图像数据。

(3)

根据(1)所述的图像处理设备，其中，由内窥镜捕获的图像是视频图像。

(4)

根据(1)所述的图像处理设备，其中，内窥镜在内窥镜的物镜的光轴方向上移动。

(5)

一种内窥镜手术系统，其包括：

图像处理设备，该图像处理设备包括电路，该电路被配置为从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获期间移动的内窥镜，电路生成图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变；以及

臂控制设备，其利用臂单元控制支撑内窥镜的支撑设备的驱动并且移动内窥镜的镜筒，

响应于满足预定的缩回条件，电路被配置为向臂控制设备发布执行缩回操作的指令以在缩回方向上移动镜筒，缩回方向是物镜的光轴方向，并且其中，镜筒远离观察目标位置移动，以及

响应于满足预定的返回条件，电路被配置为向臂控制设备发布执行返回操作的指令以在返回方向上移动镜筒，返回方向是物镜的光轴方向，并且其中，在满足预定的返回条件时镜筒接近观察目标位置。

(6)

根据(5)所述的内窥镜手术系统，其中，缩回条件是从捕获图像中检测到雾的生成，并且返回条件是从捕获图像中检测到雾的至少部分消失。

(7)

根据(6)所述的内窥镜手术系统，其中，当检测到雾的生成时，能量设备的前端被检测为存在于捕获图像中，并且在围绕所检测的能量设备的前端的预定范围中检测雾的生成。

(8)

根据(5)所述的内窥镜手术系统，其中，缩回条件是雾的存在区域占据捕获图像的第一预定比率或更大，并且返回条件是雾的存在区域占据捕获图像的第二预定比率或更小。

(9)

根据(5)所述的内窥镜手术系统，其中，缩回条件是治疗仪器与治疗部位之间的距离是第一预定阈值或更短，并且返回条件是治疗仪器与治疗部位之间的距离是第二预定阈值或更长。

(10)

根据(5)所述的内窥镜手术系统，其中，缩回条件是使能量设备通电，并且返回条件是能量设备的输出已经停止并且基于捕获图像检测到雾的至少部分消失。

(11)

根据(5)所述的内窥镜手术系统，其中，缩回条件是进行手术者执行利用能量设备的治疗的操纵，并且返回条件是进行手术者结束利用能量设备的治疗的操纵。

(12)

根据(5)所述的内窥镜手术系统，其中，缩回条件是基于捕获图像检测到治疗仪器的前端处的抓握机制已经抓握到部分生物组织，并且返回条件是基于捕获图像检测到治疗仪器的前端处的抓握机制已经释放部分生物组织并且基于捕获图像检测到雾的消失。

(13)

根据(5)所述的内窥镜手术系统，其中，缩回条件和返回条件包括检测用户发起的指令。

(14)

根据(5)所述的内窥镜手术系统，其中，缩回条件是内窥镜的前端与治疗仪器之间的距离是第一预定阈值或更短，并且返回条件是内窥镜的前端与治疗仪器之间的距离是第二预定阈值或更长。

(15)

根据(5)所述的内窥镜手术系统，其中，镜筒在返回操作时的移动量与镜筒在缩回操作时的移动量是相同值。

(16)

根据(5)所述的内窥镜手术系统，其中，镜筒在返回操作时的移动量是通过从镜筒的前端与雾没有模糊捕获图像的观察目标位置之间的距离中，减去镜筒的前端与紧接着检测到雾的生成之前的观察目标位置之间的距离而获得的值。

(17)

根据(5)所述的内窥镜手术系统，其中，在臂控制设备以协调方式控制构成臂单元的多个接头的旋转时，执行缩回操作和返回操作。

(18)

根据(5)所述的内窥镜手术系统，其中，

内窥镜以以下方式支撑：镜筒插入至设置在臂单元的前端处的圆柱形保持单元，

保持单元包括在拉伸方向上可移动地保持镜筒的滑块机制以及使得滑块机制操作且在拉伸方向上向镜筒施力的致动器，并且

当致动器使得滑块机制在臂控制设备的控制下操作时，执行缩回操作和返回操作。

(19)

根据(5)所述的内窥镜手术系统，其中，臂控制设备执行动力辅助控制以驱动臂单元辅助来自手术者的外力。

(20)

根据(19)所述的内窥镜手术系统，其中，臂控制设备驱动支撑臂设备以生成在缩回操作时促进镜筒在缩回方向上的移动操纵的辅助力，并且驱动支撑臂设备以生成在返回操作时激励镜筒在返回方向上的移动操纵的辅助力。

(21)

根据(19)所述的内窥镜手术系统，其中，电路处理图像数据以使得在缩回操作和返回操作时，镜筒的前端与观察目标位置之间的距离叠加并显示在显示图像上。

(22)

一种图像处理方法，其包括：

利用电路从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获过程中移动的内窥镜，电路生成图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变。

参考符号列表

1、1a、1b、2 图像处理系统

111 图像传感器

112 焦点调整机制

113 距离检测单元

121、121a、121b、121c 移动控制单元

122 图像处理单元

123 焦点控制单元

131 致动器驱动控制单元

141 致动器

3000 内窥镜手术系统

3100 内窥镜

3101 镜筒

3200 手术仪器

3203 能量设备

3300 支撑臂设备

3401 CCU

3403 显示设备

3407 臂控制设备

3409 输入设备。

Claims (22)

1.一种图像处理设备，其包括：

电路，被配置为从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获期间移动的所述内窥镜，所述电路生成所述图像数据使得显示在显示设备上的对应图像的显示范围不实质改变。

2.根据权利要求1所述的图像处理设备，其中，所述电路被配置为从所述内窥镜的所述移动期间和所述移动之后获得的捕获图像的中心，将来自所述内窥镜的捕获图像剪切并放大预定的距离，并且在所述移动期间和所述移动之后生成所述图像数据。

3.根据权利要求1所述的图像处理设备，其中，由所述内窥镜捕获的所述图像是视频图像。

4.根据权利要求1所述的图像处理设备，其中，所述内窥镜在所述内窥镜的物镜的光轴方向上移动。

5.一种内窥镜手术系统，其包括：

图像处理设备，所述图像处理设备包括电路，所述电路被配置为从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获期间移动的所述内窥镜，所述电路生成所述图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变；以及

臂控制设备，其利用臂单元控制支撑所述内窥镜的支撑设备的驱动并且移动所述内窥镜的镜筒，

响应于满足预定的缩回条件，所述电路被配置为向所述臂控制设备发布执行缩回操作的指令以在缩回方向上移动所述镜筒，所述缩回方向是物镜的光轴方向，并且其中，所述镜筒远离观察目标位置移动，以及

响应于满足预定的返回条件，所述电路被配置为向所述臂控制设备发布执行返回操作的指令以在返回方向上移动所述镜筒，所述返回方向是所述物镜的所述光轴方向，并且其中，在满足所述预定的返回条件时所述镜筒接近所述观察目标位置。

6.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是从捕获图像中检测到雾的生成，并且所述返回条件是从所述捕获图像中检测到所述雾的至少部分消失。

7.根据权利要求6所述的内窥镜手术系统，其中，当检测到所述雾的生成时，能量设备的前端被检测为存在于所述捕获图像中，并且在围绕所检测的所述能量设备的前端的预定范围中检测所述雾的生成。

8.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是雾的存在区域占据所述捕获图像的第一预定比率或更大，并且所述返回条件是所述雾的存在区域占据所述捕获图像的第二预定比率或更小。

9.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是治疗仪器与治疗部位之间的距离是第一预定阈值或更短，并且所述返回条件是所述治疗仪器与所述治疗部位之间的距离是第二预定阈值或更长。

10.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是使能量设备通电，并且所述返回条件是所述能量设备的输出已经停止并且基于捕获图像检测到雾的至少部分消失。

11.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是进行手术者执行利用能量设备的治疗的操纵，并且所述返回条件是进行所述手术者结束利用所述能量设备的所述治疗的操纵。

12.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是基于捕获图像检测到治疗仪器的前端处的抓握机制已经抓握到部分生物组织，并且所述返回条件是基于所述捕获图像检测到所述治疗仪器的所述前端处的所述抓握机制已经释放所述部分生物组织并且基于所述捕获图像检测到雾的消失。

13.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件和所述返回条件包括检测用户发起的指令。

14.根据权利要求5所述的内窥镜手术系统，其中，所述缩回条件是所述内窥镜的前端与治疗仪器之间的距离是第一预定阈值或更短，并且所述返回条件是所述内窥镜的所述前端与所述治疗仪器之间的所述距离是第二预定阈值或更长。

15.根据权利要求5所述的内窥镜手术系统，其中，所述镜筒在所述返回操作时的移动量与所述镜筒在所述缩回操作时的移动量是相同值。

16.根据权利要求5所述的内窥镜手术系统，其中，所述镜筒在所述返回操作时的移动量是通过从所述镜筒的前端与所述雾没有模糊捕获图像的观察目标位置之间的距离中，减去所述镜筒的所述前端与紧接着检测到雾的生成之前的观察目标位置之间的距离而获得的值。

17.根据权利要求5所述的内窥镜手术系统，其中，在所述臂控制设备以协调方式控制构成所述臂单元的多个接头的旋转时，执行所述缩回操作和所述返回操作。

18.根据权利要求5所述的内窥镜手术系统，其中，

所述内窥镜以以下方式支撑：所述镜筒插入至设置在所述臂单元的前端处的圆柱形保持单元，

所述保持单元包括在拉伸方向上可移动地保持所述镜筒的滑块机制以及使得所述滑块机制操作且在所述拉伸方向上向所述镜筒施力的致动器，并且

当所述致动器使得所述滑块机制在所述臂控制设备的控制下操作时，执行所述缩回操作和所述返回操作。

19.根据权利要求5所述的内窥镜手术系统，其中，所述臂控制设备执行动力辅助控制以驱动所述臂单元辅助来自手术者的外力。

20.根据权利要求19所述的内窥镜手术系统，其中，所述臂控制设备驱动支撑臂设备以生成在所述缩回操作时促进所述镜筒在所述缩回方向上的移动操纵的辅助力，并且驱动所述支撑臂设备以生成在所述返回操作时激励所述镜筒在所述返回方向上的移动操纵的辅助力。

21.根据权利要求19所述的内窥镜手术系统，其中，所述电路处理所述图像数据以使得在所述缩回操作和所述返回操作时，所述镜筒的前端与观察目标位置之间的距离叠加并显示在所述显示图像上。

22.一种图像处理方法，其包括：

利用电路从由内窥镜捕获的患者体内的图像生成图像数据，并且响应于在图像捕获期间移动的所述内窥镜，所述电路生成所述图像数据使得显示在外部显示设备上的对应图像的显示范围基本不改变。