CN113613540A - 图像处理系统、图像处理装置和图像处理方法 - Google Patents

Abstract

一种内窥镜系统包括电路，该电路被配置为在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个评估区域中的相邻区域在空间上彼此分离，计算多个评估区域中的每一个的评估值，比较多个评估区域的评估值，以及根据比较的结果调整对内窥镜图像的图像处理。

Description

图像处理系统、图像处理装置和图像处理方法

技术领域

本公开涉及图像处理系统、图像处理装置和图像处理方法，并且更具体地，涉及能够以较少的计算量确定镜体的类型的图像处理系统、图像处理装置和图像处理方法。

<相关申请的交叉引用>

本申请要求于2019年3月29日提交的日本优先权专利申请JP2019-065381的权益，其全部内容通过引用并入本文。

背景技术

通常，外科内窥镜使用与镜体连接的照相机头，并将镜体插入到患者体内，由此观察手术区域。

镜体是可拆卸的，并且从多种类型的镜体中选择要使用的镜体。机械渐晕和其他成像特性根据镜体的类型而不同。由于后续的图像处理要根据镜体类型来调整，因此需要一种用于确定镜体类型的方法。

例如，专利文献1公开了一种用于确定镜体类型的方法。

[引用列表]

[专利文献]

专利文献1：JP 2004-33487A

发明内容

[技术问题]

然而，如专利文献1中所公开的，确定镜体类型需要检测图像中的所有直边，这使用了大量的计算。因此，需要一种以较少计算来确定镜体类型的方法。

本公开是鉴于这种情况而完成的，并且能够以较小的计算量确定镜体类型。

[问题的解决方案]

本公开的一个方面的图像处理系统是一种图像处理系统，包括控制单元，该控制单元设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，计算关于设置的相应的多个评估帧的评估值，并基于计算的评估值之间的关系来估计镜体的类型。

本公开的一个方面的图像处理装置是一种图像处理装置，包括控制单元，该控制单元设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，计算关于设置的相应的多个评估帧的评估值，并基于计算的评估值之间的关系执行与镜体的类型相对应的信号处理。

本公开的一个方面的图像处理方法是一种图像处理方法，包括：通过图像处理装置，设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，计算关于设置的相应的多个评估帧的评估值，并基于计算的评估值之间的关系执行与镜体的类型相对应的信号处理。

在本公开的一个方面的图像处理系统、图像处理装置和图像处理方法中，设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，计算关于设置的相应的多个评估帧的评估值，并基于计算的评估值之间的关系来估计镜体的类型。

注意，本公开的一个方面的图像处理装置可以是独立装置或构成一个装置的内部块。

附图说明

[图1]图1是示出应用了根据本公开的技术的图像处理系统的示意性配置的示例的示图。

[图2]图2是示出内窥镜的配置的示例的示图。

[图3]图3是示出照相机头和CCU的功能配置的示例的框图。

[图4]图4是示出内窥镜图像的第一示例的示图。

[图5]图5是示出内窥镜图像的第二示例的示图。

[图6]图6是说明第一处理的流程的流程图。

[图7]图7是示出在第一处理中设置的多个评估帧的示例的示图。

[图8]图8是说明第二处理的流程的流程图。

[图9]图9是示出在第二处理中设置的多个评估帧的示例的示图。

[图10]图10是说明第三处理的流程的流程图。

[图11]图11是示出在第三处理中设置的多个评估帧的示例的示图。

[图12]图12是说明第四处理的流程的流程图。

[图13]图13是说明第四处理的流程的流程图。

[图14]图14是示出在第四处理中设置的多个评估帧的示例的示图。

[图15]图15是说明第五处理的流程的流程图。

[图16]图16是说明第五处理的流程的流程图。

[图17]图17是示出在第五处理中的多个评估帧的示例的示图。

[图18]图18是说明确定处理的流程的流程图。

[图19]图19是示出评估帧的坐标系的示例的示图。

[图20]图20是示出计算机的配置的示例的示图。

具体实施方式

以下，将参考附图描述根据本公开的技术(本技术)的实施例。请注意，描述将按以下顺序进行。

1.本技术的实施例

2.修改

3.计算机的配置

<1.本技术的实施例>

(系统的概述)

首先，将描述可应用根据本公开的技术的系统的概述。图1示出了应用了根据本公开的技术的图像处理系统的示意性配置的示例。

图1示出了操作者(外科医生)3通过使用内窥镜手术系统1在病床2上对患者4执行手术的状态。在图1中，内窥镜手术系统1包括：内窥镜10；其它手术工具20，诸如气腹管21、能量处理工具22和钳子23；支撑内窥镜10的支撑臂装置30；以及安装有用于内窥镜手术的各种装置的推车50。

内窥镜10包括镜体101，从距远端预定长度的区域插入到患者4的体腔内，以及连接到镜体101的近端的照相机头102。注意，图1示出了被配置为包括刚性镜体101的所谓刚性镜体的内窥镜10，但是内窥镜10可以被配置为包括柔性镜筒的所谓柔性镜体。

在镜体101的远端，设置有开口，物镜装配到该开口中。光源装置53连接到内窥镜10，并且由光源装置53生成的光(照射光)通过在镜体101内部延伸的光导被引导到镜筒的远端，并且光经由物镜朝着患者4的体腔中的观察目标发射。注意，内窥镜10可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在照相机头102的内部，来自观察目标的反射光(观察光)通过光学系统聚焦在成像元件上。成像元件对观察光进行光电转换以生成对应于被摄体图像的图像信号。图像信号作为RAW数据(RAW图像)被发送到照相机控制单元(CCU)51。

CCU 51包括处理器，例如中央处理单元(CPU)、图形处理单元(GPU)等，并全面控制内窥镜10和显示装置52的操作。此外，CCU 51从照相机头102接收图像信号，并对图像信号执行各种类型的图像处理，例如显影处理(去马赛克处理)等，以基于图像信号显示观察图像(显示图像)。

显示装置52根据来自CCU 51的控制，基于经受通过CCU 51的图像处理的图像信号来显示显示图像。

光源装置53包括光源，例如发光二极管(LED)等，并向内窥镜10提供用于对手术部分等成像的照射光。

输入装置54是内窥镜手术系统1的输入接口。用户可以经由输入装置54向内窥镜手术系统1输入各种类型的信息和指令。例如，用户输入用于改变内窥镜10的成像条件(照射光的类型、放大率、焦距等)的指令等。

处理工具控制装置55控制能量处理工具22的驱动，用于组织的烧灼、切开、血管的封闭等。气腹装置56经由气腹管21将气体注入到体腔中，使患者4的体腔充气，以确保内窥镜10的视野和操作者的工作空间。

记录器57是能够记录关于手术的各种类型的信息的装置。打印机58是能够以诸如文本、图像、图形等的各种格式打印关于手术的各种类型的信息的装置。

(内窥镜的详细配置)

图2示出了图1的内窥镜10的详细配置的示例。

在图2中，内窥镜10包括镜体101和照相机头102。此外，在内窥镜10中，镜体101经由光导121连接到光源装置53，并且照相机头102经由传输电缆122连接到CCU 51。此外，CCU51经由传输电缆123连接到显示装置52，并且经由传输电缆124连接到光源装置53。

镜体101被配置为刚性镜体。换句话说，镜体101是刚性的或至少部分柔软的并且具有细长形状的插入部分(镜筒)，并且插入到患者4的体腔中。在镜体101中，提供了通过使用一个或多个透镜来配置并聚焦被摄体图像的光学系统。

光源装置53连接到光导121的一端，并且根据CCU 51的控制向光导121的一端提供用于照亮体腔内部的照射光。光导121的一端可拆卸地连接到光源装置53，并且另一端可拆卸地连接到镜体101。

然后，光导121将从光源装置53提供的照射光从一端发送到另一端，并将光提供给镜体101。提供给镜体101的照射光从镜体101的远端发射，并发射到体腔中。发射到体腔并在体腔中反射的观察光(被摄体图像)被在镜体101中的光学系统聚焦。

照相机头102可拆卸地连接到镜体101的近端(目镜111)。然后，照相机头102根据CCU 51的控制捕获由镜体101聚焦的观察光(被摄体图像)，并输出作为结果获得的图像信号(RAW数据)。图像信号例如是对应于4K分辨率(例如，3840×2160像素)的图像信号。注意，稍后将参考图3描述照相机头102的详细配置。

传输电缆122的一端经由连接器131可拆卸地连接到照相机头102，另一端经由连接器132可拆卸地连接到CCU 51。然后，传输电缆122将从照相机头102输出的图像信号等发送到CCU 51，并将从CCU 51输出的控制信号、同步信号、功率等中的每一个发送到照相机头102。

注意，在经由传输电缆122从照相机头102向CCU 51传输图像信号等时，图像信号等可以作为光学信号发送，或者可以作为电信号发送。这同样适用于经由传输电缆122从CCU 51到照相机头102的控制信号、同步信号和时钟。此外，照相机头102和CCU 51之间的通信不限于使用传输电缆122的有线通信，并且可以按照预定的通信方案执行无线通信。

显示装置52根据来自CCU 51的控制，基于来自CCU 51的图像信号来显示显示图像，并根据来自CCU 51的控制信号来输出声音。

传输电缆123的一端可拆卸地连接到显示装置52，另一端可拆卸地连接到CCU 51。然后，传输电缆123将由CCU 51处理的图像信号和从CCU 51输出的控制信号发送到显示装置52。

CCU 51包括CPU等，并全面控制光源装置53、照相机头102和显示装置52的操作。注意，CCU 51的详细配置将在后面参考图3描述。

传输电缆124的一端可拆卸地连接到光源装置53，另一端可拆卸地连接到CCU 51。然后，传输电缆124将控制信号从CCU 51发送到光源装置53。

(照相机头和CCU的详细配置)

图3是示出图1和图2所示的照相机头102和CCU 51的功能配置的示例的框图。

照相机头102包括透镜单元151、成像单元152、驱动单元153、通信单元154和照相机头控制单元155。照相机头102和CCU 51通过传输电缆122可通信地相互连接。

透镜单元151是设置在与镜体101的连接部分处的光学系统。从镜体101的远端采集的观察光被引导到照相机头102，并且入射到透镜单元151上。透镜单元151包括多个透镜，例如变焦透镜、聚焦透镜等。

成像单元152包括成像元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合装置(CCD)图像传感器等。构成成像单元152的成像元件可以是一个(所谓的单板类型)元件，或者多个(所谓的多板类型)元件。例如，在成像单元152包括多板类型的情况下，可以由相应的成像元件生成分别对应于R、G和B的图像信号，并且可以通过合成图像信号来获得彩色图像。

或者，成像单元152可以包括一对成像元件，用于分别获取对应于三维(3D)显示的右眼和左眼图像信号。执行3D显示，由此操作者3可以更准确地确定手术部分中的活体组织的深度。注意，在成像单元152包括多板类型的情况下，可以对应于相应的成像元件提供透镜单元151的多个系统。

此外，成像单元152不一定必须设置在照相机头102中。例如，成像单元152可以紧接在物镜之后、在镜体101内部设置。

驱动单元153包括致动器等，并且通过来自照相机头控制单元155的控制，将包括在透镜单元151中的多个透镜中的一个或多个沿着光轴移动预定距离。结果，可以适当地调整由成像单元152捕获的图像的放大率和焦点。

通信单元154包括用于向CCU 51发送/从CCU 51接收各种类型的信息的通信装置。通信单元154经由传输电缆122将从成像单元152获得的图像信号作为RAW数据发送到CCU51。

此外，通信单元154从CCU 51接收用于控制照相机头102的驱动的控制信号，并将该控制信号提供给照相机头控制单元155。控制信号包括例如关于成像条件的信息，诸如指定图像的帧速率的信息、指定成像时的曝光值的信息、或指定图像的放大率和焦点的信息。

注意，诸如帧速率、曝光值、放大率和焦点的成像条件可以由用户适当地指定，或者由CCU 51的控制单元161基于获取的图像信号自动设置。即，在后一种情况下，在内窥镜10中安装所谓的自动曝光(AE)、自动聚焦(AF)和自动白平衡(AWB)功能。

照相机头控制单元155基于经由通信单元154接收的来自CCU 51的控制信号来控制照相机头102的驱动。

CCU 51是包括控制单元161、通信单元162和图像处理单元163的图像处理装置。

控制单元161执行关于通过内窥镜10对手术部分等的成像和通过手术部分等的成像获得的内窥镜图像(医学图像)的显示的各种类型的控制。例如，控制单元161生成用于控制照相机头102的驱动的控制信号。

此外，控制单元161基于经受由图像处理单元163的图像处理的图像信号，使显示装置52显示手术部分等的显示图像(内窥镜图像)。此时，控制单元161可以通过使用各种图像识别技术来识别图像中的各种对象。

例如，控制单元161检测包括在图像中的对象的颜色、边缘的形状等，从而能够识别诸如钳子的手术工具、特定的身体部位、出血、使用能量处理工具22时的雾(mist)等。当使显示装置52显示图像时，控制单元161可以通过使用识别结果使各种类型的手术辅助信息叠加并显示在手术部分的图像上。手术辅助信息被叠加和显示，并呈现给操作者3，由此可以减轻操作者3的负担，并且操作者3可以可靠地执行手术。

通信单元162包括用于向/从照相机头102发送/接收各种类型的信息的通信装置。通信单元162接收经由传输电缆122从照相机头102发送的图像信号。

此外，通信单元162将用于控制照相机头102的驱动的控制信号发送到照相机头102。图像信号和控制信号可以通过电通信、光通信等发送。

图像处理单元163对包括从照相机头102发送的RAW数据的图像信号执行各种类型的图像处理。

此外，控制单元161包括评估帧设置单元171、评估值计算单元172、评估值确定单元173、评估结果设置单元174和类型估计单元175。

评估帧设置单元171针对与图像信号(RAW数据)相对应的内窥镜图像(RAW图像)设置以预定间隔布置的多个评估帧或评估区域。这里，每个评估帧是针对与具有预定阵列图案(例如，拜耳阵列)的成像元件的成像表面相对应的区域(RAW图像的区域)任意设置的区域，并且每个评估帧可以是例如用于获取诸如关于亮度的信息(亮度信息)的评估值的帧。

评估值计算单元172计算关于由评估帧设置单元171设置的相应的多个评估帧的评估值。作为评估值，例如，计算每个评估帧中的亮度信息(亮度值)。注意，评估值不限于亮度值，并且可以是例如表示包括在评估帧中的边缘、黑色区域等的定量值(例如，诸如边缘量或黑色区域量的特征值)。

评估值确定单元173确定由评估值计算单元172计算的相应的多个评估帧的评估值之间的关系(相关性)。这里，例如，确定分别对应于相邻布置或以恒定间隔布置的评估帧的评估值之间的关系。

评估结果设置单元174根据由评估值确定单元173确定的评估值之间的关系执行关于评估结果的设置。

类型估计单元175基于由评估值确定单元173确定的评估值之间的关系来估计内窥镜10的镜体101的镜体类型。例如，根据评估值之间的关系，可以通过检测作为其中由于镜体101而发生机械渐晕的黑色区域(以下也称为掩模区域)与被摄体图像的区域(其中不发生机械渐晕的有效区域)之间的边界的掩模边缘来估计镜体101的镜体类型。

镜体101的类型被定义，例如，镜体101的直径或形状。由于被摄体图像的区域的尺寸由镜体101的类型确定，所以如果预先记录被摄体图像的区域的尺寸和镜体101的类型之间的相关性，则可以从被摄体图像的尺寸获得镜体101的类型。

注意，例如，根据镜体101的类型，存在被摄体图像的区域不是圆形，而是矩形或八边形的情况。在区域不是圆形的情况下，例如，可以使用使被摄体图像的区域的垂直或水平方向上的长度最大的直线的长度作为镜体101的直径。此外，可以与镜体101的直径一起估计镜体101的中央位置。

另外，如上所述，在内窥镜10中，将与照相机头102连接的镜体101插入到患者4的体腔中，由此操作者3观察手术区域。

例如，图4示出了与通过照相机头102对由镜体101聚焦的被摄体图像进行成像而获得的图像信号相对应的内窥镜图像200的示例。在内窥镜图像200中，左黑色区域和右黑色区域各自表示其中发生机械渐晕的掩模区域，并且被摄体图像的区域和掩模区域(黑色区域)之间的边界是掩模边缘220。

换句话说，在内窥镜10中，具有细长形状的镜体101被附接，并且由镜体101聚焦的被摄体图像和照相机头102的(成像单元152的)成像元件的成像表面的形状彼此不匹配，从而由于镜体101而发生机械渐晕。

注意，内窥镜图像200通过经受各种类型的图像处理而由显示装置52显示为显示图像。例如，如图5所示，操作者3可以在实时观看显示图像的同时，通过使用诸如能量处理工具22的手术工具20来执行诸如切除患部的处理。

这里，在内窥镜10中，镜体101是可拆卸的，并且要使用的镜体101是从多种类型的镜体中选择的。此时，机械渐晕和光学成像特性取决于使用的镜体101的镜体类型而不同。由于随后的图像处理取决于镜体101的镜体类型来调整，因此需要一种用于确定使用的镜体101的镜体类型的方法。

例如，对被摄体图像的区域执行关于AF、AE等的信号处理，并且当执行包括掩模区域的聚焦或曝光时出现各种问题，因此需要确定使用的镜体101的镜体类型。

如上所述，专利文献1要求检测图像中的所有直边以确定镜体类型，使得计算量增加。因此，需要一种方法用于以较小的计算量确定使用的镜体101的类型。

因此，在本技术中，设计了一种用于解决这样的问题并以较小的计算量确定使用的镜体101的类型的方法。以下，将参考附图描述本技术的细节。

注意，在内窥镜手术系统1(的CCU 51)中，由于第一处理至第五处理和确定处理作为用于确定使用的镜体101的类型的处理而执行，因此将按顺序描述这些类型的处理。此外，也在下面的描述中，将对应于照相机头102的成像元件的成像表面的图像称为内窥镜图像。

(第一处理的流程)

首先，将参考图6的流程图来描述由CCU 51执行的第一处理的流程。

在步骤S10中，评估帧设置单元171针对与来自照相机头102的图像信号相对应的图像(RAW图像)设置多个评估帧。在评估帧的设置中，如图7所示，在内窥镜图像200的中央部分和四个周边角处分别设置评估帧210。

具体地，在内窥镜图像200中，在中央部分处设置矩形评估帧210-0(以下也简称为帧0)，并且在左上、左下、右上和右下的四个角处设置评估帧210-1、评估帧210-2、评估帧210-3和评估帧210-4的矩形评估帧(以下也简称为帧1、帧2、帧3和帧4)。

然而，评估帧210-1至210-4的矩形的尺寸小于评估帧210-0的矩形的尺寸。

此外，在图7中，以近似重心为中心的具有不同直径的四个圆被指示以叠加在内窥镜图像200上，这些圆分别对应于掩模边缘220，每个都是被摄体图像区域与掩模区域之间的边界。

换句话说，内窥镜10中使用的镜体101的直径对应于内窥镜图像200中的掩模边缘220，并且由于在设计上预先已知内窥镜图像200中假设检测到掩模边缘220的位置，因此，这里，设置评估帧210-0至210-4以确定是否包括掩模区域。

注意，在下面的描述中，假设四种类型作为使用的镜体101的类型，并且假设作为每个掩模边缘220的掩模类型，为掩模边缘220-1分配“TYPE1”，为掩模边缘220-2分配“TYPE2”，为掩模边缘220-3分配“TYPE3”，以及为掩模边缘220-4分配“TYPE4”。

返回到图6的描述，在步骤S11中，评估值计算单元172计算与图7所示的中央处的帧0和四个周边角处的帧1至帧4相对应的评估值。作为评估值，例如，可以使用从内窥镜图像200获得的特征值，例如亮度值。

注意，在步骤S11的处理中，为了便于说明，一次计算关于相应的多个评估帧210的评估值，但是对于后述的确定处理步骤(S12、S14、S15、S16)中的每一个，可以顺序计算关于目标评估帧210的评估值。评估值的计算方法在第二处理中类似于后面描述的第五处理。

在步骤S12中，评估值确定单元173基于每个帧的评估值的计算结果，确定四个周边角处的帧1至帧4中的至少一个的评估值是否大于中央处的帧0的评估值。

在步骤S12的确定处理中确定四个周边角处的帧1至帧4的评估值大于中央处的帧0的评估值的情况下，换句话说，内窥镜图像200的中央部分是暗的而周边部分是亮的，处理进行到步骤S13。然后，在步骤S13中，评估结果设置单元174将掩模类型设置为“无刚性镜体”。

此外，在步骤S12的确定处理中确定四个周边角处的帧1至帧4的评估值小于中央处的帧0的评估值的情况下，处理进行到步骤S14。在步骤S14中，评估值确定单元173基于目标帧的评估值的计算结果，确定四个周边角处的帧1至帧4中的至少一个评估值是否超过预定阈值(第一阈值)。

在步骤S14的确定处理中确定四个周边角处的帧1至帧4的评估值超过预定阈值的情况下，换句话说，整个图像是明亮的，处理进行到步骤S13，并且将“无刚性镜体”设置为掩模类型。

此外，在步骤S14的确定处理中确定四个周边角处的帧1至帧4的评估值小于或等于预定阈值的情况下，处理进行到步骤S15。在步骤S15中，评估值确定单元173基于目标帧的评估值的计算结果，确定中央处的帧0的评估值是否小于或等于预定阈值(第二阈值)。

在步骤S15的确定处理中确定中央处的帧0的评估值小于或等于阈值的情况下，换句话说，内窥镜图像200总体反映黑色图像，处理进行到步骤S13，并且将“无刚性镜体”设置为掩模类型。

此外，在步骤S15的确定处理中确定中央处的帧0的评估值超过预定阈值的情况下，处理进行到步骤S16。在步骤S16中，评估值确定单元173基于目标帧的评估值的计算结果，确定中央处的帧0与四个周边角处的帧1至帧4之间的亮度差是否小于或等于预定阈值(第三阈值)。

在步骤S16的确定处理中确定亮度差小于或等于预定阈值的情况下，处理进行到步骤S13，并且将“无刚性镜体”设置为掩模类型。

注意，在步骤S12、S14、S15和S16的确定处理中确定为肯定(“是”)的情况下，将“无刚性镜体”设置为掩模类型(S13)，并且处理进行到步骤S17。然后，在步骤S17中，评估结果设置单元174将识别结果设置为“暂停中”。此后，处理返回到步骤S10，并且重复上述第一处理。

此外，在步骤S16的确定处理中确定亮度差超过预定阈值的情况下，处理进行到步骤S18。在步骤S18中，评估结果设置单元174将识别结果设置为“识别成功”。此后，在CCU 51中，在第一处理之后执行第二处理。注意，第二处理的细节将在后面参考图8等描述。

上面已经描述了第一处理的流程。在第一处理中，如图7所示，将中央处的帧0和四个周边角处的帧1至帧4设置为内窥镜图像200的评估帧210，并且基于关于相应的评估帧210的评估值之间的关系(相关性)来确定内窥镜图像200是否包括掩模区域。然后，在不包括掩模区域的情况下重复第一处理，在包括掩模区域的情况下执行第二处理。

(第二处理的流程)

接下来，将参考图8的流程图来描述由CCU 51执行的第二处理的流程。

在步骤S30中，评估帧设置单元171为与来自照相机头102的图像信号相对应的图像设置多个评估帧。在评估帧的设置中，如图9所示，评估帧210分别设置在内窥镜图像200的中央部分和水平方向(X方向)上的部分处。

具体地，在内窥镜图像200中，在包括近似重心的中央部分处设置矩形评估帧210-4(以下称为评估帧4)。

此外，在水平方向的左侧以预定间隔设置矩形评估帧210-0至210-3(以下也简称为评估帧0、评估帧1、评估帧2和评估帧3)，在水平方向的右侧以预定间隔设置矩形评估帧210-5至210-8(以下也简称为评估帧5、评估帧6、评估帧7和评估帧8)，以关于内窥镜图像200的中央部分(包括在内窥镜图像200的中央部分中的近似重心)基本对称。

然而，以预定间隔离散地布置在中央部分的左侧和右侧上的评估帧210-0至210-3和评估帧210-5至210-8的矩形的尺寸小于评估帧210-4的矩形的尺寸。注意，在本公开中，“离散地”意味着多个评估帧210不是连续地布置的。

在图9中，为了确定哪个(掩模类型的)掩模边缘220对应于使用的镜体101的直径，在掩模边缘220-1至220-4中，在内窥镜图像200中的水平方向上以预定间隔离散地设置评估帧0至评估帧8。

具体地，例如，由于在设计上已知检测到掩模边缘220-1的位置，所以设置评估帧0和评估帧1以及评估帧7和评估帧8，使得掩模边缘220-1的检测位置在评估帧210之间。

类似地，评估帧被设置为使得掩模边缘220-2的检测位置在评估帧1和评估帧2之间以及评估帧6和评估帧7之间，掩模边缘220-3的检测位置在评估帧2和评估帧3之间以及评估帧5和评估帧6之间，并且掩模边缘220-4的检测位置在评估帧3和评估帧4之间以及评估帧4和评估帧5之间。

返回到图8的描述，在步骤S31中，评估值计算单元172计算与图9所示的评估帧0至评估帧8相对应的评估值。作为评估值，例如，可以使用从内窥镜图像200获得的特征值，诸如亮度值。

在步骤S32中，评估值确定单元173基于评估帧0和评估帧1与评估帧7和评估帧8的评估值的计算结果，确定评估帧0和评估帧1之间是否存在边缘，以及评估帧7和评估帧8之间是否存在边缘。

这里，例如，将从评估帧0获得的亮度值与从评估帧1获得的亮度值之间的差值、从评估帧7获得的亮度值与从评估帧8获得的亮度值之间的差值分别与预定阈值(第四阈值)进行比较，并确定这些亮度差是否超过预定阈值，由此可以确定在这些评估帧210之间是否存在边缘(掩模边缘220-1)。

在步骤S32的确定处理中确定为肯定(“是”)的情况下，处理进行到步骤S33。在步骤S33中，评估结果设置单元174将掩模类型设置为“TYPE1”。

此外，在步骤S32的确定处理中确定为否定(“否”)的情况下，处理进行到步骤S34。在步骤S34中，评估值确定单元173基于评估帧1和评估帧2以及评估帧6和评估帧7的评估值的计算结果，确定评估帧1和评估帧2之间是否存在边缘，以及评估帧6和评估帧7之间是否存在边缘。

在步骤S34的确定处理中确定为肯定的情况下，处理进行到步骤S35。在步骤S35中，评估结果设置单元174将掩模类型设置为“TYPE2”。

此外，在步骤S34的确定处理中确定为否定的情况下，处理进行到步骤S36。在步骤S36中，评估值确定单元173基于评估帧2和评估帧3以及评估帧5和评估帧6的评估值的计算结果，确定评估帧2和评估帧3之间是否存在边缘，以及评估帧5和评估帧6之间是否存在边缘。

在步骤S36的确定处理中确定为肯定的情况下，处理进行到步骤S37。在步骤S37中，评估结果设置单元174将掩模类型设置为“TYPE3”。

此外，在步骤S36的确定处理中确定为否定的情况下，处理进行到步骤S38。在步骤S38中，评估值确定单元173基于评估帧3和评估帧4与评估帧4和评估帧5的评估值的计算结果，确定评估帧3和评估帧4之间是否存在边缘，以及评估帧4和评估帧5之间是否存在边缘。

在步骤S38的确定处理中确定为肯定的情况下，处理进行到步骤S39。在步骤S39中，评估结果设置单元174将掩模类型设置为“TYPE4”。

注意，在步骤S32、S34、S36和S38的确定处理中确定为肯定的情况下，将“TYPE1”、“TYPE2”、“TYPE3”和“TYPE4”分别设置为掩模类型(S33、S35、S37和S39)，并且处理进行到步骤S40。

然后，在步骤S40中，评估结果设置单元174将识别结果设置为“识别成功”。此后，在CCU 51中，在第二处理之后执行第三处理。注意，第三处理的细节将在后面参考图10等描述。

此外，在步骤S38的确定处理中确定为否定的情况下，处理进行到步骤S41。然后，评估结果设置单元174将掩模类型设置为“无刚性镜体”(S41)，并将识别结果设置为“暂停中”(S42)。此后，处理返回到图6的步骤S10，并执行上述第一处理。

上面已经描述了第二处理的流程。在第二处理中，如图9所示，在内窥镜图像200的水平方向上以预定间隔离散地布置评估帧210-0至210-8，并且基于关于相应的评估帧210的评估值之间的关系(相关性)来设置取决于边缘位置的掩模类型。然后，在未检测到与评估帧210相对应的边缘的情况下重复第一处理，在检测到与评估帧210相对应的边缘的情况下执行第三处理。

(第三处理的流程)

接下来，将参考图10的流程图来描述由CCU 51执行的第三处理的流程。

在步骤S50中，评估结果设置单元174确定在第二处理中掩模类型是否被设置为“TYPE3”或“TYPE4”。换言之，在该示例中，由于“TYPE1”和“TYPE2”的掩模边缘220-1和220-2的垂直方向上的检测位置位于内窥镜图像200的外部，因此排除关于掩模边缘220-1和220-2的处理。

在步骤S50的确定处理中确定为肯定的情况下，处理进行到步骤S51。在步骤S51中，评估帧设置单元171为与来自照相机头102的图像信号相对应的图像设置多个评估帧。

在评估帧的设置中，如图11所示，在内窥镜图像200的中央部分和垂直方向(Y方向)上的部分分别设置评估帧210。具体地，在内窥镜图像200中，在包括近似重心的中央部分处设置矩形评估帧210-4(以下被称为评估帧4)。

此外，在垂直方向的上侧以预定间隔设置矩形评估帧210-0、210-1(以下也简称为评估帧0、评估帧1)，在垂直方向的下侧以预定间隔设置矩形评估帧210-2、210-3(以下也简称为评估帧2、评估帧3)，以关于内窥镜图像200的中央部分(包括在其中的近似重心)基本对称。

然而，以预定间隔离散地布置在中央部分的上侧和下侧的评估帧210-0和210-1以及评估帧210-2和210-3的矩形的尺寸小于评估帧210-4的矩形的尺寸。

在图11中，为了确定哪个(掩模类型的)掩模边缘220对应于使用的镜体101的直径，在掩模边缘220-3和220-4中，在内窥镜图像200中沿垂直方向以预定间隔离散地设置评估帧210-0至210-3。

具体地，设置评估帧使得掩模边缘220-3的检测位置在评估帧0和评估帧1之间以及评估帧2和评估帧3之间，并且掩模边缘220-4的检测位置在评估帧1和评估帧4之间以及评估帧2和评估帧4之间。

返回到图10的描述，在步骤S52中，评估值计算单元172计算与图11所示的评估帧0至评估帧4相对应的评估值。作为评估值，例如，可以使用从内窥镜图像200获得的特征值，例如亮度值。

在步骤S53中，评估值确定单元173基于评估帧0和评估帧1与评估帧2和评估帧3的评估值的计算结果，确定评估帧0和评估帧1之间是否存在边缘，以及评估帧2和评估帧3之间是否存在边缘。

这里，例如，将从评估帧0获得的亮度值与从评估帧1获得的亮度值之间的差值、从评估帧2获得的亮度值与从评估帧3获得的亮度值之间的差值分别与预定阈值(第五阈值)进行比较，并确定这些亮度差是否超过预定阈值，由此可以确定在这些评估帧210之间是否存在边缘(掩模边缘220-3)。

在步骤S53的确定处理中确定为肯定的情况下，处理进行到步骤S54。在步骤S54中，评估结果设置单元174将在第二处理中确定的掩模类型设置为“TYPE3”。

此外，在步骤S53的确定处理中确定为否定的情况下，处理进行到步骤S55。在步骤S55中，评估值确定单元173基于评估帧1和评估帧4以及评估帧2和评估帧4的评估值的计算结果，确定评估帧1和评估帧4之间是否存在边缘，以及评估帧2和评估帧4之间是否存在边缘。

在步骤S55的确定处理中确定为肯定的情况下，处理进行到步骤S56。在步骤S56中，评估结果设置单元174将在第二处理中确定的掩模类型设置为“TYPE4”。

当步骤S54或S56的处理结束时，处理进行到步骤S57。然后，在步骤S57中，评估结果设置单元174将识别结果设置为“识别成功”。

在步骤S58中，评估结果设置单元174确定是否将在第二处理中确定的掩模类型设置为“TYPE4”，以及是否将在第三处理中确定的掩模类型设置为“TYPE3”。

在步骤S58的确定处理中确定为肯定的情况下，处理进行到步骤S59。在步骤S59中，评估结果设置单元174将掩模类型设置为“TYPE4”。换句话说，在这种情况下，假设例如由于漏光而检测到在垂直方向上的掩模直径较大，则采用第二处理中在水平方向上检测到的掩模直径。如上所述，选择和确定较窄的掩模直径，从而例如在执行后续处理时可以更可靠地防止包括黑色区域。

此外，在步骤S58的确定处理中确定为否定的情况下，处理进行到步骤S60。在步骤S60中，评估值确定单元173确定是否将在第二处理中确定的掩模类型设置为“TYPE3”，并且将在第三处理中确定的掩模类型设置为“TYPE4”。

在步骤S60的确定处理中确定为肯定的情况下，处理进行到步骤S61。在步骤S61中，评估结果设置单元174将掩模类型设置为“TYPE4”。换言之，在这种情况下，假设例如由于漏光而检测到在水平方向上的掩模直径较大，则采用第三处理中在垂直方向上检测到的掩模直径，从而更可靠地防止包括黑色区域。

在步骤S59或S61的处理结束，或者在步骤S60的确定处理中确定为否定的情况下，处理进行到步骤S62。此外，在上述步骤S50的确定处理中确定为否定的情况下，处理进行到步骤S62。

在步骤S62中，确定操作模式是否被设置为高精度计算模式，该高精度计算模式是用于比正常模式更准确地计算掩模直径尺寸的模式。

在步骤S62的确定处理中确定为肯定的情况下，在CCU 51中，在第三处理之后执行第四处理。注意，后面将参考图12等描述第四处理的细节。

此外，在步骤S62的确定处理中确定为否定的情况下，处理返回到图6的步骤S10，并且执行上述第一处理。注意，也在步骤S55的确定处理中确定为否定的情况下，类似地执行上述第一处理。

上面已经描述了第三处理的流程。在第三处理中，如图11所示，在内窥镜图像200的垂直方向上以预定间隔离散地设置评估帧210-0至210-4，并且基于关于相应的评估帧210的评估值之间的关系(相关性)来设置(重置)取决于边缘位置的掩模类型。然后，当在将正常模式设置为操作模式的情况下处理返回到第一处理时，在设置高精度计算模式的情况下执行第四处理。

这里，在以正常模式执行操作的情况下，通过第二处理和第三处理，基于对应于相应的多个评估帧210的评估值的相关性来设置“TYPE1”至“TYPE4”中的一个，并且类型估计单元175可以通过基于设置的掩模类型获得掩模直径尺寸来估计镜体101的直径。例如，在通过第二处理和第三处理将掩模类型设置为“TYPE4”的情况下，检测掩模边缘220-4，从而可以获得掩模直径。

此外，这里还可以在水平和垂直方向上获得掩模的中央位置。例如，在检测到掩模边缘220-4的情况下，如图11所示，可以通过使用评估帧210-1和210-2的矩形的顶点坐标来计算掩模的中央位置的坐标(x，y)。

具体地，例如，在图11中，以内窥镜图像200的左上顶点的位置为原点(0，0)，当评估帧210-1的矩形的右下顶点的坐标为坐标(x0，y0)，并且评估帧210-2的矩形的左上顶点的坐标为坐标(x1，y1)时，通过以下公式(1)和(2)获得掩模在水平和垂直方向上的中央位置(x，y)。

x＝(x0-x1)/2+x1···(1)

y＝(y1-y0)/2+y0···(2)

如上所述，在以正常模式执行操作的情况下，尽管精度低于在以高精度计算模式执行操作的情况，但可以用较小的计算量计算掩模的直径和中央位置，估计镜体101的直径和中央位置，并确定镜体101的类型。

此外，在第二处理和第三处理中，由于以用于内窥镜图像200的预定间隔离散地设置多个评估帧210，并且评估帧210以预定间隔彼此分离，因此例如可以减少在镜体101的安装时发生的误差。

注意，在上面的描述中，已经描述了通过执行第二处理和第三处理，在水平和垂直方向的两个方向上设置评估帧210，使得多个评估帧210相对于内窥镜图像200的近似重心点对称来执行评估的情况；然而，可以通过执行第二处理或第三处理，仅在水平和垂直方向中的一个方向上设置评估帧210来执行评估。然而，如上所述，当通过执行第二处理和第三处理，在水平和垂直方向的两个方向上设置评估帧210时，可以假设例如存在漏光等来设置掩模类型，从而可以更准确地获得掩模直径和中央位置。

此外，在第二处理和第三处理中，描述了多个评估帧210以预定间隔离散地布置的情况，即，相邻帧之间具有间隔；然而，评估帧210的一部分可以连续地布置。此外，离散地布置的多个评估帧210的数量是任意的，并且例如，可以为掩模边缘220的检测位置设置更大数量的评估帧210。此外，离散地布置的每个评估帧210的形状不限于矩形，可以是其他形状，并且不必所有评估帧210具有相同的形状。布置多个评估帧210的间隔不必是恒定的间隔。

此外，在第二处理和第三处理中，描述了通过使用亮度值作为评估值并将亮度差与预定阈值进行比较来检测边缘(掩模边缘220)的示例；然而，可以通过使用表示在帧210中包括的边缘、黑色区域等的定量值(例如，诸如边缘量或黑色区域量的特征值)作为评估值来检测边缘。

(第四处理的流程)

接下来，将参考图12和图13的流程图来描述由CCU 51执行的第四处理的流程。然而，特别地，在第四处理中，将描述在上述第二处理和第三处理中将“TYPE3”设置为掩模类型的情况。

在步骤S70中，评估帧设置单元171为与来自照相机头102的图像信号相对应的图像设置多个评估帧。在评估帧的设置中，由于“TYPE3”被设置为掩模类型，如图14所示，根据掩模边缘220-3的检测位置设置多个评估帧210。与图7、图9和图11中在空间上分离和离散的多个评估帧相比，图14中的多个评估帧在空间上是分离并且连续的，即相邻帧之间没有间隔地邻接，从而允许沿水平方向的边缘的较高精度检测。

具体地，在水平方向的左侧连续地设置与掩模边缘220-3的检测位置相对应的评估帧210-0至210-4(以下也简称为评估帧0、评估帧1、评估帧2、评估帧3和评估帧4)，在水平方向的右侧连续地设置与掩模边缘220-3的检测位置相对应的评估帧210-5至210-9(以下也简称为评估帧5、评估帧6、评估帧7、评估帧8和评估帧9)，以关于内窥镜图像200的近似重心基本对称(以Y轴为对称轴的左右对称)。

然而，以左右对称连续地布置的评估帧210-0至210-4的矩形和评估帧210-5至210-9的矩形具有基本相同的形状和基本相同的尺寸。

此外，在每个评估帧210中，在水平方向(X方向)上设置开始位置和结束位置。开始位置指示每个评估帧210的X方向上的左端的位置，结束位置指示每个评估帧210的X方向上的右端的位置。

返回到图12的描述，在步骤S71中，评估值计算单元172计算与图14所示的评估帧0至评估帧9相对应的评估值。作为评估值，例如，可以使用从内窥镜图像200获得的特征值，诸如亮度值。

在步骤S72中，评估值确定单元173基于评估帧0和评估帧2的评估值的计算结果，确定评估帧0和评估帧2之间是否存在边缘。

这里，例如，将从评估帧0获得的亮度值和从评估帧2获得的亮度值之间的差值与预定阈值(第六阈值)进行比较，并确定亮度差是否超过预定阈值，由此可以确定在评估帧0和评估帧2之间是否存在边缘(在该示例中，掩模边缘220-3)。

在步骤S72的确定处理中确定为肯定的情况下，处理进行到步骤S73。在步骤S73中，评估结果设置单元174将评估帧0的X方向结束位置设置为掩模直径边缘左端位置。

此外，在步骤S72的确定处理中确定为否定的情况下，处理进行到步骤S74。在步骤S74中，评估值确定单元173基于评估帧1和评估帧3的评估值的计算结果，确定评估帧1和评估帧3之间是否存在边缘。

在步骤S74的确定处理中确定为肯定的情况下，处理进行到步骤S75。在步骤S75中，评估结果设置单元174将评估帧1的X方向结束位置设置为掩模直径边缘左端位置。

此外，在步骤S74的确定处理中确定为否定的情况下，处理进行到步骤S76。在步骤S76中，评估值确定单元173基于评估帧2和评估帧4的评估值的计算结果，确定评估帧2和评估帧4之间是否存在边缘。

在步骤S76的确定处理中确定为肯定的情况下，处理进行到步骤S77。在步骤S77中，评估结果设置单元174将评估帧2的X方向结束位置设置为掩模直径边缘左端位置。

此外，在步骤S76的确定处理中确定为否定的情况下，处理进行到步骤S78。在步骤S78中，评估结果设置单元174将评估帧4的X方向结束位置设置为掩模直径边缘左端位置。

当在步骤S73、S75、S77或S78的处理中设置掩模直径边缘左端位置时，处理进行到图13的步骤S79。

在步骤S79中，评估值确定单元173基于评估帧5和评估帧7的评估值的计算结果，确定评估帧5和评估帧7之间是否存在边缘。

在步骤S79的确定处理中确定为肯定的情况下，处理进行到步骤S80。在步骤S80中，评估结果设置单元174将评估帧5的X方向开始位置设置为掩模直径边缘右端位置。

此外，在步骤S79的确定处理中确定为否定的情况下，处理进行到步骤S81。在步骤S81中，评估值确定单元173基于评估帧6和评估帧8的评估值的计算结果，确定评估帧6和评估帧8之间是否存在边缘。

在步骤S81的确定处理中确定为肯定的情况下，处理进行到步骤S82。在步骤S82中，评估结果设置单元174将评估帧6的X方向开始位置设置为掩模直径边缘右端位置。

此外，在步骤S81的确定处理中确定为否定的情况下，处理进行到步骤S83。在步骤S83中，评估值确定单元173基于评估帧7和评估帧9的评估值的计算结果，确定评估帧7和评估帧9之间是否存在边缘。

在步骤S83的确定处理中确定为肯定的情况下，处理进行到步骤S84。在步骤S84中，评估结果设置单元174将评估帧7的X方向开始位置设置为掩模直径边缘右端位置。

此外，在步骤S83的确定处理中确定为否定的情况下，处理进行到步骤S85。在步骤S85中，评估结果设置单元174将评估帧8的X方向开始位置设置为掩模直径边缘右端位置。

当在步骤S80、S82、S84或S85的处理中设置掩模直径边缘右端位置时，在CCU 51中，在第四处理之后执行第五处理。注意，第五处理的细节将在后面参考图15等来描述。

上面已经描述了第四处理的流程。在第四处理中，根据上述第二处理和第三处理中的评估结果，执行用于计算水平方向(X方向)上的详细掩模边缘的处理，如图14所示，在内窥镜图像200的水平方向上，以左右对称连续地布置评估帧210-0至210-4和评估帧210-5至210-9，并且基于关于相应的评估帧210的评估值之间的关系(相关性)来设置掩模直径中的边缘左端位置和边缘右端位置。

(第五处理的流程)

接下来，将参考图15和图16的流程图来描述由CCU 51执行的第五处理的流程。然而，在第五处理中，与上述第四处理类似，将描述在上述第二处理和第三处理中将“TYPE3”设置为掩模类型的情况。

在步骤S90中，评估结果设置单元174确定在第二处理中掩模类型是否被设置为“TYPE3”或“TYPE4”。

在步骤S90的确定处理中确定为肯定的情况下，处理进行到步骤S91。在步骤S91中，评估帧设置单元171为与来自照相机头102的图像信号相对应的图像设置多个评估帧。

在评估帧的设置中，由于“TYPE3”被设置为掩模类型，如图17所示，根据掩模边缘220-3的检测位置设置多个评估帧210。图17中的多个评估帧在空间上分离并且连续，允许沿垂直方向的边缘的较高精度检测。

具体地，在垂直方向的上侧连续地设置与掩模边缘220-3的检测位置相对应的评估帧210-0至210-4(以下也简称为评估帧0、评估帧1、评估帧2、评估帧3和评估帧4)，在垂直方向的下侧连续地设置与掩模边缘220-3的检测位置相对应的评估帧210-5至210-9(以下也简称为评估帧5、评估帧6、评估帧7、评估帧8和评估帧9)，以关于内窥镜图像200的近似重心基本对称(以X轴为对称轴的垂直对称)。

然而，以垂直对称连续地布置的评估帧210-0至210-4的矩形和评估帧210-5至210-9的矩形具有基本相同的形状和基本相同的尺寸。

此外，在每个评估帧210中，在垂直方向(Y方向)上设置开始位置和结束位置。开始位置指示每个评估帧210的Y方向上的上端的位置，结束位置指示每个评估帧210的Y方向上的下端的位置。

返回到图15的描述，在步骤S92中，评估值计算单元172计算与图17所示的评估帧0至评估帧9相对应的评估值。作为评估值，例如，可以使用从内窥镜图像200获得的特征值，诸如亮度值。

在步骤S93中，评估值确定单元173基于评估帧0和评估帧2的评估值的计算结果，确定评估帧0和评估帧2之间是否存在边缘。

这里，例如，将从评估帧0获得的亮度值和从评估帧2获得的亮度值之间的差值与预定阈值(第七阈值)进行比较，并确定亮度差是否超过预定阈值，由此可以确定在评估帧0和评估帧2之间是否存在边缘(在该示例中，掩模边缘220-3)。

在步骤S93的确定处理中确定为肯定的情况下，处理进行到步骤S94。在步骤S94中，评估结果设置单元174将评估帧0的Y方向结束位置设置为掩模直径边缘上端位置。

此外，在步骤S93的确定处理中确定为否定的情况下，处理进行到步骤S95。在步骤S95中，评估值确定单元173基于评估帧1和评估帧3的评估值的计算结果，确定评估帧1和评估帧3之间是否存在边缘。

在步骤S95的确定处理中确定为肯定的情况下，处理进行到步骤S96。在步骤S96中，评估结果设置单元174将评估帧1的Y方向结束位置设置为掩模直径边缘上端位置。

此外，在步骤S95的确定处理中确定为否定的情况下，处理进行到步骤S97。在步骤S97中，评估值确定单元173基于评估帧2和评估帧4的评估值的计算结果，确定评估帧2和评估帧4之间是否存在边缘。

在步骤S97的确定处理中确定为肯定的情况下，处理进行到步骤S98。在步骤S98中，评估结果设置单元174将评估帧2的Y方向结束位置设置为掩模直径边缘上端位置。

此外，在步骤S97的确定处理中确定为否定的情况下，处理进行到步骤S99。在步骤S99中，评估结果设置单元174将评估帧4的Y方向结束位置设置为掩模直径边缘上端位置。

当在步骤S94、S96、S98或S99的处理中设置掩模直径边缘上端位置时，处理进行到图16的步骤S100。

在步骤S100中，评估值确定单元173基于评估帧5和评估帧7的评估值的计算结果，确定评估帧5和评估帧7之间是否存在边缘。

在步骤S100的确定处理中确定为肯定的情况下，处理进行到步骤S101。在步骤S101中，评估结果设置单元174将评估帧5的Y方向开始位置设置为掩模直径边缘下端位置。

此外，在步骤S100的确定处理中确定为否定的情况下，处理进行到步骤S102。在步骤S102中，评估值确定单元173基于评估帧6和评估帧8的评估值的计算结果，确定评估帧6和评估帧8之间是否存在边缘。

在步骤S102的确定处理中确定为肯定的情况下，处理进行到步骤S103。在步骤S103中，评估结果设置单元174将评估帧6的Y方向开始位置设置为掩模直径边缘下端位置。

此外，在步骤S102的确定处理中确定为否定的情况下，处理进行到步骤S104。在步骤S104中，评估值确定单元173基于评估帧7和评估帧9的评估值的计算结果，确定评估帧7和评估帧9之间是否存在边缘。

在步骤S104的确定处理中确定为肯定的情况下，处理进行到步骤S105。在步骤S105中，评估结果设置单元174将评估帧7的Y方向开始位置设置为掩模直径边缘下端位置。

此外，在步骤S104的确定处理中确定为否定的情况下，处理进行到步骤S106。在步骤S106中，评估结果设置单元174将评估帧9的Y方向开始位置设置为掩模直径边缘下端位置。

当在步骤S101、S103、S105或S106的处理中设置掩模直径边缘下端位置时，在CCU51中，在第五处理之后执行确定处理。注意，稍后将参考图18等描述确定处理的细节。

上面已经描述了第五处理的流程。在第五处理中，根据上述第二处理和第三处理中的评估结果，执行用于计算垂直方向(Y方向)上的详细掩模边缘的处理，如图17所示，评估帧210-0至210-4和评估帧210-5至210-9在内窥镜图像200的垂直方向上以垂直对称连续地布置，并且基于关于相应的评估帧210的评估值之间的关系(相关性)来设置掩模直径中的边缘上端位置和边缘下端位置。

如上所述，在以高精度计算模式执行操作的情况下，基于通过第一处理至第五处理对应于相应的多个评估帧210的评估值的相关性来设置内窥镜图像200中包括的掩模区域的掩模类型，并且边缘左端位置、边缘右端位置、边缘上端位置和边缘下端位置中的每一个被设置在对应于掩模类型的掩模直径中。例如，在允许误差的范围较窄等的情况下，需要更准确地获得掩模直径和中央位置，在这种情况下，将高精度计算模式设置为操作模式。因此，可以估计内窥镜图像中的渐晕区域的位置，该位置取决于镜体如何附接，以及估计掩模直径。

注意，在上述第四处理和第五处理中，已经描述了这样的情况，其中多个评估帧210连续地布置为相对于内窥镜图像200的近似重心点对称；然而，类似于第二处理和第三处理，多个评估帧210能够以预定间隔离散地布置。此外，连续布置的多个评估帧210的数量不限于五个，并且可以是四个或更少，或者六个或更多。此外，连续地布置的多个评估帧210中的每一个的形状不限于矩形，可以是其他形状，并且不必所有评估帧210具有相同的形状。

此外，在第四处理和第五处理中，描述了通过使用亮度值作为评估值并将亮度差与预定阈值进行比较来检测边缘(掩模边缘220)的示例；然而，可以通过使用表示在帧210中包括的边缘、黑色区域等的定量值(例如，诸如边缘量或黑色区域量的特征值)作为评估值来检测边缘。

(确定处理的流程)

接下来，将参考图18的流程图来描述由CCU 51执行的确定处理的流程。

在步骤S111中，类型估计单元175基于上述第一处理至第五处理的处理结果来计算掩模直径尺寸。

例如，在以高精度计算模式执行操作的情况下，由于分别设置了掩模直径边缘左端位置、边缘右端位置、边缘上端位置和边缘下端位置，因此通过使用这些边缘位置，可以获得掩模直径和掩模中央位置。

具体地，在掩模的水平方向和垂直方向上的直径例如通过以下公式(3)和(4)获得。然而，评估帧210的坐标由水平方向上的X轴和垂直方向上的Y轴彼此正交的正交坐标系表示，并且如图19所示，内窥镜图像200的左上顶点的位置是原点(0，0)。

掩膜直径(水平方向)＝边缘右端位置-边缘左端位置···(3)

掩膜直径(垂直方向)＝边缘下端位置-边缘上端位置···(4)

此外，掩模的水平方向和垂直方向上的中央位置(x，y)例如由以下公式(5)和(6)获得。然而，这里，评估帧210的坐标也由图19所示的正交坐标系表示。

x＝(边缘右端位置-边缘左端位置)/2+边缘左端位置···(5)

y＝(边缘下端位置-边缘上端位置)/2+边缘上端位置···(6)

如上所述，在类型估计单元175中，计算内窥镜图像200中包括的掩模直径尺寸，并且掩模直径与镜体101的类型具有高度相关性。因此，还可以说，类型估计单元175通过计算掩模直径尺寸来估计镜体101的直径。然后，通过估计镜体101的直径，可以确定内窥镜10中使用的镜体101的类型。换言之，也可以说，镜体101的类型由镜体101的直径确定。

当在步骤S111的处理中计算掩模直径尺寸时，处理进行到步骤S112。然后，在CCU51中，后续处理被通知在上述第一处理至第五处理中获得的识别结果和在步骤S111的处理中获得的掩模直径信息。然而，除了掩模直径之外，掩模直径信息可以包括关于掩模中央位置的信息。

这里，后续处理包括，例如，诸如自动聚焦(AF)、自动曝光(AE)、自动白平衡(AWB)和扩展景深(EDOF)的信号处理。

如上所述，例如，内窥镜图像200除了被摄体图像的区域之外，还包括取决于镜体101的直径的掩模区域(黑色区域)，并且当执行关于AF、AE等的信号处理时，当执行包括掩模区域的聚焦或曝光时，出现各种问题。另一方面，在本技术中，由于能够以较小的计算量可靠地确定使用的镜体101的类型，因此对被摄体图像的区域执行信号处理，并且能够实现具有较高的精度的AF、AE等。

此外，例如，在关于EDOF的信号处理(例如，用于扩展景深的处理)中，掩模中央位置是重要参数，并且以高精度计算模式执行操作，由此计算具有较高精度的掩模中央位置，并且可以提高关于EDOF的信号处理的精度。

上面已经描述了确定处理的流程。在确定处理中，在以高精度计算模式执行操作的情况下，可以通过计算掩模的直径和中央位置，并基于与掩模类型相对应的掩模直径中的边缘左端位置、边缘右端位置、边缘上端位置和边缘下端位置，以较小的计算量和较高的精度估计镜体101的直径和中央位置来确定镜体101的类型。

如上所述，在以正常模式作为操作模式执行操作的情况下，执行第二处理和第三处理，并且基于对应于相应的多个评估帧210的评估值的相关性来设置掩模类型，并且获得对应于掩模类型的掩模直径尺寸，由此估计镜体101的类型(直径)。

此外，在以高精度计算模式作为操作模式执行操作的情况下，除了第二处理和第三处理之外，执行第四处理和第五处理，并且基于对应于相应的多个评估帧210的评估值的相关性，计算对应于掩模类型的掩模直径中的边缘左端位置、边缘右端位置、边缘上端位置和边缘下端位置，并且基于这些类型的位置信息(坐标)获得掩模直径尺寸，由此估计镜体101的类型(直径)。

如上所述，在正常模式和高精度计算模式中，由于掩模直径尺寸是基于对应于图像中设置的相应的多个评估帧210的评估值的相关性(相关性)而获得的，因此不需要执行如上述专利文献1公开的用于检测图像中的所有直边的处理，因此，可以用较小的计算量来确定镜体101的类型。

<2.修改>

注意，在上文中，假设由CCU 51的(控制单元161)执行第一处理至第五处理和确定处理进行了描述；然而，这些类型的处理可以由内窥镜手术系统1中的CCU 51以外的其他处理单元执行。在这种情况下，评估帧设置单元171至类型估计单元175设置在另一处理单元中。此外，在评估帧设置单元171到类型估计单元175中，可以在控制单元161中设置一些块，并且可以在其他处理单元中设置其他块。

此外，在上面的描述中，对应于4K分辨率的图像信号被描述为从照相机头102输出的图像信号；然而，这不是限制，图像信号可以是对应于另一分辨率的图像信号，例如8K分辨率(例如，7680×4320像素)、2K分辨率(例如，1280×720像素)等。

在上面的描述中，生成掩模直径信息以确定镜体101的类型，然后执行后续的信号处理。然而，可以读取与镜体101的类型相对应的参数以确定镜体101的类型。例如，可以预先存储将掩模直径信息与信号处理所需的参数链接的表，并且可以基于掩模直径信息读取与镜体101的类型相对应的信号处理的参数。

此外，在上面的描述中，已经描述了多个评估帧210布置在垂直方向和水平方向的两个方向上的位置的情况；然而，不限于垂直和水平方向上的位置，只要能够检测到掩模直径，多个评估帧210可以布置在任何位置。此外，关于评估帧210的尺寸，不必所有评估帧210具有相同的尺寸，例如，评估帧210的尺寸可以根据布置位置而变化。此外，以预定间隔布置的多个评估帧210的间隔不限于相同的间隔，并且可以是不同的间隔。

注意，在上面的描述中，为了便于描述，将对应于照相机头102的成像元件的成像表面的图像称为内窥镜图像；然而，虽然对应于由镜体101聚焦的被摄体图像的图像可以被称为内窥镜图像，但对应于照相机头102的成像元件的成像表面的图像可以被称为观察图像并进行区分。在这种情况下，观察图像包括内窥镜图像，以预定间隔为观察图像设置多个评估帧，计算关于设置的相应的多个评估帧的评估值，并且基于计算的评估值之间的关系计算与内窥镜图像相对应的掩模直径尺寸。

<3.计算机的配置>

上面描述的一系列处理步骤(例如，上面描述的第一处理至第五处理和确定处理)可以由硬件执行，或者可以由软件执行。在通过软件执行该系列处理步骤的情况下，在每个装置的计算机中安装构成该软件的程序。如本文使用的，‘计算机’指的是可以经由执行计算机可读指令来配置的电路，并且该电路可以包括一个或多个本地处理器(例如，CPU)，和/或一个或多个远程处理器，例如云计算资源，或其任何组合。例如，本技术可以被配置为云计算的形式，其中经由网络在多个装置中协作共享一个功能用于处理。此外，本技术可以被配置为医院中的服务器或IP转换器的形式，其中经由网络在多个装置中协作共享一个功能用于处理。图20是示出通过程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。此外，输入/输出接口1005连接到总线1004。输入/输出接口1005连接到输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010。

输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质1011。

在如上所述配置的计算机中，CPU 1001经由输入/输出接口1005和总线1004将记录在ROM 1002或存储单元1008中的程序加载并执行到RAM 1003，由此执行上述一系列处理步骤。

例如，通过计算机(CPU 1001)执行的程序可以通过被记录在作为封装介质等的可移除记录介质1011中来提供。此外，该程序可以经由有线或无线传输介质提供，诸如局域网、因特网或数字卫星广播。

在计算机中，通过将可移除记录介质1011安装到驱动器1010，程序可以经由输入/输出接口1005安装到存储单元1008。此外，通过经由有线或无线传输介质与通信单元1009接收，可以将程序安装到存储单元1008。另外，程序可以预先安装到ROM 1002或存储单元1008。

这里，在本说明书中，由计算机根据程序执行的处理不一定必须按照流程图描述的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象进行的处理)。此外，程序可以由一台计算机(处理器)处理，或者可以由多台计算机分发和处理。

注意，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下可以进行各种修改。

此外，本技术可以具有如下配置。

(1)

一种图像处理系统，包括

控制单元

设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，

计算关于设置的相应的多个评估帧的评估值，以及

基于计算的评估值之间的关系估计镜体的类型。

(2)

根据(1)所述的图像处理系统，其中

控制单元以预定间隔离散地布置多个评估帧。

(3)

根据(1)或(2)所述的图像处理系统，其中

控制单元设置预定间隔，使得多个评估帧相对于内窥镜图像的近似重心点对称。

(4)

根据(1)至(3)中任一项所述的图像处理系统，其中

控制单元不使预定间隔恒定。

(5)

根据(1)至(4)中任一项所述的图像处理系统，其中

镜体的类型由镜体的直径确定。

(6)

根据(2)所述的图像处理系统，其中

控制单元

在以第一模式估计镜体的类型的情况下，离散地布置多个评估帧，并且

在以精度高于第一模式的第二模式估计镜体的类型的情况下连续地布置多个评估帧。

(7)

根据(6)所述的图像处理系统，其中

控制单元基于与离散地布置的相应的多个评估帧相对应的评估值的评估结果来定位连续地布置的多个评估帧。

(8)

根据(1)至(7)中任一项所述的图像处理系统，其中

控制单元根据与多个评估帧中彼此相邻或以恒定间隔布置的相应的评估帧相对应的评估值之间的差值来估计镜体的类型。

(9)

根据(1)至(8)中任一项所述的图像处理系统，其中

控制单元估计镜体的类型和镜体的中央位置。

(10)

根据(6)至(9)中任一项所述的图像处理系统，其中

控制单元使连续地布置的相应的多个评估帧的尺寸小于离散地布置的相应的多个评估帧的尺寸。

(11)

根据(1)至(10)中任一项所述的图像处理系统，其中

控制单元

在内窥镜图像的水平方向和垂直方向中的每一个方向上布置多个评估帧，并且

对于水平方向和垂直方向中的每一个方向，根据从对应于内窥镜图像的相应的多个评估帧的相应的区域检测到的特征值来计算评估值。

(12)

根据(11)所述的图像处理系统，其中

特征值包括亮度值。

(13)

根据(11)所述的图像处理系统，其中

特征值包括边缘量或黑色区域量。

(14)

根据(11)至(13)中任一项所述的图像处理系统，其中

控制单元关于内窥镜图像的近似重心基本对称地布置多个评估帧。

(15)

根据(1)至(14)中任一项所述的图像处理系统，其中

控制单元

在内窥镜图像的近似重心和顶点附近布置多个评估帧，

根据从对应于内窥镜图像的相应的多个评估帧的区域检测到的特征值计算评估值，并且

基于计算的评估值确定内窥镜图像中是否包括掩模区域。

(16)

根据(1)至(15)中任一项所述的图像处理系统，其中

基于与估计的镜体的类型相对应的信息，在关于自动聚焦(AF)、自动曝光(AE)、自动白平衡(AWB)和扩展景深(EDOF)的信号处理中，执行信号处理中的至少一条。

(17)

根据(1)至(16)中任一项所述的图像处理系统，其中

镜体被配置为内窥镜的一部分。

(18)

一种图像处理装置，包括

控制单元

设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，

计算关于设置的相应的多个评估帧的评估值，以及

基于计算的评估值之间的关系，执行与镜体的类型相对应的信号处理。

(19)

根据(18)所述的图像处理装置，其中

控制单元

在以第一模式估计镜体的类型的情况下，离散地布置多个评估帧，并且

在以精度高于第一模式的第二模式估计镜体的类型的情况下，基于与离散地布置的相应的多个评估帧相对应的评估值的评估结果连续地布置多个评估帧。

(20)

一种图像处理方法，包括，

通过图像处理装置，

设置以预定间隔布置的多个评估帧，用于通过使用镜体捕获的内窥镜图像，

计算关于设置的相应的多个评估帧的评估值，以及

基于计算的评估值之间的关系，执行与镜体的类型相对应的信号处理。

(21)

一种内窥镜系统，包括：

电路被配置为：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个评估区域中的相邻评估区域在空间上彼此分离；

为多个评估区域中的每一个计算评估值；

比较多个评估区域的评估值；以及

根据比较的结果调整对内窥镜图像的图像处理。

(22)

根据(21)所述的内窥镜系统，其中

以预定间隔离散地设置多个评估区域。

(23)

根据(21)和(22)中任一项所述的内窥镜系统，其中

多个评估区域被设置使得多个评估区域相对于内窥镜图像的近似重心点对称。

(24)

根据(22)所述的内窥镜系统，其中

多个评估区域的预定间隔不是恒定的。

(25)

根据(21)至(24)中任一项所述的内窥镜系统，其中

电路被配置为基于比较来估计镜体的类型，并基于镜体的类型来调整对内窥镜图像的图像处理。

(26)

根据(25)所述的内窥镜系统，其中

电路被配置为识别镜体的存在，并且当存在镜体时，基于内窥镜图像的区域的尺寸来估计镜体的类型。

(27)

根据(21)至(26)中任一项所述的内窥镜系统，其中

电路被配置为

设置多个评估区域，在第一模式中，多个评估区域中相邻的评估区域在空间上彼此分离和离散；

设置多个评估区域，在第二模式中，多个评估区域中相邻的评估区域在空间上彼此分离和连续。

(28)

根据(27)所述的内窥镜系统，其中

电路被配置为基于第一模式中的比较来估计镜体的类型，并且基于第二模式中的比较来估计内窥镜图像中渐晕区域的位置。

(29)

根据(27)所述的内窥镜系统，其中

基于第一模式的比较，将第二模式中的多个评估区域设置在预定位置。

(30)

根据(27)所述的内窥镜系统，其中

第二模式中的多个评估区域的尺寸小于第一模式中的多个评估区域的尺寸。

(31)

根据(21)至(30)中任一项所述的内窥镜系统，其中

比较是从多个评估区域的相邻区域的评估值之间的差值获得的。

(32)

根据(21)至(31)中任一项所述的内窥镜系统，其中

电路被配置为

在内窥镜图像的水平方向和垂直方向中的每一个方向上设置多个评估帧；

比较水平方向的多个评估区域的评估值；

比较垂直方向的多个评估区域的评估值；并且

根据水平方向的比较和垂直方向的比较的结果，调整内窥镜图像上的图像处理。

(33)

根据(21)至(32)中任一项所述的内窥镜系统，其中

基于多个评估区域中的每一个的亮度值来计算评估值。

(34)

根据(21)至(33)中任一项所述的内窥镜系统，其中

多个评估区域被设置为内窥镜图像的中央区域和关于该中央区域基本对称的区域。

(35)

根据(34)所述的内窥镜系统，其中

电路被配置为基于中央区域的评估值来估计镜体是否附接，并且基于关于中央区域基本对称区域的评估值的比较来估计镜体的类型。

(36)

根据(21)至(35)中任一项所述的内窥镜系统，其中

图像处理是自动聚焦处理、自动曝光处理、自动白平衡处理或扩展景深处理中的至少一种。

(37)

根据(21)至(36)中任一项所述的内窥镜系统，其中

电路被配置为通过基于比较确定由镜体引起的渐晕的边缘的位置来估计镜体的类型。

(38)

根据(21)至(37)中任一项所述的内窥镜系统，其中

电路被配置为基于比较从存储在存储器中的表中读取参数，并且使用参数调整图像处理。

(39)

一种在其上存储程序的非暂时性计算机可读介质，当由计算机执行时，该程序使计算机执行处理，该处理包括：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个评估区域中的相邻评估区域在空间上彼此分离；

为多个评估区域中的每一个计算评估值；

比较多个评估区域的评估值；以及

根据比较的结果调整对内窥镜图像的图像处理。

(40)

一种方法，包括：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个评估区域中的相邻评估区域在空间上彼此分离；

为多个评估区域中的每一个计算评估值；

比较多个评估区域的评估值；以及

根据比较的结果调整对内窥镜图像的图像处理。

本领域技术人员应当理解，只要在所附权利要求或其等同的范围内，根据设计要求和其他因素，可以发生各种修改、组合、子组合和改变。

[参考符号列表]

1 内窥镜手术系统

10 内窥镜

20 手术器械

30 支撑臂装置

51 CCU

52 显示装置

53 光源装置

54 输入装置

55 处理工具控制装置

56 气腹装置

57 记录器

58 打印机

101 镜体

102 照相机头

151 透镜单元

152 成像单元

153 驱动单元

154 通信单元

155 照相机头控制单元

161 控制单元

162 通信单元

163 图像处理单元

171 评估帧设置单元

172 评估值计算单元

173 评估值确定单元

174 评估结果设置单元

175 类型估计单元

1001 CPU

Claims (20)

1.一种内窥镜系统，包括：

电路，被配置为：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个所述评估区域中的相邻评估区域在空间上彼此分离；

为多个所述评估区域中的每一个计算评估值；

比较多个所述评估区域的评估值；并且

根据所述比较的结果调整对所述内窥镜图像的图像处理。

2.根据权利要求1所述的内窥镜系统，其中

以预定间隔离散地设置多个所述评估区域。

3.根据权利要求2所述的内窥镜系统，其中

多个所述评估区域的所述预定间隔不是恒定的。

4.根据权利要求1所述的内窥镜系统，其中

多个所述评估区域被设置使得多个所述评估区域相对于所述内窥镜图像的近似重心点对称。

5.根据权利要求1所述的内窥镜系统，其中

所述电路被配置为基于所述比较来估计镜体的类型，并基于所述镜体的类型来调整对所述内窥镜图像的图像处理。

6.根据权利要求5所述的内窥镜系统，其中

所述电路被配置为识别镜体的存在，并且当存在所述镜体时，基于所述内窥镜图像的区域的尺寸来估计所述镜体的类型。

7.根据权利要求1所述的内窥镜系统，其中

所述电路被配置为

设置多个所述评估区域，在第一模式中，多个所述评估区域中相邻的评估区域在空间上彼此分离和离散；并且

设置多个所述评估区域，在第二模式中，多个所述评估区域中相邻的评估区域在空间上彼此分离和连续。

8.根据权利要求7所述的内窥镜系统，其中

所述电路被配置为基于所述第一模式中的比较来估计所述镜体的类型，并且基于所述第二模式中的比较来估计所述内窥镜图像中渐晕区域的位置。

9.根据权利要求7所述的内窥镜系统，其中

基于所述第一模式的比较，将所述第二模式中的多个所述评估区域设置在预定位置。

10.根据权利要求7所述的内窥镜系统，其中

所述第二模式中的多个所述评估区域的尺寸小于所述第一模式中的多个所述评估区域的尺寸。

11.根据权利要求1所述的内窥镜系统，其中

所述比较是从多个所述评估区域的相邻区域的评估值之间的差值获得的。

12.根据权利要求1所述的内窥镜系统，其中

所述电路被配置为

在所述内窥镜图像的水平方向和垂直方向中的每一个方向上设置多个所述评估帧；

比较所述水平方向的多个所述评估区域的评估值；

比较所述垂直方向的多个所述评估区域的评估值；并且

根据所述水平方向的比较和所述垂直方向的比较的结果，调整所述内窥镜图像上的所述图像处理。

13.根据权利要求1所述的内窥镜系统，其中

基于多个所述评估区域中的每一个的亮度值来计算所述评估值。

14.根据权利要求1所述的内窥镜系统，其中

多个所述评估区域被设置为所述内窥镜图像的中央区域和关于所述中央区域基本对称的区域。

15.根据权利要求14所述的内窥镜系统，其中

所述电路被配置为基于所述中央区域的评估值来估计所述镜体是否附接，并且基于关于所述中央区域基本对称的区域的评估值的比较来估计所述镜体的类型。

16.根据权利要求1所述的内窥镜系统，其中

图像处理是自动聚焦处理、自动曝光处理、自动白平衡处理或扩展景深处理中的至少一种。

17.根据权利要求1所述的内窥镜系统，其中

所述电路被配置为通过基于所述比较确定由所述镜体引起的渐晕的边缘的位置来估计所述镜体的类型。

18.根据权利要求1所述的内窥镜系统，其中

所述电路被配置为基于所述比较所述比较从存储在存储器中的表中读取参数，并且使用所述参数调整所述图像处理。

19.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有程序，当由计算机执行时，所述程序使所述计算机执行处理，所述处理包括：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个所述评估区域中的相邻评估区域在空间上彼此分离；

为多个所述评估区域中的每一个计算评估值；

比较多个所述评估区域的评估值；以及

根据所述比较的结果调整对所述内窥镜图像的图像处理。

20.一种方法，包括：

在由图像传感器经由镜体捕获的内窥镜图像中设置多个评估区域，多个所述评估区域中的相邻评估区域在空间上彼此分离；

为多个所述评估区域中的每一个计算评估值；

比较多个所述评估区域的评估值；以及

根据所述比较的结果调整对所述内窥镜图像的图像处理。

Images