CN110022750B - 图像处理设备、图像处理方法和光学元件 - Google Patents

Abstract

一种内窥镜系统，包括：内窥镜，该内窥镜包括在其上设置有标记的光学元件、改变视角的光学形成装置、以及经由光学形成装置接收来自光学元件的光的图像捕获装置；以及处理电路，基于由图像捕获装置捕获的图像中的标记从该图像识别视角。

Description

图像处理设备、图像处理方法和光学元件

交叉引用相关申请

本申请要求2016年12月9日提交的日本优先权专利申请JP2016-239639的权益，其全部内容通过引用结合于此。

技术领域

本公开涉及一种图像处理设备、一种图像处理方法和一种光学元件。

背景技术

在医疗保健场所，最近已经进行了使用内窥镜的内窥镜手术。在内窥镜手术中，工作人员可以在观察由插入到观察目标(患者)中的内窥镜捕获并在监视器上显示的图像的同时进行检查或手术。

例如，以下专利文献1公开了一种通过使内窥镜(包括检测旋转角度的加速度传感器)捕获的内窥镜图像的垂直和水平方向与工作人员的垂直和水平操作方向相对应来显示内窥镜图像的技术。

此外，由于观察到器官盘绕的位置，所以已经使用了能够改变视线方向的角度的内窥镜。利用这种能够改变视线方向的角度的内窥镜，可以节省更换具有不同视线方向的内窥镜的努力。

引文列表

专利文献

PTL 1：JP 2006-218027A

发明内容

技术问题

在使用上述能够改变视线方向的角度的内窥镜的情况下，存在难以从内窥镜捕获的并在监视器上显示的图像中掌握当前视线方向的角度的情况。在视线方向的角度不清楚的情况下，难以操纵内窥镜，并且存在诸如腹壁等器官可能受伤的风险。

因此，本公开提出了一种图像处理设备、一种图像处理方法和一种光学元件，其是新颖并且改进的并且能够更容易地掌握视线方向的角度。

问题的解决方案

根据本公开的一个实施方式，描述了一种内窥镜系统，包括：内窥镜，包括：光学元件，包括设置在其上的标记；光学形成装置，被配置为改变视角；以及图像捕获装置，经由光学形成装置接收来自光学元件的光；以及处理电路，被配置为基于图像捕获装置捕获的图像中的标记从该图像识别视角。

根据本公开的另一实施方式，描述了一种医疗图像处理装置，包括：处理电路，被配置为基于图像中的标记从图像识别视角，其中，该图像由穿过光学元件上的标记的光而生成，并且其中，视角相对于内窥镜成像装置中的标记改变。

根据本公开的另一实施方式，描述了一种医疗图像处理方法，包括：经由处理电路基于图像中的标记从图像识别视角，其中，图像由穿过光学元件上的标记的光而生成，并且其中，视角相对于包括标记和光学元件的内窥镜成像装置中的标记改变。

根据本公开的另一实施方式，描述了一种内窥镜，包括：光学元件，包括设置在其上的标记；以及光学形成装置，其被配置为相对于光学元件上的标记改变视角。

发明的有利效果

根据上述本公开，可以更容易掌握视线方向的角度(即，视角)。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中掌握的其他效果。

附图说明

[图1]图1是示出根据本公开的实施方式的内窥镜手术系统1的总体配置的说明图。

[图2]图2是示出根据实施方式的内窥镜2的功能配置的示例的框图。

[图3]图3是示出根据实施方式的物镜22的说明图。

[图4]图4是示出根据实施方式的物镜22中包括的标记的示例的说明图。

[图5]图5是示出根据实施方式的物镜22中包括的标记的另一示例的说明图。

[图6]图6是示出根据实施方式的物镜22中包括的标记的另一示例的说明图。

[图7]图7是示出根据实施方式的CCU5-1的功能配置的示例的框图。

[图8]图8是示出根据实施方式的捕获图像和输出图像的示例的说明图。

[图9]图9是示出根据实施方式的操作示例的流程图。

[图10]图10是示出修改示例1的概述的说明图。

[图11]图11是示出根据修改示例的CCU5-2的功能配置的示例的框图。

[图12]图12是示出修改示例的操作示例的流程图。

[图13]图13是示出根据修改示例2的CCU5-3的功能配置的示例的框图。

[图14]图14是示出修改示例的操作示例的流程图。

[图15]图15是示出硬件配置示例的说明图。

具体实施方式

在下文中，将参考附图详细描述本公开的(一个或多个)优选实施方式。在本说明书和附图中，具有大致相同功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。

注意，在本说明书和附图中，具有大致相同的功能和结构的结构元件有时在相同的附图标记之后使用不同的字母彼此区分。然而，当不需要特别区分具有大致相同的功能和结构的结构元件时，仅附加相同的附图标记。

注意，将按以下顺序给出描述。

<<1、概述>>

<1-1、内窥镜手术系统的示意性配置>

<1-2、背景>

<<2、配置>>

<2-1、内窥镜的配置>

<2-2、CCU的配置>

<<3、操作>>

<<4、修改示例>>

<4-1、修改示例1>

<4-2、修改示例2>

<4-3、修改示例3>

<<5、硬件配置示例>>

<<6、结论>>

<<1、概述>>

<1-1、内窥镜手术系统的示意性配置>

首先，参考附图，描述根据本公开的实施方式的内窥镜手术系统的示意性配置(概述)。图1是示出根据本公开的实施方式的内窥镜手术系统1的总体配置的说明图。注意，在下面的描述中，“用户”表示使用内窥镜手术系统1的任何医务人员，例如，外科医生或手术助手以及内窥镜医生。

在医疗保健场所，内窥镜手术最近取代了传统的腹部手术。例如，在进行腹部手术的情况下，使用如图1所示设置在手术室中的内窥镜手术系统1。代替像过去那样通过切割腹壁进行剖腹手术，被称为套管针12a和12b的开口工具附接在腹壁的几个部分处，并且通过设置在套管针12a和12b中的每一个上的孔，腹腔镜(在下文中，也可称为内窥镜)2、能量治疗工具3、一对镊子4等插入体内。然后，在实时观看由内窥镜2作为视频捕获的并在显示装置9上显示的患部(肿瘤等)16的图像的同时，执行诸如使用能量治疗工具3切除患部16等过程。由用户、机器人等保持内窥镜2、能量治疗工具3和一对镊子4。注意，在本实施方式中，描述了内窥镜2是所谓的刚性内窥镜的示例。

在进行这种内窥镜手术的手术室内，设置有装载有用于内窥镜手术的装置的推车14、患者躺在其上的病床13、脚踏开关15等。推车14装载有医学装置，例如，相机控制单元(CCU)5、光源装置6、治疗工具装置7、气腹装置8、显示装置9、记录器10和打印机11。

通过内窥镜2的观察光学系统成像而获得的患部16的图像信号经由相机电缆传输到CCU5，在CCU5中经受信号处理(图像处理)，并然后输出到显示装置9。因此，显示患部16的内窥镜图像。CCU5可以经由相机电缆连接到内窥镜2，或者可以无线连接到内窥镜2。注意，在本说明书中，通过在活体内部捕获而获得的图像可以称为“体内图像”。此外，在本说明书中，通过成像而获取的图像称为“捕获的图像”，并且捕获的图像可以包括体内图像。

光源装置6经由光导电缆连接到内窥镜2，并且能够以切换的方式用具有各种不同波长的光束照射患部16。治疗工具装置7是高频输出装置，其向能量治疗工具3输出高频电流，能量治疗工具3例如使用电加热切割患部16。气腹装置8包括供气装置和吸气装置，并且是向患者体内(例如，腹部区域)供应空气的装置。脚踏开关15使用用户的脚踏操作作为触发信号，并控制CCU5、治疗工具装置7等。

<1-2、背景>

迄今为止，已经描述了根据本实施方式的内窥镜手术系统1的总体配置。随后，将描述制造根据本实施方式的内窥镜手术系统1的原因背景。

在内窥镜手术中，为了观察器官盘绕的位置，除了其中视线方向的角度与运动方向的角度相同的直视镜之外，还存在使用其中视线方向的角度与运动方向的角度不同的透视镜的情况。在这种情况下，用户在更换体管(直视镜和透视镜)的同时进行手术。

以这种方式，由于在手术过程中具有不同视线方向的各种内窥镜用于不同的目的，所以手术前准备(清洗、消毒等)要使用的所有体管可能是费时间和精力的，并且在手术期间更换体管可能是费时间和精力的。为了节省这些努力，存在能够改变视线方向的角度的内窥镜。

然而，在使用能够改变视线方向的角度的这种内窥镜的情况下，存在难以从内窥镜捕获的并在监视器上显示的图像中掌握当前视线方向的角度的情况。在视线方向的角度不清楚的情况下，难以设置内窥镜，并且存在诸如腹壁等器官可能受伤的风险。

在此处，例如，作为专利文献1中记载的内窥镜，考虑在内窥镜的体管内部设置用于检测视线方向的角度的传感器的内窥镜以及通过将传感器获取的传感器信息发送到CCU来检测视线方向的角度的方法。

然而，在内窥镜如上所述包括传感器和用于将传感器信息传输到CCU的机构的情况下，内窥镜的结构变得复杂。例如，在传感器信息从内窥镜传输到CCU的情况下，需要为内窥镜提供将包括传感器的体管电连接到与CCU连接的内窥镜的摄像头的机构。然而，在体管包括传感器并且体管包括用于电连接的机构的情况下，更加难以对体管执行清洁和消毒(例如，通过加热消毒)。

因此，考虑到上述情况而做出本实施方式。根据本实施方式的内窥镜手术系统1可以减少内窥镜2的复杂性，并且可以使用户能够掌握视线方向的角度，尽管内窥镜2不具有将体管电连接到摄像头的机构。在下文中，将依次详细描述根据本实施方式以实现这些效果的内窥镜手术系统1中包括的内窥镜2和CCU5的配置。

<<2、配置>>

<2-1、内窥镜的配置>

图2是示出根据本公开的实施方式的内窥镜2的功能配置的示例的框图。如图2所示，根据本实施方式的内窥镜2包括体管20和摄像头200。此外，根据本实施方式的内窥镜2能够改变视线方向的角度，而无需更换体管20。

如图2所示，体管20包括物镜22、图像形成光学系统24和角度调整单元26。注意，尽管在图2中仅示出物镜22和图像形成光学系统24作为包括在体管20中的光学元件，但是在物镜22和对象之间或者在物镜22和图像形成光学系统24之间也可以存在其他光学元件，例如，透射光的帽或滤光器。

物镜22是透射来自对象的光的透镜(光学构件或光学元件)。注意，根据本公开的实施方式的透镜不一定具有折射光的功能，并且在本公开中，透射入射光中的至少一些的光学元件称为透镜。

图3是示出物镜22的说明图。物镜22不相对于体管20的外壳移动或旋转，并且体管20能够使用稍后将描述的图像形成光学系统24和角度调整单元26的机构来改变视线方向的角度。如图3所示，物镜22可以例如从0°至120°的视线方向透射光。

此外，根据本实施方式的物镜22包括标记。例如，标记可以显示视线方向的角度。在下文中，将描述具有标记的物镜22的示例。

图4是示出具有标记的物镜22(物镜22-1)的示例的说明图。图4所示的物镜22-1在透光部分220-1的左端和右端具有标记221(标记部分221A至221D)和标记223(标记部分223A至223C)。标记221和标记223包括分别对应于视线方向的角度的多种颜色(在下文中，可以称为颜色图案)。利用这种结构，用户或稍后将描述的CCU5可以基于捕获图像中包括(示出)的与标记221和标记223相对应的区域来识别当前视线方向的角度。

注意，在图4所示的示例中，标记部分221A至221D具有彼此不同的颜色，并且标记部分223A至223D也具有彼此不同的颜色。例如，用户或稍后将描述的CCU5可以通过识别标记部分221A至221D中的哪一个和标记部分223A至223D中的哪一个包括在捕获图像中来识别当前视线方向的角度。

此外，例如，标记221和标记223可以是半透明的，并且可以透射入射光中的至少一些。利用这种结构，基于已经通过物镜22-1透射的光的捕获图像可以包括已经通过标记221和标记223透射的光的信息。此外，通过由CCU5执行的图像处理，使得用户没有意识到标记221和标记223的图像也可以通过由CCU5执行的图像处理来显示，这将在后面描述。

注意，在标记221和标记223是半透明的情况下，期望标记221和标记223具有与观察目标(例如，活体内部)或手术工具可能具有的颜色不同的颜色。利用这种结构，用户更容易在视觉上识别标记221和标记223，此外，可以提高由CCU5识别视线方向的角度的精度。

此外，例如，标记221和标记223中包括的颜色图案可以对应于色调角度。利用这种结构，例如，在用户知道色调的情况下，用户可以通过视觉识别与捕获图像中包括的标记221和标记223相对应的区域来掌握当前视线方向的角度，而无需新学习颜色图案和角度之间的对应关系。

此外，如图4所示，在左侧和右侧的标记221和标记223之间，颜色图案的边界在垂直方向上的位置可以不同。例如，在图4所示的示例中，标记部分221A和标记部分221B之间的边界在垂直方向上的位置不同于标记部分223A和标记部分223B之间的边界在垂直方向上的位置。利用这种结构，标记221和标记223的组合可以指示更详细的角度，并且例如可以提高CCU5的角度的检测性能(分辨率)。

注意，稍后将参考图8描述在使用图4所示的物镜22-1的情况下捕获的图像的示例。

图5是示出具有标记的物镜22(物镜22-2)的另一示例的说明图。

图5所示的物镜22-2在透光部分220-2的水平方向上的中心部分具有标记225(标记部分225A至225C)。在图5所示的示例中，标记部分225A、标记部分225B和标记部分225C具有彼此不同的颜色，并且具有指示彼此不同的视线方向的角度的颜色图案。

利用这种结构，例如，即使在内窥镜2具有能够改变焦距的光学变焦功能的情况下，视线方向的角度的掌握也变得更加容易，因为设置在透光部分220-2的水平方向上的中心部分的标记225可以包括在捕获的图像中。

此外，标记225还可以以与参考图4描述的标记221和标记223相同的方式包括对应于色调角度的颜色图案。此外，标记225也可以以与参考图4描述的标记221和标记223相同的方式是半透明的。

此外，期望标记部分225A至225C被设置成使得即使在视线方向以任何方式改变的情况下，标记部分225A至225C中的任何一个也始终包括在捕获的图像中。

注意，图5示出了在标记部分225A和标记部分225B之间以及在标记部分225B和标记部分225C之间不存在(透明)标记的示例，但是标记部分225A至225C也可以在垂直方向上连续设置。利用这种结构，即使在内窥镜2具有光学变焦功能的情况下，例如，标记225的一部分始终包括在捕获的图像中，并且可以掌握角度。

图6是示出具有标记的物镜22(物镜22-3)的另一示例的说明图。图6所示的物镜22-3在透光部分220-3上具有标记227，标记227包括指示视线方向的角度的刻度标记和指示视线方向的角度的字符串(0°，40°，80°和120°)。

利用这种结构，即使在CCU5不执行角度检测或图像处理的情况下，与用户基于已经通过物镜22-3透射的光观察捕获的图像的情况相比，用户也可以更容易地识别视线方向的角度。注意，尽管图6示出了标记227包括指示视线方向的角度的刻度标记和指示视线方向的角度的字符串的示例，但是标记227可以仅包括这些中的一个。

迄今为止，已经对物镜22进行了描述。注意，上述示例仅仅是示例，并且根据本实施方式的物镜22不限于图4至图6所示的示例。例如，根据本实施方式的物镜22可以组合包括上述标记。

随后，返回图2，将继续描述内窥镜2的配置。图2所示的图像形成光学系统24(即，光学形成装置)光学连接到物镜22，并形成通过物镜22透射的光的图像。图像形成光学系统24可以包括例如多个透镜，并且在图像形成光学系统24中包括的多个透镜之中，至少一些透镜可以包括在内侧。此外，在图像形成光学系统24中包括的多个透镜之中，图像形成光学系统24能够随着至少一些透镜的移动或旋转而改变视线方向的角度。此外，透镜的移动和旋转可以结合稍后将描述的角度调整单元26上的用户操作来执行。

注意，因为用于改变视线方向的角度的配置是已知的，所以将省略对图像形成光学系统24的详细描述。

角度调整单元26用于用户调整视线方向的角度，并且可以包括例如刻度盘。例如，随着用户旋转刻度盘，图像形成光学系统24中包括的透镜随着旋转而移动或旋转，并因此，可以调整视线方向的角度。

摄像头200如图2所示光学连接到体管20，并且包括图像传感器202(例如，图像捕获装置)。摄像头200不必电连接到体管20。

图像传感器202通过在图像传感器202的感光表面上接收通过物镜22透射的光来获取捕获的图像，该光通过图像形成光学系统24进行图像形成。具体而言，图像传感器202包括其上设置有光接收元件(例如，光电二极管)的感光表面，接收感光表面上的光，并通过光电转换获取捕获的图像。

图像传感器202的示例包括已知的图像传感器，例如，电荷耦合器件(CCD)图像传感器和互补型金属氧化物半导体(CMOS)图像传感器。由图像传感器202获取的捕获图像传输到稍后将描述的CCU5。

<2-2、CCU的配置>

迄今为止，已经描述了内窥镜2的配置示例。随后，参考图7，将描述作为根据本实施方式的CCU5(例如，处理电路)的示例的CCU5-1的配置示例。图7是示出CCU5-1的功能配置的示例的框图。如图7所示，根据本实施方式的CCU5-1是包括角度指定单元52和图像处理单元54的图像处理设备。

角度指定单元52基于从参考图2描述的摄像头200传输的捕获图像指定(检测)视线方向的角度。如上所述，基于通过物镜22透射的光来获取(捕获)捕获的图像，并且角度指定单元52可以执行对应于物镜22上的标记的图像识别处理，并且可以指定视线方向的角度。

例如，在使用图4所示的物镜22-1的情况下，角度指定单元52可以基于捕获图像中包括的与标记221和标记223相对应的区域的颜色信息来指定视线方向的角度。此外，在这种情况下，角度指定单元52可以指定与捕获图像上的标记221和标记223中的颜色图案的边界相对应的位置，并且可以基于这些位置，指定视线方向的角度。

此外，在使用图5中示出的物镜22-2的情况下，角度指定单元52可以检测与捕获图像的水平方向上的中心部分处的标记部分255A至255C中的任何一个相对应的区域，并且可以分析该区域的颜色信息，从而指定视线方向的角度。

此外，在使用图6所示的物镜22-3的情况下，角度指定单元52可以通过识别包括在捕获图像中的对应于标记227的区域中包括的指示视线方向的角度的刻度标记或数字来指定视线方向的角度。

角度指定单元52向图像处理单元54提供已经指定的视线方向的角度。

图像处理单元54基于由角度指定单元52指定的视线方向的角度，对从摄像头200传输的捕获图像执行图像处理，并生成输出图像。例如，图像处理单元54可以具有如图7所示的颜色校正单元542和组合单元544的功能。

颜色校正单元542执行颜色校正处理(图像处理的示例)，包括基于视线方向的角度减去物镜22的标记中包括的颜色。颜色校正单元542可以执行对应于物镜22的标记的颜色校正处理。

例如，在使用图4所示的物镜22-1的情况下，颜色校正单元542可以执行颜色校正处理，该处理包括：在捕获图像中包括的对应于标记221和标记223的区域上减去对应于视线方向的角度的颜色。

此外，在使用图5所示的物镜22-2的情况下，颜色校正单元542可以执行颜色校正处理，该处理包括：在从捕获图像检测到的对应于标记部分255A至255C中的任一个的区域上减去对应于视线方向的角度的颜色(对应于检测到的标记的颜色)。

组合单元544执行组合处理(图像处理的示例)，包括将指示视线方向的角度的指示符与已经通过颜色校正单元542进行了颜色校正处理的图像进行组合。例如，组合单元544组合的指示符可以包括指示视线方向的角度的字符串。

注意，除了上述图像处理之外，图像处理单元54还可以执行图像处理，例如，伽马校正处理或白平衡调整处理。

通过由图像处理单元54进行图像处理而生成的输出图像被输出到参考图1描述的显示装置9，并且在显示装置9上显示。

图8是示出捕获图像和输出图像的示例的说明图。图8示出了在使用图4所示的物镜22-1的情况下的捕获图像G10和输出图像G20的示例。

图8所示的捕获图像G10包括对应于标记221的区域G12和对应于标记223的区域G14。此外，基于通过半透明标记部分221C透射的光获得区域G12，并且基于通过半透明标记部分223B和半透明标记部分223C透射的光获得区域G14。

图8所示的捕获图像G10输入到其中的角度指定单元52基于区域G12和区域G14的颜色信息以及对应于在区域中包括的颜色图案的边界的位置来指定视线方向的角度。

图8所示的输出图像G20是通过使捕获图像G10经受由图像处理单元54执行的图像处理而生成的，并且是在显示装置9上显示的输出图像。如图8所示，观察输出图像G20的用户能够通过颜色校正处理执行观察，而不受标记221和标记223的影响，该颜色校正处理包括减去对应于标记221的区域G22和对应于标记223的区域G24中的颜色。

此外，图8所示的输出图像G20包括指示视线方向的角度的指示符G26。利用指示符G26，观察输出图像G20的用户能够容易地掌握视线方向的角度。

迄今为止，已经描述了根据本实施方式的配置示例。注意，上述配置示例仅仅是示例，并且本实施方式不限于这样的示例。例如，CCU5不一定具有颜色校正单元542和组合单元544的功能，并且不一定对捕获图像执行包括减去颜色的校正处理或组合处理。在这种情况下，用户可以从显示的图像上示出的标记中掌握视线方向的角度。特别地，在使用参考图6描述的物镜22-3的情况下，即使在指示视线方向的角度的指示符没有与显示的图像组合的情况下，用户也可以容易地掌握视线方向的角度。

<<3、操作>>

迄今为止，已经描述了本实施方式的配置示例。随后，将参考图9描述根据本实施方式的操作示例。图9是示出本实施方式的操作示例的流程图。注意，在根据本实施方式的操作中，图9主要示出了由CCU5-1执行的处理。

首先，如图9所示，角度指定单元52基于捕获的图像指定视线方向的角度(S102)。

随后，图像处理单元54的颜色校正单元542对捕获的图像执行包括减去对应于物镜22的标记的颜色的颜色校正处理，(S104)。

随后，图像处理单元54的组合单元544执行组合处理，包括将指示角度的字符串(指示符的示例)与已经经受步骤S104的颜色校正处理的图像进行组合(S106)。

将由图像处理单元54执行的图像处理(颜色校正处理和组合处理)获得的输出图像输出到显示装置9，并且在显示装置9上显示(S108)。

可以适当地重复上述一系列处理(S102至S108)。

<<4、修改示例>>

迄今为止，已经描述了本公开的实施方式。在下文中，将描述本公开的实施方式的几个修改示例。注意，下面描述的每个修改示例可以单独应用于本公开的实施方式，或者可以组合应用于本公开的实施方式。此外，可以应用每个修改示例，替代本公开的实施方式中描述的配置，或者可以另外应用于本公开的实施方式中描述的配置。

<4-1、修改示例1>

(概述)

在上述实施方式中，已经描述了基于由角度指定单元52指定的视线方向的角度执行图像处理的示例，但是本技术不限于这样的示例。例如，由角度指定单元52指定的视线方向的角度也可以用于除图像处理之外的处理。在下文中，作为修改示例1，将描述由角度指定单元52指定的视线方向的角度用于控制光源(照明)的示例。

图10是示出本修改示例的概述的说明图。如图10所示，根据本修改示例的体管20-2包括沿着物镜22向外部输出照明光的光输出单元27(光输出单元27A至27F)。例如，从参考图1描述的光源装置6输出的光可以通过光缆(未示出)引入到体管20-2，并且可以从光输出单元27输出到外部。

在此处，如果从所有光输出单元27A至27F输出光，则可能输出对成像没有贡献的光，并且存在可能导致功耗增加和光源寿命降低的风险。因此，下面将描述通过基于视线方向的角度对光源进行控制来降低功耗和抑制光源寿命降低的机制。

(配置)

首先，在下文中，参考图11，将描述作为根据本修改示例的CCU5的示例的CCU5-2的配置示例。图11是示出CCU5-2的功能配置的示例的框图。如图7所示，根据本修改示例的CCU5-2是包括角度指定单元52、图像处理单元54和光源控制器56的图像处理设备。图11所示的角度指定单元52的配置和图像处理单元54的配置分别与参考图7描述的角度指定单元52的配置和图像处理单元54的配置大致相同，因此，在此处将省略其描述。

光源控制器56基于由角度指定单元52指定的视线方向的角度来控制光源。例如，光源控制器56可以通过向参考图1描述的光源装置6输出用于控制光源的控制信号来控制光源。

光源控制器56可以控制光源，使得在多个光输出单元27(光输出单元27A至27F)中，从对成像有贡献的一个或多个光输出单元输出光，而不从对成像没有贡献的其他光输出单元输出光，例如，根据视线方向的角度来指定输出单元。例如，在光源装置6包括多个光源并且光源对应于光输出单元27A至27F的情况下，可以执行控制，使得与对成像有贡献的光输出单元27相对应的光源打开，而其他光源关闭。注意，光源控制器56不仅执行完全的开/关控制，还可以控制光源，使得更强的电压施加到对成像有更大贡献的光源，并且更弱的电压施加到对成像没有贡献的光源。

(操作)

迄今为止，已经描述了本修改示例的配置示例。随后，将参考图12描述本修改示例的操作示例。图12是示出本修改示例的操作示例的流程图。注意，在图12所示的处理中，步骤S202至S208的处理类似于参考图9描述的步骤S102至S108的处理，因此将省略对步骤S202至S208的处理的描述。

如图12所示，在步骤S208之后，光源控制器56指定光输出单元27之中的与步骤S202中指定的视线方向的角度相对应的光输出单元(S210)。此外，光源控制器56向光源装置6输出光源控制信号(S212)。

(补充)

迄今为止，已经描述了修改示例1的配置示例和操作示例。根据上述修改示例1，通过基于视线方向的角度对光源进行控制，可以降低功耗并抑制光源寿命的降低。

注意，在上述示例中，已经描述了光源装置6具有光源并且光源控制器56向光源装置6输出用于控制光源的控制信号的示例，但是本修改示例不限于这样的示例。例如，在内窥镜或体管具有光源的情况下，光源控制器56可以向内窥镜或体管输出用于控制光源的控制信号。

<4-2、修改示例2>

(概述)

在上述实施方式中，已经描述了基于由角度指定单元52指定的视线方向的角度来执行颜色校正处理和组合处理的示例，但是本技术不限于这样的示例。例如，可以基于由角度指定单元52指定的视线方向的角度来执行除颜色校正处理和组合处理之外的图像处理。在下文中，作为修改示例2，将描述基于由角度指定单元52指定的视线方向的角度执行相机抖动校正处理的示例。

如参考图2所述，内窥镜2能够通过诸如旋转近在手边的角度调整单元26的操纵来改变视线方向的角度。利用这种操纵，存在可能发生相机抖动的风险，并且相机抖动可能是抑制用户基于内窥镜2执行的成像来观察图像的手术技术的因素。在已经发生这种相机抖动的情况下，假设执行相机抖动校正处理，该处理是用于减少由相机抖动引起的图像干扰的处理。然而，如果执行已知的相机抖动校正处理，则存在可能还抑制由视线方向本身的角度变化(旋转)引起的图像移动的风险，并且存在向用户提供对用户不自然的图像的风险。因此，下面将描述通过基于视线方向的角度执行相机抖动校正处理的更自然地执行相机抖动校正处理的机制。

(配置)

首先，在下文中，参考图13，将描述CCU5-3的配置示例，作为根据本修改示例的CCU5的示例。图13是示出CCU5-3的功能配置的示例的框图。如图13所示，根据本修改示例的CCU5-3是包括角度指定单元52、旋转方向指定单元53和图像处理单元55的图像处理设备。图13所示的角度指定单元52的配置与参考图7描述的角度指定单元52的配置大致相同，因此在此处将省略其描述。

旋转方向指定单元53基于由角度指定单元52指定的视线方向的角度来指定视线方向的旋转方向(视线方向随着用户对角度调整单元26的操作而改变的方向)。例如，旋转方向指定单元53基于视线方向的角度的时间序列变化来指定视线方向的旋转方向。旋转方向指定单元53向图像处理单元55提供指定的旋转方向。

图像处理单元55基于已经基于视线方向的角度指定的视线方向的旋转方向，对捕获的图像执行相机抖动校正处理。例如，根据本修改示例的图像处理单元55具有作为运动检测器551、运动校正单元553、仿射系数计算单元555和仿射变换单元557的功能。图像处理单元55将通过对捕获的图像执行用于相机抖动校正的图像处理而获得的输出图像输出到显示装置9。

运动检测器551从摄像头200传输的时间序列捕获图像中获取指示运动的运动信息。例如，运动信息可以是运动矢量(MV)。

运动校正单元553执行运动校正处理，用于相对于运动信息抑制与由旋转方向指定单元53指定的旋转方向相对应的分量。例如，运动校正单元553可以执行处理，使得在运动信息中，对应于旋转方向的分量被设置为0。运动校正单元553向仿射系数计算单元555提供通过运动校正处理获得的校正运动信息。

仿射系数计算单元555基于由运动校正单元553获得的校正的运动信息来计算相机抖动校正的仿射系数。

仿射变换单元557使用由仿射系数计算单元555计算的仿射系数对捕获的图像执行仿射变换处理。

(操作)

迄今为止，已经描述了本修改示例的配置示例。随后，将参考图14描述本修改示例的操作示例。图14是示出本修改示例的操作示例的流程图。

首先，如图14所示，角度指定单元52基于捕获的图像指定视线方向的角度(S302)。随后，旋转方向指定单元53基于在步骤S302中指定的角度的时间序列变化来指定旋转方向(S304)。

随后，图像处理单元55的运动检测器551从捕获的图像获取指示运动的运动信息(S306)。此外，图像处理单元55的运动校正单元553执行运动校正处理，用于在运动信息之中抑制对应于步骤S306中指定的旋转方向的分量(S308)。

随后，图像处理单元55的仿射系数计算单元555基于通过步骤S308的运动校正处理获得的校正运动信息来计算用于相机抖动校正的仿射系数(S310)。此外，图像处理单元55的仿射变换单元557使用在步骤S310中计算的仿射系数对捕获的图像执行仿射变换处理(S312)。

通过仿射变换处理获得的输出图像输出到显示装置9，并且在显示装置9上显示(S314)。

(补充)

迄今为止，已经描述了修改示例2的配置示例和操作示例。根据修改示例2，通过基于视线方向的角度执行相机抖动校正处理，可以更自然地执行相机抖动校正处理。

注意，通过上述仿射变换的相机抖动校正处理仅仅是示例，并且本修改示例不限于这样的示例，并且可以应用于各种类型的相机抖动校正处理。

此外，尽管上面已经描述了基于旋转方向执行运动校正处理的示例，但是也可以基于旋转量执行运动校正处理。例如，在可以获取到对象的距离的情况下，可以基于视线方向的角度来指定视线方向的旋转量。例如，通过基于旋转方向和旋转量执行运动校正，可以更准确地从运动信息中排除由视线方向的旋转引起的图像运动。此外，除了上述功能之外，图像处理单元55还可以以与参考图7描述的图像处理单元54类似的方式具有作为颜色校正单元542和组合单元544的功能。

<4-3、修改示例3>

在上述实施方式中，描述了在体管20中包括的物镜22具有标记的示例，但是本技术不限于这样的示例。例如，可附接到体管20并且可从体管20拆卸的光学元件(例如，透射至少一些光的帽或滤光器)可以具有标记。在这种情况下，通过光学元件透射的光可以进入物镜22。此外，光学元件可以经由物镜22光学连接到图像形成光学系统24。注意，在这种情况下，物镜22不一定具有标记。

<<5、硬件配置示例>>

迄今为止，已经描述了本公开的实施方式和修改示例。例如，通过下面将要描述的CCU5(CCU5-1、CCU5-2和CCU5-3)的软件和硬件的协作来实现几个信息处理，例如，上述角度指定处理、图像处理和光源控制处理。

图15是示出CCU5的硬件配置的示例的说明图。CCU5包括例如FPGA板501、CPU 502、GPU板5031和5032、存储器504、IO控制器505、记录介质506和接口507。此外，例如，FPGA板501、CPU 502以及GPU板5031和5032经由总线508彼此连接。FPGA板501包括例如FPGA、输入接口和输出接口，输入图像信号(捕获的图像信号)通过输入接口从AV控制器110或内窥镜2输入，输出图像信号通过输出接口输出到AV控制器110或显示装置9。

CPU 502以及GPU板5031和5032执行各种类型的软件，例如，相关软件，并执行各种类型的处理。CPU 502包括处理器。GPU板5031和5032均包括图形处理单元(GPU)和动态随机存取存储器(DRAM)。

存储器504存储各种类型的数据，例如，对应于输入图像信号的数据和对应于输出图像信号的数据。CPU 502具有控制在存储器504中写入各种类型数据和从存储器504中读取各种类型数据的作用。

CPU 502根据存储在存储器504中的数据、GPU板5031和5032的处理能力以及处理细节来划分存储在存储器504中的图像数据。然后，相应的GPU板5031和5032的GPU对所提供的划分的数据执行预定处理，并将处理结果输出到CPU 502。

例如，IO控制器505具有控制CPU 502、记录介质506和接口507之间的信号传输的作用。

记录介质506用作存储装置(未示出)，并存储各种类型的数据，例如，图像数据和应用。在此处，给出固态驱动器，作为记录介质506的示例。此外，记录介质506可以附接至CCU5并且从CCU5拆卸。

接口507的示例包括通用串行总线(USB)终端和处理电路以及局域网(LAN)终端和发送/接收电路。

注意，CCU5的硬件配置不限于图15所示的配置。例如，虽然图15示出了包括两个GPU板5031和5032的示例，但是GPU板的数量可以多于两个。此外，在CPU 502具有GPU功能的情况下，CCU 5不一定包括GPU板5031和5032。

注意，可以创建用于实现根据上述本实施方式的CCU5的每个功能的计算机程序。此外，还可以提供存储计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存。计算机程序可以例如经由网络传送，而不使用记录介质。此外，用于执行计算机程序的计算机的数量没有特别限制。例如，计算机程序可以由相互协作的多台计算机(例如，多台服务器)执行。

<<6、结论>>

如上所述，根据本公开的实施方式，可以更容易地掌握视线方向的角度。

本领域技术人员应该理解，根据设计要求和其他因素，只要在所附权利要求或其等同物的范围内，可以进行各种修改、组合、子组合和变更。

例如，上述实施方式中的步骤不必按照流程图中描述的顺序以时序方式执行。上述实施方式中的过程中的步骤也可以以例如与流程图中描述的顺序不同的顺序执行，或者可以并行执行。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。即，具有或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。

此外，本技术也可以如下配置。

(1)一种内窥镜系统，包括：

内窥镜，包括：

光学元件，包括设置在其上的标记，

光学形成装置，被配置为改变视角，以及

图像捕获装置，经由光学形成装置接收来自光学元件的光；以及处理电路，被配置为

基于图像捕获装置捕获的图像中的标记从该图像识别视角。

(2)根据(1)所述的内窥镜系统，其中，处理电路进一步被配置为控制所识别的视角在显示器上的显示。

(3)根据(1)-(2)所述的内窥镜系统，其中，处理电路进一步被配置为控制所识别的视角在显示器上作为数字的显示。

(4)根据(1)-(3)所述的内窥镜系统，其中，处理电路进一步被配置为在不通过处理图像来显示图像中的标记的情况下，控制由图像捕获装置捕获的该图像的显示。

(5)根据(1)-(4)所述的内窥镜系统，其中，内窥镜进一步包括光源，并且处理电路进一步被配置为控制光源的方向。

(6)根据(5)所述的内窥镜系统，其中，处理电路进一步被配置为基于所识别的视角来控制光源。

(7)根据(1)-(6)所述的内窥镜系统，其中，标记包括多种颜色。

(8)根据(1)-(7)所述的内窥镜系统，其中，标记位于物镜的两侧。

(9)根据(1)-(8)所述的内窥镜系统，其中，标记位于物镜的两侧，并且在每一侧包括不同的颜色图案。

(10)根据(1)-(9)所述的内窥镜系统，其中，处理电路进一步被配置为基于所识别的视角来处理图像。

(11)根据(10)所述的内窥镜系统，其中，处理电路进一步被配置为基于所识别的视角，利用相机抖动校正处理来处理图像。

(12)根据(10)所述的内窥镜系统，其中，光学元件是物镜。

(13)根据(12)所述的内窥镜系统，其中，物镜独立于内窥镜可移动。

(14)一种医疗图像处理装置，包括：

处理电路，被配置为

基于图像中的标记从图像识别视角，

其中，该图像由穿过光学元件上的标记的光而生成，并且

其中，视角相对于内窥镜成像装置中的标记改变。

(15)根据(14)所述的医疗图像处理装置，其中，处理电路进一步被配置为控制所识别的视角在显示器上的显示。

(16)根据(14)-(15)所述的医疗图像处理装置，其中，处理电路进一步被配置为控制所识别的视角在显示器上作为数字的显示。

(17)根据(14)-(16)所述的医疗图像处理装置，其中，处理电路进一步被配置为在不通过处理图像来显示图像中的标记的情况下，控制由图像捕获装置捕获的该图像的显示。

(18)根据(14)-(17)所述的医疗图像处理装置，其中，内窥镜还包括光源，并且处理电路进一步被配置为控制光源的方向。

(19)根据(18)所述的医疗图像处理装置，其中，处理电路进一步被配置为基于所识别的视角来控制光源。

(20)根据(14)-(19)所述的医疗图像处理装置，其中，处理电路进一步被配置为基于所识别的视角来处理图像。

(21)根据(20)所述的医疗图像处理装置，其中，处理电路进一步被配置为基于所识别的视角，利用相机抖动校正处理来处理图像。

(22)一种医疗图像处理方法，包括：

经由处理电路基于图像中的标记从图像识别视角，

其中，由穿过光学元件上的标记的光生成图像，并且

其中，视角相对于包括标记和光学元件的内窥镜成像装置中的标记改变。

(23)一种内窥镜，包括：

光学元件，包括设置在其上的标记；以及

光学形成装置，被配置为相对于光学元件上的标记改变视角。

(24)根据(23)所述的内窥镜，进一步包括：

图像捕获装置，接收穿过光学元件上的标记的光。

(25)一种图像处理设备，包括：

角度指定单元，被配置为基于体内图像来指定视线方向的角度，体内图像基于通过光学元件透射的光，光学元件包括标记并且光学连接到能够改变视线方向的角度的图像形成光学系统；以及

图像处理单元，被配置为对体内图像执行图像处理。

(26)根据(25)所述的图像处理设备，其中，

图像处理单元基于角度指定单元指定的角度执行图像处理。

(27)根据(26)所述的图像处理设备，其中，

标记包括对应于该角度的多种颜色，并且

角度指定单元基于体内图像中包括的对应于标记的区域的颜色信息来指定角度。

(28)根据(27)所述的图像处理设备，其中，

光学元件包括多个标记，

在多个标记中，对于每个标记，多种颜色的边界在垂直方向上的位置不同，并且

角度指定单元进一步基于体内图像中的对应于边界的位置来指定角度。

(29)根据(27)或(28)所述的图像处理设备，其中，

标记是半透明的，并且

图像处理单元执行图像处理，包括在体内图像中包括的对应于标记的区域上减去对应于角度的颜色。

(30)根据(26)至(29)中任一项所述的图像处理设备，其中，

图像处理单元执行图像处理，包括组合指示角度的指示符。

(31)根据(25)至(30)中任一项所述的图像处理设备，其中，

图像处理单元基于由角度指定单元指定的角度执行相机抖动校正处理。

(32)根据(31)所述的图像处理设备，其中，

图像处理单元基于从体内图像获取的运动信息中通过抑制与基于角度指定的旋转方向相对应的分量而获取的校正运动信息，来执行相机抖动校正处理。

(33)根据(25)至(32)中任一项所述的图像处理设备，进一步包括

光源控制器，被配置为基于由角度指定单元指定的角度来执行光源控制。

(34)根据(33)所述的图像处理设备，其中，

光源控制器以这种方式执行光源控制，使得打开基于角度指定的并且对成像有贡献的光源，而关闭另一光源。

(35)根据(33)所述的图像处理设备，其中，

光源控制器以这种方式执行光源控制，使得基于该角度，为对成像有更多贡献的光源提供更强的功率。

(36)根据(25)至(35)中任一项所述的图像处理设备，其中，

图像形成光学系统包括在内窥镜中。

(37)一种图像处理方法，包括：

由处理器基于体内图像指定视线方向的角度，体内图像基于通过光学元件透射的光，光学元件包括标记并且光学连接到能够改变视线方向的角度的图像形成光学系统；并且

对体内图像执行图像处理。

(38)一种光学元件，包括

标记，其中，

光学元件光学连接到能够改变视线方向的角度的图像形成光学系统。

(39)根据(38)所述的光学元件，其中，

标记包括对应于视线方向的角度的多种颜色。

(40)根据(39)所述的光学元件，其中，

光学元件包括多个标记，并且

在多个标记中，对于每个标记，多种颜色的边界在垂直方向上的位置不同。

(41)根据(39)或(40)所述的光学元件，其中，

标记位于光学元件的水平方向的中心部分。

(42)根据(39)至(41)中任一项所述的光学元件，其中，

标记是半透明的。

(43)根据(38)所述的光学元件，其中，

标记包括指示视线方向的角度的刻度标记或指示视线方向的角度的字符串。

附图标记列表

1 内窥镜手术系统

2 内窥镜

3 能量治疗工具

4 镊子

5 CCU(相机控制单元)

6 光源装置

7 治疗工具装置

8 气腹装置

9 显示装置

10 记录器

11 打印机

20 体管

22 物镜

24 图像形成光学系统

26 角度调整单元

27 光输出单元

52 角度指定单元

53 旋转方向指定单元

54、55 图像处理单元

56 光源控制器。

Claims (24)

1.一种内窥镜系统，包括：

内窥镜，包括：

光学元件，包括设置在其上的标记，其中，所述标记布置在所述光学元件的透光部分上，所述光学元件为具有一定厚度的扇形形状，且所述透光部分是所述扇形形状中的弧形区域，

光学形成装置，被配置为改变视角，以及

图像捕获装置，经由所述光学形成装置接收来自所述光学元件的光；以及

处理电路，被配置为

基于所述图像捕获装置捕获的图像中的标记从所述图像识别视角。

2.根据权利要求1所述的内窥镜系统，其中，所述处理电路进一步被配置为控制所识别的视角在显示器上的显示。

3.根据权利要求2所述的内窥镜系统，其中，所述处理电路进一步被配置为控制所识别的视角在显示器上作为数字的显示。

4.根据权利要求1所述的内窥镜系统，其中，所述处理电路进一步被配置为在不通过处理所述图像来显示所述图像中的标记的情况下，控制由所述图像捕获装置捕获的所述图像的显示。

5.根据权利要求1所述的内窥镜系统，其中，所述内窥镜进一步包括光源，并且所述处理电路进一步被配置为控制所述光源的方向。

6.根据权利要求5所述的内窥镜系统，其中，所述处理电路进一步被配置为基于所识别的视角来控制光源。

7.根据权利要求1所述的内窥镜系统，其中，所述标记包括多种颜色。

8.根据权利要求1所述的内窥镜系统，其中，所述标记位于所述光学元件的透光部分的两侧。

9.根据权利要求1所述的内窥镜系统，其中，所述标记位于所述光学元件的透光部分的两侧，并且在每一侧包括不同的颜色图案。

10.根据权利要求1所述的内窥镜系统，其中，所述处理电路进一步被配置为基于所识别的视角来处理图像。

11.根据权利要求10所述的内窥镜系统，其中，所述处理电路进一步被配置为基于所识别的视角，利用相机抖动校正处理来处理所述图像。

12.根据权利要求10所述的内窥镜系统，其中，所述光学元件是物镜。

13.根据权利要求12所述的内窥镜系统，其中，所述物镜是独立于所述内窥镜可移动的。

14.一种医疗图像处理装置，包括：

处理电路，被配置为

基于图像中的标记从所述图像识别视角，

其中，所述图像从穿过光学元件上的所述标记的光而生成，所述标记布置在所述光学元件的透光部分上，所述光学元件为具有一定厚度的扇形形状，且所述透光部分是所述扇形形状中的弧形区域，并且

其中，所述视角相对于内窥镜成像装置中的所述标记改变。

15.根据权利要求14所述的医疗图像处理装置，其中，所述处理电路进一步被配置为控制所识别的视角在显示器上的显示。

16.根据权利要求15所述的医疗图像处理装置，其中，所述处理电路进一步被配置为控制所识别的视角在显示器上作为数字的显示。

17.根据权利要求14所述的医疗图像处理装置，其中，所述处理电路进一步被配置为在不通过处理所述图像来显示所述图像中的标记的情况下，控制由图像捕获装置捕获的所述图像的显示。

18.根据权利要求14所述的医疗图像处理装置，其中，所述内窥镜成像装置进一步包括光源，并且所述处理电路进一步被配置为控制所述光源的方向。

19.根据权利要求18所述的医疗图像处理装置，其中，所述处理电路进一步被配置为基于所识别的视角来控制所述光源。

20.根据权利要求14所述的医疗图像处理装置，其中，所述处理电路进一步被配置为基于所识别的视角来处理所述图像。

21.根据权利要求20所述的医疗图像处理装置，其中，所述处理电路进一步被配置为基于所识别的视角，利用相机抖动校正处理来处理所述图像。

22.一种医疗图像处理方法，包括：

经由处理电路基于图像中的标记从所述图像识别视角，

其中，所述图像从穿过光学元件上的所述标记的光而生成，所述标记布置在所述光学元件的透光部分上，所述光学元件为具有一定厚度的扇形形状，且所述透光部分是所述扇形形状中的弧形区域，并且

其中，所述视角相对于包括所述标记和所述光学元件的内窥镜成像装置中的所述标记改变。

23.一种内窥镜，包括：

光学元件，包括设置在其上的标记，其中，所述标记布置在所述光学元件的透光部分上，所述光学元件为具有一定厚度的扇形形状，且所述透光部分是所述扇形形状中的弧形区域；以及

光学形成装置，被配置为相对于所述光学元件上的所述标记改变视角。

24.根据权利要求23所述的内窥镜，进一步包括：

图像捕获装置，接收穿过所述光学元件上的所述标记的光。

Images