CN108697308A - 图像处理装置、图像处理方法和记录介质 - Google Patents

Abstract

一种医学成像系统，具有：图像传感器；耦接到图像传感器的双折射掩模；以及处理电路，从图像传感器获得图像数据并且基于耦接的医学装置的独特光学特性对图像数据进行处理，其中，处理包括基于独特光学特性来选择景深扩展和模糊改善中的至少一者。

Description

图像处理装置、图像处理方法和记录介质

交叉引用相关申请

本申请要求于2016年3月9日提交的日本优先权专利申请JP 2016-045244的权益，其全部内容通过引用结合于此。

技术领域

本公开涉及一种图像处理装置、一种图像处理方法和一种记录介质。

背景技术

近年来，由于手术技术和手术器械的发展，常常进行在诸如手术显微镜或内窥镜等医学观察装置用于观察患部的同时进行各种治疗的手术(所谓的显微手术)。另外，不仅提出了能够在光学上观察患部的这种装置，而且还提出了被配置为在诸如监视器等显示装置上作为电子图像显示由成像装置(相机)等捕获的患部的图像的装置。例如，在PTL 1中，公开了可以在显示单元上显示由成像装置捕获的患部的图像的所谓电子内窥镜系统的示例。

引用列表

专利文献

专利文献1：JP 2002-45354A

发明内容

技术问题

顺便提及，在应用于医学观察装置的成像装置中，根据用于在成像元件上形成主体图像的光学系统(例如，内窥镜)的特性，在所捕获的图像中可能发生所谓的模糊。在这种情况下，焦点与主体的一部分不匹配，并且难以观察主体，并且例如，可能需要使焦点相对于主体重新匹配。因此，在这种情况下，例如，需要提供一种机构，在某些情况下，通过该机构可以获取具有更高景深的图像。

另外，在医疗护理领域，由于在进行所谓的特殊光观察时观察环境的差异、诸如样本或患部等观察目标的差异以及根据手术的手术过程的观察方法的差异(换言之，观察模式和观察场景的差异)，因此用于观察主体图像的条件可能不同。在这种情况下，所获取的主体图像所需的特性(例如，诸如景深和模糊量(换言之，分辨率的感知)等观察范围的宽度)可能不同。

因此，本公开提出了一种图像处理装置、一种图像处理方法和一种记录介质，通过其可以根据与主体图像的观察相关的状态和情况以更适当的方式观察主体图像。

解决问题的方法

根据本公开的实施方式，描述了一种医学成像系统。该系统包括：图像传感器；双折射掩模，耦接到图像传感器；以及处理电路，被配置为：从图像传感器获得图像数据，并且基于耦接的医学装置的独特光学特性对图像数据进行处理，其中，处理包括基于独特光学特性来选择景深扩展和模糊改善中的至少一者。

根据本公开的实施方式，描述了一种医学图像处理设备。该医学图像处理设备包括处理电路，处理电路被配置为：从具有耦接至其的双折射掩模的图像传感器获得图像数据，并且基于耦接的医学装置的独特光学特性对图像数据进行处理，其中，处理包括基于独特光学特性的景深扩展和模糊改善中的至少一者。

根据本公开的实施方式，描述了一种医学图像处理方法。该医学图像处理方法包括以下步骤：从具有耦接至其的双折射掩模的图像传感器获得图像数据；基于耦接的医学装置的独特光学特性对图像数据进行处理，处理包括基于独特光学特性的景深扩展和模糊改善中的至少一者；并且输出所生成的图像。

发明的有益效果

根据上述本公开的实施方式，提供了通过其可以根据与主体图像的观察相关的状态和情况以更适当的方式观察主体图像的一种图像处理装置、一种图像处理方法和一种记录介质。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书掌握的其他效果。

附图说明

[图1]图1是用于描述根据本公开的实施方式的内窥镜装置的示意性配置的示例的说明图。

[图2]图2是用于描述应用于根据该实施方式的内窥镜装置的光学元件的示意性配置的示例的说明图。

[图3]图3是用于描述根据该实施方式的内窥镜装置的配置的示例的说明图。

[图4]图4是用于描述根据该实施方式的光学元件的特性的说明图。

[图5]图5是用于描述根据该实施方式的光学元件的特性的说明图。

[图6]图6是用于描述应用于根据该实施方式的内窥镜装置的光学元件的特性的示例的说明图。

[图7]图7是示出根据该实施方式的图像处理装置的功能配置的示例的方框图。

[图8]图8是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图。

[图9]图9是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图。

[图10]图10是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图。

[图11]图11是示出根据该实施方式的图像处理装置的一系列处理的流程的示例的流程图。

[图12]图12是用于描述在根据示例1-1的内窥镜装置中获取PSF信息的方法的示例的说明图。

[图13]图13是用于描述在根据示例1-2的内窥镜装置中获取PSF信息的方法的示例的说明图。

[图14]图14是用于描述在根据示例1-2的内窥镜装置中获取PSF信息的方法的示例的说明图。

[图15]图15是用于描述在根据示例1-3的内窥镜装置中获取PSF信息的方法的示例的说明图。

[图16]图16是用于描述与根据示例2-1的图像处理装置中计算PSF信息有关的控制的示例的说明图。

[图17]图17是用于描述与根据示例2-2的图像处理装置中计算PSF信息有关的控制的示例的说明图。

[图18]图18是用于描述与根据示例2-2的图像处理装置中计算PSF信息有关的控制的示例的说明图。

[图19]图19是用于描述与根据示例2-3的图像处理装置中计算PSF信息有关的控制的示例的说明图。

[图20]图20是用于描述与根据示例2-7的图像处理装置切换PSF信息有关的控制的示例的说明图。

[图21]图21是示出根据该实施方式的内窥镜装置的信息处理设备的硬件配置的配置示例的功能方框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略这些结构元件的重复说明。

在下文中，按照以下顺序进行描述。

1.系统概述

2.光学元件的配置

3.恢复处理

3.1.图像处理装置的配置

3.2.图像处理装置的处理

4.示例

4.1.示例1：获取每个器械的PSF信息

4.2.示例2：根据各种条件计算PSF信息的示例

5.硬件配置

6.结论

<<1.系统概述>>

首先，将描述可以应用根据本公开的技术的示例性系统的概述。图1示出了根据该实施方式的医学图像处理系统1的示意性配置的示例。医学图像处理系统1是内窥镜手术系统。在图1的示例中，外科医生(医生)3使用医学图像处理系统1并且对病床5上的患者7进行内窥镜手术。医学图像处理系统1包括内窥镜10、另一手术器械(手术工具)30、被配置为支撑内窥镜10的支撑臂装置40、以及安装有用于内窥镜手术的各种装置的推车50。

在内窥镜手术中，取代切开腹壁的剖腹手术，腹壁被多个被称为套管针的多个柱形开口器械37a至37d穿刺。然后，通过套管针37a至37d将内窥镜10的透镜镜筒11和手术工具30插入到患者7的体腔内。在图1的示例中，作为手术工具30，示出了气腹管31、能量治疗器械33和钳子35。能量治疗器械33用于使用高频电流或超声波振动来治疗，例如，切开或剥离组织或者缝合血管。然而，所示的手术工具30仅仅是示例。可以使用另一种手术工具(例如，镊子或牵开器)。

通过显示装置53显示由内窥镜10捕获的患者7的体腔的图像。外科医生3在实时查看显示图像的同时使用能量治疗器械33和钳子35进行治疗(例如，切除患部)。尽管未示出，但是气腹管31、能量治疗器械33和钳子35在手术期间由外科医生3或助手等用户支撑。

支撑臂装置40包括从基部41延伸的臂部43。在图1的示例中，臂部43包括接头部45a、45b和45c以及连杆47a和47b，并且支撑内窥镜10。根据来自臂控制装置57的控制而驱动臂部43。结果，控制内窥镜10的位置和取向，并且内窥镜10的位置可以稳定地固定。

内窥镜10包括透镜镜筒11和连接到透镜镜筒11的基端的摄像头13。将距透镜镜筒11的远端一定长度的部分插入到患者7的体腔中。虽然在图1的示例中，内窥镜10被配置为包括刚性透镜镜筒11的所谓的刚性内窥镜，但是内窥镜10可以被配置为柔性内窥镜。

在透镜镜筒11的远端设置物镜装配到其中的开口。光源装置55连接至内窥镜10。从光源装置55生成的光由延伸到透镜镜筒11内部的光导引导到透镜镜筒的远端，并通过物镜朝向患者7的体腔内的观察目标发射。可替换地，内窥镜10可以是直视内窥镜、透视内窥镜或侧视内窥镜。

摄像头13包括照明单元和其中包括光学系统、驱动系统和图像传感器的成像单元。照明单元发射从光源装置55通过光导提供给主体的照明光。光学系统通常包括透镜单元，并且将从透镜镜筒11的远端捕获的来自主体的观察光(照明光的反射光)收集到图像传感器上。当驱动该驱动系统时，在透镜单元中的变焦透镜和聚焦透镜的位置可以改变，以可变地控制诸如放大倍率和焦距等成像条件。摄像头13的图像传感器对由光学系统收集的观察光进行光电转换并生成作为电信号的图像信号。图像传感器可以是包括生成三种颜色分量的图像信号的分开的成像元件的三板型传感器，或者可以是诸如单板型或双板型等另一种图像传感器。图像传感器可以包括任何类型的成像元件，例如，互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。由图像传感器生成的图像信号作为原始数据传输到相机控制单元(CCU)51。

在某些实施方式中，由摄像头13生成的图像信号表示的捕获图像包括视差确定图像。视差确定图像通常包括右眼图像和左眼图像。右眼图像和左眼图像可以分别由复眼相机的右眼图像传感器和左眼图像传感器生成。可替换地，右眼图像和左眼图像可以由单眼相机的单个图像传感器(例如，使用快门切换方法)生成。

CCU 51通过信号线和通信接口连接到摄像头13。摄像头13与CCU 51之间的信号线是可以通过其进行双向通信的高速传输线，例如，光缆。CCU 51包括诸如中央处理单元(CPU)等处理器和诸如随机存取存储器(RAM)等存储器，并且控制内窥镜10和显示装置53的整体操作。CCU 51还可以包括用于暂时存储图像信号的帧存储器和用于执行图像处理的至少一个图形处理单元(GPU)。例如，CCU 51基于从摄像头13输入的视差确定图像来确定每个像素(或其他单位)的视差。所确定的视差可以用于图像处理，例如，生成立体图像、增加景深、加重立体感或扩展动态范围。CCU 51可以将生成的图像作为图像处理结果输出到用于显示的显示装置53或用于记录的记录器65。一系列输出图像可以形成运动图像(视频)。在CCU 51中执行的图像处理可以包括通常的处理，例如，显影和降噪。另外，CCU 51将控制信号传输到摄像头13并控制摄像头13的驱动。控制信号可以包括例如用于指定上述成像条件的信息。

显示装置53在CCU 51的控制下基于输入的显示图像信号来显示立体图像。显示装置53可以使用诸如主动快门方法、被动方法和无玻璃方法等任一种方法来显示立体图像。

光源装置55例如包括LED、氙灯、卤素灯、激光光源或者包含其组合的光源，并且通过光导将要朝向观察目标发射的照明光提供给内窥镜10。

臂控制装置57包括处理器，例如，CPU，并且根据预定的程序来操作，从而控制支撑臂装置40的臂部43的驱动。

输入装置59包括至少一个输入界面，通过该输入界面接收到医学图像处理系统1的用户输入。用户可以通过输入装置59向医学图像处理系统1输入各种信息或输入各种指令。例如，用户可以通过输入装置59输入下面要描述的设置信息或其他参数。另外，例如，用户可以输入用于驱动臂部43的指令、用于改变内窥镜10中的成像条件(例如，照明光的类型、放大倍率和焦距)的指令或用于通过输入装置59驱动能量治疗器械33的指令。

输入装置59可以处理任何类型的用户输入。例如，输入装置59可以通过诸如鼠标、键盘、开关(例如，脚踏开关69)或控制杆等机构检测物理用户输入。输入装置59可以通过触摸面板检测触摸输入。输入装置59可以以诸如眼镜式装置或头戴式显示器(HMD)等可穿戴装置的形式来实现，并且可以检测用户的视线或姿势。另外，输入装置59可以包括能够收集用户的语音的麦克风，并且通过麦克风检测语音命令。

治疗器械控制装置61控制能量治疗器械33的驱动，以便进行诸如切除或切开组织或缝合血管等治疗。气腹装置63通过气腹管31将气体送到体腔内，以使患者7的体腔充气，从而确保内窥镜10观察到的视野并且确保外科医生的工作空间。记录器65在记录介质中记录关于医疗护理操作的各种信息(例如，从生命传感器(未示出)获取的设置信息、图像信息和测量信息中的至少一个)。打印机67以任何文本、图像和图形的格式打印关于医疗护理操作的各种信息。

根据本实施方式的内窥镜10可以具有以下配置：其中，诸如所谓的光学掩模等光学元件12可插入在透镜镜筒11和摄像头13之间。光学元件12的示例包括双折射掩模(BM)和立方相位掩模。在根据本实施方式的医学图像处理系统1中，当光学元件12插入在透镜镜筒11和摄像头13之间时，被配置为在摄像头13中的成像元件上形成主体的图像的一系列光学系统的光学特性被改变，并且捕获的图像中的模糊量(例如，控制景深)被改变。下面将单独地详细描述光学元件12。

上面参考图1描述了可以应用根据本公开的技术的示例性系统的概述。

<<2.光学元件的配置>>

接下来，参考图2至图6，详细描述在根据本实施方式的内窥镜10中插入在透镜镜筒11与摄像头13之间的光学元件12的特性。

近年来，还提出了在诸如相机等成像装置中使用的成像元件(例如，图像传感器)，这些成像元件具有趋于变得更高的分辨率，并且不限于“HD(1280×720)”，而且具有“4KUHD(3840×2160)”和“8K UHD(7680×4320)”。因此，对于诸如根据本实施方式的内窥镜10等医学观察装置，捕获的图像的高分辨率是期望的。另一方面，成像元件的像素尺寸趋于在较高分辨率下较小，并且在每个像素处收集的光的光强度趋于相对较小。在这种情况下，例如，当光圈更加敞开(即，F值被设置得更小)时，可以补偿光强度的不足。然而，由于打开光圈，景深可能变得更窄。鉴于上述情况，根据本实施方式的内窥镜10具有以下配置：其中，如上所述，光学元件12可插入在透镜镜筒11和摄像头13之间，并且当插入光学元件12时捕获的图像的景深被控制。

例如，图2是用于描述应用于根据本实施方式的内窥镜10的光学元件12的示意性配置的示例的说明图。具体地，图2示出了将光学元件12配置为双折射掩模的示例，并且示出了当在摄像头的光轴方向上观察光学元件12时光学元件12的配置的示例。在图2中，在图中，横向被定义为x方向，纵向被定义为y方向，并且深度方向(即，摄像头13的光轴方向)被定义为z方向。在下面的描述中，当没有特别限定时，成像装置(例如，成像装置3)的光轴方向(换言之，深度方向)被定义为z方向，并且由成像装置捕获的图像的横向和纵向(即，与光轴垂直的方向)分别被定义为x方向和y方向。

如图2所示，在光学元件12中，在由附图标记125指示的区域的内部，多个偏振元件121至123从区域125的中心附近朝向外部设置。作为更具体的示例，在图2所示的示例中，在光学元件12中，多个偏振元件121至123同心地设置在垂直于光轴的xy平面上。在图2所示的箭头示意性地表示箭头所分配的偏振元件的偏振方向。即，偏振元件121至123被设置为使得相邻偏振元件的偏振方向被设置为彼此不同。

例如，在图2所示的示例中，偏振元件121的偏振方向是x方向。另一方面，与偏振元件121相邻的偏振元件122的偏振方向是作为从偏振元件121的偏振方向(x方向)旋转90°的方向的y方向。类似地，与偏振元件122相邻的偏振元件123的偏振方向是作为从偏振元件122的偏振方向(y方向)旋转90°的方向的x方向。

在这种配置中，由透镜镜筒11收集的光根据垂直于光轴(z方向)的xy平面上的位置入射到光学元件12的偏振元件121至123中的任一个上，并且由偏振元件偏振的光入射到摄像头13上。

只要光学元件12可以插在透镜镜筒11和摄像头13之间，内窥镜10的配置就不受特别限制。例如，图3是用于描述本实施方式的内窥镜10的配置的示例的说明图，并且示出了将光学元件12插在透镜镜筒11与摄像头13之间的配置的示例。

作为具体示例，由附图标记10a表示的内窥镜的配置示例是光学元件12被配置为透镜镜筒11的一部分的示例。具体地，在内窥镜10a中，光学元件12a保持在将安装在透镜镜筒11a内的摄像头13a处的端部侧。在这种配置中，由透镜镜筒11a收集的光在发射到透镜镜筒11a的外部时穿过光学元件12a，并且已经穿过光学元件12a的光入射到摄像头13a上。在这种配置中，可以执行对内窥镜最佳的景深增加处理。

另外，作为另一示例，由附图标记10b表示的内窥镜的配置示例是光学元件12被配置为摄像头13的一部分的示例。具体地，在内窥镜10b中，光学元件12b保持在将安装在摄像头13b内的透镜镜筒11b处的端部侧。在这种配置中，由透镜镜筒11b收集的光在入射到摄像头13b上时穿过光学元件12b。在这种配置中，除了专用内窥镜之外，还可以使用现有技术的内窥镜来执行景深增加处理。

另外，由附图标记10c表示的内窥镜的配置示例是光学元件12被配置为所谓的附件的示例。具体地，光学元件12具有相对于透镜镜筒11c和摄像头13c可拆卸的配置，并且插入在透镜镜筒11c和摄像头13c之间。在这种配置中，当光学元件12c安装为插在透镜镜筒11c和摄像头13c之间时，由透镜镜筒11c收集的光穿过光学元件12c，并且然后入射到摄像头13c上。由于这种配置可以支持各种内窥镜和摄像头，因此可以容易采用。

应该注意的是，图3所示的配置示例仅仅是示例。只要光学元件12可以插在透镜镜筒11和摄像头13之间，内窥镜10的配置就不限于图3所示的配置示例。

在此，将参考图4和图5，描述图2所示的光学元件12的特性。图4和图5是用于描述根据本实施方式的光学元件12的特性的说明图。具体地，图4是光学元件12未插在透镜镜筒11与摄像头13之间的示例，并且示意性地示出了由透镜镜筒11收集并引导至摄像头13的光的光路。另外，图5是光学元件12插在透镜镜筒11和摄像头13之间的示例，并且示意性示出了由透镜镜筒11收集并通过光学元件12引导至摄像头13的光的光路。

在图4所示的示例中，控制由透镜镜筒11收集并引导到摄像头13的光的光路，以由摄像头13的图像形成光学系统在成像元件的图像平面上形成图像。在图4中，由附图标记v11指示的图像示意性地示出形成在由附图标记p11指示的位置处的主体图像。另外，由附图标记v13指示的图像示意性地示出了在由附图标记p13指示的位置处形成的主体图像。

另一方面，在图5所示的示例中，由透镜镜筒11收集的光通过光学元件12引导到摄像头13，并且其光路由摄像头13的图像形成光学系统控制。在图5中，由附图标记v21指示的图像示意性地示出在由附图标记p11指示的位置处形成的主体图像。另外，由附图标记v23指示的图像示意性地示出在由附图标记p13指示的位置处形成的主体图像。

比较图4和图5，当插入光学元件12时，改变被配置为在摄像头13的成像元件上形成主体图像的一系列光学系统(在下文中简称为“一系列光学系统”)的特性。具体地，当插入光学元件12时，与未插入光学元件12时相比，位置p11与位置p13之间形成的主体图像的形状变化(即，点扩散函数(PSF))较小。

例如，图6是用于描述应用于根据本实施方式的内窥镜10的光学元件12的特性的示例的说明图，并且示出了插入光学元件12的一系列光学系统的调制传递函数(MTF)的变化的示例。在图6中，横轴表示将一系列光学系统的图像形成平面(换言之，焦点位置)用作基准的光轴方向上的偏差(即，散焦量)，并且纵轴表示调制传递函数(MTF)。另外，在图6中，由附图标记g11表示的曲线图示出了一系列光学系统的调制传递函数(MTF)的示例，其中，如图4所示，光学元件12未插在透镜镜筒11和摄像头13之间。另外，由附图标记g13表示的曲线图示出了一系列光学系统的调制传递函数(MTF)的示例，其中，如图5所示，光学元件12插入在透镜镜筒11和摄像头13之间。

如图6所示，与不应用光学元件12时相比，在应用光学元件12时，一系列光学系统的特性改变，使得调制传递函数(MTF)分布在光轴方向上的较宽范围上。即，当应用光学元件12时，可以进一步增加景深。

另一方面，从图6中可以看出，当应用光学元件12时，与未应用光学元件12时相比，焦点位置处的调制传递函数(MTF)的值减小。在此处，在根据本实施方式的医学图像处理系统1中，如图5所示，当对由摄像头13捕获的图像执行恢复处理(图像处理)时，恢复图像，以减小当调制传递函数(MTF)的值降低时发生的主体图像的劣化(所谓的模糊)。例如，在图5中，由参考符号v25指示的图像示出了当对主体图像v23执行恢复处理时已经对其执行了恢复处理的主体图像的示例。根据这种控制，例如，景深增加，并且可以获得更清楚地呈现观察目标的图像(即，更清晰的图像)。

另外，在使用内窥镜装置或所谓的手术显微镜等医学观察装置观察样本时，也可以假设观察样本的条件(换言之，样本的图像所需的条件)根据观察环境、观察目标和观察方法的不同而有所不同。作为一个具体示例，在接近鼻子、耳朵和大脑的深部的手术中，由于手术视野狭长，在某些情况下，需要获取具有更宽景深的图像。另外，作为另一示例，在需要更精细手术的手术中，例如，在对大脑表面的血管进行治疗的情况下，需要获取即使景深略浅该图像的分辨率感知也更好的图像。

鉴于这种情况，在根据本实施方式的医学图像处理系统1中，根据与样本的观察有关的条件，来控制恢复处理的内容，例如，用作观察目标的光分量的波长的范围、图像高度(换言之，图像中的区域)和深度方向(即，光轴方向)(在下文中，通常称为“观察范围”)、观察环境、观察目标和观察方法(例如，观察模式)。在这种配置中，根据本实施方式的医学图像处理系统1可以获取一种图像，其中根据例如在进行所谓的特殊光观察时观察环境的条件以及用作观察目标的主体(即，例如，样本或患部)的特性(例如，颜色分量的分布和亮度的分布)，可以以更适当的方式观察该观察目标。下面将结合图像处理装置的功能配置的示例(即，在图1中的CCU 51内进行图像处理的部分的配置)来单独描述恢复处理(图像处理)的细节。

上面参考图2至图6，详细描述了根据本实施方式的内窥镜10中插入在透镜镜筒11和摄像头13之间的光学元件12的特性。虽然上面已经描述了光学元件12被配置为双折射掩模的示例，但是只要可以如参考图4至图6所描述的那样改变一系列光学系统的特性，配置不受特别限制。具体地，如上所述，光学元件12可以被配置为立方相位掩模。

<<3.恢复处理>>

接下来，将特别着重描述用于实现上述恢复处理(图像处理)的配置和处理，作为根据本实施方式的医学图像处理系统1的特性。

<3.1.图像处理装置的配置>

首先，参考图7描述在图1所示的CCU 51的各种配置中的作为图像处理装置而特别操作的部分的功能配置的示例。图7是示出根据本实施方式的图像处理装置的功能配置的示例的方框图。

如图7所示，根据本实施方式的图像处理装置510包括PSF获取单元511、PSF存储单元512、控制单元513、加权控制单元514、PSF计算单元515、选择单元516和图像处理单元517。

如在图1所示的透镜镜筒11和光学元件12中那样，PSF获取单元511基于例如点扩散函数(psf)的测量结果来获取表示一系列光学系统的特性的信息，作为PSF信息，这些光学系统被配置为在摄像头13中的成像元件上形成主体图像。用于获取PSF信息的触发(即，测量psf的触发)的示例包括在运送内窥镜10时、在观察样本之前(在手术之前)、以及在观察样本时(在手术期间)的触发。下面将使用示例来单独地详细描述在每个触发器中获取PSF信息的方法(即，测量psf的方法)。

PSF获取单元511基于用于观察样本的器械(例如，摄像头13的光学系统、连接到摄像头13的透镜镜筒11和光学元件12)的psf的测量结果来获取与该器械对应的PSF信息。另外，在这种情况下，PSF获取单元511可以基于在观察范围的每个条件下测量的每个器械的psf，来获取与观察范围的每个条件的器械对应的PSF信息。

观察范围的条件的示例包括例如图像高度的范围的条件、光轴方向上的距离和波长。在本说明书中，“图像高度”对应于要在图像形成平面中使用的光学系统的位置，换言之，对应于使用光学系统捕获的图像中的位置。可以为在光学系统的图像形成平面上彼此垂直的方向(即，x方向和y方向)设置图像高度的范围的条件。另外，在本说明书中，“光轴方向上的距离的范围”对应于要使用的光学系统(例如，透镜镜筒11和光学元件12)与样本(主体)之间的光学系统的光轴方向(在下文中称为z方向)上的距离的范围。另外，在本说明书中，“波长的范围”表示在由光学系统(例如，透镜镜筒11和光学元件12)收集的并且由成像元件捕获的光内用作观察目标的光分量(例如，光谱分量)的波长的范围。

然后，PSF获取单元511将所获取的与每个器械对应的PSF信息与指示器械的识别信息以及指示在PSF存储单元512中测量PSF时的观察范围的条件的信息相关联地存储。指示每个器械的识别信息的示例包括器械的型号和序列号(S/N)。

PSF存储单元512存储由PSF获取单元511获取的PSF信息.。PSF存储单元512可以被配置为例如所谓的数据库(DB)。PSF存储单元512将与每个器械(即，透镜镜筒11、光学元件12和摄像头13)对应的PSF信息与指示器械的信息以及指示用于获取PSF信息的条件(例如，观察范围的条件)的信息相关联地存储。作为更具体的示例，PSF存储单元512可以针对光学特性改变的每个组合(例如，透镜镜筒11和摄像头13的组合、光学元件12的安装或不安装、以及光学元件12的类型)存储PSF信息。在这种情况下，上述PSF获取单元511可以获取光学特性改变的每个组合的PSF信息。

另外，PSF存储单元512可以选择性地输出存储的PSF信息。作为具体示例，PSF存储单元512从下面描述的控制单元513接收每个器械的识别信息的通知，将与该识别信息相关联的PSF信息输出到下面描述的PSF计算单元515。

控制单元513控制医学图像处理系统1(特别是内窥镜10)的各种操作。控制单元513可以指示PSF存储单元512根据安装在诸如摄像头13、透镜镜筒11和光学元件12等医学图像处理系统1处的器械(即，用于观察样本的器械)来输出与器械对应的PSF信息。在这种情况下，例如，控制单元513识别例如摄像头13、透镜镜筒11和光学元件12的每个器械(例如，从每个器械的元信息获取)，并且可以基于识别结果向PSF存储单元512通知与该器械对应的识别信息。因此，PSF存储单元512可以基于已经通知的识别信息来提取要输出的PSF信息。只要控制单元513可以识别诸如摄像头13、透镜镜筒11和光学元件12等各种器械，其方法不受特别限制。例如，控制单元513从器械获取存储在每个器械中的识别信息，从而可以识别该器械。

加权控制单元514和PSF计算单元515根据与样本观察相关的条件将权重分配给根据要使用的器械而从PSF存储单元512输出的PSF信息，并且根据该条件计算PSF信息。

具体地，加权控制单元514根据与样本观察相关的各种条件和用于调整该范围内的调制传递函数(MTF)的值(换言之，模糊量)的权重，根据用作加权目标的范围的条件(换言之，与观察范围有关的条件)，计算扩散函数。如上所述，观察范围的条件包括例如用作观察目标的光分量的波长(λ)的范围、图像中的区域(x，y)和深度方向(z)。

具体地，在根据用作观察目标的光分量(例如，光谱分量)向PSF信息分配权重时，加权控制单元514计算用于根据光分量的波长(λ)调整模糊量的扩散函数Ch(λ)。作为具体示例，在将红色分量(R)作为目标来向PSF信息分配权重时，加权控制单元514例如可以计算用于向每个波长的例如红色像素(R像素)的灵敏度分配权重的扩散函数Ch(λ)。在以下描述中，具体地，与红色分量(R)、绿色分量(G)、蓝色分量(B)和红外分量(IR)对应的扩散函数Ch(λ)可以被称为R(λ)、G(λ)、B(λ)和IR(λ)。

例如，图8是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图，并且示出了与红色分量对应的扩散函数R(λ)的示例。在图8中，横轴表示波长(λ)，纵轴表示灵敏度。可以不仅考虑R像素的灵敏度而且还考虑照明光的特性(称为照明光信息)和光学系统的特性来计算扩散函数R(λ)。另外，虽然该描述集中于与红色分量对应的扩散函数R(λ)的示例，但是该描述也适用于与其他光谱分量对应的扩散函数(即，扩散函数G(λ)、B(λ)和IR(λ))。

只要可以计算与每个光谱分量对应的扩散函数，计算扩散函数的方法不一定限于上述示例。例如，即使应用了提供与红外光对应的像素(IR像素)的成像元件，例如，根据R像素、G像素和B像素中的红外光(IR)的灵敏度，可以计算用于为每个波长的像素的灵敏度分配权重的扩散函数，作为对应于红外分量(IR)的扩散函数IR(λ)。

另外，在根据深度方向(即，光轴方向)上的位置向PSF信息分配权重时，加权控制单元514根据深度方向上(即，z方向)的位置计算用于调整模糊量的扩散函数a(z)。

例如，图9是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图，并且示出了用于根据深度方向上的位置分配权重的扩散函数a(z)的示例。在图9中，横轴表示将焦点位置用作基准的光轴方向(z方向)的偏差(即，散焦量)，并且纵轴表示权重的大小。在图9中，扩散函数a₁₁(z)示出了当将焦点位置用作基准来将权重均匀地添加到其目标是光轴方向上的预定范围的调制传递函数(MTF)的值中时的扩散函数的示例。另外，扩散函数a₁₂(z)示出当将焦点位置用作参考来根据光轴方向上的位置改变要添加的权重时的扩散函数的示例。更具体地，扩散函数a₁₂(z)对应于不改善焦点位置处的调制传递函数(MTF)的扩散函数，但是进一步改善了在焦点位置之前和之后的调制传递函数(MTF)。即，当使用扩散函数a₁₂(z)时，例如，由于在焦点位置之前和之后发生的模糊减少，所以与应用扩散函数a₁₁(z)时相比，可以进一步扩展景深。

另外，在根据图像中的区域(换言之，图像高度)向PSF信息分配权重时，加权控制单元514计算用于根据图像中的区域(即，在x方向和y方向上)调整模糊量的扩散函数d(x，y)。

例如，图10是用于描述用于向PSF信息分配权重的扩散函数的示例的说明图，并且示出了用于根据图像中的区域向PSF信息分配权重的扩散函数d(x，y)的示例。在图10中，上图是示意性地示出图像中的扩散函数d(x，y)的分布的曲线图，横轴表示在图像的横向上的位置(x)，并且纵轴表示在图像的纵向上的位置(y)。另外，下图是在x方向在上图中由虚线表示的部分中的扩散函数d(x，y)的曲线图，类似于上图横轴表示在图像的横向上的位置(x)，纵轴表示权重。

另外，与样本观察有关的条件的示例包括根据手术的手术过程、基于当由摄像头13将样本成像时的预定自动聚焦(AF)方法的焦点检测的控制状态以及焦点检测的检测状态来选择的观察模式。

例如，加权控制单元514可以决定是否希望进一步扩展景深，或者希望基于根据手术的手术过程选择的观察模式来进一步增加分辨率感知。在这种情况下，加权控制单元514基于判定结果来计算用于根据深度方向上的位置向PSF信息分配权重的扩散函数a(z)。另外，作为另一示例，加权控制单元514可以将光谱分量的至少一部分用作目标，基于根据诸如特殊光观察等观察方法选择的观察模式来计算用于根据光分量的波长向PSF信息分配权重的扩散函数Ch(λ)。特殊光观察的示例包括近红外荧光观察。另外，在这种情况下，加权控制单元514可以将多个光谱分量用作目标来为每个光谱分量计算扩散函数Ch(λ)。下面将参考实施方式单独描述与观察样本有关的各种条件与上述各种扩散函数之间的关系的更具体的示例。

如上所述，加权控制单元514根据与样本观察有关的条件计算扩散函数，并将计算出的扩散函数输出到PSF计算单元515。

PSF计算单元515从加权控制单元514获取根据与样本观察相关的条件计算出的扩散函数。另外，PSF计算单元515根据用于从PSF存储单元512观察样本的器械获取PSF信息(在下文中，称为“每个器械的PSF信息”)。然后，PSF计算单元515基于获取的扩散函数为每个器械获取的PSF信息分配权重，并根据与观察样本有关的条件计算新PSF信息。

PSF计算单元515可以计算用于用作观察目标的光分量的波长(λ)的范围、图像中的区域(x，y)和深度方向(z)的每个条件(即，观察范围的每个条件)的新PSF信息。

例如，下面的(公式1)表示以下示例，其中，主要将红色分量(R)用作目标，将根据光分量的波长(λ)的权重分配给每个器械的PSF信息，因此，计算根据与样本观察有关的条件的新PSF信息。在(公式1)中，psf(λ，x，y，z)表示每个器械的PSF信息。另外，R(λ)表示对应于上述红色分量的扩散函数。

[数学式1]

psf_R(x，y，z)＝∫_λR(λ)[psf(λ，x，y，z)]dλ (公式1)

另外，相对于(公式1)中所示的psf_R(x，y，z)，另外，可以基于根据深度方向的扩散函数来分配权重。例如，下面的(公式2)表示示例，其中，将基于根据深度方向的扩散函数a(z)的权重进一步分配给基于上述(公式1)计算的PSF信息(即，psf_R(x，y，z))。

[数学式2]

psf_R(x，y)＝∫_za(z)[psf_R(x，y，z)]dz (公式2)

尽管上面已经描述了通过基于(公式1)和(公式2)通过主要将红色分量(R)用作目标来分配权重来计算新PSF信息的示例，但是这同样适用于其他光谱分量。即，相对于psf(λ，x，y，z)，基于对应于绿色分量的扩散函数G(λ)和根据深度方向的扩散函数a(z)来分配权重，因此，可以计算psf_G(x，y)作为对应于绿色分量(G)的新PSF信息。类似地，也可以计算对应于蓝色分量(B)的psf_B(x，y)和对应于红外分量(IR)的psf_IR(x，y)。在由例如下面描述的图像处理单元517响应于每个光谱分量的调制传递函数(MTF)的值的减少(即，模糊)对由摄像头13捕获的图像执行恢复处理时，使用以这种方式为每个光谱分量(即，psf_R(x，y，z)、psf_G(x，y，z)、psf_B(x，y，z)和psf_IR(x，y，z))计算的PSF信息。

另外，除了光谱分量之外，PSF计算单元515还可以根据图像中的位置(x，y)，基于PSF信息来计算psf(x，y)，用于为每个上述光谱分量执行恢复处理，作为响应于调制传递函数(MTF)的值的减少(即，模糊)来执行恢复处理的PSF信息。例如，基于以下(公式3)计算psf(x，y)。

[数学式3]

另外，除了图像中的位置(x，y)之外，关于响应于调制传递函数(MTF)的值的减小(即，模糊)而均匀地执行恢复处理时的PSF信息，PSF计算单元515可以基于用于根据图像中的位置(x，y)执行恢复处理的PSF信息来计算psf。例如，基于以下(公式4)计算psf。在(公式4)中，d(x，y)是用于根据上述图像中的位置分配权重的扩散函数。

[数学式4]

psf＝∫_x，yd(x，y)[psf(x，y)]dxdy (公式4)

如上所述，PSF计算单元515根据与样本观察相关的条件基于扩散函数将权重分配给用于每个器械的PSF信息，因此，根据该条件重新计算PSF信息。然后，PSF计算单元515将所计算的PSF信息输出到选择单元516。在这种情况下，如上所述，PSF计算单元515可以基于(公式1)至(公式4)来将根据观察范围的条件计算的每条PSF信息输出到选择单元516。另外，PSF计算单元515可以输出每个器械的PSF信息(即，上述psf(λ，x，y，z))，没有权重分配给选择单元516。

选择单元516从PSF计算单元515获取根据与样本观察相关的各种条件计算出的至少一条PSF信息，并且基于预定的条件，从所获取的至少一条PSF信息中选择至少一部分PSF信息。

例如，选择单元516可以基于特殊光观察的类型和根据手术的手术过程选择的观察模式，以更适合的方式选择PSF信息，通过该信息可以观察样本。更具体地，选择单元516可以选择PSF信息，使得根据特殊光观察的类型对特殊光谱分量执行恢复处理。另外，作为另一示例，选择单元516可以根据手术的手术过程选择用于进一步增加景深的PSF信息，并且可以选择用于获取呈现更清晰样本的图像的PSF信息(即，具有高分辨率感知的图像)。另外，由于根据使用医学图像处理系统1的诊断和治疗部门、手术过程可能不同，所以选择单元516可以根据指示诊断和治疗部门的信息来选择PSF信息。应该注意的是，选择单元516可以从用户接收显式指定并选择指定的PSF信息。

另外，选择单元516可以根据与样本观察相关的状态和情况自适应地切换PSF信息。作为具体示例，选择单元516可以基于捕获的图像的分析结果，根据主体(样本或患部)的类型、形状和颜色来选择PSF信息。在这种情况下，作为图像处理装置510的配置，可以提供用于对捕获的图像执行分析处理的配置。

另外，当根据本实施方式的医学图像处理系统1被配置为能够观察对象的立体图像的观察系统时，选择单元516可以根据例如在对应于不同视点(即，右眼和左眼)的图像之间的视差值的变化来选择PSF信息。在这种情况下，例如，可以提供用于捕获与每个视点对应的图像的配置(即，透镜镜筒11中的光学系统和摄像头13中的成像元件)。另外，作为图像处理装置510的配置，可以提供用于计算与视点对应的捕获图像之间的视差值的配置。

然后，选择单元516将所选择的PSF信息输出到图像处理单元517。

图像处理单元517从选择单元516获取PSF信息，将由摄像头13捕获的图像用作输入图像，基于为输入图像获取的PSF信息执行恢复处理，并且减少主体图像的劣化(即，模糊)。恢复处理的示例包括称为解卷积的处理。作为更具体的示例，图像处理单元517基于从输入图像获取的PSF信息的逆特性执行图像处理(例如，滤波处理)，并且减少根据由PSF信息指示的光学特性发生的图像的劣化(模糊)。应该注意的是，只要能够基于PSF信息减少主体图像的劣化，对输入图像执行的恢复处理不一定限于解卷积。由图像处理单元517执行恢复处理的图像通过例如图1所示的显示装置53呈现给用户。

在这种配置中，在根据本实施方式的图像处理装置510中，根据与诸如观察环境、观察目标和观察方法的样本观察相关的条件，可以获取可以以更适合的方式观察样本的图像。更具体地，例如，可以减少由参考图4至6描述的光学元件12的插入引起的调制传递函数(MTF)的劣化，并且可以获取景深进一步扩展的扩展景深(EDOF)图像。另外，根据用作观察目标的光谱分量，可以获取即使当执行特殊光观察时也减小主体图像的劣化的图像。

然而，图7所示的功能配置仅仅是示例。只要可以实现上述图像处理装置510的配置的操作，图像处理装置510的功能配置不一定限于图7所示的示例。作为具体示例，上述图像处理装置510的一些配置可以设置在图像处理装置510的外部。作为更具体的示例，可以在经由网络连接到图像处理装置510的外部装置(例如，服务器)中，提供PSF获取单元511和PSF存储单元512。另外，可以在例如参考图1描述的内窥镜10中提供图像处理装置510。

上面参考图7至图10描述了作为图像处理装置在图1所示的CCU 51的配内特别是操作的部分的功能配置的示例。

<3.2.图像处理装置的处理>

接下来，将参考图11描述根据本实施方式的图像处理装置510的一系列处理的流程的示例。图11是示出根据本实施方式的图像处理装置510的一系列处理的流程的示例的流程图。

如图11所示，图像处理装置510(PSF获取单元511)基于用于观察样本的每个器械的psf的测量结果来获取与器械对应的PSF信息。在这种情况下，图像处理装置510可以基于为与观察有关的每个条件测量的器械的psf，为观察范围的每个条件获取与器械对应的PSF信息。然后，在测量PSF时，图像处理装置510将所获取的与各器械对应的PSF信息与表示器械的识别信息和表示与观察相关的条件的信息相关联地存储(S101)。

接下来，图像处理装置510(加权控制单元514)根据与样本观察相关的各种条件和用于调整该范围内的调制传递函数(MTF)的值(换言之，模糊量)的权重，根据用作加权目标的范围的条件，计算扩散函数(S103)。由于根据条件计算扩散函数的方法已经在上面被描述为加权控制单元514的操作，因此将省略其细节。

接下来，图像处理装置510(PSF计算单元515)基于根据与样本观察有关的条件计算出的散布函数，将权重分配给与用于观察样本的器械对应的PSF信息，因此，根据该条件计算新PSF信息(S105)。在这种情况下，图像处理装置510可以为用作观察目标的光分量的例如波长(λ)的范围、图像中的区域(x，y)和深度方向(z)的每个条件(即，观察范围的条件)计算新的PSF信息。由于根据该条件计算PSF信息的方法已经在上面被描述为PSF计算单元515的操作，因此将省略其细节。

接下来，图像处理装置510(选择单元516)基于预定的条件，从根据与样本观察相关的各种条件计算出的至少一条PSF信息中选择至少一部分PSF信息(S107)。例如，图像处理装置510可以根据选择的观察模式，选择PSF信息。另外，作为另一示例，图像处理装置510可以从用户接收显式指定并选择指定的PSF信息。另外，作为另一示例，图像处理装置510可以根据与样本观察相关的状态和情况自适应地切换PSF信息。

然后，图像处理装置510(图像处理单元517)将由摄像头13捕获的图像用作输入图像，基于为输入图像选择的PSF信息，对主体图像的劣化(即，模糊)进行诸如解卷积等恢复处理，因此，恢复图像(S109)。由图像处理单元517执行恢复处理的图像例如通过预定的显示装置呈现给用户。

上面参考图11，描述了根据本实施方式的图像处理装置510的一系列处理的流程的示例。

<<4.示例>>

接下来，将描述本实施方式的示例。

<4.1.示例1：获取用于每个器械的PSF信息>

首先，作为示例1，将描述通过对用于观察样本的每个器械测量psf来获取与器械对应的PSF信息的方法的示例。

(示例1-1：在运送之前的获取方法)

首先，作为示例1-1，将参考图12，描述在运送图1所示的透镜镜筒11、光学元件12和摄像头13等一系列器械之前获取与器械对应的PSF信息的配置和方法的示例。图12是用于描述获取根据本实施方式的示例1-1的内窥镜装置中的PSF信息的方法的示例的说明图。

在图12所示的示例中，测量夹具81安装在透镜镜筒11的远端，通过透镜镜筒11捕获测量夹具81中的图像，因此测量透镜镜筒11的psf。

在测量夹具81中，例如，如附图标记811所示，在其上绘制圆圈的多个透明光盘安装在沿着光轴方向(即，z方向)安装在测量夹具81上的透镜镜筒11上。在这种情况下，例如，在多个光盘上绘制具有不同半径的圆圈。在这种配置中，当测量夹具81的内部通过透镜镜筒11成像时，绘制在光盘上的圆圈成像，而不重叠。在这种配置中，可以根据捕获图像中光盘的圆圈的模糊量，根据深度方向(z方向)上的位置来测量psf。

在由附图标记811指示的示例中，示出了在每个光盘上绘制一个圆圈的示例，但是可以在每个管盘上同心地绘制具有不同半径的多个圆圈。在这种配置中，例如，可以根据深度方向(即，z方向)上的每个位置的捕获图像中的位置(即，xy平面上的位置)来测量psf(x，y，z)。另外，当在照明光的波长λ改变的同时捕获测量夹具81的内部的图像时，可以测量基于为每个波长λ捕获的图像来测量光分量的每个波长λ的psf(λ，x，y，z)。

另外，如附图标记813所示，在测量夹具81中，提供在其上绘制网格的光盘，以在安装在测量夹具81上的透镜镜筒11的光轴方向(即，z方向)上可移动。使光盘在光轴方向上移动的配置没有特别限制。例如，可以使用可以手动移动光盘的配置或者光盘可以根据通过驱动诸如电机等驱动单元所生成的电力来移动的配置。同样在这种配置中，在其上绘制网格的光盘在z方向上移动，并且为z方向上的每个位置捕获测量夹具81的内部的图像。因此，可以根据捕获图像中的每个位置(即，在xy平面上的位置)中的网格的模糊量来根据在深度方向(z方向)上的每个位置的捕获图像中的位置来测量psf(x，y，z)。

另外，同样在由附图标记813指示的示例中，当在照明光的波长λ改变的同时，拍摄测量夹具81的内部的图像时，可以基于每个波长λ的捕获图像来测量光分量的每个波长λ的psf(λ，x，y，z)。

另外，例如，当如上所述将光学元件12和摄像头13安装在透镜镜筒11处并且捕获测量夹具81的内部的图像时，可以基于捕获图像来测量透镜镜筒11、光学元件12和摄像头13的一系列器械的psf。

基于如上所述测量的psf的PSF信息可以存储在例如参考图7描述的PSF存储单元512中。

上面已经参考图12描述了在运送诸如图1所示的透镜镜筒11、光学元件12和摄像头13等一系列器械之前，获取与器械对应的PSF信息的配置和方法的示例。

(示例1-2：在手术之前的获取方法)

接下来，作为示例1-2，参考图13和图14，描述在以下情况下通过以更简化的方式测量器械的psf来获取PSF信息的配置和方法的示例：在这种情况下，与在图12所示的示例相比，难以分配psf测量本身的时间，例如，在手术之前。图13和图14是用于描述获取在根据本实施方式的示例1-2的内窥镜装置中的PSF信息的方法的示例的说明图。

例如，在图13所示的示例中，由成像单元(例如，摄像头)通过透镜镜筒11捕获在其上绘制正交网格831的板块83的图像，并且在显示装置53上显示捕获图像(所谓的预览图像)。因此，在显示装置53的屏幕上显示网格831的图像v21。另外，在显示装置53的屏幕上，显示调整引导v23，当板块83和透镜镜筒11具有预定位置关系时，该调整引导v23与网格831的图像v21基本上匹配，以在屏幕内具有预定位置，以与在屏幕上显示的图像重叠。然后，当调整板块83或透镜镜筒11的位置，然后网格831的图像v21与调整引导v23匹配时，由成像单元通过透镜镜筒11捕获网格831的图像。根据上述配置和程序，获取当透镜镜筒11和网格831具有预定位置关系时的网格831的图像，并且可以根据图像中的每个位置(即，xy平面上的位置)中的网格831的模糊量，来根据捕获图像中的位置测量psf(x，y)。毋庸置疑，如果网格831的尺寸是已知的，则根据调整引导v23的大小，独特地确定在深度方向(即，z方向)上的在透镜镜筒11与板块83(即，网格831)之间的距离。

另外，根据在屏幕上显示的调整引导v23，对于与调整引导v23基本匹配的网格831的图像v21，在深度方向上的透镜镜筒11和板块83之间的距离不同。因此，当使用这种特性时，可以根据深度方向(z方向)上的位置来测量psf(x，y，z)。具体地，调整引导v23的显示尺寸适当地改变，并且在网格831的图像v21与调整引导v23匹配的同时，每次由成像单元通过透镜镜筒11捕获网格831的图像。因此，基于调整引导v23的显示尺寸和捕获图像中的网格831的模糊量，可以根据深度方向上的位置来测量psf(x，y，z)。另外，当使用光学变焦时，psf(x，y，z)根据镜头位置和放大倍率而改变。因此，在这种情况下，摄像头13从控制单元513获取关于光学变焦的信息(例如，透镜位置和放大倍率)，并基于该信息计算psf(x，y，z)。

另外，类似于参考图12描述的示例，当照明光的波长λ改变并且捕获板块83的图像时，可以基于每个波长λ的捕获图像，来测量光分量的每个波长λ的psf(λ，x，y，z)。

接下来，将集中描述图14。在图14所示的示例中，在板块85上绘制当板块85以预定角度观看时添加了变形并被看作正交网格的网格851。即，相对于板块85以预定角度，由成像单元通过透镜镜筒11捕获板块85的图像，并且在显示装置53上显示捕获图像(所谓的预览图像)。因此，在显示装置53的屏幕上显示正交网格的图像v21。在图14所示的示例中，使用了这种特性，并且与图13所示的示例类似，网格851(即，正交网格)的捕获图像v21与调整引导v23匹配，然后，可以由成像单元捕获网格851的图像。因此，可以基于捕获图像中的网格851的模糊量来测量psf。在这种情况下，在网格851的捕获图像中，根据图像中的位置(即，xy平面上的位置)，网格851的实际空间中的深度方向(即，z方向)上的位置不同。因此，在图14所示的示例中，也可以通过一次成像来测量在焦点位置之前和之后的位置(深度方向的位置)处的psf。

同样在图14所示的示例中，类似于图13所示的示例，可以测量根据深度方向(z方向)上的位置的psf(x，y，z)。具体地，调整引导v23的显示尺寸适当地改变，并且在网格851的图像v21与调整引导v23匹配的同时，可以每次由成像单元通过透镜镜筒11捕获网格851的图像。因此，基于调整引导v23的显示尺寸和捕获图像中的网格851的模糊量，可以根据深度方向上的位置来测量psf(x，y，z)。另外，当照明光的波长λ改变并且捕获板块83的图像时，可以基于每个波长λ的捕获图像来测量光分量的每个波长λ的psf(λ，x，y，z)。

上面已经参考图13和图14描述了在以下情况下通过以更简化的方式测量器械的psf来获取PSF信息的配置和方法的示例：在这种情况下，与在图12所示的示例相比，难以分配psf测量本身的时间，例如，在手术之前。虽然在本说明书中单独描述了在运送之前和在手术之前的情况，但应该注意的是，一种方法不限于在运送之前和在手术之前的情况，并且在除手术期间以外的任何时间，均可使用任何方法。

(示例1-3：手术期间的获取方法)

接下来，作为示例1-3，将参考图15，描述通过在手术期间测量psf来获取PSF信息的配置和方法的示例。图15是用于描述获取根据本实施方式的示例1-3的内窥镜装置中的PSF信息的方法的示例的说明图。

在实例1-3中，例如，在手术期间捕获诸如钳子等夹具的图像，并且基于捕获的图像，测量psf。作为更具体的示例，在图15所示的示例中，使用在其上绘制网格的钳子87，并且由摄像头13通过透镜镜筒11捕获钳子87的图像。在图像中的钳子87上绘制的网格的大小根据在深度方向(即，z方向)上的钳子87与透镜镜筒11之间的距离而改变。因此，基于捕获图像中的网格中的模糊量来测量psf，并且从图像中的网格的尺寸反向地计算在深度方向上的钳子87与透镜镜筒11之间的距离(即，z方向)。因此，可以根据深度方向(z方向)上的位置来测量psf(z)。

只要可以计算在深度方向(即，z方向)上的钳子87和透镜镜筒11之间的距离，用于测量psf的图像的捕获目标不一定限于在其上绘出网格的钳子87，如图15所示的示例一样。例如，捕获镊子的部分中的其尺寸已知的部分的图像，并且可以基于图像中的钳子的一部分的边缘之间的间隔，来计算在深度方向(即，z方向)上的镊子87与透镜镜筒11之间的距离。另外，在这种情况下，可以根据捕获图像中的钳子的一部分的边缘处的模糊量来测量psf。

上面已经参考图15描述了通过在手术期间测量psf来获取PSF信息的配置和方法的示例，作为示例1-3。

<4.2.示例2：根据各种条件计算PSF信息的示例>

接下来，作为示例2，将结合特定场景的示例，描述与根据诸如根据与样本的观察有关的条件来计算扩散函数并且根据扩散函数向PSF信息分配权重的条件来计算PSF信息相关的控制的示例。

(示例2-1：根据对象的细度的控制)

首先，作为示例2-1，将参考图16描述用于根据焦点位置处的主体的细度来向PSF信息分配权重的扩散函数的示例。图16是用于描述与根据示例2-1的图像处理装置中计算PSF信息有关的控制的示例的说明图。在以下描述中，基于预定自动对焦(AF)方法的用于焦点检测的检测值将被称为“AF检测值”。基于例如图像中的对比度信息、亮度信息和边缘信息，执行焦点检测。

在图16中，两个上图示出了在焦点位置处的AF检测值较大的示例，换言之，对应于在焦点位置与焦点位置的周围之间的AF检测值的差异较大的示例。另一方面，两个下图示出了在焦点位置处的AF检测值较小的示例，换言之，对应于在焦点位置与焦点位置的周围之间的AF检测值的差异较小的示例。

更具体地，左上图是示意性地示出当在焦点位置处的AF检测值较大时图像中的AF检测值的分布的示图，并且图中所示的数值表示在图像中的区域中的AF检测值。随着图中所示的数值的增加，检测值增加，并且捕获主体的更清晰图像。在这种情况下，可以理解的是，由于焦点位置处的AF检测值比焦点位置周围的AF检测值更大，所以捕获主体的更精细的图像。在这种情况下，图像处理装置510例如可以计算用于根据深度方向(z方向)上的位置向PSF信息分配权重的扩散函数a(z)，以便更加清晰地呈现在焦点位置处的主体。例如，右上图中所示的扩散函数a21(z)示出了计算出的扩散函数a(z)的示例，使得集成范围变得更小，以便更加清晰地呈现在焦点位置处的主体。尽管集中描述了深度方向(z方向)，但是可以计算期望的扩散函数，使得例如图像中的区域的波长(λ)和集成范围(即，在x方向和y方向)变小。

另外，左下图是示意性地示出当在焦点位置处的AF检测值较小时图像中的AF检测值的分布的示图，并且图中所示的数值表示在图像中的区域中的AF检测值。在这种情况下，可以理解的是，由于焦点位置与焦点位置的周围之间的AF检测值的差异较小，所以与上面的示例相比，捕获更粗糙的主体。在这种情况下，图像处理装置510可以计算用于根据深度方向(z方向)上的位置向PSF信息分配权重的扩散函数a(z)，以便例如景深进一步增加。例如，右下图中所示的扩散函数a22(z)示出了计算出的扩散函数a(z)的示例，使得集成范围变得更大，以便进一步增加景深。尽管集中描述了深度方向(z方向)，但是可以计算期望的扩散函数，使得例如图像中的区域的波长(λ)和集成范围(即，在x方向和y方向)变大。

根据上述控制，可以对图像执行恢复处理，使得可以根据在图像中捕获的主体的细度，以更适当的方式观察主体。然而，上述示例仅仅是示例。应该注意的是，只要可以根据在图像中捕获的对象的细度来控制模糊量，处理的内容不一定限于上述示例。

上面参考图16描述了根据焦点位置处的主体的细度来将权重分配给PSF信息的扩散函数的示例，作为示例2-1。

(示例2-2：根据聚焦程度的控制)

接下来，作为示例2-2，将参考图17和图18，描述根据图像中的位置中的聚焦程度来计算扩散函数的方法的示例。在图17和图18是用于描述与计算根据示例2-2的图像处理装置中的PSF信息有关的控制的示例的说明图。

首先，将集中描述图17。在图17中所示的示图中，左图是示意性地示出图像中的AF检测值的分布的示图，并且图中所示的数值表示图像中的区域中的AF检测值。即，在图17所示的示例中，在由附图标记P11和P13指示的区域之间，区域P11具有最高的AF检测值，并且区域P11对应于焦点位置。

另外，在图17所示的示图中，中心图是示意性地示出当获取更加清晰地呈现在焦点位置处的主体的图像时根据图像中的区域分配权重的扩散函数d(x，y)的示图。在以下描述中，用于获取更加清晰地呈现在焦点位置处的对象的图像的模式被称为“焦点优先模式”。另外，右图是示意性地当焦点位置的周围的模糊减小时根据图像中的区域分配权重的扩散函数d(x，y)的示图，从而获取景深进一步增加的图像。在以下描述中，用于获取焦点位置的周围的模糊减小并且因此景深进一步增加的图像的模式可以被称为“模糊减少优先模式”。

在图17所示的示例中，当图像处理装置510以焦点优先模式操作时，例如，如中心图所示，可以计算扩散函数d(x，y)，使得与焦点位置对应的区域P11处的权重进一步增加。另外，例如，当图像处理装置510以模糊减少优先模式操作时，如右图所示，可以计算扩散函数d(x，y)，使得在焦点位置的周围的区域P13处的权重进一步增加。

接下来，将集中描述图18。在图18所示的示图中，左图是示意性地示出图像中的AF检测值的分布的示图，并且图中所示的数值表示图像中的区域中的AF检测值。即，在图18所示的示例中，在由附图标记P11和P13指示的区域之间，区域P13具有最高的AF检测值，并且区域P13对应于焦点位置。另外，中心图是示意性地示出当图像处理装置510以焦点优先模式操作时用于根据图像中的区域分配权重的扩散函数d(x，y)的示图。另外，右图是示意性地示出当图像处理装置510以模糊减少优先模式操作时用于根据图像中的区域分配权重的扩散函数d(x，y)的示图。

在图18所示的示例中，当图像处理装置510以焦点优先模式操作时，例如，如中心图所示，可以计算扩散函数d(x，y)，使得与焦点位置对应的区域P13处的权重进一步增加。另外，例如，当图像处理装置510以模糊减少优先模式操作时，如右图所示，可以计算扩散函数d(x，y)，使得在焦点位置的周围的区域P11处的权重进一步增加。

根据上述控制，可以根据在图像中捕获的主体之中的观察者(用户)更关注的目标(即，焦点匹配的目标)，对图像执行期望的恢复处理。然而，上述示例仅仅是示例。应该注意的是，只要可以根据图像中的位置处的聚焦程度来控制模糊量，处理的内容不一定限于上述示例。另外，只要可以实施控制，其方法不受限制。例如，可以根据至少根据图像中的焦点的情况的焦点位置信息、表示焦点位置在光轴方向上的距离的焦点距离信息以及聚焦透镜位置信息中的任一个，来计算扩散函数d(x，y)。

上面已经参考图17和图18，描述了根据图像中的位置处的聚焦程度来计算扩散函数的方法的示例，作为示例2-2。

(示例2-3：每种颜色的控制)

接下来，作为示例2-3，将参考图19描述根据主体的颜色来计算扩散函数的示例。图19是用于描述与计算根据示例2-3的图像处理装置中的PSF信息有关的控制的示例的说明图。

在图19所示的示图中，左上图是示意性地示出图像中的AF检测值的分布的示图，并且图中所示的数值表示图像中的区域中的AF检测值。在图19所示的示例中，在由附图标记P11和P13指示的区域之间，区域P13具有最高的AF检测值，并且区域P13对应于焦点位置。另外，左下图是示意性地示出图像中的颜色的分布的示图。即，在图19所示的示例中，绿色主要分布在区域P11中，红色主要分布在区域P13中。

另外，在图19所示的示图中，右上图示意性地示出了主要将绿色分量(G)用作目标的用于根据图像中的区域分配权重的扩散函数。另外，右下图示意性地示出了主要将红色分量(R)用作目标的用于根据图像中的区域分配权重的扩散函数。

即，在图19所示的示例中，图像处理装置510基于例如模糊减少优先模式，在绿色分量(G)主要用作目标的扩散函数G(λ)中，控制区域P11的权重进一步增加，从而控制降低模糊和进一步增加景深。另一方面，图像处理装置510基于例如焦点优先模式，在红色分量(R)主要用作目标的扩散函数G(λ)中，控制区域P13的权重进一步增加，从而控制更加清晰地呈现红色主体(样本)。

根据上述控制，例如，可以对图像执行恢复处理，使得在图像中捕获的主体之中，更多地加重预定颜色的主体。特别地，在由根据本实施方式的医学图像处理系统1获取生物体内部的图像(所谓的内窥镜图像)的情况下，红色分量广泛分布的图像易于捕获。因此，例如，当基于具有不同特性的扩散函数对红色分量和除红色分量之外的光谱分量执行恢复处理时，可以进一步加重具有与周围组织不同的颜色的部分，例如，损伤部分。然而，上述示例仅仅是示例。应该注意的是，只要可以控制每个光谱分量的模糊量，用作目标的光谱分量和对应于光谱分量的扩散函数的处理内容不一定限于以上示例。

上面参考图19描述了根据主体的颜色来计算扩散函数的示例，作为示例2-3。

(示例2-4：根据AF控制状态的控制)

接下来，作为示例2-4，将描述基于预定AF方法根据焦点检测的控制状态(在下文中简称为“AF控制状态”)来切换扩散函数的示例。

已经描述了上述示例，集中描述完成AF的控制并且期望的主体焦点对准的情况。另一方面，在基于AF检测焦点位置的情况下，焦点位置可以根据每个光学系统(例如，耦接光学系统)的移动而依次改变，并且在捕获图像中的位置处的模糊量也根据焦点位置的变化而依次改变。

鉴于这种情况，例如，当基于AF检测到焦点位置时，可以应用用于控制景深以进一步增加的扩散函数。焦点位置的检测可以根据用户的指令(例如，来自按钮)适当地执行或者定期连续执行。当获取其控制信息时，可以应用增加景深的扩散函数。根据这种控制，即使在根据焦点位置的检测依次改变焦点位置的情况下，也可以识别样本(主体)。然而，上述示例仅仅是示例。应该注意的是，只要可以根据AF控制状态来控制模糊量，处理的内容不一定限于上述示例。另外，只要可以根据各种控制状态切换扩散函数，控制状态不一定限于AF控制状态。作为具体示例，可以根据光学变焦的放大倍率是否改变(即，光学变焦的控制状态是否改变)来切换扩散函数。

上面已经描述了根据AF控制状态来切换扩散函数的示例，作为示例2-4。

(示例2-5：根据观察方法的控制示例)

在医疗护理领域中，例如，根据特殊光线观察的类型和手术的手术过程，样本观察方法不同，并且观察所需的图像的特性也不同。因此，作为示例2-5，将描述根据由特殊光观察的类型和手术的手术过程的差异导致的观察方法的差异来计算PSF信息的示例。

例如，如上所述，在接近鼻子、耳朵和大脑的深部的手术中，由于手术区域狭长，所以在某些情况下，需要获取具有更宽景深的图像。在这种情况下，例如，与在上述模糊减少优先模式下的操作中一样，基于根据深度方向(z方向)的位置来分配权重的扩散函数a(z)，计算PSF信息，使得景深进一步增加，并且PSF信息可以应用于恢复处理。

另外，作为另一示例，在需要更精细的手术的手术中，例如，在对大脑表面的血管进行治疗的情况下，需要获取一种图像，即使景深略浅，该图像的分辨率感知也更好。在这种情况下，例如，与在上述焦点优先模式下的操作中一样，基于根据深度方向(z方向)的位置来分配权重的扩散函数a(z)，计算PSF信息，使得更加清晰地呈现焦点位置处的主体，并且PSF信息可以应用于恢复处理。

另外，当进行近红外荧光观察时，红外分量(IR)主要用作观察目标。在这种情况下，例如，基于用于主要将红外分量(IR)用作目标分配权重的扩散函数IR(λ)来计算PSF信息，并且PSF信息可以应用于恢复处理。

另外，在某些情况下，在水中进行骨科关节手术。在以这种方式在水中进行手术的情况下，由于在水中捕获图像，所以易于获取通常发生模糊的图像。因此，在这种情况下，例如，基于用于根据深度方向上的位置(z方向)分配权重的扩散函数a(z)来计算PSF信息，使得景深进一步增大，并且PSF信息可以应用于恢复处理。

然而，上述示例仅仅是示例。只要可以根据特殊光观察的类型和手术的手术过程来获取具有必要特性的图像，计算扩散函数的方法和根据扩散函数计算PSF信息的方法没有特别的限制。

上面已经描述了根据由特殊光观察的类型和手术的手术过程的差异导致的观察方法的差异来向PSF信息分配权重的扩散函数的应用示例，作为示例2-5。

(示例2-6：根据观察目标的控制示例)

接下来，作为示例2-6，将主要描述根据观察目标来计算PSF信息的示例。该描述将集中于医疗护理领域的应用示例。

例如，当腹腔或胸腔中的器官用作观察目标并且器官以较大的尺寸成像时，可以假设广泛观察整个器官的情况。在这种情况下，例如，与上述模糊减少优先模式下的操作中一样，基于根据深度方向(z方向)上的位置来分配权重的扩散函数a(z)，计算PSF信息，使得景深进一步增加，并且PSF信息可以应用于恢复处理。因此，例如，可以获取在用作观察目标的整个器官上减少模糊的图像。可以通过用户的输入来执行器官是否以较大的尺寸成像的决定，或者可以基于例如图像识别，从图像中的特性点来确定某个器官。另外，当根据颜色和模式划分图像中的区域并且其特性不同时，可以决定将在活体中具有不同特性的区域成像，即，整个器官大幅成像。

另外，作为另一示例，在血管流是主观察目标并且在图像中的广阔区域上对血管流成像时，期望血管流更加鲜明地成像。在这种情况下，例如，与上述焦点优先模式下的操作中一样，基于用于根据深度方向(z方向)上的位置来分配权重的扩散函数a(z)，计算PSF信息，使得更加清晰地呈现焦点位置处的主体，并且PSF信息可以应用于恢复处理。是否在图像中的广阔区域上对血管流成像的决定可以通过用户的输入来执行，或者根据是否基于例如图像识别来对连续分支的边缘进行成像来执行。

可以通过例如图像处理装置510自动地执行根据上述观察目标的控制的切换。作为具体示例，图像处理装置510执行所捕获的图像的所谓的图像分析，识别在图像中捕获的观察(对象)，并且可以根据所识别的观察目标来切换应用于恢复处理的PSF信息(或用于计算PSF信息的扩散函数)。

另外，图像处理装置510可以基于例如由观察者(用户)根据观察目标选择的观察模式来计算应用于恢复处理的PSF信息和用于计算PSF信息的扩散函数。

作为根据观察目标来计算PSF信息的示例，特别地，上面集中描述了在医疗护理领域中的应用示例，作为示例2-6。

(示例2-7：与切换PSF信息相关的控制示例)

如上所述，根据本实施方式的图像处理装置510根据与样本观察相关的条件(例如，观察范围的条件)来计算多条PSF信息，并且可以将多条PSF信息中的至少一部分PSF信息选择性地应用于恢复处理。接下来，作为示例2-7，将结合具体应用示例来描述当选择性切换PSF信息时的控制示例。该描述将主要集中于医疗护理领域的应用实例。

具体地，如上所述，根据特殊光观察的类型和手术的手术过程，可以选择性地切换PSF信息。在这种情况下，基于例如由观察者(用户)选择的观察模式，根据特殊光观察的类型和手术的手术过程，图像处理装置510选择对应于观察模式的PSF信息并且可以将选择的PSF信息应用于恢复处理。

另外，可以假设以下情况，其中，即使在进行观察时，也将模式暂时切换为另一观察模式，然后进行观察。作为具体示例，可以假设以下情况，其中，观察一般光学图像和特殊光观察的同时，适当地切换观察样本。即使在这种情况下，图像处理装置510也可以根据例如由观察者(用户)选择的观察模式来选择PSF信息，并且可以将选择的PSF信息应用于恢复处理。

另外，如上所述，图像处理装置510基于例如捕获图像的分析结果来识别与样本的观察相关的状态和情况，并且可以根据状态和情况的识别结果自适应地切换PSF信息。

另一方面，存在图像处理装置510在识别状态和情况时可能发生错误的情况。例如，当图像处理装置510对这种识别错误作出灵敏响应并且暂时错误地切换PSF信息时，可以假设以下情况，其中，暂时切换呈现给观察者的图像的特性，并且禁止样本的观察。鉴于这种情况，例如，可以在图像处理装置510中提供用于阻止PSF信息根据短期状态和情况的变化而切换的机制。

例如，图20是用于描述与根据示例2-7的图像处理装置510切换PSF信息有关的控制的示例的说明图。在图20中，附图标记F101至F110表示以时间序列获取的运动图像的帧。另外，模式A到模式D表示不同的观察模式，并且应用根据观察模式不同的PSF信息的恢复处理应用于每个帧。

在图20所示的示例中，图像处理装置510将每个帧用作顺序处理目标，并且将该帧中的观察模式(换言之，根据观察模式的PSF信息)与在该帧之前和之后的几个帧中的观察模式进行比较。然后，图像处理装置510基于帧之间的观察模式的比较结果来检测观察模式短期改变的帧，并且阻止切换帧中的PSF信息。

例如，在图20中，由“输入”表示的上图示意性地示出了时间序列中的一系列帧F101至F110以及在应用与阻止上述PSF信息的切换有关的控制之前在帧中设置的观察模式。例如，在“输入”侧图中，当帧F101至F105对焦时，仅在帧F103中将观察模式从模式A暂时切换至模式B。另外，当帧F106到F110对焦时，仅在帧F109中将观察模式从模式C暂时切换到模式D。在这种情况下，例如，由于在帧F103和F109的时间暂时切换应用于恢复处理的PSF信息，所以要输出的图像的特性暂时改变。

另一方面，在图20中，由“输出”表示的下图示意性地示出了帧F101至F110以及在应用与阻止上述PSF信息的切换有关的控制时在帧中设置的观察模式。在“输入”侧和“输出”侧附由相同附图标记的帧表示相同的帧。例如，在“输出”侧图中，例如，在帧F103中的观察模式被校正为模式A，以与前一帧和下一帧的模式匹配，并且应用于帧F103的恢复处理的PSF信息切换到与模式A对应的PSF信息。类似地，在帧F109中的观察模式被校正为模式C，以与前一帧和下一帧的模式匹配，并且应用于帧F109的恢复处理的PSF信息切换到与模式C对应的PSF信息。

作为更具体的示例，图像处理装置510提取在用作处理目标的帧中以及在该帧之前和之后的几个帧中设置的观察模式，并且将用作处理目标的帧的观察模式校正为在更多帧中设置的观察模式。根据这种控制，例如，可以根据由于例如识别错误导致的状态和情况的暂时(短期)变化来阻止PSF信息切换，并且可以观察到图像具有较少的闪烁。

然而，上述示例仅仅是示例。只要可以阻止PSF信息根据状态和情况的暂时(短期)变化而切换，处理的内容不受特别限制。作为具体示例，图像处理装置510可以校正目标帧的观察模式(或根据观察模式的PSF信息)，以与紧接在该帧之前的帧的观察模式相匹配。另外，作为另一示例，图像处理装置510可以应用在加权时具有更小的变化偏移的PSF信息或具有在彼此相邻的帧之间的PSF信息内的更多中间特性的PSF信息，作为与每个帧对应的PSF信息。

上面已经结合具体应用示例描述了当选择性切换PSF信息时的控制示例，作为示例2-7。

<<5.硬件配置>>

接下来，将参考图21详细描述根据本实施方式的医学观察系统(例如，图1所示的医学图像处理系统1)的信息处理设备900的硬件配置，例如，上述CCU 51(换言之，图像处理装置)。图21是示出根据本公开的实施方式的医学图像处理系统1的信息处理设备900的硬件配置的配置示例的功能方框图。

根据本实施方式的医学图像处理系统1的信息处理设备900主要包括CPU 901、ROM903和RAM 905。另外，信息处理设备900还包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。

CPU 901用作算术处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制信息处理设备900中的全部或一些操作。ROM 903存储由CPU 901使用的程序和算术参数。RAM 905暂时存储由CPU 901使用的程序和当执行程序时适当改变的参数。这些通过包括诸如CPU总线等内部总线的主机总线907彼此连接。上面参考图7描述的控制单元513、加权控制单元514、PSF计算单元515、选择单元516和图像处理单元517例如可以由CPU 901来实现。

主机总线907通过桥接器909连接到诸如外围组件互连/接口(PCI)总线等外部总线911。另外，输入装置915、输出设备917、存储装置919、驱动器921、连接端口923和通信装置925通过接口913连接到外部总线911。

输入装置915是由用户操作的操作装置，例如，鼠标、键盘、触摸面板、按钮、开关、控制杆和踏板。此外，输入装置915可以是使用例如红外光或其他无线电波的遥控装置(所谓的遥控器)，或者可以是符合信息处理设备900的操作的外部连接设备929，例如，移动电话或PDA。此外，输入装置915基于例如由用户利用上述操作装置输入的信息来生成输入信号，并且由输入控制电路配置，用于将输入信号输出到CPU 901。信息处理设备900的用户可以向信息处理设备900输入各种数据，并且可以通过操作该输入装置915来指示生物认证设备10进行处理。

输出装置917由能够视觉或听觉地将获取的信息通知给用户的装置配置。这种装置的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯等显示装置、诸如扬声器和耳机等音频输出装置、打印机等。例如，输出装置917输出由信息处理设备900执行的各种处理获得的结果。更具体地，显示装置以文本或图像的形式显示通过由信息处理设备执行的各种处理获得的结果900。另一方面，音频输出装置将诸如再现的音频数据和声音数据等音频信号转换成模拟信号，并输出该模拟信号。上面参考图1描述的显示装置53可以由例如输出装置917来实现。

存储装置919是用于存储被配置为信息处理设备900的存储单元的示例的数据的装置并用于存储数据。存储装置919由例如诸如HDD(硬盘驱动器)等磁存储装置、半导体存储装置、光存储装置或磁光存储装置配置。该存储装置919存储要由CPU 901执行的程序、各种数据以及从外部获得的各种数据。上面参考图7描述的PSF存储单元512可以由例如存储装置919来实现。

驱动器921是用于记录介质的读取器/写入器，并且嵌入在信息处理设备900中或附接在其外部。驱动器921读取记录在诸如磁盘、光盘、磁光盘或半导体存储器等附接的可移动记录介质927中的信息，并将读取的信息输出到RAM 905。此外，驱动器921可以写入诸如磁盘、光盘、磁光盘或半导体存储器等附接的可移动记录介质927中。可移动记录介质927例如是DVD介质、HD-DVD介质或蓝光(注册商标)介质。可移动记录介质927可以是CompactFlash(CF；注册商标)、闪存、SD存储卡(安全数字存储卡)等。可替换地，可移动记录介质927可以是例如配备有非接触式IC芯片或电子设备的IC卡(集成电路卡)。

连接端口923是用于允许装置直接连接到信息处理设备900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、HDMI(注册商标)(高清晰度多媒体接口)端口等。通过连接到该连接端口923的外部连接设备929，信息处理设备900直接从外部连接设备929获取各种数据，并向外部连接设备929提供各种数据。

通信装置925是由例如用于连接到通信网络931的通信装置配置的通信接口。通信装置925例如是有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替换地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。例如，该通信装置925可以通过互联网上根据诸如TCP/IP等预定协议并且与其他通信装置一起传输和接收信号等。连接到通信装置925的通信网络931由通过有线或无线连接的网络等配置，并且可以是例如互联网、家庭LAN、红外通信、无线电波通信、卫星通信等。

上面已经描述了能够实现根据本公开中的实施方式的医学观察系统的信息处理设备900的功能的硬件配置的示例。相应部件可以使用通用元件来配置，或者可以由专用于各个部件的功能的硬件来配置。因此，当实施本实施方式时，可以根据技术水平适当地改变要使用的硬件配置。尽管在图21中未示出，但是应该注意的是，包括对应于医学观察系统的信息处理设备900的各种配置。

可以准备用于实现上述根据本实施方式的医学观察系统的信息处理设备900的功能的计算机程序并将其安装在个人计算机等中。另外，可以提供存储有这种计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存。另外，计算机程序可以经由例如网络来传送，而不使用记录介质。另外，执行该计算机程序的计算机的数量不受特别限制。例如，多个计算机(例如，多个服务器)可以协作执行该计算机程序。

<<6.结论>>

如上所述，在根据本实施方式的医学图像处理系统1中，图像处理装置510根据与主体图像的观察相关的条件来计算用于控制捕获主体图像的图像中的模糊量的函数(psf)。然后，图像处理装置510将由摄像头13捕获的图像用作输入图像，并且基于所计算的功能，对输入图像执行恢复处理。在这种配置中，根据本实施方式中的医学图像处理系统1，可以根据与主体图像的观察相关的状态和情况，以更适当的方式观察观察目标，例如，用作观察目标的主体的观察环境条件和特性。

在上述示例中，已经描述了基于PSF信息对输入图像执行恢复处理的情况。然而，只要可以控制输入图像中的模糊量(即，减少主体图像的劣化)，应用于恢复处理的函数不一定限于PSF信息。另外，应该注意的是，只要可以控制输入图像中的模糊量，恢复处理的内容不受限制。

另外，该描述集中于内窥镜10主要被配置为刚性内窥镜的情况。然而，根据本实施方式的图像处理装置510的应用目标不一定限于用于通过刚性内窥镜观察样本的医学图像处理系统。作为具体示例，图像处理装置510可以应用于通过另一医学观察装置(例如，柔性内窥镜和手术显微镜)观察样本的医学图像处理系统。在这种情况下，当为每个观察装置中的各种光学系统和成像装置等每个器械测量psf时，可以获取与该器械对应的PSF信息。应该注意的是，只要装置或系统呈现由成像装置捕获的图像，根据本实施方式的图像处理装置510的应用目标不一定限于医学系统。

本领域技术人员应该理解，只要在所附权利要求或其等同物的范围内，根据设计要求和其他因素，可以出现各种修改、组合、子组合和变更。

此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，利用或取代上述效果，根据本公开的技术可以基于本说明书的描述来实现对于本领域技术人员来说显而易见的其他效果。

(1)一种医学成像系统，包括：

图像传感器；

双折射掩模，耦接到图像传感器；以及

处理电路，被配置为：

从图像传感器获得图像数据，并且

基于耦接的医学装置的独特光学特性对图像数据进行处理，

其中，处理包括基于独特光学特性来选择景深扩展和模糊改善中的至少一者。

(2)根据(1)所述的医学成像系统，其中，处理使用从非暂时性存储器提取的一个或多个点扩散函数(PSF)，非暂时性存储器被配置为存储与所耦接的医学装置相关联的多个PSF。

(3)根据(1)-(2)所述的医学成像系统，其中，处理包括通过优先考虑景深扩展和模糊改善中的一者来进行选择。

(4)根据(1)-(3)所述的医学成像系统，还包括：

透镜镜筒。

(5)根据(1)-(4)所述的医学成像系统，其中，图像传感器设置在摄像头内。

(6)根据(1)-(5)所述的医学成像系统，其中，双折射掩模设置在摄像头与透镜镜筒之间。

(7)根据(1)-(5)所述的医学成像系统，其中，双折射掩模包含在透镜镜筒和摄像头中的一者中。

(8)根据(1)-(5)所述的医学成像系统，其中，双折射掩模可从透镜镜筒和摄像头两者中拆卸。

(9)根据(1)-(8)所述的医学成像系统，其中，通过基于成像的医学用途优先考虑景深扩展和模糊改善中的至少一者，来生成图像。

(10)根据(1)-(9)所述的医学成像系统，其中，基于由图像传感器成像的样本的观察条件，来选择一个或多个点扩散函数。

(11)根据(1)-(10)所述的医学成像系统，其中，观察条件包括医学成像系统可用的光的类型。

(12)根据(1)-(11)所述的医学成像系统，其中，与多个医学装置中的每个医学装置相关联的所存储的多个PSF在以下的时间之一生成：销售之前的制造时间、手术之前的时间以及手术期间的时间。

(13)根据(1)-(12)所述的医学成像系统，其中，处理电路进一步被配置为：通过被配置为选择由从寄存器提取的点扩散函数(PSF)生成的一个或多个修改的点扩散函数(PSF)中的一个来生成输出图像。

(14)根据(1)-(13)所述的医学成像系统，其中，通过给从寄存器提取的点扩散函数(PSF)分配权重来生成修改的点扩散函数(PSF)。

(15)根据(1)-(14)所述的医学成像系统，其中，基于样本的细度来分配权重。

(16)根据(1)-(14)所述的医学成像系统，其中，基于聚焦程度来分配权重。

(17)根据(1)-(14)所述的医学成像系统，其中，基于主体的颜色来分配权重。

(18)根据(17)所述的医学成像系统，其中，分配权重，以在考虑组织时加重红色分量。

(19)根据(1)-(13)所述的医学成像系统，其中，处理电路进一步被配置为：通过被配置为基于自动对焦(AF)状态或手动对焦状态选择由从寄存器提取的点扩散函数(PSF)生成的一个或多个修改的点扩散函数(PSF)中的一个来生成输出图像。

(20)根据(1)-(14)所述的医学成像系统，其中，基于观察方法分配权重和/或选择一个或多个修改的点扩散函数(PSF)中的一个。

(21)根据(20)所述的医学成像系统，其中，分配权重和/或选择一个或多个修改的点扩散函数(PSF)中的一个，以在处于水中时以及在接近鼻子、耳朵和大脑的深部时优先考虑景深，在对大脑表面上的血管进行治疗时改善模糊，并且在进行近红外荧光观察时优先考虑红色频率。

(22)根据(1)-(14)所述的医学成像系统，其中，基于观察目标，分配权重和/或选择一个或多个修改的点扩散函数(PSF)中的一个。

(23)根据(22)所述的医学成像系统，其中，分配权重和/或选择一个或多个修改的点扩散函数(PSF)中的一个，以在观察腹腔或胸腔中的器官时优先考虑景深，并且在观察血管流时优先考虑模糊。

(24)根据(22)-(23)所述的医学成像系统，其中，基于用户选择来确定观察目标。

(25)一种医学图像处理设备，包括：

处理电路，被配置为：

从具有耦接至其的双折射掩模的图像传感器获得图像数据，并且

基于耦接的医学装置的独特光学特性对图像数据进行处理，

其中，处理包括基于独特光学特性的景深扩展和模糊改善中的至少一者。

(26)一种医学图像处理方法，包括：

从具有耦接至其的双折射掩模的图像传感器获得图像数据；

基于耦接的医学装置的独特光学特性对图像数据进行处理，处理包括基于独特光学特性的景深扩展和模糊改善中的至少一者；并且

输出所生成的图像。

(1a)一种图像处理装置，包括：

控制单元，被配置为进行控制，使得基于其中捕获了主体的图像和用于调整图像中的模糊量的函数来生成校正图像，

其中，该函数是根据与主体观察相关的条件计算的函数。

(2a)根据(1a)所述的图像处理装置，

其中，函数包括具有彼此不同的条件的多个函数，并且

控制单元进行控制，使得基于多个函数中的至少任一个函数来生成校正图像。

(3a)根据(1a)所述的图像处理装置，

其中，与观察有关的条件是从图像或图像的成像条件获得的检测信息。

(4a)根据(3a)所述的图像处理装置，

其中，检测信息是图像的颜色分量信息、边缘信息、对比度信息或亮度信息。

(5a)根据(3a)所述的图像处理装置，

其中，成像条件是当捕获图像时的照明光信息、焦点距离信息、焦点位置信息、焦点控制信息、聚焦透镜位置信息、光学变焦控制信息或光学变焦透镜位置信息。

(6a)根据(2a)所述的图像处理装置，

其中，控制单元进行控制，使得根据条件从多个函数中选择要应用的函数，并且基于该函数生成校正图像。

(7a)根据(6a)所述的图像处理装置，

其中，函数包括根据条件应用权重的多个函数。

(8a)根据(6a)所述的图像处理装置，

其中，函数包括根据条件基于扩散函数计算的多个函数。

(9a)根据(1a)至(8a)中任一项所述的图像处理装置，

其中，函数是点扩散函数。

(10a)根据(9a)所述的图像处理装置，

其中，生成校正图像的处理是基于点扩散函数的解卷积。

(11a)一种医学图像处理系统，包括：

成像装置，包括被配置为捕获样本的图像的成像单元和被配置为在成像单元上形成样本的主体图像的光学系统；以及

图像处理装置，被配置为进行控制，使得从由成像单元捕获的图像中生成校正图像，

其中，图像处理装置包括控制单元，控制单元被配置为基于图像和用于调整图像中的模糊量的函数来生成校正图像，

其中，根据与主体观察相关的条件来计算函数。

(12a)根据(11a)所述的医学图像处理系统，

其中，成像装置是内窥镜，在内窥镜中，包括光学系统的透镜镜筒的至少一部分插入到样本的体腔中。

(13a)根据(12a)所述的医学图像处理系统，

其中，透镜镜筒从成像单元可拆卸，并且

在透镜镜筒和成像单元之间插入用于控制被配置为在成像单元上形成主体图像的光学系统的振幅传递函数的光学元件，

其中，函数是根据光学元件的特性计算的函数。

(14a)根据(13a)所述的医学图像处理系统，

其中，光学元件保持在透镜镜筒的端部侧，端部侧安装在成像单元处。

(15a)根据(13a)所述的医学图像处理系统，

其中，光学元件保持在安装成像单元的透镜镜筒的端部侧。

(16a)根据(13a)所述的医学图像处理系统，

其中，光学元件从成像单元和透镜镜筒中可拆卸。

(17a)一种图像处理方法，包括：

通过处理器进行控制，使得于其中捕获了主体的图像和用于调整图像中的模糊量的函数来生成校正图像，

其中，函数是根据与主体观察相关的条件计算的函数。

(18a)

一种其上记录有程序的记录介质，该程序使计算机进行控制，使得基于其中捕获了主体的图像和用于调整图像中的模糊量的函数来生成校正图像，

其中，函数是根据与主体观察相关的条件计算的函数。

附图标记列表

1 内窥镜装置

2 内窥镜

3 成像装置

4 光学元件

5 显示装置

6 光源装置

7 光导

8 传输电缆

9 摄像头

10 图像处理装置

101 获取单元

102 存储单元

103 控制单元

104 控制单元

105 计算单元

106 选择单元

107 图像处理单元。

Claims (26)

1.一种医学成像系统，包括：

图像传感器；

双折射掩模，耦接到所述图像传感器；以及

处理电路，被配置为：

从所述图像传感器获得图像数据，并且

基于耦接的医学装置的独特光学特性对所述图像数据进行处理，

其中，处理包括基于所述独特光学特性来选择景深扩展和模糊改善中的至少一者。

2.根据权利要求1所述的医学成像系统，其中，所述处理使用从非暂时性存储器提取的一个或多个点扩散函数(PSF)，所述非暂时性存储器被配置为存储与所耦接的医学装置相关联的多个PSF。

3.根据权利要求1所述的医学成像系统，其中，所述处理包括通过优先考虑所述景深扩展和所述模糊改善中的一者来进行选择。

4.根据权利要求1所述的医学成像系统，进一步包括：

透镜镜筒。

5.根据权利要求4所述的医学成像系统，其中，所述图像传感器设置在摄像头内。

6.根据权利要求5所述的医学成像系统，其中，所述双折射掩模设置在所述摄像头与所述透镜镜筒之间。

7.根据权利要求5所述的医学成像系统，其中，所述双折射掩模包含在所述透镜镜筒和所述摄像头中的一者中。

8.根据权利要求5所述的医学成像系统，其中，所述双折射掩模能够从所述透镜镜筒和所述摄像头两者中拆卸。

9.根据权利要求1所述的医学成像系统，其中，通过基于成像的医学用途优先考虑所述景深扩展和所述模糊改善中的至少一者，来生成图像。

10.根据权利要求1所述的医学成像系统，其中，基于由所述图像传感器成像的样本的观察条件来选择一个或多个点扩散函数。

11.根据权利要求10所述的医学成像系统，其中，所述观察条件包括所述医学成像系统能够使用的光的类型。

12.根据权利要求1所述的医学成像系统，其中，与多个所述医学装置中的每个医学装置相关联的所存储的多个PSF在以下的时间之一生成：销售之前的制造时间、手术之前的时间以及手术期间的时间。

13.根据权利要求1所述的医学成像系统，其中，所述处理电路进一步被配置为：通过被配置为选择由从寄存器提取的点扩散函数(PSF)生成的一个或多个修改的点扩散函数(PSF)中的一个来生成输出图像。

14.根据权利要求13所述的医学成像系统，其中，通过给从所述寄存器提取的点扩散函数(PSF)分配权重来生成所述修改的点扩散函数(PSF)。

15.根据权利要求14所述的医学成像系统，其中，基于样本的细度来分配所述权重。

16.根据权利要求14所述的医学成像系统，其中，基于聚焦程度来分配所述权重。

17.根据权利要求14所述的医学成像系统，其中，基于主体的颜色来分配所述权重。

18.根据权利要求17所述的医学成像系统，其中，分配所述权重，以在考虑组织时加重红色分量。

19.根据权利要求13所述的医学成像系统，其中，所述处理电路进一步被配置为：通过被配置为基于自动对焦(AF)状态或手动对焦状态选择由从所述寄存器提取的所述点扩散函数(PSF)生成的一个或多个所述修改的点扩散函数(PSF)中的一个来生成输出图像。

20.根据权利要求14所述的医学成像系统，其中，基于观察方法分配所述权重和/或选择一个或多个所述修改的点扩散函数(PSF)中的一个。

21.根据权利要求20所述的医学成像系统，其中，分配所述权重和/或选择一个或多个所述修改的点扩散函数(PSF)中的一个，以在处于水中时以及在接近鼻子、耳朵和大脑的深部时优先考虑景深，在对大脑表面上的血管进行治疗时改善模糊，并且在进行近红外荧光观察时优先考虑红色频率。

22.根据权利要求14所述的医学成像系统，其中，基于观察目标，分配所述权重和/或选择一个或多个所述修改的点扩散函数(PSF)中的一个。

23.根据权利要求22所述的医学成像系统，其中，分配所述权重和/或选择一个或多个所述修改的点扩散函数(PSF)中的一个，以在观察腹腔或胸腔中的器官时优先考虑景深，并且在观察血管流时优先考虑模糊。

24.根据权利要求22所述的医学成像系统，其中，基于用户选择来确定所述观察目标。

25.一种医学图像处理设备，包括：

处理电路，所述处理电路被配置为：

从具有耦接至其的双折射掩模的图像传感器获得图像数据，并且

基于耦接的医学装置的独特光学特性对所述图像数据进行处理，

其中，处理包括基于所述独特光学特性的景深扩展和模糊改善中的至少一者。

26.一种医学图像处理方法，包括：

从具有耦接至其的双折射掩模的图像传感器获得图像数据；

基于耦接的医学装置的独特光学特性对所述图像数据进行处理，处理包括基于所述独特光学特性的景深扩展和模糊改善中的至少一者；并且

输出所生成的图像。