CN114073067A - 图像处理装置、成像装置、图像处理方法和程序 - Google Patents

Abstract

不在捕捉图像上叠加峰值信号地生成能够确认聚焦位置的图像。因此，按照本技术的图像处理装置包括图像信号生成单元，所述图像信号生成单元从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号，和混合处理单元，所述混合处理单元基于混合比混合所述多个图像信号，所述混合比是基于关于所述一个捕捉图像信号的峰值信号确定的。

Description

图像处理装置、成像装置、图像处理方法和程序

技术领域

本技术涉及用于生成用于监视器输出的图像信号的图像处理装置、成像装置、图像处理方法和程序的技术领域。特别地，本技术涉及生成用于其中能够确认聚焦度的图像的图像信号的成像装置、成像信号处理装置和成像信号处理方法。

背景技术

一些成像装置包括用于实时检查正在捕捉的图像的亮度、白平衡等的监视器输出。为此，可取的是显示在监视器上的图像能够忠实地表现所捕捉图像的亮度、白平衡和分辨率。然而，在具有许多高分辨率成像传感器的成像装置中，从成本和小型化的角度来看，难以具有像素数等于或大于成像传感器的像素数的显示系统。于是，在包含在这种成像装置中的显示系统中，难以表现原本的分辨率感觉和聚焦位置。

专利文献1公开了一种通过将在高分辨率区域中检测到的峰值信号叠加在分辨率降低的捕捉图像上来表现聚焦位置的技术。

引文列表

专利文献

专利文献1：日本专利申请公开No.2011-176788

发明内容

本发明要解决的问题

然而，在将峰值信号叠加显示在要捕捉的图像上的情况下，有可能取决于成像对象(被摄体)而变得难以看清，并且存在用户对使用感到抵触的情况。

于是，本技术的目的是生成在不将峰值信号叠加在要捕捉的图像上的情况下，也能够确认聚焦位置的图像。

问题的解决方案

按照本技术的图像处理装置包括：图像信号生成单元，所述图像信号生成单元从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和混合处理单元，所述混合处理单元基于混合比混合所述多个图像信号，所述混合比是基于关于所述一个捕捉图像信号的峰值信号确定的。

所述具有彼此不同的频率特性的图像信号例如是包括高频分量的图像信号和去除了高频分量的图像信号。

上述图像处理装置中的所述图像信号生成单元可以包括第一分辨率变换处理单元，所述第一分辨率变换处理单元进行将具有第一分辨率的输入图像信号变换成具有第二分辨率的输出信号的分辨率变换处理。

第一分辨率例如是4K分辨率(3840水平像素和2160垂直像素)，第二分辨率例如是HD分辨率(1280水平像素和720垂直像素)。或者，第一分辨率可以是8K分辨率(7680水平像素和4320垂直像素)，第二分辨率可以是4K分辨率、2K分辨率(1920水平像素和1080垂直像素)、或HD分辨率。

上述图像处理装置中的所述多个图像信号可以包括第一图像信号和第二图像信号，所述第一图像信号可以是比所述第二图像信号包含更多高频分量的图像信号。

一个图像信号是比另一个图像信号包含更多高频分量的图像，并且对于显示图像的每个部分，通过改变图像信号的混合比，可以改变显示图像的每个部分所包含的高频分量的数量。

上述图像处理装置中的所述第一图像信号可以是不经过限带滤波器的图像信号，所述第二图像信号可以是经过低通滤波器的图像信号。

所述第一图像信号通常用于显示图像中的聚焦位置。此外，所述第二图像信号通常用于显示图像中的聚焦位置以外的部分。

上述图像处理装置中的所述第一图像信号可以是经过高通滤波器的图像信号，所述第二图像信号可以是不经过限带滤波器的图像信号。

所述第一图像信号是通过高通滤波器强调高频分量的图像信号。

上述图像处理装置中的所述第一图像信号可以是经过高通滤波器的图像信号，所述第二图像信号可以是经过低通滤波器的图像信号。

所述第一图像信号是通过经过高通滤波器强调高频分量的图像信号，所述第二图像信号是通过经过低通滤波器强调低频分量的图像信号。

上述图像处理装置还可以包括高频频带边缘检测单元，所述高频频带边缘检测单元从所述一个捕捉图像信号中提取高频频带的边缘检测信号，作为所述峰值信号。

即，所述图像处理装置包括高频频带边缘检测单元。

上述图像处理装置中的所述高频频带边缘检测单元可以包括第二分辨率变换处理单元，所述第二分辨率变换处理单元在保持高频频带的边缘信息的状态下进行分辨率变换处理。

结果，用于确定混合比的峰值信号是在未去除高频分量的情况下被下变换的信号。

上述图像处理装置中的所述高频频带边缘检测单元可以包括频带控制单元，所述频带控制单元基于与用于成像的透镜有关的透镜信息来控制所述高频频带。

透镜信息例如可以是变焦透镜的位置信息、诸如F值之类的信息、或者能够指定所述信息的透镜型号。

上述图像处理装置中的所述混合处理单元可以基于所述混合比进行α混合。

结果，通过所述混合处理单元合成具有不同频率特性的两个图像信号。

按照本技术的成像装置包括：具有第一像素数的成像元件；具有第二像素数的显示单元，所述第二像素数小于所述第一像素数；图像信号生成单元，所述图像信号生成单元从输出自所述成像元件的一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和混合处理单元，所述混合处理单元根据基于峰值信号确定的混合比，进行所述多个图像信号的混合，以生成待输出给所述显示单元的图像信号。

例如，所述第一像素数是基于作为4K分辨率的水平3840像素和垂直2160像素的像素数，所述第二像素数是基于作为HD分辨率的水平1280像素和垂直720像素的像素数。

上述成像装置还可以包括切换处理单元，所述切换处理单元被配置成在将来自所述混合处理单元的输出输入到所述显示单元的模式，和将来自所述分辨率变换处理单元的输出不经过所述混合处理单元地输入到所述显示单元的模式之间进行切换。

可以与切换处理单元对应地设置用于切换的操作器。所述操作器例如可以是诸如物理按钮之类的操作器，或者通过能够从菜单屏幕切换而用于操作菜单屏幕的操作器可以起切换操作器的作用。此外，在所述显示单元配备有触摸面板的情况下，所述显示单元可以起切换操作器的作用。即，通过操作布置在显示单元上的图标等，可以切换模式。

上述成像装置中的所述混合比可以按照所述峰值信号和用户设定来确定。

所述混合比可以只基于所述峰值信号来确定，只基于用户设定来确定，或者基于所述峰值信号和用户设定两者来确定。此外，这些切换可以被配置成可以由用户设定。

上述成像装置还可以包括通知单元，用于在所述显示单元上进行与来自所述混合处理单元的输出对应的显示的情况下，向用户通知进行与来自所述混合处理单元的输出对应的显示。

例如，所述通知单元可以执行在显示单元上显示指示显示经过混合处理的图像的图标的处理，或者可以通过设置诸如通知发光二极管(LED)之类的发光单元来执行通知处理。

按照本技术的图像处理方法是由图像处理装置进行的图像处理方法，所述方法包括：从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和根据基于峰值信号确定的混合比混合所述多个图像信号。

按照本技术的程序用于使信息处理装置执行以下处理：从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和根据基于峰值信号确定的混合比混合所述多个图像信号。

附图说明

图1是按照本技术的实施例的成像装置的透视图。

图2是按照实施例的成像装置的方框图。

图3是图解说明第一实施例中的信号处理单元的例子的方框图。

图4是高分辨率图像的图像示图；

图5是通常图像的图像示图；

图6是通过从通常图像中去除高频分量而获得的图像的图像示图。

图7是从混合单元输出的监视器输出图像的图像示图。

图8是图解说明第二实施例中的信号处理单元的例子的方框图。

图9是图解说明第三实施例中的信号处理单元的例子的方框图。

图10是图解说明第四实施例中的信号处理单元的例子的方框图。

图11是图解说明第一变形例中的信号处理单元的例子的方框图。

图12是第二变形例中的成像装置的方框图。

图13是图解说明内窥镜手术系统的示意构成的例子的示图。

图14是图解说明图13中图解所示的摄像头和CCU的功能构成的例子的方框图。

具体实施方式

下面，将参考附图按照以下顺序说明实施例。

<1.第一实施例>

<2.第二实施例>

<3.第三实施例>

<4.第四实施例>

<5.变形例>

<6.总结>

<7.应用例>

<8.本技术>

<1.第一实施例>

图1图解说明按照本技术的成像装置1的外观。

成像装置1包括具有其中布置基板等的内部空间的相机壳体2，和附接到相机壳体2的前方并且其中布置透镜组的镜头壳体3。

在相机壳体2的上部设置有电子取景器(EVF)4，在相机壳体2的后部附接有背面监视器5。在相机壳体2中，在各个单元中设置用于对被摄体成像和检查所捕捉图像的各种操作器6。操作器的具体例子包括重放菜单激活按钮、确定按钮、十字键、取消按钮、变焦按钮、滑动按钮、快门按钮(释放按钮)等。

EVF 4包括可以从后方视觉识别的EVF监视器7，和向后方突出以围绕EVF监视器7的上方及左右侧的框状包围部分8。即，EVF监视器7设置在取景器中。

背面监视器5可以相对于相机壳体2转动。例如，能够以背面监视器5的上端部作为转动轴，向后方移动地转动背面监视器5的下端部。

注意，背面监视器5的右端部和左端部可以用作转动轴。此外，可以在多个方向上转动背面监视器5。

图2是成像装置1的方框图。成像装置1包括光学系统50、成像单元51、信号处理单元52、控制单元53、光学系统驱动器54、操作输入单元55、显示单元56等。显示单元56例如是背面监视器5或EVF监视器7。在下面的说明中，图像被输出到作为显示单元56的EVF监视器7。

注意，尽管未在图2中图示，不过，成像装置1可以包括存储器单元、传感器、存储单元、通信单元等。

光学系统50包括诸如入射端透镜、变焦透镜、聚焦透镜和聚光透镜之类的各种透镜、光圈机构等。光圈机构通过调整透镜或虹膜(光圈)的开口量，进行曝光控制，使得在信号电荷不饱和，并且在动态范围内的状态下进行感测。从被摄体反射的光(被摄体光)进入光学系统50中。

成像单元51例如包括电荷耦合器件(CCD)式或互补金属氧化物半导体(CMOS)式成像元件51a。

成像元件51a的传感器表面包括其中二维排列多个像素的感测元件。

成像单元51对于通过光电变换由成像元件51a接收的光而获得的电信号，执行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，并且还进行模/数(A/D)变换处理。随后，作为数字数据的捕捉图像被输出到下一级的信号处理单元52。注意，在以下的说明中，将给出其中成像元件51a具有4K图像分辨率，而EVF监视器7具有2K分辨率的例子。

信号处理单元52例如包括诸如数字处理器(DSP)之类专用于数字信号处理的微处理器、微计算机等。

信号处理单元52包括用于对从成像单元51发送的数字信号(捕捉图像信号)进行各种信号处理的各个单元。

具体地，信号处理单元52包括校正处理单元57、显影处理单元58、主线系统输出处理单元59、第一分辨率变换处理单元60、高频频带边缘检测单元61、监视器输出生成单元62等。详细情况将在后面参考图3说明。

通过由这些单元进行信号处理，从信号处理单元52输出要输出到作为显示单元的EVF监视器7的图像信号和作为主线输出的4K分辨率的图像信号。

控制单元53进行成像装置1的整体控制。此外，控制单元53指令光学系统驱动器54控制包含在光学系统50中的各个透镜。

光学系统驱动器54例如设置有对于变焦透镜驱动电动机的电动机驱动器、对于聚焦透镜驱动电动机的电动机驱动器、对于用于驱动光圈机构的电动机的电动机驱动器等。

控制单元53能够获取关于包含在光学系统50中的各个透镜的信息。透镜的信息例如包括诸如透镜的型号、变焦透镜的位置、以及f数(光圈值)之类的信息。

校正处理单元57例如进行诸如R、G和B颜色通道之间的校正处理、白平衡校正、像差校正和阴影校正之类的处理。从校正处理单元57输出的图像信号被输入到显影处理单元58和高频频带边缘检测单元61中。

显影处理单元58进行从R、G和B图像数据生成(分离)亮度(Y)信号和颜色(C)信号的YC生成处理、调整亮度和颜色的处理、拐点校正、γ校正等。

主线系统输出处理单元59进行分辨率变换处理、进行用于记录或通信的编码的编解码器处理等，从而将图像信号变换成最终输出格式，并输出变换后的图像信号到外部作为4K图像的主线输出等。

第一分辨率变换处理单元60对于从显影处理单元58输出的图像信号进行分辨率变换处理(下变换处理)，从而从4K分辨率的图像信号生成2K分辨率的图像信号。2K分辨率的图像信号被输入到监视器输出生成单元62中。

高频频带边缘检测单元61进行从经过校正处理单元57的各种类型的校正处理的图像信号中，提取2K分辨率的边缘检测信号的处理。具体地，高频频带边缘检测单元61从4K分辨率的图像信号中提取高频频带中的边缘检测信号，并对该边缘检测信号进行分辨率变换处理，以提取2K分辨率的边缘检测信号。

注意，高频频带边缘检测单元61包括频带控制单元63和第二分辨率变换处理单元64(参见图3)。即，频带控制单元63进行用于提取边缘检测信号的滤波，第二分辨率变换处理单元64进行分辨率变换，以获得2K分辨率的边缘检测信号。

于是，控制单元53基于透镜信息来控制频带控制单元63，使得进行基于要提取的边缘检测信号的频率的频带控制。例如，控制频带控制单元63，使得经过频带控制单元63的频带对应于变焦透镜的位置。具体地，在进行变焦拍摄的情况下，与等倍率成像相比，捕捉图像的频带通常较低。于是，在以低倍率进行成像的情况下，控制频带控制单元63，使得提取高频分量作为边缘检测信号。相反，在以高倍率进行成像的情况下(在以高倍率进行变焦拍摄的情况下)，有可能无法提取高频分量，从而无法获得适当的边缘检测信号。于是，控制频带控制单元63，使得提取稍低的频率分量作为边缘检测信号。

此外，控制单元53进行控制，使得经过频带控制单元63的频带按照F值变得适当。如果F值过大，那么由于光圈模糊，难以提取高频分量作为边缘检测信号。此外，如果F值过小，那么由于开口模糊，同样难以提取高频分量作为边缘检测信号。

此外，控制单元53进行控制，使得经过频带控制单元63的频带按照透镜的类型变得适当。即，按照每个透镜的调制传递函数(MTF)特性，控制频带控制单元63。

高频频带边缘检测单元61从4K分辨率的图像信号中提取2K分辨率下的高频频带中的边缘检测信号。于是，高频频带边缘检测单元61以包括水平方向2个像素和垂直方向2个像素的4个像素为单位进行处理。于是，包含在高频频带边缘检测单元61中的频带控制单元63和第二分辨率变换处理单元64也进行每个4个像素的处理。即，频带控制单元63可以包括处理4个像素中的一个左上像素的频带控制单元63a、处理一个右上像素的频带控制单元63b、处理一个左下像素的频带控制单元63c和处理一个右下像素的频带控制单元63d。

频带控制单元63按照来自控制单元53的指令，提取预定频带的边缘检测信号。频带控制单元63进行检测水平方向的边缘的处理和检测垂直方向的边缘的处理。作为检测水平方向的边缘的处理和检测垂直方向的边缘的处理，例如，进行使用用于稳定增益的增益系数的增益稳定处理、去除随机噪声的处理等。

此外，本构成中的频带控制单元63从水平方向的边缘检测信号和垂直方向的边缘检测信号中选择并提取绝对值大的信号，并输出所选信号作为关于待处理的一个像素的边缘检测信号。即，从频带控制单元63选择并输出针对每个像素的水平边缘检测信号或垂直边缘检测信号，作为4个像素中的每一个的边缘检测信号。

第二分辨率变换处理单元64接收从频带控制单元63输出的针对4个像素的边缘检测信号，进行下变换处理，并输出信号作为一个像素的边缘检测信号(峰值信号)。

本构成中的第二分辨率变换处理单元64被配置成在不损害高频频带中的边缘信息的情况下进行下变换处理。

具体地，计算连续的边缘检测信号的差分，输出该差分最大的组。结果，从4K分辨率的边缘检测信号生成(提取)2K分辨率的边缘检测信号，使得不会损害高频频带中的边缘信息。

注意，第二分辨率变换处理单元64不仅进行下变换处理，而且可以进行平方化处理，以强调更窄范围内的频带中的信号。此外，通过使用能够选择经过平方化处理的信号和没有经过平方化处理的信号的选择器，可以输出与用户的偏好相应的边缘检测信号。

从第二分辨率变换处理单元64输出的峰值信号和从第一分辨率变换处理单元60输出的图像信号(下文中描述为“通常图像信号”)都被输入到监视器输出生成单元62。

峰值信号和通常图像信号都是与显示单元56的分辨率相应的2K分辨率信号。监视器输出生成单元62使用两个信号生成用于在显示单元56上显示图像的图像信号。

监视器输出生成单元62从通过使通常图像信号分支而获得的图像信号生成第一图像信号和第二图像信号，并基于峰值信号进行混合第一图像信号和第二图像信号的处理。

第一图像信号和第二图像信号是具有不同频率特性的图像信号，例如，第一图像信号是与第二图像信号相比，具有相对更多的高频分量的图像信号。

监视器输出生成单元62包括限带滤波器65和混合单元66。

可以考虑限带滤波器65的多个例子。图3中图解所示的例子是其中使用低通滤波器(LPF)65a作为限带滤波器65的例子。

从第一分辨率变换处理单元60输出的通常图像信号被分支成两个图像信号，其中的一个作为通常图像信号被输入到混合单元66，而另一个被输入到LPF65a。

在LPF65a中，生成去除了来自设定的预定频率或更高频率的频带的图像信号(下文中描述为“LPF图像信号”)。

注意，LPF 65a的滤波器系数可以被赋予由控制单元53预先确定的预定值，或者可以作为变量给出。

在滤波器系数可变的情况下，滤波器系数可以由控制单元53根据摄影环境等来确定，或者可以由控制单元53基于摄影者、视频工程师等的操作来确定。

混合单元66混合通常图像信号和LPF图像信号。作为混合方法，例如，使用诸如α混合之类的融合方法。

例如，如果将LPF图像信号的分量(比率)设定为0并进行混合，那么在显示单元56上显示单纯的通常图像。此外，如果将通常图像信号的分量(比率)设定为0并进行混合，那么在显示单元56上显示去除了高频分量的图像。

混合单元66通过基于峰值信号，改变针对每个像素或每个区域的混合比，生成其中去除了高频分量的区域和其中保留高频分量的区域。

具体地，对于峰值信号大的像素(或区域)，增大通常图像信号的比率，并降低LPF图像信号的比率。此外，对于峰值信号小的像素(或区域)，降低通常图像信号的比率，并增大LPF图像信号的比率。

例如，可以确定峰值信号最大的像素(区域)中的通常图像信号和LPF图像信号的混合比，以及峰值信号最小的像素(区域)中的混合比，并且对于其他像素(区域)，混合比可以从峰值信号最大的像素(区域)向峰值信号最小的像素(区域)线性地变化。

注意，峰值信号大的像素(区域)是包含大量高频分量的像素(区域)，例如是聚焦的像素(区域)。此外，峰值信号小的像素(区域)是包含高频分量不多的像素(区域)，例如是没有聚焦的像素(区域)。

即，在从混合单元66输出的监视器输出信号中，相对强调聚焦的像素(区域)。

将参考图4、图5、图6和图7说明例子。

图4是诸如4K图像之类的高分辨率图像的图像示图。聚焦于人物的眼睛、鼻子和嘴，而没有聚焦于面部的轮廓及肩部。即，眼睛、鼻子和嘴的部分包含大量的高频分量，而面部的轮廓部分及肩部部分包含少量的高频分量。

图5是根据通常图像信号的图像的图像示图，即，图像经过第一分辨率变换处理单元60的分辨率变换。对于眼睛、鼻子和嘴的部分，在一定程度上保留高频分量。

图6是根据经由LPF 65a的通常图像信号，即LPF图像信号的图像的示图。从眼睛、鼻子和嘴的部分也去除了高频分量。此外，还从面部的轮廓以及肩部部分去除了高频分量。

在高频频带边缘检测单元61从图4中图解所示的高分辨率图像提取的峰值信号中，眼睛、鼻子和嘴的像素区域被增大，而轮廓部分和肩部的像素区域被减小。

于是，当混合单元66基于峰值信号进行混合时，对于眼睛、鼻子和嘴的像素区域，优先考虑图5中图解所示的通常图像信号，而对于轮廓部分和肩部的像素区域，优先考虑图6中图解所示的LPF图像信号。即，通过从混合单元66输出的监视器输出信号显示在显示单元56上的图像如图7中图解所示。

即，在监视器输出信号中，没有聚焦的像素区域被设定为LPF图像信号，从而，相对强调聚焦的图像区域。

对于混合单元66来说，有几种可能的混合方法。

例如，可以进行使用距离图像的混合。距离图像指的是包括基于距离的距离像素信号的图像，所述距离是通过针对每个像素检测被摄体在深度方向上与成像装置1的距离而检测的距离。

下面进行具体说明。在成像装置1包括测量与被摄体的距离的单元的情况下，成像装置1可以生成距离图像。

首先，对于峰值信号高的像素区域，优先混合通常图像信号。

此外，假设峰值信号高的像素区域中与被摄体的距离为D1，则其他像素区域中与被摄体的距离可以用(D1+d1)表示。d1因像素而异，并且当d1较小时，被摄体位于与聚焦的被摄体相同的距离处。

在使用距离图像的混合中，当d1较小时，优先混合通常像素信号，而当d1较大时，优先混合LPF图像信号。

结果，即使在尽管像素区域聚焦，但由于高频分量较少从而峰值信号变小的像素区域中，也优先考虑通常像素信号地进行混合，从而可以强调像素区域聚焦。

作为另一种混合方法，可以按照图像上的像素距离进行混合。具体地，在显示单元56上显示的图像中，越是接近于峰值信号较高的像素区域的像素就越优先与通常像素信号混合，而越是远离该像素区域的像素就越优先与LPF图像信号混合。

结果，能够使显示单元56等显示其中容易掌握哪个像素区域聚焦的图像。

<2.第二实施例>

按照第二实施例的成像装置1A具有与第一实施例不同的高频频带边缘检测单元和监视器输出生成单元的构成。

将参考图8对此进行具体说明。

成像装置1A包括信号处理单元52A。图8是信号处理单元52A的方框图。信号处理单元52A包括高频频带边缘检测单元61A和监视器输出生成单元62A。

高频频带边缘检测单元61A包括多个频带控制单元63Aa、63Ab、…和多个第二分辨率变换处理单元64Aa、64Ab、…。

频带控制单元63Aa接收经过校正处理单元57的各种校正处理的图像信号，并进行用于提取边缘检测信号的滤波处理。频带控制单元63Aa的输出由第二分辨率变换处理单元64Aa进行下变换，并作为峰值信号Pa输入到监视器输出生成单元62A的混合单元66A。

频带控制单元63Ab接收经过校正处理单元57的各种校正处理的图像信号，并进行用于提取边缘检测信号的滤波处理。频带控制单元63Ab的输出由第二分辨率变换处理单元64Ab进行下变换，并作为峰值信号Pb输入到监视器输出生成单元62A的混合单元66A。

类似地，来自校正处理单元57的输出信号被输入到其他频带控制单元63A，提取的边缘检测信号被下变换，并作为峰值信号P输入到混合单元66A。

多个峰值信号Pa、Pb、……是通过提取高频频带中具有不同频率的特定分量而获得的信号。

监视器输出生成单元62A包括多个限带滤波器65、65、…和混合单元66A。

多个限带滤波器65、65、…对应于LPF 65a1、65a2、…。

LPF 65a1、65a2、…是具有不同通带的LPF，并向混合单元66A输出LPF图像信号L1、L2、…。

注意，LPF 65a1、65a2、…可以是带通滤波器(BPF)。

作为不经过任何LPF 65a的第一图像信号的通常图像信号和作为经由任意LPF65a的第二图像信号的LPF图像信号L1、L2、…被输入到混合单元66A。

混合单元66A基于多个输入的峰值信号Pa、Pb、…混合多个图像信号(通常图像信号、LPF图像信号L1、LPF图像信号L2、…)。混合单元66A可以从多个图像信号中选择两个图像信号来进行α混合，或者可以选择三个或更多的图像信号来进行混合。

此外，可以对于每个像素区域进行不同的α混合，或者可以对于特定的像素区域混合三个或更多的图像信号。

例如，基于峰值信号Pa确定LPF图像信号L1的混合比。此外，基于峰值信号Pb确定LPF图像信号L2的混合比。最后，基于LPF图像信号L1和L2的混合比，确定通常图像信号的混合比。这样，可以确定多个图像信号的混合比。

此外，用于确定通常图像信号的混合比的峰值信号P可以在高频频带边缘检测单元61A中生成，并且峰值信号P可以被输入到混合单元66A。

注意，可以允许摄影者或视频工程师操作混合比。结果，能够容易地进行调整，以便使得能够按照摄影者或视频工程师的意图捕捉图像。

此外，代替高频频带边缘检测单元61A，可以使用特定频带分量检测单元67。即，包含在特定频带分量检测单元67中的频带控制单元63Aa、63Ab、…不仅提取高频频带的信号，而且提取特定频带的信号，并且第二分辨率变换处理单元64Aa、64Ab、…进行下变换，使得不会丢失特定频带的信号。

结果，混合单元66A能够生成其中强调特定频带的信号的监视器输出信号。即，能够自由地制作摄影者或视频工程师所希望的图像。

<3.第三实施例>

第三实施例中的成像装置1B是其中监视器输出生成单元包括高通滤波器(HPF)65b作为限带滤波器65的例子。

将参考图9对此进行具体说明。

成像装置1B包括信号处理单元52B。图9是信号处理单元52B的方框图。

信号处理单元52B包括监视器输出生成单元62B。监视器输出生成单元62B包括HPF65B、加法器68和混合单元66B。

从高频频带边缘检测单元61输出的峰值信号和从第一分辨率变换处理单元60输出的通常图像信号被输入到监视器输出生成单元62B。

输入到监视器输出生成单元62B的通常图像信号被分支成三个信号，其中，一个在为通常图像信号的同时作为第二图像信号输入到混合单元66B，一个输入到加法器68，而另一个经由HPF65b输入到加法器68。

从加法器68输出的图像信号作为HPF图像信号输入到混合单元66B。

即，作为第一图像信号的HPF图像信号和作为第二图像信号的通常图像信号连同峰值信号一起被输入到混合单元66B。

由于HPF图像信号是通过在通常图像信号中加入高频分量而获得的信号，因此HPF图像信号是与通常图像信号相比强调高频分量的信号。

混合单元66B基于输入的峰值信号进行HPF图像信号和通常图像信号的混合(例如α混合)。

具体地，对于聚焦的图像区域优先混合HPF图像信号，而对于没有聚焦的图像区域优先混合通常图像。

结果，强调聚焦的图像区域并显示在显示单元56上。

特别地，通过将施加了高频分量的HPF图像信号设定为第一图像信号，第二图像信号被设定为通常图像信号，使得即使在峰值信号小的像素域中也容易视觉地识别被摄体，并且可以在显示单元56上容易地确认捕捉图像的状态。

<4.第四实施例>

在第四实施例的成像装置1C中，监视器输出生成单元62C包括第三分辨率变换处理单元69。

将参考图10对此进行具体说明。

成像装置1C包括信号处理单元52C。图10是信号处理单元52C的方框图。

信号停止单元52C包括监视器输出生成单元62C。除了从第二分辨率变换处理单元输出的峰值信号和从第一分辨率变换处理单元60输出的通常图像信号之外，从显影处理单元58输出的图像信号也被输入到监视器输出生成单元62C。

从第一分辨率变换处理单元60输出的通常图像信号作为第一图像信号输入到混合单元66C。

从显影处理单元58不经过第一分辨率变换处理单元60而输入到监视器输出生成单元62C的图像信号保持为未被下变换的高分辨率图像信号，输入到充当限带滤波器65的LPF 65a，除去高频分量后输入到第三分辨率变换处理单元69。第三分辨率变换处理单元69执行从4K分辨率的图像信号到2K分辨率的图像信号的下变换处理，从而生成作为第二图像信号输入到混合单元66C的LPF图像信号。

混合单元66C基于输入的峰值信号，进行作为第一图像信号的通常图像信号和作为第二图像信号的LPF图像信号的混合处理。

注意，如在第三实施例中所述，作为使用HPF 65b生成的第一图像信号的HPF图像信号和作为第二图像信号的通常图像信号可以输入到混合单元66C。

注意，与第四实施方式中的成像装置1C相比，第一实施例中的成像装置1是通过下变换LPF 65a的输入而获得的低分辨率图像信号，从而，减轻了LPF 65a的处理负荷，能够加快处理速度。即，能够有助于改善显示在显示单元56上的图像的实时性。

<5.各种变形例>

<5-1.第一变形例>

可以使用HPF和LPF来生成在上述各个例子中说明的多个图像信号。

例如，第一图像信号可以是使用HPF 65b生成的HPF图像信号，第二图像信号可以是使用LPF 65a生成的LPF图像信号。

其中HPF 65b用于生成第一图像信号，LPF 65a用于生成第二图像信号的构成不仅可以应用于本实施例，而且可以应用于第一、第二和第三实施例。

例如，图11图解说明应用于第一实施例的第一变形例的构成。即，成像装置1D包括监视器输出生成单元62D。监视器输出生成单元62D包括作为限带滤波器65的HPF 65b和LPF65a、加法器68和混合单元66D。

HPF 65b和加法器68生成作为第一图像信号的HPF图像信号，并将HPF图像信号输出到混合单元66D。

LPF 65a生成作为第二图像信号的LPF图像信号，并将LPF图像信号输出到混合单元66D。

混合单元66D基于峰值信号，进行HPF图像信号和LPF图像信号的混合处理。

通过混合HPF图像信号和LPF图像信号，可以使聚焦的像素区域和没有聚焦的像素区域之间的差异更加清楚，使得能够更容易地确认捕捉图像。

<5-2.第二变形例>

第二变形例具有使得能够选择在显示单元56上显示通过由混合单元66混合多个图像信号而获得的混合图像和通常捕捉图像中的哪一个的构成。

将参考图12对此进行具体说明。

除了上述各种构成之外，成像装置1E还包括选择器71。

选择器71接收来自监视器输出生成单元62(混合单元66)的输出和来自第一分辨率变换处理单元60的输出(图像信号)。

选择器71向显示单元56输出基于控制信号，从监视器输出生成单元62和第一分辨率变换处理单元60选择的任意图像信号。

来自控制单元53的控制信号被输入到选择器71。控制单元53向选择器71输出与状况相应或者与使用各种操作器6的摄影者(或视频工程师)的操作相应的控制信号。

通过这种结构，例如，摄影者能够使显示单元56显示其中强调聚焦的像素区域的混合图像和通常图像之中的所需图像。

在成像装置1E中，控制单元53可以执行用于通知在显示单元56上显示混合图像和通常图像中的哪一个的控制。例如，显示单元56起通知单元的作用，并且在控制单元53的控制下，在显示单元56的屏幕上显示指示显示混合图像和通常图像中的哪一个图像的图标图像等。

此外，除了显示单元56之外，还可以设置例如包括发光二极管(LED)等的发光单元，作为专用通知单元。

<6.总结>

如在上述各个例子中所述，按照本技术的图像处理装置(成像装置1、1A、1B、1C和1D)包括：图像信号生成单元，所述图像信号生成单元从一个捕捉图像信号(从校正处理单元57输出的图像信号)生成具有彼此不同的频率特性的多个图像信号；和混合处理单元(混合单元66、66A、66B、66C和66D)，所述混合处理单元基于混合比混合所述多个图像信号，所述混合比是基于关于所述一个捕捉图像信号的峰值信号确定的。

图像信号生成单元的例子包括包含在按照第一实施例的成像装置1中的图像信号生成单元70(图3)、包含在按照第二实施例的成像装置1A中的图像信号生成单元70A(图8)、包含在按照第三实施例的成像装置1B中的图像信号生成单元70B(图9)、包含在按照第四实施例的成像装置1C中的图像信号生成单元70C(图10)、以及包含在按照变形例的成像装置1C中的图像信号生成单元70D(图11)。

所述频率特性彼此不同的图像信号例如是包括高频分量的图像信号和去除了高频分量的图像信号。

通过混合包括高频分量的图像信号和去除了高频分量的图像信号来生成图像信号，可以生成其中易于确认聚焦度(聚焦位置)的图像。此外，在通过混合从捕捉图像信号生成的频率特性不同的图像信号来生成显示图像的情况下，可以使图像比叠加峰值信号的显示图像更自然，并且图像可以容易地观看。此外，例如，在叠加峰值信号的显示图像中，叠加的峰值信号难以看清，并且有可能变得难以掌握聚焦度。按照本构成，由于要混合的所有图像信号都是只具有不同的频率特性的自然图像，因此易于确认聚焦度。

如在上述各个例子中所述，图像处理装置(成像装置1、1A、1B、1C和1D)中的图像信号生成单元70(70A、70B、70C和70D)可以包括第一分辨率变换处理单元60，所述第一分辨率变换处理单元60进行将具有第一分辨率的输入图像信号变换成具有第二分辨率的输出信号的分辨率变换处理。

第一分辨率例如是4K分辨率(3840水平像素和2160垂直像素)，第二分辨率例如是HD分辨率(1280水平像素和720垂直像素)。或者，第一分辨率可以是8K分辨率(7680水平像素和4320垂直像素)，第二分辨率可以是4K分辨率、2K分辨率(1920水平像素和1080垂直像素)、或HD分辨率。

通过包括第一分辨率变换处理单元60，可以在显示单元56上显示用于确认捕捉图像的低分辨率图像。

注意，在第二分辨率被设定为比第一分辨率低的情况下，可能难以从具有第二分辨率的图像确认聚焦度。即使在这种情况下，通过多个自然图像的混合来生成要输出到显示单元的图像信号，以使得可以容易地检查聚焦度。

如在各个上述例子中所述，所述多个图像信号可以包括第一图像信号和第二图像信号，所述第一图像信号可以是比所述第二图像信号包含更多高频分量的图像信号。

图像信号之一是比其他图像信号包含更多高频分量的图像，并且对于显示图像的每个部分(像素区域)，改变图像信号的混合比，从而可以改变显示图像的每个部分所包含的高频分量的数量。

结果，可以生成其中表现每个部分的聚焦度的显示图像。于是，用户可以容易地掌握聚焦位置位于图像的哪个部分，从而聚焦调整变得容易。

如在第一、第二和第四实施例中所述，图像处理装置(成像装置1、1A和1C)中的第一图像信号可以是不经过限带滤波器65的图像信号，第二图像信号可以是经过低通滤波器(LPF 65a)的图像信号。

第一图像信号通常用于显示图像中的聚焦位置。此外，第二图像信号通常用于显示图像中的聚焦位置以外的部分。

通过使用低通滤波器，可以生成具有不同频率特性的多个图像信号。

如在第三实施例中所述，作为图像处理装置的成像装置1B中的第一图像信号可以是经过高通滤波器(HPF 65b)的图像信号，第二图像信号可以是不经过限带滤波器65的图像信号。

第一图像信号是通过高通滤波器强调高频分量的图像信号。

通过使用高通滤波器，可以生成具有不同频率特性的多个图像信号。

如在第一变形例中所述，作为图像处理装置的成像装置1D中的第一图像信号可以是经过高通滤波器(HPF 65b)的图像信号，第二图像信号可以是经过低通滤波器(LPF 65a)的图像信号。

第一图像信号是通过经过高通滤波器强调高频分量的图像信号，第二图像信号是通过经过低通滤波器强调低频分量的图像信号。

结果，第一图像信号和第二图像信号之间的频率特性的差异增大，可以生成其中可以更容易地检查聚焦度的图像信号。

如在各个例子中所述，作为图像处理装置的成像装置1(1A、1B、1C和1D)可以包括高频频带边缘检测单元61(61A)，所述高频频带边缘检测单元从一个捕捉图像信号中提取高频频带中的边缘检测信号，作为所述峰值信号。

即，图像处理装置包括高频频带边缘检测单元。

在图像处理装置中实现基于一个图像信号的输入的峰值信号的生成，以及基于峰值信号的混合处理。通过提取高频频带中的边缘检测信号作为峰值信号，可以指定包含许多高频分量的图像位置。结果，可以指定包含大量高频分量的图像区域和包含少量高频分量的图像区域，并且可以进行与高频分量的数量相应的混合。

如在各个例子中所述，作为图像处理装置的成像装置1(1A、1B、1C和1D)中的高频频带边缘检测单元61(61A)可以包括第二分辨率变换处理单元64(64Aa、64Ab、...)，所述第二分辨率变换处理单元在保持高频频带中的边缘信息的状态下进行分辨率变换处理。

结果，用于确定混合比的峰值信号是在未去除高频分量的情况下被下变换的信号。

即，由于高频分量保留在与下变换后的低像素数对应的信号中，因此可以适当地确定混合比。结果，与第二图像信号相比，在图像的聚焦位置混合具有更多高频分量的第一图像信号，从而可以生成其中能够容易地检查聚焦度的图像。

如在各个例子中所述，作为图像处理装置的成像装置1(1A、1B、1C和1D)中的高频频带边缘检测单元61(61A)可以包括频带控制单元63(63Aa、63Ab、...)，所述频带控制单元基于与用于成像的透镜有关的透镜信息来控制高频频带。

透镜信息例如可以是变焦透镜的位置信息、诸如F值之类的信息、或者能够指定所述信息的透镜型号。

基于透镜信息来控制频带控制单元的通带，以便与将由高频频带边缘检测单元提取的边缘检测信号的频率对应，从而使边缘检测信号的增益稳定。

如在各个例子中所述，作为图像处理装置的成像装置1(1A、1B、1C和1D)中的混合处理单元(混合单元66、66A、66B、66C和66D)可以基于混合比进行α混合。

结果，通过混合处理单元合成具有不同频率特性的两个图像信号。

即，可以通过由图像处理装置合成自然图像，实现其中能够确认聚焦度的图像的生成。

成像装置1(1A、1B、1C和1D)包括：具有第一像素数的成像元件51a；具有第二像素数的显示单元56(EVF监视器7或背面监视器5)，第二像素数小于第一像素数；图像信号生成单元70(70A、70B、70C和70D)，所述图像信号生成单元从输出自成像元件51a的一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和混合处理单元(混合单元66、66A、66B、66C和66D)，所述混合处理单元根据基于峰值信号确定的混合比，混合所述多个图像信号，从而生成待输出给显示单元56的图像信号。

例如，第一像素数是基于作为4K分辨率的水平3840像素和垂直2160像素的像素数，第二像素数是基于作为HD分辨率的水平1280像素和垂直720像素的像素数。

在以高分辨率捕捉的捕捉图像信号被显示在分辨率比所述高分辨率低的显示单元56上的情况下，需要对图像信号进行下变换。在下变换处理中，存在高频分量丢失的可能性。按照这种构成，通过混合包含相对高频分量的图像信号和去除了相对高频分量的图像信号来生成图像信号，使得可以生成其中能够容易地确认聚焦度(聚焦位置)的图像。

此外，通过组合下变换后的自然图像来生成图像信号，与叠加峰值信号的显示图像相比，更易于掌握聚焦度。

如在第二变形例中所述，成像装置1E可以包括切换处理单元(控制单元53)，所述切换处理单元在将来自混合处理单元(混合单元66)的输出输入到显示单元56的模式，和将来自分辨率变换处理单元(第一分辨率变换处理单元60)的输出不经过所述混合处理单元地输入到显示单元56的模式之间进行切换。

可以与所述切换处理单元对应地设置用于切换的操作器。所述操作器例如可以是诸如物理按钮之类的操作器，或者通过能够从菜单屏幕切换而用于操作菜单屏幕的操作器可以起切换操作器的作用。此外，在显示单元56配备有触摸面板的情况下，显示单元56可以起切换操作器的作用。即，通过操作布置在显示单元上的图标等，可以切换模式。

由于可以在显示用于确认聚焦度的图像的模式和显示在不进行混合处理的情况下经过通常的下变换处理的图像的模式之间切换，因此可以按照是否确认聚焦度来进行显示切换。结果，可以进行按照用户的请求的图像显示。

如在第二实施例中所述，混合比可以按照峰值信号和用户(摄影者、视频工程师等)的设定来确定。

混合比可以只基于峰值信号来确定，只基于用户设定来确定，或者基于峰值信号和用户设定两者来确定。此外，这些切换可以被配置成可以由用户设定。

按照用户的设定来确定混合比，使得可以在显示单元56上显示与用户的偏好相应的图像。即，可以进行与用户的目的相应的图像显示。

如在第二实施例中所述，在成像装置1E的显示单元56上进行与来自混合处理单元(混合单元66)的输出相应的显示的情况下，可以设置用于向用户通知进行与来自混合处理单元的输出相应的显示的通知单元(显示单元56或发光单元)。

例如，通知单元可以执行在显示单元56上显示指示显示经过混合处理的图像的图标的处理，或者可以通过设置诸如通知发光二极管(LED)之类的发光单元来执行通知处理。

结果，可以排除在应用了混合处理的图像被显示在显示单元56上的状态下，并且在未认识到该图像不同于捕捉图像的状态下，进行成像的可能性。

按照本技术的图像处理方法是由图像处理装置进行的图像处理方法，所述方法包括：从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号(例如，第一图像信号和第二图像信号)；和根据基于峰值信号确定的混合比混合所述多个图像信号。

按照本技术的程序是由信息处理装置(图像处理装置)执行的程序，并且包括从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号的处理，和根据基于峰值信号确定的混合比混合所述多个图像信号的处理。

<7.应用例>

按照本公开的技术可以应用于各种产品。例如，按照本公开的技术可以应用于内窥镜手术室系统。

图13是图解说明按照本公开的技术可以应用于的内窥镜手术系统5000的示意构成的例子的示图。图13图解说明外科医生(医生)5067正在使用内窥镜手术系统5000，对病床5069上的患者5071进行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支持内窥镜5001的支持臂设备5027、和搭载用于内窥镜手术的各种设备的手推车5037。

在内窥镜手术中，代替切开腹壁，将称为套管针5025a～5025d的多个圆柱形穿刺器械穿刺到腹壁中。随后，将内窥镜5001的镜筒5003和其他手术工具5017从套管针5025a～5025d插入患者5071的体腔中。在图解所示的例子中，作为其他手术工具5017，气腹管5019、能量治疗工具5021和手术钳5023被插入患者5071的体腔中。此外，能量治疗工具5021是利用高频电流或超声波振动进行组织的切开和剥离、血管的闭合等的治疗工具。不过，例示的手术工具5017仅仅是例子，作为手术工具5017，可以使用例如在内窥镜手术中通常使用的各种手术工具，比如镊子和牵开器。

利用内窥镜5001捕捉的患者5071的体腔中的手术区的图像被显示在显示设备5041上。在观看实时显示在显示设备5041上的手术区的图像的同时，外科医生5067使用能量治疗工具5021和手术钳5023进行诸如切除患处之类的治疗。注意，尽管未图示，不过，气腹管5019、能量治疗工具5021和手术钳5023在手术期间由外科医生5067、助手等支持。

(支持臂设备)

支持臂设备5027包括从基座部分5029伸出的臂单元5031。在图解所示的例子中，臂单元5031包括关节部分5033a、5033b及5033c，和连杆5035a及5035b，在臂控制设备5045的控制下被驱动。内窥镜5001由臂单元5031支持，并且内窥镜5001的位置和姿态被控制。结果，可以实现内窥镜5001的位置的稳定固定。

(内窥镜)

内窥镜5001包括镜筒5003和连接到镜筒5003的近端的摄像头5005，镜筒5003的从远端起的预定长度的区域被插入患者5071的体腔中。在图解所示的例子中，例示了作为包括刚性镜筒5003的所谓刚性镜构成的内窥镜5001，不过，也可以作为包括柔性镜筒5003的所谓柔性镜构成内窥镜5001。

在镜筒5003的远端，设置有其中安装物镜的开口部分。光源设备5045连接到内窥镜5001，光源设备5043产生的光由在镜筒5003内部延伸的光导管引导到镜筒的远端，经由物镜射向患者5071的体腔中的观察对象。注意，内窥镜5001可以是直视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在摄像头5005内部，来自观察对象的反射光(观察光)由光学系统会聚到成像元件上。观察光由成像元件光电变换，生成与观察光对应的电信号，即，对应于观察图像的图像信号。该图像信号作为RAW数据被发送到摄像机控制单元(CCU)5039。注意，摄像头5005具备通过适当地驱动光学系统，调整放大倍率和焦距的功能。

注意，例如，为了应对立体观察(3D显示)等，可在摄像头5005中设置多个成像元件。这种情况下，在镜筒5003内部设置多个中继光学系统，以便将观察光引导到多个成像元件中的每一个。

(搭载在手推车上的各种设备)

CCU 5039包括中央处理器(CPU)、图形处理器(GPU)等，整体控制内窥镜5001和显示设备5041的操作。具体地，CCU 5039对于从摄像头5005接收的图像信号，进行例如用于显示基于该图像信号的图像的各种图像处理，比如显影处理(去马赛克处理)。CCU 5039将经过图像处理的图像信号提供给显示设备5041。此外，CCU 5039向摄像头5005发送控制信号，控制摄像头5005的驱动。所述控制信号可以包含与诸如放大倍率和焦距之类的成像条件有关的信息。

显示设备5041在CCU 5039的控制下，显示基于经过CCU 5039的图像处理的图像信号的图像。在内窥镜5001兼容诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素数7680×垂直像素数4320)之类高分辨率成像的情况下，和/或在内窥镜5001兼容3D显示的情况下，例如，可以使用能够进行高分辨率显示的显示设备和/或能够进行3D显示的显示设备，作为对应于每种情况的显示设备5041。在显示设备兼容诸如4K或8K之类高分辨率成像的情况下，通过使用55英寸或更大尺寸的显示设备作为显示设备5041，可以获得更加身临其境的感觉。此外，取决于应用，可以设置不同分辨率和尺寸的多个显示设备5041。

光源设备5043例如包括诸如发光二极管(LED)之类的光源，向内窥镜5001供给用于对手术区成像的照射光。

臂控制设备5045例如包括诸如CPU之类的处理器，按照预定程序操作，以按照预定控制方法控制支持臂设备5027的臂单元5031的驱动。

输入设备5047是对于内窥镜手术系统5000的输入接口。经由输入设备5047，用户可以向内窥镜手术系统5000输入各种信息或指令。例如，经由输入设备5047，用户输入与手术有关的各种信息，比如患者的身体信息和关于手术的手术过程的信息。此外，例如，经由输入设备5047，用户输入驱动臂单元5031的指令、改变内窥镜5001的成像条件(照射光的类型、放大倍率、焦距等)的指令、驱动能量治疗工具5021的指令等。

输入设备5047的类型不受限制，输入设备5047可以是各种已知的输入设备。作为输入设备5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或控制杆等。在使用触摸面板作为输入设备5047的情况下，触摸面板可以设置在显示设备5041的显示面上。

或者，输入设备5047是用户穿戴的设备，例如眼镜式可穿戴设备、头戴式显示器(HMD)等，并且按照通过这些设备检测到的用户的手势或视线，进行各种输入。此外，输入设备5047包括能够检测用户的运动的摄像机，并且根据从摄像机所捕捉的视频中检测到的用户的手势或视线，进行各种输入。此外，输入设备5047包括能够收集用户的语音的麦克风，并且经由麦克风利用语音进行各种输入。如上所述，输入设备5047被配置成能够以非接触的方式输入各种信息，从而特别地，属于洁净区的用户(例如，外科医生5067)可以以非接触的方式操作属于非洁净区的设备。此外，由于用户可以在不从其手中放下所持有的手术工具的情况下操作设备，因此提高了用户的便利性。

治疗工具控制设备5049控制用于组织的烧灼和切开、血管的闭合等的能量治疗工具5021的驱动。为了确保内窥镜5001的视野和确保外科医生的工作空间，气腹设备5051经由气腹管5019将气体送入患者5071的体腔中，以便使体腔膨胀。记录器5053是能够记录与手术有关的各种信息的设备。打印机5055是能够以各种形式，比如文本、图像或图形，打印与手术有关的各种信息的设备。

下面将更详细地说明内窥镜手术系统5000的特有构成。

(支持臂设备)

支持臂设备5027包括作为基座的基座部分5029，和从基座部分5029伸出的臂单元5031。在图解所示的例子中，臂单元5031包括多个关节部分5033a、5033b及5033c，和通过关节部分5033b连接的多个连杆5035a及5035b，不过在图13中，为了简化起见，简化地例示了臂单元5031的构成。实际上，关节部分5033a～5033c和连杆5035a及5035b的形状、数量和布置，关节部分5033a～5033c的旋转轴的方向等可以适当地设定，使得臂单元5031具有期望的自由度。例如，臂单元5031可以被适当地配置成具有6个或更多的自由度。结果，由于可以在臂单元5031的可移动范围内自由地移动内窥镜5001，因此可以从期望的方向将内窥镜5001的镜筒5003插入患者5071的体腔中。

在关节部分5033a～5033c中设置致动器，关节部分5033a～5033c被配置成通过驱动致动器，能够绕预定旋转轴转动。致动器的驱动由臂控制设备5045控制，由此控制各个关节部分5033a～5033c的转动角度，从而控制臂单元5031的驱动。结果，可以实现内窥镜5001的位置和姿态的控制。此时，臂控制设备5045可以通过各种已知的控制方法，比如力控制或位置控制，控制臂单元5031的驱动。

例如，通过外科医生5067经由输入设备5047(包括脚踏开关5057)适当地进行操作输入，臂控制设备5045可以按照所述操作输入，适当地控制臂单元5031的驱动，从而可以控制内窥镜5001的位置和姿态。通过这种控制，可以使在臂单元5031的远端的内窥镜5001从任意位置移动到任意位置，随后被固定地支持在移动后的位置。注意，可以通过所谓的主-从方法操作臂单元5031。这种情况下，用户可以经由安装在远离手术室的地方的输入设备5047，远程操作臂单元5031。

此外，在应用力控制的情况下，臂控制设备5045可以进行接受来自用户的外力，并驱动各个关节部分5033a～5033c的致动器，使得臂单元5031可以按照所述外力平滑地移动的所谓助力控制。结果，当用户在直接接触臂单元5031的同时移动臂单元5031时，可以用较小的力移动臂单元5031。于是，能够利用更简易的操作更直观地移动内窥镜5001，从而可以提高用户的便利性。

这里，在内窥镜手术中，内窥镜5001通常由称为内镜医师(scopist)的医生支持。另一方面，通过使用支持臂设备5027，无需人工操作即可更可靠地固定内窥镜5001的位置，使得能够稳定地获得手术区的图像并顺利地进行手术。

注意，臂控制设备5045不一定设置在手推车5037上。此外，臂控制设备5045不一定是一个设备。例如，臂控制设备5045可以设置在支持臂设备5027的臂单元5031的各个关节部分5033a～5033c中，从而臂单元5031的驱动控制可以由相互协同的多个臂控制设备5045实现。

(光源设备)

光源设备5043向内窥镜5001提供用于对手术区成像的照射光。光源设备5043例如包括LED、激光光源、或者包括它们的组合的白光光源。此时，在白光光源由RGB激光光源的组合构成的情况下，可以高精度地控制每种颜色(每个波长)的输出强度和输出定时，使得在光源设备5043中可以调整捕捉图像的白平衡。此外，这种情况下，通过以时分方式用来自RGB激光光源每一个的激光照射观察对象，并且与照射定时同步地控制摄像头5005的成像元件的驱动，也可以以时分方式捕捉对应于每个RGB的图像。按照这种方法，在未在成像元件中设置滤色镜的情况下也可以获得彩色图像。

此外，可以控制光源设备5043的驱动，以便每隔预定时间改变要输出的光的强度。通过与光的强度的变化定时同步地控制摄像头5005的成像元件的驱动，以时分方式获取图像并合成这些图像，可以生成不存在所谓的曝光不足的阴影和曝光过度的强光部分的高动态范围的图像。

此外，光源设备5043可以被配置成能够供给与特殊光观察对应的预定波段的光。在特殊光观察中，例如，进行所谓的窄带成像，其中通过利用身体组织中的光吸收的波长相关性，发射与通常的观察时的照射光(即，白光)相比波段更窄的光，高对比度地对诸如黏膜表层中的血管之类的预定组织成像。或者，在特殊光观察中，可以进行利用通过用激发光照射而产生的荧光来获得图像的荧光观察。在荧光观察中，例如，通过用激发光照射到身体组织，可以观察来自身体组织的荧光(自发荧光观察)，或者通过把诸如吲哚菁绿(ICG)之类的试剂局部注入身体组织中，并用与所述试剂的荧光波长对应的激发光照射所述身体组织，可以获得荧光图像。光源设备5043可以被配置成能够供给与此类特殊光观察对应的窄带光和/或激发光。

(摄像头和CCU)

将参考图14，更详细地说明内窥镜5001的摄像头5005和CCU5039的功能。图14是图解说明图13中图解所示的摄像头5005和CCU 5039的功能构成的例子的方框图。

参见图14，作为其功能，摄像头5005包括透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。此外，作为其功能，CCU 5039包括通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039通过传输电缆5065可双向通信地连接。

首先，说明摄像头5005的功能构成。透镜单元5007是设置在与镜筒5003的连接部分的光学系统。从镜筒5003的远端接收的观察光被引导到摄像头5005，入射到透镜单元5007。透镜单元5007是通过组合包括变焦透镜和聚焦透镜的多个透镜构成的。调整透镜单元5007的光学特性，以便将观察光会聚在成像单元5009的成像元件的受光面上。此外，变焦透镜和聚焦透镜被配置成在光轴上的位置可移动，以便调整捕捉图像的放大倍率和焦点。

成像单元5009包括成像元件，并被布置在透镜单元5007的下一级。经过透镜单元5007的观察光会聚在成像元件的受光面上，通过光电变换生成与观察图像对应的图像信号。成像单元5009生成的图像信号被提供给通信单元5013。

作为构成成像单元5009的成像元件，例如，使用具有Bayer阵列并且能够进行彩色捕捉的互补金属氧化物半导体(CMOS)式图像传感器。注意，作为成像元件，例如，可以使用能够应对4K或更高的高分辨率图像的捕捉的成像元件。通过高分辨率地获得手术区的图像，外科医生5067能够更详细地掌握手术区的状态，从而能够更顺利地进行手术。

此外，构成成像单元5009的成像元件被配置成包括用于获取与3D显示对应的右眼用图像信号和左眼用图像信号的一对成像元件。通过进行3D显示，外科医生5067可以更精确地掌握手术区中的活体组织的深度。注意，在成像单元5009被配置为多板式成像单元的情况下，对应于各个成像元件设置多个透镜单元5007。

此外，成像单元5009不一定设置在摄像头5005中。例如，成像单元5009可以紧靠在物镜后面设置在镜筒5003内。

驱动单元5011包括致动器，在摄像头控制单元5015的控制下，将透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。结果，可以适当调整成像单元5009所捕捉的图像的放大倍率和焦点。

通信单元5013包括向CCU 5039发送和从CCU 5039接收各种信息的通信设备。通信单元5013经由传输电缆5065，将从成像单元5009获得的图像信号作为RAW数据发送给CCU5039。此时，为了低时延地显示手术区的捕捉图像，优选通过光通信发送图像信号。这是因为在手术时，外科医生5067一边通过捕捉图像观察患处的状态，一边进行手术，从而为了手术更安全和更可靠，要求尽可能实时地显示手术区的运动图像。在进行光通信的情况下，通信单元5013设置有将电信号变换成光信号的光电变换模块。图像信号由光电变换模块变换成光信号，然后经由传输电缆5065被发送到CCU 5039。

此外，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。该控制信号例如包括与成像条件有关的信息，比如指定捕捉图像的帧速率的信息、指定成像时的曝光值的信息、和/或指定捕捉图像的放大倍率和焦点的信息。通信单元5013将接收的控制信号提供给摄像头控制单元5015。注意，来自CCU 5039的控制信号也可以通过光通信发送。这种情况下，通信单元5013设置有将光信号变换成电信号的光电变换模块，控制信号由该光电变换模块变换成电信号，随后被提供给摄像头控制单元5015。

注意，诸如上述帧速率、曝光值、放大倍率和焦点之类的成像条件由CCU 5039的控制单元5063基于获取的图像信号自动设定。即，内窥镜5001具备所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像头控制单元5015基于经由通信单元5013从CCU 5039接收的控制信号，控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定捕捉图像的帧速率的信息和/或指定成像时的曝光的信息，控制成像单元5009的成像元件的驱动。此外，例如，摄像头控制单元5015基于指定捕捉图像的放大倍率和焦点的信息，经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015还可以具有保存用于识别镜筒5003和摄像头5005的信息的功能。

注意，通过将诸如透镜单元5007、成像单元5009之类的构成布置在气密性和防水性高的密封结构中，摄像头5005能耐高压灭菌消毒处理。

接下来说明CCU 5039的功能构成。通信单元5059包括用于向摄像头5005发送和从摄像头5005接收各种信息的通信设备。通信单元5059接收经由传输电缆5065从摄像头5005发送的图像信号。此时，如上所述，可以通过光通信适当地发送图像信号。这种情况下，为了进行光通信，通信单元5059设置有将光信号变换成电信号的光电变换模块。通信单元5059将变换成电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059向摄像头5005发送用于控制摄像头5005的驱动的控制信号。该控制信号也可以通过光通信发送。

图像处理单元5061对于从摄像头5005发送的作为RAW数据的图像信号进行各种图像处理。图像处理的例子包括各种已知的信号处理，比如显影处理、高图像质量增强处理(频带强调处理、超分辨率处理、降噪(NR)处理和/或摄像机抖动校正处理等)、和/或放大处理(电子变焦处理)。此外，图像处理单元5061对于图像信号进行检测处理，以便进行AE、AF和AWB。

图像处理单元5061包括诸如CPU或GPU之类的处理器，并且所述处理器按照预定程序操作，从而可以进行上述图像处理和检测处理。注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号相关的信息，并通过所述多个GPU并行进行图像处理。

控制单元5063进行与利用内窥镜5001的手术区的成像以及捕捉图像的显示相关的各种控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时，在用户输入成像条件的情况下，控制单元5063基于用户的输入，生成控制信号。或者，在内窥镜5001具备AE功能、AF功能和AWB功能的情况下，控制单元5063按照图像处理单元5061进行的检测处理的结果，适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5063基于经过图像处理单元5061的图像处理的图像信号，使显示设备5041显示手术区的图像。此时，控制单元5063使用各种图像识别技术，识别手术区图像中的各种物体。例如，控制单元5063可以通过检测包含在手术区图像中的物体的边缘的形状、颜色等，识别诸如手术钳之类的手术工具、特定的活体部位、出血、使用能量治疗工具5021时的薄雾等。当将手术区的图像显示在显示设备5041上时，控制单元5063使用识别结果，将各种手术支持信息叠加显示在手术区的图像上。手术支持信息被叠加显示并呈现给外科医生5067，使得可以更安全并且更可靠地继续进行手术。

连接摄像头5005和CCU 5039的传输电缆5065是与电信号通信兼容的电信号电缆、与光通信兼容的光纤、或者它们的复合电缆。

这里，在图解所示的例子中，使用传输电缆5065有线地进行通信，不过，也可以无线地进行摄像头5005和CCU 5039之间的通信。在无线地进行摄像头5005和CCU 5039之间的通信的情况下，不需要在手术室中铺设传输电缆5065，使得可以消除传输电缆5065妨碍手术室中的医务人员的移动的情况。

上面说明了按照本公开的技术可以应用于的内窥镜手术室系统5000的例子。这里注意，作为例子说明了内窥镜手术系统5000，不过，按照本公开的技术可以应用于的系统不限于这样的例子。例如，按照本公开的技术可以应用于检查用柔性内窥镜系统或者显微手术系统。

按照本公开的技术可以适当地应用于上述构成中包括图像处理单元5061的CCU5039。通过将按照本公开的技术应用于CCU 5039，例如，可以容易地确认对手术区的聚焦度。于是，可以在确认手术区被清晰地显示的同时，安全并可靠地进行手术。

<8.本技术>

本技术也可以采用以下构成。

(1)一种图像处理装置，包括：

图像信号生成单元，所述图像信号生成单元从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

混合处理单元，所述混合处理单元基于混合比混合所述多个图像信号，所述混合比是基于关于所述一个捕捉图像信号的峰值信号确定的。

(2)按照(1)所述的图像处理装置，其中

所述图像信号生成单元包括第一分辨率变换处理单元，所述第一分辨率变换处理单元进行将具有第一分辨率的输入图像信号变换成具有第二分辨率的输出信号的分辨率变换处理。

(3)按照(2)所述的图像处理装置，其中

所述多个图像信号包括第一图像信号和第二图像信号，并且

所述第一图像信号是比所述第二图像信号包含更多高频分量的图像信号。

(4)按照(3)所述的图像处理装置，其中

所述第一图像信号是不经过限带滤波器的图像信号，

所述第二图像信号是经过低通滤波器的图像信号。

(5)按照(3)所述的图像处理装置，其中

所述第一图像信号是经过高通滤波器的图像信号，

所述第二图像信号是不经过限带滤波器的图像信号。

(6)按照(3)所述的图像处理装置，其中

所述第一图像信号是经过高通滤波器的图像信号，

所述第二图像信号是经过低通滤波器的图像信号。

(7)按照(1)～(6)任意之一所述的图像处理装置，还包括

高频频带边缘检测单元，所述高频频带边缘检测单元从所述一个捕捉图像信号中提取高频频带中的边缘检测信号，作为所述峰值信号。

(8)按照(7)所述的图像处理装置，其中

所述高频频带边缘检测单元包括第二分辨率变换处理单元，所述第二分辨率变换处理单元在保持高频频带的边缘信息的状态下进行分辨率变换处理。

(9)按照(7)或(8)任意之一所述的图像处理装置，其中

所述高频频带边缘检测单元包括频带控制单元，所述频带控制单元基于与用于成像的透镜有关的透镜信息来控制所述高频频带。

(10)按照(1)～(9)任意之一所述的图像处理装置，其中

所述混合处理单元基于所述混合比进行α混合。

(11)一种成像装置，包括：

具有第一像素数的成像元件；

具有第二像素数的显示单元，所述第二像素数小于所述第一像素数；

图像信号生成单元，所述图像信号生成单元从输出自所述成像元件的一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

混合处理单元，所述混合处理单元根据基于峰值信号确定的混合比，进行所述多个图像信号的混合，以生成输出给所述显示单元的图像信号。

(12)按照(11)所述的成像装置，还包括

切换处理单元，所述切换处理单元被配置成在将来自所述混合处理单元的输出输入到所述显示单元的模式，和将来自所述分辨率变换处理单元的输出不经过所述混合处理单元地输入到所述显示单元的模式之间进行切换。

(13)按照(11)或(12)任意之一所述的成像装置，其中

所述混合比是按照所述峰值信号和用户设定确定的。

(14)按照(11)～(13)任意之一所述的成像装置，还包括

通知单元，所述通知单元用于在所述显示单元上进行与来自所述混合处理单元的输出对应的显示的情况下，向用户通知进行与来自所述混合处理单元的输出对应的显示。

(15)一种由图像处理装置进行的图像处理方法，所述方法包括：

从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

根据基于峰值信号确定的混合比混合所述多个图像信号。

(16)一种程序，所述程序用于使信息处理装置执行以下处理：

从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

根据基于峰值信号确定的混合比混合所述多个图像信号。

附图标记列表

1,1A,1B,1C,1D,1E 成像装置

51a 成像元件

53 控制单元

56 显示单元

60 第一分辨率变换处理单元

61,61 高频频带边缘检测单元

63,63Aa,63Ab 频带控制单元

64,64Aa,64Ab 第二分辨率变换处理单元

65 限带滤波器

65a,65a1,65a2 LPF

65b HPF

66,66A,66B,66C,66D 混合单元

70,70A,70B,70C,70D 图像信号生成单元

Claims (16)

1.一种图像处理装置，包括：

图像信号生成单元，所述图像信号生成单元从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

混合处理单元，所述混合处理单元基于混合比混合所述多个图像信号，所述混合比是基于关于所述一个捕捉图像信号的峰值信号确定的。

2.按照权利要求1所述的图像处理装置，其中

所述图像信号生成单元包括第一分辨率变换处理单元，所述第一分辨率变换处理单元进行将具有第一分辨率的输入图像信号变换成具有第二分辨率的输出信号的分辨率变换处理。

3.按照权利要求2所述的图像处理装置，其中

所述多个图像信号包括第一图像信号和第二图像信号，并且

所述第一图像信号是比所述第二图像信号包含更多高频分量的图像信号。

4.按照权利要求3所述的图像处理装置，其中

所述第一图像信号是不经过限带滤波器的图像信号，

所述第二图像信号是经过低通滤波器的图像信号。

5.按照权利要求3所述的图像处理装置，其中

所述第一图像信号是经过高通滤波器的图像信号，

所述第二图像信号是不经过限带滤波器的图像信号。

6.按照权利要求3所述的图像处理装置，其中

所述第一图像信号是经过高通滤波器的图像信号，

所述第二图像信号是经过低通滤波器的图像信号。

7.按照权利要求1所述的图像处理装置，还包括

高频频带边缘检测单元，所述高频频带边缘检测单元从所述一个捕捉图像信号中提取高频频带中的边缘检测信号，作为所述峰值信号。

8.按照权利要求7所述的图像处理装置，其中

所述高频频带边缘检测单元包括第二分辨率变换处理单元，所述第二分辨率变换处理单元在保持高频频带的边缘信息的状态下进行分辨率变换处理。

9.按照权利要求7所述的图像处理装置，其中

所述高频频带边缘检测单元包括频带控制单元，所述频带控制单元基于与用于成像的透镜有关的透镜信息来控制所述高频频带。

10.按照权利要求1所述的图像处理装置，其中

所述混合处理单元基于所述混合比进行α混合。

11.一种成像装置，包括：

具有第一像素数的成像元件；

具有第二像素数的显示单元，所述第二像素数小于所述第一像素数；

图像信号生成单元，所述图像信号生成单元从输出自所述成像元件的一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

混合处理单元，所述混合处理单元根据基于峰值信号确定的混合比，进行所述多个图像信号的混合，以生成输出给所述显示单元的图像信号。

12.按照权利要求11所述的成像装置，还包括

切换处理单元，所述切换处理单元被配置成在将来自所述混合处理单元的输出输入到所述显示单元的模式，和将来自所述分辨率变换处理单元的输出不经过所述混合处理单元地输入到所述显示单元的模式之间进行切换。

13.按照权利要求11所述的成像装置，其中

所述混合比是按照所述峰值信号和用户设定确定的。

14.按照权利要求11所述的成像装置，还包括

通知单元，所述通知单元用于在所述显示单元上进行与来自所述混合处理单元的输出对应的显示的情况下，向用户通知进行与来自所述混合处理单元的输出的显示。

15.一种由图像处理装置进行的图像处理方法，所述方法包括：

从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

根据基于峰值信号确定的混合比混合所述多个图像信号。

16.一种程序，所述程序用于使信息处理装置执行以下处理：

从一个捕捉图像信号生成具有彼此不同的频率特性的多个图像信号；和

根据基于峰值信号确定的混合比混合所述多个图像信号。

Images