CN110446962A - 成像设备、聚焦控制方法以及聚焦判定方法 - Google Patents

Abstract

根据本发明，图像捕获单元31从包括图像输出像素和相位差检测像素的图像捕获元件配置。控制单元50执行基于在预定时段内使用相位差检测像素获得的图像平面相位差信息的聚焦控制，生成指示聚焦状态变化是否是单调的聚焦状态变化信息，并且当聚焦状态变化信息指示聚焦状态变化是单调的情况下，继续基于图像平面相位差信息的聚焦控制。此外，在聚焦状态变化不是单调的情况下，控制单元通过将聚焦状态置于低对比度状态来从图像平面相位差自动聚焦操作切换对比度类型自动聚焦操作。可以执行高速和高质量的自动聚焦操作。

Description

成像设备、聚焦控制方法以及聚焦判定方法

技术领域

本技术涉及成像设备、聚焦控制方法和聚焦判定方法，并且能够进行高速和高质量的自动聚焦操作。

背景技术

传统上，在成像设备中，作为聚焦控制方法，已经执行了对比度检测方法的聚焦控制，其基于在移动聚焦透镜的同时由成像元件生成的成像信号来计算对比度评估值，并且搜索对比度评估值变为最大的聚焦透镜位置。此外，在聚焦控制方法中，已经执行了图像平面相位差方法的聚焦控制，其中基于通过利用成像面上设置的像素接收已经通过成像光学系统中的相互不同的出射光瞳区域的光通量获得的两个相位差图像的相移来计算散焦量，并且聚焦透镜移动与散焦量对应的移动量。此外，专利文献1公开了通过使用具有用于检测相位差的像素的成像元件，不仅执行图像平面相位差方法的聚焦控制而且还执行对比度方法的聚焦控制。

引用列表

专利文献

专利文献1：日本专利申请公开No.2008-134389

发明内容

本发明要解决的问题

同时，在图像平面相位差方法的聚焦控制中，例如，当在使用具有长焦距的成像透镜的情况下焦点大幅偏移时，成像面上的图像也很大程度地模糊。因此，相位差信息的信息量小，并且变得难以正确地计算散焦量。在这种情况下，可以通过将控制方法切换到对比度检测方法来聚焦期望的被摄体。然而，在对比度检测方法中，通过移动聚焦透镜来计算评估值，并且基于所计算的评估值来检测对焦方向和对焦位置。因此，当切换到对比度检测方法的频率变高时，花费时间来实现对焦状态的情况增加，并且质量也降低。

因此，本技术的目的是提供一种能够进行高速和高质量自动聚焦操作的成像设备、聚焦控制方法以及聚焦判定方法。

问题的解决方案

本技术的第一方面在于一种成像设备，包括：

成像元件，包括图像输出像素和相位差检测像素；以及

控制单元，其基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，并且

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。

在本技术中，使用包括图像输出像素和相位差检测像素的成像元件来执行成像。控制单元执行基于在预定时段内使用相位差检测像素获得的图像平面相位差信息的聚焦控制，并且生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息。

控制单元例如基于聚焦透镜的实际透镜位置的变化量或者由图像平面相位差信息指示的散焦量的变化量来判定聚焦状态的变化是否是单调变化，以生成聚焦状态变化信息。此外，控制单元可以基于聚焦透镜的实际透镜位置的变化量或者由图像平面相位差信息指示的散焦量的变化量的频率特性来进行判定，以生成聚焦状态变化信息，或者可以基于聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量来进行判定，以生成聚焦状态变化信息。

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，控制单元继续基于图像平面相位差信息的聚焦控制。此外，在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，控制单元从基于图像平面相位差信息的聚焦控制切换到基于除图像平面相位差信息之外的信息的聚焦控制，或者基于图像平面相位差信息和除图像平面相位差信息之外的信息的聚焦控制。作为基于除图像平面相位差信息之外的信息的聚焦控制，可以执行基于使用图像输出像素获得的图像信息或由与成像元件单独设置的距离测量信息生成元件获得的距离测量信息的聚焦控制，并且还可以在基于使用图像输出像素获得的图像信息的聚焦控制和基于与图像信息不同的信息的聚焦控制之间切换。

此外，控制单元在预定时段之前执行从相位差检测像素的输出获得的具有视差的两个图像的相关性计算，判定相关性计算结果的可靠性，在判定相关性计算结果可靠的情况下生成聚焦状态变化信息，并且执行将聚焦透镜从一个端部侧移动到另一个端部侧的全搜索操作，以在判定相关性计算结果不可靠的情况下检测对焦位置。

本技术的第二方面在于一种成像设备，包括：

成像元件，包括图像输出像素和图像平面相位差检测像素；以及

判定单元，其基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。

在本技术中，使用包括图像输出像素和相位差检测像素的成像元件来执行成像。判定单元执行基于在预定时段内使用相位差检测像素获得的图像平面相位差信息的聚焦控制，并且生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息。例如，聚焦状态信息是聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，并且判定单元基于实际透镜位置的变化量或散焦量的变化量来判定聚焦状态的变化是否是单调变化。此外，聚焦状态信息是聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，并且判定单元基于聚焦透镜的实际透镜位置的变化量的频率特性或者散焦量的变化量的频率特性判定聚焦状态的变化是否是单调变化。此外，聚焦状态信息是聚焦透镜的实际透镜位置和由图像平面相位差信息指示的散焦量，并且判定单元基于聚焦透镜的实际透镜位置和散焦量判定聚焦状态的变化是否是单调变化。

此外，判定单元在预定时段之前判定从图像平面相位差检测像素的输出获得的具有视差的两个图像的相关性计算结果的可靠性，并且控制单元在判定相关性计算结果可靠的情况下开始生成聚焦状态变化信息。此外，判定单元控制由向用户呈现状态判定结果的信息呈现单元对状态判定结果的呈现。

本技术的第三方面在于一种聚焦控制方法，包括：

基于在执行基于通过使用包括图像输出像素和相位差检测像素的成像元件的相位差检测像素在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。

本技术的第四方面在于一种聚焦控制方法，包括：

基于在执行基于通过使用包括图像输出像素和相位差检测像素的成像元件的相位差检测像素在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。

发明效果

根据本技术，使用包括图像输出像素和相位差检测像素的成像元件，并且控制单元基于在预定时段内使用相位差检测像素获得的图像平面相位差信息生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，并且在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。因此，例如，执行对比度方法的自动聚焦操作的频率降低，并且可以进行高速和高质量的自动聚焦操作。注意，本说明书中描述的效果仅是示例而不是限制，并且可以存在附加效果。

附图说明

图1是示出第一实施例的配置的图。

图2是示出第一实施例的动作的流程图。

图3是示出在执行图像平面相位差AF操作的情况下，被摄体与透镜位置的轨迹和散焦量的轨迹之间的关系的视图。

图4是示出生成聚焦状态变化信息的动作的流程图。

图5是用于说明透镜位置变化量的单调变化的曲线图。

图6是示出第一实施例的操作示例的视图。

图7是用于说明用于评估函数的参数的视图。

图8是示出第二实施例的动作的流程图。

图9是示出第三实施例的配置的图。

图10是示出第三实施例的动作的流程图。

图11是示出第四实施例的动作的流程图。

图12是示意性地示出手术室系统的整体配置的图。

图13是示出集中操作面板上的操作画面的显示示例的图。

图14是示出应用手术室系统的手术状态的示例的图。

图15是示出图14中所示的相机头和CCU的功能配置的示例的框图。

具体实施方式

在下文中，将描述用于实现本技术的实施例。应注意，将按以下顺序给出描述。

1.第一实施例

2.第二实施例

3.第三实施例

4.第四实施例

5.其他实施例

6.应用示例

<1.第一实施例>

接下来，将描述本技术的成像设备的第一实施例。图1示出了第一实施例的配置。

成像设备10包括成像透镜20和主体单元30。成像透镜20具有成像光学系统21和透镜驱动处理单元22。成像光学系统21使用聚焦透镜配置。此外，成像光学系统21不仅可以使用聚焦透镜，还可以使用变焦透镜、光圈机构等配置。

透镜驱动处理单元22基于来自主体单元30的透镜控制信号在成像光学系统21中移动聚焦透镜的透镜位置。此外，透镜驱动处理单元22生成指示聚焦透镜的实际透镜位置(下文中称为“透镜位置”)的信息等，并将该信息等输出到主体单元30。

主体单元30具有包括成像单元31、预处理单元32、图像处理单元33、显示单元35、记录单元36、用户接口(I/F)单元39和控制单元51的配置。注意，主体单元30可以具有未在图中描述的功能块，并且可以具有不包含图中描述的一些功能块的配置。

成像单元31使用诸如互补金属氧化物半导体(CMOS)的成像元件来配置。此外，在成像元件中，图像输出像素和相位差检测像素设置在成像面中。图像输出像素和相位差检测像素不限于独立设置的情况，而是可以具有通过为图像输出像素提供相位差检测功能而在成像面中设置的图像输出像素和相位差检测像素的配置。

在成像单元31的成像面上，来自成像透镜20的被摄体光入射。基于来自如下所述的控制单元51的控制信号，成像单元31执行诸如成像元件的曝光操作的开始和结束、每个像素的输出选择以及像素信号的读出的动作，以及成像单元31生成指示已经由图像输出像素成像的被摄体的图像信号，并且生成指示由相位差检测像素生成的相位差图像(例如，两个相位差图像)的相位差的相位差信息(下文中，称为“图像平面相位差信息”)。成像单元31将所生成的图像信号输出到预处理单元32。此外，成像单元31将所生成的图像平面相位差信息输出到控制单元51。

预处理单元32对从成像单元31输出的图像信号执行预定信号处理，例如，噪声去除处理、增益调节和钳位处理。此外，预处理单元32执行模/数转换处理，并且将经过预定信号处理的模拟图像信号转换成数字图像信号，以将数字图像信号输出到图像处理单元33。

图像处理单元33对从预处理单元32输出的图像信号执行预定信号处理，例如，诸如将数字图像信号的黑电平视为基准黑电平的黑电平校正、校正红色和蓝色电平从而使得被摄体的白色部分被正确显示并记录为白色的白平衡控制、以及校正图像信号的灰度特性的伽马校正的信号处理。图像处理单元33将经过信号处理的图像信号输出到显示单元35、记录单元36和控制单元51。此外，图像处理单元33可以执行图像信号的编码处理并将图像信号输出到记录单元36，以及对从记录单元36提供的编码信号执行解码处理，并将获得的图像信号输出到显示单元35。

显示单元35基于由图像处理单元33处理的图像信号显示捕获图像。此外，显示单元35基于来自控制单元51的控制信号显示菜单画面等。此外，显示单元35基于来自控制单元51的状态判定信号向用户呈现聚焦透镜相对于焦点位置的位置偏差处于大的状态，并且成像被摄体的对比度为处于低的状态。

记录单元36将经过图像处理单元33的信号处理的图像信号或编码信号记录在记录介质上。此外，记录单元36可以将在由图像处理单元33进行信号处理之前的RAW图像信号记录在记录介质上。记录单元36读取记录在记录介质上的图像信号或编码信号，并将图像信号或编码信号输出到图像处理单元33。

用户接口单元39使用操作开关、操作按钮等来配置。用户接口单元39根据用户操作生成操作信号并将该信号输出到控制单元51。注意，用户接口单元39不限于设置在主体单元30中的情况，而是可以具有与主体单元30分开设置的配置，例如，能够经由通信路径等从远程位置向控制单元51执行操作信号的传输等。

控制单元51使用例如包含诸如存储控制程序的ROM的存储单元和临时存储数据的闪存的微计算机来配置。控制单元51执行控制程序，并且控制每个单元的动作，使得通过成像设备10基于来自用户接口单元39的操作信号执行用户期望的动作，以执行运动图像或静止图像的成像、记录等。

此外，控制单元51执行基于在预定时段内使用相位差检测像素获得的图像平面相位差信息的聚焦控制，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，以及在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的聚焦控制。此外，在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，控制单元51将基于图像平面相位差信息的聚焦控制切换到基于除图像平面相位差信息之外的信息的聚焦控制。控制单元51具有判定单元511和聚焦控制单元512，以通过这种聚焦控制执行自动聚焦操作。

判定单元511执行根据相位差检测像素在预定时段内的输出的聚焦控制，并且生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息。判定单元511基于从成像透镜20获取的指示聚焦透镜的实际透镜位置的信息、使用在根据相位差检测像素的输出执行聚焦控制期间成像单元31的相位差检测像素生成的图像平面相位差信息等，生成聚焦变化信息。成像透镜20可以是固定设置在成像设备10上的透镜，或者可以是可拆卸的可互换透镜。在成像透镜20是可互换透镜的情况下，控制单元51与可互换透镜通信并从可互换透镜获取聚焦透镜的实际透镜位置，并且辨别单元511使用所获取的实际透镜位置作为聚焦状态变化信息。

在由判定单元511生成的聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，聚焦控制单元512继续基于图像平面相位差信息的聚焦控制。此外，在由判定单元511生成的聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，聚焦控制单元512从基于图像平面相位差的聚焦控制执行基于除图像平面相位差信息之外的信息的聚焦控制，例如，基于从图像处理单元33提供的图像信号的对比度方法的聚焦控制。在执行基于图像平面相位差信息的聚焦控制(图像平面相位差聚焦控制)的情况下，聚焦控制单元512通过根据由图像平面相位差信息指示的散焦量生成聚焦控制信号并将该信号输出到成像透镜20的透镜驱动处理单元22来执行自动聚焦操作(下文中称为“图像平面相位差AF操作”)。此外，在执行基于图像信号的聚焦控制(对比度聚焦控制)的情况下，聚焦控制单元512通过基于使用距离测量区域中的像素组的像素值计算的对比度AF评估值生成聚焦控制信号，并将该信号输出到成像透镜20的透镜驱动处理单元22来执行自动聚焦操作(下文中称为“对比度AF操作”)。

接下来，将描述本技术的成像设备的第一实施例的动作。图2是示出第一实施例的动作的流程图。当执行快门操作或快门动作时，成像设备开始流程图的动作。快门操作例如是由用户执行的快门全按操作、快门半按操作等。例如，快门动作是与用户操作无关地自动执行的快门动作，并且是定时器操作、基于被摄体的识别结果的自动快门操作等。

在步骤ST1中，控制单元开始图像平面相位差AF操作。控制单元51通过根据由图像平面相位差信息指示的散焦量开始生成聚焦控制信号并且将聚焦控制信号输出到成像透镜20的透镜驱动处理单元22来开始图像平面相位差AF操作，并进入步骤ST2。

在步骤ST2中，控制单元生成聚焦状态变化信息。控制单元51在预定时间内执行在步骤ST1中开始的图像平面相位差AF操作。此外，控制单元51生成指示当在预定时间内执行图像平面相位差AF操作时的聚焦状态的变化是否是单调变化的聚焦状态变化信息。控制单元51利用例如变化量的频率特性、由图像平面相位差信息指示的散焦量、透镜位置以及散焦量和透镜位置中的任一项判定聚焦状态的变化是否是单调变化，并生成聚焦状态变化信息。注意，稍后将描述聚焦状态变化信息的生成的细节。控制单元51生成聚焦状态变化信息，并进入步骤ST3。

在步骤ST3中，控制单元判定聚焦状态的变化是否是单调变化。在步骤ST2中生成的聚焦状态变化信息指示为单调变化的情况下，控制单元51进入步骤ST4，并且在指示不是单调变化的情况下，控制单元51进入步骤ST5。

在步骤ST4中，控制单元继续图像平面相位差AF操作。控制单元51在根据聚焦状态的变化是单调变化的事实假设大的模糊状态(也称为“失焦”、“大散焦”或“大幅度散焦”)的情况下，继续图像平面相位差AF操作。

在步骤ST5中，控制单元执行切换到对比度AF操作。控制单元51在根据聚焦状态的变化不是单调变化的事实假设低对比度状态的情况下，将聚焦控制操作从图像平面相位差AF操作切换到对比度AF操作。

接下来，将描述聚焦状态变化信息的生成。图3示出了在从大模糊状态开始图像平面相位差AF操作的情况下，被摄体与透镜位置的轨迹和散焦量的轨迹之间的关系。图3(a)和(b)示出了具有高对比度的被摄体进行成像的情况，其中图3的(a)示出了透镜位置的轨迹，图3的(b)示出了散焦量的轨迹。此外，图3的(c)和(d)示出了从大模糊状态对具有低对比度的被摄体进行成像的情况，其中图3的(c)示出了透镜位置的轨迹，并且图3的(d)示出了散焦量的轨迹。注意，在图3中，实线指示图像平面相位差AF操作的开始时间处于大模糊状态，并且虚线指示何时处于对焦状态。

具有高对比度(非低)的被摄体是指具有在使用相位差检测像素的输出计算相位差的情况下允许正确计算两个图像之间的相位差的对比度的被摄体。具有低对比度的被摄体是指处于对比度在通过使用相位差检测像素的输出计算相位差的情况下由于低对比度而不允许正确计算两个图像之间的相位差的状态的被摄体。

在对具有高对比度的被摄体进行成像的情况下，当执行图像平面相位差AF操作时，透镜位置如图3(a)中的实线所示线性且单调地变化，换句话说，透镜位置以始终沿固定方向(接近对焦的方向)的线性变化会聚到对焦位置。此外，受到根据透镜驱动量的透镜移动的反射延迟的影响，散焦量以非线性单调变化会聚到对焦位置，如图3(b)中的实线所示。

此外，在对具有低对比度的被摄体进行成像的情况下，当执行图像平面相位差AF操作时，不能正确地计算图像平面相位差。因此，散焦量具有大的误差，并且值变化不是在固定方向上，如图3的(d)所示。此外，透镜位置引起摆动并且不会聚到对焦位置，如图3(c)中的实线所示。注意，由于透镜位置的变化受到根据透镜驱动量的透镜移动的反射延迟的影响，因此变化频率低于散焦量的变化。此外，透镜位置的变化的变化频率低于散焦量的变化的变化频率。因此，如果基于透镜位置的变化生成聚焦状态变化信息，则可以比基于散焦量生成聚焦状态变化信息的情况更容易地生成聚焦状态变化信息。

如上所述，在对具有高对比度的被摄体进行成像的情况下的透镜位置的轨迹和散焦量是朝向对焦位置的单调变化，并且该变化与对具有低对比度的被摄体进行成像的情况的变化不同。因此，控制单元51的判定单元511通过使用透镜位置的轨迹、散焦量等来生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息。

图4是示出生成聚焦状态变化信息的动作的流程图。在步骤ST11中，判定单元判定轨迹(聚焦状态的变化)是否指示单调变化。判定单元511在预定时段内执行的图像平面相位差AF操作期间获取关于预定间隔的聚焦状态的状态信息，并且基于所获取的状态信息判断透镜位置、散焦量等相对于经过时间的轨迹是否指示单调变化。状态信息可以是例如透镜位置的变化量或散焦量的变化量，或者可以是透镜位置本身或散焦量本身。此外，状态信息可以是透镜位置的变化量的频率特性或散焦量的变化量的频率特性。判定单元511在轨迹指示单调变化的情况下进入步骤ST12，并且在不表示单调变化的情况下进入步骤ST13。

例如，判定单元511判定变化量是否是单调变化。图5是用于说明透镜位置变化量的单调变化的曲线图。注意，在图5中，在预定时段TW中以预定间隔计算的变化量被示为黑点。如图5的(a)所示，在预定时段TW中的变化量的极性从开始时间就没有变化的情况下，判定单元511判定为单调变化。此外，如图5的(b)所示，在预定时段TW中的变化量的极性已经变化的情况下，判定单元511判定不是单调变化。注意，如图3和5所示，在开始时的透镜位置和散焦量相对于对焦位置在正侧(例如，在远侧)的情况下，当在预定时段TW中以预定间隔计算的变化量在包括零的负侧时，判定为单调变化。然而，在开始时的透镜位置和散焦量相对于对焦位置在负侧(例如，在宽侧)的情况下，当在预定时段TW中以预定间隔计算的变化量是包括零的正侧的变化量时，判定为单调变化。此外，变化量不限于透镜位置变化量，并且可以使用由图像平面相位差信息指示的散焦量的变化量。

此外，判定单元511可以在预定时段TW中以预定时间间隔计算透镜位置和散焦量的变化倾斜度，在计算出的变化倾斜度的累积值的平均值等于或小于预设阈值的情况下判定为单调变化，并且在累积值的平均值超过预设阈值的情况下判定不是单调变化。

判定单元511可以使用透镜位置而不限制变化量。具体地，在透镜位置从开始时间仅在一个方向上移动的情况下被判定为单调变化，并且在透镜位置在相反方向上移动的情况下被判定为不是单调变化。

此外，判定单元511可以基于散焦量和透镜位置来判定聚焦状态的变化是否是单调变化。由于如上所述散焦量受到根据透镜驱动量的透镜移动的反射延迟的影响，因此当仅基于散焦量进行判定时，可能无法正确地判定聚焦状态的变化是否是单调变化。因此，如果判定单元511基于散焦量和透镜位置判定聚焦状态的变化是否是单调变化，则可以更准确地判定聚焦状态的变化。

此外，判定单元511可以通过基于变化量的频率特性判定聚焦状态的变化是否是单调变化来产生聚焦状态变化信息，而不限于基于变化量和透镜位置。例如，通过对透镜位置本身应用快速傅立叶变换(FFT)，将变化量转换为频率分量，并且在频率分量等于或大于预定阈值的情况下判定聚焦状态的变化不是单调变化。在变化频率的频率分量小于预定阈值的情况下，判定聚焦状态的变化是单调变化。

在步骤ST12中，判定单元设置指示单调变化的单调变化标志。判定单元511设置指示聚焦状态的变化是单调变化的单调变化标志，并且结束处理。

在步骤ST13中，判定单元设置指示不是单调变化的单调变化标志。判定单元511设置指示聚焦状态的变化不是单调变化的单调变化标志，并且结束处理。

图6示出了第一实施例的操作示例。注意，图6的(a)和(b)示出了大的模糊状态，图6的(c)和(d)示出了低对比度状态，图6的(a)和(c)示出了透镜位置的时间变化，并且图6的(b)和(d)分别示出了透镜位置变化量的时间变化。

执行图像平面相位差AF操作直到从开始自动聚焦操作的时间点t0经过预定时段Tw的时间点t1。这里，如图6的(b)所示，在预定时段中的透镜位置变化量不引起极性变化的情况下，判定为单调变化，并且继续进行图像平面相位差AF操作。因此，如图6(a)所示，透镜位置在时间点t2处于对焦位置。

此外，如图6的(d)所示，在预定时段中的透镜位置变化量导致极性变化的情况下，判定不是单调变化，并且图像平面相位差AF操作切换到对比度AF操作。因此，如图6的(c)所示，透镜位置在时间点t3处于对焦位置。

如上所述，根据第一实施例，在聚焦状态变化信息指示聚焦状态变化是单调变化的情况下，换句话说，在判定为大模糊状态的情况下，继续进行图像-平面相位差AF操作。此外，在聚焦状态变化信息指示聚焦状态变化不是单调变化的情况下，换句话说，在判定被摄体具有低对比度的情况下，图像平面相位差AF操作被切换到对比度AF操作。因此，由于在图像平面相位差AF操作中难以进行自动聚焦操作的情况下执行切换到对比度AF操作，因此可以通过降低执行对比度AF操作的频率来执行高速和高质量的自动聚焦操作。

<2.第二实施例>

接下来，将描述本技术的成像设备的第二实施例。第二实施例的成像设备判定图像平面相位差AF操作的可靠性，并且在可靠的情况下，类似于第一实施例，根据聚焦状态的变化是否是单调变化来执行自动聚焦操作的切换。此外，在图像平面相位差AF操作不可靠的情况下，成像设备将透镜位置从一端侧移动到另一端侧以执行搜索对焦位置的搜索操作，并将透镜移动到搜索到的对焦位置。

第二实施例的配置类似于图1所示的第一实施例的配置。在第二实施例中，控制单元51在预定时段之前执行从相位差检测像素的输出获得的具有视差的两个图像的相关性计算，并且利用判定单元511判定相关性计算结果的可靠性，换言之，图像平面相位差信息的可靠性。在判定相关性计算结果可靠的情况下，控制单元51在判定单元511中执行聚焦状态变化信息的生成，并且在聚焦控制单元512中切换基于聚焦状态变化信息的自动聚焦操作。此外，在判定为不可靠的情况下，控制单元51利用聚焦控制单元512执行全搜索操作以搜索焦点位置，并执行将聚焦透镜移动到搜索到的对焦位置的驱动控制。

在判定图像平面相位差AF操作的可靠性时，执行具有视差的两个图像的相关性计算以计算例如可靠性评估值。表达式(1)举例说明用于计算可靠性评估值的评估函数，并且图7是用于说明用于评估函数的参数的视图。在表达式(1)中，“n”表示图7的(a)中所示的AF区域Ef中的AF线Lf中的图像平面相位差AF像素对的总数，“Xi”表示从AF线Lf中的左端起的第i个图像平面相位差AF像素对，并且“Yi”表示该位置Xi处的图像平面相位差AF像素对的像素输出。注意，图像平面相位差AF像素对是成像单元31的一对相位差检测像素。

[公式1]

图7的(b)示出了图像平面相位差AF像素对的配置。具有遮光板312a和312b的两对或更多对相位差检测像素311a和311b沿水平方向布置。在遮光板312a和312b中，用于将来字出射光瞳的右侧部分Qa的光通量Ta和来自左侧部分Qb的光通量Tb分离的开口OP的位置是镜像目标。更具体地，具有遮光板312a的第一相位差检测像素311a和具有遮光板312b的第二相位差检测像素311b交替地布置在AF线Lf上，其中在遮光板312a中，狭缝形开口OP相对于正下方的光电转换单元(光电二极管)PD偏向右侧，在遮光板312b，狭缝形开口OP相对于正下方的光电转换单元PD偏向左侧。利用这种布置，来自出射光瞳的右侧部分Qa的光通量Ta穿过微透镜ML和遮光板312a的开口OP，以被第一相位差检测像素311a的光电转换单元PD接收，并且来自出射光瞳的左侧部分Qb的光通量Tb穿过微透镜ML和遮光板312b的开口OP，以被第二相位差检测像素311b的光电转换单元PD接收。换句话说，在由第一相位差检测像素311a和第二相位差检测像素311b配置的图像平面相差AF像素对中，在出射光瞳处分别接收沿水平方向在相互相反的方向上偏置的已经通过右侧部分和左侧部分(一对部分区域)Qa和Qb的被摄体的光通量Ta和Tb。注意，在图7所示的配置的情况下，图像平面相位差信息是指示第一相位差检测像素序列的图像序列与第二相位差检测像素序列的图像序列之间的相位差的信息。

在使用表达式(1)计算的可靠性评估值J大于预定阈值Jth的情况下，控制单元51判定可靠性高，并且在可靠性评估值J等于或小于阈值Jth的情况下判定可靠性低。如上所述，控制单元51基于可靠性评估值J执行图像平面相位差AF操作的简单可靠性评估。

接下来，将描述本技术的成像设备的第二实施例的动作。图8是示出第二实施例的动作的流程图。在步骤ST21中，控制单元计算可靠性评估值。在移动聚焦透镜之前，控制单元51通过使用如上所述的评估函数来计算可靠性评估值J，并且进行到步骤ST22。

在步骤ST22中，控制单元判定图像平面相位差AF操作是否可靠。控制单元51将在步骤ST21中计算的可靠性评估值J与预定阈值Jth进行比较。在可靠性评估值J大于阈值Jth的情况下，控制单元51判定为可靠，并且进行到步骤ST23。此外，在可靠性评估值J等于或小于阈值Jth的情况下，控制单元51判定可靠性低，并且进行到步骤ST28。

在步骤ST23中，控制单元开始图像平面相位差AF操作。控制单元51通过开始根据由图像平面相位差信息指示的散焦量生成聚焦控制信号并且将聚焦控制信号输出到成像透镜20的透镜驱动处理单元22来开始图像平面相位差AF操作，并进入步骤ST24。

在步骤ST24中，控制单元生成聚焦状态变化信息。控制单元51在预定时间内执行在步骤ST23中开始的图像平面相位差AF操作。此外，控制单元51生成指示当在预定时间执行图像平面相位差AF操作时的聚焦状态的变化是否是单调变化的聚焦状态变化信息。例如，基于透镜位置或由图像平面相位差信息指示的散焦量、透镜位置和散焦量的变化量、变化量的频率特性等，控制单元51判定聚焦状态的变化是否是单调变化并生成聚焦状态变化信息。控制单元51生成聚焦状态变化信息，并进入步骤ST25。

在步骤ST25中，控制单元判定聚焦状态的变化是否是单调变化。在步骤ST24中生成的聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，控制单元51进入步骤ST26，并且在指示聚焦状态的变化不是单调变化的情况下，控制单元51进入步骤ST27。

在步骤ST26中，控制单元继续图像平面相位差AF操作。控制单元51在根据聚焦状态的变化是单调变化的事实假设大模糊状态的情况下继续图像平面相位差AF操作。

在步骤ST27中，控制单元执行切换到对比度AF操作。控制单元51根据聚焦状态的变化不是单调变化的事实判定为低对比度状态，并且将自动聚焦操作从图像平面相位差AF操作切换到对比度AF操作。

当从步骤ST22进行到步骤ST28时，控制单元执行全搜索操作。控制单元51将透镜位置从一端侧移动到另一端侧以执行搜索对焦位置的搜索操作，并将透镜移动到搜索到的对焦位置。

因此，根据第二实施例，类似于第一实施例，在判定为大模糊状态的情况下继续图像平面相位差AF操作，并且在判定被摄体具有低对比度的情况下将图像平面相位差AF操作切换为对比度AF操作。因此，由于在图像平面相位差AF操作中难以进行自动聚焦操作的情况下执行切换到对比度AF操作，因此可以通过降低执行对比度AF操作的频率执行高速和高质量的自动聚焦操作。此外，由于判定了图像平面相位差AF操作的可靠性并且在不可靠的情况下执行全搜索操作，因此不在低可靠性状态下执行图像平面相位差AF操作，并且可以高精度地执行高速和高质量的自动聚焦操作。

<3.第三实施例>

接下来，将描述本技术的成像设备的第三实施例。第三实施例示出了提供与上述成像单元31分开设置的距离测量信息生成元件(例如，专用相位差检测单元)的情况。

图9示出了成像设备的第三实施例的配置。成像设备10a包括成像透镜20和主体单元30a。成像透镜20具有成像光学系统21和透镜驱动处理单元22。成像光学系统21使用聚焦透镜配置。此外，成像光学系统21不仅可以使用聚焦透镜，还可以使用变焦透镜、光圈机构等来配置。

透镜驱动处理单元22基于来自主体单元30a的透镜控制信号，移动成像光学系统21中的聚焦透镜的透镜位置。此外，透镜驱动处理单元22生成指示聚焦透镜的透镜位置的信息等，并将该信息等输出到主体单元30a。

主体单元30a具有包括成像单元31、预处理单元32、图像处理单元33、显示单元35、记录单元36、用户接口(I/F)单元39、透射镜单元45、专用相位差检测单元46和控制单元51的配置。注意，主体单元30可以具有未在图中描述的功能块，并且可以具有不包含在图中描述的功能块的配置。

成像单元31使用诸如互补金属氧化物半导体(CMOS)的成像元件来配置。此外，在成像元件中，图像输出像素和相位差检测像素设置在成像面中。在成像单元31的成像面上，来自成像透镜20的被摄体光经由透射镜单元45入射。基于来自控制单元51的控制信号，如稍后所述，成像单元31执行诸如成像元件的曝光操作的开始和结束、每个像素的输出选择以及像素信号的读出的动作，并且成像单元31生成指示已经由图像输出像素成像的被摄体的图像信号，并生成指示由相位差检测像素生成的相位差图像(例如，两个相位差图像)的相位差的图像-平面相位差信息。成像单元31将所生成的图像信号输出到预处理单元32。此外，成像单元31将所生成的图像平面相位差信息输出到控制单元51。

预处理单元32对从成像单元31输出的图像信号执行预定信号处理，例如，噪声去除处理、增益调节和钳位处理。此外，预处理单元32执行模/数转换处理，并且将经过预定信号处理的模拟图像信号转换成数字图像信号，以将数字图像信号输出到图像处理单元33。

图像处理单元33对从预处理单元32输出的图像信号执行预定信号处理，例如，诸如将数字图像信号的黑电平视为基准黑电平的黑电平校正、校正红色和蓝色水平从而使得被摄体的白色部分被正确显示并记录为白色的白平衡控制、以及校正图像信号的灰度特性的伽马校正的信号处理。图像处理单元33将经过信号处理的图像信号输出到显示单元35、记录单元36和控制单元51。此外，图像处理单元33可以执行图像信号的编码处理并将图像信号输出到记录单元36，以及对从记录单元36提供的编码信号执行解码处理，并将获得的图像信号输出到显示单元35。

显示单元35基于由图像处理单元33处理的图像信号显示捕获图像。此外，显示单元35基于来自控制单元51的控制信号显示菜单画面等。此外，显示单元35基于来自控制单元51的状态判定信号向用户呈现聚焦透镜相对于焦点位置的位置偏差处于大的状态并且成像被摄体的对比度处于低的状态。

记录单元36将经过图像处理单元33的信号处理的图像信号或编码信号记录在记录介质上。此外，记录单元36读取记录在记录介质上的图像信号或编码信号，并将图像信号或编码信号输出到图像处理单元33。

用户接口单元39使用操作开关、操作按钮等来配置。用户接口单元39根据用户操作生成操作信号，并将该信号输出到控制单元51。

透射镜单元45设置在成像单元31的成像面侧，并且使来自成像透镜20的被摄体光被分割并入射在成像单元31和专用相位差检测单元46上。

专用相位差检测单元46设置有例如二次图像形成透镜和一对AF传感器。专用相位差检测单元46根据通过透射镜单元45入射的被摄体光生成指示由一对AF传感器中的每一个生成的传感器输出信号的相位差的专用传感器相位差信息，并将该信息输出到控制单元51。

控制单元51被使用例如包含诸如存储控制程序的ROM的存储单元和临时存储数据的闪存的微计算机来配置。控制单元51执行控制程序，并且控制每个单元的动作，使得由成像设备10基于来自用户接口单元39的操作信号执行用户期望的动作。此外，控制单元51基于从预处理单元32提供的图像平面相位差信息或从专用相位差检测单元46提供的专用传感器相位差信息执行聚焦控制(距离测量信息聚焦控制)。

这里，在基于从专用相位差检测单元46提供的专用传感器相位差信息执行聚焦控制的情况下，专用相位差检测单元46的AF传感器设置在与成像单元31的成像面不同的位置处。因此，在通过根据由来自专用相位差检测单元46的专用传感器相位差信息指示的散焦量生成聚焦控制信号并将该信号输出到成像透镜20的透镜驱动处理单元22来执行自动聚焦操作(下文中称为“专用相位差AF操作”)的情况下，与图像平面相位差AF操作的情况相比，精度可能劣化。此外，由于专用相位差检测单元46的AF传感器设置在与成像单元31的成像面不同的位置处，因此与使用成像单元31的相位差检测像素的情况相比，可以设置减少的模糊。因此，可以广泛地设置不发生大模糊的聚焦透镜位置范围，换句话说，相位差检测范围。因此，在专用相位差AF操作中，即使在与图像平面相位差AF操作相比模糊大的情况下，也可以执行自动聚焦操作。

控制单元51具有判定单元511和聚焦控制单元512，以便执行自动聚焦操作。

判定单元511在预定时段之前执行从相位差检测像素的输出获得的具有视差的两个图像的相关性计算，并且判定相关性计算结果的可靠性，换言之，图像平面相位差信息的可靠性。在辨别出图像平面相位差信息可靠的情况下，判定单元511根据预定时段内的相位差检测像素的输出执行聚焦控制，并生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息。判定单元511基于从成像透镜20获取的指示透镜位置的信息或者在根据相位差检测像素的输出执行聚焦控制期间利用成像单元31的相位差检测像素生成的图像平面相位差信息来生成聚焦变化信息。此外，在辨别出图像平面相位差信息不可靠的情况下，判定单元511通知聚焦控制单元512不可靠。

在由判定单元511生成的聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，聚焦控制单元512继续基于由成像单元31生成的图像平面相位差信息的聚焦控制。此外，在由判定单元511生成的聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，聚焦控制单元512从基于由成像单元31生成的图像平面相位差信息的聚焦控制切换到基于由专用相位差检测单元46生成的专用传感器相位差信息的聚焦控制。此外，在判定图像平面相位差信息不可靠的情况下，聚焦控制单元511执行搜索对焦位置的全搜索操作，并执行将聚焦透镜移动到搜索到的对焦位置的透镜驱动控制。

接下来，将描述本技术的成像设备的第三实施例的动作。图10是示出第三实施例的动作的流程图。在步骤ST31中，控制单元计算可靠性评估值。控制单元51通过使用如上所述的评估函数来计算可靠性评估值J，并且进行到步骤ST32。

在步骤ST32中，控制单元判定图像平面相位差AF操作是否可靠。控制单元51将在步骤ST31中计算的可靠性评估值J与预定阈值Jth进行比较。在可靠性评估值J大于阈值Jth的情况下，控制单元51判定为可靠，并且进行到步骤ST33。此外，在可靠性评估值J等于或小于阈值Jth的情况下，控制单元51判定可靠性低，并且进行到步骤ST38。

在步骤ST33中，控制单元开始图像平面相位差AF操作。控制单元51通过开始根据由图像平面相位差信息指示的散焦量生成聚焦控制信号并且将聚焦控制信号输出到成像透镜20的透镜驱动处理单元22来开始图像平面相位差AF操作，并进入步骤ST34。

在步骤ST34中，控制单元生成聚焦状态变化信息。控制单元51在预定时间内执行在步骤ST33中开始的图像平面相位差AF操作。此外，控制单元51生成指示当在预定时间内执行图像平面相位差AF操作时聚焦状态的变化是否是单调变化的聚焦状态变化信息。例如，基于透镜位置或由图像平面相位差信息指示的散焦量、透镜位置和散焦量的变化量、变化量的频率特性等，控制单元51判定聚焦状态的变化是否是单调变化并生成聚焦状态变化信息。控制单元51生成聚焦状态变化信息，并进入步骤ST35。

在步骤ST35中，控制单元判定聚焦状态的变化是否是单调变化。在步骤ST34中生成的聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，控制单元51进入步骤ST36，并且在指示聚焦状态的变化不是单调的变化的情况下，控制单元51进入步骤ST37。

在步骤ST36中，控制单元继续图像平面相位差AF操作。控制单元51在根据聚焦状态的变化是单调变化的事实假设大模糊状态的情况下继续图像平面相位差AF操作。

在步骤ST37中，控制单元执行切换到专用相位差AF操作。在根据聚焦状态的变化不是单调变化的事实假设低对比度状态的情况下，控制单元51将聚焦控制操作从图像平面相位差AF操作切换到对于模糊具有高性能的专用相位差AF操作。

当从步骤ST32进行到步骤ST38时，控制单元执行全搜索操作。控制单元51将透镜位置从一端侧移动到另一端侧以执行搜索对焦位置的搜索操作，并将透镜移动到搜索到的对焦位置。

如上所述，根据第三实施例，在判定为大模糊状态的情况下继续图像平面相位差AF操作，并且在判定被摄体具有低对比度的情况下将图像平面相位差AF操作切换到专用相位差AF操作。因此，即使在基于图像平面相位差信息的聚焦控制中难以进行自动聚焦操作的情况下，也能够通过基于专用相位差信息的聚焦控制来进行自动聚焦操作，并且能够扩大能够进行高速和高质量的自动对焦操作的模糊范围。

此外，在第三实施例中判定了图像平面相位差AF操作的可靠性，但是动作可以使得不执行图像平面相位差AF操作的可靠性的判定，类似于第一实施例。注意，在判定图像平面相位差AF操作的可靠性的情况下，当判定图像平面相位差AF操作不可靠时，执行全搜索操作。因此，不在低可靠性状态下执行图像平面相位差AF操作，并且可以高精度地执行高速和高质量的自动聚焦操作。

注意，第三实施例例示了使用透射镜的配置的情况，但是可以在配置中使用反射镜。在这种情况下，在通过使被摄体光入射到成像单元31上开始图像平面相位差AF操作，并且判断出要执行切换到专用相位差AF操作的情况下，通过反射镜使被摄体光入射到专用相位差检测单元46上就足够了。

<4.第四实施例>

在本技术的成像设备的第四实施例中，将描述执行混合AF操作的情况。在混合AF操作中，通过能够切换不同的聚焦控制方法、使用任何方法执行聚焦控制、然后切换到另一种方法从而使得可以高精度地执行聚焦控制来执行聚焦控制。例如，在第四实施例中，例示了通过从对比度方法切换到图像平面相位差AF操作来执行聚焦控制的情况。

使第四实施例的配置类似于图1中所示的第一实施例的配置。图11是示出第四实施例的动作的流程图。在步骤ST41中，控制单元计算可靠性评估值。控制单元51通过使用如上所述的评估函数来计算可靠性评估值J，并且进行到步骤ST42。

在步骤ST42中，控制单元判定图像平面相位差AF操作是否可靠。控制单元51将在步骤ST41中计算的可靠性评估值J与预定阈值Jth进行比较。在可靠性评估值J大于阈值Jth的情况下，控制单元51判定为可靠，并且进行到步骤ST43。此外，在可靠性评估值J等于或小于阈值Jth的情况下，控制单元51判定可靠性低，并且进行到步骤ST48。

在步骤ST43中，控制单元开始图像平面相位差AF操作。控制单元51通过开始根据由图像平面相位差信息指示的散焦量生成聚焦控制信号并且将聚焦控制信号输出到成像透镜20的透镜驱动处理单元22来开始图像平面相位差AF操作，并进入步骤ST44。

在步骤ST44中，控制单元生成聚焦状态变化信息。控制单元51在预定时间内执行在步骤ST43中开始的图像平面相位差AF操作。此外，控制单元51生成指示当在预定时间内执行图像平面相位差AF操作时的聚焦状态的变化是否是单调变化的聚焦状态变化信息。例如，基于透镜位置或由图像平面相位差信息指示的散焦量、透镜位置和散焦量的变化量、变化量的频率特性等，控制单元51判定聚焦状态的变化是否是单调变化并生成聚焦状态变化信息。控制单元51生成聚焦状态变化信息，并进入步骤ST45。

在步骤ST45中，控制单元判定聚焦状态的变化是否是单调变化。在步骤ST44中生成的聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，控制单元51进入步骤ST46，并且在指示聚焦状态的变化不是单调变化的情况下，控制单元51进入步骤ST47。

在步骤ST46中，控制单元继续图像平面相位差AF操作。控制单元51在根据聚焦状态的变化是单调变化的事实假设大模糊状态的情况下继续图像平面相位差AF操作。

在步骤ST47中，控制单元执行切换到混合AF操作。在根据聚焦状态的变化不是单调变化的事实假设低对比度状态的情况下，控制单元51将聚焦控制操作从图像平面相位差AF操作切换到混合AF操作。

在混合AF操作中，执行对比度AF操作，其中可聚焦可控范围比低对比度状态下的图像平面相位差AF操作的可聚焦可控范围宽。控制单元通过基于使用距离测量区域中的像素组的像素值计算的对比度AF评估值生成聚焦控制信号并且将该信号输出到成像单元20的透镜驱动处理单元22来执行对比度AF操作。控制单元通过使用例如距离测量区域中的像素组的像素来计算相邻像素之间的差分绝对值，并且使用所计算的差分绝对值的总和作为对比度AF评估值。控制单元在固定方向上移动聚焦透镜的同时顺序地计算对比度AF评估值，并且通过以比对比度AF评估值单调增加然后超过峰值的情况下的对比度方法更高的精度切换到图像平面相位差AF操作来更高精度地将聚焦透镜移动到对焦位置。

当从步骤ST42进行到步骤ST48时，控制单元执行全搜索操作。控制单元51将透镜位置从一端侧移动到另一端侧以执行搜索对焦位置的搜索操作，并将透镜移动到搜索到的对焦位置。

如上所述，根据第四实施例，在判定为大模糊状态的情况下继续图像平面相位差AF操作，并且在判定被摄体具有低对比度的情况下，将图像平面相位差AF操作切换到专用相位差AF操作。

因此，即使在图像平面相位差AF操作中难以进行聚焦控制的情况下，通过混合AF操作也可以进行聚焦控制，并且可以执行高速和高质量的自动聚焦操作。

注意，在第四实施例中在自动聚焦操作的开始时判定图像平面相位差AF操作的可靠性，但是动作可以使得不执行图像平面相位差AF操作的可靠性的判定，与第一实施例类似。此外，在这种情况下，在混合AF操作中，当对比度AF操作切换到图像平面相位差AF操作时，判定图像平面相位差AF操作的可靠性。如果要在该判定中判定为可靠的情况下执行自动聚焦操作的切换，则可以防止由于从对比度AF操作切换到图像平面相位差AF操作而发生焦点偏移。

此外，在判定自动聚焦操作的开始时的图像平面相位差AF操作的可靠性的情况下，当判定图像平面相位差AF操作不可靠时，执行全搜索操作。因此，不在低可靠性状态下执行图像平面相位差AF操作，并且可以高精度地执行高速和高质量的自动聚焦操作。

<5.其他实施例>

此外，在上述实施例中，已经描述了执行对比度AF操作或专用相位差AF操作作为与图像平面相位差AF操作不同的另一自动对焦操作的情况。然而，例如，可以通过使用距离测量传感器等作为与成像单元分开设置的距离测量信息生成元件来基于距离测量结果执行自动聚焦操作等以驱动聚焦透镜。

此外，在上述实施例中，已经陈述了根据判定单元511的状态判定结果将图像平面相位差AF操作自动切换到另一自动聚焦操作的情况。然而，可以从信息呈现单元向用户呈现判定单元511的状态判定结果，并且可以允许用户通过使用呈现的状态判定结果来选择要执行何种类型的聚焦操作。

在成像设备的配置是图1所示的配置的情况下，判定单元511通过向用户呈现状态判定结果的信息呈现单元控制状态判定结果的呈现。例如，判定单元511将指示状态判定结果的图像信号输出到作为信息呈现单元的显示单元35，以利用图像向用户呈现状态判定结果。此外，通过使用用户接口单元39作为信息呈现单元并将指示状态判定结果的信息输出到外部，判定单元511能够通过用户接口单元39将状态判定结果呈现给用户。

允许用户通过基于呈现给用户的显示单元35、用户界面单元39等的状态判定结果操作成像设备来执行高精度自动聚焦操作。例如，在聚焦状态的变化不是单调变化的情况下，执行变焦操作等，使得具有高对比度的被摄体被包括在距离测量区域中，此后，聚焦透镜的位置被固定在对焦位置，然后执行反向操作。如果用户执行这样的操作，则可以精确地聚焦在具有低对比度的被摄体上，其中对焦状态的变化不是单调变化。

<6.应用示例>

此外，根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于手术室系统。

图12是示意性地示出可以应用根据本公开的技术的手术室系统5100的整体配置的图。参照图12，手术室系统5100通过连接安装在手术室中的装置组以能够经由视听控制器(AV控制器)5107和手术室控制装置5109彼此协作来配置。

在手术室中，可以安装各种装置。作为示例，图12示出了用于内窥镜手术的各种类型的装置组5101、设置在手术室的天花板上以对操作者的手进行成像的天花板相机5187、设置在手术室的天花板上以对整个手术室的状态进行成像的操作场所相机5189、多个显示装置5103A至5103D、记录器5105、病床5183和照明灯5191。

这里，在这些装置中，装置组5101属于后述的内窥镜手术系统5113，并且包括内窥镜和显示由内窥镜捕获的图像的显示装置等。属于内窥镜手术系统5113的每个装置也称为医疗装置。另一方面，显示装置5103A至5103D、记录器5105、病床5183和照明灯5191是与内窥镜手术系统5113分开设置的装置，例如，在手术室中。不属于内窥镜手术系统5113的每个装置也称为非医疗装置。视听控制器5107和/或手术室控制装置5109彼此协作地控制这些医疗装置和非医疗装置的动作。

视听控制器5107整体控制与医疗装置和非医疗装置中的图像显示有关的处理。具体地，在手术室系统5100中包括的装置中，装置组5101、天花板相机5187和操作场所相机5189可以是具有发送在手术期间显示的信息(在下文中，也称为显示信息)的功能的装置(下文中，也称为发送源装置)。此外，显示装置5103A至5103D可以是显示信息所输出到的装置(下文中，也称为输出目的地装置)。此外，记录器5105可以是与发送源装置和输出目的地装置两者相对应的装置。视听控制器5107具有控制发送源装置和输出目的地装置的动作、从发送源装置获取显示信息、将显示信息发送到输出目的地装置、以及控制显示和记录显示信息的功能。注意，显示信息是在手术期间捕获的各种图像、关于手术的各种类型的信息(例如，患者的身体信息、关于过去检查结果的信息、手术过程等)等。

具体地，从装置组5101到视听控制器5107，作为显示信息，可以发送关于由内窥镜成像的患者体腔中的手术部位的图像的信息。此外，从天花板相机5187，作为显示信息，可以发送关于由天花板相机5187成像的操作者的手的图像的信息。此外，从操作场所相机5189，作为显示信息，可以发送关于指示由操作场所相机5189成像的整个手术室的状态的图像的信息。注意，在手术室系统5100中存在具有成像功能的另一装置的情况下，视听控制器5107还可以从另一装置获取关于由另一装置捕获的图像的信息作为显示信息。

或者，例如，在记录器5105中，由视听控制器5107记录关于过去捕获的这些图像的信息。视听控制器5107可以从记录器5105获取关于过去捕获的图像的信息作为显示信息。注意，记录器5105还可以预先记录关于手术的各种类型的信息。

视听控制器5107使得作为输出目的地装置的显示装置5103A至5103D中的至少任何一个显示所获取的显示信息(换句话说，在手术期间捕获的图像和关于手术的各种类型的信息)。在所示的示例中，显示装置5103A是安装为悬挂在手术室的天花板上的显示装置，显示装置5103B是安装在手术室的墙壁上的显示装置，显示装置5103C是安装在手术室的桌子上的显示装置，并且显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。

此外，尽管在图12中省略了图示，但是手术室系统5100可以包括手术室外部的装置。手术室外部的装置可以是例如连接到医院内部或外部构建的网络的服务器、医疗人员使用的PC、安装在医院的会议室中的投影仪等。在医院外存在这样的外部装置的情况下，视听控制器5107还可以经由视频会议系统等使另一家医院的显示装置显示显示信息，以用于远程医疗。

手术室控制装置5109整体控制除了与非医疗装置中的图像显示有关的处理之外的处理。例如，手术室控制装置5109控制病床5183、天花板相机5187、操作场所相机5189和照明灯5191的驱动。

手术室系统5100设置有集中操作面板5111，并且经由集中操作面板5111，用户可以向视听控制器5107给出关于图像显示的指令，并且手术室控制装置5109给出关于非医疗装置的动作的指令。通过在显示装置的显示面上提供触摸板来配置集中操作面板5111。

图13是示出集中操作面板5111上的操作画面的显示示例的视图。作为示例，图13示出了对应于在手术室系统5100中两个显示装置被设置为输出目的地装置的情况的操作画面。参考图13，操作画面5193设置有发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，设置在手术室系统5100中的发送源装置和示出发送源装置的显示信息的缩略图画面彼此相关联地显示。用户可以从发送源选择区域5195中显示的任何发送源装置中选择希望在显示装置上显示的显示信息。

在预览区域5197中，显示在作为输出目的地装置的两个显示装置(监视器1和监视器2)上显示的画面的预览。在所示的示例中，在一个显示装置上以PinP(画中画)显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。在四个图像中，一个作为主图像相对大地显示，其余三个作为相对小的子图像显示。用户可以通过适当地选择显示四个图像的区域来用子图像替换主图像。此外，在显示四个图像的区域的下部，提供状态显示区域5199，并且可以在该区域适当地显示关于手术的状态(例如，手术的经过时间、患者的身体信息等)。

控制区域5201设置有：发送源操作区域5203，其中显示用于对发送源装置执行操作的图形用户界面(GUI)组件；以及输出目的地操作区域5205，其中显示用于对输出目的地装置执行操作的GUI组件。在所示示例中，发送源操作区域5203设置有GUI组件，用于对具有成像功能的发送源装置中的相机执行各种操作(平移、倾斜和变焦)。用户可以通过适当地选择这些GUI组件来操作发送源装置中的相机的动作。注意，尽管省略了图示，但是在发送源选择区域5195中选择的发送源装置是记录器的情况下(换句话说，在预览区域5197中显示记录器上过去记录的图像的情况下)，发送源操作区域5203可以设置有GUI组件，用于执行诸如图像的再现、再现停止、倒带和快进的操作。

此外，输出目的地操作区域5205设置有GUI组件，用于对作为输出目的地装置的显示装置上的显示执行各种操作(交换、翻转、颜色调节、对比度调节、2D显示和3D显示的切换)。用户可以通过适当地选择这些GUI组件来操作显示装置上的显示。

注意，集中操作面板5111上显示的操作画面不限于所示示例，并且用户能够经由集中操作面板5111对可以由设置在手术室系统5100中的手术室控制装置5109和视听控制器5107控制的每个装置的执行操作输入。

图14是示出应用如上所述的手术室系统的手术状态的示例的图。天花板相机5187和操作场所相机5189设置在手术室的天花板上，并且可以拍摄对病床5183上的患者5185的患部进行治疗的操作者(外科医生)5181的手以及整个手术室的状态。天花板相机5187和操作场所相机5189可以设置有放大率调节功能、焦距调节功能、拍摄方向调节功能等。照明灯5191设置在手术室的天花板上并且至少照亮操作者5181的手。照明灯5191能够适当地调节其照射光量、照射光的波长(颜色)、光的照射方向等。

内窥镜手术系统5113、病床5183、天花板相机5187、操作场所相机5189和照明灯5191如图12所示连接，以便能够经由视听控制器5107和手术室控制装置5109(图14中未示出)彼此协作。集中操作面板5111设置在手术室中，并且如上所述，用户可以经由集中操作面板5111适当地操作存在于手术室中的这些装置。

在下文中，将详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括：内窥镜5115；其他手术仪器5131；支撑内窥镜5115的支撑臂装置5141；以及安装有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，代替切割和打开腹壁，在腹壁上刺穿称为套管针5139a至5139d的多个圆柱形开口工具。然后，从套管针5139a至5139d，将内窥镜5115的镜筒5117和其他手术仪器5131插入患者5185的体腔中。在所示的示例中，作为其他手术仪器5131，吹气管5133、能量治疗仪器5135和钳子5137被插入患者5185的体腔中。此外，能量治疗仪器5135是一种治疗仪器，其通过高频电流或超声波振动执行组织的切开和剥离、血管的密封等。然而，图示的手术仪器5131仅是示例，并且通常用于内窥镜手术的各种手术仪器(例如，镊子、牵开器等)可以用作手术仪器5131。

由内窥镜5115拍摄的患者5185的体腔中的手术部位的图像显示在显示装置5155上。当实时查看显示在显示装置5155上的手术部位的图像时，操作者5181使用能量处理器械5135或钳子5137进行诸如移除患病区域等的治疗。注意，尽管省略了图示，但是在手术期间，由操作者5181、助手等握持吹气管5133、能量治疗仪器5135和钳子5137。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括关节单元5147a、5147b和5147c以及连杆5149a和5149b，并且通过来自臂控制装置5159的控制来驱动。臂单元5145支撑内窥镜5115，并控制其位置和方向。利用这种布置，可以实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括镜筒5117和相机头5119，镜筒5117的距离远端预定长度的区域被插入患者5185的体腔中，相机头5119连接到镜筒5117的近端。在所示的示例中，虽然示出了构造为具有刚性镜筒5117的所谓刚性镜的内窥镜5115，但是内窥镜5115可以被配置为具有柔性镜筒5117的所谓的柔性内窥镜。

在镜筒5117的远端，设置有配有物镜的开口。内窥镜5115与光源装置5157连接，并且由光源装置5157生成的光通过在镜筒5117内部延伸的导光件被引导到镜筒的远端，并且通过物镜朝向患者5185的体腔中的观察目标发射。注意，内窥镜5115可以是前视内窥镜，或者可以是倾斜内窥镜或侧视内窥镜。

在相机头5119内部，设置光学系统和成像元件，并且来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。观察光由成像元件光电转换，并且生成对应于观察光的电信号，换句话说，对应于观察图像的图像信号。图像信号作为RAW数据被发送到相机控制单元(CCU)5153。注意，相机头5119安装有通过适当地驱动光学系统来调节放大率和焦距的功能。

注意，例如，为了支持立体视觉(3D显示)等，可以在相机头5119中设置多个成像元件。在这种情况下，在镜筒5117内部，设置多个中继光学系统，以便将观察光引导到多个成像元件中的每一个。

(推车中安装的各种装置)

CCU 5153由中央处理单元(CPU)、图形处理单元(GPU)等配置，并且整体控制内窥镜5115和显示装置5155的动作。具体地，CCU 5153对从相机头5119接收的图像信号应用用于基于图像信号显示图像的各种类型的图像处理，例如，显影处理(去马赛克处理)。CCU5153将经过图像处理的图像信号提供给显示装置5155。此外，CCU 5153与图12所示的视听控制器5107连接。CCU 5153还将经过图像处理的图像信号提供给视听控制器5107。此外，CCU 5153将控制信号发送到相机头5119以控制其驱动。控制信号可以包括关于成像条件的信息，例如放大率和焦距。关于成像条件的信息可以通过输入装置5161输入，或者可以通过上述集中操作面板5111输入。

显示装置5155在CCU 5153的控制下基于经过CCU 5153的图像处理的图像信号显示图像。在内窥镜5115支持诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率成像和/或支持3D显示的情况下，能够进行高分辨率显示和/或能够进行3D显示的显示器可以用作显示装置5155。在内窥镜5115支持诸如4K或8K的高分辨率拍摄的情况下，通过使用尺寸为55英寸或更大的显示装置5155，可以进一步获得浸入感。此外，可以根据应用设置具有不同分辨率和尺寸的多个显示装置5155。

光源装置5157例如由诸如发光二极管(LED)的光源构成，并且在拍摄手术部位时将照明光提供给内窥镜5115。

臂控制装置5159例如由诸如CPU的处理器构成，并且通过根据预定程序进行操作来根据预定的控制方法控制支撑臂装置5141的臂单元5145的驱动。

输入装置5161是内窥镜手术系统5113的输入接口。用户可以经由输入装置5161向内窥镜手术系统5113输入各种类型的信息和输入指令。例如，用户经由输入装置5161输入关于手术的各种类型的信息，诸如患者的身体信息和关于手术过程的信息。此外，例如，经由输入装置5161，用户输入用于驱动臂单元5145的指令、用于通过内窥镜5115改变成像条件(照射光的类型、放大率、焦距等)的指令、用于驱动能量处理仪器5135的指令等。

输入装置5161的类型不受限制，并且输入装置5161可以是各种已知的输入装置。例如，可以应用鼠标、键盘、触摸板、开关、脚踏开关5171和/或杆等作为输入装置5161。在使用触摸板作为输入装置5161的情况下，可以在显示装置5155的显示面上设置触摸面板。

或者，输入装置5161是用户佩戴的装置(例如，眼镜型可穿戴装置或头戴式显示器(HMD))，并且根据通过这些装置检测到的用户的手势或视线来执行各种输入。此外，输入装置5161包括能够检测用户的移动的相机，并且根据从相机捕获的图像检测到的用户的手势和视线来执行各种输入。此外，输入装置5161包括能够收集用户语音的麦克风，并且经由麦克风通过语音执行各种输入。如上所述，通过将输入装置5161配置为能够以非接触方式输入各种类型的信息，特别属于清洁区域的用户(例如，操作员5181)可以操作属于非清洁区域的装置，而无需接触。此外，由于用户可以操作装置而无需将他/她的手从被握持的手术仪器上释放，因此提高了用户的便利性。

治疗仪器控制装置5163控制能量治疗仪器5135的驱动，以用于组织的切除、切开、血管的密封等。吹入器5165通过吹入管5133将气体送入体腔，以便为患者5185的体腔充气，以用于确保通过内窥镜5115的视野并确保操作者的工作空间的目的。记录器5167是能够记录关于手术的各种类型的信息的装置。打印机5169是能够以各种形式(诸如文本、图像和图形)打印关于手术的各种类型的信息的装置。

在下文中，将更详细地描述内窥镜手术系统5113的特别特性的配置。

(支撑臂装置)

支撑臂装置5141包括作为基部的基部单元5143和从基部单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个关节单元5147a、5147b和5147c以及由关节单元5147b连接的多个连杆5149a和5149b，但是为了简单起见，在图14中以简化的方式示出了臂单元5145的配置。实际上，关节单元5147a至5147c和连杆5149a和5149b的形状、数量和布置，关节单元5147a至5147c的旋转轴的方向等可以适当地设置，使得臂单元5145具有所需的自由度。例如，臂单元5145可以优选地配置成具有六个或更多个自由度的自由度。利用这种配置，由于内窥镜5115可以在臂单元5145的可移动范围内自由移动，因此能够将内窥镜5115的镜筒5117从期望的方向插入患者5185的体腔中。

关节单元5147a至5147c设置有致动器，并且关节单元5147a至5147c构造成通过致动器的驱动可绕预定旋转轴旋转。通过利用臂控制装置5159控制致动器的驱动，控制各个关节单元5147a至5147c的旋转角度，并控制臂单元5145的驱动。利用这种配置，可以实现对内窥镜5115的位置和取向的控制。此时，臂控制装置5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。

例如，通过操作者5181适当地执行经由输入装置5161(包括脚踏开关5171)的输入操作，臂单元5145的驱动可以由臂控制装置5159根据操作输入适当地控制，并且可以控制内窥镜5115的位置和取向。通过该控制，臂单元5145的远端处的内窥镜5115可以从任何位置移动到任何位置，然后固定地支撑在移动之后的位置。注意，臂单元5145可以通过所谓的主从方法操作。在这种情况下，臂单元5145可以通过用户经由安装在远离手术室的位置的输入装置5161来远程地操作。

此外，在施加力控制的情况下，臂控制装置5159可以执行所谓的动力辅助控制，用于驱动各个关节单元5147a至5147c的致动器，从而使得臂单元5145接收来自用户的外力，并根据外力平稳地移动。因此，当用户在直接接触臂单元5145的同时移动臂单元5145时，臂单元5145可以以相对轻的力移动。因此，可以更直观地并且以更简单的操作移动内窥镜5115，并且可以提高用户的便利性。

这里，通常，在内窥镜手术中，内窥镜5115由称为内窥镜师(scopist)的医生握持。另一方面，由于能够通过使用支撑臂装置5141而无需人手更可靠地固定内窥镜5115的位置，因此可以稳定地获得手术部位的图像，并且可以平稳地执行手术。

注意，臂控制装置5159可以不必设置在推车5151中。此外，臂控制装置5159可以不必是一个装置。例如，臂控制装置5159可以单独设置在支撑臂装置5141的臂单元5145的关节单元5147a至5147c中的每个处，并且多个臂控制装置5159可以彼此协作以实现臂单元5145的驱动控制。

(光源装置)

光源装置5157向内窥镜5115提供用于拍摄手术部位的照明光。光源装置5157包括例如由LED、激光光源或它们的组合构成的白色光源。此时，在通过RGB激光光源的组合配置白色光源的情况下，由于可以高精度地控制每种颜色(每个波长)的输出强度和输出定时，因此光源装置5157可以调节捕获图像的白平衡。此外，在这种情况下，还能够通过以时分方式用来自RGB激光光源中的每个的激光照射观察目标，并与照射定时同步地控制相机头5119的成像元件的驱动来以时分方式捕获与RGB中的每个相对应的图像。根据该方法，能够不在成像元件中设置滤色器的情况下获得彩色图像。

此外，可以控制光源装置5157的驱动以改变以预定时间间隔输出的光的强度。通过与光强度的改变的定时同步地控制相机头5119的成像元件的驱动并且组合图像来以时分方式获取图像，能够生成没有所谓的黑色缺陷(black defect)和白化(whiteout)的高动态范围的图像。

此外，光源装置5157可以被配置为能够提供具有与特殊光观察相对应的预定波长带的光。在特殊光观察中，例如，进行所谓的窄带成像，其中通过利用身体组织中的光吸收的波长依赖性并用波长带比正常观察时的照射光(换句话说，白光)的波长带窄的光照射预定组织来以高对比度对诸如粘膜表面层中的血管的预定组织进行成像。或者，在特殊光观察中，可以执行荧光观察，以通过激发光的照射生成的荧光来获得图像。在荧光观察中，能够执行用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)、将诸如吲哚菁绿(ICG)的试剂局部注入体组织并用与试剂的荧光波长对应的激发光照射人体组织来获得荧光图像等。光源装置5157可以被配置为能够提供与这种特殊光观察相对应的窄带光和/或激发光。

(相机头和CCU)

将参考图15更详细地描述内窥镜5115的相机头5119和CCU5153的功能。图15是示出图14所示的相机头5119和CCU 5153的功能配置的示例的框图。

参照图15，相机头5119具有作为其功能的透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。此外，CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过传输线缆5179在两个方向上可通信地连接。

首先，将描述相机头5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的远端取入的观察光被引导到相机头5119并且入射在透镜单元5121上。透镜单元5121通过组合包括变焦透镜和聚焦透镜的多个透镜来配置。调节透镜单元5121的光学特性，以便将观察光会聚在成像单元5123的成像元件的光接收面上。此外，变焦透镜和聚焦透镜被配置成使得其在光轴上的位置可以移动以调节捕获图像的放大率和焦点。

成像单元5123由成像元件构成，并且设置在透镜单元5121的下游。已经通过透镜单元5121的观察光会聚在成像元件的光接收面上，并且对应于观察图像的图像信号由光电转换生成。由成像单元5123生成的图像信号被提供给通信单元5127。

作为构成成像单元5123的成像元件，例如，使用具有拜耳排列并且能够进行彩色拍摄的互补金属氧化物半导体(CMOS)型图像传感器。注意，作为成像元件，例如，可以使用适用于拍摄4K或更高的高分辨率图像的成像元件。由于可以以高分辨率获得手术部位的图像，因此操作者5181可以更详细地掌握手术部位的状态，并且可以更顺利地进行手术。

此外，构成成像单元5123的成像元件具有对应于3D显示的配置，该配置具有一对成像元件，用于分别获取右眼和左眼的图像信号。执行3D显示使得操作者5181能够更准确地掌握手术部位中的活体组织深度。注意，在成像单元5123被配置为多板类型的情况下，还对应于各个成像元件设置多个透镜单元5121的系统。

此外，成像单元5123可以不必设置在相机头5119中。例如，成像单元5123可以紧接在物镜之后设置在镜筒5117内。

驱动单元5125由致动器构成，并且在相机头控制单元5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。利用这种配置，可以适当地调节通过成像单元5123的捕获图像的放大率和焦点。

通信单元5127由用于与CCU 5153交换各种类型的信息的通信装置配置。通信单元5127经由传输线缆5179将从成像单元5123获得的图像信号作为RAW数据发送到CCU 5153。在这种情况下，为了以低等待时间显示手术部位的捕获图像，优选的是通过光通信发送图像信号。这是因为，由于操作者5181在手术期间通过捕获的图像观察患病区域的状况的同时进行手术，因此需要尽可能实时地显示手术部位的运动图像以供更安全且更可靠的手术。在执行光通信的情况下，通信单元5127设置有将电信号转换为光信号的光电转换模块。图像信号由光电转换模块转换为光信号，然后经由传输线缆5179传输到CCU 5153。

此外，通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。控制信号包括关于成像条件的信息，诸如指定捕获图像的帧速率的信息、指定成像时的曝光值的信息、指定捕获图像的放大率和焦点的信息等。通信单元5127将所接收的控制信号提供给相机头控制单元5129。注意，来自CCU 5153的控制信号也可以通过光通信传输。在这种情况下，通信单元5127设置有光电转换模块，该光电转换模块将光信号转换为电信号，并且控制信号由光电转换模块转换为电信号，然后提供给相机头控制单元5129。

注意，由CCU 5153的控制单元5177基于所获取的图像信号自动设置上述诸如帧速率、曝光值、放大率和焦点的成像条件。也就是说，在内窥镜5115中安装所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5129基于经由通信单元5127接收的来自CCU5153的控制信号来控制相机头5119的驱动。例如，基于指定捕获图像的帧速率的信息和/或者指定成像时的曝光的信息，相机头控制单元5129控制成像单元5123的成像元件的驱动。此外，例如，基于指定捕获图像的放大率和焦点的信息，相机头控制单元5129经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可以包括存储用于识别镜筒5117和相机头5119的信息的功能。

注意，通过将透镜单元5121、成像单元5123等的配置布置成具有高气密性和防水性的密封结构，可以使相机头5119抵抗高压灭菌。

接下来，将描述CCU 5153的功能配置。通信单元5173由通信装置配置，以用于与相机头5119交换各种类型的信息。通信单元5173从相机头5119接收经由传输线缆5179传输的图像信号。在这种情况下，如上所述，图像信号可以通过光通信适当地传输。在这种情况下，对应于光通信，通信单元5173设置有光信号转换模块，该光电转换模块将光信号转换为电信号。通信单元5173向图像处理单元5175提供转换为电信号的图像信号。

此外，通信单元5173向相机头5119发送用于控制相机头5119的驱动的控制信号。还可以通过光通信发送控制信号。

图像处理单元5175对作为从相机头5119发送的RAW数据的图像信号执行各种类型的图像处理。图像处理包括各种类型的已知信号处理，诸如显影处理、高图像质量处理(例如带强调处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)、放大处理(电子变焦处理)和/或类似处理。此外，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行波检测处理。

图像处理单元5175由诸如CPU或GPU的处理器配置，并且上述图像处理和波检测处理可以由处理器根据预定程序执行。注意，在图像处理单元5175由多个GPU配置的情况下，图像处理单元5175适当地划分关于图像信号的信息，并且通过该多个GPU并行地执行图像处理。

控制单元5177执行与内窥镜5115对手术部位的成像有关的各种类型的控制以及捕获图像的显示。例如，控制单元5177生成用于控制相机头5119的驱动的控制信号。此时，在用户输入了成像条件的情况下，控制单元5177基于通过用户的输入生成控制信号。或者，在内窥镜5115设置有AE功能、AF功能和AWB功能的情况下，响应于图像处理单元5175的波检测处理的结果，控制单元5177适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5177使显示装置5155显示基于经过图像处理单元5175的图像处理的图像信号的手术部位的图像。此时，控制单元5177通过使用各种图像识别技术识别出手术部位图像中的各种物体。例如，通过检测包括在手术部位图像中的物体的边缘的形状、颜色等，控制单元5177可以识别诸如钳子的手术仪器、特定活体部位、出血、使用能量处理仪器5135中的雾等。当使显示装置5155显示手术部位的图像时，控制单元5177使用识别结果来在手术部位的图像上叠加并显示各种类型的手术支持信息。通过叠加并显示手术支持信息并呈现给操作者5181，能够更安全可靠地继续手术。

连接相机头5119和CCU 5153的传输线缆5179是对应于电信号的通信的电信号线缆、对应于光通信的光纤、或这些的复合线缆。

这里，在所示示例中，使用传输线缆5179通过有线通信执行通信，但是可以无线地执行相机头5119和CCU 5153之间的通信。在无线地执行两者之间的通信的情况下，由于不需要将传输线缆5179放置在手术室中，因此能够消除手术室中医务人员的移动受到传输线缆5179阻碍的情况。

以上已经描述了可以应用根据本公开的技术的手术室系统5100的示例。注意，这里，已经描述了应用手术室系统5100的医疗系统是内窥镜手术系统5113作为示例的情况，但是手术室系统5100的配置不限于这样的示例。例如，手术室系统5100可以应用于用于检查的柔性内窥镜系统或显微外科系统，而不是内窥镜手术系统5113。

在上述配置中，根据本公开的技术可以应用于相机头5119、天花板相机5187和操作场所相机5189。在根据本公开的技术应用于相机头5119的情况下，例如，成像透镜20对应于透镜单元5121，并且成像单元31、预处理单元32和图像处理单元33对应于成像单元5123。此外，控制单元51对应于控制单元5129。如上所述，如果应用本技术，则当利用相机头5119对期望被摄体进行成像时，可以高速且高质量地聚焦在期望的被摄体上。

此外，说明书中描述的一系列处理可以由硬件、软件或其组合配置来执行。在通过软件执行处理的情况下，在包含在计算机中的专用硬件中的存储器中安装并执行记录有处理序列的程序。或者，可以在可以执行各种处理的通用计算机上安装和执行程序。

例如，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)上。或者，程序可以临时或永久地存储(记录)在可移除记录介质(诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、Blu-Ray(注册商标)盘(BD)、磁盘或半导体存储卡)中。这种可移除记录介质可以作为所谓的封装软件提供。

此外，除了从可移除记录介质安装在计算机上之外，还可以经由诸如局域网(LAN)或因特网的网络从下载站点以有线或无线方式将程序传送到计算机。在计算机中，以这种方式传送的程序可以被接收并安装在诸如合并的硬盘的记录介质上。

注意，本说明书中描述的效果仅仅是示例而不是限制，并且可以存在未描述的附加效果。此外，本技术不应被解释为限于上述技术的实施例。本技术的实施例以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在本技术的主旨内修改或替换实施例。换句话说，为了判定本技术的要点，应该考虑权利要求。

此外，本技术的成像设备还可以具有以下配置。

(1)一种成像设备，包括：

成像元件，包括图像输出像素和相位差检测像素；以及

控制单元，被配置为基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，并且在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。

(2)根据(1)所述的成像设备，其中，在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，控制单元从图像平面相位差聚焦控制切换到基于除了图像平面相位差信息之外的信息的另一聚焦控制。

(3)根据(2)所述的成像设备，其中，所述另一聚焦控制是基于使用图像输出像素获得的图像信息的对比度聚焦控制或者基于由与所述成像元件分开设置的距离测量信息生成元件获得的距离测量信息的距离测量信息聚焦控制。

(4)根据(2)所述的成像设备，其中，

所述另一聚焦控制是基于使用图像输出像素获得的图像信息的对比度聚焦控制，以及

控制单元在对比度聚焦控制结束之后执行图像平面相位差聚焦控制。

(5)根据(1)至(4)中任一项所述的成像设备，其中，所述控制单元在所述预定时段之前判定从相位差检测像素的输出获得的具有视差的两个图像的相关性计算结果的可靠性，并且在判定相关性计算结果可靠的情况下生成聚焦状态变化信息。

(6)根据(5)所述的成像设备，其中，在判定相关性计算结果不可靠的情况下，所述控制单元执行全搜索操作。

(7)根据(1)至(6)中任一项所述的成像设备，其中，所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述控制单元基于实际透镜位置的变化量或散焦量的变化量来判定聚焦状态的变化是否是单调变化。

(8)根据(1)至(6)中任一项所述的成像设备，其中，聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

控制单元基于实际透镜位置的变化量的频率特性或者散焦量的变化量的频率特性，判定聚焦状态的变化是否是单调变化。

(9)根据(1)至(6)中任一项所述的成像设备，其中，所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述控制单元基于实际透镜位置或散焦量来判定聚焦状态的变化是否是单调变化。

(10)根据(7)至(9)中任一项所述的成像设备，其中，所述聚焦状态信息包括可更换透镜中的聚焦透镜的实际透镜位置，所述实际透镜位置是通过与可更换透镜的通信获取的。

此外，本技术的成像设备还可以具有以下配置。

(1)一种成像设备，包括：

成像元件，包括图像输出像素和图像平面相位差检测像素；以及

判定单元，被配置为基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。

(2)根据(1)所述的成像设备，其中，所述聚焦状态信息是聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量；以及所述判定单元基于实际透镜位置的变化量或散焦量的变化量来判定聚焦状态的变化是否是单调变化。

(3)根据(1)所述的成像设备，其中，所述聚焦状态信息是聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述判定单元基于聚焦透镜的实际透镜位置的变化量的频率特性或者散焦量的变化量的频率特性来判定聚焦状态的变化是否是单调变化。

(4)根据(1)所述的成像设备，其中，所述聚焦状态信息是聚焦透镜的实际透镜位置。

(5)根据(1)所述的成像设备，其中，所述聚焦状态信息是由图像平面相位差信息指示的散焦量。

(16)根据(1)所述的成像设备，其中，所述聚焦状态信息是聚焦透镜的实际透镜位置和由图像平面相位差信息指示的散焦量，以及

所述判定单元基于聚焦透镜的实际透镜位置和散焦量两者来判定聚焦状态的变化是否是单调变化。

(17)根据(1)至(6)中任一项所述的成像设备，其中，所述判定单元在所述预定时段之前判定从图像平面相位差检测像素的输出获得的具有视差的两个图像的相关性计算结果的可靠性，并且在判定相关性计算结果可靠的情况下，

所述控制单元开始生成聚焦状态变化信息。

(18)根据(1)至(7)中任一项所述的成像设备，其中，所述判定单元控制通过被配置为向用户呈现状态判定结果的信息呈现单元对状态判定结果的呈现。

此外，本技术可以是以下程序。

(1)一种程序，用于使计算机在成像设备中执行聚焦控制，该程序使计算机执行：

获取使用包括图像输出像素和相位差检测像素的成像元件的相位差检测像素获得的图像平面相位差信息的过程；

基于在执行基于在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息的过程；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制的过程。

(2)一种程序，用于使计算机在成像设备中执行聚焦控制，该程序使计算机执行：

从包括图像输出像素和相位差检测像素的成像元件获取使用相位差检测像素获得的图像平面相位差信息；

基于在执行基于在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。

工业实用性

根据本技术的成像设备、聚焦控制方法和聚焦判定方法，使用包括图像输出像素和相位差检测像素的成像元件。在控制单元中，使用包括图像输出像素和相位差检测像素的成像元件，控制单元基于在执行基于在预定时段内使用相位差检测像素获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，并且在聚焦状态变化信息指示聚焦状态的变化是单调的变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。因此，例如，执行对比度方法的自动聚焦操作的频率降低，并且可以进行高速和高质量的自动聚焦操作。因此，它适用于数码相机、摄像机、内窥镜相机等。

附图标记列表

10、10a 成像设备

20 成像透镜

21 成像光学系统

22 透镜驱动处理单元

30、30a 主体

31 成像单元

32 预处理单元

33 图像处理单元

35 显示单元

36 记录单元

39 用户界面(I/F)单元

45 透射镜单元

46 专用相位差检测单元

51 控制单元

511 判定单元

512 聚焦控制单元

Claims (20)

1.一种成像设备，包括：

成像元件，包括图像输出像素和相位差检测像素；以及

控制单元，被配置为基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，并且在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。

2.根据权利要求1所述的成像设备，其中，

在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，控制单元从图像平面相位差聚焦控制切换到基于除了图像平面相位差信息之外的信息的另一聚焦控制。

3.根据权利要求2所述的成像设备，其中，

所述另一聚焦控制包括基于使用图像输出像素获得的图像信息的对比度聚焦控制或者基于由与所述成像元件分开设置的距离测量信息生成元件获得的距离测量信息的距离测量信息聚焦控制。

4.根据权利要求2所述的成像设备，其中，

所述另一聚焦控制包括基于使用图像输出像素获得的图像信息的对比度聚焦控制，以及

控制单元在对比度聚焦控制结束之后执行图像平面相位差聚焦控制。

5.根据权利要求1所述的成像设备，其中，

所述控制单元在所述预定时段之前判定从相位差检测像素的输出获得的具有视差的两个图像的相关性计算结果的可靠性，并且在判定相关性计算结果可靠的情况下生成聚焦状态变化信息。

6.根据权利要求5所述的成像设备，其中，

在判定相关性计算结果不可靠的情况下，所述控制单元执行全搜索操作。

7.根据权利要求1所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述控制单元基于实际透镜位置的变化量或散焦量的变化量来判定聚焦状态的变化是否是单调变化。

8.根据权利要求1所述的成像设备，其中，

聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

控制单元基于实际透镜位置的变化量的频率特性或者散焦量的变化量的频率特性，判定聚焦状态的变化是否是单调变化。

9.根据权利要求1所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述控制单元基于实际透镜位置或散焦量来判定聚焦状态的变化是否是单调变化。

10.根据权利要求1所述的成像设备，其中，

所述聚焦状态信息包括可更换透镜中的聚焦透镜的实际透镜位置，所述实际透镜位置是通过与可更换透镜的通信获取的。

11.一种成像设备，包括：

成像元件，包括图像输出像素和图像平面相位差检测像素；以及

判定单元，被配置为基于在执行基于使用所述相位差检测像素在预定时段内获得的图像平面相位差信息的聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息，在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。

12.根据权利要求11所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量；以及

所述判定单元基于实际透镜位置的变化量或散焦量的变化量来判定聚焦状态的变化是否是单调变化。

13.根据权利要求11所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置或由图像平面相位差信息指示的散焦量，以及

所述判定单元基于聚焦透镜的实际透镜位置的变化量的频率特性或者散焦量的变化量的频率特性来判定聚焦状态的变化是否是单调变化。

14.根据权利要求11所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置。

15.根据权利要求11所述的成像设备，其中，

所述聚焦状态信息包括由图像平面相位差信息指示的散焦量。

16.根据权利要求11所述的成像设备，其中，

所述聚焦状态信息包括聚焦透镜的实际透镜位置和由图像平面相位差信息指示的散焦量，以及

所述判定单元基于聚焦透镜的实际透镜位置和散焦量两者来判定聚焦状态的变化是否是单调变化。

17.根据权利要求11所述的成像设备，其中，

所述判定单元在所述预定时段之前判定从图像平面相位差检测像素的输出获得的具有视差的两个图像的相关性计算结果的可靠性，并且在判定相关性计算结果可靠的情况下，

所述控制单元开始生成聚焦状态变化信息。

18.根据权利要求11所述的成像设备，其中，

所述判定单元控制通过被配置为向用户呈现状态判定结果的信息呈现单元对状态判定结果的呈现。

19.一种聚焦控制方法，包括：

基于在执行基于通过使用包括图像输出像素和相位差检测像素的成像元件的相位差检测像素在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，继续基于图像平面相位差信息的图像平面相位差聚焦控制。

20.一种聚焦判定方法，包括：

基于在执行基于通过使用包括图像输出像素和相位差检测像素的成像元件的相位差检测像素在预定时段内获得的图像平面相位差信息的图像平面相位差聚焦控制期间获得的聚焦状态信息，生成指示聚焦状态的变化是否是单调变化的聚焦状态变化信息；以及

在聚焦状态变化信息指示聚焦状态的变化是单调变化的情况下，判定为聚焦透镜的焦点位置偏移大的状态，并且在聚焦状态变化信息指示聚焦状态的变化不是单调变化的情况下，判定为由图像输出像素成像的被摄体的对比度低的状态。