CN107005646A - 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 - Google Patents

对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 Download PDF

Info

Publication number
CN107005646A
CN107005646A CN201480083736.8A CN201480083736A CN107005646A CN 107005646 A CN107005646 A CN 107005646A CN 201480083736 A CN201480083736 A CN 201480083736A CN 107005646 A CN107005646 A CN 107005646A
Authority
CN
China
Prior art keywords
focusing control
pattern
region
range information
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480083736.8A
Other languages
English (en)
Other versions
CN107005646B (zh
Inventor
市川学
三上俊彰
吉野浩郎
吉野浩一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107005646A publication Critical patent/CN107005646A/zh
Application granted granted Critical
Publication of CN107005646B publication Critical patent/CN107005646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Abstract

对焦控制装置包含：区域设定部(2010)，其针对由摄像部(200)拍摄的摄像图像，设定由多个像素构成的多个区域；被摄体距离信息计算部(2040)，其在所设定的多个区域中的各个区域中，求出到在区域中拍摄的被摄体为止的距离信息；以及对焦控制部(2095)，其根据距离信息，进行将多个区域分类为多个组的分类处理，并根据多个组中的各组的面积信息进行对焦控制。

Description

对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
技术领域
本发明涉及对焦控制装置、内窥镜装置以及对焦控制装置的控制方法等。
背景技术
在内窥镜系统中，要求尽可能深的景深，以不给用户的诊断、处置带来障碍。但是近年来，即使在内窥镜系统中，伴随使用高像素的摄像元件，该景深也一直在变浅，所以提出了进行自动对焦(以下称作AF)的内窥镜系统。
在内窥镜手术中，为了进行病变的切除或缝合等处置，电刀或钳子等处置器械有时进入作为合焦目标的活体与作为摄像装置的内窥镜系统之间。在该情况下，有时会合焦到对比度比活体高的处置器械，而无法合焦到活体。
专利文献1公开了如下方法：在关注被摄体和摄像装置之间存在障碍物的情况下，通过由用户指定障碍物，使得合焦到关注被摄体。
现有技术文献
专利文献
专利文献1：日本特开2006-245792号公报
发明内容
发明所要解决的问题
在专利文献1中，需要用户指定障碍物。因此，在内窥镜手术中使用了专利文献1的方法的情况下，由于成为障碍物的处置器械的移动剧烈，所以需要用户频繁地指定障碍物，操作变得复杂。
根据本发明的几个方式，能够提供一种具有用户不进行复杂的操作就能够合焦到关注被摄体的AF控制功能的对焦控制装置、内窥镜装置以及对焦控制装置的控制方法等。
用于解决问题的手段
本发明的一个方式涉及对焦控制装置，该对焦控制装置包含：区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域；被摄体距离信息计算部，其在所设定的多个所述区域中，分别求出到在所述各区域中拍摄的被摄体为止的距离信息；以及对焦控制部，其根据所述距离信息来进行对焦控制，所述对焦控制部根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组的各组的面积信息来进行所述对焦控制。
在本发明的一个方式中，在以各区域为对象求出距离信息以后，使用该距离信息将多个区域分类为组。然后，根据各组的面积信息来进行对焦控制，所以用户不进行复杂的操作就能够合焦到关注被摄体等。
本发明的另一方式涉及一种包含上述对焦控制装置的内窥镜装置。
本发明的另一方式涉及对焦控制装置的控制方法，其中，针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域，在所设定的多个所述区域中的各个区域中，求出到在所述各区域中拍摄的被摄体为止的距离信息，根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组的各组的面积信息进行对焦控制。
附图说明
图1是本实施方式的对焦控制装置的结构例。
图2是内窥镜装置(摄像部)和多个被摄体的位置关系的例子。
图3是包含本实施方式的对焦控制装置的内窥镜装置的结构例。
图4是摄像元件的结构例。
图5是AF控制部的结构例。
图6是说明本实施方式的对焦控制的流程图。
图7是说明比较例的镜头移动目的地计算处理的流程图。
图8的(A)、图8的(B)是与模式对应的区域设定的例子。
图9是根据相位差信息求出距离信息的方法的说明图。
图10是说明所拍摄的多个被摄体和摄像部的相对位置关系、以及目标合焦位置的关系的图。
图11是说明所拍摄的多个被摄体和摄像部的相对位置关系、以及目标合焦位置的关系的其他图。
图12的(A)、图12的(B)是拍摄到摄像部的距离不同的多个活体的状况的具体例子。
图13是说明镜头移动目的地计算处理的流程图。
图14的(A)、图14的(B)是各模式下的有效块、无效块的设定例。
图15是说明镜头移动目的地计算处理的其他流程图。
具体实施方式
下面，对实施方式进行说明。另外，以下说明的本实施方式并不是不当限定权利要求范围所记载的本发明的内容。此外，本实施方式中说明的结构未必全部都是本发明的必需结构要件。
1.本实施方式的方法
首先，对本实施方式的方法进行说明。一般而言，在摄像图像中除了用户正在关注的被摄体以外，还可能拍摄了成为障碍物的被摄体。在该情况下，期望正在关注的被摄体在摄像图像中成为容易观察的状态、即被合焦的(焦点对准的)状态。但是，在单纯使用了自动对焦(AF)的情况下，未必能够合焦到正在关注的被摄体。例如，如果是对比度AF，则合焦到对比度高的区域，因此如上所述，虽然正在关注活体，但有可能合焦到处置器械。此外，在相位差AF等的情况下，在可取得相位差信息的各点上，能够取得在该点进行合焦用的信息(例如镜头的移动量)，但需要另行考虑用户正在关注哪个点。
与此相对，如专利文献1所公开的方法那样，如果是用户自身指定作为障碍物的被摄体的形式，则能够高精度地合焦到期望的被摄体。但是，在规定的状况下，摄像图像中的障碍物的状况有可能频繁地产生变化，在这样的情况下，每当产生变化时，用户都必须指定障碍物，用户的操作负担大。
例如在腹腔镜手术等内窥镜手术中，将处置器械与镜体(摄像部)一起插入体内，使用该处置器械来进行针对活体的处置。这里的处置器械是在针对活体的处置中使用的器械，具体而言是电刀等能源设备或钳子等。在该情况下，处置器械在针对活体的处置、例如使用钳子来拉升膜状的活体，或用电刀切除由钳子进行了固定的活体的行为中被使用，所以被用户(医生、手术操作者)频繁地移动。其结果，摄像图像中的拍摄了处置器械的图像上位置或尺寸频繁地产生变化。因此，即使在用户关注着活体而处置器械成为障碍物的情况和关注着处置器械而活体成为障碍物的情况中的任意的情况下，拍摄了障碍物的区域也频繁地产生变化，所以如果用户以手动的方式进行指定的话，用户负担大。
对此，如果能够在摄像图像上自动确定用户正在关注的被摄体，则通过使用拍摄了该被摄体的区域的信息来进行AF，能够合焦到正在关注的被摄体。
因此，本申请人提出如下这样的对焦控制装置。如图1所示，本实施方式的对焦控制装置包含：区域设定部2010，其针对由摄像部(对应于后述的图3的摄像部200)拍摄出的摄像图像，设定由多个像素构成的多个区域；被摄体距离信息计算部2040，其在所设定的多个区域的各区域中，求出到区域中所拍摄的被摄体的距离信息；以及对焦控制部2095，其根据距离信息，来进行对焦控制。然后，对焦控制部2095根据距离信息，来进行将多个区域分类为多个组的分类处理，并根据多个组的各组的面积信息，来进行对焦控制。
这里，面积信息只要是表示面积的信息即可，不限于面积本身。例如，如后述的图8的(A)、图8的(B)所示，在各区域(各评价块)的尺寸相同的情况下，面积成为与评价块的数量成比例的信息，所以可以将分类为组的评价块数量作为关于该组的上述面积信息。此外，面积信息可以是相对值，例如可以表示相对于给定区域的面积的比例。具体而言，可以将分类为组的评价块的面积或数量相对于后述的有效块(评价块中的非无效块的块)的面积或数量的比例作为面积信息。此外，作为比例的基准的区域不限定于有效块，也可以将相对于后述AF区域的比例、或相对于摄像图像整体的比例等作为面积信息。但是，在变更作为比例的基准的区域的情况下，优选还变更在对焦控制中使用的判定基准(阈值等)。
例如在以内窥镜手术为对象的情况下，摄像图像是活体内图像，所以拍摄空间上受限的区域。操作摄像部的用户(例如手术助手)应该操作摄像部使得容易观察期望的被摄体，作为一例，使摄像部移动到与正在关注的活体正对的位置关系。其结果，在取得的摄像图像中，作为正在关注的被摄体的活体占据某种程度的区域。即，正在关注的被摄体在摄像图像上占据较大的面积的可能性大，通过使用面积信息，能够适当判别正在关注的被摄体，从而合焦到该被摄体。
这时，组分类根据距离信息来进行。详细内容将后述，例如可以将利用距离信息表示的距离(以摄像部为基准的距离)近的评价块汇总为1个组。
但是，本实施方式中的对焦控制不限定于合焦到面积最大的组的控制。例如，对焦控制部2095可以执行优先合焦到多个组中的到摄像部的距离远的区域的对焦控制。
“优先合焦到到摄像部的距离远的区域”例如是指，在摄像图像中拍摄了到摄像部200的距离为D1的第1组和为D2(<D1)的第2组的情况下，合焦到第1组的可能性高于合焦到第2组。通过本实施方式的方法可求出各区域的距离信息，所以还能够求出各组的距离信息。即上述控制能够通过在多个组中分别求出的距离信息的比较处理来实现。
由此，能够在用户正在关注到摄像部200的距离远的被摄体的可能性大的状况下，合焦到适当的被摄体。如上所述，设想在取得的摄像图像中作为关注被摄体的活体占据某种程度的区域的情况，且除该活体以外的被摄体进入该区域的后方(到摄像部200远的位置)的可能性变小。即，在该情况下，可以说处于正在关注的被摄体的距离在摄像图像中最远(或即使不是最远点，也认为十分接近最远点)的状态。此外，如果考虑一边观察摄像图像一边进行手术，则如图2所示，处置器械等有可能作为障碍物被拍摄在活体的近前侧(靠近摄像部200的一侧)，但由于针对它们合焦的优先级低，所以能够抑制合焦到处置器械的可能性。
另外，如上所述，在本实施方式的对焦控制装置为对象的状况下，最远的(位于里侧的)被摄体是正在关注的被摄体的可能性大，但并不排除用户正在关注其他被摄体的可能性。例如，在进行缝合的情况下，需要使用钳子等来以适合于缝合的角度保持针或线的作业等，在该作业中，用户应该正在关注比活体更靠近前的针或线，而不是活体。
即，使用面积信息，并优先合焦到离摄像部200的距离远的区域这样的控制是本实施方式中的对焦控制的基础，但在满足了任意的例外条件的情况下，也可以进行利用不同的指标的对焦控制。例如，可以通过合焦到离摄像部200的距离近的被摄体，从而合焦到针或线。
以下，对本实施方式详细地进行说明。在首先说明了本实施方式的对焦控制装置和包含对焦控制装置的内窥镜装置的系统结构例以后，使用流程图来说明本实施方式的处理的流程。并且，说明本实施方式的具体例，最后还对变形例进行说明。
2.系统结构例
使用图3，对本实施方式的内窥镜装置(内窥镜系统)进行说明。本实施方式中的内窥镜系统具有：作为插入到体内的插入部的硬性镜100、与硬性镜100连接的摄像部200、处理部300、显示部400、外部I/F部500和光源部600。
光源部600具有产生白色光的白色光源610和将来自白色光源610的射出光引导至硬性镜的光导缆线620。
硬性镜100具有：镜头系统110，其构成为包含成像镜头、中继镜头、目镜等；以及光导部120，其将来自光导缆线620的射出光引导至硬性镜前端。
摄像部200具有物镜系统240，该物镜系统240对来自镜头系统110的射出光进行成像。物镜系统240构成为包含对焦镜头220，该对焦镜头220调整合焦物体位置。摄像部200还具有：摄像元件250，其对由物镜系统240成像的反射光进行光电转换并生成图像；对焦镜头驱动部230，其驱动对焦镜头220；以及AF按钮(AF开始/结束按钮)210，其控制AF的开始、结束。对焦镜头驱动部230例如是音圈电机(VCM)。
这里，使用图4，对本实施方式中的摄像元件250的详细内容进行说明。图4是将摄像元件250的一部分放大后的图。如图4所示，摄像元件250按照将多个像素呈2维排列状配置的构造，在各像素上以拜尔排列配置有RGB中的任意的滤色器。一部分像素是开口部的一部分被遮光的相位传感器。相位传感器由遮光部的配置不同的相位传感器S1组和相位传感器S2组构成。
例如，相位传感器S1组通过对开口部的右侧进行遮光，接收入射到开口部的左侧的光。相位传感器S2组通过对开口部的左侧进行遮光，接收入射到开口部的右侧的光。由此，能够得到与将物镜系统240的光瞳左右分割的情况相同的效果，因此能够将来自S1组的信号和来自S2组的信号视作通过各个光瞳后的光线的相位信号。例如在由物镜系统240成像的被摄体的像位置与摄像元件250的摄像面一致(焦点对准的)的情况下，来自S1组的相位信号与来自S2组的相位信号一致，在像位置处于摄像面的前方或后方(焦点未对准的)的情况下，来自S1组的相位信号与来自S2组的相位信号产生相位差。遮光部的配置可进行上下或斜向等各种配置，还能够检测与配置对应的方向的相位差。
在将相位传感器配置于由拜尔排列构成的摄像元件的情况下，作为内窥镜系统的观察对象的活体在G、B通道具有比较多的信息，所以如图4所示，优选将R像素的一部分作为相位传感器。此外，相位传感器S1组和相位传感器S2组优选在摄像元件250上配置于附近，但如果考虑由摄像元件250拍摄被摄体而得到的图像的画质，则如图4所示，优选配置成像素不相邻。
摄像元件250除了具有如图4所示的由拜尔排列构成的滤色器的摄像元件以外，只要是使用了补色滤色器的摄像元件、或不使用滤色器而能够利用1个像素接收不同波长的光的层叠型的摄像元件、不使用滤色器的单色摄像元件等可拍摄被摄体而得到图像的摄像元件即可，能够使用任意的摄像元件。
此外，除了将相位传感器S1组和相位传感器S2组如图4所示配置于摄像元件250的一部分像素中的方法以外，还可以另行使用配置有相位传感器S1组和相位传感器S2组的专用传感器。专用传感器可以配置在与摄像元件250相同的光轴上，也可以使用半透半反镜等配置在不同的光轴上。
处理部300具有：AD转换部310、预处理部320、图像处理部330、AF控制部340和控制部350。AD转换部310将从摄像元件250依次输出的模拟信号转换为数字的图像，依次输出到预处理部320和AF控制部340。预处理部320对从AD转换部310输出的图像实施白平衡、插值处理(去马赛克处理)等图像处理，依次输出到图像处理部330和AF控制部340。这里，从预处理部320输出的图像的尺寸与从AD转换部310输出到AF控制部340的图像的尺寸相同。图像处理部330对从预处理部320输出的图像实施颜色转换、灰度转换、边缘强调、缩放处理、降噪等图像处理，将图像依次输出到显示部400。
例如图5所示，AF控制部340具有：区域设定部(AF区域设定部)2010、模式设定部2020、相位信号生成部2030、被摄体距离信息计算部2040、置信度计算部2050、被摄体特征量计算部2060、关注区域估计部2070和镜头移动目的地决定部2080。
区域设定部2010针对摄像图像，设定在AF中使用的区域。这里的区域可以包含AF区域和评价块双方。模式设定部2020进行AF模式的设定。相位信号生成部2030根据来自相位传感器的传感器信号，生成相位信号(狭义而言是相位差信号)。被摄体距离信息计算部2040根据所生成的相位差信号，以各评价块为对象，求出表示到所拍摄的被摄体的距离的距离信息。置信度计算部2050以各评价块为对象，计算表示所求出的距离信息的似然性的置信度。被摄体特征量计算部2060根据摄像图像，计算特征量。该处理可以将各评价块作为对象。关注区域估计部2070估计关注区域，该关注区域是被摄像图像中的判定为用户正在关注的区域。这里的关注区域可以表示后述的组，也可以表示其中的1个区域(评价块)。镜头移动目的地决定部2080根据关注区域的估计结果，决定对焦镜头220的移动目的地。
另外，关于由AF控制部340的各个部进行的处理的详细内容将后述。此外，图1中的对焦控制部2095例如可以对应于图5所示的AF控制部340中的去除了区域设定部2010和被摄体距离信息计算部2040后的结构。此外，本实施方式的对焦控制装置可以对应于图5所示的AF控制部340。但是，对焦控制装置的结构不限定于此，能够实施将图1的处理部300整体作为对焦控制装置等各种变形。此外，能够实施省略对焦控制装置的一部分结构要素或追加其他结构要素等各种变形。此外，关于图3等的其他结构，在能够实施各种变形方面也相同。
控制部350与外部I/F部500或图像处理部330、AF控制部340、摄像元件250、AF按钮210等相互连接，进行控制信号的输入输出。
显示部400例如是液晶监视器，对从图像处理部330依次输出的图像进行显示。
外部I/F部500是用于由用户进行对内窥镜装置的输入等的接口，构成为包含例如切换AF模式的模式按钮、用于设定AF区域的位置或尺寸的设定按钮、用于调整图像处理的参数的调整按钮等。本实施方式中的内窥镜系统作为AF模式，例如具有用于合焦到活体的活体模式和用于合焦到在内窥镜手术中使用的针或线的针线模式。
3.处理流程
接着，使用图6等，对本实施方式中的由AF控制部340进行的AF控制的概要进行说明。另外，首先，作为针对本实施方式的比较例，对图7的流程图所示的处理进行说明，然后对在使用图7的处理的情况下可能产生的问题进行说明，使用图13的流程图，对能够解决该问题的本实施方式的对焦控制进行说明。
如图6所示，在用户操作AF按钮210而开始了AF后，AF控制部340首先开始合焦动作。在开始合焦动作后，首先，AF控制部340根据从AD转换部310依次输出的图像，计算对焦镜头220的移动目的地(S100)。关于对焦镜头移动目的地计算(S100)的详细内容将后述。接着，AF控制部340进行是否完成了合焦的判断(S110)。这里，AF控制部340判断执行步骤S100而计算出的对焦镜头220的移动目的地是否以当前的对焦镜头220的位置为基准进入到了规定范围内(考虑了景深等的规定误差内)，在进入了规定范围的情况下，判断为合焦。另外，AF控制部340可以通过进行公知的合焦判定处理等，进行合焦判断。
接着，AF控制部340在未完成合焦的情况下根据在S100中计算出的对焦镜头220的移动目的地，通过向对焦镜头驱动部230进行驱动指示，驱动对焦镜头220(S120)。然后，返回到步骤S100。在步骤S110中判断为完成合焦的情况下，AF控制部340结束合焦动作。
在本实施例中，如后所述，使用相位差来计算对焦镜头220的移动目的地。在未对后述的相位信号施加有噪声的条件下，只要计算1次对焦镜头220的移动目的地，就能够合焦到该时刻的被摄体。但是，由于噪声与实际的相位信号重叠，所以有时仅通过计算1次对焦镜头220的移动目的地，还无法实现合焦。因此，如以上所说明那样，反复步骤S100至步骤S120，直到计算出的对焦镜头220的移动目的地以当前的对焦镜头220的位置为基准进入到规定范围内为止。
在合焦动作已结束的情况下，AF控制部340开始待机动作。在开始了待机动作后，AF控制部340检测场景变化(S130)。这里，AF控制部340例如通过使用从预处理部320依次输出的图像来监视例如图像的颜色或亮度变化或图像的运动等，检测场景变化。接着，AF控制部340进行是否检测到场景变化的判断(S140)。在未检测到场景变化的情况下，反复进行从S130起的动作，在检测到场景变化的情况下，结束待机动作。在待机动作结束了的情况下，AF控制部340再次开始合焦动作。另外，在执行待机动作期间，AF控制部340例如将对焦镜头位置固定于合焦动作结束时的位置，不进行对焦镜头220的驱动。另外，在待机动作中等，在用户再次操作了AF按钮210的情况下，可以结束图6所示的流程。
接着，使用图7，对被认为AF控制部340中的对焦镜头移动目的地计算(S100)的方法的比较例进行说明。
这里，本实施方式中的AF模式具有活体模式和针线模式，例如根据来自上述外部I/F部500的输入，由控制部350在模式设定部2020中进行设定。此外，可以利用控制部350对由摄像元件250拍摄出的图像数据(摄像图像)进行解析，由此能够根据特定的图像图案或动作等，变更AF模式。模式设定部2020将表现活体模式或针线模式的AF模式信息输出到区域设定部2010、关注区域估计部2070。
首先，区域设定部2010根据从控制部350输出的AF区域的位置和尺寸等信息，在图像上设定由多个块构成的AF区域(S200)。区域设定部2010将所设定的AF区域信息输出到相位信号生成部2030和被摄体特征量计算部2060。图8的(A)、图8的(B)示出AF区域的设定的例子。在图8的(A)、图8的(B)中，外周的矩形表示图像整体，记为A的矩形表示后述的AF评价值或置信度等的计算对象的区域即评价块。此外，在图8的(A)、图8的(B)中，设包围评价块整体的范围为AF区域。在图8的(A)中，在图像数据的中央部设定横向上4个、纵向上3个的合计12个评价块。在图8的(B)中，在图像的中央部设定横向上7个、纵向上5个的合计35个评价块。
在活体模式的情况下，区域设定部2010根据从模式设定部2020输出的AF模式信息，设定如图8的(A)的评价块。另一方面，在针线模式的情况下，作为对象的被摄体即针或线比活体小，所以如图8的(B)那样设定比活体模式小的评价块。此外，在操作针或线的情况下，多数情况在画面的中央部进行操作，所以将AF区域设定为更小。此外，多数情况下针或线由于重力的影响而被拍摄于图像的中央稍微向下方，所以如图8的(B)那样，可以通过将评价块设定于在相对于图像数据的中心向下方偏离的位置，而不是将AF区域设定于图像数据的中央部，更可靠地将拍摄针或线的区域包含在AF区域中。
这里，将AF区域设定于认为是主要拍摄了主要被摄体的部分。此外，各评价块至少包含相位传感器S1组的一部分和相位传感器S2组的一部分。此外，区域之间未必需要相邻，还可以在区域之间变更大小或形状等。此外，可以根据被摄体或用户的操作等适当进行变更。此外，不一定需要根据模式而变更评价块的设定，例如可以在活体模式和针线模式下设定共用的评价块。
接着，相位信号生成部2030根据从AD转换部310输出的图像和从区域设定部2010输出的AF区域信息，使用与各评价块中所包含的相位传感器S1组和相位传感器S2组对应的像素值，来生成各评价块的相位信号(S210)。相位信号生成部2030将各评价块的相位信号输出到被摄体距离信息计算部2040。
接着，被摄体距离信息计算部2040根据从相位信号生成部2030输出的各评价块的相位信号，来计算各评价块的距离信息(被摄体距离)(S220)。被摄体距离信息计算部2040将计算出的各评价块的距离信息输出到关注区域估计部2070。并且，被摄体距离信息计算部2040针对各评价块，将后述的相位信号的相关的程度输出到置信度计算部2050。这里，距离信息是指从摄像面到在该区域中拍摄到的被摄体的距离。但是，被摄体距离不限于确切的距离，只要是能够判别被摄体的前后关系的信息即可。例如，可以使用对焦镜头220的位置等作为距离信息。此外，作为距离信息的基准的位置不限于摄像面，可以将硬性镜100的前端等其他位置作为基准。
这里，使用图9，对被摄体距离信息计算部2040中的距离信息计算方法进行说明。图9是示出了在像位置位于摄像面的后方的情况下，通过分割后的光瞳的光线的图。光线1是通过了与S1组对应的光瞳的光线，光线2是通过了与S2组对应的光瞳的光线。这里，像位置处于与摄像面不同的位置(后方)，因此从S1组输出的相位信号与从S2组输出的相位信号存在S的相位差。这里，S是具有正负值的矢量，图9中箭头所示的方向为正。这里，相位差S例如使从S1组输出的相位信号和从S2组输出的相位信号一点点地偏离，使用公知的相位差AF的技术来计算相位信号之间的相关，从相关最大的位置起进行计算即可。并且设从摄像面到出瞳位置的距离为F、分割后的光瞳的重心之间的距离为G、散焦量为d。这里，d是具有正负值的矢量，图9中箭头所示的方向为正。此时，下式(1)成立，因此能够使用对其进行变形后的下式(2)计算散焦量d。另外，在像位置处于摄像面的前方的情况下也同样如此。
G/(F+d)＝S/d……(1)
d＝F·S/(G-S)……(2)
如果知晓从摄像面起的散焦量d的值，则能够根据组合了硬性镜100的镜头系统110和物镜系统240的光学系统的设计数据，来计算被摄体距离。这里，例如可以事先制作将散焦量d和被摄体距离对应起来的查询表，计算被摄体距离。
接着，置信度计算部2050计算置信度，该置信度是表示针对各评价块计算出的被摄体距离的似然性的程度(S230)。这里，例如，使用相位信号与从被摄体距离信息计算部2040输出的各评价块的相关程度作为置信度。摄像元件250或AD转换部310等的噪声越大，则置信度越小，噪声越小，则置信度越高。此外，越是高对比度的被摄体，置信度越高。置信度计算部2050将各评价块的置信度输出到关注区域估计部2070。
接着，被摄体特征量计算部2060根据从预处理部320输出的图像，计算各评价块的被摄体特征量(S240)。被摄体特征量是对各评价块的被摄体赋予特征的量，例如是各评价块的颜色信息。被摄体特征量计算部2060将计算出的被摄体特征量输出到关注区域估计部2070。这里，被摄体特征量的计算所使用的图像可以是从AD转换部310输出的图像。
此外，被摄体特征量除了颜色信息以外，只要是亮度或边缘量、以及利用未图示的专用传感器等获得的被摄体的温度或窄带光的反射率等至少可识别是否是活体的特征量即可，能够应用任意的特征量。
接着，关注区域估计部2070判定在模式设定部2020中设定的AF模式是否是针线模式(S250)。这里，AF模式例如根据来自上述外部I/F部500的输入，由控制部350在模式设定部2020中进行设定。此外，可以利用控制部350对由摄像元件250拍摄出的图像数据进行解析，由此能够根据特定的图像图案或动作等，变更模式。
在AF模式不是针线模式的情况(活体模式的情况)下，用户正在关注活体，所以关注区域估计部2070将被估计为活体的评价块设定为关注区域(S260)。如上所述，在将内窥镜手术中的活体内图像等作为对象的情况下，作为关注被摄体的活体位于被摄体距离远离摄像元件250的位置的情况较多。因此，例如关注区域估计部2070根据各评价块的被摄体距离、置信度、颜色信息等，将被摄体距离表示离摄像元件250最远的位置、且被摄体特征量表示活体、且置信度为一定值以上的评价块(在一定程度以上可信赖的评价块)设定为关注区域。关注区域估计部2070将所设定的关注区域输出到镜头移动目的地决定部2080。另外，这里，为了提高合焦精度而使用了被摄体特征量或置信度，但并非一定需要使用。
在AF模式是针线模式的情况下，用户正在关注针或线和把持这些针或线的钳子等处置器械，因此关注区域估计部2070将这些被估计为被摄体的评价块设定为关注区域(S270)。在内窥镜中，多数情况下在比活体靠近前侧的位置使用钳子等处置器械来操作针或线。因此，例如关注区域估计部2070根据各评价块的被摄体距离、置信度、颜色信息等，将被摄体距离表示最接近摄像元件250的位置、且置信度为一定值以上的评价块设定为关注区域。关注区域估计部2070将所设定的关注区域输出到镜头移动目的地决定部2080。另外，这里，为了提高合焦精度而使用了置信度，但不一定需要使用，还可以使用被摄体特征量。
最后，镜头移动目的地决定部2080根据从关注区域估计部2070输出的关注区域，决定对焦镜头220的移动目的地(S280)。这里，例如，根据与被设定为关注区域的评价块对应的散焦量d，决定对焦镜头220的移动目的地即可。并且，镜头移动目的地决定部2080可以根据AF模式的设定或各评价块的被摄体距离的分布、被摄体特征量的分布等，调整对焦镜头220的移动目的地。
图10示出内窥镜中的被摄体的例子。假定内窥镜中的主要被摄体是活体和处置器械，活体主要配置于远离内窥镜的位置，利用用户的操作将处置器械配置于内窥镜和活体之间的任意位置。虚线示出了在所设定的AF区域中可拍摄的范围。在活体模式下，将配置于远离内窥镜的位置的活体作为目标合焦位置。在针线模式下，将把持针或线、位于与活体相同的被摄体距离或比活体更靠内窥镜侧的被摄体距离的钳子等处置器械的前端附近设为目标合焦位置。
在图7所示的处理中，在活体模式下，将表示远离摄像元件250的位置的区域设定为关注区域，所以能够合焦到活体。此外，在针线模式下，将表示接近摄像元件250的位置的区域设定为关注区域，所以能够合焦到处置器械的前端附近。
如果是以上所说明的方法，则使用分别针对多个评价块的被摄体距离来估计关注被摄体，根据估计结果来驱动对焦镜头，由此用户不进行复杂的操作就能够合焦到关注被摄体。此外，在针线模式的情况下，通过变更评价块的设定方法或用户正在关注的区域的估计方法，不会始终合焦到活体，而是能够合焦到关注被摄体。此外，计算各评价块的置信度，使用一定置信度以上的可信赖的评价块，由此不受噪声或被摄体的对比度等的影响，能够进行稳定的AF控制。并且，通过判定在各评价块中拍摄的被摄体是否是活体，能够在活体模式下更高精度地合焦到活体，在针线模式下合焦到除活体以外的被摄体。
但是，在上述的方法中，在如图11所示的场景下，有时未必能够得到适当的结果。图11示出与图10不同的场景的例子。在该例子中，相比图10追加了活体2。虚线示出了在所设定的AF区域中可拍摄的范围。在该范围内，存在活体、钳子等处置器械、活体2作为被摄体。作为一例，对应于如图12的(B)那样使用钳子等将图12的(A)所示的膜状的活体E2提升起来的场景。或者，由于活体在一定程度上具有伸缩性，因此在将在画面的周缘部所拍摄到的活体向图像中央部拉近的情况下，与图12的(B)同样，在比作为背景的活体靠极近侧的位置拍入了不同的活体。
在图11的例子中，配置为在比活体更大的范围拍摄到活体2。因此，优选在活体模式下合焦到活体2，在针线模式下合焦到把持针或线的钳子等处置器械的前端附近。这是因为，在存在近前侧的活体和里侧的活体且正在关注里侧的活体的情况下，调整摄像部自身的位置，近前侧的活体应该不进入到主要拍摄主要被摄体的区域即AF区域，或即使进入了但在AF区域内也不占据大面积的状态。例如在图12的(A)的情况中，如果正在关注E1所示的活体，则本来无需将近前侧的活体E2上提，所以不会成为图12的(B)所示的状况。即，如图12的(B)等这样，在如近前侧的活体占据AF区域中的较大面积的情况下，目标合焦位置被认为是位于至近侧的活体的表面。
在将上述比较例应用于如图11所示的场景时，在活体模式下，想要合焦到被摄体距离离摄像元件250最远的位置，所以有可能合焦到里侧的活体而不是活体2。在本实施方式中，变更图7所示的比较例中的对焦镜头移动目的地计算(S100)的处理，使得即使在如图11所示的场景中也能够进行适当的AF。另外，除此以外的处理与比较例相同，因此省略说明。
使用图13，对本实施方式中的对焦镜头移动目的地计算(S100)的详细内容进行说明。另外，与图7相同的步骤编号的步骤是相同的处理，所以省略说明。
在本实施方式中，在模式不是针线模式的情况下，关注区域估计部2070根据各评价块的被摄体特征量，来判定各评价块的被摄体，识别是否是仅拍摄了活体的活体块。而且，将除活体块以外的评价块设定为无效块(S400)。但是，在全部评价块成为无效块的情况下，不使各评价块中的被摄体特征量表示接近活体的特征量的评价块无效等，使一定块数以上的评价块不成为无效。通过该处理，能够容易合焦到活体。
在模式是针线模式的情况下，关注区域估计部2070与步骤S400同样判定是否是活体块。而且，将活体块设定为无效块(S410)。但是，在全部评价块成为无效块的情况下，考虑活体的比例等，使一定块数以上不成为无效。通过该处理，能够容易合焦到除活体以外的针或线。
接着，关注区域估计部2070针对未设定为无效块的评价块，使用被摄体距离，至少分组为2个以上(包含该值)的组(S420)。例如，将从被摄体距离最接近摄像元件250的评价块到具有规定范围的被摄体距离的评价块汇总为1个组。针对剩余的评价块，也通过反复进行同样的处理，进行分组。这时，可以还使用评价块之间的图像上的距离，将附近的评价块且被摄体距离为规定范围的评价块汇总为1个组。这里，还计算各组中的被摄体距离。在各组中，使用分别相对于所属的评价块的被摄体距离，将它们的平均值、中央值、众数等基于统计方法而计算出的值作为该组的被摄体距离。
接着，关注区域估计部2070判定在模式设定部2020中所设定的模式是否是针线模式(S430)。在设定了针线模式的情况下，进入到步骤S470，在除此以外的情况下进入到步骤S440。
在模式设定部2020中所设定的模式不是针线模式的情况下，关注区域估计部2070选择属于分组后的各组的评价块数量为最大的组，判定属于该组的评价块数量是否为规定的阈值以上(S440)。在为规定的阈值以上的情况下进入到步骤S450，在除此以外的情况下进入到步骤S460。这里，使用属于组的评价块数量来与规定的阈值进行了比较，但也可以使用属于组的评价块相对于全部评价块数量的比例。这里，在步骤S440中使用评价块数量和规定的阈值来进行判定，但也可以使用属于组的评价块的面积的合计或面积的合计在AF区域中所占的比例、面积的合计在图像中所占的比例等来进行判定。
在为规定的阈值以上的情况下，关注区域估计部2070选择所属的评价块数量为最大的组(S450)。另一方面，在小于规定的阈值的情况下，关注区域估计部2070选择被摄体距离表示离摄像元件250最远的位置的评价块所属的组(S460)。在步骤S460中，也可以选择在步骤S420中针对各组计算出的被摄体距离表示离摄像元件250最远的位置的组。组的被摄体距离利用统计方法计算，所以难以受到由于摄像元件250的噪声或处置器械等引起的干扰的影响。
在针线模式的情况下，关注区域估计部2070在分组后的组中，选择被摄体距离表示最接近摄像元件250的位置的评价块所属的组(S470)。在步骤S470中，也可以选择在步骤S420中针对各组计算出的被摄体距离表示最接近摄像元件250的位置的组。组的被摄体距离利用统计方法计算，所以难以受到由于摄像元件250的噪声或处置器械等引起的干扰的影响。
最后，关注区域估计部2070计算属于在步骤S450或步骤S460或步骤S470中选择出的组的各评价块的被摄体距离的平均值，将合焦到该平均被摄体距离的镜头位置作为镜头移动目的地(S480)。这时，可以根据模式的设定或各评价块的被摄体距离的分布等，将合焦到被摄体距离进行了偏移后的位置的镜头位置作为镜头移动目的地。此外，平均被摄体距离不限定于属于所选择的组的各评价块的被摄体距离的平均值，只要是中值、众数、最大值、最小值等基于统计方法的值即可，可以为其他值。
在将本实施方式应用于如图11的场景的情况下，在步骤S420中，在拍摄了处置器械而得到的评价块、拍摄了活体2而得到的评价块、拍摄了活体而得到的评价块中示出不同的被摄体距离，所以如图11所示，划分为组A、组B、组C这3个组。另外，在设定无效块的情况下，在活体模式下，处置器械为无效，所以认为未设定组A。但是，在1个评价块内混合存在活体和处置器械的情况下，有时无法使该块无效，或由于本来在本实施方式中S400～S420的处理不是必须的，所以有时也不设定无效块。鉴于以上情况，这里，即使是活体模式，也作为设定了与处置器械对应的组A来进行说明。
在针线模式下，在步骤S470中从分为3个的组中选择被摄体距离表示离摄像元件250最近的位置的评价块所属的组A。其结果，在用户正在操作针或线的情况下，能够进行适当的AF。
在活体模式下，通过适当设定在步骤S440中使用的规定阈值Th，在步骤S450中，选择所属的评价块数最多的组B。其结果，能够合焦到被认为用户正在关注的活体2。
另一方面，在如图11中的活体2被稍微拍摄到的情况下，在步骤S460中，选择被摄体距离表示离摄像元件250最远的位置的评价块所属的组C。其结果，还能够合焦到被认为用户正在关注的活体。即，能够根据属于组的评价块数量，合焦到配置于接近摄像元件250的位置的活体2，或合焦到配置于远离摄像元件250的位置的活体。
以上，在本实施方式中，在内窥镜中，使用分别针对多个评价块的被摄体距离来估计用户正在关注的区域，根据估计结果来驱动对焦镜头，由此用户不进行复杂的操作，就能够合焦到关注被摄体。此外，在针线模式的情况下，通过变更评价块的设定方法或用户正在关注的区域的估计方法，不会始终合焦到活体，而是能够合焦到关注被摄体。并且，通过在进行分组以后使用各组的面积信息进行处理，如图11的例子那样，即使在如在光轴方向上配置多个活体的场景中，用户也无需进行操作，就能够合焦到适当的活体。
4.本实施方式的具体例
在以上的本实施方式中，对焦控制部2095根据面积信息，在判定为作为多个组中的面积最大的组的最大面积组的面积为给定阈值以上的情况下，进行合焦到最大面积组的对焦控制。
具体而言，针对设定有多个的组的各组求出面积信息，确定利用该面积信息表示的面积最大的组作为最大面积组即可。如图11的例子那样，如果组是A、B、C这3个，则求出各自的面积SA、SB、SC，进行这些面积的比较处理即可。
由此，能够确定面积最大的最大面积组，判定该最大面积组的面积是何种程度的大小。如图13的S440所示，狭义而言，在活体模式时执行该控制。这时，如果是最大面积组，不是无条件地设成合焦对象，而是能够以在某个阈值以上作为条件。在如设定了多个面积比较小的组的状况那样，不存在如在摄像图像中占据大部分面积这样的组的情况下，即使将给定的组确定为最大面积组，用户也不限于关注该最大面积组。如上所述，这是因为，设想了如果正在关注特定的被摄体(活体)，则操作摄像部200，使得该被摄体在摄像图像中成为支配性的。即，不仅进行组彼此的面积比较，还进行与给定基准、即与阈值的比较处理，所以能够提高关注被摄体的确定精度等。另外，如上所述，作为面积信息，可以使用属于组的评价块的数量或其比例等表示面积的其他信息。即本实施方式中的“面积为给定阈值以上”的判定可以利用评价块数量是否为给定阈值以上等的判定来实现，不限定于面积本身的判定处理。
此外，在判定为最大面积组的面积比给定阈值小的情况下，对焦控制部2095可以进行对焦控制，以合焦到多个组中的利用距离信息表示的距离最远的组。
由此，在即使是最大面积组也不成为占据摄像图像的大部分的状态、即不能根据面积信息保证特定的组对应于关注被摄体的情况下，能够合焦到距离远的组。这便是优先合焦到距摄像部200的距离远的被摄体的控制，进行该控制的优点如上所述。
这时，对焦控制部2095可以根据分别分类为多个组中的各个组的各区域的距离信息，来确定距离最远的组。作为一例，可以确定多个区域中的距离最远的区域，将包含该区域的组作为距离最远的组。或者，可以根据分类为各组的各区域的距离信息，来计算组的距离。例如，如上所述，可以在各组中，求出所属区域的被摄体距离的平均值、中值、众数等基于统计方法而计算出的值，作为该组的被摄体距离。如果求出了各组的距离，则将该距离最大的组作为距离最远的组即可。
另外，本实施方式的方法不限定于执行判定为最大面积组的面积为给定阈值以上的情况下的控制和判定为最大面积组的面积比给定阈值小的情况下的控制这两方，可以仅执行一方。
此外，对焦控制部2095可以具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个组中的利用距离信息表示的距离最远的组的对焦控制，在该第2模式下，进行优先合焦到多个组中的利用距离信息表示的距离最近的组的对焦控制。
这里，第1模式狭义而言是活体模式，第2模式狭义而言是针线模式(处置器械模式)。由此，不仅进行基于面积信息的对焦控制，还能够灵活地变更对焦控制。如上所述，在活体模式下，拍摄到处于正在关注的被摄体的更里侧的未关注的其他被摄体的可能性小。因此，使远离摄像部200的被摄体优先是有效的。但是，如果活体本身不是关注被摄体，则还会出现如下的状况：通过使远的被摄体优先，反倒无法合焦到正在关注的被摄体。例如，如图2所示，设想钳子等处置器械被拍摄于比活体更靠近前侧的位置。因此，如果使离摄像部200远的被摄体优先，则即使在正在关注处置器械的情况下，也会合焦到位于里侧的活体。此外，处置器械为较细的棒状等形状，所以例如即使正在关注该处置器械，摄像图像中的面积也未必变得非常大，即使使利用面积信息表示的面积大的被摄体优先，也有可能无法适当地合焦到处置器械。在该方面，如果利用模式来切换对焦控制，则能够灵活地应对各种状况。
此外，对焦控制部2095可以求出多个区域的各区域的特征量，并根据特征量，设定未成为分类处理的对象的无效区域。
由此，能够进行使用了各区域的特征量的处理。具体而言，可以根据特征量，判定在各区域中拍摄到的被摄体。在该情况下，通过使用特征量，能够针对各区域，判定该区域中是否拍摄了正在关注的被摄体。因此，针对未拍摄有正在关注的被摄体的区域，设定为无效区域(无效块)并从之后的处理中排除，由此能够抑制合焦到不适当的区域的可能性。
具体而言，对焦控制部2095可以根据特征量，将多个区域中的被判定为拍摄了活体以外的被摄体的区域设定为无效区域。并且，具体而言，对焦控制部2095可以在第1模式下，将判定为拍摄了活体以外的被摄体的区域设定为无效区域，在第2模式下，将判定为拍摄了活体的区域设定为无效区域。
由此，能够根据模式，将适当的区域设定为无效区域。具体而言，在活体模式下，如果将活体以外作为无效区域，则能够抑制合焦到活体以外的被摄体的情况，如果为非活体模式的模式(狭义而言是针线模式)，则如果将活体作为无效区域，能够抑制合焦到活体。图14的(A)、图14的(B)示出无效区域、有效区域的具体例。如图14的(A)所示，在活体模式下，活体成为关注被摄体，所以处置器械部分的块变为无效，但如图14的(B)所示，在针线模式下，把持针或线的钳子的前端附近成为关注被摄体，所以使活体块无效。
另外，以上对无效区域进行了说明，但也可以设定有效区域，以该有效区域为对象进行分类处理。具体而言，对焦控制部2095可以求出多个区域的各自的特征量，并根据特征量，来设定多个区域中的成为分类处理的对象的有效区域。
即使这样，也选择拍摄了正在关注的被摄体的区域，设为之后的处理的对象，所以能够抑制合焦到不适当的区域的可能性。
具体而言，对焦控制部2095可以根据特征量，将多个区域中的被判定为拍摄了活体的区域设定为有效区域。并且，具体而言，对焦控制部2095在第1模式下，将判定为拍摄了活体的区域设定为有效区域，在第2模式下，将被判定为拍摄了活体以外的被摄体的区域设定为有效区域即可。
此外，对焦控制部2095可以根据用户的操作，来进行第1模式和第2模式的切换。
由此，能够利用用户的操作，进行模式切换。另外，用户的操作例如可以使用操作部来进行，该操作部可以是设置于摄像部200的操作部，也可以是作为外部I/F部500来实现的操作部。此外，可以利用其他方法进行模式切换，例如还能够实施利用对焦控制装置的自动切换等变形。
此外，对焦控制部2095可以在第1模式下，使用第1阈值作为给定阈值进行对焦控制，在第2模式下，使用与第1阈值不同的第2阈值作为给定阈值进行对焦控制。
这里的给定阈值是指在与最大面积组的比较处理中使用的阈值。该实施方式中的特征具有2点，第1点是即使在第2模式下也可以进行使用了面积信息的控制，具体而言，进行最大面积组的面积信息和给定阈值的比较处理。第2点是在该比较处理时，在第1模式和第2模式下使用不同的阈值。
在第2模式下，关注被摄体是钳子等处置器械(狭义而言是在其前端所保持的针或线)。但是关于针、线、其他处置器械，如果考虑尺寸、形状等，则在占据摄像图像的大部分的状态下被拍摄的可能性小。即，第1模式下的给定阈值设定为了在能够判定用户正在关注该组的程度上支配性的值(例如如果是比例则为50％至70％这样的值)，但第2模式下的给定阈值设定为这样的值是不恰当的。因此，第2模式下的给定阈值相比第1模式下的给定阈值应该成为平缓的条件，具体而言，即使最大面积组的面积在一定程度上较小，利用面积信息表示的值超过该阈值即可。
在第2模式下使用面积信息的处理的目的例如在于提高关注被摄体的判定精度。在针线模式下，设想关注被摄体位于接近摄像部200的位置，所以如图13的流程图的S430，S470所示，即使不使用面积信息而进行对焦控制，认为也能够一定程度上合焦到关注被摄体。但是，如果距离信息的计算处理等产生错误判定，则虽然实际上不具有这样的被摄体，但有可能设定了离摄像部200的距离近的组。如果考虑在多数的区域(评价块)的范围内产生这样的错误判定的可能性小，则设想由于错误判定而设定的组不具有较大的面积。即，通过进行合焦到离摄像部200的距离近且具有一定面积以上的面积的组的对焦控制，能够抑制错误判定结果对对焦控制造成影响的可能性，能够实现高精度的对焦控制。即作为一例，第2模式中的给定阈值大到能够抑制由于噪声等而产生的错误判定的影响的程度，可以设为比第1模式下的值小的值(具体而言作为摄像图像中的钳子占据的比例，根据现实程度的值而决定的值)。
另外，第2模式下使用面积信息的方法不限定于此，能够实施各种变形。例如，在检测到多个离摄像部200的距离比给定基准位置近的组的情况下，还可进行合焦到其中的面积最大的组这样的对焦控制。
此外，相比通过对焦控制部2095设定了第1模式的情况，区域设定部2010可以在设定了第2模式的情况下变更所设定的区域的位置、尺寸和数量中的至少1个。
由此，能够根据模式，狭义而言根据各模式所设想的关注被摄体，设定适当的区域。在图8的(B)所示的第2模式下，与图8的(A)所示的第1模式相比，区域(评价块)的尺寸变小，数量增加。这是由于如上所述，相比在第1模式下设想的活体，在第2模式下设想的针或线是小且细的被摄体。此外，如上所述，在第2模式下，相比第1模式，可以使AF区域偏向图像的下部，在该情况下，评价块的位置也发生变化。
此外，被摄体距离信息计算部2040可以在多个区域的各区域中，求出表示所求出的距离信息的似然性的置信度。
由此，能够判定是否能够信赖距离信息。这时，对焦控制部2095可以根据置信度，设定未成为组的分类处理的对象的无效区域。由此，在无法信赖给定区域中的距离信息的情况下，能够将该区域作为处理对象外区域，所以能够抑制将不适当的区域作为合焦对象的可能性。即无效区域的设定可以使用特征量来进行，也可以使用置信度来进行，还可以使用该双方来进行。
此外，被摄体距离信息计算部2040可以在多个区域的各区域中，取得来自相位传感器的相位差信息，并根据相位差信息，来求出距离信息。
这里的相位传感器例如是图4的S1、S2，相位差信息是利用来自S1的信号和来自S2的信号的比较处理而求出的信息。这时，区域设定部2010可以根据摄像部200中的相位传感器(S1、S2)的配置信息，设定多个区域。
在距离信息的计算中使用相位差信号的情况下，需要在作为距离信息的计算单位的区域中至少分别逐个包含有能运算相位差信息的信息的输出源、即S1和S2的传感器。这是因为，即使在与给定评价块对应的区域中一个都未包含有S1和S2中的至少一方的情况下，在该评价块中未求出相位差信号，也无法计算距离信息。
但是，对摄像部200中的相位传感器(具体而言摄像元件250)进行更换的使用形式不能说是一般的使用形式，即使能够更换，也一定程度上限定了相位传感器的配置模式。即，相位传感器在硬件上决定了其配置，之后难以进行变更。如果考虑到以上内容，可以说为了使作为距离信息的计算单位的区域(评价块)和相位传感器的对应关系适当，首先把握固定的相位传感器的配置模式，结合该配置模式来设定区域的情况是现实的。
但是，在本实施方式中，只要能够取得各评价块中的被摄体距离即可，还能够使用除相位传感器以外的传感器。例如，被摄体距离信息计算部2040可以根据通过给定的图案光的照射而取得的摄像图像，来求出距离信息。具体而言，通过向被摄体照射特定的图案光，取得其反射光并对图案的形状变化进行解析，能够取得到被摄体的距离，根据到被摄体的距离和镜头的特性来求出被摄体距离。
或者，可以使用在有效的AF中广泛使用的方法。具体而言，摄像部200具有未在图3等中图示的测距传感器，被摄体距离信息计算部2040可以根据该测距传感器的传感器信息，来求出距离信息。考虑测距传感器的各种形式，例如可以是照射红外光等光，接收由被摄体反射该光后的反射光的测距传感器。在该情况下，能够根据从光的照射时刻到反射光的接收时刻的时间，来求出到被摄体的距离。
此外，被摄体距离信息计算部2040可以根据从摄像图像求出的AF评价值(对比度值)，来求出距离信息。这里的AF评价值是在广泛公知的对比度AF中使用的信息，例如对处理对象区域所包含的全部像素的Y信号或G信号进行任意的BPF(带通滤波)处理，将其输出的总和作为AF评价值即可。另外，对比度AF中的AF评价值公知有各种计算方法，在本实施方式中还能够广泛应用除上述BPF处理以外的方法。
在使用AF评价值的情况下，被摄体距离信息计算部2040一边改变合焦物体位置，一边将各评价块作为处理对象区域而计算AF评价值，按照每个评价块，求出AF评价值的峰值位置。具体而言，进行对焦镜头220的控制，在一定程度的范围内使合焦物体位置发生变化。这里的使合焦物体位置发生变化的范围是可期待包含AF评价值为峰值的合焦物体位置的范围，狭义而言也可以是根据摄像部200的结构而决定的合焦物体位置的全部范围。此时的对焦镜头220的控制能够利用从WIDE侧(TELE侧)的端点向TELE侧(WIDE侧)的端点的移动来实现。另外，由于只要合焦物体位置发生变化以覆盖上述范围即可，所以对焦镜头220的控制不限于上述控制。
根据以上处理，针对各评价块，求出了合焦物体位置的变化范围中的AF评价值的峰值位置。如作为对比度AF的一般方法而公知的那样，可认为在从给定区域求出的对比度值在给定合焦物体位置成为了峰值的情况下，在该区域所拍摄到的被摄体通过将合焦物体位置作为该位置而被合焦，即该被摄体位于合焦物体位置。即只要能够确定峰值位置，则能够判断为到在作为处理对象的评价块中所拍摄到的被摄体的距离对应于到合焦物体位置的距离。另外，在控制对焦镜头220的位置的情况下，直接求出的是AF评价值为峰值的对焦镜头220的位置，但由于能够事先知晓对焦镜头220的位置和合焦物体位置的关系，所以容易进行向合焦物体位置的转换。
即，通过进行上述处理，能够取得各评价块的距离信息。在取得了评价块的距离信息以后，进行与使用相位传感器等的方法相同的处理即可。
此外，以上的本实施方式不限定于对焦控制装置，还能够应用于包含对焦控制装置的内窥镜装置(内窥镜系统)。具体而言，可以是如图3所示的内窥镜系统。在该情况下，能够实现如下内窥镜装置：摄像图像成为活体内图像，能够进行基于面积信息的对焦控制，同时优先合焦到离摄像部200远的活体，或者根据需要合焦到近前侧的活体或处置器械等。
此外，还能够将上述实施方式中的图像处理装置的各处理的方法、即各流程图所示的处理均存储为控制部350可执行的程序。除此以外，还能够存储到存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储装置(存储介质)中进行发布。并且，控制部350能够通过读入在该外部存储装置的存储装置中存储的程序，并根据该所读入的程序控制动作，执行上述处理。
此外，本实施方式的对焦控制装置等可以包含处理器和存储器。这里的处理器例如可以是CPU(Central Processing Unit：中央处理器)。但是，处理器不限于CPU，还能够使用GPU(Graphics Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等各种处理器。并且处理器可以是基于ASIC(application specificintegrated circuit：面向特定用途的集成电路)的硬件电路。此外，存储器存储可由计算机读取的指令，通过由处理器执行该指令，实现本实施方式的对焦控制装置等的各个部。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。此外，这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。
5.变形例
在用户使用能源设备等来切除活体的情况等下，产生水蒸汽或微细的粒子等的雾。在产生了雾后，来自白色光源610的射出光(来自光导部120的射出光)漫反射，有时无法正确估计被摄体距离。由于雾是随着时间而发生较大变化的被摄体，因此在上述实施方式的被摄体距离计算(图13的步骤S220)中计算的被摄体距离、或在置信度计算(图13的步骤S230)中计算的置信度有可能在每次计算时发生较大变化。
由此，在本实施方式的变形例中，在还包含产生上述雾时的情况在内的被摄体发生较大变化的情况中，在被摄体距离随着时间发生较大变化的情况下，使置信度降低。图15示出本变形例中的对焦镜头移动目的地计算(步骤S100)的处理。与图13相同的步骤编号的步骤进行相同的处理，所以省略说明。
在执行了步骤S200至步骤S220的处理后，置信度计算部2050判定是否执行了规定次数的被摄体距离的计算次数(S300)。在进行了规定次数，例如5次的情况下进入步骤S310，在未进行的情况下返回到步骤S205，针对从AD转换部310输出的其他图像(针对在不同的时刻拍摄的图像)执行步骤S205至步骤S220的处理。这里，作为判定条件，除了规定次数以外，还可以设为判定是否在一定误差范围内计算了多次被摄体距离等其他条件。
接着，置信度计算部2050根据计算了多次的被摄体距离的偏差程度，来计算置信度(S310)。这里，可以使用计算了多次的被摄体距离的偏差程度和由被摄体距离信息计算部2040求出的相位差计算时的相关程度这双方，计算置信度。
另外，在以后的步骤中使用的针对各评价块的被摄体距离设为通过最先计算出的被摄体距离、最后计算出的被摄体距离、多次计算出的被摄体距离的统计性的计算值(平均值、中值、众数、最大值、最小值等)等计算出的值。
在以上的本变形例中，除了本实施方式中的效果以外，还能够在产生雾时等被摄体变化较大的场景中，计算更准确的置信度。其结果，能够抑制合焦到非用户意图的位置，能够实现稳定的AF。
虽然如以上那样对本实施方式及其变形例进行了详细说明，但本领域技术人员能够容易地理解到，可以进行实质上不脱离本发明的新事项以及效果的多种变形。因而，这种变形例全部包含在本发明的范围内。例如，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。此外，对焦控制装置、内窥镜装置等的结构、动作也不限于本实施方式所说明的内容，可实施各种变形。
标号说明
100：硬性镜；110：镜头系统；120：光导部；200：摄像部；210：AF按钮；220：对焦镜头；230：对焦镜头驱动部；240：物镜系统；250：摄像元件；300：处理部；310：AD转换部；320：预处理部；330：图像处理部；340：AF控制部；350：控制部；400：显示部；500：外部I/F部；600：光源部；610：白色光源；620：光导缆线；2010：区域设定部；2020：模式设定部；2030：相位信号生成部；2040：被摄体距离信息计算部；2050：置信度计算部；2060：被摄体特征量计算部；2070：关注区域估计部；2080：镜头移动目的地决定部；2095：对焦控制部；S1、S2：相位传感器。
权利要求书(按照条约第19条的修改)
1.(修改后)一种对焦控制装置，其特征在于，包含：
区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域；
被摄体距离信息计算部，其在所设定的多个所述区域中，分别求出到在所述各区域中拍摄的被摄体为止的距离信息；以及
对焦控制部，其根据所述距离信息来进行对焦控制，
所述对焦控制部根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组中的各组的面积信息，进行对被判定为面积在给定阈值以上的所述组进行合焦的所述对焦控制。
2.(修改后)根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部在根据所述面积信息判定为多个所述组中的面积最大的组即最大面积组的面积为所述给定阈值以上的情况下，进行合焦到所述最大面积组的所述对焦控制。
3.(修改后)根据权利要求2所述的对焦控制装置，其特征在于，
所述对焦控制部在判定为所述最大面积组的面积比所述给定阈值小的情况下，进行合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制。
4.根据权利要求3所述的对焦控制装置，其特征在于，
所述对焦控制部根据被分类为多个所述组中的各个组的所述各区域的所述距离信息，确定利用所述距离信息表示的距离最远的组。
5.(修改后)根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部在根据所述面积信息判定为多个所述组中的面积最大的组即最大面积组的面积比所述给定阈值小的情况下，进行合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制。
6.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制。
7.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域各自的特征量，根据所述特征量，设定不成为所述分类处理的对象的无效区域。
8.根据权利要求7所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域。
9.根据权利要求7所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体的区域设定为所述无效区域。
10.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域各自的特征量，根据所述特征量，设定多个所述区域中的成为所述分类处理的对象的有效区域。
11.根据权利要求10所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域。
12.根据权利要求10所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体以外的被摄体的区域设定为所述有效区域。
13.(修改后)根据权利要求6所述的对焦控制装置，其特征在于，
所述对焦控制部根据用户的操作，进行所述第1模式和所述第2模式的切换。
14.根据权利要求2所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，使用第1阈值作为所述给定阈值进行所述对焦控制，在所述第2模式下，使用与所述第1阈值不同的第2阈值作为所述给定阈值进行所述对焦控制。
15.(修改后)根据权利要求6所述的对焦控制装置，其特征在于，
与由所述对焦控制部设定了所述第1模式的情况相比，在设定了所述第2模式的情况下，所述区域设定部变更所设定的所述区域的位置、尺寸和数量中的至少1个。
16.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部在多个所述区域中的各个区域中，求出表示所求出的所述距离信息的似然性的置信度。
17.根据权利要求16所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述置信度，设定不成为所述分类处理的对象的无效区域。
18.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部在多个所述区域中的各个区域中，分别取得来自相位传感器的相位差信息，并根据所述相位差信息，求出所述距离信息。
19.根据权利要求18所述的对焦控制装置，其特征在于，
所述区域设定部根据所述摄像部中的所述相位传感器的配置信息，设定多个所述区域。
20.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部根据通过照射给定的图案光而取得的所述摄像图像，求出所述距离信息。
21.一种内窥镜装置，其中，
该内窥镜装置包含权利要求1～20中的任意一项所述的对焦控制装置。
22.(修改后)一种对焦控制装置的控制方法，其特征在于，
针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域，
在所设定的多个所述区域中的各个区域中，求出到在所述各区域中拍摄的被摄体为止的距离信息，
根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组中的各组的面积信息，进行对被判定为面积在给定阈值以上的所述组进行合焦的所述对焦控制。

Claims (22)

1.一种对焦控制装置，其特征在于，包含：
区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域；
被摄体距离信息计算部，其在所设定的多个所述区域中，分别求出到在所述各区域中拍摄的被摄体为止的距离信息；以及
对焦控制部，其根据所述距离信息来进行对焦控制，
所述对焦控制部根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组中的各组的面积信息来进行所述对焦控制。
2.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部在根据所述面积信息判定为多个所述组中的面积最大的组即最大面积组的面积为给定阈值以上的情况下，进行合焦到所述最大面积组的所述对焦控制。
3.根据权利要求2所述的对焦控制装置，其特征在于，
所述对焦控制部在判定为所述最大面积组的面积比给定阈值小的情况下，进行合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制。
4.根据权利要求3所述的对焦控制装置，其特征在于，
所述对焦控制部根据被分类为多个所述组中的各个组的所述各区域的所述距离信息，确定利用所述距离信息表示的距离最远的组。
5.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部在根据所述面积信息判定为多个所述组中的面积最大的组即最大面积组的面积比给定阈值小的情况下，进行合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制。
6.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制。
7.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域各自的特征量，根据所述特征量，设定不成为所述分类处理的对象的无效区域。
8.根据权利要求7所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域。
9.根据权利要求7所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体的区域设定为所述无效区域。
10.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域各自的特征量，根据所述特征量，设定多个所述区域中的成为所述分类处理的对象的有效区域。
11.根据权利要求10所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域。
12.根据权利要求10所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体以外的被摄体的区域设定为所述有效区域。
13.根据权利要求5所述的对焦控制装置，其特征在于，
所述对焦控制部根据用户的操作，进行所述第1模式和所述第2模式的切换。
14.根据权利要求2所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最远的组的所述对焦控制，在该第2模式下，进行优先合焦到多个所述组中的利用所述距离信息表示的距离最近的组的所述对焦控制，
所述对焦控制部在所述第1模式下，使用第1阈值作为所述给定阈值进行所述对焦控制，在所述第2模式下，使用与所述第1阈值不同的第2阈值作为所述给定阈值进行所述对焦控制。
15.根据权利要求5所述的对焦控制装置，其特征在于，
与由所述对焦控制部设定了所述第1模式的情况相比，在设定了所述第2模式的情况下，所述区域设定部变更所设定的所述区域的位置、尺寸和数量中的至少1个。
16.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部在多个所述区域中的各个区域中，求出表示所求出的所述距离信息的似然性的置信度。
17.根据权利要求16所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述置信度，设定不成为所述分类处理的对象的无效区域。
18.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部在多个所述区域中的各个区域中，分别取得来自相位传感器的相位差信息，并根据所述相位差信息，求出所述距离信息。
19.根据权利要求18所述的对焦控制装置，其特征在于，
所述区域设定部根据所述摄像部中的所述相位传感器的配置信息，设定多个所述区域。
20.根据权利要求1所述的对焦控制装置，其特征在于，
所述被摄体距离信息计算部根据通过照射给定的图案光而取得的所述摄像图像，求出所述距离信息。
21.一种内窥镜装置，其中，
该内窥镜装置包含权利要求1～20中的任意一项所述的对焦控制装置。
22.一种对焦控制装置的控制方法，其特征在于，
针对由摄像部拍摄的摄像图像，设定各区域由多个像素构成的多个区域，
在所设定的多个所述区域中的各个区域中，求出到在所述各区域中拍摄的被摄体为止的距离信息，
根据所述距离信息，进行将多个所述区域分类为多个组的分类处理，并根据多个所述组中的各组的面积信息进行对焦控制。
CN201480083736.8A 2014-12-02 2014-12-02 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 Active CN107005646B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081804 WO2016088186A1 (ja) 2014-12-02 2014-12-02 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法

Publications (2)

Publication Number Publication Date
CN107005646A true CN107005646A (zh) 2017-08-01
CN107005646B CN107005646B (zh) 2020-05-19

Family

ID=56091167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083736.8A Active CN107005646B (zh) 2014-12-02 2014-12-02 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法

Country Status (5)

Country Link
US (1) US10213093B2 (zh)
JP (1) JP6453904B2 (zh)
CN (1) CN107005646B (zh)
DE (1) DE112014007147T5 (zh)
WO (1) WO2016088186A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233962A (zh) * 2019-04-26 2019-09-13 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质
CN114040081A (zh) * 2021-11-30 2022-02-11 维沃移动通信有限公司 图像传感器、摄像模组、电子设备、对焦方法及介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
WO2017122348A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10044926B2 (en) * 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
WO2018116371A1 (ja) * 2016-12-20 2018-06-28 オリンパス株式会社 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法
JP6878189B2 (ja) * 2017-07-26 2021-05-26 キヤノン株式会社 撮像制御装置
US11763538B2 (en) * 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus
JPWO2020195042A1 (zh) * 2019-03-25 2020-10-01
JP7247702B2 (ja) * 2019-03-27 2023-03-29 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、及び、撮像制御装置
JP7173657B2 (ja) * 2019-09-20 2022-11-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、撮像装置、制御方法、及びプログラム
JPWO2021141048A1 (zh) * 2020-01-07 2021-07-15

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505374A (zh) * 2008-02-04 2009-08-12 株式会社理光 图像处理设备及方法
JP2010220755A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 内視鏡用プロセッサ装置、およびその駆動方法
EP2526854A1 (en) * 2011-05-24 2012-11-28 Fujifilm Corporation Endoscope system and method for assisting in diagnostic endoscopy

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6317417A (ja) * 1986-06-09 1988-01-25 Minolta Camera Co Ltd 焦点検出装置
US5416515A (en) 1992-09-28 1995-05-16 Fuji Photo Film Co., Ltd. Video camera and photometric method therein, image pick-up apparatus and method, and photometric method and focusing control method in said image pick-up apparatus
JP3143245B2 (ja) * 1992-12-22 2001-03-07 富士写真フイルム株式会社 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP3335419B2 (ja) * 1993-05-25 2002-10-15 オリンパス光学工業株式会社 カメラの測距装置
JP2002051255A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 主要被写体検出カメラ
JP2006110055A (ja) * 2004-10-14 2006-04-27 Olympus Corp 内視鏡装置及び内視鏡システム
JP4661269B2 (ja) 2005-03-01 2011-03-30 カシオ計算機株式会社 撮影装置及びプログラム
JP5531607B2 (ja) * 2009-12-22 2014-06-25 株式会社ニコン 焦点検出装置および撮像装置
JP2012002951A (ja) * 2010-06-15 2012-01-05 Ricoh Co Ltd 撮像装置、合焦位置検出方法および合焦位置検出プログラム
JP5973708B2 (ja) * 2011-10-21 2016-08-23 オリンパス株式会社 撮像装置及び内視鏡装置
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6124655B2 (ja) * 2013-04-05 2017-05-10 オリンパス株式会社 撮像装置、撮像装置の制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505374A (zh) * 2008-02-04 2009-08-12 株式会社理光 图像处理设备及方法
JP2010220755A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 内視鏡用プロセッサ装置、およびその駆動方法
EP2526854A1 (en) * 2011-05-24 2012-11-28 Fujifilm Corporation Endoscope system and method for assisting in diagnostic endoscopy

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233962A (zh) * 2019-04-26 2019-09-13 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质
CN110233962B (zh) * 2019-04-26 2021-04-16 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质
CN114040081A (zh) * 2021-11-30 2022-02-11 维沃移动通信有限公司 图像传感器、摄像模组、电子设备、对焦方法及介质

Also Published As

Publication number Publication date
US20170265725A1 (en) 2017-09-21
US10213093B2 (en) 2019-02-26
DE112014007147T5 (de) 2017-08-03
WO2016088186A1 (ja) 2016-06-09
JP6453904B2 (ja) 2019-01-16
CN107005646B (zh) 2020-05-19
JPWO2016088186A1 (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107005646A (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9154745B2 (en) Endscope apparatus and program
EP1471455B1 (en) Digital camera
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
CN102843509B (zh) 图像处理装置和图像处理方法
CN103889305B (zh) 图像处理装置、内窥镜装置及图像处理方法
KR100839772B1 (ko) 대상 결정 장치 및 촬상 장치
JP5423305B2 (ja) 画像評価装置及びカメラ
CN103269636B (zh) 内窥镜装置以及图像处理方法
WO2011061940A1 (ja) 画像処理方法および画像処理装置
US20120120305A1 (en) Imaging apparatus, program, and focus control method
CN107005647A (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
JP2004320287A (ja) デジタルカメラ
CN104883948B (zh) 图像处理装置以及图像处理方法
CN107430258A (zh) 对焦控制装置、摄像装置、内窥镜系统、对焦控制装置的控制方法
CN110062596A (zh) 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
JP2004320285A (ja) デジタルカメラ
JP6120491B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP6377171B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JP2001016612A (ja) 視差画像撮像装置及び視差画像撮像方法
JP6241107B2 (ja) 視線方向検出装置および視線方向検出方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
WO2022014258A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
US11800245B2 (en) Image pickup apparatus capable of keeping focus on subject even when moving direction of subject changes in time series, control method for image pickup apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant