CN107005647B - 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 - Google Patents

对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 Download PDF

Info

Publication number
CN107005647B
CN107005647B CN201480083753.1A CN201480083753A CN107005647B CN 107005647 B CN107005647 B CN 107005647B CN 201480083753 A CN201480083753 A CN 201480083753A CN 107005647 B CN107005647 B CN 107005647B
Authority
CN
China
Prior art keywords
focus control
focus
region
focusing
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083753.1A
Other languages
English (en)
Other versions
CN107005647A (zh
Inventor
三上俊彰
市川学
吉野浩一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107005647A publication Critical patent/CN107005647A/zh
Application granted granted Critical
Publication of CN107005647B publication Critical patent/CN107005647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

对焦控制装置包含：区域设定部(2010)，其针对由摄像部(200)拍摄的摄像图像，设定包含多个像素的多个区域；方向判别部(2040)，其在所设定的多个区域的一部分或全部区域中，判别作为合焦物体位置的目标的目标合焦位置相对于基准位置是位于NEAR还是位于FAR，针对各区域求出方向判别结果；以及对焦控制部，其根据方向判别结果，执行优先合焦到多个区域中的离摄像部(200)的距离远的区域的对焦控制。

Description

对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
技术领域
本发明涉及对焦控制装置、内窥镜装置以及对焦控制装置的控制方法等。
背景技术
在内窥镜系统中，为了不给用户的诊断、处置带来障碍，要求尽可能深的景深。但是近年来，即使在内窥镜系统中，伴随使用高像素的摄像元件，该景深也一直在变浅，所以提出了进行自动对焦(以下称作AF)的内窥镜系统。
在内窥镜手术中，为了进行病变的切除或缝合等，有时处置电刀或钳子等处置器械进入作为合焦目标的活体和摄像装置即内窥镜系统之间。在该情况下，有时会合焦到对比度比活体高的处置器械，而无法合焦到活体。
专利文献1公开了如下方法：在关注被摄体和摄像装置之间存在障碍物的情况下，通过由用户指定障碍物，合焦到关注被摄体。
现有技术文献
专利文献
专利文献1：日本特开2006-245792号公报
发明内容
发明所要解决的问题
在专利文献1中，需要用户指定障碍物。因此，在内窥镜手术中使用专利文献1 的方法的情况下，由于成为障碍物的处置器械的移动剧烈，所以需要用户频繁地指定障碍物，操作变得复杂。
根据本发明的几个方式，能够提供一种具有用户不进行复杂的操作就能够合焦到关注被摄体的AF控制功能的对焦控制装置、内窥镜装置以及对焦控制装置的控制方法等。
用于解决问题的手段
本发明的一个方式涉及对焦控制装置，该对焦控制装置包含：区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域包含多个像素的多个区域；方向判别部，其在所设定的多个所述区域的一部分或全部区域中，进行判别作为合焦物体位置的目标的目标合焦位置相对于基准位置是位于NEAR还是位于FAR，针对所述各区域求出方向判别结果的方向判别处理；以及对焦控制部，其根据所述方向判别结果，执行优先合焦到多个所述区域中的离所述摄像部的距离远的区域的对焦控制。
在本发明的一个方式中，针对各区域进行NEAR或FAR的方向判别，根据方向判别结果，来进行对焦控制。此时，由于使离摄像部的距离远的区域优先，所以用户无需逐一输入非对焦对象的区域，能够减轻用户负担等。
此外，本发明的其他方式涉及对焦控制装置，该对焦控制装置包含：图像取得部，其取得由摄像部拍摄的摄像图像；以及对焦控制部，其进行基于颤动的对焦控制，在与所述颤动的基准位置对应的合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，所述对焦控制部在相对于与所述颤动的所述基准位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的利用所述颤动的所述对焦控制。
在本发明的其他方式中，在与颤动中心位置对应的合焦物体位置位于活体和处置器械之间的情况下，作为中心位置的移动方向，优先活体一方。因此，由于能够实现容易合焦到活体的系统，所以无需使用户逐一输入非对焦对象的区域，能够减轻用户负担等。
本发明的另一方式涉及一种包含上述对焦控制装置的内窥镜装置。
本发明的其他方式涉及对焦控制装置的控制方法，其中，针对由摄像部拍摄的摄像图像，设定各区域包含多个像素的多个区域，在所设定的多个所述区域的一部分或全部区域中，判别作为合焦物体位置的目标的目标合焦位置相对于基准位置是位于 NEAR还是位于FAR，进行针对所述各区域求出方向判别结果的方向判别处理，根据所述方向判别结果，执行优先合焦到多个所述区域中的离所述摄像部的距离远的区域的对焦控制。
本发明的其他方式涉及对焦控制装置的控制方法，其中，取得由摄像部拍摄的摄像图像，在与颤动的基准位置对应的合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，在相对于与所述颤动的所述基准位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的利用所述颤动的对焦控制。
附图说明
图1是本实施方式的对焦控制装置的结构例。
图2是内窥镜装置(摄像部)和多个被摄体的位置关系的例子。
图3是包含本实施方式的对焦控制装置的内窥镜装置的结构例。
图4是摄像元件的结构例。
图5是AF控制部的结构例。
图6是说明本实施方式的对焦控制的流程图。
图7是说明合焦方向判别处理的流程图。
图8的(A)、图8的(B)是与模式对应的区域设定的例子。
图9是根据方向判别结果的时序变化来求出置信度的方法的说明图。
图10是说明无效块的设定处理的流程图。
图11的(A)、图11的(B)是根据方向判别结果的偏差来设定无效帧的方法的说明图。
图12是说明合焦方向的决定处理的流程图。
图13的(A)～图13的(D)是活体和处置器械的位置关系的例子及各合焦物体位置上的以块为单位的合焦方向的判别结果的例子。
图14的(A)～图14的(D)是多个活体和处置器械的位置关系的例子及各合焦物体位置上的以块为单位的合焦方向的判别结果的例子。
图15的(A)、图15的(B)是拍摄了离摄像部的距离不同的多个活体的状况的具体例子。
图16的(A)、图16的(B)是各模式下的有效块、无效块的设定例。
图17的(A)～图17的(D)是针线模式中的活体和处置器械的位置关系的例子、及各合焦物体位置上的以块为单位的合焦方向的判别结果的例子。
图18是说明颤动(wobbling)中心位置的时序变化的图。
具体实施方式
下面，对实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。并且，本实施方式中说明的结构不一定全部都是本发明的必需结构要件。
1.本实施方式的方法
首先，对本实施方式的方法进行说明。一般而言，在摄像图像中除了用户正在关注的被摄体以外，还可能拍摄了成为障碍物的被摄体。在该情况下，正在关注的被摄体优选成为在摄像图像中容易观察的状态、即被合焦的(焦点对准的)状态。但是，在单纯使用了自动对焦(AF)的情况下，未必能够合焦到正在关注的被摄体。例如，如果是对比度AF，则合焦到对比度高的区域，因此如上所述，虽然正在关注活体，但有可能合焦到处置器械。此外，在相位差AF等的情况下，在可取得相位差信息的各点上，能够取得在该点进行对焦用的信息(例如镜头的移动量)，但需要另行考虑用户正在关注哪个点。
与此相对，如专利文献1所公开的方法那样，如果是用户自身指定作为障碍物的被摄体的形式，则能够高精度地合焦到期望的被摄体。但是，在规定状况下，摄像图像中的障碍物的状况有可能频繁地产生变化，在这样的情况下，每当产生变化时，用户就必须指定障碍物，用户的操作负担较大。
例如在腹腔镜手术等内窥镜手术下，将处置器械与镜体(摄像部)一起插入体内，使用该处置器械来进行针对活体的处置。这里的处置器械是在针对活体的处置中使用的器械，具体而言是电刀等能源设备或钳子等。在该情况下，处置器械在针对活体的处置、例如使用钳子来提拉膜状的活体，或用电刀切除由钳子进行了固定的活体的行为中被使用，所以由用户(医生、手术操作者)频繁地移动。其结果，摄像图像中的拍摄了处置器械的图像上位置或尺寸频繁地产生变化。因此，即使在用户正在关注活体而处置器械成为障碍物的情况和正在关注处置器械而活体成为障碍物的情况中的任意情况下，拍摄了障碍物的区域也频繁地产生变化，所以如果用户以手动的方式进行指定的话，用户负担较大。
对此，如果能够在摄像图像上自动确定用户正在关注的被摄体，则通过使用拍摄了该被摄体的区域的信息来进行AF，能够合焦到正在关注的被摄体。
因此，本申请人提出如下这样的对焦控制装置。如图1所示，本实施方式的对焦控制装置包含：区域设定部2010，其针对由摄像部(与后述的图3的摄像部200对应)拍摄的摄像图像，设定各区域包含多个像素的多个区域；方向判别部2040，其在所设定的多个区域的各区域中，判别作为合焦物体位置的目标的目标合焦位置相对于基准位置是位于NEAR(近端)还是位于FAR(远端)，针对各区域进行求出方向判别结果的方向判别处理；以及对焦控制部2095，其根据方向判别结果，来执行优先合焦到多个区域中的离摄像部的距离远的区域的对焦控制。
这里，合焦物体位置表示由光学系统(狭义而言是后述的图3的物镜系统240)、像面(图3的摄像元件250的面)、物体(被摄体)构成的系统处于合焦状态的情况下的物体的位置。例如，如后述的图3所示，如果是摄像元件250是固定的，光学系统中的对焦镜头220可移动的例子，则可通过决定对焦镜头220的位置，决定合焦物体位置。而且，在该情况下，可取得合焦到了位于景深的范围内的被摄体上的摄像图像，该景深包含合焦物体位置。
此外，NEAR和FAR表示目标合焦位置相对于基准位置所处的方向，在目标合焦位置位于比基准位置靠摄像部200侧的位置(光学系和摄像元件250侧)的情况下是NEAR，在目标合焦位置相对于基准位置位于与摄像部200相反侧的情况下是FAR。如图3这样，如果是能够利用对焦镜头220的位置来控制合焦物体位置的例子，则使合焦物体位置移动到NEAR侧的控制能够利用使对焦镜头220的位置移动到近点侧 (WIDE侧)的控制来实现，使合焦物体位置移动到FAR侧的控制能够利用使对焦镜头220的位置移动到远点侧(TELE侧)的控制来实现。
此外，“优先合焦到离摄像部的距离远的区域”例如是指，在摄像图像中拍摄了离摄像部200的距离为D1的第1被摄体和为D2(<D1)的第2被摄体的情况下，合焦到第1被摄体的可能性比合焦到第2被摄体的可能性高。进行使合焦物体位置优先向 FAR方向移动的控制即可。例如，作为方向判别结果，考虑如下的控制：取得FAR 方向上的评价值pF和NEAR方向上的评价值pN，在满足了pF>thF的情况下，使合焦物体位置向FAR方向移动，在满足了pN>thN的情况下，使合焦物体位置向NEAR 方向移动。在该情况下，设为容易满足pF>thF且难以满足pN>thN即可，具体而言，设定阈值使得thF<thN即可。特别是，如后所述，在评价值是相对于全部有效块的比例的情况下，成为pF+pN＝100(％)。这时，可以设为thF<50(％)<thN(＝100-thF)。即，在评价值的总和固定的情况下，可以通过将阈值设定为偏向FAR侧的值，而不是设为中间的值(总和的1/2)，来实现上述控制。
由此，能够在用户正在关注离摄像部200的距离远的被摄体的可能性大的状况下，合焦到适当的被摄体。例如在以上述内窥镜手术为对象的情况下，摄像图像是活体内图像，所以拍摄在空间上受限的区域。操作摄像部200的用户(例如手术助手) 应该操作摄像部200以便容易观察期望的被摄体，作为一例，使摄像部200移动到与正在关注的活体正对的位置关系。其结果，在取得的摄像图像中作为正在关注的被摄体的活体占据某种程度的区域，且该活体以外的被摄体进入比其靠后的位置(离摄像部200远的位置)的可能性变低。即，在该情况下，可以说处于正在关注的被摄体的距离在摄像图像中最远(或即使不是最远点，也认为十分接近最远点)的状态。此外，如果考虑一边观察摄像图像一边进行手术，则如图2所示，处置器械等有可能作为障碍物被拍摄到活体的近前侧(靠近摄像部200的一侧)，但由于针对它们合焦的优先级低，所以能够抑制合焦到处置器械的可能性。
另外，如上所述，在本实施方式的对焦控制装置为对象的状况下，最远的(位于里侧的)被摄体是正在关注的被摄体的可能性大，但并不排除用户正在关注其他被摄体的可能性。例如，在进行缝合的情况下，需要使用钳子等来以适合于缝合的角度保持针或线的作业等，在该作业中，用户应该正在关注比活体更靠近前的针或线，而不是活体。此外，如使用图15的(A)或图15的(B)进行后述的拉升膜状的活体而作为处置对象的例子那样，有时更靠近前侧的活体还会成为正在关注的被摄体。
即，优先合焦到离摄像部200的距离远的区域的控制是本实施方式中的对焦控制的基础，但在满足了任意的例外条件的情况下，可以进行利用不同的指标的对焦控制。例如，可以通过合焦到离摄像部200的距离近的被摄体，而合焦到针或线，也可以通过合焦到非处置器械且面积大的被摄体，而合焦到位于比较靠近前侧的活体。
以下，对本实施方式详细地进行说明。首先，在说明了本实施方式的对焦控制装置和包含对焦控制装置的内窥镜装置的系统结构例以后，使用流程图来说明本实施方式的处理的流程。最后，设定具体状况来说明本实施方式的具体例子。
2.系统结构例
使用图3，对本实施方式的内窥镜装置(内窥镜系统)进行说明。本实施方式中的内窥镜系统具有：作为插入到体内的插入部的硬性镜100、与硬性镜100连接的摄像部200、处理部300、显示部400、外部I/F部500和光源部600。
光源部600具有产生白色光的白色光源610和将来自白色光源610的射出光引导至硬性镜的光导缆线620。
硬性镜100具有：镜头系统110，其构成为包含成像镜头、中继镜头、目镜等；以及光导部120，其将来自光导缆线620的射出光引导至硬性镜前端。
摄像部200具有物镜系统240，该物镜系统240形成来自镜头系统110的射出光。物镜系统240构成为包含对焦镜头220，该对焦镜头220调整合焦物体位置。摄像部 200还具有：摄像元件250，其对由物镜系统240形成的反射光进行光电转换并生成图像；对焦镜头驱动部230，其驱动对焦镜头220；以及AF按钮(AF开始/结束按钮) 210，其控制AF的开始、结束。对焦镜头驱动部230例如是音圈电机(VCM)。
这里，使用图4，对本实施方式中的摄像元件250的详细内容进行说明。图4是将摄像元件250的一部分放大后的图。如图4所示，摄像元件250按照将多个像素呈 2维排列状配置的构造，在各像素上以拜尔排列配置有RGB中的任意的滤色器。摄像元件250除了具有如图4所示的由拜尔排列构成的滤色器的摄像元件以外，只要是使用了补色滤色器的摄像元件、或不使用滤色器就能够利用1个像素接收不同的波长的光的层叠型的摄像元件、不使用滤色器的单色摄像元件等可拍摄被摄体而得到图像的摄像元件即可，能够使用任意的摄像元件。
处理部300具有：AD转换部310、预处理部320、图像处理部330、AF控制部 340和控制部350。AD转换部310将从摄像元件250依次输出的模拟信号转换为数字的图像，依次输出到预处理部320。预处理部320对从AD转换部310输出的图像实施白平衡、插值处理(去马赛克处理)等图像处理，依次输出到图像处理部330 和AF控制部340。图像处理部330对从预处理部320输出的图像实施颜色转换、灰度转换、边缘强调、缩放处理、降噪等图像处理，将图像依次输出到显示部400。
例如图5所示，AF控制部340具有：区域设定部2010、模式设定部2020、块 AF评价值计算部2030、方向判别部(块方向判别部)2040、置信度计算部2050、块特征量计算部2060、无效块设定部2070、无效帧设定部2075、合焦方向判别部2080 和对焦镜头控制部2090。
区域设定部2010针对摄像图像，设定在AF中使用的区域。这里的区域可以包含AF区域和评价块双方。模式设定部2020进行AF模式的设定。块AF评价值计算部2030以各评价块为对象，计算在AF中使用的评价值。方向判别部2040以各评价块为对象，根据评价值，来判别目标合焦位置的方向(合焦方向)。这里的方向判别结果狭义而言是表示NEAR或FAR的信息。置信度计算部2050以各评价块为对象，计算表示方向判别结果的似然性的置信度。块特征量计算部2060以各评价块为对象，计算特征量。无效块设定部2070根据特征量，设定无效块。这里的无效块表示未在合焦方向判别中使用的评价块。无效帧设定部2075判定是否将处理对象帧自身设定为无效帧。这里的无效帧表示未在合焦方向判别中使用的帧。合焦方向判别部2080 判别合焦方向、即合焦物体位置的移动方向(或者与该移动方向对应的对焦镜头220 的移动方向)。对焦镜头控制部2090进行使对焦镜头220向与所求出的合焦方向对应的方向移动的控制。
另外，关于由AF控制部340的各个部进行的处理的详细内容将后述。此外，图 1中的对焦控制部2095例如可以对应于图5所示的AF控制部340中的去除了区域设定部2010和方向判别部2040后的结构。此外，本实施方式的对焦控制装置可以对应于图5所示的AF控制部340。但是，对焦控制装置的结构不限定于此，能够实施将图1的处理部300整体作为对焦控制装置等各种变形。此外，能够实施省略对焦控制装置的一部分的结构要素或追加其他结构要素等各种变形。此外，关于图3等的其他结构，同样也能够实施各种变形。
控制部350与外部I/F部500或图像处理部330、AF控制部340、摄像元件250、 AF按钮210等相互连接，进行控制信号的输入输出。
显示部400例如是液晶监视器，对从图像处理部330依次输出的图像进行显示。
外部I/F部500是用于由用户进行对内窥镜装置的输入等的接口，构成为包含例如切换AF模式的模式按钮、用于设定AF区域的位置或尺寸的设定按钮、用于调整图像处理的参数的调整按钮等。本实施方式中的内窥镜系统作为AF模式，例如具有用于合焦到活体的活体模式和用于合焦到在内窥镜手术中使用的针或线的针线模式。
3.处理流程
接着，使用图6，对本实施方式中的由AF控制部340进行的AF控制的概要进行说明。在用户操作AF按钮210而开始了AF后，AF控制部340首先开始合焦动作。
在开始了对焦动作后，首先，AF控制部340以与从AD转换部310依次输出的图像的取得时刻同步的方式，开始对焦镜头的颤动动作(S100)。然后，AF控制部340根据通过颤动动作而取得的图像，来判别合焦方向(S100)。关于合焦方向判别 (S100)的详细情况将后述。接着，AF控制部340根据在S100中决定出的合焦方向，来变更颤动的中心位置(S110)。具体而言，如后所述，在S100中决定的合焦方向是“NEAR”“FAR”“UNMOVING(不移动)”中的任意方向。在将合焦方向决定为了“NEAR”的情况下，AF控制部340使颤动的中心位置向使合焦物体位置成为接近摄像元件250的极近侧的方向移动规定量。此外，在将合焦方向决定为了“FAR”的情况下，使颤动的中心位置向使合焦物体位置成为远离摄像元件250的无限远侧的方向移动规定量。并且，在将合焦方向决定为了“UNMOVING”的情况下，颤动的中心位置不发生变更。
接着，AF控制部340进行是否完成了对焦的判断(S120)。这里，AF控制部340 通过进行公知的对焦判定处理等，进行对焦判断即可。在合焦未完成的情况下，AF 控制部340反复进行从S100起的动作，使颤动的中心位置逐渐接近合焦位置。此外，在合焦完成了的情况下，结束对焦镜头220的颤动动作，结束合焦动作。
在合焦动作已结束的情况下，AF控制部340开始待机动作。在开始了待机动作后，AF控制部340检测场景变化(S130)。这里，AF控制部340例如通过使用从预处理部320依次输出的图像来监视例如图像的颜色或亮度的变化或图像的运动等，检测场景变化。接着，AF控制部340进行是否检测到场景变化的判断(S140)。在未检测到场景变化的情况下，反复进行从S130起的动作，在检测到场景变化的情况下，结束待机动作。在待机动作结束了的情况下，AF控制部340再次开始合焦动作。另外，在执行待机动作期间，AF控制部340例如将对焦镜头位置固定到合焦动作结束时的位置，不进行对焦镜头220的驱动。
接着，使用图7，对AF控制部340中的合焦方向判别(S100)的详细内容进行说明。
这里，本实施方式中的AF模式有活体模式和针线模式，例如根据来自上述外部 I/F部500的输入，由控制部350在模式设定部2020中进行设定。此外，可以利用控制部350对由摄像元件250拍摄出的图像数据(摄像图像)进行解析，由此能够根据特定的图像图案或动作等，变更AF模式。模式设定部2020将表现是活体模式还是针线模式的AF模式信息输出到区域设定部(AF区域设定部)2010、无效块设定部 2070、合焦方向判别部2080。
首先，区域设定部2010根据从控制部350输出的AF区域的位置和尺寸等信息，在图像上设定由多个块构成的AF区域(S205)。图8的(A)、图8的(B)示出AF 区域的设定的例子。在图8的(A)、图8的(B)中，外周的矩形表示图像整体，记为A的矩形表示后述AF评价值或置信度等计算对象的区域即评价块。此外，在图8 的(A)、图8的(B)中，设包围评价块全体的范围为AF区域。在图8的(A)中，在图像数据的中央部设定了横向上4个、纵向上3个的合计12个评价块。在图8的 (B)中，在图像的中央部设定了横向上7个、纵向上5个的合计35个评价块。
在活体模式的情况下，区域设定部2010根据从模式设定部2020输出的AF模式信息，设定如图8的(A)那样的评价块。另一方面，在针线模式的情况下，作为对象的被摄体即针或线比活体小，所以如图8的(B)那样设定比活体模式小的评价块。此外，在操作针或线的情况下，多数情况在画面的中央部进行操作，所以将AF区域设定为更小。此外，多数情况下针或线由于重力的影响而被拍摄于图像的中央稍微向下方，所以如图8的(B)那样，可以通过将评价块设定于相对于图像数据的中心向下方偏离的位置，而不是将AF区域设定于图像数据的中央部，更可靠地将拍摄针或线的区域包含在AF区域中。此外，区域之间不一定需要相邻，还可以在区域之间变更大小或形状等。此外，可以根据被摄体或用户的操作等适当进行变更。此外，不一定需要根据模式而变更评价块的设定，例如可以在活体模式和针线模式下设定共用的评价块。区域设定部2010将区域的设定信息输出到块AF评价值计算部2030和块特征量计算部2060。
接着，块AF评价值计算部2030根据从预处理部320输出的图像数据的像素值，计算由区域设定部2010设定的各评价块中的AF评价值(S210)。AF评价值根据是针对块内的被摄体的合焦程度而变大的值。
AF评价值能够根据各评价块中的所拍摄的被摄体的频率特性或亮度分布特性等来进行计算。例如，将带通滤波器应用于各评价块的图像的各像素，在累计了其输出值后，根据带通滤波器的频率特性，各评价块的图像的对比度越高，可获得越大的值。此外，在计算出针对各评价块内的图像的作为亮度分布特性的一例的亮度直方图后，根据直方图的分布范围、方差或标准偏差等，各评价块的图像的对比度越高，可获得越大的值。
此外，这里，可以根据未图示的相位差或图案投影、光场等利用公知方法取得的各评价块的被摄体距离信息，来计算AF评价值。
块AF评价值计算部2030将计算出的各评价块中的AF评价值输出到方向判别部2040和置信度计算部2050。
接着，方向判别部2040根据从块AF评价值计算部2030输出的各评价块的AF 评价值，判别各评价块的合焦方向(S215)。具体而言，将根据在基于颤动动作将对焦镜头向NEAR方向进行了移动时的图像和将对焦镜头向FAR方向进行了移动时的图像而计算出的针对各评价块的AF评价值进行比较，将AF评价值大的方向作为该评价块的合焦方向。这里，NEAR方向表示合焦物体位置成为接近摄像元件250的极近侧的方向，FAR方向表示合焦物体位置成为远离摄像元件250的无限远侧的方向。这里，各评价块的合焦方向判别的结果是NEAR和FAR这2值，但也可以考虑AF 评价值的大小等，对合焦方向输出更多等级的判定结果。此外，在对焦附近进行了颤动的情况下，根据对焦镜头向NEAR方向进行了移动时的图像和对焦镜头向FAR方向进行了移动时的图像而计算出的针对各评价块的AF评价值有可能相等。作为该情况下的处理，例如，针对AF评价值相等的块，输出在前面的帧中判别出的方向，作为该评价块的合焦方向。这里，“AF评价值相等”还包含AF评价值的差比规定阈值小的情况。
方向判别部2040将各评价块的方向判别结果输出到置信度计算部2050和无效块设定部2070。
接着，置信度计算部2050根据从块AF评价值计算部2030输出的各评价块的 AF评价值和从方向判别部2040输出的各评价块的方向判别结果，来计算各评价块的置信度(S225)。这里，置信度是表示各评价块的方向判别结果的似然性的标准。关于各评价块的置信度，例如计算AF评价值的时间方向的变化率，在变化率处于规定范围内的情况下，提高置信度。这里，也可以进行如与变化率成比例地提高置信度的处理。此外，在变化率为规定范围外的情况下，降低置信度。这是因为，变化率过小例如是被摄体不具有充分的对比度的情况或图像发生较大模糊的情况，设想未获得正确的方向判别结果。此外，变化率过大例如是由于被摄体的运动等而使所拍摄的被摄体自身发生了变化的情况或图像发生运动模糊的情况，设想未获得正确的方向判别结果。
这里，根据AF评价值而计算了置信度，但作为其他例子，如图9所示，也可以根据时间方向的评价块的方向判别结果的偏差程度，来计算置信度。
图9示出了根据时间，将某个评价块的方向判别结果依次判别为了FAR、FAR、无效(后述)、NEAR、无效、NEAR、NEAR、NEAR的例子。为了获得该评价块置信度，可以对方向判别结果所连续的次数进行计数，计算与该计数值成比例的值作为置信度。在该情况下，例如，与最后的被判定为NEAR的时刻对应的置信度为2。置信度计算部2050将各块的置信度输出到无效块设定部2070。
接着，块特征量计算部2060根据从预处理部320输出的图像数据和从区域设定部2010输出的AF区域信息，来计算各评价块的特征量(S230)。块特征量是对各评价块的被摄体赋予特征的量，例如是各评价块的颜色信息。块特征量计算部2060将计算出的特征量输出到无效块设定部2070。
此外，块特征量除了颜色信息以外，只要是亮度或边缘量、以及利用未图示的专用传感器等获得的被摄体的温度或窄带光的反射率等至少能够识别是否是活体的特征量即可，能够应用任意的特征量。
接着，无效块设定部2070根据从模式设定部2020输出的AF模式信息、从方向判别部2040输出的各评价块的合焦方向、从块特征量计算部2060输出的各评价块的特征量和从置信度计算部2050输出的各评价块的置信度等，设定无效块(S240)。
图10示出在步骤S240中，无效块设定部2070针对各评价块进行的无效块的设定的一例。
首先，在步骤S242中，针对评价块的置信度进行阈值处理。使置信度比规定阈值小的评价块的方向判别结果无效。在步骤S245中，使用评价块的块特征量，将在评价块中所拍摄的被摄体分类为活体或包含钳子等处置器械的除活体以外的物体。
在步骤S246中，判定从模式设定部2020输出的AF模式是否是针线模式。在步骤S246中判定为不是针线模式的情况下，针对在步骤S245中被分类为包含处置器械的除活体以外的物体的块，在步骤S247中使方向判别结果无效。
此外，在步骤S246中判定为是针线模式的情况下，针对在步骤S245中被分类为活体的块，在步骤S248中使方向判别结果无效。
通过使关注被摄体以外的块无效，能够在后述的对焦镜头220的驱动方向的判别中抑制关注被摄体以外的被摄体的影响，高精度地合焦到关注被摄体。
无效块设定部2070将各评价块的方向判别结果输出到无效帧设定部2075。这里，所输出的合焦方向判别结果成为NEAR、FAR、无效中的任意结果。
接着，无效帧设定部2075根据从无效块设定部2070输出的各评价块的方向判别结果，设定成为无效的帧(S250)。虽然这里记作帧，但将在合焦方向判别S100中使用的图像全体称作帧。因此，如摄像元件250等通过接口输出图像的情况也包含在帧中。具体而言，在合并多个场(field)而成为1张图像的情况下，本实施方式中的“帧”是指该1张图像(狭义的帧)，也可以指多个场的各场。
无效帧设定是为了降低由于在内窥镜手术中产生的雾等的影响而使各评价块的方向判别结果发生偏差并将对焦镜头向非意图的方向驱动的可能性而进行的处理。无效帧设定例如求出帧内的各评价块方向判别结果的偏差度。关于偏差度，例如，如图 11的(A)所示，针对各评价块，将该评价块的方向判别结果与周围的评价块进行比较，对被判定为不同的方向判别结果的周围的评价块数量进行计数，设针对各评价块的计数的总和为偏差度。这样，在周围不具有成为相同的方向判别结果的评价块的情况下，偏差度变高。然后，将偏差度与规定阈值进行比较，在偏差度比规定阈值大的情况下，判断为是由于雾等的影响而无法信赖方向判别结果的帧，如图11的(B) 所示，将针对全部评价块的方向判别结果设定为无效。在全部块为无效的情况下，后述的合焦方向判别部2080以不使对焦镜头移动的方式进行判定(S279)，所以能够防止将对焦镜头向非意图的方向驱动。无效帧设定部2075将各块的方向判别结果输出到合焦方向判别部2080。
接着，合焦方向判别部2080使用从模式设定部2020输出的AF模式信息和从无效帧设定部2075输出的各评价块的合焦方向判别结果，决定最终的合焦方向(S260)。
图12示出在步骤S260中，决定合焦方向判别部2080进行的对焦镜头的驱动方向的处理的一例。在图12中，将评价块的方向判别结果未被判别为无效的评价块称作有效块。对在步骤S262中设定的AF区域内的有效块的数量进行计数。在步骤S264 中有效块的数量为规定阈值以下的情况下，无法信赖关注帧，在步骤S279中，将合焦方向设定为“UNMOVING”。
在步骤S264中有效块数量比规定阈值多的情况下，在步骤S265中对方向判别结果被判别为NEAR的评价块(以下称作NEAR块)的数量进行计数，在步骤S266 中，计算有效块中的NEAR块所占的比例。
在步骤S270中，判定从模式设定部2020输出的AF模式信息是否是针线模式。在AF模式信息为针线模式的情况下，进入到步骤S273，在除此以外(活体模式)的情况下，进入到步骤S272。
在步骤S272中，利用规定阈值进行阈值处理。活体的位置存在于比处置器械的位置靠FAR侧的位置，因此在活体模式下，使合焦物体位置优先移动到FAR侧。为了优先移动到FAR侧，在步骤S272中使用的阈值M设定有效块的一半以上的数量，例如有效块的60％以上(包含该值)的个数。在NEAR块在有效的块全体中占据的比例比规定阈值大的情况下，在步骤S276中，将合焦方向设定为“NEAR”。在NEAR 块在有效的块全体中占据的比例为规定阈值以下的情况下，在步骤S275中，将合焦方向设定为“FAR”。
在步骤S273中，利用规定阈值进行阈值处理。由于把持针或线的处置器械的位置存在于比活体的位置靠NEAR侧的位置，所以在针线模式下，使合焦物体位置优先移动到NEAR侧。为了优先移动到NEAR侧，在步骤S273使用的阈值M设定有效块的一半以下的数量，例如有效块的40％以下(包含该值)的值。在NEAR块在有效的块全体中占据的比例比规定阈值大的情况下，在步骤S278中，将合焦方向设定为“NEAR”。在NEAR块在有效的块全体中占据的比例为规定阈值以下的情况下，在步骤S277中，将合焦方向设定为“FAR”。
合焦方向判别部2080将所决定的合焦方向输出到对焦镜头控制部2090。这里，对焦镜头的驱动方向是“NEAR”“FAR”“UNMOVING”中的任意方向。
然后，如在图6的S110所说明地那样，对焦镜头控制部2090根据所决定的合焦方向，变更颤动的中心位置。
4.本实施方式的具体例
图13的(A)～图14的(D)示出内窥镜中的被摄体的例子。设想了内窥镜中的主要被摄体是活体和钳子等处置器械。在图13的(A)和图14的(A)中，从内窥镜前端部延伸的虚线表示在所设定的区域中能够拍摄的范围，此外，假设图为正面，上侧方向为人体的左手、下侧方向为人体的右手、左侧方向为头部、右侧方向为脚部的视点而进行了描绘。但是，人体与处置器械和内窥镜的位置关系不限定于此。此外，在图13的(A)、图14的(A)中，合焦物体位置表示取得图像时的对焦镜头的合焦位置，将目标合焦位置设为想要利用AF进行合焦的位置。
图13的(A)假设了处置器械进入了目标合焦物体和摄像装置之间的场景。在图13的(A)所示的场景中，用户关注的部分是活体，将活体的表面作为目标合焦物体。图13的(B)～图13的(D)分别表示针对在合焦物体位置为A～C时所拍摄的图像，在模式设定部2020中所设定的AF模式信息被设定为活体模式的情况下的各评价块的合焦方向判别结果。
在图13的(B)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，各评价块的方向判别结果的大部分为FAR，所以合焦方向判别部2080的输出为“FAR”。在图13的(C)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，但由于是活体和处置器械混杂的评价块等，有时被判别为NEAR。这样，即使存在方向判别结果被判别为NEAR 的评价块，有效块中的比率也低，所以在S272中小于设定的阈值M，在S275中将对焦镜头的驱动方向设定为“FAR”。在图13的(D)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，块方向判别结果的大部分为NEAR，所以将对焦镜头的驱动方向设定为“NEAR”。
通过从合焦物体位置A开始了本方法的AF，反复进行S100～S120的处理，使合焦物体位置向目标合焦位置的方向逐渐接近。即使在如合焦物体位置B那样，相对于合焦物体位置，处置器械位于NEAR侧，活体位于FAR侧的情况下，通过反复进行S100～S120的处理，合焦物体位置也不会向错误的方向前进，而是向目标合焦位置方向逐渐移动。此外，在从合焦物体位置C开始本方法的AF的情况下，也通过反复进行S100～S120的处理，使对焦物体处理接近目标合焦位置的方向。
图14的(A)假设了活体分别存在于进深方向上2个阶段的位置的场景，且极近侧的活体面占据大部分并正在关注的场景。作为一例，与如图15的(B)所示的那样使用钳子等将图15的(A)所示的膜状的活体E2提拉起来的场景对应。或者，由于活体在一定程度上具有伸缩性，因此在将在画面的周缘部所拍摄到的活体拉近到图像中央部的情况下，与图15的(B)同样，在比作为背景的活体靠极近侧的位置拍到了不同的活体。通常，在存在近前侧的活体和里侧的活体且正在关注里侧的活体的情况下，调整摄像部自身的位置，近前侧的活体应该处于不进入摄像范围或即使进入了但在AF评价区域上也不占据大区域的状态。例如在图15的(A)的情况中，如果正在关注E1所示的活体，则本来就无需将近前侧的活体E2上提，所以不会成为图15的(B)所示的状况。即，在如图15的(B)等这样近前侧的活体占据AF评价区域数据中的较多区域的情况下，认为目标合焦位置是位于极近侧的活体的表面。图 14的(B)～图14的(D)分别表示针对在合焦物体位置为A～C时所拍摄的图像，在模式设定部2020中设定的模式信息被设定为了活体模式的情况下的各评价块的合焦方向判别结果。
在图14的(B)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，各评价块方向判别结果的大部分为FAR，所以将对焦镜头的驱动方向设定为“FAR”。在图14的(C)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，相对于合焦物体位置B而存在于NEAR侧的被摄体占据AF评价区域部分的大部分，所以被判定为NEAR的评价块增多。因此，在S272中超过所设定的阈值M，在S276中将对焦镜头的驱动方向设定为“NEAR”。在图14的(D)中，通过无效块设定部2070使得拍摄了处置器械的评价块的合焦方向判别结果成为无效，块方向判别结果的大部分为NEAR，所以在 S272中将合焦方向设定为“NEAR”。
通过从合焦物体位置A开始了本方法的AF，反复进行S100～S120的处理，使合焦物体位置逐渐接近目标合焦位置的方向。此外，在从合焦物体位置B开始了本方法的AF的情况下，被NEAR侧的活体所遮挡的FAR侧的活体部分无法取得图像信息，所以合焦物体位置不会向错误的方向前进，而是向目标合焦位置方向移动。此外，在从合焦物体位置C开始本方法的AF的情况下，也通过反复进行S100～S120 的处理，使合焦物体处理接近目标合焦位置的方向。
图16的(A)～图17的(D)示出活体模式和针线模式的不同。如图16的(A)所示，在活体模式下，活体成为关注被摄体，所以处置器械部分的块变为无效，但如图 16的(B)所示，在针线模式下，把持针或线的钳子的前端附近成为关注被摄体，所以使活体块无效。图17的(B)～图17的(D)分别表示针对在合焦物体位置为图17 的(A)的A～C时拍摄的图像，将在模式设定部2020中设定的模式信息设定为了针线模式的情况下的各评价块的合焦方向判别结果。
在图17的(B)中，通过无效块设定部2070使得拍摄了活体的评价块成为无效，有效块中大半部分的评价块的方向判别结果为FAR，所以在S273中小于阈值N，在 S278中将合焦方向设定为“FAR”。在图17的(C)中，通过无效块设定部2070使得拍摄了活体的评价块的方向判别结果成为无效，但在活体和钳子混杂的评价块等中有时被判别为“FAR”。但是，有效块中的方向判别结果为NEAR的评价块的比例增加，所以在S273中超过阈值N，在S278中将合焦方向设定为“NEAR”。在图17的(D) 中，通过无效块设定部2070使得拍摄了活体的评价块成为无效，有效块内的大半部分的评价块的方向判别结果为NEAR，所以在S273中低于阈值N，在S278中，将合焦方向设定为“NEAR”。
通过从合焦物体位置A开始了本方法的AF，反复进行S100～S120的处理，使合焦物体位置向目标合焦位置的方向逐渐移动。即使在如合焦物体位置B那样，相对于合焦物体位置，处置器械位于NEAR侧，活体位于FAR侧的情况下，通过反复进行S100～S120的处理，合焦物体位置也不会向错误的方向前进，而是向目标合焦位置方向逐渐移动。此外，在从合焦物体位置C开始本方法的AF的情况下，通过反复进行S100～S120的处理，也使合焦物体位置向目标合焦位置的方向逐渐移动。
图18示出到合焦物体位置与目标合焦位置一致为止的颤动的中心位置的移动例。在图18中，通过从NEAR方向开始AF并反复进行步骤S100～S120，使合焦物体位置接近目标合焦位置。由于合焦物体位置的移动，合焦物体位置有时来到比目标合焦位置靠FAR侧的位置。通过对在合焦物体位置来到比目标合焦位置靠FAR侧的位置的时刻拍摄到的图像进行步骤S100～S120的处理，合焦方向成为“NEAR”。如图18所示，经过一定时间后的合焦物体位置在目标物体位置附近稳定地移动，所以在通过S120的合焦判断处理而判定为合焦的时刻，合焦物体位置成为非常接近目标物体位置的位置。
以上，根据本实施方式，在内窥镜中，使用针对各评价区域的方向判别结果来估计用户正在关注的区域，根据估计结果来驱动对焦镜头，由此用户不进行复杂的操作，就能够合焦到关注被摄体。此外，在针线模式的情况下，通过变更用户正在关注的区域的估计方法，不会始终合焦到活体，而能够合焦到关注被摄体。
此外，对焦控制部2095根据方向判别结果，求出被判定为NEAR的区域的面积信息和被判定为FAR的区域的面积信息中的至少一方，根据面积信息是否满足给定条件，来决定是进行使合焦物体位置移动到NEAR侧的对焦控制，还是进行使合焦物体位置移动到FAR侧的对焦控制。
这里的面积信息只要是表示面积的信息即可，不限于面积本身。例如，如图8 的(A)、图8的(B)所示，在各区域(各评价块)的尺寸相同的情况下，面积为与评价块的数量成比例的信息，所以可以将被判定为NEAR的评价块数量或被判定为 FAR的评价块数量作为上述面积信息。此外，面积信息可以是相对值，例如可以表示相对于给定区域的面积的比例。具体而言，如上所述，可以将被判定为NEAR的评价块的面积或数量相对于有效块(评价块中的作为非无效块的块)的面积或数量的比例作为面积信息。此外，作为比例的基准的区域不限定于有效块，也可以将相对于 AF区域的比例或相对于摄像图像整体的比例等作为面积信息。但是，在变更作为比例的基准的区域的情况下，优选还变更在移动方向判定中使用的判定基准(阈值等)。
由此，能够使用面积信息来决定合焦物体位置的移动方向(合焦方向)。如图12 的S272、S273所示，在上述说明中，求出了NEAR块的比例作为面积信息，但也可以使用FAR块的面积信息。如上所述，在本实施方式中，假设以能够在容易观察期望的被摄体的状态下进行拍摄的方式，操作摄像部200自身。即，正在关注的被摄体在摄像图像上占据较大的面积的可能性大，通过使用面积信息，能够适当判别正在关注的被摄体，从而合焦到该被摄体。但是，在本实施方式的活体模式下，具有使远离摄像部200的被摄体优先的原则，所以在设定了活体模式的情况下，向NEAR方向的移动的优先级变低。即，作为上述给定条件，考虑使合焦物体位置移动到NEAR 侧的条件和移动到FAR侧的条件，但向NEAR侧的移动条件比向FAR侧的移动条件严格。
此外，对焦控制部2095可以进行如下对焦控制：在利用被判定为NEAR的区域的面积信息表示的值为给定NEAR面积阈值以下的情况或利用被判定为FAR的区域的面积信息表示的值为给定FAR面积阈值以上的情况下，使合焦物体位置移动到 FAR侧，在利用被判定为NEAR的区域的面积信息表示的值比NEAR面积阈值大的情况或利用被判定为FAR的区域的面积信息表示的值比FAR面积阈值小的情况下，使合焦物体位置移动到NEAR侧。
这里，在与NEAR侧的面积信息的比较处理中使用的NEAR面积阈值是图12的 S272所示的M或S273所示的N。此外，在以上的说明中，未特别进行FAR侧的面积信息和FAR面积阈值的比较处理。这是因为，如上所述，在将各面积信息作为相对于有效块的比例的情况下，NEAR侧的面积信息的值和FAR侧的面积信息的值之和为100(％)。即，如果设为FAR面积阈值＝100-NEAR侧面积阈值(％)，则“NEAR 侧的面积信息为NEAR面积阈值以下”的条件和“FAR侧的面积信息为FAR面积阈值以上”的条件是同义的，判定这两方的意义不大。但是，能够对阈值的设定或具体的判定方法实施各种变形，使得能够对面积信息实施各种变形。
由此，能够通过阈值判定来判别合焦方向。此时，通过适当变更阈值，能够进行灵活的判定处理。例如，如上所述，如果将活体模式下的NEAR判定阈值(＝M)设定得较大，只要被判定为NEAR的区域没有足够大，则移动到FAR侧，所以能够进行优先合焦到远离摄像部200的被摄体的控制。这里的M例如是大于50的值(狭义而言是50～70等)，在该情况下，在摄像图像中，只要被判定为NEAR的区域超过半数而不成为优势，合焦方向为FAR。此外，如果是相对于合焦到远的被摄体这样的原则的例外模式、即针线模式，通过将比M小的值即N设定为NEAR面积阈值，由此还能够优先合焦到接近摄像部200的被摄体。
此外，对焦控制部2095根据给定区域中的方向判别结果的时序变化，来进行校正针对给定区域的方向判别结果的校正处理，根据校正处理后的方向判别结果，来决定是进行使合焦物体位置移动到NEAR侧的对焦控制，还是进行使合焦物体位置移动到FAR侧的对焦控制。
在使用上述流程图的处理的说明中，针对各评价块的方向判别结果之后未发生变更。但是，也能够实施对方向判别结果进行校正处理，根据情况，变更一次求出的方向判别结果的变形。关于置信度，如图9所述那样，一般而言在着眼于给定块的情况下，方向判别结果是相同的结果连续的可能性高。例如，在图13的(A)中设A为与颤动中心位置对应的合焦物体位置的起点的情况下，在有效块、即拍摄了活体的块中，合焦方向应该短暂稳定在FAR。这是因为认为如果通过1次移动使颤动中心位置从A变化到C，则难以进行合焦物体位置的高精度的调整，中心位置从A向C的方向一点点地变化。
此外，如未设定无效块的情况或在设定了无效块的1个块中混合存在活体和处置器械的情况那样，在使用在活体模式下拍摄了处置器械的块的方向判别结果的情况下，在合焦物体位置为处置器械位置的D附近，NEAR、FAR的结果发生变化。但是，如果分别考虑D之前和D以后，则方向判别结果应该是稳定的。
当然，在作为正解的对焦位置的附近，颤动的中心位置如图18所示地进行振动，拍摄了目标被摄体的评价块中的方向判别结果也是NEAR、FAR频繁地发生变化。但是，可以说如果去除这样的例外的状况，则可以说很难想象方向判别结果频繁地发生变化的情况。
在上述的说明中，考虑以上的内容，可以在置信度的计算中使用方向判别结果在时序变化。但是，处理不限定于此，也可以根据方向判别结果在时序变化，校正方向判别结果。例如，在NEAR连续的状况下方向判别结果突然成为了FAR的情况下，可以将该FAR认为是误判定，将判别结果修正为NEAR。特别是在可以不进行实时处理的情况下，能够取得比处理对象帧在时间上靠后的帧的方向判别结果。在该情况下，还能够检测在NEAR连续之后成为FAR且然后又变成NEAR连续这样的状况。在这样的情况下，FAR是误判定的可能性非常大，将被判定为FAR的帧的方向判别结果校正为NEAR即可。
此外，对焦控制部2095可以具有第1模式和第2模式，在该第1模式下，优先合焦到多个区域中的离摄像部200的距离远的区域，在该第2模式下，优先合焦到多个区域中的离摄像部200的距离近的区域。
这里，第1模式狭义而言是活体模式，第2模式狭义而言是针线模式(处置器械模式)。由此，不仅使离摄像部200的距离远的区域优先，还能够灵活地变更对焦控制。如上所述，使离摄像部200远的区域优先是因为，在以活体内图像为对象的情况下，能够判定为在该区域中拍摄了作为关注被摄体的活体的可能性大。即，如果活体本身不是关注被摄体，则还出现如下的状况：通过使离摄像部200远的区域优先，反倒无法合焦到正在关注的被摄体。在该方面，如果利用模式来切换对焦控制，则能够灵活地应对各种状况。
此外，对焦控制部2095可以根据用户的操作，来进行第1模式和第2模式的切换。
由此，能够利用用户的操作，进行模式切换。另外，用户的操作例如可以使用操作部来进行，该操作部可以是设置于摄像部200的操作部，也可以是作为外部I/F部 500来实现的操作部。此外，可以利用其他方法进行模式切换，例如还能够实施利用对焦控制装置的自动切换等的变形。
此外，对焦控制部2095可以在第1模式下，使用第1条件作为所述给定条件进行对焦控制，在第2模式下，使用与第1条件不同的第2条件作为所述给定条件进行对焦控制。
这里的给定条件是指以面积信息为对象的条件，且是决定是进行使合焦物体位置移动到NEAR侧的对焦控制，还是进行使合焦物体位置移动到FAR侧的对焦控制的条件。
由此，能够根据模式，变更使合焦物体位置移动时使用的条件。换言之，通过根据模式来变更条件，能够对是使离摄像部200远的区域优先还是使近的区域优先进行变更。例如，如上所述，在以利用面积信息表示的值相对于阈值满足给定关系为条件的情况下，条件的变更相当于阈值的变更。如图12的S272、S273所示，在将NEAR 块的面积信息和NEAR面积阈值进行比较的情况下，在第1模式(活体模式)下，设NEAR面积阈值为M，在第2模式(针线模式)下，设NEAR面积阈值为N(<M)。这里的NEAR面积阈值的值与上述相同，可以设为能够判定被判定为NEAR的区域是否成为优势的值。例如，M是与比有效块(无效块以外的评价块)的总面积的50％大的面积对应的值。
此外，对焦控制部2095可以求出多个区域的各区域的特征量，并根据特征量，设定不成为决定使合焦物体位置移动的方向的处理对象的无效区域。
由此，能够进行使用了各区域的特征量的处理。具体而言，可以根据特征量，判定在各区域中所拍摄的被摄体。在该情况下，通过使用特征量，能够针对各区域，判定在该区域中是否拍摄了正在关注的被摄体。因此，针对未拍摄有正在关注的被摄体的区域，设定为无效区域(无效块)并从之后的处理中排除，由此能够抑制合焦到不适当的区域的可能性。
具体而言，对焦控制部2095可以根据特征量，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为无效区域。并且，具体而言，对焦控制部2095 可以在第1模式下，将被判定为拍摄了活体以外的被摄体的区域设定为无效区域，在第2模式下，将被判定为拍摄了活体的区域设定为无效区域。
由此，能够根据模式，将适当的区域设定为无效区域。具体而言，在活体模式下，如果将活体以外作为无效区域，则能够抑制合焦到活体以外的被摄体的情况，如果为非活体模式的模式(狭义而言是针线模式)，则如果将活体作为无效区域，能够抑制合焦到活体。
另外，以上对无效区域进行了说明，但也可以设定有效区域，以该有效区域为对象进行决定使合焦物体位置移动的方向的处理。具体而言，对焦控制部2095可以求出多个区域的各自的特征量，并根据特征量，设定多个区域中的有效区域，该有效区域成为决定使合焦物体位置移动的方向的处理对象。
即使这样，也能够选择拍摄了正在关注的被摄体的区域，作为之后的处理的对象，所以抑制合焦到不适当的区域的可能性。
具体而言，对焦控制部2095可以根据特征量，将多个区域中的被判定为拍摄了活体的区域设定为有效区域。并且，具体而言，对焦控制部2095在第1模式下，将被判定为拍摄了活体的区域设定为有效区域，在第2模式下，将判定为拍摄了活体以外的被摄体的区域设定为有效区域即可。
并且可以说，也无需将各区域针对决定使合焦物体位置移动的方向的处理的权重(贡献度)限定为1和0中的任意一个，可以设定中间的值。这里，权重为1对应于有效区域或非无效区域的区域，权重为0对应于无效区域或非有效区域的区域。具体而言，对焦控制部2095可以求出多个区域各自的特征量，并根据特征量设定权重信息，该权重信息表示决定使合焦物体位置移动的方向的处理中的各区域的权重。
在该情况下，对焦控制部2095在第1模式下，将被判定为拍摄了活体的(被判定为拍摄了活体的可能性大的)区域的权重设定得较大，在第2模式下，将被判定为拍摄了活体以外的(被判定为拍摄了活体以外的可能性大的)区域的权重设定得较大即可。具体而言，事先设定与活体对应的特征量，使用从各区域求出的特征量和与活体对应的特征量的相关即可。相关越高，则拍摄了活体的可能性越大，所以在第1 模式下，权重增大，在第2模式下，权重减小。同样，可以事先设定与活体以外对应的特征量，使用从各区域求出的特征量和与活体以外对应的特征量的相关。在该情况下，相关越大，则拍摄了活体以外的可能性越大，所以在第1模式下，权重减小，在第2模式下，权重变大。考虑求出相关的高低的各种方法，但例如也可以设为，求出特征量之间的马氏距离，距离越短，相关越大。
在设定权重信息的情况下，在决定合焦物体位置的移动方向时，进行利用权重信息的加权，而不是直接使用面积信息。作为一例，可以在各评价块中求出面积信息×权重信息的值，设被判定为NEAR的全部评价块中的面积信息×权重信息的值的总和为NEAR块的面积信息。关于此点，使用FAR块的面积信息的情况也相同。
此外，方向判别部2040可以求出表示各区域中的方向判别结果的似然性的置信度。
由此，能够判定是否能够信赖方向判别结果。此时，如图10等所示，对焦控制部2095可以根据置信度，来设定无效区域，该无效区域不成为决定使合焦物体位置移动的方向的处理对象。由此，在无法信赖给定区域中的方向判别结果的情况下，能够将该区域作为处理对象外，所以能够抑制将不适当的方向作为合焦方向的可能性。
此外，相比通过对焦控制部2095设定了第1模式的情况，可以在设定了第2模式的情况下，区域设定部2010变更所设定的区域的位置、尺寸和数量中的至少1个。
由此，能够根据模式，狭义而言根据各模式所设想的关注被摄体，设定适当的区域。在图8的(B)所示的第2模式下，与图8的(A)所示的第1模式相比，区域 (评价块)的尺寸变小，数量增加。这是由于如上所述，相比在第1模式下设想的活体，在第2模式下设想的针或线是小且细的被摄体。此外，如上所述，在第2模式下，相比第1模式，可以使AF区域偏向图像的下部，在该情况下，评价块的位置也发生变化。
此外，方向判别部2040可以将基于取得了作为方向判别处理的对象的摄像图像的时刻的合焦物体位置的位置作为基准位置，进行方向判别处理。
具体而言，在本实施方式中，假设了基于颤动的对焦控制。在该情况下，在各处理时刻，只要能够判别使合焦物体位置相对于当前位置向哪一个方向移动就足够了。即，该情况下的作为NEAR和FAR的基准的基准位置设为与处理对象时刻对应的合焦物体位置或者此处决定的位置即可，具体而言，使用与颤动的中心位置对应的合焦物体位置即可。
此外，方向判别部2040可以从包含第1摄像图像和第2摄像图像的多个摄像图像中，针对各区域计算AF评价值，根据在第1摄像图像中计算出的AF评价值和在第2摄像图像中计算出的AF评价值的比较处理，来进行方向判别处理，其中，该第 1摄像图像是在合焦物体位置与基准位置相比NEAR侧的状态下拍摄的图像，该第2 摄像图像是在合焦物体位置与基准位置相比靠FAR侧的状态下拍摄的图像。
由此，作为对焦控制，能够执行基于颤动的控制。具体而言，如上所述，判别在各处理时刻使合焦物体位置相对于当前位置向哪一个方向移动即可，并且具体而言，比较使合焦物体位置相对于当前位置(基准位置)分别向NEAR侧和FAR侧偏移时的图像即可。此外，可以在该比较处理中使用对比度值等AF评价值。
此外，本实施方式的对焦控制装置还能够根据不同的观点来理解。具体而言，本实施方式的对焦控制装置可以包含：图像取得部(狭义而言是与如图3的AD转换部310这样的摄像部200的接口，但不限定于此)，其取得由摄像部200拍摄的摄像图像；以及对焦控制部2095，其进行基于颤动的对焦控制。而且，在与颤动的基准位置对应的合焦物体位置位于活体和处置器械之间的情况下，对焦控制部2095在相对于与颤动的基准位置对应的合焦物体位置，设活体的方向为第1方向、处置器械的方向为第2方向的情况下，相比第2方向更优先第1方向来进行使合焦物体位置移动的基于颤动的对焦控制。
如上所述，在以拍摄了活体的图像(狭义而言是活体内图像)为对象的情况下，用户的关心面向活体，处置器械等在对焦控制中成为障碍物的可能性大。因此，设为基于颤动的合焦物体位置的移动方向(与颤动中心位置对应的合焦物体位置的移动方向)容易移动到活体即可。
考虑各种具体的实现方法，但例如，对焦控制部2095可以根据从摄像图像求出的特征量，来判别在摄像图像中拍摄的被摄体是否是活体，将合焦到被判定为活体的被摄体的方向作为第1方向，进行基于颤动的对焦控制。
在该情况下，与上述无效块的设定方法同样，能够判别各区域的被摄体是活体还是活体以外，所以如果以被判定为活体的区域为对象来执行对焦控制，则能够优先第 1方向。
或者，即使不直接判定是否是活体，也能够进行在结果上优先了是活体的可能性大的区域的对焦控制。例如，对焦控制部2095可以根据摄像图像的各区域的面积信息，将摄像图像中的被判定为面积大的区域判定为是与活体对应的区域，将合焦到被判定为与活体对应的区域的方向作为第1方向，进行基于颤动的对焦控制。
在该情况下，未必使用颜色等信息，所以未直接获知在各区域中摄像到的被摄体是否是活体。但是如上所述，在本实施方式假设的状况下，正在关注活体的可能性大，且正在关注的被摄体在摄像图像中占据大部分的可能性大。即，如果考虑图像上的面积信息，则能够判别被估计为可能是活体的区域。换言之，如果进行基于面积信息的对焦控制，其结果，能够执行优先了活体的对焦控制。
此外，以上的本实施方式不限定于对焦控制装置，能够应用于包含对焦控制装置的内窥镜装置(内窥镜系统)。具体而言，可以是如图3所示的内窥镜系统。在该情况下，能够实现如下内窥镜装置：摄像图像成为活体内图像，能够优先合焦到离摄像部200远的活体，并还根据需要合焦到近前侧的活体或处置器械等。
此外，本实施方式的对焦控制装置等可以包含处理器和存储器。这里的处理器例如可以是CPU(Central Processing Unit：中央处理器)。但是，处理器不限于CPU，还能够使用GPU(Graphics Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等各种处理器。并且处理器可以是基于ASIC(application specificintegrated circuit：面向特定用途的集成电路)的硬件电路。此外，存储器存储可由计算机读取的指令，通过由处理器执行该指令，实现本实施方式的对焦控制装置等的各部件。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。此外，这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。
此外，虽然如以上那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解到，可以进行实质上未脱离本发明的新颖事项以及效果的多种变形。因此，这样的变形例全部包含在本发明的范围内。例如，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。此外，对焦控制装置、内窥镜装置等的结构、动作也不限于本实施方式所说明的内容，可实施各种变形。
标号说明
100：硬性镜；110：镜头系统；120：光导部；200：摄像部；210：AF按钮；220：对焦镜头；230：对焦镜头驱动部；240：物镜系统；250：摄像元件；300：处理部； 310：AD转换部；320：预处理部；330：图像处理部；340：AF控制部；350：控制部；400：显示部；500：外部I/F部；600：光源部；610：白色光源；620：光导缆线；2010：区域设定部；2020：模式设定部；2030：块AF评价值计算部；2040：方向判别部；2050：置信度计算部；2060：块特征量计算部；2070：无效块设定部；2075：无效帧设定部；2080：合焦方向判别部；2090：对焦镜头控制部；2095：对焦控制部。

Claims (24)

1.一种对焦控制装置，其特征在于，包含：
区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域包含多个像素的多个区域；
方向判别部，其在所设定的多个所述区域的一部分或全部区域中，进行判别作为合焦物体位置的目标的目标合焦位置相对于拍摄了所述摄像图像时的所述合焦物体位置是位于NEAR还是位于FAR，针对所述各区域求出方向判别结果的方向判别处理；以及
对焦控制部，其根据所述方向判别结果，执行优先合焦到多个所述区域中的离所述摄像部的距离远的区域的对焦控制，
所述对焦控制部根据所述方向判别结果，求出被判定为所述NEAR的区域的面积信息和被判定为所述FAR的区域的所述面积信息中的至少一方，根据所述面积信息是否满足给定条件，来决定是进行使所述合焦物体位置移动到NEAR侧的所述对焦控制，还是进行使所述合焦物体位置移动到FAR侧的所述对焦控制。
2.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部进行如下的所述对焦控制：
在利用被判定为所述NEAR的所述区域的所述面积信息表示的值为给定的NEAR面积阈值以下的情况或利用被判定为所述FAR的所述区域的所述面积信息表示的值为给定的FAR面积阈值以上的情况下，使所述合焦物体位置移动到所述FAR侧，
在利用被判定为所述NEAR的所述区域的所述面积信息表示的值比所述NEAR面积阈值大的情况或利用被判定为所述FAR的所述区域的所述面积信息表示的值比所述FAR面积阈值小的情况下，使所述合焦物体位置移动到所述NEAR侧。
3.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部根据给定区域中的所述方向判别结果的时序变化，来进行校正针对所述给定区域的所述方向判别结果的校正处理，根据所述校正处理后的所述方向判别结果，来决定是进行使所述合焦物体位置移动到NEAR侧的所述对焦控制，还是进行使所述合焦物体位置移动到FAR侧的所述对焦控制。
4.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，优先合焦到多个所述区域中的离所述摄像部的距离远的区域，在该第2模式下，优先合焦到多个所述区域中的离所述摄像部的距离近的区域。
5.根据权利要求4所述的对焦控制装置，其特征在于，
所述对焦控制部根据用户的操作，来进行所述第1模式和所述第2模式的切换。
6.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，优先合焦到多个所述区域中的离所述摄像部的距离远的区域，在该第2模式下，优先合焦到多个所述区域中的离所述摄像部的距离近的区域，
在所述第1模式下，使用第1条件作为所述给定条件进行所述对焦控制，在所述第2模式下，使用与所述第1条件不同的第2条件作为所述给定条件进行所述对焦控制。
7.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域各自的特征量，并根据所述特征量设定权重信息，该权重信息表示决定使所述合焦物体位置移动的方向的处理中的所述各区域的权重。
8.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域的所述各区域的特征量，并根据所述特征量设定无效区域，该无效区域不成为决定使所述合焦物体位置移动的方向的处理的对象。
9.根据权利要求8所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域。
10.根据权利要求8所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，优先合焦到多个所述区域中的离所述摄像部的距离远的区域，在该第2模式下，优先合焦到多个所述区域中的离所述摄像部的距离近的区域，
在所述第1模式下，将多个所述区域中的被判定为拍摄了活体以外的被摄体的区域设定为所述无效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体的区域设定为所述无效区域。
11.根据权利要求1所述的对焦控制装置，其特征在于，
所述对焦控制部求出多个所述区域的所述各区域的特征量，并根据所述特征量设定有效区域，该有效区域是多个所述区域中的成为决定使所述合焦物体位置移动的方向的处理的对象的区域。
12.根据权利要求11所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述特征量，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域。
13.根据权利要求11所述的对焦控制装置，其特征在于，
所述对焦控制部具有第1模式和第2模式，在该第1模式下，优先合焦到多个所述区域中的离所述摄像部的距离远的区域，在该第2模式下，优先合焦到多个所述区域中的离所述摄像部的距离近的区域，
在所述第1模式下，将多个所述区域中的被判定为拍摄了活体的区域设定为所述有效区域，在所述第2模式下，将多个所述区域中的被判定为拍摄了所述活体以外的被摄体的区域设定为所述有效区域。
14.根据权利要求1所述的对焦控制装置，其特征在于，
所述方向判别部求出表示所述各区域中的所述方向判别结果的似然性的置信度。
15.根据权利要求14所述的对焦控制装置，其特征在于，
所述对焦控制部根据所述置信度，设定不成为决定使所述合焦物体位置移动的方向的处理的对象的无效区域。
16.根据权利要求4所述的对焦控制装置，其特征在于，
在由所述对焦控制部设定了所述第2模式的情况下，与设定了所述第1模式的情况相比，所述区域设定部变更所设定的所述区域的位置、尺寸和数量中的至少1个。
17.根据权利要求1所述的对焦控制装置，其特征在于，
所述方向判别部将基于取得了作为所述方向判别处理的对象的所述摄像图像的时刻的所述合焦物体位置的位置作为所述拍摄了所述摄像图像时的所述合焦物体位置，进行所述方向判别处理。
18.一种对焦控制装置，其特征在于，包含：
区域设定部，其针对由摄像部拍摄的摄像图像，设定各区域包含多个像素的多个区域；
方向判别部，其在所设定的多个所述区域的一部分或全部区域中，进行判别作为合焦物体位置的目标的目标合焦位置相对于拍摄了所述摄像图像时的所述合焦物体位置是位于NEAR还是位于FAR，针对所述各区域求出方向判别结果的方向判别处理；以及
对焦控制部，其根据所述方向判别结果，执行优先合焦到多个所述区域中的离所述摄像部的距离远的区域的对焦控制，
所述方向判别部根据包括第1摄像图像和第2摄像图像的多个所述摄像图像中，针对所述各区域计算AF评价值，根据用所述第1摄像图像计算出的所述AF评价值和用所述第2摄像图像计算出的所述AF评价值的比较处理，进行所述方向判别处理，所述第1摄像图像是在所述合焦物体位置相比所述拍摄了所述摄像图像时的所述合焦物体位置靠NEAR侧的状态下拍摄的图像，所述第2摄像图像是在所述合焦物体位置相比所述拍摄了所述摄像图像时的所述合焦物体位置靠FAR侧的状态下拍摄的图像。
19.一种对焦控制装置，其特征在于，包含：
图像取得部，其取得由摄像部拍摄的摄像图像；以及
对焦控制部，其进行基于颤动的对焦控制，
在与所述颤动的拍摄了所述摄像图像时的合焦物体位置对应的所述合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，所述对焦控制部在相对于与所述颤动的所述拍摄了所述摄像图像时的所述合焦物体位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的基于所述颤动的所述对焦控制，
其中，所述对焦控制部根据所述摄像图像的各区域的面积信息，将所述摄像图像中的被判定为面积大的区域判定为是与所述活体对应的区域，将合焦到被判定为与所述活体对应的所述区域的方向作为所述第1方向，进行基于所述颤动的所述对焦控制。
20.一种对焦控制装置，其特征在于，包含：
图像取得部，其取得由摄像部拍摄的摄像图像；以及
对焦控制部，其进行基于颤动的对焦控制，
在与所述颤动的拍摄了所述摄像图像时的合焦物体位置对应的所述合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，所述对焦控制部在相对于与所述颤动的所述拍摄了所述摄像图像时的所述合焦物体位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的基于所述颤动的所述对焦控制，
其中，所述对焦控制部根据从所述摄像图像求出的特征量，判别在所述摄像图像中所拍摄的被摄体是否是所述活体，将合焦到被判定为所述活体的被摄体的方向作为所述第1方向，进行基于所述颤动的所述对焦控制。
21.一种内窥镜装置，其中，
该内窥镜装置包含权利要求1～20中的任意一项所述的对焦控制装置。
22.一种对焦控制装置的控制方法，其特征在于，
针对由摄像部拍摄的摄像图像，设定各区域包含多个像素的多个区域，
在所设定的多个所述区域的一部分或全部区域中，进行判别作为合焦物体位置的目标的目标合焦位置相对于拍摄了所述摄像图像时的所述合焦物体位置是位于NEAR还是位于FAR，针对所述各区域求出方向判别结果的方向判别处理，
根据所述方向判别结果，执行优先合焦到多个所述区域中的离所述摄像部的距离远的区域的对焦控制，
作为所述对焦控制，根据所述方向判别结果，求出被判定为所述NEAR的区域的面积信息和被判定为所述FAR的区域的所述面积信息中的至少一方，根据所述面积信息是否满足给定条件，来决定是进行使所述合焦物体位置移动到NEAR侧的所述对焦控制，还是进行使所述合焦物体位置移动到FAR侧的所述对焦控制。
23.一种对焦控制装置的控制方法，其特征在于，
取得由摄像部拍摄的摄像图像，
在与颤动的拍摄了所述摄像图像时的合焦物体位置对应的所述合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，在相对于与所述颤动的所述拍摄了所述摄像图像时的所述合焦物体位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的基于所述颤动的对焦控制，
其中，根据所述摄像图像的各区域的面积信息，将所述摄像图像中的被判定为面积大的区域判定为是与所述活体对应的区域，将合焦到被判定为与所述活体对应的所述区域的方向作为所述第1方向，进行基于所述颤动的所述对焦控制。
24.一种对焦控制装置的控制方法，其特征在于，
取得由摄像部拍摄的摄像图像，
在与颤动的拍摄了所述摄像图像时的合焦物体位置对应的所述合焦物体位置位于活体与针对所述活体的处置所使用的处置器械之间的情况下，在相对于与所述颤动的所述拍摄了所述摄像图像时的所述合焦物体位置对应的所述合焦物体位置而将所述活体的方向设为第1方向、将所述处置器械的方向设为第2方向的情况下，相比所述第2方向更优先所述第1方向来进行使所述合焦物体位置移动的基于所述颤动的对焦控制，
其中，根据从所述摄像图像求出的特征量，判别在所述摄像图像中所拍摄的被摄体是否是所述活体，将合焦到被判定为所述活体的被摄体的方向作为所述第1方向，进行基于所述颤动的所述对焦控制。
CN201480083753.1A 2014-12-02 2014-12-02 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 Active CN107005647B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081805 WO2016088187A1 (ja) 2014-12-02 2014-12-02 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法

Publications (2)

Publication Number Publication Date
CN107005647A CN107005647A (zh) 2017-08-01
CN107005647B true CN107005647B (zh) 2020-08-11

Family

ID=56091168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083753.1A Active CN107005647B (zh) 2014-12-02 2014-12-02 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法

Country Status (5)

Country Link
US (1) US10517467B2 (zh)
JP (1) JP6453905B2 (zh)
CN (1) CN107005647B (zh)
DE (1) DE112014007145T5 (zh)
WO (1) WO2016088187A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2017122348A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
WO2018116371A1 (ja) * 2016-12-20 2018-06-28 オリンパス株式会社 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法
CN108206914B (zh) * 2017-09-06 2021-06-15 中兴通讯股份有限公司 一种对焦方法及装置、终端
CN108600629B (zh) * 2018-05-04 2020-08-21 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
JP7065202B2 (ja) * 2018-11-06 2022-05-11 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
JP7452177B2 (ja) 2020-03-27 2024-03-19 ソニーグループ株式会社 医療用観察システム、制御装置、制御方法、および撮像装置
WO2023100475A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置及びその作動方法
CN117456000B (zh) * 2023-12-20 2024-03-29 杭州海康慧影科技有限公司 一种内窥镜的对焦方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110305446A1 (en) * 2010-06-15 2011-12-15 Kei Itoh Imaging apparatus, focus position detecting method, and computer program product
CN103561632A (zh) * 2011-05-27 2014-02-05 奥林巴斯株式会社 内窥镜装置
CN103874951A (zh) * 2011-10-11 2014-06-18 奥林巴斯株式会社 对焦控制装置、内窥镜系统和对焦控制方法
CN104053392A (zh) * 2012-01-17 2014-09-17 奥林巴斯株式会社 内窥镜装置、内窥镜装置用操作装置和内窥镜装置的控制方法
US20140300799A1 (en) * 2013-04-05 2014-10-09 Olympus Corporation Imaging device, method for controlling imaging device, and information storage device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6317417A (ja) * 1986-06-09 1988-01-25 Minolta Camera Co Ltd 焦点検出装置
JPS6477008A (en) * 1988-08-08 1989-03-23 Minolta Camera Kk Automatic focusing device
US5416515A (en) 1992-09-28 1995-05-16 Fuji Photo Film Co., Ltd. Video camera and photometric method therein, image pick-up apparatus and method, and photometric method and focusing control method in said image pick-up apparatus
JP3143245B2 (ja) * 1992-12-22 2001-03-07 富士写真フイルム株式会社 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP2006110055A (ja) * 2004-10-14 2006-04-27 Olympus Corp 内視鏡装置及び内視鏡システム
JP4661269B2 (ja) 2005-03-01 2011-03-30 カシオ計算機株式会社 撮影装置及びプログラム
JP5028930B2 (ja) * 2006-09-28 2012-09-19 株式会社ニコン 焦点検出装置および撮像装置
JP5953049B2 (ja) * 2012-01-24 2016-07-13 オリンパス株式会社 内視鏡システム
JP2014126612A (ja) * 2012-12-25 2014-07-07 Canon Inc 撮像装置およびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110305446A1 (en) * 2010-06-15 2011-12-15 Kei Itoh Imaging apparatus, focus position detecting method, and computer program product
CN103561632A (zh) * 2011-05-27 2014-02-05 奥林巴斯株式会社 内窥镜装置
CN103874951A (zh) * 2011-10-11 2014-06-18 奥林巴斯株式会社 对焦控制装置、内窥镜系统和对焦控制方法
CN104053392A (zh) * 2012-01-17 2014-09-17 奥林巴斯株式会社 内窥镜装置、内窥镜装置用操作装置和内窥镜装置的控制方法
US20140300799A1 (en) * 2013-04-05 2014-10-09 Olympus Corporation Imaging device, method for controlling imaging device, and information storage device

Also Published As

Publication number Publication date
JP6453905B2 (ja) 2019-01-16
US10517467B2 (en) 2019-12-31
JPWO2016088187A1 (ja) 2017-11-09
WO2016088187A1 (ja) 2016-06-09
US20170265726A1 (en) 2017-09-21
DE112014007145T5 (de) 2017-08-03
CN107005647A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN107005647B (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
CN107005646B (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
US11835702B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
US10129454B2 (en) Imaging device, endoscope apparatus, and method for controlling imaging device
US9498153B2 (en) Endoscope apparatus and shake correction processing method
US9088707B2 (en) Focus control device, endoscope apparatus, and focus control method
JP6670854B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
EP3087904A1 (en) Endoscopic device, method for controlling endoscopic device, and program
US10820787B2 (en) Endoscope device and focus control method for endoscope device
JP6670853B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
EP2950127A1 (en) Imaging device and method for controlling imaging device
US11141050B2 (en) Autofocus control device, endoscope apparatus, and operation method of autofocus control device
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
CN113573624A (zh) 内窥镜系统、非暂时性计算机可读介质及方法
JP6177387B2 (ja) 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant