CN110062596A - 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法 - Google Patents

自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法 Download PDF

Info

Publication number
CN110062596A
CN110062596A CN201680091525.8A CN201680091525A CN110062596A CN 110062596 A CN110062596 A CN 110062596A CN 201680091525 A CN201680091525 A CN 201680091525A CN 110062596 A CN110062596 A CN 110062596A
Authority
CN
China
Prior art keywords
region
focus evaluation
evaluation region
focal point
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680091525.8A
Other languages
English (en)
Other versions
CN110062596B (zh
Inventor
栗山直也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110062596A publication Critical patent/CN110062596A/zh
Application granted granted Critical
Publication of CN110062596B publication Critical patent/CN110062596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2446Optical details of the image relay
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2453Optical details of the proximal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

自动焦点控制装置包含:图像获取部(305),其获取摄像部(200)所获取到的被摄体图像;处置判定部(340),其根据被摄体图像,进行是否正在进行处置的判定;合焦评价区域设定部(350),其根据处置判定部(340)的判定的结果,将预设区域或者根据被摄体图像而设定的处置区域,设定为被摄体图像中的合焦评价区域;以及对焦控制部(370),其根据合焦评价区域的合焦评价值,进行摄像部(200)的对焦控制。

Description

自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工 作方法
技术领域
本发明涉及自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法等。
背景技术
在使用了外科内窥镜的腹腔镜手术中,推荐将处置对象的脏器成帧在画面中央来进行处置。但是,近年来,内窥镜的高像素化正在发展,有对焦的景深变窄的倾向,因此,在腹腔镜手术中,画面中央部的距离分布有可能比景深大。因此,如果想要使整个画面中央部合焦,则有可能产生部分未合焦的区域。
在专利文献1中,作为摄像装置的自动对焦技术,公开了如下的技术:对被摄体的运动进行检测,如果有运动则预测被摄体的位置并使对焦透镜位置移动。
现有技术文献
专利文献
专利文献1:日本特开2015-118337号公报
发明内容
发明要解决的课题
在向上述那样的外科内窥镜中导入自动对焦的情况下,在腹腔镜手术中推荐了将处置对象的脏器成帧在画面中央,因此考虑在画面中央设定自动对焦的合焦评价区域(获取合焦评价值的区域)。此时,像上述那样有可能产生部分未合焦的区域,但有时该区域成为处置对象。
根据本发明的几个方式,能够提供在使用了内窥镜的处置中能够进行适当的自动对焦的自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法。
用于解决课题的手段
本发明的一个方式涉及自动焦点控制装置,该自动焦点控制装置包含:图像获取部,其获取由摄像部所获取到的被摄体图像;处置判定部,其根据所述被摄体图像,进行是否正在进行处置的判定;合焦评价区域设定部,其根据所述处置判定部的所述判定的结果,将预设区域或者根据所述被摄体图像而设定的处置区域设定为所述被摄体图像中的合焦评价区域;以及对焦控制部,其根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
另外,本发明的一个方式涉及自动焦点控制装置,该自动焦点控制装置包含:图像获取部,其获取由摄像部所获取到的被摄体图像;合焦评价区域设定部,其根据所述被摄体图像来检测所述被摄体图像中的处置区域,将检测出的所述处置区域设定为合焦评价区域;以及对焦控制部,其根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
另外,本发明的另一方式涉及内窥镜装置,该内窥镜装置包含上述任意一种自动焦点控制装置。
另外,本发明的又一方式涉及自动焦点控制装置的工作方法,该工作方法包含如下步骤:根据由摄像部所获取到的被摄体图像,进行是否正在进行处置的判定,根据是否正在进行所述处置的所述判定的结果,将预设区域或者根据所述被摄体图像而设定的处置区域,设定为所述被摄体图像中的合焦评价区域,根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
另外,本发明的又一方式涉及自动焦点控制装置的工作方法,该工作方法包含如下步骤:根据由摄像部所获取到的被摄体图像来检测所述被摄体图像中的处置区域,将检测出的所述处置区域设定为合焦评价区域,根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
附图说明
图1是内窥镜装置的结构例。
图2是内窥镜装置的详细的结构例。
图3是示出处置判定部所进行的处理的过程的第一流程图。
图4是示出处置判定部所进行的处理的过程的第二流程图。
图5是在未处于处置中的情况下设定的合焦评价区域的例子。
图6是在处于处置中的情况下设定的合焦评价区域的例子。
图7是示出在判定为正在进行处置的情况下合焦评价区域设定部所进行的处理的过程的流程图。
图8是对基于摆动法的对焦控制的动作进行说明的图。
图9是示出对焦控制部所进行的处理的过程的流程图。
具体实施方式
以下,对本实施方式进行说明。另外,以下说明的本实施方式并不对权利要求书所记载的本发明的内容进行不当限定。另外,在本实施方式中说明的结构的全部不一定是本发明的必须构成要件。例如,以下以自动焦点控制装置应用于外科内窥镜装置情况为例进行说明,但本发明不限于此,本发明的自动焦点控制装置能够应用于各种摄像装置(例如,消化器官用内窥镜装置、工业用内窥镜装置、显微镜、数码摄像机、数码静态照相机等)。另外,以下对自动焦点控制装置的结构以及动作进行说明,但本发明可以作为自动焦点控制装置的工作方法(自动焦点控制装置进行工作的方法。对焦控制方法)来实施。
1.结构
在外科内窥镜中导入自动对焦(以下省略为AF)的情况下,考虑在画面中央设定合焦评价区域来进行AF的结构。但是,在腹腔镜手术中,有时画面中央部的距离分布比景深大,如果想要使整个画面中央部合焦,则有可能产生部分未合焦的区域。特别是在处置过程中,如果在保持与处置对象的脏器部分未合焦的状态下继续进行处置,则有可能操作变得困难。
针对这样的课题,应用了上述的专利文献1。但是,在专利文献1中,由于在检测出被摄体的运动的情况下预测被摄体的位置并使对焦透镜位置移动,因此在检测出运动的情况下,处置对象的脏器始终成为AF的对象。因此,即使在想要使画面中央的整个手术区域合焦时,也无法使画面中央的整个手术区域均衡地合焦。
因此,在本实施方式中,检测处置区域,进行合焦于该处置区域的AF。另外,在未进行处置的情况下,进行合焦于画面中央(预设区域)的AF,在处置中的情况下,进行合焦于处置对象的脏器(处置区域)的AF。即,根据是否处于处置中来切换AF的对象。以下,对本实施方式进行说明。
图1是内窥镜装置的结构例。内窥镜装置包含自动焦点控制装置720、摄像部200(摄像装置)。自动焦点控制装置720包含处理部390(处理电路、处理装置)、存储部710(存储装置、存储器)。处理部390包含图像获取部305、处置判定部340、合焦评价区域设定部350、合焦评价值计算部360、对焦控制部370(AF控制部)。
另外,本实施方式并不限定于图1的结构,能够实施省略其构成要素的一部分、或者追加其他构成要素等各种变形。例如,自动焦点控制装置720可以包含摄像部200,存储部710也可以设置在自动焦点控制装置720的外部。
图像获取部305获取摄像部200所获取到的被摄体图像。处置判定部340根据被摄体图像,进行是否正在进行处置的判定。合焦评价区域设定部350根据处置判定部340的判定的结果,设定预设区域或者根据被摄体图像而设定的处置区域,作为被摄体图像中的合焦评价区域。对焦控制部370根据合焦评价区域的合焦评价值,进行摄像部200的对焦控制。
被摄体图像是摄像部200所拍摄的被摄体的图像,是通过摄像部200(摄像元件)的摄像而得到的图像(图像数据、图像信号)。例如在外科内窥镜中,被摄体是生物体(包括人体、动物),例如是生物体内部的脏器和组织等。
是否正在进行处置的判定是对被摄体图像中拍摄到的区域(被摄体)判定是否正在进行某种处置。例如,只要是在被摄体图像中拍摄到的区域内,则不管正在进行处置的位置如何。处置是对生物体的脏器和组织产生某种作用的行为,例如设想利用处置器具(例如钳子、能量设备、刀等)进行处置。
预设区域是预先设定了区域的形状和位置、尺寸的区域。例如,用于设定预设区域的设定信息被存储在存储部710中,合焦评价区域设定部350根据该设定信息来设定预设区域。预设区域是如下的区域(图像的中央部):对应于在腹腔镜手术中推荐将手术区域导入到视野中央部的情况,以能够整体地合焦于该手术区域的方式进行设定。
处置区域是正在对被摄体进行处置的区域。即,是如下的区域:因处置器具等作用于被摄体而在被摄体上产生某种变化。例如,是被摄体因处置而运动的区域、颜色或亮度因处置而变化(例如出血)的区域等。
合焦评价值是用于评价合焦状态和合焦程度的评价值。例如,作为合焦评价值,可以使用对比度值或边缘量等。对焦控制是使用合焦评价值使焦点自动地对准到合焦评价区域的控制(AF控制)。
根据本实施方式,根据是否正在进行处置,能够对预设区域或者处置区域进行自动对焦。由此,在想要观察整个处置对象的情况下,选择预设区域作为合焦评价区域,使处置对象整体地合焦。另一方面,在单点的处置区域重要的情况下,选择该处置区域作为合焦评价区域,使单点的处置区域合焦。
具体而言,合焦评价区域设定部350在判定为未正在进行处置的情况下,将预设区域设定为合焦评价区域。另一方面,在判定为正在进行处置的情况下,根据被摄体图像来检测作为对被摄体正在进行处置的区域的处置区域,将检测出的处置区域设定为评价区域。
这样,在未处于处置中时,选择预设区域作为合焦评价区域,使处置对象整体合焦。另一方面,在处置中的情况下,选择处置区域作为合焦评价区域,针对该处置区域使单点合焦。由此,用户能够在处置前等整体地确认手术区域,并且在进行处置时,无论对哪个部位进行处置,都能够对焦点对准的状态下的处置区域进行处置。
另外,在本实施方式中,如图5所示,预设区域是包含被摄体图像的中央在内的规定尺寸的区域。
被摄体图像的中央是被摄体图像的中心位置,例如是被摄体图像的水平方向的宽度的中点和垂直方向的宽度的中点。规定尺寸的区域是尺寸比被摄体图像的尺寸小的区域。例如,预设区域为正方形或长方形,其水平方向的宽度比被摄体图像的水平方向的宽度小,其垂直方向的宽度比被摄体图像的垂直方向的宽度小。例如,预设区域的水平方向的宽度为被摄体图像的水平方向的宽度的50%左右,预设区域的垂直方向的宽度为被摄体图像的垂直方向的宽度的50%左右。另外,预设区域的尺寸不限于此。
包含被摄体图像的中央的区域是被摄体图像的中央位于该区域内的任何(任意的)位置的区域。即,如果在预设区域的内部包含被摄体图像的中央,则被摄体图像的中央可以对应于预设区域的任何位置。优选将预设区域的中央设定在被摄体图像的中央附近(例如被摄体图像的宽度的10%以内等)。例如,优选将预设区域的中央的位置设定在预设区域的外周(边界、边)比被摄体图像的外周(边)靠内侧的位置。
这样,预设区域是预先设定在被摄体图像的中央附近的规定尺寸的区域。通过将这样的预设区域设定为合焦评价区域,能够整体地合焦于被摄体图像的中央附近。
另外,在本实施方式中,处置区域的面积比预设区域的面积小。
例如,在后面利用图3来说明的例子中,在步骤S8中,在总计数值(检测出像素值的变化的像素数)大于计数阈值二的情况下,判定为未处于处置中。或者在后面利用图4来说明的例子中,在步骤S28中,在总计数值(检测出与周边的运动矢量的差分的运动矢量数)大于计数阈值四的情况下,判定为未处于处置中。即,仅在以规定以下的面积检测出图像的变化的情况下,判断为处于处置中。在判定为处于处置中情况下,在后面利用图7来说明的例子中,虽然检测出变化区域(处置区域),但像上述那样被判定为处于处置中的是在以规定以下的面积检测出图像的变化的情况,因此检测出的变化区域的面积应该为规定以下。这样,能够以使处置区域的面积比预设区域的面积小的方式进行控制。
在处置过程中,要想针对处置对象使单点合焦,因此期望合焦评价区域较小。关于这一点,根据本实施方式,由于处置区域的面积比预设区域的面积小,因此在处置中能够针对处置对象使单点合焦。
另外,在本实施方式中,处置判定部340根据被摄体图像中的局部图像变化,进行是否正在进行处置的判定。
图像的变化是在过去帧与当前帧之间在图像上发生的变化。例如是图像(被摄体)的运动、图像(被摄体)的颜色或亮度的变化等。局部图像变化是图像内的一部分区域中的变化。即,例如不是因照相机和被摄体相对移动而使图像整体地变化,而是图像内的一部分区域变化,除此以外的区域不变化。
当对处置对象进行处置时,设想为在被摄体上产生局部的变化。在本实施方式中,通过检测被摄体图像中的局部图像变化,能够判定是否对被摄体正在进行处置。另外,在被摄体图像整体地变化的情况下,不是由处置引起的变化的可能性高,因此通过检测局部图像变化,能够排除这样的由处置以外引起的变化。
另外,在本实施方式中,处置判定部340在被判定为存在局部图像变化的区域的面积在规定范围内的情况下,判定为正在进行处置。
例如,如图3所示,在步骤S7~S10中,在总计数值(检测出像素值的变化的像素数)处于计数阈值一与计数阈值二之间的情况下,判定为处置中。或者,如图4所示,在步骤S27~S30中,在总计数值(判断为存在局部运动的运动矢量数)处于计数阈值三与计数阈值四之间的情况下,判定为处置中。通过这些方法,能够判定被判定为存在局部图像变化的区域的面积是否在规定范围内。
在被判定为存在局部图像变化的区域的面积小的情况下,考虑噪声的影响。另一方面,在被判定为存在局部图像变化的区域的面积大的情况下,考虑照相机的移动或雾的产生等所带来的影响。这样,由于存在由非处置的原因引起的图像的变化,因此有可能因这些图像的变化而被误判定为处置中。关于这一点,在本实施方式中,在被判定为存在局部图像变化的区域的面积在规定范围内的情况下,判定为正在进行处置(在面积在规定范围外的情况下判定为未处于处置中),由此不会因由上述那样的不是处置的原因引起的图像的变化而误判定为处置中。
另外,在本实施方式中,处置判定部340根据被摄体图像的像素值的时间变化、或者运动量(在多个位置求出的运动量中的作为处理对象的运动量)与求出该运动量的位置的周边的运动量的差分,进行是否存在局部图像变化的判定。
像素值的时间变化是在过去帧与当前帧之间产生的像素值的变化,例如是过去帧中的像素值与当前帧中的像素值的差分(或者,基于该差分的值)。更具体地说,是在同一像素(或附近的像素)中的过去帧与当前帧之间产生的像素值的变化。
运动量是表示在过去帧与当前帧之间产生的图像的运动的量。例如是运动矢量(表示运动的大小和方向的量)。另外,并不限于此,也可以是仅表示运动的大小的量、仅表示运动的方向的量。求出了运动量的位置的周边的运动量,例如是在图像内的离散的各位置求出了运动量的情况下与某运动量的位置相邻的位置的运动量(或者,以作为处理对象的运动量的位置为基准的规定区域内所包含的位置的运动量)。
在产生了被摄体的局部运动或者被摄体的局部的颜色或亮度的变化的情况下,产生了像素值的时间变化。即,通过检测像素值的时间变化,能够进行是否存在局部图像变化的判定。另外,在产生了被摄体的局部运动的情况下,该位置处的运动量与该位置的周边的运动量的差分不为零。即,通过检测运动量与求出该运动量的位置的周边的运动量的差分,能够进行是否存在局部图像变化的判定。
另外,在本实施方式中,合焦评价区域设定部350根据被摄体图像的局部变化,设定作为正在对被摄体进行处置的区域的处置区域。
如上所述,设想为在正在进行处置的区域中产生局部图像变化。在本实施方式中,根据被摄体图像的局部变化来设定处置区域,由此能够将对被摄体正在进行处置的区域设定为处置区域(合焦评价区域)。
另外,处置区域可以与预设区域的设定位置无关地设定在图像的任何位置。例如,根据镜体的插入位置、脏器的配置、处置对象的位置等,有可能无法将处置对象成帧在视野的中央。在这种情况下,不得不在图像的周边部(靠近端部的区域)进行处置。在本实施方式中,由于在处置过程中不是预先设定区域而是处置区域成为合焦评价区域,因此即使在处置对象不是画面中央的情况下,也能够对该处置对象适当地进行自动对焦。
另外,在本实施方式中,合焦评价区域设定部350对被摄体图像进行检测局部图像变化的处理,将检测出该局部图像变化的区域设定为处置区域。
这样,能够将因处置而产生了局部图像变化的区域检测为处置区域。即,在处置过程中,能够检测正在进行处置的单点的区域,并合焦于该区域。
另外,在本实施方式中,合焦评价区域设定部350根据被摄体图像的像素值的时间变化、或者运动量与求出该运动量的位置的周边的运动量的差分,来检测处置区域。
如上所述,在产生了被摄体的局部运动或者被摄体的局部颜色或亮度的变化的情况下,产生像素值的时间变化。即,通过检测像素值的时间变化,能够检测产生了局部图像变化的区域。另外,如上所述,在产生了被摄体的局部运动的情况下,该位置处的运动量与该位置的周边的运动量的差分不为零。即,通过检测运动量与求出该运动量的位置的周边的运动量的差分,能够检测产生了局部图像变化的区域。
另外,在本实施方式中,合焦评价区域设定部350在将处置区域设定为评价区域的情况下,将扩大了处置区域而得的区域设定为评价区域。
在后面利用图7来说明的例子中,在步骤S42中检测变化区域,根据该变化区域设定处置区域(合焦评价区域)。此时,在步骤S42中扩大变化区域与处置区域的扩大相对应。
在由处置引起的被摄体的变化小的情况下,处置区域(合焦评价区域)的面积变小。在该情况下,由于有时无法正确地计算出合焦评价值,因此有可能无法进行适当的AF(例如焦点不稳定地变化)。另外,在急剧改变处置的位置的情况下,到处置区域的距离急剧改变,有可能无法进行适当的AF(例如无法追随焦点)。关于这一点,根据本实施方式,通过扩大处置区域,能够正确地计算合焦评价值。或者,能够抑制合焦评价值的急剧变化。由此,能够实现适当的AF(稳定的AF)。
具体而言,合焦评价区域设定部350将在空间上扩大处置区域而得的区域、或者根据过去的处置区域而设定的区域作为扩大了处置区域而得的区域,设定为合焦评价区域。
将处置区域在空间上扩大而得的区域是将通过局部图像变化而检测出的处置区域的边界向区域的外侧扩大(扩大了处置区域的面积)而得的区域。根据过去的处置区域而设定的区域是根据在过去帧中检测出的处置区域而在当前帧中设定的区域。例如,将与在过去帧中检测出的处置区域相同的区域设定为当前帧中的处置区域。
这样,通过将在空间上扩大处置区域而得的区域设定为合焦评价区域,即使在由处置引起的被摄体的变化小的情况下,处置区域的面积也变大,能够实现适当AF。另外,通过将根据过去的处置区域而设定的区域设定为合焦评价区域,即使在急剧改变处置的位置的情况下,也能够抑制合焦评价值的急剧变化,能够实现适当AF。
另外,在本实施方式中,合焦评价区域设定部350在将预设区域设定为合焦评价区域的情况下,将从预设区域去除处置器具的区域而得的区域设定为合焦评价区域。另外,在将处置区域设定为合焦评价区域的情况下,将从处置区域去除处置器具的区域而得的区域设定为合焦评价区域。
后面利用图7对将处置区域设定为合焦评价区域的情况下的例子进行说明。在该例子中,在步骤S42中检测变化区域,在步骤S43~S46中,从变化区域去除处置器具的区域,将该区域设定为合焦评价区域(处置区域)。
由于在进行处置时处置器具也运动,因此认为在检测出局部图像变化的区域中也包含处置器具,在对包含处置器具和处置对象在内的区域进行了自动对焦的情况下,有可能焦点对准到处置器具。此时,由于处置器具与处置对象的距离不同,因此当焦点对准到处置器具时,在景深窄的摄像部的情况下,有可能处置对象不合焦(处置对象处于景深外,模糊)。关于这一点,根据本实施方式,由于将处置器具的区域除外来设定合焦评价区域(处置区域),因此在合焦评价区域中仅包含处置对象,能够使处置对象适当地合焦。
在将预设区域设定为合焦评价区域的情况下,也能够通过例如与图7的步骤S45相同的方法来检测处置器具区域,从预设区域去除处置器具区域。在该情况下,如果焦点对准到处置器具,则有可能本来想要对焦的预设区域内的脏器和组织(处置对象、或者观察对象)未合焦。关于这一点,根据本实施方式,由于将处置器具的区域除外来设定合焦评价区域,因此在合焦评价区域中仅包含脏器、组织,能够使预设区域内的脏器和组织适当地合焦。
另外,在本实施方式中,合焦评价区域设定部在将处置区域设定为合焦评价区域的情况下,进行检测被摄体图像的局部图像变化的处理和检测处置器具的区域的处理,将从被检测出局部图像变化的区域中去除处置器具的区域而得的区域设定为上述合焦评价区域。
这样,能够从包含处置器具在内的被检测出局部图像变化的区域中去除处置器具的区域。由此,能够合焦于未包含处置器具的合焦评价区域(处置区域)。
另外,在本实施方式中,对焦控制部370根据处置判定部340的判定的结果,变更对焦控制的控制参数。
控制参数是用于设定由对焦控制(AF控制)进行控制的对焦动作(使焦点对准到合焦评价区域的动作)的参数。即,若变更控制参数,则与此相应地变更对焦动作(中的任何动作)。
在处于处置中(合焦于预设区域的情况)和未处于处置中的情况(合焦于处置区域的情况)下,由于对焦的对象不同,因此有时使对焦控制不同是适当的。在本实施方式中,根据处置判定部340的判定的结果来变更对焦控制的控制参数,由此能够根据是否处于处置中来实现适当的对焦控制。
具体而言,对焦控制部370进行判定自动对焦动作是否完成的对焦完成判定,在判定为自动对焦动作完成的情况下,停止自动对焦动作,根据处置判定部340的判定的结果来变更对焦完成判定中的控制参数。
在后面利用图9说明的例子中,图9的整个流程对应于对焦完成判定,摆动动作的控制参数对应于对焦控制的参数。例如,在步骤S64、S65的折返次数复位判定处理中使用的透镜位置阈值与控制参数对应。或者,在步骤S69的合焦完成透镜位置设定中设定的合焦完成透镜位置与控制参数对应。
这样,根据是否处于处置中来变更对焦完成判定中的控制参数,由此能够变更例如使AF停止的条件(在图9中,通过改变折返次数的复位条件,AF停止的条件改变)、使AF停止的情况下的设定(在图9中,使AF停止时的对焦透镜位置的设定改变)。
另外,在上述中,以根据是否处于处置中来切换合焦评价区域的情况为例进行了说明,但本实施方式并不限于此,也可以采用以下那样的结构和动作。
即,图像获取部305获取摄像部200所获取到的被摄体图像。合焦评价区域设定部350根据被摄体图像来检测被摄体图像中的处置区域,将检测出的处置区域设定为合焦评价区域。对焦控制部370根据合焦评价区域的合焦评价值,进行摄像部200的对焦控制。
这样,能够检测作为正在对被摄体进行处置的区域的处置区域,并使该单点(pinpoint)的处置区域合焦。由此,即使在景深因高像素化等而较窄的情况下,也能够实现使处置区域合焦的状态,用户容易进行处置。
另外,本实施方式的自动焦点控制装置也可以如下构成。即,自动焦点控制装置包含:存储器,其存储信息(例如程序和各种数据);以及处理器(包含硬件在内的处理器),其根据存储在存储器中的信息进行动作。处理器获取摄像部200所获取到的被摄体图像,根据被摄体图像,进行是否正在进行处置的判定,根据是否正在进行处置的判定的结果,设定预设区域或者根据被摄体图像而设定的处置区域作为被摄体图像中的合焦评价区域,根据合焦评价区域的合焦评价值进行摄像部200的对焦控制。
处理器例如可以通过单独的硬件来实现各部的功能,或者也可以通过一体的硬件来实现各部的功能。例如可以是,处理器包含硬件,该硬件包含处理数字信号的电路和处理模拟信号的电路中的至少一方。例如,处理器可以由安装在电路基板上的一个或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如可以是CPU(Central Processing Unit:中央处理单元)。但是,处理器并不限定于CPU,可以使用GPU(Graphics Processing Unit:图形处理单元)或者DSP(Digital Signal Processor:数字信号处理器)等各种处理器。另外,处理器也可以是基于ASIC的硬件电路。另外,处理器也可以包含处理模拟信号的放大器电路或滤波器电路等。存储器(例如图1的存储部710)可以是SRAM、DRAM等半导体存储器,也可以是寄存器,也可以是硬盘装置等磁存储装置,也可以是光盘装置等光学式存储装置。例如,存储器保存有能够由计算机读取的指令,通过由处理器执行该指令,实现自动焦点控制装置(例如图1的自动焦点控制装置720或图2的处理部300)的各部的功能。这里的指令可以是构成程序的指令集的指令,也可以是对处理器的硬件电路指示动作的指令。
本实施方式的动作例如以如下方式实现。摄像部200所拍摄的被摄体图像被保存在存储器中。处理器从存储器读出被摄体图像,根据该被摄体图像,进行是否正在进行处置的判定,并将该判定结果保存在存储器中。处理器从存储器读出判定结果,根据该判定结果,设定预设区域或者根据被摄体图像而设定的处置区域作为被摄体图像中的合焦评价区域,将该合焦评价区域的设定信息保存在存储器中。处理器从存储器读出合焦评价区域的设定信息,根据该设定信息来设定合焦评价区域,根据该合焦评价区域的合焦评价值,进行摄像部200的对焦控制。
另外,本实施方式的自动焦点控制装置(例如图1的自动焦点控制装置720或图2的处理部300)的各部也可以作为在处理器上进行动作的程序的模块来实现。例如,图像获取部305作为获取摄像部200所获取到的被摄体图像的图像获取模块来实现。处置判定部340作为处置判定模块来实现,该处置判定模块根据被摄体图像进行是否正在进行处置的判定。合焦评价区域设定部350作为合焦评价区域设定模块来实现,该合焦评价区域设定模块根据处置判定部340的判定的结果,设定预设区域或者根据被摄体图像而设定的处置区域作为被摄体图像中的合焦评价区域。对焦控制部370作为对焦控制模块来实现,该对焦控制模块根据合焦评价区域的合焦评价值,进行摄像部200的对焦控制。
2.内窥镜装置(装置)
图2是内窥镜装置(外科内窥镜装置)的详细的结构例。内窥镜装置包含硬性镜100、摄像部200(摄像装置)、处理部300(处理装置、控制装置)、显示部400(显示装置)、外部I/F部500(接口)以及光源部600(光源装置)。
例如,硬性镜100、摄像部200、处理部300、显示部400、光源部600分别作为硬性镜、摄像头、视频处理器(处理装置)、显示器、光源装置而分体地构成。而且,硬性镜通过设置在摄像头的卡盘机构而相对于摄像头进行装卸。摄像头、显示器、光源装置分别通过线缆与视频处理器连接。硬性镜通过光导线缆与光源装置连接。另外,摄像装置和内窥镜装置的结构并不限定于此。
以下,对各部的结构和动作进行说明。另外,在图2中,处理部300对应于图1的自动焦点控制装置720。在图2中省略了存储部710的图示。
硬性镜100是向体内插入的插入部。硬性镜100包含透镜系统110(光学装置、透镜)、光导部120(光导)。
透镜系统110是由多个透镜构成的光学装置,例如构成为包含成像透镜、中继透镜、目镜等。光源部600包含白色光源610,使来自白色光源610的出射光入射到光导线缆620。光导部120将来自光导线缆620的出射光引导至硬性镜100的前端。
摄像部200根据来自被摄体的反射光而生成图像。摄像部200包含对焦透镜210、对焦透镜驱动部220(对焦透镜驱动装置)、物镜系统230(物镜)以及摄像元件240(图像传感器)。
对焦透镜210是用于调整合焦物体位置(焦点)的透镜。对焦透镜驱动部220驱动对焦透镜210(使对焦透镜210的位置移动)。对焦透镜驱动部220例如是音圈马达(VCM)。物镜系统230使来自光导部120的出射光被被摄体反射而得的反射光成像(形成被摄体像)。摄像元件240对由物镜系统230成像的反射光进行光电转换而生成图像。
处理部300进行包含图像处理的信号处理。处理部300包含图像获取部305、A/D转换部310(A/D转换电路)、前处理部320(前处理电路)、图像处理部330(图像处理电路)、处置判定部340(处置判定电路)、合焦评价区域设定部350(合焦评价区域设定电路)、合焦评价值计算部360(合焦评价值计算电路)以及对焦控制部370(AF控制部、对焦控制电路)、控制部380(控制电路)。另外,在图2中,A/D转换部310或前处理部320或这两者对应于图1的图像获取部305。
A/D转换部310将从摄像元件240依次输出的模拟信号转换为数字图像,并依次输出到前处理部320。
前处理部320对从A/D转换部310输出的图像实施例如白平衡处理、插值处理(去马赛克处理)等图像处理,并依次输出到图像处理部330、处置判定部340、合焦评价区域设定部350、合焦评价值计算部360。图像处理部330对从前处理部320输出的图像实施例如颜色转换、灰度转换、边缘强调、缩放处理、噪声降低等图像处理,并向显示部400依次输出图像。
处置判定部340根据从前处理部320输出的图像,判定有无处置。即,根据图像判定是否正在对图像内的被摄体进行处置。处置判定部340将判定结果输出到合焦评价区域设定部350和对焦控制部370。关于处置判定部340的详细,后面利用图3、图4进行说明。另外,处置判定部340也可以根据使用未图示的能量设备时的控制信号,判定有无处置。能量设备是对处置对象(组织、脏器)施加某种能量来进行处置对象的切开或止血等的设备(处置器具),例如是对处置对象施加电流的电手术刀、对处置对象施加超声波的超声波手术刀等。处置判定部340也可以根据对能量的施加进行启动/关闭的控制信号,在启动的情况下判定为正在进行处置,在关闭的情况下判定为未正在进行处置。
合焦评价区域设定部350对从前处理部320输出的图像设定合焦评价区域,并输出到合焦评价值计算部360。但是,根据来自处置判定部340的判定结果,在未处于处置中的情况下,将预设区域(画面中央)设定为合焦评价区域。另一方面,在处置中的情况下,将自动检测出的区域设定为合焦评价区域。关于合焦评价区域的详细,利用图5、图6进行说明。关于合焦评价区域设定部350的详细,利用图7进行说明。
合焦评价值计算部360根据合焦评价区域的图像计算合焦评价值,并将该合焦评价值输出到对焦控制部370。例如,对图像进行带通滤波处理,将其输出用作合焦评价值。
对焦控制部370根据从合焦评价值计算部360输出的合焦评价值,对对焦透镜驱动部220进行控制,以使得合焦于被摄体(合焦评价区域的被摄体)。自动对焦的方法可以采用例如摆动法、对比度法(登山法)等各种方法。但是,要根据从处置判定部340输出的是否处于处置中的判定结果而变更对焦控制的控制参数。关于对焦控制部370的详细,利用图8、图9进行说明。
控制部380与外部I/F部500、图像处理部330、对焦控制部370、摄像元件240等相互连接,进行与它们间的控制信号的输入输出。
显示部400依次显示从图像处理部330输出的被摄体图像。显示部400例如是液晶监视器等显示装置(显示器)。
外部I/F部500是用于进行用户对内窥镜装置的输入等的接口。例如,构成为包含用于调整图像处理的参数的调整按钮等。
3.处置判定部
图3是示出处置判定部340所进行的处理的过程的第一流程图。在图3中,处置判定部340根据像素值的变化,判定是否处于处置中。即,对过去帧与当前帧之间的像素值变化为一定以上的像素数进行计数,在总计数值在一定的范围内的情况下,判定为处于处置中。
具体而言,当开始处理时,将总计数值复位为0(S1)。接下来,从图像中选择像素(S2)。接下来,计算所选择的像素的当前帧的像素值与过去帧的像素值之间的差分绝对值(S3)。过去帧例如是当前帧紧前的帧。
接下来,比较像素值的差分绝对值和差分阈值,在像素值的差分绝对值大于差分阈值的情况下,将总计数值递增(S5),在像素值的差分绝对值为差分阈值以下的情况下,不递增总计数值。接下来,判定是否对图像的全部像素执行了步骤S2~S5的处理(S6)。在未执行的情况下,返回到步骤S2。
在执行了的情况下,判定总计数值是否大于计数阈值一(第一计数阈值)(S7)。在总计数值为计数阈值一以下的情况下,判定为未处于处置中(S10)。在总计数值大于计数阈值一的情况下,判定总计数值是否为计数阈值二(第二计数阈值)以下(S8)。计数阈值二大于计数阈值一且小于图像的总像素数。在总计数值大于计数阈值二的情况下,判定为未处于处置中(S10)。在总计数值为计数阈值二以下的情况下,判定为处于处置中(S9)。
如上所述,处置判定部340在总计数值大于计数阈值一且总计数值为计数阈值二以下的情况下,判定为处于处置中。否则,判定为未处于处置中。在处于处置中的情况下,随着处置器具的操作,在比一定数多的像素中,帧间的像素值的差分绝对值成为一定以上。因此,通过基于计数阈值一的阈值判定,能够抑制由噪声的影响引起的误判定。即,即使总计数值因噪声而增加,在为计数阈值一以下的情况下,也能够判定为未处于处置中。另外,在未处于处置中的情况下,通过使内窥镜装置的照相机摇摄(左右摆动照相机的朝向)或倾斜(上下摆动照相机的朝向),在许多像素中,帧间的像素值的差分绝对值为一定以上。因此,通过基于计数阈值二的阈值判定,能够抑制由摇摄操作引起的误判定以及由倾斜操作引起的误判定。即,在摇摄操作或倾斜操作中,在大部分的像素中像素值的差分绝对值为一定以上,因此在总计数值大于计数阈值二的情况下,能够判定为未处于处置中。
图4是示出处置判定部340所进行的处理的过程的第二流程图。在图4中,处置判定部340根据运动矢量来判定是否处于处置中。即,检测过去帧与当前帧之间的运动矢量,在局部与周边不同的运动矢量的数量在一定的范围内的情况下,判定为处于处置中。
具体而言,当处理开始时,检测过去帧与当前帧之间的运动矢量(S20)。例如,对水平方向的规定间隔和垂直方向的规定间隔的每个像素检测运动矢量。接下来,将总计数值复位为0(S21)。接下来,从在图像内检测出的多个运动矢量中选择运动矢量(S22)。接下来,计算所选择的运动矢量与该运动矢量的周边的运动矢量的差分(差分绝对值)(S23)。例如,求出所选择的运动矢量与其上下左右的运动矢量的差分矢量,并对该4个差分矢量的绝对值进行求和。
接下来、对运动矢量的差分与运动矢量的差分阈值进行比较,判定运动矢量的差分是否比运动矢量的差分阈值大(S25)。在运动矢量的差分比运动矢量的差分阈值大的情况下,将总计数值递增(S26)。在运动矢量的差分为运动矢量的差分阈值以下的情况下,不递增总计数值。接下来,判定是否对图像内的全部运动矢量执行了步骤S22~S25的处理(S26)。在未执行的情况下,返回到步骤S22。
在执行了的情况下,判定总计数值是否大于计数阈值三(第三计数阈值)(S27)。在总计数值为计数阈值三以下的情况下,判定为未处于处置中(S30)。在总计数值大于计数阈值三的情况下,判定总计数值是否为计数阈值四(第四计数阈值)以下(S28)。计数阈值四比计数阈值三大且比图像内的运动矢量的总数小。在总计数值大于计数阈值四的情况下,判定为未处于处置中(S30)。在总计数值为计数阈值四以下的情况下,判定为处于处置中(S29)。
如上所述,处置判定部340在总计数值大于计数阈值三且总计数值为计数阈值四以下的情况下,判定为处于处置中。否则,判定为未处于处置中。在处于处置中的情况下,随着处置器具的操作,在比一定数多的运动矢量中,与周边的运动矢量的差分为一定以上。因此,通过基于计数阈值三的阈值判定,能够抑制由噪声的影响引起的误判定。即,即使总计数值因噪声而增加,在为计数阈值三以下的情况下,也能够判定为未处于处置中。另外,在未处于处置中的情况下,在使内窥镜装置的照相机摇摄或倾斜的情况下、因使用能量设备而大量地产生雾的情况下,运动矢量在整个画面上是随机的。由此,在许多运动矢量中,与周边的运动矢量的差分为一定以上。因此,通过基于计数阈值四的阈值判定,能够抑制由摇摄操作引起的误判定、由倾斜操作引起的误判定、由雾的产生引起的误判定。即,在摇摄操作、倾斜操作、雾的产生中,在大部分的运动矢量中与周边的运动矢量的差分为一定以上,因此,在总计数值大于计数阈值四的情况下,能够判定为未处于处置中。
4.合焦评价区域设定部
图5是在未处于处置中的情况下设定的合焦评价区域的例子。如图5所示,预设区域是在画面中央(被摄体图像的中央)设定的规定尺寸的区域。例如预设区域为正方形或长方形,预设区域的中心(例如对角线的交点)与被摄体图像的中心(例如对角线的交点)一致,预设区域的上下左右的边与被摄体图像的上下左右的边之间分开。在判定为未处于处置中的情况下,将该预设区域设定为合焦评价区域。
在腹腔镜手术中,推荐将处置对象在画面中央成帧后进行处置。例如,在开始处置之前的时机,用户进行如何确定手术区域的作业。在这样的情况下,通过将图像中央的预设区域设定为合焦评价区域,能够使图像中央的较宽的范围合焦,在该合焦的视野中确定手术区域。
图6是在处于处置中的情况下设定的合焦评价区域的例子。如图6所示,在判定为处于处置中的情况下,将处置区域设定为合焦评价区域。处置区域是被摄体因处置器具的操作(对被摄体的处置)而局部运动(变化)的区域。但是,从合焦评价区域内排除处置器具本身。
理想的是,在腹腔镜手术中要求合焦于整个腹腔(距内窥镜的距离为几十毫米至几百毫米)。但是,随着近年来对内窥镜的高像素化的要求,景深变得狭小,因此难以实现合焦于整个腹腔的情况。另外,在处置中,即使观察到处置对象的脏器整体合焦,由于内窥镜的被摄体深度小,因此也有可能出现部分未合焦的区域。在想要处置这样的区域的情况下,由于该正在进行处置的单点的区域未合焦,因此有可能用户难以操作处置器具。关于这一点,在本实施方式中,通过在处置区域中设定合焦评价区域,即使是深度小的内窥镜,也能够合焦于正在进行处置的单点的区域。
图7是示出在判定为处于处置中的情况下合焦评价区域设定部350所进行的处理的过程的流程图。如图7所示,当处理开始时,从图像中选择像素(S41)。接下来,进行变化区域判定处理(S42),判定所选择的像素是否是变化区域(存在图像的局部运动的区域)的像素(S43)。例如,根据所选择的像素的像素值,判定是否为变化区域。即,与图3的步骤S3同样地计算像素值的差分绝对值,与步骤S4同样地判定像素值的差分绝对值是否大于差分阈值。在像素值的差分绝对值大于差分阈值的情况下,判定为像素是变化区域的像素,在像素值的差分绝对值为差分阈值以下的情况下,判定为像素不是变化区域像素。或者,根据所选择的像素的运动矢量,判定是否为变化区域。即,与图4的步骤S23同样地计算与周边的运动矢量的差分,与步骤S24同样地判定运动矢量的差分是否大于运动矢量的差分阈值。在运动矢量的差分比差分阈值大的情况下,判定为像素是变化区域的像素,在运动矢量的差分为差分阈值以下的情况下,判定为像素不是变化区域的像素。
在步骤S43中,在判定为像素不是变化区域的像素的情况下,不将该像素设定为合焦评价区域(S48)。在判定为像素是变化区域的像素的情况下,进行处置器具区域判定处理,判定所选择的像素是否是处置器具区域(与处置器具对应的区域)的像素(S44)。处置器具为了不与生物体混淆,大多采用无彩色或绿色那样的特征性的颜色,因此,例如根据像素的色相来判定像素是否为处置器具区域的像素。在判定为像素不是处置器具区域的像素的情况下,将该像素作为处置区域的像素设定在合焦评价区域中(S43)。在判定为像素是处置器具区域的像素的情况下,不将该像素设定在合焦评价区域中(S46)。
接下来,判定是否对图像的全部像素执行了步骤S41~S48的处理(S49)。在未执行的情况下,返回到步骤S41。在执行了的情况下,结束处理。
在以上的实施方式中,在像素是变化区域的像素且是处置器具区域的像素的情况下,将该像素作为处置区域的像素设定在合焦评价区域中。在除此以外的情况下,不将该像素设定在合焦评价区域中。这样,能够从存在图像的局部运动的区域中去除与处置器具对应的区域,能够将该区域判断为处置区域(对被摄体进行处置的区域)。而且,能够合焦于该单点的区域。
另外,作为步骤S42的变化区域判定处理的第一变形例,也可以进行以下的处理。即,不仅在所选择的像素满足变化区域的条件的情况下,在其附近的像素满足变化区域的条件的情况下,也可以将所选择的像素判定为变化区域。即,即使在所选择的像素不满足变化区域的条件的情况下,其附近(例如以所选择的像素为中心的规定尺寸的区域内)的像素满足变化区域的条件的情况下,也可以将所选择的像素判定为变化区域。这相当于在空间方向上扩大变化区域(处置区域)(扩大图像内的区域尺寸)。
在处置器具操作细致的情况下,由于变化区域小,因此合焦评价区域也变小。若合焦评价区域过小,则方向判别结果频繁地切换,因此有可能AF动作变得不稳定。关于这一点,在本实施方式中,由于合焦评价区域在空间方向上被扩大,因此即使在处置器具操作细致的情况下,也能够使AF动作稳定。
另外,作为步骤S42的变化区域判定处理的第二变形例,也可以进行以下的处理。即,也可以将在规定数量的过去帧内被判定为变化区域的像素在当前帧中判定为变化区域。即,即使在当前帧中选择的像素不满足变化区域的条件的情况下,在过去帧中被判定为变化区域的像素的情况下,也可以将在当前帧中选择的像素判定为变化区域。这相当于在时间方向上扩大变化区域(处置区域)(扩大像素持续被判定为变化区域的时间)。
在处置器具操作为一定以上高速的情况下,各帧中的变化区域的位置大幅移动,因此帧间的合焦评价区域的位置的变化变大,有时AF动作变得不稳定。例如,在利用处置器具对具有手术区域的区域(第一区域)进行处置的情况下,使处置器具迅速移动到其他区域(第二区域)来进行处置。在第一区域的距离与第二区域的距离大幅不同的情况下,第一区域中的合焦评价值与第二区域中的合焦评价值大幅不同,有可能无法适当地进行AF动作。关于这一点,在本实施方式中,由于变化区域(处置区域)在时间方向上被扩大,因此能够抑制帧间的合焦评价区域的位置变化,即使在处置器具操作为高速的情况下,也能够使AF动作稳定。
5.对焦控制部
图8是对基于摆动法的对焦控制的动作进行说明的图。在摆动法中,以当前的对焦透镜位置为基准使对焦透镜前后运动,比较在其前后的对焦透镜位置获取的合焦评价值,根据近侧的合焦评价值和远侧的合焦评价值中的哪一个合焦评价值大来判定使对焦透镜移动的方向(对焦方向。接近合焦透镜位置的方向),使对焦透镜向该方向移动。
图8所示的A1、A2、A3、A4表示对焦透镜的移动方向的折返。即,在所判定的合焦方向的极性反转的情况下,判定为折返。在图8的例子中,当AF动作开始时,判定为合焦方向为远(远点)方向,之后继续多次,持续判定为合焦方向为远方向。然后,当合焦方向的判定切换为近(近点)方向时,成为A1的折返。
在合焦透镜位置不改变(或者运动慢、小)的情况下,如果反复进行折返,则对焦透镜位置接近合焦透镜位置。合焦透镜位置是焦点对准到合焦评价区域的被摄体的对焦透镜位置。在本实施方式中,对折返的次数进行计数,在该次数达到规定的次数的情况下,使AF动作停止(处于待机状态,直到判断为接下来需要AF动作为止)。
图9是示出对焦控制部370所进行的处理的过程的流程图。当处理开始时,判定合焦完成标志是否为无效(OFF)(S61)。在合焦完成标志为有效(ON)的情况下(即已经合焦的情况下),结束处理。在合焦完成标志为无效(OFF)的情况下(即合焦未完成的情况下),进行折返判定(S62、S63)。另外,合焦完成标志的初始值为无效。
在步骤S62、S63的折返判定中,判定通过摆动法判定出的对焦透镜的移动方向是否折返。即,判定合焦方向的极性是否已反转(从近方向变化为远方向,或者从远方向变化为近方向)。在未折返的情况下,结束处理。在已折返的情况下,进行折返次数复位判定处理(S64、S65)。另外,折返次数的初始值为0。
在步骤S64、S65的折返次数复位判定处理中,对上一次折返的时机下的透镜位置(例如图8的A1)与这次折返的时机下的透镜位置(例如图8的A2)进行比较,判定它们的差分绝对值是否大于透镜位置阈值。在差分绝对值大于透镜位置阈值的情况下,判定为需要进行折返次数的复位,在差分绝对值为透镜位置阈值以下的情况下,判定为不需要折返次数的复位。在步骤S64、S65中判定为需要进行折返次数的复位的情况下,将折返次数复位为0(S66)。
通过这样控制,在AF控制中变更了被摄体的情况下,能够重新进行AF控制。即,在图8中AF完成前照相机的朝向改变、或者合焦评价区域(处置区域)移动了的情况下,合焦评价区域的被摄体的距离改变,因此合焦透镜位置移动。例如,若在A1与A2之间合焦透镜位置向近侧移动,则A2的折返的透镜位置向近侧移动,因此A1的折返中的透镜位置与A2的折返中的透镜位置的差分变大。在本实施方式中,通过对透镜位置的差分进行阈值判定,能够检测出合焦透镜位置改变了的情况,对该新的合焦透镜位置重新进行AF动作。
这里,在S64、S65的折返次数复位判定处理中,根据从处置判定部340输出的判定结果是否为处置中而改变透镜位置阈值。即,使处于处置中的情况下的透镜位置阈值比未处于处置中的情况下的透镜位置阈值大。
在处置中的情况下,如果处置器具操作(处置器具的移动)大,则即使在未变更被摄体(照相机的朝向)的情况下,图像内的处置区域也移动,因此透镜位置的差分绝对值变大。在这样的情况下,如果透镜位置阈值小,则频繁地发生折返次数的复位,到合焦完成为止的时间有可能变长。因此,在处于处置中的情况下,将透镜位置阈值变更为较大的值,从而降低判定为需要进行折返次数的复位的可能性。
在步骤S64、S65中判定为不需要进行折返次数的复位的情况下,将折返次数递增(S67)。接下来,判定折返次数是否大于折返次数阈值(S68)。在折返次数为折返次数阈值以下的情况下,保存该时机下的对焦透镜位置(S71)。在折返次数大于折返次数阈值的情况下,进行合焦完成透镜位置设定处理(S69)。
在步骤S69的合焦完成透镜位置设定处理中,根据该时机的对焦透镜位置(设为L0)和所保存的对焦透镜位置(设为L1),计算出合焦完成透镜位置,驱动对焦透镜驱动部220,使对焦透镜移动到合焦完成透镜位置。所保存的对焦透镜位置(L1)是在上次执行步骤S71时所保存的透镜位置。
在步骤S69中,根据从处置判定部340输出的判定结果是否为处置中而改变合焦完成透镜位置的设定方法。即,在未处于处置中的情况下,将合焦完成透镜位置设为L0与L1的中间。在未处于处置中的情况下,由于画面中央的整个预设区域需要尽可能地合焦,因此这样进行控制。在处于处置中的情况下,将合焦完成透镜位置设为L0。在处于处置中的情况下,由于需要在最新的时机针对处置对象使单点对焦,因此进行如下控制:将最新的对焦透镜位置即L0设定为合焦完成透镜位置。
当处理结束时,对焦控制部370进行摆动动作(使对焦透镜前后移动来判定合焦方向的1次摆动动作)的控制,再次开始图9的处理。这持续到合焦完成标志变为有效为止。
以上,对应用了本发明的实施方式及其变形例进行了说明,但本发明并不直接限定于各实施方式及其变形例,在实施阶段中,能够在不脱离发明的主旨的范围内对构成要素进行变形来具体化。另外,通过适当组合上述的各实施方式和变形例中公开的多个构成要素,能够形成各种发明。例如,也可以从各实施方式和变形例中记载的全部构成要素中删除几个构成要素。并且,也可以适当组合在不同的实施方式和变形例中说明的构成要素。这样,能够在不脱离发明的主旨的范围内进行各种变形和应用。另外,在说明书或附图中,至少一次与更广义或同义的不同用语一起被记载的用语在说明书或附图的任何位置都能置换为该不同的用语。
标号说明
100:硬性镜;110:透镜系统;120:光导部;200:摄像部;210:对焦透镜;220:对焦透镜驱动部;230:物镜系统;240:摄像元件;300:处理部;305:图像获取部;310:A/D转换部;320:前处理部;330:图像处理部;340:处置判定部、350:合焦评价区域设定部;360:合焦评价值计算部;370:对焦控制部;380:控制部;390:处理部;400:显示部;500:外部I/F部;600:光源部;610:白色光源;620:光导线缆;710:存储部;720:自动焦点控制装置。

Claims (23)

1.一种自动焦点控制装置,其特征在于,
该自动焦点控制装置包含:
图像获取部,其获取由摄像部所获取到的被摄体图像;
处置判定部,其根据所述被摄体图像,进行是否正在进行处置的判定;
合焦评价区域设定部,其根据所述处置判定部的所述判定的结果,将预设区域或者根据所述被摄体图像而设定的处置区域设定为所述被摄体图像中的合焦评价区域;以及
对焦控制部,其根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
2.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述预设区域是包含所述被摄体图像的中央在内的规定尺寸的区域。
3.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述处置判定部根据所述被摄体图像中的局部图像变化,进行是否正在进行所述处置的所述判定。
4.根据权利要求3所述的自动焦点控制装置,其特征在于,
所述处置判定部在被判定为存在所述局部图像变化的区域的面积在规定范围内的情况下,判定为正在进行所述处置。
5.根据权利要求3所述的自动焦点控制装置,其特征在于,
所述处置判定部根据所述被摄体图像的像素值的时间变化,或者根据运动量与求出所述运动量的位置周边的运动量的差分,进行是否存在所述局部图像变化的所述判定。
6.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部根据所述被摄体图像的局部图像变化,设定作为正在对被摄体进行所述处置的区域的所述处置区域。
7.根据权利要求6所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部对所述被摄体图像进行检测所述局部图像变化的处理,将被检测出所述局部图像变化的区域设定为所述处置区域。
8.根据权利要求6所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部根据所述被摄体图像的像素值的时间变化,或者根据运动量与求出所述运动量的位置周边的运动量的差分,检测所述处置区域。
9.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在将所述处置区域设定为所述合焦评价区域的情况下,将扩大所述处置区域而得的区域设定为所述合焦评价区域。
10.根据权利要求9所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部将在空间上扩大所述处置区域而得的区域、或者根据过去的所述处置区域而设定的区域,作为对所述处置区域进行所述扩大而得的区域而设定为所述合焦评价区域。
11.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在将所述预设区域设定为所述合焦评价区域的情况下,将从所述预设区域中去除处置器具的区域而得的区域设定为所述合焦评价区域,
所述合焦评价区域设定部在将所述处置区域设定为所述合焦评价区域的情况下,将从所述处置区域中去除所述处置器具的区域而得的区域设定为所述合焦评价区域。
12.根据权利要求11所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在将所述处置区域设定为所述合焦评价区域的情况下,进行检测所述被摄体图像的局部图像变化的处理和检测所述处置器具的区域的处理,将从被检测出所述局部图像变化的区域中去除所述处置器具的区域而得的区域设定为所述合焦评价区域。
13.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述对焦控制部根据所述处置判定部的所述判定的结果,变更所述对焦控制的控制参数。
14.根据权利要求13所述的自动焦点控制装置,其特征在于,
所述对焦控制部进行判定自动对焦动作是否已完成的对焦完成判定,在判定为所述自动对焦动作已完成的情况下,停止所述自动对焦动作,并根据所述处置判定部的所述判定的结果,变更所述对焦完成判定中的所述控制参数。
15.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述处置区域的面积比所述预设区域的面积小。
16.根据权利要求1所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在被判定为未正在进行所述处置的情况下,将所述预设区域设定为所述合焦评价区域,在被判定为正在进行所述处置的情况下,根据所述被摄体图像来检测作为正在对被摄体进行所述处置的区域的所述处置区域,将检测出的所述处置区域设定为所述合焦评价区域。
17.一种自动焦点控制装置,其特征在于,
该自动焦点控制装置包含:
图像获取部,其获取由摄像部所获取到的被摄体图像;
合焦评价区域设定部,其根据所述被摄体图像来检测所述被摄体图像中的处置区域,将检测出的所述处置区域设定为合焦评价区域;以及
对焦控制部,其根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
18.根据权利要求17所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部根据所述被摄体图像的局部运动,来检测作为正在对被摄体进行处置的区域的所述处置区域。
19.根据权利要求17所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在将所述处置区域设定为所述合焦评价区域的情况下,将扩大所述处置区域而得的区域设定为所述合焦评价区域。
20.根据权利要求17所述的自动焦点控制装置,其特征在于,
所述合焦评价区域设定部在将所述预设区域设定为所述合焦评价区域的情况下,将从所述预设区域中去除处置器具的区域而得的区域设定为所述合焦评价区域,
所述合焦评价区域设定部在将所述处置区域设定为所述合焦评价区域的情况下,将从所述处置区域中去除处置器具的区域而得的区域设定为所述合焦评价区域。
21.一种内窥镜装置,其特征在于,
该内窥镜装置包含权利要求1或17所述的自动焦点控制装置。
22.一种自动焦点控制装置的工作方法,其特征在于,
该工作方法包含如下步骤:
根据由摄像部所获取到的被摄体图像,进行是否正在进行处置的判定,
根据是否正在进行所述处置的所述判定的结果,将预设区域或者根据所述被摄体图像而设定的处置区域设定为所述被摄体图像中的合焦评价区域,
根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
23.一种自动焦点控制装置的工作方法,其特征在于,
该工作方法包含如下步骤:
根据由摄像部所获取到的被摄体图像来检测所述被摄体图像中的处置区域,
将检测出的所述处置区域设定为合焦评价区域,
根据所述合焦评价区域的合焦评价值,进行所述摄像部的对焦控制。
CN201680091525.8A 2016-12-20 2016-12-20 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法 Active CN110062596B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/087926 WO2018116371A1 (ja) 2016-12-20 2016-12-20 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法

Publications (2)

Publication Number Publication Date
CN110062596A true CN110062596A (zh) 2019-07-26
CN110062596B CN110062596B (zh) 2022-08-16

Family

ID=62626031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091525.8A Active CN110062596B (zh) 2016-12-20 2016-12-20 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法

Country Status (3)

Country Link
US (1) US11141050B2 (zh)
CN (1) CN110062596B (zh)
WO (1) WO2018116371A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654637A (zh) * 2020-07-14 2020-09-11 RealMe重庆移动通信有限公司 对焦方法、对焦装置及终端设备
CN112907500A (zh) * 2019-12-03 2021-06-04 精微视达医疗科技(武汉)有限公司 一种内窥镜对焦方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178474A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
WO2021250777A1 (ja) * 2020-06-09 2021-12-16 オリンパス株式会社 内視鏡システム及び内視鏡のフォーカス制御方法
US20230240518A1 (en) * 2022-01-28 2023-08-03 Visionsense Ltd. System and method for surgical instrument tracking with autofocus

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061939A1 (ja) * 2011-10-26 2013-05-02 オリンパス株式会社 内視鏡装置及びフォーカス制御方法
US20140046341A1 (en) * 2012-08-08 2014-02-13 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
CN104956246A (zh) * 2013-01-28 2015-09-30 奥林巴斯株式会社 摄像装置和摄像装置的控制方法
CN105072968A (zh) * 2013-03-27 2015-11-18 奥林巴斯株式会社 图像处理装置、内窥镜装置、程序和图像处理方法
CN105378534A (zh) * 2013-10-04 2016-03-02 奥林巴斯株式会社 摄像装置、摄像装置的工作方法
CN105555180A (zh) * 2013-09-24 2016-05-04 奥林巴斯株式会社 内窥镜装置和内窥镜装置的控制方法
WO2016088186A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2016088187A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
CN105848558A (zh) * 2013-12-27 2016-08-10 奥林巴斯株式会社 内窥镜装置、内窥镜装置的控制方法以及程序
WO2016147309A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
WO2016199264A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及びフォーカス制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367927B2 (en) * 2011-07-13 2016-06-14 Nec Corporation Moving image region detection device
JP6335503B2 (ja) 2013-12-19 2018-05-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6453543B2 (ja) * 2014-01-22 2019-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
DE112015005847T5 (de) * 2015-01-23 2017-09-14 Olympus Corporation Endoskopvorrichtung und Scharfeinstellungssteuerungsverfahren für Endoskopvorrichtung

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061939A1 (ja) * 2011-10-26 2013-05-02 オリンパス株式会社 内視鏡装置及びフォーカス制御方法
US20140046341A1 (en) * 2012-08-08 2014-02-13 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
CN104956246A (zh) * 2013-01-28 2015-09-30 奥林巴斯株式会社 摄像装置和摄像装置的控制方法
CN105072968A (zh) * 2013-03-27 2015-11-18 奥林巴斯株式会社 图像处理装置、内窥镜装置、程序和图像处理方法
CN105555180A (zh) * 2013-09-24 2016-05-04 奥林巴斯株式会社 内窥镜装置和内窥镜装置的控制方法
CN105378534A (zh) * 2013-10-04 2016-03-02 奥林巴斯株式会社 摄像装置、摄像装置的工作方法
CN105848558A (zh) * 2013-12-27 2016-08-10 奥林巴斯株式会社 内窥镜装置、内窥镜装置的控制方法以及程序
WO2016088186A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2016088187A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2016147309A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
WO2016199264A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及びフォーカス制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907500A (zh) * 2019-12-03 2021-06-04 精微视达医疗科技(武汉)有限公司 一种内窥镜对焦方法及装置
CN112907500B (zh) * 2019-12-03 2022-02-18 精微视达医疗科技(武汉)有限公司 一种内窥镜对焦方法及装置
CN111654637A (zh) * 2020-07-14 2020-09-11 RealMe重庆移动通信有限公司 对焦方法、对焦装置及终端设备
CN111654637B (zh) * 2020-07-14 2021-10-22 RealMe重庆移动通信有限公司 对焦方法、对焦装置及终端设备

Also Published As

Publication number Publication date
CN110062596B (zh) 2022-08-16
US11141050B2 (en) 2021-10-12
WO2018116371A1 (ja) 2018-06-28
US20190298157A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
CN110062596A (zh) 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
CN105740757B (zh) 变焦控制装置、摄像设备和变焦控制装置的控制方法
CN105848558B (zh) 内窥镜装置以及内窥镜装置的控制方法
EP1797816B1 (en) Method and apparatus for processing an eye fundus image
JP5388765B2 (ja) 眼底カメラ
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US20120120305A1 (en) Imaging apparatus, program, and focus control method
JP6453904B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
CN105378534B (zh) 摄像装置、摄像装置的工作方法
JP6453905B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
JP2013101314A (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
CN105579880B (zh) 内窥镜用摄像系统、内窥镜用摄像系统的工作方法
JP6574448B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP6670853B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JP6758287B2 (ja) 制御装置及び医療用撮像システム
JP2009268086A (ja) 撮像装置
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JPWO2017122349A1 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
CN107111103B (zh) 摄影装置和摄影方法
JP2015221090A (ja) 眼科装置及びその制御方法
US10799085B2 (en) Endoscope apparatus and focus control method
WO2018061429A1 (ja) 撮影画像評価装置および方法並びにプログラム
JP2013183313A (ja) レンズ汚れを検知する方法と、この方法を用いた手術用カメラ
JPH11188006A (ja) 眼科装置
JP2005058267A (ja) 眼科用撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant