CN105934190B - 内窥镜装置及内窥镜装置的动作方法 - Google Patents
内窥镜装置及内窥镜装置的动作方法 Download PDFInfo
- Publication number
- CN105934190B CN105934190B CN201580005024.9A CN201580005024A CN105934190B CN 105934190 B CN105934190 B CN 105934190B CN 201580005024 A CN201580005024 A CN 201580005024A CN 105934190 B CN105934190 B CN 105934190B
- Authority
- CN
- China
- Prior art keywords
- evaluation
- estimate
- smog
- value
- smoke detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
- A61B1/127—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements with means for preventing fogging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
- G02B23/243—Objectives for endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2446—Optical details of the image relay
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2453—Optical details of the proximal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
内窥镜装置包括:对焦控制部(360),其控制摄像部(200)的光学系统具有的对焦透镜的位置,来进行对焦控制;以及烟雾检测部(340),其检测烟雾的产生。在由烟雾检测部(340)检测出所述烟雾的产生的情况下,对焦控制部(360)使对焦控制中的对焦动作的执行停止。
Description
技术领域
本发明涉及内窥镜装置及内窥镜装置的动作方法等。
背景技术
在内窥镜装置中要求尽可能宽的景深,以便不对用户的诊断/处置产生障碍。但是,近年来随着在内窥镜装置中也采用高像素的摄像元件,景深变狭窄。因此,提出了进行自动对焦(以下简称为AF)的内窥镜装置。在以往针对动态图像的AF技术中提出了如下所述的方法,以防止无用的对焦动作。
例如在专利文献1中,存储对焦动作完成的状态的AF评价值,在相对于该AF评价值达规定的阈值以上的变化持续规定的待机时间以上的情况下,再次执行对焦动作。由此,能够防止超过必要程度地高频次地进行对焦动作。
或者在专利文献2中,将AF区域配置在图像的中央区域,在对焦动作完成后,根据当前图像和过去图像分别计算图像的周边区域的相似度和图像的中央区域(AF区域)的相似度。此处的相似度是在图像越相似时越小的值。并且,在图像的周边区域的相似度为规定的阈值以上、图像的中央区域的相似度为规定的阈值以下的情况下,不进行对焦动作。因此,能够防止在如下的情况时进行不必要的对焦动作:即使是图像的周边区域的被摄体由于在对焦后进行取景的变更等而变化时,距位于图像的中央区域的主要被摄体的距离也不变的情况。
现有技术文献
专利文献
专利文献1:日本特开2006-208818号公报
专利文献2:日本特开2010-176061号公报
发明内容
发明要解决的问题
另外,在内窥镜装置中,用户为进行处置而将视野固定,在完成一次对焦后,期望使对焦动作停止。但是,在内窥镜装置的摄影范围中有可能因各种原因而产生烟雾,在产生烟雾时,对比度下降,AF进行错误动作,存在对焦不准的问题。
根据本发明的几个方式,提供在产生烟雾的情况下也能够维持对焦状态的内窥镜装置及内窥镜装置的动作方法等。
用于解决问题的手段
本发明的一个方式涉及内窥镜装置,该内窥镜装置包括:对焦控制部,其控制摄像部的光学系统具有的对焦透镜的位置,来进行对焦控制;以及烟雾检测部,其检测烟雾的产生,在由所述烟雾检测部检测出所述烟雾的产生的情况下,所述对焦控制部使所述对焦控制中的对焦动作的执行停止。
根据本发明的一个方式,在检测出烟雾的产生的情况下,使对焦控制中的对焦动作的执行停止。因此,在产生了有可能引发对焦控制进行错误动作的烟雾的情况下,能够使对焦动作停止,即使是产生了烟雾的情况下,也能够维持对焦状态。
并且,本发明的另一个方式涉及内窥镜装置的动作方法,控制摄像部的光学系统具有的对焦透镜的位置,来进行对焦控制,检测烟雾的产生,在检测出所述烟雾的产生的情况下,使所述对焦控制中的对焦动作的执行停止。
附图说明
图1是本实施方式的内窥镜装置的结构例。
图2是第1实施方式的内窥镜装置的结构例。
图3是第1实施方式的烟雾检测部和对焦控制部的具体结构例。
图4是烟雾检测区域和AF区域的设定方法的示例。
图5是烟雾检测部和对焦控制部进行的处理的流程图。
图6是用户进行处置时的图像的示例。
图7(A)~图7(F)是基于烟雾的图像的时间变化的示例。
图8是产生烟雾时的亮度值的时间变化的示例。
图9是产生烟雾时的彩度值的时间变化的示例。
图10是产生烟雾时的对比度值的时间变化的示例。
图11是产生烟雾时的亮度值的评价值的时间变化的示例。
图12是产生烟雾时的彩度值的评价值的时间变化的示例。
图13是产生烟雾时的对比度值的评价值的时间变化的示例。
图14是第2实施方式的烟雾检测部和对焦控制部的具体结构例。
图15是说明AF评价值采用的空间频率的频带和烟雾评价值采用的空间频率的频带的图。
具体实施方式
下面,对本实施方式进行说明。另外,以下说明的本实施方式不能不恰当地限定在权利要求书中记载的本发明的内容。并且,在本实施方式中说明的结构并非都是本发明的必须构成要素。
1.本实施方式的概要
例如,当在外科领域等中使用内窥镜装置(内窥镜系统)进行处置的情况下,用户操作内镜使得病变部位于图像的中央附近,使用电手术刀和钳子等处置器具进行病变部的切除和缝合等处置。因此,优选在进行该处置的图像的中央附近配置AF区域。
并且,用户固定视野进行处置,当在处置期间焦点变化时,将对处置产生障碍。因此,期望在对固定的视野完成一次对焦后使对焦动作停止,以便防止用户意想不到的焦点位置的变化和产生因AF控制的错误动作而引起的图像的模糊等。
但是,基于如下所述的原因,有时在视野中产生烟雾,存在焦点位置有可能由于该烟雾而偏离的问题。
即,在用户进行处置的期间,使用电手术刀和超声波手术刀等对作为主要被摄体的病变部进行切除和缝合等。在电手术刀接触到活体时,借助手术刀末端的热量将病变部周边烧灼,产生灰、烟、水蒸气并在腹腔内扩散。并且,在超声波手术刀的情况下,由于气蚀(因振动在水分中产生气泡的现象)而产生活体内的水分在腹腔内呈雾状扩散的现象。将这样不透明的灰、烟、水蒸气、雾等在腹腔内扩散的现象称为烟雾(mist)。
当在用户进行处置的期间产生如上所述的烟雾时,图像的对比度下降,从AF区域取得的AF评价值随着时间而减小(评价值变差)。这样,将不能根据AF评价值判定在AF控制中是否对焦了。在处于这样的状态时,对焦透镜位置大幅移动而导致图像模糊。另外,由于对焦透镜位置的移动而引发倍率变动。由于这样的焦点的模糊和倍率变动,导致对处置中的用户提供视觉观察性极差的图像。并且,在对焦透镜位置大幅偏离对焦位置时,即使是达到了烟雾消失、能够进行正常的AF的状态时,对焦也会花费时间。
作为抑制无用的AF动作的技术有上述的专利文献1和专利文献2,但是这些技术不是假定烟雾的技术,对于烟雾的产生不能高精度地抑制AF动作。因此,难以在用户进行处置的期间使对焦动作停止。
图1示出能够解决这种问题的本实施方式的内窥镜装置的结构例。内窥镜装置10包括:对焦控制部360,其控制摄像部200的光学系统具有的对焦透镜的位置,并进行对焦控制;以及烟雾检测部340,其检测烟雾的产生。并且,在由烟雾检测部340检测出烟雾的产生的情况下,对焦控制部360使对焦控制中的对焦动作的执行停止。
例如,如后面在图7(A)~图10等中说明的那样,在产生烟雾时,图像的亮度值和彩度值、对比度值等参数随时间而变化,因而通过从图像中检测该参数的变化,能够检测烟雾的产生。另外,不仅从图像中检测烟雾的产生,而且也可以结合使烟雾产生的处置器具的控制信息(例如通电状态等)来检测烟雾的产生。
并且,作为对焦动作,例如使用对比度法、和包括光瞳分割相位差法、像面相位差法等的相位差法等进行自动使焦点对准被摄体的动作(所谓AF控制)。即,对焦控制是指也包括持续使对焦透镜停止的控制在内的、对焦透镜位置的控制整体,将该对焦控制中使焦点对准被摄体的动作称为对焦动作。在使对焦动作的执行停止时,对焦控制部360使对焦透镜的移动停止,将焦点的位置固定。
如上所述,在检测出烟雾的产生的情况下,使对焦动作的执行停止,由此能够抑制因烟雾引起的AF的错误动作。即,能够在用户进行处置的期间停止对焦动作,防止在用户进行处置的期间的意外的焦点位置的变化、和产生因AF控制的错误动作而引起的图像的模糊等。
2.第1实施方式
2.1.内窥镜装置
下面,说明具体的实施方式。图2示出第1实施方式的内窥镜装置的结构例。内窥镜装置包括进入体内的插入部即硬性镜100、与硬性镜100连接的摄像部200、处理部300、显示部400、外部I/F部500、及光源部600。
光源部600包括:白色光源610,其产生白色光;以及光导线缆620,其将来自白色光源610的出射光引导到硬性镜100。
硬性镜100包括:透镜系统110,其构成为包括例如成像透镜和转像透镜和目镜等;以及光导部120,其将来自光导线缆620的出射光引导到硬性镜100的末端。
摄像部200包括使来自透镜系统110的出射光成像的物镜系统(光学系统)270。物镜系统270构成为包括:对焦透镜220,其调整对焦物体位置;以及变焦透镜240,其调整光学倍率。摄像部200还包括:摄像元件260,其对在物镜系统270成像的反射光进行光电变换而生成图像;对焦透镜驱动部230,其驱动对焦透镜220;变焦透镜驱动部250,其驱动变焦透镜240;以及变焦按钮210,其调整变焦透镜位置。对焦透镜驱动部230及变焦透镜驱动部250例如由音圈电机(以下称为VCM)构成。并且,摄像元件260是具有例如拜耳排列的滤色镜的固体摄像元件。
其中,对焦物体位置是指在被摄体侧焦点对准的位置。即,由物镜系统270成像的被摄体对焦于摄像元件260时的该被摄体的位置。对焦物体位置例如用从摄像部200的基准位置(例如物镜系统270和摄像元件260的位置)到被摄体的距离表示。
处理部300包括A/D转换部310、前处理部320、图像处理部330、对焦控制部360、控制部350、和烟雾检测部340。
A/D转换部310将从摄像元件260依次输出的模拟信号变换为数字的图像,并依次输出给前处理部320。前处理部320对从A/D转换部310输出的图像进行例如白平衡处理、插值处理(去马赛克处理)、YCbCr变换处理等图像处理,并依次输出给图像处理部330和对焦控制部360。
图像处理部330对从前处理部320输出的图像进行例如颜色变换、灰度变换、边缘强调、降噪等图像处理,将图像依次输出给显示部400。显示部400例如是液晶监视器,显示从图像处理部330依次输出的图像。
烟雾检测部340根据来自前处理部320的图像检测烟雾的产生和烟雾的消失。对焦控制部360根据来自前处理部320的图像控制对焦透镜驱动部230,控制将焦点对准被摄体的对焦动作。在检测出烟雾的产生和烟雾的消失的情况下,对焦控制部360进行对焦动作的停止和重启。关于烟雾检测部340和对焦控制部360的具体情况在后面进行说明。
控制部350与外部I/F部500和图像处理部330、对焦控制部360、摄像元件260、变焦按钮210等内窥镜装置的各个部分相互连接,向这些各个部分进行控制信号的输入输出。
外部I/F部500是用户向内窥镜装置进行输入等的接口。例如,外部I/F部500构成为包括进行AF的开始/结束用的AF按钮、调整图像处理的参数用的调整按钮、将处置器具(电手术刀和超声波手术刀)的电源接通/断开用的开关等。向控制部350传送处置器具的通电信息(表示开关的接通/断开的信息)。
2.2.烟雾检测部、对焦控制部
图3示出烟雾检测部340和对焦控制部360的具体结构例。烟雾检测部340包括烟雾检测区域设定部341和检测部342。对焦控制部360包括AF区域设定部361、AF评价值计算部362和对焦透镜控制部363。
烟雾检测区域设定部341根据例如从控制部350输出的图像尺寸等信息,设定如图4所示的烟雾检测区域。然后,烟雾检测区域设定部341将所设定的烟雾检测区域信息输出给检测部342。例如,将图像分割成3×3的区域并设定9个评价块,将这些评价块的集合作为烟雾检测区域。在此被设定为烟雾检测区域的评价块的数量当然能够任意设定。
检测部342根据从烟雾检测区域设定部341输出的烟雾检测区域信息和从前处理部320依次输出的图像检测烟雾。然后,检测部342将表示是否检测出烟雾的烟雾检测信息输出给对焦透镜控制部363。关于烟雾的检测方法的具体情况在后面进行说明。
AF区域设定部361根据例如从控制部350输出的图像尺寸等信息,设定如图4所示的AF区域。然后,AF区域设定部361将所设定的AF区域信息输出给AF评价值计算部362。在本实施方式中,为了简化说明,将被设定为烟雾检测区域的多个评价块中与中央的评价块相同的区域作为AF区域。实际上评价块的尺寸和AF区域不需要是相同尺寸,因而也可以将与评价块大小完全不同的区域作为AF区域设置在图像的中央附近。
AF评价值计算部362根据从AF区域设定部361输出的AF区域信息和从前处理部320依次输出的图像计算AF评价值。例如,计算AF区域中包含的所有像素的Y信号,对该Y信号进行任意的BPF(带通滤波)处理,将该BPF处理的输出的总和作为AF评价值。然后,AF评价值计算部362将计算出的AF评价值依次输出给对焦透镜控制部363。
对焦透镜控制部363根据从检测部342输出的烟雾检测信息和从AF评价值计算部362输出的AF评价值,生成对焦透镜的控制信息并输出给对焦透镜驱动部230。对焦透镜驱动部230根据从对焦透镜控制部363输出的控制信息驱动对焦透镜。
2.3.对焦控制处理
图5示出进行如上所述的烟雾检测时的对焦控制处理的流程图。
在AF控制开始时,对焦透镜控制部363开始对焦动作。在对焦动作开始时,对焦透镜控制部363使用公知的AF技术进行对焦动作。作为公知的AF技术,例如使用对比度AF等公知的峰值检测控制。
具体而言,在本实施方式中,对焦控制部360决定用于取得AF评价值的对焦透镜位置(目标位置),将该目标位置输出给对焦透镜驱动部230(步骤S101)。对焦透镜驱动部230使对焦透镜移动到目标位置。然后,对焦透镜控制部363从AF评价值计算部362取得目标位置的AF评价值(步骤S102)。然后,对焦控制部360从烟雾检测部340具有的检测部342取得烟雾检测信息(步骤S103)。
然后,根据烟雾检测信息判定是否产生了烟雾(步骤S104)。在判定为未产生烟雾的情况下,根据AF评价值进行对焦控制(步骤S105),进行对焦是否完成的判定(步骤S106)。在对焦尚未完成的情况下,反复从步骤S101起的动作。在对焦已完成的情况下结束对焦动作。并且,再次开始对焦动作。另一方面,在步骤S104,在判定为产生了烟雾的情况下,跳过对焦控制,并结束对焦动作。
当在步骤S104判定为产生了烟雾并结束了对焦动作的情况下,对焦透镜控制部363开始待机动作。在待机动作开始时,对焦透镜控制部363取得从检测部342输出的烟雾检测信息(步骤S201)。然后,对焦透镜控制部363根据烟雾检测信息判定烟雾是否消失(步骤S202)。在判定为烟雾未消失的情况下,反复从步骤S201起的动作。另一方面,在判定为烟雾消失的情况下结束待机动作。
在待机动作结束的情况下,对焦透镜控制部363返回到AF控制开始的处理。即,在根据烟雾检测而执行待机动作的期间,对焦透镜控制部363持续输出相同的对焦透镜位置,不进行对焦透镜的驱动。例如,向对焦透镜驱动部230持续输出在结束对焦动作时的目标位置。另外,此处没有详细叙述,AF控制开始的处理是根据是否是预先设定的状态(例如以场景检测为触发等)而开始的。
2.4.烟雾检测处理
下面详细说明烟雾检测处理。首先,对设定如图4所示的烟雾检测区域的理由进行说明。
图6示出在用户进行处置的期间内窥镜装置取得的代表性图像的图。如上所述,优选将AF区域配置在图像的中心附近,以便在视野的中心附近进行处置。并且,由于通过处置而产生烟雾,因而在AF区域附近烟雾的产生频度最大。因此,仅使用不限于AF评价值的从图像的AF区域取得的信息使用户进行处置的期间的对焦动作高精度地停止是有困难的。
例如,当在AF区域中检测出对比度的变化的情况下,很难区分对比度由于烟雾而变化、还是对比度由于焦点的变化而变化。即,很难根据AF区域的对比度变化判定烟雾的产生并使对焦动作停止。
另一方面,在关注于图像的周边附近时,在产生烟雾时图像的变化与图像的中央附近不同。即,由于以在用户进行处置的期间使病变部位于图像的中央附近的方式将视野固定,并对该中央附近的病变部进行处置,因而对图像的周边附近不进行处置,从图像的周边附近不产生烟雾。因此,当在中央附近产生烟雾时,在该烟雾到达周边附近之前,周边附近的图像的变化比较小。
因此,在本实施方式中,如图4所示,不仅将AF区域,而且将一直包括到图像的周边为止的区域设定为烟雾检测区域(即,包括与AF区域不同的区域),使用从该区域取得的烟雾检测信息进行对焦动作的开始、结束控制。通过这样根据图像的中央和周边的信息检测烟雾,能够利用从中央向周边扩展的烟雾的特点,能够区别于对焦变化导致的图像变化而准确地检测烟雾。由此,用户观察的场景中没有烟雾,能够仅在实际需要焦点调整的场合执行对焦动作。
下面,对检测烟雾的产生的方法和检测烟雾的消失的方法进行详细说明。
将被设定为烟雾检测区域的多个块设为b[i]。i表示与块对应的块号码,在图4的例子中i=0、1、…、8。检测部342对于所有的块b[i],根据当前的图像计算块的平均亮度b_Y[i][n]、块的平均彩度b_S[i][n]、和块的D范围b_D[i][n],将这些计算结果存储在未图示的存储器中。其中,n表示图像被取得的时机。
然后,检测部342使用下式(1)~(3)计算烟雾检测的评价值Vy[n]、Vs[n]、Vd[n]。其中,b_Y[i][n-x]表示根据在从当前的图像起x帧前取得的图像计算出的各块的平均亮度,b_S[i][n-x]表示根据在从当前的图像起x帧前取得的图像计算出的各块的平均彩度,b_D[i][n-x]表示根据在从当前的图像起x帧前取得的图像计算出的各块的D范围。其中,x能够设定为任意的数。
根据上式(1)~(3)可知,计算出根据当前图像(时刻为n)计算的各评价块的平均亮度、与根据过去x帧前取得的图像计算的各评价块的平均亮度之差的总和,作为Vy[n]。并且,计算出根据当前图像(时刻为n)计算的各评价块的平均彩度、与根据过去x帧前取得的图像计算的各评价块的平均彩度之差的总和,作为Vs[n]。并且,计算出根据当前图像(时刻为n)计算的各评价块的D范围、与根据过去x帧前取得的图像计算的各评价块的D范围之差的总和,作为Vd[n]。
关于评价值Vy[n]、Vs[n]、Vd[n]的时间变化,使用图7(A)~图15进行说明。图7(A)~图7(F)是示意地示出从烟雾的产生到消失的图像的时间变化的图。
图7(A)示出烟雾检测区域和AF区域。如图7(B)所示,使病变部对准AF区域,插入处理器具并开始处置。如图7(C)所示,从进行处置的中央部产生烟雾。如图7(D)所示,烟雾扩散到周边部并充满腹腔内。在烟雾产生的期间,虽然烟雾的浓度在变化,但是该状态在持续。如图7(E)所示,在烟雾的产生停止时烟雾逐渐稀薄。如图7(F)所示,烟雾消失,恢复到能够进行AF的状态。
图8~图10是示出在如上所述烟雾变化时的图像的亮度值、彩度值、对比度值的变化的图。图8~图10的右图示出各个块的值,左图示出所有块的平均值。并且,时间tB~tF分别对应于图7(B)~图7(F)的时机。
如图8~图10所示,随着烟雾产生并充满腹腔内,亮度值上升,彩度值和对比度值(D范围)下降。并且,随着烟雾产生的停止、消失,亮度值下降,彩度值和对比度值上升。这是因为烟雾对照明进行漫反射而使亮度值上升,由于烟雾是不透明的,因而使得彩度值和对比度值下降。
图11~图13是示出如上所述亮度值、彩度值、对比度值变化时的评价值Vy[n]、Vs[n]、Vd[n]的变化的图。这些评价值是差分值,因而表现为诸如将图8~图10所示的特性微分处理后的特性。
如图11~图13所示,在产生烟雾时,亮度值具有正的斜率,因而评价值Vy[n]呈向上凸出的特性,彩度值和对比度值具有负的斜率,因而评价值Vs[n]、Vd[n]呈向下凸出的特性。另一方面,在烟雾消失时,亮度值的评价值Vy[n]呈向下凸出的特性,彩度值的评价值Vs[n]和对比度值的评价值Vd[n]呈向上凸出的特性。
针对这样的评价值Vy[n]、Vs[n]、Vd[n]的变化,在本实施方式中按照以下所述判定是否产生了烟雾。
即,检测部342判定为在亮度值的评价值Vy[n]超过规定的阈值Thy、而且彩度值的评价值Vs[n]和对比度值的评价值Vd[n]分别低于规定的阈值Ths、Thd的时刻n(在图11~图13中指tB和tC之间)产生了烟雾。
或者也可以是,检测部342检测亮度值的评价值Vy[n]达到极大值Max{Vy}的时间、彩度值的评价值Vs[n]和对比度值的评价值Vd[n]分别达到极小值Min{Vs}、Min{Vd}的时间,在这些时间是同时(包括大致同时)产生的情况下,判定为在该时间n(在图11~图13中指tC)产生了烟雾。
然后,使用评价值Vy[n]、Vs[n]、Vd[n]进行烟雾是否消失的判定。
即,检测部342检测亮度值的评价值Vy[n]在小于第1规定阈值Th1_Vy的条件下达到极小值Min{Vy}的时刻、彩度值的评价值Vs[n]和对比度值的评价值Vd[n]分别在大于第1规定阈值Th1_Vs、Th1_Vd的条件下达到极大值Max{Vs}、Max{Vd}的时刻(在图11~图13中指tE)。并且,检测部342判定为在从这些时刻起亮度值的评价值Vy[n]超过第2规定阈值Th2_Vy、而且彩度值的评价值Vs[n]和对比度值的评价值Vd[n]分别低于第2规定阈值Th2_Vs、Th2_Vd的时刻(在图11~图13中指tE和tF之间)烟雾消失。
在评价值Vy[n]、Vs[n]、Vd[n]达到极大或者极小后,直到达到第2规定阈值为止进行等待,由此能够在烟雾消失到AF区域的对比度恢复而能够进行AF控制的程度时,重启AF控制。
或者也可以是,检测部342判定为在亮度值的评价值Vy[n]在小于第1规定阈值Th1_Vy的条件下达到极小值Min{Vy}、而且彩度值的评价值Vs[n]和对比度值的评价值Vd[n]分别在大于第1规定阈值Th1_Vs、Th1_Vd的条件下达到极大值Max{Vs}、Max{Vd}的时刻n(在图11~图13中指tE)烟雾消失。
检测部342将以上的烟雾产生及烟雾消失的判定结果作为烟雾检测信息输出给对焦透镜控制部363。
2.5.烟雾检测处理的第2方法
另外,烟雾检测的方法不限于上述方法。例如,也可以根据下式(4)~(6)计算评价值Vy[n]、Vs[n]、Vd[n]。
Vy[n]=MaxA(b_Y[i][n]-b_Y[i][n-x]) (4)
Vs[n]=MaxA(b_S[i][n]-b_S[i][n-x]) (5)
Vd[n]=MaxA(b_D[i][n]-b_D[i][n-x]) (6)
其中,MaxA()表示取得括弧内的值中绝对值为最大的值的运算。最大值的判定是根据绝对值进行的,但所取得的值保持带符号状态。即,评价值Vy[n]是根据当前图像(时刻为n)计算出的各评价块的平均亮度、与根据过去x帧前取得的图像计算出的各评价块的平均亮度之差的绝对值达到最大的、带符号的值(对绝对值加上正负符号的值)。并且,评价值Vs[n]是根据当前图像(时刻为n)计算出的各评价块的平均彩度、与根据过去x帧前取得的图像计算出的各评价块的平均彩度之差的绝对值达到最大的、带符号的值(对绝对值加上正负符号的值)。并且,评价值Vd[n]是根据当前图像(时刻为n)计算出的各评价块的D范围、与根据过去x帧前取得的图像计算出的各评价块的D范围之差的绝对值达到最大的、带符号的值(对绝对值加上正负符号的值)。
上式(4)~(6)是使用在多个评价块中产生了最大变化的块的评价值的式子。特别是在产生烟雾时具有烟雾局部存在的倾向,但认为产生评价值的最大变化的是该烟雾局部存在的区域。因此,通过将最大变化用作评价值,能够高灵敏度地检测在产生烟雾时产生区域局部存在的状态。
2.6.烟雾检测处理的第3方法
另外,也可以根据下式(7)~(9)计算评价值Vyσ[n]、Vsσ[n]、Vdσ[n]。
Vyσ[n]=Sigma(b_Y[i][n]-b_Y[i][n-x]) (7)
Vsσ[n]=Sigma(b_S[i][n]-b_S[i][n-x]) (8)
Vdσ[n]=Sigma(b_D[i][n]-b_D[i][n-x]) (9)
其中,sigma()表示取得括弧内的值的标准偏差的运算。即,评价值Vyσ[n]是针对根据当前图像(时刻为n)计算出的各评价块的平均亮度、与根据过去x帧前取得的图像计算出的各评价块的平均亮度之差的、所有评价块内的标准偏差。并且,评价值Vsσ[n]是针对根据当前图像(时刻为n)计算出的各评价块的平均彩度、与根据过去x帧前取得的图像计算出的各评价块的平均彩度之差的、所有评价块内的标准偏差。并且,评价值Vdσ[n]是针对根据当前图像(时刻为n)计算出的各评价块的D范围、与根据过去x帧前取得的图像计算出的各评价块的D范围之差的、所有评价块内的标准偏差。
在产生烟雾时烟雾是局部存在的,因而在块之间亮度值和彩度值、对比度值的时间变化具有偏差(图8~图10的右图)。因此,上式(7)~(9)的标准偏差在烟雾产生时增大,因而能够与烟雾以外的变化(例如基于焦点的变化等的图像整体的变化)相区别。即,通过比较上式(7)~(9)的标准偏差和规定阈值,能够判定评价值是由于烟雾以外的变化而变化,还是由于烟雾的产生和消失使得评价值产生局部的变化。
另外,不限于诸如评价值Vyσ[n]、Vsσ[n]、Vdσ[n]那样的标准偏差,只要能够计算用于判定在所有评价块内时间变化是否是局部地产生的参数即可。例如,也可以计算所有评价块内的最大值与最小值之差分值的变化量。
2.7.变形例
在以上的实施方式中设定了包括图像的中央部和周边部的烟雾检测区域,但区域的设定方法不限于此。即,如上所述当用户在内窥镜装置中进行处置的期间,在图像的中央附近产生烟雾的概率最大。因此,也可以仅将图像的中央区域(=AF区域)设定为烟雾检测区域,并进行与上述相同的判定处理来检测烟雾。
通常是在中央附近产生烟雾的概率比较高,但也存在从周边部产生烟雾的情况。在这种情况下,截止到在周边部产生的烟雾进入AF区域以前,能够正常取得AF评价值。因此,通过仅将中央区域设定为烟雾检测区域,能够在烟雾进入AF区域以前的期间继续AF控制。
并且,在上述的实施方式中根据画面整体的总和检测烟雾评价值,但烟雾评价值的计算方法不限于此。例如,也可以在3×3的各个块中彼此独立地进行与上述相同的判定处理,并进行烟雾检测,当在规定数量的块中检测出烟雾的产生时,使对焦动作停止。
这样,当在画面内的几处产生烟雾时,在该时刻尽早停止AF控制,能够使对焦透镜固定。由此,具有能够提前防止AF控制的错误动作的可能性的优点。
根据以上的第1实施方式,烟雾检测部340根据由摄像部200拍摄的摄像图像检测烟雾的产生。其中,摄像图像是通过前处理部320进行处理后的图像。或者,也可以是通过图像处理部330进行处理后的图像。
如以上在图7(B)~图7(F)中说明的那样,在进行处置的区域产生烟雾,在该烟雾扩散至摄影区域的过程中,图像产生变化。即,通过根据图像检测这种变化,能够根据图像检测出烟雾的产生,使AF控制停止。
具体而言,烟雾检测部340求出基于摄像图像的亮度值的第1评价值Vy[n]、以及基于摄像图像的彩度值的第2评价值Vs[n]、基于摄像图像的对比度值的第3评价值Vd[n]中至少两个以上(包括两个)的评价值,作为烟雾评价值,根据该烟雾评价值检测烟雾的产生。
在第1实施方式中,根据动态范围求出对比度值。动态范围是指在亮度值的直方图中最大值与最小值的差分值。另外,不限于此,也可以使用表示图像的对比度的指标作为第3评价值,例如抽取图像的高频成分,根据该高频成分求出第3评价值。
由于烟雾是呈雾状扩散的物质,因而对照明进行漫反射,如以上在图8~图10中说明的那样使亮度值上升、使彩度值和对比度值下降。因此,通过根据这些参数计算评价值,能够检测烟雾的产生。例如,尽管对比度值等由于焦点的变化而变化,但是通过结合两个以上(包括两个)的评价值,能够与烟雾以外原因导致的参数变化相区别,能够高精度地检测烟雾。
如以上在图11~图13中说明的那样,烟雾检测部340求出亮度值的时间变化作为第1评价值Vy[n],求出彩度值的时间变化作为第2评价值Vs[n],求出对比度值的时间变化作为第3评价值Vd[n]。
亮度值和彩度值、对比度值自身受烟雾的浓度和摄影状况(例如被摄体的类型、距被摄体的距离、照明的明亮度等)的影响,因而难以设定用于检测烟雾的条件(例如阈值)。因此,在直接使用这些参数时,难以准确检测烟雾。关于这一点,如图11~图13所示,在烟雾的产生和消失的变化点评价值变化,因而通过使用参数的时间变化,能够设定不易受参数自身的值影响的条件(例如极大、极小等),能够高精度地检测烟雾的产生和消失。
并且,参数的时间变化产生于烟雾的产生时和消失时,因而通过使用时间变化,能够在实际产生烟雾起的较早阶段判定为产生了烟雾。或者,能够在烟雾充分消失的阶段判定为烟雾消失。
如以上在图11~图13中说明的那样,烟雾检测部340检测第1评价值Vy[n]的极大值Max{Vy}和第2评价值Vs[n]的极小值Min{Vs}和第3评价值Vd[n]的极小值Min{Vd}。并且,烟雾检测部340在判定为检测出第1评价值Vy[n]的极大值Max{Vy}的第1时机、检测出第2评价值Vs[n]的极小值Min{Vs}的第2时机、和检测出第3评价值Vd[n]的极小值Min{Vd}的第3时机一致的情况下,判定为产生了烟雾。
参数的时间变化的极大和极小的产生与参数自身的值无关。因此,通过将参数的时间变化的极大值和极小值作为参数产生的条件,将不受烟雾的浓度和摄影状况的左右,因而能够高精度地检测烟雾的产生。
另外,不仅在第1~第3时机完全一致的情况下,在第1~第3时机多少前后错时的情况下,也判定为第1~第3时机一致。即,只要能够与评价值由于焦点的变化等其它原因而变化的情况相区别即可,因而第1~第3时机也可以错开检测烟雾所需要的规定的时间。例如,实际拍摄烟雾来测定第1~第3时机,将在统计中有可能产生的时机的偏差设定为所允许的规定时间,当在该规定时间内检测出第1~第3时机的情况下,判定为第1~第3时机一致。
并且,也可以是,在第1评价值Vy[n]大于第1规定阈值Thy、第2评价值Vs[n]小于第2规定阈值Ths、第3评价值Vd[n]小于第3规定阈值Thd的情况下,烟雾检测部340判定为产生了烟雾。
这样,能够在评价值达到极大值和极小值之前判定为产生了烟雾,因而能够在更早的阶段检测烟雾的产生,使AF控制停止。因此,能够在烟雾较少的状态下使AF控制停止,因而能够更可靠地抑制AF的错误动作。
并且,对焦控制部360对摄像图像设定对焦评价值检测区域(AF区域),根据对焦评价值检测区域求出用于评价对焦动作中的对焦程度的对焦评价值(AF评价值)。如图4所示,烟雾检测部340设定内含了对焦评价值检测区域的烟雾检测区域(3×3的块区域),根据烟雾检测区域的图像求出用于检测烟雾的产生的烟雾评价值。
为了使焦点对准进行处置的区域,如上所述在进行处置的中央部设定对焦评价值检测区域。产生烟雾的可能性最大的区域是进行处置的区域,因而从对焦评价值检测区域产生烟雾的可能性比较大。因此,通过以至少包含对焦评价值检测区域的方式设定烟雾检测区域,能够可靠地检测烟雾的产生。
具体而言,烟雾检测部340将与对焦评价值检测区域对应的第1块区域(3×3的中央的块)、对焦评价值检测区域以外的第2~第n块区域(3×3的周边的8个块,n为2以上(包括2)的自然数)设定为烟雾检测区域。并且,烟雾检测部340根据该第1~第n块区域的图像求出烟雾评价值。
如以上在图7(B)~图7(F)中说明的那样,烟雾随着时间而充满在腹腔内。因此,通过在作为烟雾的产生源的对焦评价值检测区域和该区域以外的区域中设定块区域,能够取得烟雾从产生源扩散到腹腔内时的图像的变化作为烟雾评价值。因此,由于使用烟雾特有的变化检测烟雾,因而能够抑制基于其它原因的错误检测,并且高精度地检测烟雾的产生和消失。
并且,在第1实施方式中,烟雾检测部340检测烟雾的消失。并且,在烟雾检测部340检测出烟雾的消失的情况下,对焦控制部360重启对焦控制中的对焦动作的执行。如以上在图7(A)~图10等中说明的那样,在烟雾消失时,图像的亮度值和彩度值、对比度值等参数随着时间而变化,因而通过根据图像检测该参数的变化,检测烟雾的消失。
期望基本上是进行AF控制,并维持将焦点对准在进行处置的区域中的状态。关于这一点,通过检测烟雾的消失并重启对焦动作的执行,仅在由于烟雾而不能进行正常的AF控制的期间使AF控制停止,在恢复到能够进行正常的AF控制的状态时重启AF控制。因此,不论有无烟雾,都能够维持焦点对准的状态,用户的便利性提高。
3.第2实施方式
3.1.烟雾评价值的计算方法
图14示出第2实施方式的烟雾检测部340和对焦控制部360的具体结构例。另外,内窥镜装置的结构与第1实施方式相同。
烟雾检测部340包括烟雾检测区域设定部341和检测部342。对焦控制部360包括AF区域设定部361、AF评价值计算部362、对焦透镜控制部363和对焦透镜位置记录部364。另外,对与已经说明的构成要素相同的构成要素标注相同的标号,并适当省略说明。
AF评价值计算部362对Y信号及颜色信号进行BPF(带通滤波)处理,根据其结果计算AF评价值。将对Y信号及颜色信号进行BPF(带通滤波)处理的结果输入到检测部342。并且,控制部350控制白色光源610射出的照明的光量,使得图像的明亮度尽可能固定。将该白色光源610的调光校正量输入到检测部342。
检测部342使用BPF处理的结果和调光校正量,根据下式(10)、(11)计算Y信号Y’[n]和颜色信号C’[n]。
Y′[n]=(Y[n]-Bpf{Y[n]})/LC (10)
C′[n]=(C[n]-Bpf{C[n]})/LC (11)
其中,Y[n]和C[n]是从前处理部320向检测部342的输出信号。即,Y[n]是图像的Y信号,C[n]是图像的Cr信号或者Cb信号。并且,Bpf(Y[n])和Bpf(C[n])是从AF评价值计算部362向检测部342的输出信号。即,Bpf{Y[n]}是对Y信号进行了BPF处理的结果,是图15所示的频带AfBd的Y信号。Bpf{C[n]}是对颜色信号进行了BPF处理的结果,是图15所示的频带AfBd的颜色信号。并且,LC表示调光校正量,光量越大时,LC的值越大。
Y信号Y’[n]和颜色信号C’[n]形成为图15所示的低频及高频的频带MistBd的信号。检测部342根据这些信号计算评价值。如上所述,评价值在各评价块(或者所有评价块)中进行了平均,因而频带MistBd中高频(图15的粗虚线)的成分实际上被剪切,仅残留有低频(粗实线)的成分。
这样,通过将在AF控制中使用的空间频率的频带去除,评价值不易因焦点的变化而变化,因而能够尽可能不受对焦/非对焦的状态影响地、高精度地检测烟雾。并且,由于烟雾的空间频率是低频带,因而通过根据该低频带的图像信号计算评价值,能够高精度地检测烟雾。
另外,如在图8等中说明的那样,图像的亮度由于烟雾而增大,因而在减小照明的光量的方向进行调光。这样,评价值的变化减小,烟雾的检测变困难。为此,通过利用调光校正量LC校正图像信号,能够消除调光的影响,仅提取烟雾的变化,能够高精度地检测烟雾。
另外,在上述结构中,通过使用求出AF评价值用的BPF处理,能够尽可能地削减电路规模,但不限于此,只要是在检测部342进行低通滤波处理的结构,就能够得到相同的效果。
3.2.对焦透镜位置的控制方法
下面,对使对焦动作停止时的对焦透镜位置的控制方法进行说明。
对焦透镜位置记录部346将在对焦透镜控制部363决定的对焦透镜的位置保存规定的时间。并且,将来自外部I/F部的电手术刀或者超声波手术刀的通电信息(接通/断开信息)通过控制部350输入到对焦透镜控制部363。
在第1实施方式中示出的烟雾产生的检测时刻n是烟雾评价值的极大值和极小值同时(大致同时)产生的时刻、或者根据阈值判定而满足条件时的时刻。在图11~图13中,在时间tC或者时间tB和tC之间检测出烟雾的产生。因此,所检测出的时刻不能说是刚刚产生烟雾后,是比烟雾产生时刻稍微延迟产生的。
因此,在本实施方式中,记录规定时刻量的对焦透镜位置,以便补偿该延迟。延迟补偿时间是在烟雾产生时刻n以前烟雾评价值小于规定阈值的时间。例如,实际拍摄烟雾的时间变化并进行统计计算。对焦透镜控制部363在检测出烟雾的产生并停止对焦动作时,使对焦透镜移动(返回)到比检测出烟雾的产生的时刻n靠前规定时刻的对焦透镜的位置。
这样,能够更准确地确定实际的烟雾的产生时刻,因而能够在该实际的产生时刻的对焦透镜的位置使对焦动作停止。即,在从实际开始产生烟雾到烟雾检测部340检测出烟雾的产生的期间,有可能产生AF错误动作而成为非对焦状态,即使是这样的情况下,也能够使对焦透镜返回到烟雾刚刚产生前的对焦位置。
另外,通过利用来自控制部350的来自外部I/F部的电手术刀或者超声波手术刀的通电信息(接通/断开信息),能够提高延迟补偿时间的精度。即,对焦透镜控制部363从对焦透镜位置记录部364读出以下时刻的对焦透镜的位置,即在检测出烟雾的产生的时刻n以前且时间上最接近的、电手术刀或者超声波手术刀的通电状态为接通的时刻。并且,在检测出烟雾的产生而使对焦动作停止时,使对焦透镜移动到该读出的对焦透镜的位置。
另外,在将电手术刀或者超声波手术刀的通电状态为接通的时刻作为烟雾产生时刻的控制中,在没产生烟雾的情况下,不能检测烟雾消失时刻,不能确定重启AF控制的时刻。该问题能够这样解决,即在电手术刀或者超声波手术刀的通电状态成为接通状态后,如第1实施方式那样也进行在图像中检测烟雾产生的处理。
根据以上的第2实施方式,对焦控制部360根据摄像图像的规定频带(图15的频带AfBd)的成分,求出用于评价对焦动作中的对焦程度的对焦评价值(AF评价值)。并且,烟雾检测部340根据比该规定频带低的频带(频带MistBd中低频带)的成分,求出用于检测烟雾的产生的烟雾评价值。
如上所述,由于烟雾的空间频率是低频,因而通过根据低频带的图像求出烟雾评价值,能够高效地检测烟雾的变化。并且,在焦点由于AF等而变动时,认为用于求出对焦评价值的频带最容易受到影响。关于这一点,通过根据与求出对焦评价值的频带不重叠的更低频带的图像求出烟雾评价值,能够不受焦点的变动影响地检测烟雾的产生和消失。
并且,本实施方式的内窥镜装置包括光量控制部(控制部350),用于控制对摄像部200拍摄的被摄体照射的照明的光量。并且,烟雾检测部340根据该照明的光量校正摄像图像的像素值(上式(10)、(11)),根据该校正后的像素值求出用于检测烟雾的产生的烟雾评价值。
在照明的光量变化的情况下,当然亮度值等参数变化,有时不能准确判定烟雾的产生和消失。关于这一点,通过利用照明的光量(调光校正量LC)校正像素值,能够抽取烟雾导致的参数变化,因而能够提高烟雾检测的精度。
并且,在第2实施方式中,对焦控制部360在使对焦控制中的对焦动作的执行停止时,使对焦透镜移动到比烟雾检测部340检测出烟雾的产生的时机靠前规定时间的对焦透镜的位置。
如上所述,从AF区域产生烟雾的可能性比较大,因而有可能在烟雾产生后马上对AF控制产生影响。因此,有可能在检测出烟雾的产生的时刻AF已经进行了错误动作。关于这一点,通过存储过去的对焦透镜的位置,使对焦透镜移动到比检测出烟雾的产生的时机靠前规定时间的对焦透镜的位置,能够使对焦透镜在产生烟雾前(或者刚刚产生后)的AF进行错误动作的可能性比较小时的对焦透镜位置停止。
并且,烟雾是在利用处置器具(例如电手术刀和超声波手术刀)进行处置时从被摄体产生的烟雾。对焦控制部360在使对焦控制中的对焦动作的执行停止时,使对焦透镜移动到处置器具成为通电状态的时机的对焦透镜的位置。
在需要通电的处置器具中,开始处置是从设为通电状态起,烟雾产生是至少将处置器具设为通电状态后。因此,在设为通电状态的时刻尚未产生烟雾,因而通过设定为该时刻的对焦透镜位置,能够在焦点可靠地对准进行处置的区域的状态下停止AF控制。
另外,以上说明的实施方式的处理部300等也可以包括处理器和存储器。此处的处理器例如也可以是CPU(Central Processing Unit:中央处理单元)。但是,处理器不限于CPU,也能够采用GPU(Graphics Processing Unit:图形处理单元)或者DSP(DigitalSignal Processor:数字信号处理器)等各种处理器。并且,处理器也可以是基于ASIC的硬件电路。并且,存储器存储计算机能够读取的命令,通过由处理器执行该命令,实现本实施方式的处理部300等的各个部分(例如,前处理部320、图像处理部330、烟雾检测部340、控制部350、对焦控制部360等)。此处的存储器也可以是SRAM、DRAM等半导体存储器,也可以是寄存器和硬盘等。并且,此处的命令也可以是构成程序的命令集的命令,也可以是指示处理器的硬件电路进行动作的命令。
以上对应用本发明的实施方式及其变形例进行了说明,但本发明并不限定为各实施方式及其变形例的原样,能够在实施阶段中在不脱离发明宗旨的范围内将构成要素变形并具体实施。并且,通过适当组合在上述的各实施方式及变形例中公开的多个构成要素,能够形成各种发明。例如,也可以从在各实施方式及变形例所记载的所有构成要素中删除几个构成要素。另外,也可以适当组合在不同的各实施方式及变形例中说明的构成要素。这样,能够在不脱离发明宗旨的范围内实现各种变形和应用。并且,在说明书或者附图中,与更加广义或者同义的不同用语一起被记载了至少一次的用语,能够在说明书或者附图的任何部位置换为该不同的用语。
标号说明
10内窥镜装置;100硬性镜;110透镜系统;120光导部;200摄像部;210变焦按钮;220对焦透镜;230对焦透镜驱动部;240变焦透镜;250变焦透镜驱动部;260摄像元件;270物镜系统;300处理部;310A/D转换部;320前处理部;330图像处理部;334AF评价值计算部;340烟雾检测部;341烟雾检测区域设定部;342检测部;346对焦透镜位置记录部;350控制部;360对焦控制部;361AF区域设定部;362AF评价值计算部;363对焦透镜控制部;364对焦透镜位置记录部;400显示部;500外部I/F部;600光源部;610白色光源;620光导线缆。
Claims (17)
1.一种内窥镜装置,其特征在于,所述内窥镜装置包括:
对焦控制部,其控制摄像部的光学系统具有的对焦透镜的位置,来进行对焦控制;以及
烟雾检测部,其检测在利用处置器具进行处置时从被摄体产生的烟雾的产生,
在由所述烟雾检测部检测出所述烟雾的产生的情况下,所述对焦控制部使所述对焦控制中的对焦动作的执行停止,
所述烟雾检测部根据由所述摄像部拍摄的摄像图像检测所述烟雾的产生,
所述对焦控制部在停止所述对焦控制中的对焦动作的执行时,使所述对焦透镜移动到比所述烟雾检测部检测出所述烟雾的产生的时机靠前规定时间的所述对焦透镜的位置。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述烟雾检测部求出基于所述摄像图像的亮度值的第1评价值、基于所述摄像图像的彩度值的第2评价值、基于所述摄像图像的对比度值的第3评价值中的两个以上的评价值,作为烟雾评价值,根据所述烟雾评价值检测所述烟雾的产生。
3.根据权利要求2所述的内窥镜装置,其特征在于,
所述烟雾检测部求出所述亮度值的时间变化作为所述第1评价值,求出所述彩度值的时间变化作为所述第2评价值,求出所述对比度值的时间变化作为所述第3评价值。
4.根据权利要求3所述的内窥镜装置,其特征在于,
所述烟雾检测部检测所述第1评价值的极大值、所述第2评价值的极小值和所述第3评价值的极小值,在判定为检测出所述第1评价值的极大值的第1时机、检测出所述第2评价值的极小值的第2时机和检测出所述第3评价值的极小值的第3时机一致的情况下,判定为产生了所述烟雾。
5.根据权利要求3所述的内窥镜装置,其特征在于,
所述烟雾检测部在所述第1评价值大于第1规定阈值、所述第2评价值小于第2规定阈值、所述第3评价值小于第3规定阈值的情况下,判定为产生了所述烟雾。
6.根据权利要求1所述的内窥镜装置,其特征在于,
所述对焦控制部根据所述摄像图像的规定频带的成分,求出用于评价所述对焦动作中的对焦程度的对焦评价值,
所述烟雾检测部根据比所述规定频带低的频带的成分,求出用于检测所述烟雾的产生的烟雾评价值。
7.根据权利要求1所述的内窥镜装置,其特征在于,
所述内窥镜装置包括光量控制部,该光量控制部控制对所述摄像部拍摄的被摄体照射的照明光量,
所述烟雾检测部根据所述照明光量校正所述摄像图像的像素值,根据所述校正后的像素值求出用于检测所述烟雾的产生的烟雾评价值。
8.根据权利要求1所述的内窥镜装置,其特征在于,
所述对焦控制部对所述摄像图像设定对焦评价值检测区域,根据所述对焦评价值检测区域求出用于评价所述对焦动作中的对焦程度的对焦评价值,
所述烟雾检测部设定内含了所述对焦评价值检测区域的烟雾检测区域,根据所述烟雾检测区域的图像求出用于检测所述烟雾的产生的烟雾评价值。
9.根据权利要求8所述的内窥镜装置,其特征在于,
所述烟雾检测部将与所述对焦评价值检测区域对应的第1块区域、所述对焦评价值检测区域以外的第2~第n块区域设定为所述烟雾检测区域,根据所述第1块区域~第n块区域的图像求出所述烟雾评价值,n为2以上包括2的自然数。
10.根据权利要求1所述的内窥镜装置,其特征在于,
所述烟雾检测部将多个块区域设定为烟雾检测区域,对所述多个块区域中的各个块区域计算亮度值的平均值、彩度值的平均值和对比度值的平均值,根据所述亮度值的平均值、所述彩度值的平均值和所述对比度值的平均值检测所述烟雾的产生。
11.根据权利要求10所述的内窥镜装置,其特征在于,
所述烟雾检测部在所述多个块区域中将所述亮度值的平均值相加而求出第1评价值,在所述多个块区域中将所述彩度值的平均值相加而求出第2评价值,在所述多个块区域中将所述对比度值的平均值相加而求出第3评价值,根据所述第1评价值~第3评价值检测所述烟雾的产生。
12.根据权利要求10所述的内窥镜装置,其特征在于,
所述烟雾检测部求出所述多个块区域中所述亮度值的平均值中的最大值作为第1评价值,求出所述多个块区域中所述彩度值的平均值中的最大值作为第2评价值,求出所述多个块区域中所述对比度值的平均值中的最大值作为第3评价值,根据所述第1评价值~第3评价值检测所述烟雾的产生。
13.根据权利要求10所述的内窥镜装置,其特征在于,
所述烟雾检测部求出所述多个块区域中所述亮度值的平均值的标准偏差作为第1评价值,求出所述多个块区域中所述彩度值的平均值的标准偏差作为第2评价值,求出所述多个块区域中所述对比度值的平均值的标准偏差作为第3评价值,根据所述第1评价值~第3评价值检测所述烟雾的产生。
14.根据权利要求1所述的内窥镜装置,其特征在于,
所述烟雾检测部检测烟雾的消失,
在通过所述烟雾检测部检测出所述烟雾的消失的情况下,所述对焦控制部重启所述对焦控制中的所述对焦动作的执行。
15.根据权利要求14所述的内窥镜装置,其特征在于,
所述烟雾检测部求出由所述摄像部拍摄的摄像图像的亮度值的时间变化即第1评价值、所述摄像图像的彩度值的时间变化即第2评价值、所述摄像图像的对比度值的时间变化即第3评价值中的两个以上的评价值,作为烟雾评价值,根据所述烟雾评价值检测所述烟雾的消失。
16.根据权利要求1所述的内窥镜装置,其特征在于,
所述烟雾检测部根据处置器具的通电状态检测所述烟雾的产生。
17.根据权利要求1或16所述的内窥镜装置,其特征在于,
所述对焦控制部在使所述对焦控制中的对焦动作的执行停止时,使所述对焦透镜移动到所述处置器具成为通电状态的时机的所述对焦透镜的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-009202 | 2014-01-22 | ||
JP2014009202A JP6453543B2 (ja) | 2014-01-22 | 2014-01-22 | 内視鏡装置及び内視鏡装置の作動方法 |
PCT/JP2015/051305 WO2015111560A1 (ja) | 2014-01-22 | 2015-01-20 | 内視鏡装置及び内視鏡装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105934190A CN105934190A (zh) | 2016-09-07 |
CN105934190B true CN105934190B (zh) | 2019-03-12 |
Family
ID=53681364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580005024.9A Active CN105934190B (zh) | 2014-01-22 | 2015-01-20 | 内窥镜装置及内窥镜装置的动作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10321802B2 (zh) |
EP (1) | EP3097841A4 (zh) |
JP (1) | JP6453543B2 (zh) |
CN (1) | CN105934190B (zh) |
WO (1) | WO2015111560A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6188992B1 (ja) * | 2015-09-28 | 2017-08-30 | オリンパス株式会社 | 画像解析装置、画像解析システム、画像解析装置の作動方法 |
JP6762313B2 (ja) * | 2015-10-27 | 2020-09-30 | オリンパス株式会社 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
JP6753081B2 (ja) | 2016-03-09 | 2020-09-09 | ソニー株式会社 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
CN110062596B (zh) * | 2016-12-20 | 2022-08-16 | 奥林巴斯株式会社 | 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法 |
CN110392546B (zh) * | 2017-03-07 | 2022-09-02 | 索尼公司 | 信息处理设备、辅助系统和信息处理方法 |
JP7159577B2 (ja) * | 2018-03-20 | 2022-10-25 | ソニーグループ株式会社 | 内視鏡システム、制御方法、情報処理装置、およびプログラム |
CN109029917A (zh) * | 2018-05-29 | 2018-12-18 | 力帆实业(集团)股份有限公司 | 一种灯具防起雾性能测试方法 |
CN111489296A (zh) * | 2019-01-29 | 2020-08-04 | 杭州海康慧影科技有限公司 | 一种内窥镜图像的除雾方法、装置及电子设备 |
JP7251425B2 (ja) * | 2019-09-20 | 2023-04-04 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
CN112954142B (zh) * | 2019-11-22 | 2022-06-28 | 宝山钢铁股份有限公司 | 一种智能除尘除雾摄像机防护罩及其智能识别方法 |
WO2021161369A1 (ja) * | 2020-02-10 | 2021-08-19 | オリンパス株式会社 | 内視鏡装置、情報処理方法及びプログラム |
WO2021250777A1 (ja) * | 2020-06-09 | 2021-12-16 | オリンパス株式会社 | 内視鏡システム及び内視鏡のフォーカス制御方法 |
JP7044140B2 (ja) * | 2020-08-20 | 2022-03-30 | ソニーグループ株式会社 | 手術支援システム、画像処理方法及び情報処理装置 |
CN114324256A (zh) * | 2021-12-21 | 2022-04-12 | 福耀玻璃工业集团股份有限公司 | 一种实时起雾测试装置及实时起雾测试方法 |
WO2023166742A1 (ja) * | 2022-03-04 | 2023-09-07 | オリンパス株式会社 | 画像処理装置、処置システムおよび画像処理方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5953819A (ja) * | 1982-09-21 | 1984-03-28 | Minolta Camera Co Ltd | 防水カメラ |
US6268885B1 (en) * | 1996-01-31 | 2001-07-31 | Canon Kabushiki Kaisha | Optical apparatus for correcting focus based on temperature and humidity |
JPH11309156A (ja) * | 1998-04-27 | 1999-11-09 | Olympus Optical Co Ltd | 排煙装置 |
JP3992992B2 (ja) * | 2002-02-19 | 2007-10-17 | 株式会社リコー | 被写体像取得装置 |
JP4370092B2 (ja) * | 2002-03-27 | 2009-11-25 | オリンパス株式会社 | 光学特性可変光学素子の制御方法及びその制御方法による制御手段を備えた光学装置。 |
US7176344B2 (en) * | 2002-09-06 | 2007-02-13 | Sca Hygiene Products Ab | Sensoring absorbing article |
WO2006001416A1 (ja) * | 2004-06-29 | 2006-01-05 | Nikon Corporation | 管理方法及び管理システム、並びにプログラム |
JP2006208818A (ja) | 2005-01-28 | 2006-08-10 | Sony Corp | フォーカス制御装置、フォーカス制御方法 |
JP2006280425A (ja) * | 2005-03-31 | 2006-10-19 | Fujinon Corp | 内視鏡装置 |
US20070027362A1 (en) * | 2005-07-27 | 2007-02-01 | Olympus Medical Systems Corp. | Infrared observation system |
JP5407373B2 (ja) | 2009-02-02 | 2014-02-05 | カシオ計算機株式会社 | 撮影装置、及びプログラム |
US8841881B2 (en) * | 2010-06-02 | 2014-09-23 | Bryan Marc Failing | Energy transfer with vehicles |
US20120050769A1 (en) * | 2010-08-31 | 2012-03-01 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method, and image processing system |
JP5953049B2 (ja) * | 2012-01-24 | 2016-07-13 | オリンパス株式会社 | 内視鏡システム |
US8801141B2 (en) * | 2012-04-27 | 2014-08-12 | Canon Kabushiki Kaisha | Recording apparatus, detection method, and storage medium |
-
2014
- 2014-01-22 JP JP2014009202A patent/JP6453543B2/ja active Active
-
2015
- 2015-01-20 CN CN201580005024.9A patent/CN105934190B/zh active Active
- 2015-01-20 WO PCT/JP2015/051305 patent/WO2015111560A1/ja active Application Filing
- 2015-01-20 EP EP15740320.5A patent/EP3097841A4/en not_active Withdrawn
-
2016
- 2016-07-19 US US15/213,702 patent/US10321802B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015111560A1 (ja) | 2015-07-30 |
EP3097841A1 (en) | 2016-11-30 |
US20160324398A1 (en) | 2016-11-10 |
JP2015136470A (ja) | 2015-07-30 |
CN105934190A (zh) | 2016-09-07 |
US10321802B2 (en) | 2019-06-18 |
JP6453543B2 (ja) | 2019-01-16 |
EP3097841A4 (en) | 2017-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105934190B (zh) | 内窥镜装置及内窥镜装置的动作方法 | |
JP5212927B2 (ja) | 顔撮影システム | |
JP4442539B2 (ja) | 空間情報の検出装置 | |
JP5145555B2 (ja) | 瞳孔検出方法 | |
EP3087904A1 (en) | Endoscopic device, method for controlling endoscopic device, and program | |
WO2013027455A1 (ja) | 自動露光制御装置、制御装置、内視鏡装置及び自動露光制御方法 | |
KR102281149B1 (ko) | 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법 | |
JP6188992B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
EP3051490B1 (en) | Ophthalmologic apparatus, image processing method, and program | |
CN105308651B (zh) | 检测装置、学习装置、检测方法、学习方法 | |
CN110062596A (zh) | 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法 | |
WO2017141730A1 (ja) | 画像処理装置および方法、並びにプログラム | |
WO2017216782A1 (ja) | 電子内視鏡システム | |
US20220346636A1 (en) | Focus control device, operation method of focus control device, and storage medium | |
CN108762511B (zh) | 一种光源控制方法及装置 | |
JP2019033971A (ja) | 内視鏡装置 | |
JP2007117154A (ja) | 電子内視鏡システム | |
JP2001137192A (ja) | 眼科撮影装置及び方法及び記憶媒体 | |
WO2023053556A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2013252319A (ja) | 眼底カメラおよび眼底画像の撮影方法 | |
JP2006223516A (ja) | 眼球観察装置 | |
WO2023042354A1 (ja) | 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法 | |
US11516408B2 (en) | Image capturing apparatus, method for driving image capturing apparatus to detect flicker during shooting | |
JP2010033141A (ja) | 眼鏡検出装置 | |
JP7209557B2 (ja) | 画像取得装置及び画像取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |