CN103561629A - 内窥镜装置 - Google Patents

内窥镜装置 Download PDF

Info

Publication number
CN103561629A
CN103561629A CN201280025568.8A CN201280025568A CN103561629A CN 103561629 A CN103561629 A CN 103561629A CN 201280025568 A CN201280025568 A CN 201280025568A CN 103561629 A CN103561629 A CN 103561629A
Authority
CN
China
Prior art keywords
region
interest
endoscope apparatus
treatment apparatus
configuration part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280025568.8A
Other languages
English (en)
Other versions
CN103561629B (zh
Inventor
森田惠仁
温成刚
高桥顺平
栗山直也
樋口圭司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103561629A publication Critical patent/CN103561629A/zh
Application granted granted Critical
Publication of CN103561629B publication Critical patent/CN103561629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00177Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00179Optical arrangements characterised by the viewing angles for off-axis viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Abstract

内窥镜装置包含图像取得部、关注区域设定部(413)和缩放处理部(414)。图像处理部取得包含被摄体像的摄像图像。关注区域设定部(413)根据来自内窥镜装置的信息,对摄像图像设定关注区域。缩放处理部(414)进行将关注区域相比于其他区域相对地放大的局部缩放处理。

Description

内窥镜装置
技术领域
本发明涉及内窥镜装置等。
背景技术
对体腔内的组织照射照明光并使用对该反射光进行摄像得到的图像来进行诊断/处置的内窥镜装置已被广泛使用。在插入部的前端设有CCD或CMOS等摄像元件和对被摄体像进行光学成像的物镜。一般而言,为了防止看漏病变部,使用广角的物镜作为内窥镜的物镜。例如,使用具有170°的视野角的物镜。
于是,考虑通过使用对插入部的前端的侧方视野进行成像的物镜(例如专利文献1)从而能够观察更大的视野。通过增大视野,例如能够观察到体腔内的皱襞的背面,能够减少看漏通常难以发现的病变部的情况。
现有技术文献
专利文献
专利文献1:日本特开2010-169792号公报
专利文献2:日本特开2001-221960号公报
专利文献3:日本特开平9-149876号公报
发明内容
发明要解决的问题
然而,如果增大视野,则与以往的内窥镜相比图像中所包含的信息量相对增多,因此存在要关注的被摄体被相对小地显示这样的课题。
另外,在专利文献2中公开了在广角图像旁边并列地显示放大图像的方法。在专利文献3中公开了检测广角图像中的关心区域的位置信息并将该关心区域的放大图像在监视器中显示的方法。
根据本发明的几个方式,能够提供可实现以适当的大小显示关注区域和在整体上掌握被摄体的内窥镜装置等。
用于解决问题的手段
本实施方式的一个方式与内窥镜装置有关,该内窥镜装置包含:图像取得部,其取得包含被摄体像的摄像图像;关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及缩放处理部,其进行将所述关注区域相比于其他区域相对地放大的局部缩放处理。
根据本实施方式的一个方式,根据来自内窥镜装置的信息对摄像图像设定关注区域,进行将该关注区域相比于其他区域相对地放大的局部缩放处理。由此,能够以适当的大小显示关注区域并在整体上掌握被摄体。
此外,本发明的另一方式与内窥镜装置有关,该内窥镜装置包含:图像取得部,其取得包含被摄体像的摄像图像;关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及缩放处理部,其一边维持所述摄像图像的视角一边进行所述关注区域的缩放处理。
附图说明
图1是物镜光学系统的结构例。
图2(A)~图2(D)是关于本实施方式的概要的说明图。
图3是第1实施方式中的内窥镜装置的结构例。
图4是旋转滤色片的详细的结构例。
图5是滤色片的分光特性例。
图6是第1实施方式中的图像处理部的详细的结构例。
图7是关于关注区域设定部进行的处理的说明图。
图8(A)、图8(B)是关于关注区域设定部进行的处理的说明图。
图9是关于关注区域设定部进行的处理的说明图。
图10是关于关注区域设定部进行的处理的说明图。
图11是关于关注区域设定部进行的处理的说明图。
图12是关于关注区域设定部进行的处理的说明图。
图13是关于缩放处理部进行的处理的说明图。
图14是关于缩放处理部进行的处理的说明图。
图15是关于缩放处理部进行的处理的说明图。
图16是关于缩放处理的变形例的说明图。
图17是关于缩放处理的变形例的说明图。
图18是图像处理程序的流程图例。
图19是关注区域设定处理的详细的流程图例。
图20是缩放处理的详细的流程图例。
图21是第2实施方式中的内窥镜装置的结构例。
图22是第2实施方式中的图像处理部的详细的结构例。
图23是关于第2实施方式中的关注区域设定部进行的处理的说明图。
图24是第3实施方式中的内窥镜装置的结构例。
图25是第3实施方式中的状态信息取得部的详细的结构例。
图26(A)~图26(C)是关于弯曲操作的说明图。
图27(A)、图27(B)是关于第3实施方式中的缩放处理部进行的处理的说明图。
图28是将倍率A和弯曲角度θ关联起来的查找表的例子。
图29是对于弯曲运动量的放大率特性的例子。
图30是第4实施方式中的内窥镜装置的结构例。
图31(A)~图31(D)是关于距离估计方法的说明图。
图32是第4实施方式中的状态信息取得部的详细的结构例。
图33是关于第4实施方式中的状态信息取得部进行的处理的说明图。
图34是内窥镜装置的变形结构例。
图35是第5实施方式中的内窥镜装置的结构例。
图36是第5实施方式中的关注区域设定部的详细的结构例。
图37是关于第5实施方式的变形例的说明图。
图38(A)~图38(C)是关于第5实施方式中的缩放处理部进行的处理的说明图。
图39是第5实施方式中的关注区域设定处理的详细的流程图例。
图40是第6实施方式中的内窥镜装置的结构例。
图41是第2摄像元件的滤色片的结构例。
图42是第2摄像元件的滤色片的透射率特性例。
图43是第6实施方式中的图像处理部的详细的结构例。
图44是由第2摄像元件摄像得到的单板图像信号的例。
图45是第6实施方式中的关注区域设定部的详细的结构例。
图46是局部区域的设定例。
图47是关于第6实施方式中的关注区域设定部进行的处理的说明图。
图48是第6实施方式中的图像处理程序的流程图例。
图49是第6实施方式中的关注区域设定处理的详细的流程图例。
图50是第7实施方式中的内窥镜装置的结构例。
图51是第7实施方式中的图像处理部的详细的结构例。
图52是第8实施方式中的关注区域设定部的详细的结构例。
图53是畸变校正处理前后的图像的例子。
图54是代表点的设定例。
图55(A)~图55(D)是关于拔出状态的判定方法的说明图。
图56是第8实施方式中的关注区域设定处理的详细的流程图例。
图57是畸变校正处理的详细的流程图例。
图58是设定处理的详细的流程图例。
图59是第9实施方式中的内窥镜装置的结构例。
图60是第9实施方式中的状态信息取得部的详细的结构例。
图61是第9实施方式中的图像处理部的详细的结构例。
图62是关于红球区域的说明图。
图63(A)是关于红球区域的说明图。图63(B)是关于第10实施方式中的缩放处理的说明图。
图64是第10实施方式中的图像处理部的详细的结构例。
图65是第10实施方式中的关注区域设定部的详细的结构例。
图66是关于第10实施方式中的关注区域设定部进行的处理的说明图。
图67是红球区域候选检测部的详细的结构例。
图68是散焦(defocus)检测部的详细的结构例。
图69是关于第10实施方式中的关注区域设定部进行的处理的说明图。
图70是缩放参数设定部的详细的结构例。
图71是多个缩放后归一化距离与缩放前归一化距离(正規化距離)的对应曲线的例。
图72是示出计算机系统的结构的系统结构图。
图73是示出计算机系统中的主体部的结构的框图。
具体实施方式
以下,对本实施方式进行说明。另外,以下说明的本实施方式并不对权利要求书中所记载的本发明的内容进行不恰当的限定。并且并非本实施方式中说明的所有结构都是本发明的必要结构要件。
1.本实施方式的概要
首先,针对本实施方式的概要进行说明。在上述的专利文献1中公开了能够观察镜体前端部的前方视野和侧方视野的物镜光学系统。图1中示出该物镜光学系统的结构例。如图1所示,来自前方视野的光线LC1从面SF1入射,来自侧方视野的光线LC2从面SF3入射。这些光线LC1、LC2通过面SF1、SF2被折射或反射,从而将前方视野和侧方视野成像。
如果使用这样的物镜,则相比以往的内窥镜装置能够以更大的视野对体腔内进行观察。使用图2(A)~图2(D)对这方面进行详细说明。
如图2(A)所示,在管腔状的脏器中对病变部进行甄别的情况下,使镜体与脏器的轴向平行,一边将镜体插入或拔出一边进行观察。在仅前方视野的情况下,处于脏器的壁面上的病变部被皱襞等的凹凸所遮蔽,无法对其进行摄像。因此,如图2(B)所示,无法从摄像图像中确认病变部,造成看漏病变部。
另一方面,如图2(C)所示,在能够观察到侧方视野的情况下,能够通过侧方视野观察到处于皱襞背面的病变部。因此,如图2(D)所示,能够从摄像图像中确认病变部,能够减少看漏病变的情况。
然而,当这样增大视野时,与以往的内窥镜相比图像中所包含的信息量相对增多,因此存在用户关注的被摄体被相对于图像整体相对较小地显示这样的课题。
针对这样的问题,例如在专利文献2中公开了在广角图像的旁边并列地显示放大图像的内窥镜装置。
然而,在该方法中,术者需要一边始终关注多个图像一边进行诊断,术者的负荷变高。此外,还考虑由于暂时只关注了1个图像而看漏病变部。
此外,在专利文献3中公开了检测广角图像中的关心区域的位置信息并根据该位置信息将关心区域的放大图像在监视器中进行显示的内窥镜装置。
然而,在该方法中存在如下课题:由于仅对图像中的关心区域进行放大显示,因此难掌握管腔状的脏器的整体像,无法顺利地插入和拔出镜体,因此无法进行可靠且高效的甄别。
在这方面,根据本实施方式,如图12所示,进行在摄像图像中设定关注区域,并将该关注区域相对于摄像图像进行相对地放大的处理。由此,能够一边维持摄像图像的视角一边对关注区域进行放大显示,因此能够在掌握广视野的整体的同时提高关注区域的可视性。通过确保广视野,能够提高镜体的操作性,通过放大关注区域,能够容易进行病变部的诊断和处置。
2.第1实施方式
2.1.内窥镜装置
对上述那样一边维持摄像图像的视角一边将关注区域进行放大显示的本实施方式的内窥镜装置进行详细说明。
图3示出第1实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400(处理器部)、显示部500、外部I/F部550。
光源部100具有白色光源101、光源光圈102、驱动光源光圈102的光源光圈驱动部103、以及具有多个分光透射率的滤光片的旋转滤色片104。此外,光源部100包含驱动旋转滤色片104的旋转驱动部105、以及使透过旋转滤色片104的光会聚到光导纤维301的入射端面上的聚光镜头106。
光源光圈驱动部103根据来自控制装置400的控制部420的控制信号,进行光源光圈102的开闭,由此进行光量的调整。
图4中示出旋转滤色片104的详细的结构例。旋转滤色片104由三原色的红色(以下记为R)滤光片701、绿色(以下记为G)滤光片702、蓝色(以下记为B)滤光片703、旋转电机704构成。图5中示出这些滤色片701~703的分光特性例。
旋转驱动部105根据来自控制部420的控制信号,与摄像元件304的摄像期间同步地使旋转滤色片104以预定转速旋转。例如,当在1秒钟内使旋转滤色片104旋转20次时,各滤色片以60分之1秒的间隔横穿入射白色光。该情况下,摄像元件304以60分之1秒间隔完成图像信号的摄像和传输。
这里,摄像元件304例如是单色用摄像元件。即,在本实施方式中,进行以60分之1秒间隔对3原色的各色光(R、G或B)的图像进行摄像的面顺序方式的摄像。
操作部200设有进行插入部300的弯曲操作的弯曲操作杆201和供例如钳子那样的处置器具进行插入的插入口202。
弯曲操作杆201与弯曲操作线306连接。弯曲操作线306插入贯通插入部300的内部并在插入部300前端被固定。术者通过对弯曲操作杆201进行操作,使弯曲操作线306牵引或松弛,使插入部300弯曲。插入口202与供处置器具进行插入贯通的插通通道307连通。
插入部300例如形成为细长且可弯曲,以能够插入体腔。插入部300包含:用于将由光源部100会聚的光导入照明镜头302的光导纤维301,以及使由该光导纤维301导入到前端的光扩散并照射到观察对象上的照明镜头302。此外,插入部300包含使从观察对象返回的反射光会聚的物镜光学系统303、用于对会聚的反射光进行检测的摄像元件304、用于将通过摄像元件304的光电转换得到的模拟图像信号转换为数字图像信号的A/D转换部305。此外,插入部300包含在插入部300的内部插入贯通并固定在前端部的弯曲操作线306、以及供在操作部200中被插入的处置器具进行插入贯通的插通通道307。
物镜光学系统303(狭义上为物镜)从插入部300的前端部突出,对前方视野和侧方视野进行成像。例如,物镜光学系统303具有230°的视野角。
摄像元件304例如是单色单板摄像元件,例如由CCD或CMOS图像传感器等构成。
控制装置400进行内窥镜装置的各部的控制和图像处理。控制装置400包含进行关注区域的设定和图像的缩放处理的图像处理部410以及控制部420。
由A/D转换部305转换为数字信号的图像信号被传输到图像处理部410。由图像处理部410处理后得到的图像信号被传输到显示部500。控制部420进行内窥镜装置的各部的控制。具体而言,控制部420与光源光圈驱动部103、旋转驱动部105、图像处理部410以及外部I/F部550连接,进行它们的控制。
显示部500是能够显示动态图像的显示装置,例如由CRT或液晶监视器等构成。
外部I/F部550是用于对内窥镜装置进行来自用户的输入等的接口。外部I/F部550包含例如用于进行电源的接通/断开的电源开关、和用于对摄影模式或其他各种模式进行切换的模式切换按钮等。外部I/F部550将所输入的信息向控制部420传输。
2.2.图像处理部
图6示出第1实施方式中的图像处理部410的详细的结构例。图像处理部410包含预处理部411、同时化部412、关注区域设定部413、缩放处理部414、后处理部415。
A/D转换部305与预处理部411连接。预处理部411与同时化部412连接。同时化部412与关注区域设定部413和缩放处理部414连接。关注区域设定部413与缩放处理部414连接。缩放处理部414与后处理部415连接。后处理部415与显示部500连接。控制部420与预处理部411、同时化部412、关注区域设定部413、缩放处理部414以及后处理部415双向地连接,并进行它们的控制。
预处理部411针对从A/D转换部305输入的图像信号,使用在控制部420中预先保存的OB钳位值,增益校正值、WB系数值来进行OB钳位处理、增益校正处理、WB校正处理。预处理部411将预处理后的图像信号向同时化部412传输。
同时化部412针对由预处理部411处理后的图像信号,根据控制部420的控制信号将面顺序的图像信号同时化。具体而言,同时化部412逐帧地对以面顺序输入的各色光(R、G或B)的图像信号进行蓄积,并同时读出所蓄积的各色光的图像信号。同时化部412将被同时化的图像信号向关注区域设定部413和缩放处理部414传输。
关注区域设定部413根据被同时化处理后的图像信号来设定关注区域。具体而言,关注区域设定部413检测拍摄到处置器具的区域,将处置器具的前端的周边区域设定为关注区域。关于关注区域设定部413进行的处理在后面详述。
缩放处理部414一边维持(基本维持)视角一边进行图像的缩放处理,对关注区域进行放大。具体而言,缩放处理部414进行以预定倍率对关注区域进行放大的处理。或者也可以是,进行将关注区域放大并且将其他区域缩小的处理。关于缩放处理部414进行的处理在后面详述。
后处理部415针对缩放处理后的图像,使用在控制部420中预先保存的灰度转换系数、颜色转换系数,轮廓强化系数来进行灰度转换处理、颜色处理、轮廓强化处理。后处理部415将后处理后的图像信号向显示部500传输。
2.3.关注区域设定部
对关注区域设定部413进行的处理进行详细说明。关注区域设定部413从进行了同时化处理后图像信号中检测由具有处置器具的像的像素构成的处置器具区域,根据所检测到的处置器具区域来设定关注区域。下面以检测钳子等高反射性的金属处置器具的情况为例进行说明。
处置器具被置于与摄像元件304极为接近的位置,因此处置器具的亮度信号值与脏器相比足够大。因此,检测图像信号中的高亮度区域作为处置器具区域。具体而言,将关注像素(处理对象像素)的坐标设为(x,y),通过下式(1)计算关注像素的亮度信号值Y(x,y)。
Y(x,y)=0.299.R(x,y)+0.587.G(x,y)+0.114.B(x,y)      (1)
这里,R(x,y)、G(x,y)、B(x,y)是坐标(x,y)中的各颜色的图像信号。
接着,如图7所示,通过下式(2)计算关注像素左侧的从坐标(x-a,y)到坐标(x-1,y)的亮度值的平均值Yave(x,y)。在图7中,将图像信号设为N×M像素。此外,将位于图像信号的左上方的坐标设为(0,0)、右方向作为X轴的正方向、下方向作为Y轴的正方向来进行表示。例如X轴是沿水平扫描线的轴,Y轴是与X轴正交的轴。
Yave ( x , y ) = Σ i = x - a x - l Y ( i , y ) a - - - ( 2 )
这里,a是常数,并且是根据图像信号的横宽N而设定的。例如,常数a被设定为图像信号的横宽N的3%。
接着,使用下式(3)来检测是否关注像素的亮度信号值与周边的亮度平均值相比足够大。
Y(x,y)>Yave(x,y)+Yp       (3)
这里,Yp是作为参数而预先设定的值。将使上式(3)成立的像素作为处置器具候选像素。例如图8(A)所示,在包含处置器具和亮点的像的图像信号的情况下,如图8(B)所示,检测处置器具候选像素。
接着,提取多个处置器具候选像素相邻的区域作为处置器具候选区域。具体而言,从左上方起对图像信号进行搜索,将关注像素(x,y)的值为“是处置器具候选像素”,且关注像素的左(x-1,y)、左上(x-1,y-1)、上(x,y-1)、右上(x+1,y-1)这4个像素为“不是处置器具候选像素”的关注像素设定为起点像素。如图9所示,画影线(hatching)的像素相当于起点像素。
接着,从起点像素(x,y)的左下(x-1,y-1)起逆时针搜索处置器具候选像素。在起点像素的周边“没有检测到处置器具候选像素”的情况下,从下一起点像素搜索处置器具候选像素。在起点像素的周边“检测到处置器具候选像素”的情况下,从所检测到的处置器具候选像素的周边再次逆时针搜索处置器具候选像素。继续搜索直到所检测到的处置器具候选像素再次返回到起点像素。在搜索的中途,处置器具候选像素的Y坐标比起点像素的Y坐标小的情况下,停止搜索,并搜索下一起点像素。如图10所示,当处置器具候选像素再次返回到起点像素时,将包围所检测到的处置器具候选像素的区域作为处置器具候选区域。在图10中,画影线的像素是通过搜索而检测到的处置器具候选像素。
接着,分别对作为处置器具候选区域而提取的各区域中所包含的像素数进行计数,提取像素数最多的区域。在像素数最多的区域中所包含的像素数Tmax比预先设定的阈值THt大(Tmax>THt)的情况下,将该区域作为处置器具区域。另一方面,在像素数最多的区域中所包含的像素数Tmax为预先设定的阈值THt以下(包含该值)的情况下,设为在图像信号中“不存在处置器具”,在图像信号中不设定处置器具区域。例如图10所示,在处置器具候选区域2中所包含的像素数最多的情况下,判定在处置器具候选区域2中所包含的处置器具候选像素的数量是否大于预先设定的阈值。在大于阈值的情况下,将处置器具候选区域2设定为处置器具区域。
接着,从处置器具区域提取相当于处置器具的前端的区域,将该区域设定为处置器具前端像素。例如图11所示,从处置器具区域中所包含的像素中提取与图像中心最近的像素作为处置器具前端像素。在图11中,将图像中心的坐标设为(N/2,M/2)、处置器具前端像素的坐标设为(x0,y0)。另外,作为提取处置器具前端像素的其他方法,也可以是,从处置器具区域中所包含的像素中选择与图像中心的坐标(N/2,M/2)接近的多个像素,将所选择的多个像素的重心作为处置器具前端像素。
接着,如图12所示,将以处置器具前端像素(x0,y0)为中心、半径为R的圆的内侧的像素设定为关注区域。这里,半径R为常数,并且是根据图像信号的横宽N而设定的。例如,半径R被设定为图像信号的横宽N的10%。根据下式(4)判定坐标(x,y)的像素是否包含在半径为R的圆的内侧。
R2>(x-x0)2+(y-y0)2     (4)
关注区域设定部413将设定的关注区域和中心像素(x0,y0)向缩放处理部414传输。
另外,在上述中,将半径R设为了常数,但本实施方式不限于此,例如也可以将半径R设为根据关注区域(x0,y0)与图像中心(N/2,M/2)之间的的距离L而变化的变量。根据下式(5)计算关注区域的中心(x0,y0)与图像中心(N/2,M/2)之间的距离L。
L = ( N 2 - x 0 ) 2 + ( M 2 - y 0 ) 2 - - - ( 5 )
此外,在上述中,将关注区域设为了以坐标(x0,y0)为中心的圆形,但本实施方式不限于此,例如也可以将关注区域设为以坐标(x0,y0)为中心的矩形或椭圆形。
2.4.缩放处理部
接着,对缩放处理部414进行的处理进行详细说明。缩放处理部414根据所设定的关注区域和中心像素(x0,y0),对图像信号进行局部缩放处理。另外,在未由关注区域设定部413设定关注区域的情况下,不进行缩放处,将所输入的图像信号直接向后处理部415输出。
如图13所示,缩放处理部414以放大率α(广义上为倍率)对关注区域进行放大,将放大后的图像与原来的图像重叠。具体而言,以圆的中心为基准在半径方向上以放大率α进行放大,使放大后的圆区域的中心与原来的关注区域的中心像素(x0,y0)一致而进行重叠。以下,将放大后的关注区域称作放大区域。根据下式(6)计算将坐标(x,y)的像素进行α倍的坐标转换后得到的坐标(x’,y’)。
x′=α(x-x0)+x0
                                     (6)
y′=α(y-y0)+y0
这里,α是预先设定的大于1的常数,例如设定为α=1.5。此外,放大率α不限于固定的常数,也可以从外部由术者自由地输入。此外,如图14所示,也可以将放大率α设为根据关注区域的中心(x0,y0)与图像中心(N/2,M/2)之间的距离L而变化的变量。
缩放处理部414在上述的放大处理中生成放大区域内所包含的像素位置中的插值像素。具体而言,如图15所示,针对放大区域内的像素位置,使用基于上式(6)的坐标转换后的相邻4像素来进行线性插值。另外,插值处理不限于线性插值,例如也可以使用最相邻法、三次卷积内插法(双三次)等插值方法。
图16中示出缩放处理的变形例。如图16所示,也可以在上述的放大区域的外侧设置缩小区域。具体而言,缩小区域是以坐标(x0,y0)为中心的半径Rs的内侧的区域,并且是放大区域的外侧的区域。缩放处理部414以缩小率β(广义上为倍率)对由半径为R的圆和半径为Rs的圆夹住的区域进行缩小。缩小率β是根据处理对象像素(x,y)和中心坐标(x0,y0)之间的的距离rd而变化的变量。根据下式(7)来计算距离rd。如图17所示,缩小率β是距离rd越大其越减少的系数,距离rd为R时,β=α,距离rd为Rs时,β=1。
rd = ( x - x 0 ) 2 + ( y - y 0 ) 2 - - - ( 7 )
缩放处理部414在缩小处理中生成缩小区域内所包含的像素位置中的插值像素。具体而言,针对缩小区域内的像素位置,使用以缩小率β进行了缩小处理后的像素进行线性插值。另外,插值处理不限于线性插值,例如也可以使用最相邻法、三次卷积内插法(双三次)等插值方法。
根据上述的变形例,通过在放大区域的外侧设置缩小区域,在放大区域的边界部分保持了图像的连续性,因此能够得到没有不协调感的实施了缩放处理后的图像信号。
另外,在上述中,将缩小区域设为了半径Rs内侧所包含的像素,但本实施方式不限于此,例如也可以将放大区域的外侧全部作为缩小区域。该情况下,越朝向图像端部缩小率β越减小,在图像端部处放大率是1。
2.5.软件
另外,在本实施方式中,也可以由软件构成图像处理部410的各部进行的处理的一部分或全部。该情况下,例如由图72等中后述的计算机系统的CPU执行图像处理程序。
图18中示出图像处理程序的流程图例。如图18所示,在开始处理后,对时间序列的图像输入与光源的同步信号和摄影模式等的头信息(S1)。
接着,将图像输入到预先确保的图像缓冲区(S2)。接着,对所输入的图像进行例如公知的OB钳位处理、增益校正处理、WB校正处理等处理(S3)。接着,进行按照与光源的同步信号将所输入的时间序列的图像同时化的处理(S4)。
接着,对图像进行关注区域设定处理(S5)。后面在图19中对关注区域设定处理详细说明。接着,根据关注区域进行图像信号的缩放处理(S6)。在图20中对缩放处理进行详细说明。接着,对进行了缩放处理后的图像进行灰度转换处理、颜色处理、轮廓强调处理等处理(S7)。接着,输出进行了后处理的图像(S8)。
接着,判定在时间序列图像中最后的图像的处理是否结束(S9)。在判定为未结束的情况下,返回步骤S2,对下一图像重复进行步骤S2~S8的处理(S9,“否”)。另一方面,在判定为全部图像的处理结束的情况下,结束该处理(S9,“是”)。
图19中示出关注区域设定处理(S5)的详细的流程图例。如图19所示,在开始该处理后,从所输入的图像信号中检测高亮度像素作为处置器具候选像素(S11)。
接着,将检测到的处置器具候选像素多个相邻的区域,作为处置器具候选区域来检测(S12)。接着,检测包含最多像素数的处置器具候选区域作为处置器具区域(S13)。接着,判定处置器具区域中所包含的像素数Tmax是否大于预先设定的阈值THt(S14)。在判定为像素数Tmax大于阈值THt的情况下,进入步骤S15(S14,“是”),在判定为像素数Tmax为阈值THt以下(包含该值)的情况下,结束该处理(S14、“否”)。
接着,从处置器具区域中所包含的像素中检测与图像信号的中心最近的像素作为处置器具前端像素(S15)。接着,将处置器具前端像素设为关注区域的中心,将从关注区域的中心起半径R的内侧所包含的像素设定为关注区域(S16),结束该处理。
图20中示出缩放处理(S6)的详细的流程图例。如图20所示,在开始该处理后,通过关注区域设定处理来判定是否设定了关注区域(S21)。在设定了关注区域的情况下(S21,“是”),进入步骤S22。另一方面,在未设定关注区域的情况下(S21,“否”),结束该处理。
接着,以放大率α对从关注像素的中心起半径R中所包含的像素进行坐标转换(S22)。以下,将以放大率α进行了坐标转换后得到的区域称作放大区域。接着,在放大区域内所包含的像素位置处生成插值像素(S23)。接着,使放大区域的中心与关注像素的中心一致,将放大区域与图像信号重叠(S24),结束该处理。
由此,例如胶囊型内窥镜等那样,首先蓄积图像数据,然后,可在PC等计算机系统中通过软件对所蓄积的图像数据进行处理。
根据以上的实施方式,如图6所示,内窥镜装置包含图像取得部(例如A/D转换部305)、关注区域设定部413和缩放处理部414。图像取得部取得包含被摄体像的摄像图像。关注区域设定部413根据来自内窥镜装置的信息,对摄像图像设定关注区域。缩放处理部414进行将该关注区域相比于其他区域相对地进行放大的局部缩放处理。
由此,能够将关注区域相比于其他区域相对地放大,因此即便针对微小的病变部也能够得到更详细的信息,能够对关注区域进行适当的诊断和处置。
这里,来自内窥镜装置的信息是由内窥镜装置的各部所取得的信息,例如是摄像部的摄像图像、对摄像图像进行处理而得到的信号、控制各部的控制信号、或设于内窥镜装置中的各种传感器的感测信号。
此外,关注区域是对于使用者而言观察的优先顺序比其他区域相对高的区域,例如,在使用者是医生且希望治疗的情况下,是指拍摄有粘膜部或病变部的区域。此外,作为另一例,如果医者想要观察的对象是泡或便,则关注区域为拍摄有该泡部分或便部分的区域。即,虽然使用者要关注的对象根据其观察目的而不同,但均是在该观察时对于使用者而言观察的优先顺序比其他区域相对高的区域成为关注区域。
此外,在本实施方式中,如图13等中说明的那样,缩放处理部414一边维持摄像图像的视角一边进行局部缩放处理。
由此,术者能够在掌握被摄体的整体像的同时,以适当的大小观察要关注的区域。此外,由于能够将这些被摄体的整体像和要关注的区域在同一图像上进行显示,因此与观察多个图像的情况相比,能够减轻术者的负担。此外,由于不需要对广角图像和放大图像进行切换,因此术者不需要进行繁杂的作业。
这里,维持视角是指,图像中所显示的被摄体的范围不由于缩放处理而变化。不需要严密地维持视角,实质上维持视角即可。
此外,在本实施方式中,关注区域设定部413将摄像图像作为来自内窥镜装置的信息,对关注区域进行设定。
具体而言,关注区域设定部413具有未图示的处置器具检测部。如图12等中说明的那样,处置器具检测部根据摄像图像来检测拍摄有用于对被摄体实施处置的处置器具的处置器具区域。关注区域设定部413根据所检测到的处置器具区域来设定关注区域。
由此,在图像中拍摄到处置器具的情况下认为术者关注的区域位于图像内,因此能够通过缩放处理对该关注区域进行放大。由此,能够以适当的大小显示作为处置对象的病变部,能够得到适合术者的处置的图像。
此外,在本实施方式中,处置器具检测部检测处置器具区域的前端。关注区域设定部413将所检测到的前端起预定半径的圆内设定为关注区域。
具体而言,如图11中说明的那样,处置器具检测部将处置器具区域中所包含的像素中的、与摄像图像的中心(N/2,M/2)最近的像素设定为前端(处置器具前端像素(x0,y0))。
由此,将被认为存在于处置器具前端部的处置对象区域设定为关注区域,能够通过缩放处理对该关注区域进行放大。
另外,作为关注区域而设定的圆(圆形区域)不限于正圆,是圆状的区域即可。例如,也可以是椭圆等。
此外,在本实施方式中,处置器具检测部具有未图示的亮度特征量计算部。亮度特征量计算部计算与摄像图像的像素的亮度有关的亮度特征量(例如亮度信号值Y(x,y))。处置器具检测部根据所计算出的亮度特征量来检测处置器具区域。
具体而言,如图8(B)等中说明的那样,处置器具检测部根据亮度特征量来检测作为处置器具区域的候选的处置器具候选像素,根据检测到的处置器具候选像素来确定处置器具区域。
更具体而言,处置器具检测部具有未图示的比较部。如图7等中说明的那样,比较部对处理对象像素的亮度特征量(亮度信号值Y(x,y))和处理对象像素的周边像素的平均亮度特征量(平均值Yave(x,y))进行比较。处置器具检测部将亮度特征量大于平均亮度特征量的像素设定为处置器具候选像素。
处置器具由金属等形成,照明光的反射率较高,因此,相比于其他被摄体被拍摄为高亮度的像。因此,通过基于亮度特征量来设定处置器具候选像素,能够从图像中检测处置器具。
此外,在本实施方式中,如图10等中说明的那样,处置器具检测部根据处置器具候选像素的位置信息,将处置器具候选像素分类(例如由未图示的分类部进行)为1个或多个处置器具候选区域(例如处置器具候选区域1、2)。处置器具检测部从该1个或多个处置器具候选区域中选择处置器具区域。
具体而言,处置器具检测部从处置器具候选像素中提取作为处置器具候选区域与其他区域之间的边界的像素,将由该边界围住的处置器具候选像素设定为处置器具候选区域,设定1个或多个处置器具候选区域。
此外,处置器具检测部根据各处置器具候选区域中所包含的处置器具候选像素的数量来确定处置器具区域。
具体而言,处置器具检测部将1个或多个处置器具候选区域中的包含最多数量的处置器具候选像素、且包含多于预定阈值(THt)的处置器具候选像素的区域(例如处置器具候选区域2)确定为处置器具区域。
由此,即便在由于在粘膜上反射照明光而产生的亮点等高亮度区域而产生了多个处置器具候选区域的情况下,也能够从其中选择拍摄有处置器具的区域。
此外,在本实施方式中,如图1、图3等中说明的那样,图像取得部取得拍摄有镜体(插入部300)前端部的前方视野和侧方视野的摄像图像。
具体而言,摄像图像是通过对前方视野和侧方视野进行成像的物镜光学系统得到的图像。
物镜光学系统具有大于180°的视野角(例如,视野角230°)。
由此,如图2(C)等中说明的那样,能够在对镜体前方的被摄体进行观察的同时对镜体侧方的被摄体进行观察。由此,能够防止看漏管腔状的脏器中的壁面的病变部。
这里,物镜光学系统不限于物镜,可以是反射光学系统,也可以如图1所示,是组合了镜头和反射光学系统而得到的光学系统。另外,不限于图1的物镜光学系统,也可以使用视野角超过180°的鱼眼镜头。
此外,前方视野(前方的视野范围)是包含物镜光学系统的光轴方向的视野范围,例如是相对于光轴0度~45度的范围。侧方视野(侧方的视野范围)是包含与光轴正交的方向的视野范围,例如是相对于光轴45度~135度的范围。本实施方式的物镜光学系统303具有例如相对于光轴0度~115度的视野范围。
3.第2实施方式
对感测处置器具的插入并设定关注区域的第2实施方式进行说明。
图21示出第2实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
插入部300包含处置器具传感器308。处置器具传感器308设于插通通道307内。处置器具传感器308对在插通通道307中插入贯通并向插入部300的前方突出的处置器具进行检测。处置器具传感器308与后述的状态信息取得部430连接。
控制装置400包含状态信息取得部430。状态信息取得部430与图像处理部410连接。此外,控制部420与状态信息取得部430双向地连接。
状态信息取得部430在通过处置器具传感器308检测到处置器具从插入部300的前端突出的情况下,将表示“在图像信号中存在处置器具”的控制信号传输到图像处理部410。
图22中示出第2实施方式中的图像处理部410的详细的结构例。状态信息取得部430与关注区域设定部413连接。关注区域设定部413与缩放处理部414连接。
在第2实施方式中,关注区域设定部413进行的处理与第1实施方式不同。具体而言,关注区域设定部413在从状态信息取得部430接收到表示“在图像信号中存在处置器具”的控制信号的情况下,在图像信号中设定关注区域。例如图23所示,将图像中心(N/2,M/2)作为关注区域的中心,将从关注区域的中心起半径R以内(包含该值)的区域设定为关注区域。关注区域设定部413将所设定的关注区域和中心像素(x0,y0)向缩放处理部414传输。
另外,关注区域的中心不限于图像中心(N/2,M/2),也可以根据摄像元件与插通通道的相对位置关系而预先设定。例如,在从图像中心观察时插通通道被设于Y轴正方向的情况下,也可以相比于图像中心将关注区域设定在Y轴正方向侧。
根据以上的实施方式,如图21所示,内窥镜装置包含取得内窥镜装置的状态信息的状态信息取得部430。关注区域设定部413将状态信息作为来自内窥镜装置的信息,对关注区域进行设定。
具体而言,状态信息取得部430检测用于对被摄体实施处置的处置器具是否从镜体前端部突出(根据处置器具传感器308的感测信号进行检测),取得检测结果作为状态信息。关注区域设定部413根据检测结果对关注区域进行设定。
更具体而言,如图23等中说明的那样,关注区域设定部413在检测到处置器具的突出的情况下,将摄像图像的中央区域、或者相比于摄像图像的中心在插入处置器具一侧的区域(例如相比于图像中心在Y轴正方向侧的区域)设定为关注区域。
由此,能够在术者对处置器具进行了操作的情况下设定关注区域,并通过缩放处理对该关注区域进行放大。此外,能够将被认为术者通常使病变部位于的图像中心或图像下方设定为关注区域并进行放大。由此,能够不依赖图像信号而以适当的大小显示作为处置对象的病变部,能够得到适合术者的处置的图像。
这里,内窥镜装置的状态信息是指表示内窥镜装置的各部的状态的信息,例如是对摄像图像进行处理而得到的镜体的行进方向等信息、控制各部的状态的控制信号、或感测各部的状态的各种传感器的感测信号。
4.第3实施方式
4.1.内窥镜装置
对根据镜体的弯曲角度或弯曲运动量来设定关注区域和缩放率的第3实施方式进行说明。
图24中示出第3实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
操作部200设有进行插入部300的弯曲操作的弯曲操作杆201、供例如钳子那样的处置器具进行插入的插入口202、对前端部的弯曲角度和弯曲运动量等弯曲操作的操作信息进行检测的操作量检测传感器203。操作量检测传感器203与状态信息取得部430连接,向状态信息取得部430发送弯曲操作的操作信息。
控制装置400包含图像处理部410、控制部420和状态信息取得部430。图像处理部410的结构要素在图22中与上述的结构例相同。
状态信息取得部430取得与操作部200中的内窥镜的操作有关的信息。关注区域设定部413根据与所取得的内窥镜的操作有关的信息来设定关注区域。缩放处理部414设定缩放率,对由关注区域设定部413设定的关注区域进行放大处理或缩小处理,生成局部被放大缩小的图像信号。进行了处理后的图像信号被传输到显示部500。
4.2.弯曲角度检测部
图25中示出第3实施方式中的状态信息取得部430的详细的结构例。状态信息取得部430包含弯曲角度检测部431和弯曲运动量检测部432中的至少一方。
弯曲角度检测部431检测通过操作部200进行了弯曲操作的插入部300的当前的弯曲角度。弯曲运动量检测部432检测通过操作部200进行了弯曲操作的插入部300的弯曲运动量。弯曲运动量是弯曲角度在每单位时间的变化量。
具体而言,弯曲操作杆201为拨盘式,术者对拨盘进行旋转操作,从而拉伸或推压与拨盘连结的弯曲操作线306,伴随于此,插入部300的前端弯曲。操作量检测传感器203检测弯曲操作线306被拉伸或推压的“长度”作为操作量。状态信息取得部430根据所检测到的操作量来求出弯曲角度。例如,状态信息取得部430使用查找表和多项式等,根据操作量求出弯曲角度。
例如图26(A)所示,线306的操作量为零时的弯曲角度θ=0度。如图26(B)所示,当线306被拉伸LWcm时,弯曲角度θ=45度。如图26(C)所示,当线306被推压2LWcm时,弯曲角度θ=-90度。
另外,关于弯曲角度,只要作为表示弯曲角度的信息可得到即可,也可以不是弯曲角度本身。例如,弯曲角度信息也可以是线306被操作的长度。即,弯曲操作杆201的旋转方向的操作量与拉伸或推压弯曲操作线306的长度是1对1的,如果确定了该对应关系则可以求出弯曲角度。
此外,操作量检测传感器203检测的操作量不限于长度,例如也可以是弯曲操作杆201的旋转方向的操作量。该情况下,弯曲角度信息可以是根据旋转操作量而求出的弯曲角度,也可以是旋转操作量。
在图2(C)等中,如上所述,在使用广视野内窥镜进行甄别的情况下,能够根据侧方视野发现位于皱襞的背面的病变部。术者在发现病变部后,由于前方视野容易观察,因此为了使病变部进入前方视野,对弯曲操作杆201进行操作而使插入部300弯曲。在侧方视野中存在病变部的情况下,希望进行如下显示:仅使插入部稍微弯曲就如同病变部向前方视野的中央靠近。
因此,在本实施方式中,弯曲角度越大,越对图像的周边区域进行放大。具体而言,关注区域设定部413根据由弯曲角度检测部431取得的弯曲角度来将侧方视野的区域设定为关注区域。例如,当弯曲角度为某一阈值以上时,将侧方视野的区域设定为关注区域。
缩放处理部414针对摄像图像的关注区域,以弯曲角度越大设定越大的放大率的方式进行放大处理。并且,缩放处理部414设定与该放大率和图像的尺寸对应的缩小率,对前方视野的区域(关注区域以外的区域)进行缩小处理。
4.3.缩放处理部
对缩放处理部414进行的处理进行详细说明。如图27(A)所示,将前方视野区域的半径设为C1,将从侧方视野区域与前方视野区域相加后的整体区域的半径中减去C1而得到的距离设为C2。如图27(B)所示,缩放处理部414将侧方视野区域放大为A倍(A≥1),将前方视野区域缩小为B倍(B≤1)。弯曲角度越大,将倍率A设定为越大的值。
倍率A与倍率B之间的关系由下式(8)表示。倍率A被设定在下式(9)所示的范围内。通过下式(8)、(9),能够在保持图像整体的尺寸的同时,放大侧方视野的区域并缩小前方视野的区域而进行显示。
B=1+(1-A)·C2/C1    (8)
1≤A≤1+C1/C2          (9)
例如,将能够机械地弯曲的最大角度的绝对值(最大弯曲角度)设为θmax、弯曲角度的绝对值设为θ,则倍率A由下式(10)表示。
A=(θ/θmax)*(C1/C2)+1      (10)
此外,如图28所示,也可以是,预先准备将倍率A和弯曲角度θ关联起来的查找表,根据该查找表来设定倍率A。
接着,对缩放处理中的像素的坐标转换进行说明。以下,设图像为矩形或椭圆形。考虑以图像的纵横中的较长的一方作为基准,并用较长的一方的倍率来置换较短的一方。如下式(11)所示,分别在图像的纵横中,以B倍对距离中心在d像素以内(包含该值)的点进行缩小,以A倍对上述以外的点进行放大。例如,当像素的y坐标距离中心在d像素以内(包含该值),x坐标距离中心在d像素以上(包含该值)时,以图像中心为基准,将像素的坐标在y轴方向上设为B倍、在x轴方向上设为A倍。
x1’=B·x1、
···
xi’=B·xi、
···
xd’=B·xd、
xd+1’=xr-A·(r-(d+1))、
···
xj’=xr-A·(r-j)、
···
xr’=xr          (11)
这里,d=C1,r=C1+C2。此外,xi、xj表示缩放处理前的像素的坐标,xi’、xj’表示缩放处理后的像素的坐标。i、j是满足0<i≤d<j≤r的自然数。
放大缩小后的像素位置不一定与离散的像素位置一致。此外,通过放大缩小后的像素,未必在全部的像素位置上生成像素值。因此,与上述的第1实施方式同样,从相邻像素进行插值来生成最终的图像。
4.4.弯曲运动量检测部
接着,对弯曲运动量检测部432进行的处理进行详细说明。操作量检测传感器203检测弯曲操作杆201的每单位时间的旋转操作量。弯曲运动量检测部432根据所检测到的旋转操作量来求出弯曲运动量。
另外,在本实施方式中不限于此,也可以根据弯曲操作线306在每单位时间被拉伸或推压的长度来求出弯曲运动量。此外,弯曲运动量不限于每单位时间的弯曲角度的变化量,能够作为表示弯曲运动量的信息而得到即可。例如,弯曲运动量信息可以是弯曲操作杆201的每单位时间的旋转操作量,也可以是弯曲操作线306在每单位时间被拉伸或推压的长度。
在图2(C)等中,如上所述,在使用广视野内窥镜进行甄选的情况下,能够根据侧方视野发现位于皱襞的背面的病变部。术者在发现病变部后,由于前方视野容易观察,因此为了使病变部进入前方视野,对弯曲操作杆201进行操作而使插入部300弯曲。即,弯曲操作中考虑在侧方视野中存在病变部。在前方视野中出现病变部时停止弯曲操作。
因此,在本实施方式中,在开始弯曲时对侧方视野进行放大显示,在停止弯曲后,对前方视野进行放大(或以原来的倍率)显示。另外,在弯曲角度达到最大角度并停止弯曲的情况下,能够推测出术者关注的区域没有进入前方视野而位于侧方视野,因此还对侧方视野进行放大显示。
具体而言,关注区域设定部413根据由弯曲运动量检测部432取得的弯曲运动量来设定关注区域。关注区域设定部413在弯曲运动量较大的情况下(剧烈地进行弯曲时)将侧方视野的区域设定为关注区域。另外,也可以仅在弯曲运动量为某一阈值以上时设定关注区域。
如图29所示,缩放处理部414以由弯曲运动量检测部432检测到的弯曲运动量越大将放大率设定得越大的方式对摄像图像的关注区域进行放大处理。此外,缩放处理部414设定与该放大率和图像的尺寸对应的缩小率,对前方视野的区域进行缩小处理。关于处理的详细,在图27(B)等中与上述的方法相同。
根据以上的实施方式,如图25所示,状态信息取得部430具有弯曲角度检测部431。弯曲角度检测部431取得表示镜体前端部的弯曲角度(图26(A)~图26(C)的角度θ)的弯曲角度信息作为状态信息。关注区域设定部413根据所取得的弯曲角度信息来设定关注区域。
由此,能够根据弯曲角度来推测术者感兴趣的观察区域,通过对该区域进行放大,能够提供术者易于观察的图像。
此外,在本实施方式中,如图27(A)等中说明的那样,关注区域设定部413在判定为弯曲角度大于阈值的情况下,将与摄像图像中的侧方视野对应的区域设定为关注区域。
由此,考虑在侧方视野中存在病变的情况下术者对镜体前端进行弯曲操作,因此能够将该侧方视野设定为关注区域并进行放大。此外,弯曲角度较小的(阈值以下的)细微的弯曲操作可推测为误差或前方视野的微调整。因此,通过进行阈值判定,能够防止不需要的放大缩小显示。
这里,与前方视野对应的区域是拍摄有前方视野的被摄体的区域,例如是拍摄有物镜光学系统的光轴方向的被摄体的区域。例如在光轴与图像中心一致的情况下,与前方视野对应的区域是包含图像中心的中央区域。
此外,与侧方视野对应的区域是拍摄有侧方视野的被摄体的区域,例如是拍摄有与物镜光学系统的光轴正交的方向的被摄体的区域。例如在光轴与图像中心一致的情况下,与侧方视野对应的区域是上述中央区域的周边区域。
此外,在本实施方式中,如图27(A)等中说明的那样,缩放处理部414根据弯曲角度来控制关注区域或关注区域以外的区域(他的区域)的缩放率A、B。
具体而言,弯曲角度越大,缩放处理部414将关注区域的放大率A设为越大。
由此,能够推测为弯曲角度越大,术者越想关注侧方视野,因此通过对该区域进行放大显示,能够提供术者易于观察的图像。
此外,在本实施方式中,如图25所示,状态信息取得部430具有弯曲运动量检测部432。弯曲运动量检测部432取得表示镜体前端部的弯曲运动量(图26(A)~图26(C)的角度θ的每单位时间的变化)的弯曲运动量信息作为状态信息。关注区域设定部413根据所取得的弯曲运动量信息来设定关注区域。
由此,能够根据运动量来推测术者感兴趣的观察区域,通过对该区域进行放大,能够提供术者易于观察的图像。
此外,在本实施方式中,关注区域设定部在判断为弯曲运动量大于阈值的情况下,将与摄像图像中的侧方视野对应的区域设定为关注区域。
由此,考虑在侧方视野中存在病变的情况下术者对镜体前端进行弯曲操作,因此能够将该侧方视野设定为关注区域并进行放大。此外,弯曲运动量较小的(阈值以下的)细微的弯曲操作可推测为误差或前方视野的微调整。因此,通过进行阈值判定,能够防止不需要的放大缩小显示。
此外,在本实施方式中,如图27(A)等中说明的那样,缩放处理部414根据弯曲运动量来控制关注区域或关注区域以外的区域(他的区域)的缩放率A、B。
具体而言,弯曲运动量越大,缩放处理部414将关注区域的放大率A设定得越大。
弯曲运动量越大,能够推测为是术者使侧方视野的病变部越快地向图像中心部移动的状况。因此,通过对侧方视野进行放大,能够将侧方视野的病变部在靠近图像中心部显示,能够提供术者易于观察的图像。
5.第4实施方式
5.1.内窥镜装置
对基于根据光源的出射光量估计出的到被摄体的距离信息来设定关注区域的第4实施方式进行说明。
图30中示出第4实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
控制装置400包含图像处理部410、控制部420和状态信息取得部430。在图像处理部410中进行了处理后的图像信号被传输到显示部500、状态信息取得部430。控制部420与光源光圈驱动部103、旋转驱动部105、图像处理部410、状态信息取得部430、外部I/F部550连接,进行它们的控制。
对内窥镜装置进行的调光处理进行说明。当将照明光设为一定的照射强度来进行观察时,由于插入部300的前端接近或远离观察部位,因此摄像图像可能曝光过度或曝光不足。为了防止发生这样的情况,使用将图像信号维持适当的亮度的调光处理。在调光处理中,一般而言,通过调整光源部100的出射光量、或者摄像元件304的模拟增益、或者图像处理部410的数字增益,将摄像图像的亮度保持为固定。
在本实施方式中,在该调光处理工作的状态下,取得光源部100的出射光量的信息,根据该出射光量的信息来估计与被摄体之间的距离信息,根据该距离信息来适当地控制关注区域和其以外的区域的缩放处理。
5.2.状态信息取得部
针对估计到被摄体的距离并根据该距离来设定关注区域的方法进行详细说明。
术者在基于内窥镜装置的观察中发现推测为病变部的区域后,使插入部300的前端接近该区域。该情况下,来自被摄体的反射光量变强,所摄像的图像信号变亮。在本实施方式中,状态信息取得部430进行调光处理,经由控制部420来控制光源光圈驱动部103,缩小光源光圈102的开口面积,直到图像成为作为目标的观察亮度。
另一方面,在插入部300的前端远离观察区域的状态下,来自被摄体的反射光量变弱,所摄像的图像信号变暗。状态信息取得部430经由控制部420控制光源光圈驱动部103,扩大光源光圈102的开口面积,直到图像成为作为目标的观察亮度。即,在调光处理中,光源光圈102的开口面积较小的情况是插入部300的前端与被摄体接近的状态,光源光圈102的开口面积较大的情况是插入部300的前端与被摄体远离的状态。
在本实施方式中,为了观察被摄体的更大的范围,在图1中,如上所述,使用能够在观察前方物体的同时进行侧方(包含大致侧方)物体的观察的物镜光学系统。因此,在图2(D)中,如上所述,显示以图像中心的坐标(N/2,M/2)为区域中心的前方视野(中央部)和侧方视野(周边部)。
如图31(A)、图31(B)所示,在术者找到了被推测为病变部的区域的情况下,通常将该病变部与图像信号的中央部(前方视野)对准。然而,如图31(C)、图31(D)所示,在对肠等细长的管腔状的部位进行诊察的情况下,由于空间区域的限制,难以将病变部与图像信号的前方视野对准。即,由于空间狭小,因而难以使插入部300的前端旋转。因此,如图31(D)所示,只能将病变部与图像信号的侧方视野对准。
因此,在本实施方式中,根据测光模式进行前方视野区域或侧方视野区域的调光,在光源光圈102的开口面积小于阈值的情况下,判断为正在使镜体前端靠近被摄体而进行观察,将正在调光的区域设定为关注区域。
首先,对取得光源光圈102的开口面积作为状态信息的处理进行说明。图32中示出第4实施方式中的状态信息取得部430的详细的结构例。状态信息取得部430包含亮度换算部433、加法部434、调整系数计算部435。
同时化部412经由亮度换算部433、加法部434与调整系数计算部435连接。控制部420与亮度换算部433、加法部434以及调整系数计算部435双向地连接。
如图33所示,亮度换算部433针对同时化后的图像信号,以预定间隔设定取样像素(坐标(x,y)),使用上式(1)来计算取样像素的亮度信号Yi(x,y),将计算出的亮度信号Yi(x,y)向加法部434传输。
加法部434通过下式(12)对取样像素的亮度信号Yi(x,y)进行相加平均,计算亮度测定值Yd。加法部434将计算出的亮度测定值Yd向调整系数计算部435传输。
Yd = Σ i = 0 n { Y i ( x , y ) × a ( x , y ) } n - - - ( 12 )
这里,n是取样像素数(常数),并且是根据图像信号的视角大小而设定的。a(x,y)是取样像素的权重系数。
在本实施方式中,在图31(A)等中,配合上述的观察状况,准备多个测光模式。由术者通过外部I/F部550来设定测光模式。例如,在术者想要关注图像信号的前方视野的情况下,将测光模式设定为“前方模式”。当测光模式被设定为“前方模式”时,将图33的前方视野中所包含的取样像素的权重系数设定为大于侧方视野中所包含的取样像素的权重系数的值。由此,调光处理中的前方视野的权重变大,因此在观察位于前方视野的被摄体时,能够高精度地进行调光处理。
另一方面,在术者想要关注图像信号的侧方视野的情况下,将测光模式设定为“侧方模式”。当测光模式被设定为“侧方模式”时,将图33的侧方视野中所包含的取样像素的权重系数设定为大于前方视野中所包含的取样像素的权重系数的值。由此,如观察管腔状的部位时那样,在使插入部300的前端靠近位于侧方视野的被摄体而进行观察时,能够高精度地进行调光处理。
另外,权重系数a(x,y)的设定方法不限于上述方法,也可以与到图像中心的坐标(N/2,M/2)的距离成比例地设定取样像素的权重系数a(x,y)。
调整系数计算部435使用来自加法部434的亮度测定值Yd和预先设定的亮度目标值Ybase,根据下式(13)来计算光源光圈调整系数Lc。
Lc=Ybase/Yd       (13)
调整系数计算部435将光源光圈调整系数Lc传输到控制部420,光源光圈驱动部103根据来自控制部420的光源光圈调整系数Lc来控制光源光圈102的开口。
5.3.关注区域设定部、缩放处理部
关注区域设定部413根据控制部420的控制信号来取得光源光圈102的开口面积。如上所述,在使插入部300的前端靠近被摄体而进行观察时,调光处理进行工作,光源光圈102的开口面积变小。因此,关注区域设定部413在开口面积小于预定阈值的情况下,将前方视野或侧方视野设定为关注区域。具体而言,关注区域设定部413在测光模式为“前方模式”的情况下,将前方视野设定为关注区域,在测光模式为“侧方模式”的情况下,将侧方视野设定为关注区域。关注区域设定部413将所设定的关注区域向缩放处理部414传输。
缩放处理部414进行由关注区域设定部413所设定的关注区域的缩放处理。在关注区域为前方视野的情况下,与第3实施方式同样,以预定放大率对前方视野的图像进行放大。此外,与第3实施方式同样,将靠近前方视野的外侧的侧方视野的预定的半径范围设定为侧方视野,并以预定缩小率对该范围进行缩小。在其以外的侧方视野中,将倍率设定为1,不进行缩放处理。例如,在图27(B)中,将前方视野的倍率设定为B>1,将侧方视野的倍率设定为A≤1。另外,侧方视野的倍率不限于上述倍率,也可以将全部侧方视野缩小。
在关注区域为侧方视野的情况下,与第3实施方式同样,缩放处理部414以预定放大率对侧方视野的图像进行放大。此外,与第3实施方式同样,将靠近侧方视野的外侧的前方视野的预定的半径范围设定为前方视野,并以预定缩小率对该范围进行缩小。在其以外的前方视野中,将倍率设定为1,不进行缩放处理。例如,在图27(B)中,将前方视野的倍率设定为B≤1,将侧方视野的倍率设定为A>1。另外,前方视野的倍率不限于上述倍率,也可以将全部前方视野缩小。
在关注区域通过上述的处理被放大的状态下,在开口面积大于预定阈值而使关注区域不再被设定的情况下,缩放处理部414将关注区域的放大率返回到1。
这样,通过根据光源的光圈状况来适当地对关注区域(前方视野或侧方视野)进行缩放处理,对于术者而言,能够提高病变部的可视性。
5.4.变形例
在上述的实施方式中,根据光源光圈102的开口状况适当地进行缩放处理,但本实施方式不限于此。例如,也可以使用LED光源并根据该LED光源的光量控制信息(例如驱动电流)来进行缩放处理。
图34中示出进行这样处理时的内窥镜装置的变形结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包含白色光源101、旋转滤色片104、旋转驱动部105、聚光镜头106、控制光源的出射光量的光源控制部107。白色光源101由LED光源构成。光源控制部107根据来自控制部420的控制信号,控制LED光源的出射光量的强度。控制部420根据上式(13)中说明的调整系数Lc来调整出射光量。
关注区域设定部413根据来自控制部420的出射光量的控制信号,对关注区域进行设定。即,在出射光量小于阈值的情况下,判断为使镜体前端靠近了被摄体,设定与测光模式对应的关注区域。缩放处理部414对所设定的关注区域进行缩放处理。
根据以上的实施方式,如图32等中说明的那样,状态信息取得部430根据对被摄体进行照明的光源部100的出射光量,取得表示被摄体与镜体前端部之间的距离的距离信息。关注区域设定部413将距离信息作为状态信息来设定关注区域。
具体而言,关注区域设定部413在判断为距离比阈值近的情况下,设定关注区域。
更具体而言,内窥镜装置包含模式设定部(图30的控制部420)和调光控制部(图32的状态信息取得部430和控制部420)。模式设定部设定对与前方视野对应的区域进行调光控制的第1测光模式(前方模式),或者对与侧方视野对应的区域进行调光控制的第2测光模式(侧方模式)。调光控制部根据在所设定的测光模式中被调光控制的区域的亮度来控制光源部100的光圈(图30的光源光圈102)的开口面积,由此控制出射光量。距离信息是通过调光控制部控制的开口面积。关注区域设定部413在判断为开口面积小于阈值的情况下,将在所设定的测光模式中被调光控制的区域设定为关注区域。
由此,考虑使镜体前端靠近的区域是术者想要观察的区域,因此根据距离来设定关注区域并将其放大,由此能够适当地将术者想要观察的区域进行放大显示。此外,由于通过调光控制将图像的亮度保持为固定,因此并非根据图像而是根据调光控制来估计距离,由此能够判定是否使镜体前端靠近了被摄体。
6.第5实施方式
6.1.内窥镜装置
对基于根据图像的亮度而估计的到被摄体的距离信息来设定关注区域的第5实施方式进行说明。
图35中示出第5实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包含白色光源101、旋转滤色片104、旋转驱动部105、聚光镜头106。与第1实施方式相比,光源部100是删除了光源光圈102、光源光圈驱动部103后得到的结构。
考虑在图像信号中相对明亮的区域为插入部300的前端与被摄体之间的距离较近的区域。因此,在本实施方式中,按照图像信号中的每个局部区域来计算亮度,将该多个局部区域中相对明亮的局部区域设定为关注区域。
6.2.关注区域设定部、缩放处理部
图36中示出第5实施方式中的关注区域设定部413的详细的结构例。关注区域设定部413包含亮度换算部441、加法部442、确定部443。同时化部412与亮度换算部441连接。亮度换算部441与加法部442连接。加法部442与确定部443连接。确定部443与缩放处理部414连接。控制部420与亮度换算部441、加法部442、确定部443双向地连接。
在图33中,如上所述,亮度换算部441计算同时化后的图像信号的取样像素的亮度值,将该取样像素的亮度值向加法部442传输。
加法部442分别在前方视野和侧方视野中,根据下式(14)对取样像素的亮度信号Yi(x,y)进行相加平均,计算前方视野的亮度测定值Ydf和侧方视野的亮度测定值Yds。这里,将图像信号的中心坐标(N/2,M/2)设为原点,将预定的半径内的像素设为前方视野、其以外的像素设为侧方视野。
Ydf = Σ i = 0 m { Y i ( x , y ) × a ( x , y ) } m , Yds = Σ j = 0 n { Y j ( x , y ) × b ( x , y ) } n - - - ( 14 )
这里,m是前方视野的取样像素数(常数),n是侧方视野的取样像素数(常数)。m、n是根据图像信号的视角大小而设定的。a(x,y)、b(x,y)是权重系数。
另外,在上述的实施方式中,将前方视野和侧方视野分割为2个区域,并计算各个视野的亮度测定值,但本实施方式不限于此。例如,在使插入部300的前端的侧方接近被摄体而进行观察的情况下,该侧方视野全部都变得明亮的可能性较低。如图37所示,假设这样的情况,例如也可以是,将侧方视野进一步分割为多个区域,对各区域中所包含的取样像素的亮度信号Yi(x,y)进行相加平均,计算各区域的亮度测定值。该情况下,将计算出的多个侧方区域的亮度测定值中的最大值作为侧方区域的亮度测定值Yds。例如,在图37中,侧方视野3的亮度测定值为最大值。该情况下,将侧方视野3的亮度测定值作为侧方区域的亮度测定值Yds,向确定部443传输。
确定部443根据由加法部442计算出的亮度测定值Ydf、Yds来设定关注区域。具体而言,确定部443在前方视野的亮度测定值Ydf大于预定阈值的情况下,将与前方视野对应的区域设定为关注区域。此外,确定部443在侧方视野的亮度测定值Yds大于预定阈值的情况下,将与侧方视野对应的区域设定为关注区域。在亮度测定值Ydf、Yds均大于预定阈值的情况下,将更明亮的区域设定为关注区域。确定部443将所设定的关注区域信息向缩放处理部414传输。
缩放处理部414对所设定的关注区域进行缩放处理。缩放处理的方法与第3实施例相同。具体而言,在图38(A)中示出进行缩放处理之前的图像结构(实线CL是前方视野与侧方视野的边界线)。如图38(B)所示,在前方视野为关注区域的情况下,将实线CL作为边界线,对前方视野的区域进行放大,对侧方视野的区域进行缩小。另一方面,如图38(C)所示,在侧方视野为关注区域的情况下,将实线CL作为边界线,对侧方视野的区域进行放大,对前方视野的区域进行缩小。
另外,也可以是,在前方视野和侧方视野均为关注区域的情况下,通过用户的指定或事先设定等,对前方视野的区域或侧方视野区域中的任意一个关注区域进行放大,对另一个关注区域进行缩小。例如,通过用户的外部操作来切换进行放大/缩小的关注区域。
根据上述的实施方式,根据图像信号的亮度估计插入部300的前端与被摄体之间的距离,根据该距离适当地对前方视野和侧方视野进行缩放处理,由此,作为术者,能够提高病变部可视性。
6.3.软件
另外,在本实施方式中,也可以由软件构成图像处理部410的各部进行的处理的一部分或全部。该情况下,例如由图72等中后述的计算机系统的CPU执行图像处理程序。
图39中示出第5实施方式中的关注区域设定处理的详细的流程图例。关于图像处理程序的其他步骤的处理,与图18等中所述的第1实施方式相同。
如图39所示,在开始该处理后,通过上式(1)计算同时化后的图像信号的取样像素的亮度值(S31)。接着,根据上式(14)来计算前方视野加法平均值Ydf、侧方视野加法平均值Yds(S32)。接着,在前方视野加法平均值Ydf大于预定阈值的情况下,将与前方视野对应的区域确定为关注区域。另一方面,在侧方视野加法平均值Yds大于预定阈值的情况下,将与侧方视野对应的区域确定为关注区域(S33)。
根据以上的实施方式,关注区域设定部413具有距离信息取得部(图36的亮度换算部441、加法部442)。距离信息取得部根据摄像图像的亮度(例如上式(14)的亮度信号Yi(x,y))来取得表示被摄体与镜体前端部之间的距离的距离信息。关注区域设定部413根据所取得的距离信息来设定关注区域。
具体而言,距离信息取得部计算与摄像图像的像素的亮度有关的亮度特征量(例如,由亮度换算部441(广义上为亮度特征量计算部)计算),根据计算出的亮度特征量来取得距离信息。
更具体而言,如图38(A)~图38(C)等中说明的那样,距离信息取得部将摄像图像分割为多个区域(例如与前方视野对应的区域和与侧方视野对应的区域),取得分割后的各区域的亮度(亮度测定值Ydf、Yds)作为距离信息。关注区域设定部413将该多个区域中最亮的区域作为与镜体前端部最近的区域,设定为关注区域。
由此,能够根据图像的亮度设定关注区域,并通过缩放处理将该关注区域放大。即,当使镜体前端靠近术者想要观察的区域时,该区域由于照明而变得明亮,因此通过根据图像的亮度来设定关注区域,能够适当地对术者想要观察的区域进行放大显示。
7.第6实施方式
7.1.内窥镜装置
对通过特殊光检测病变区域并将检测到的病变区域设定为关注区域的第6实施方式进行说明。
图40中示出第6实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包含白色光源101、光源光圈102、光源光圈驱动部103、聚光镜头106。与第1实施方式相比,删除了旋转滤色片104和旋转驱动部105。
插入部300包含光导纤维301、照明镜头302和物镜光学系统303。此外,插入部300包含将由物镜光学系统303会聚的反射光分离为2部分的半反射镜309、对所分离的反射光进行检测的第1摄像元件304和第2摄像元件310、第1A/D转换部305以及第2A/D转换部311。
A/D转换部311将由第2摄像元件310检测到的模拟图像信号转换为数字图像信号。
第1摄像元件304是拜耳(Bayer)式排列的摄像元件。如图41所示,第2摄像元件310是将2种滤色片nB、nG配置在格子上得到的摄像元件。如图42所示,各滤色片nB、nG具有透射窄频带的光的特性。例如,滤色片nB具有透射390~445nm的光的特性,滤色片nG具有透射530~550nm的光的特性。例如,第1摄像元件304与第2摄像元件310的像素数相同。
控制装置400包含图像处理部410和控制部420。A/D转换部305、311将转换为数字后的图像信号传输到图像处理部410。图像处理部410将处理后的图像信号传输到显示部500。控制部420与光源光圈驱动部103、图像处理部410、外部I/F部550连接,进行它们的控制。
7.2.图像处理部
图43中示出第6实施方式中的图像处理部410的详细的结构例。图像处理部410包含第1预处理部411、第2预处理部418、第1同时化部412、第2同时化部417、关注区域设定部413、缩放处理部414、后处理部415。另外,预处理部411、缩放处理部414、后处理部415的处理与第1实施方式相同,因而省略说明。
同时化部412与缩放处理部414连接。预处理部418与同时化部417连接。同时化部417与关注区域设定部413连接。此外,控制部420与预处理部418、同时化部417双向地连接,进行它们的控制。
同时化部412对由预处理部411处理后的图像信号实施同时化处理。如上所述,在第1摄像元件304中取得的图像信号是拜耳式排列的单板图像信号。同时化部412使用插值处理,根据单板图像信号生成RGB的3板图像信号。例如,作为插值处理,使用公知的双三次插值处理即可。以下将由同时化部412输出的图像信号称作通常光图像。
预处理部418针对从A/D转换部311输入的图像信号,使用在控制部420中预先保存的OB钳位值、增益校正值、WB系数值,进行OB钳位处理、增益校正处理、WB校正处理。预处理部418将实施了预处理后的图像信号向同时化部417传输。
同时化部417对由预处理部418进行了处理后的图像信号实施同时化处理。在图41中,如上所述,第2摄像元件310是将2种滤色片nB、nG配置在格子上而得到的摄像元件。因此,由预处理部418处理后的图像信号成为如图44所示那样的单板图像信号。在图44中,将通过滤色片nB所取得的图像信号表示为B2,将通过滤色片nG所取得的图像信号表示为G2。
同时化部417通过下式(15)、(16),根据该单板图像信号生成B2图像信号和G2图像信号。B2图像信号是在全部像素中具有B2信号的图像信号,G2图像信号是在全部像素中具有G2信号的图像信号。例如,图44的G2(1、1)的位置中的nB滤光片的图像信号B2(1,1)使用下式(15)来计算即可。此外,图44的B2(1、2)的位置中的nG滤光片的图像信号G2(1,2)使用下式(16)来计算即可。
B2(1,1)={B2(0,1)+B2(1,0)+B2(1,2)+B2(2,1)}/4    (15)
G2(1,2)={G2(0,2)+G2(1,1)+G2(1,3)+G2(2,2)}/4         (16)
同时化部417使用根据上式(15)、(16)生成的B2图像信号和G2图像信号,生成RGB的3板图像信号。具体而言,同时化部417使用G2图像信号作为R图像信号,使用B2图像信号作为G、B图像信号,从而生成3板图像信号。以下,将由同时化部417输出的图像信号称作窄频带光图像(广义上为特殊光图像)。
关注区域设定部413通过后述的方法从窄频带光图像中检测病变区域,根据该病变区域来设定关注区域。在窄频带光图像上,鳞状上皮癌等病变部具有被描绘为褐色的区域的特征。因此,通过从窄频带光图像中检测具有特定色相的区域(褐色的区域),能够检测病变区域。
缩放处理部414对与所设定的关注区域对应的通常光图像上的区域进行放大处理。如后所述,关注区域是以坐标(x0,y0)为中心、半径为R的圆内的区域。坐标缩放处理与第1实施方式相同。
7.3.关注区域设定部
图45中示出第6实施方式中的关注区域设定部413的详细的结构例。关注区域设定部413包含局部区域设定部451、特征量计算部452、病变区域检测部453、赋予标签处理部454、区域选择部455、坐标计算部456、关联部457、缩放处理条件设定部458。
同时化部417与局部区域设定部451连接。局部区域设定部451与特征量计算部452和关联部457连接。特征量计算部452与病变区域检测部453连接。病变区域检测部453与赋予标签处理部454连接。赋予标签处理部454与区域选择部455连接。区域选择部455与坐标计算部456连接。坐标计算部456与关联部457连接。关联部457与缩放处理条件设定部458连接。缩放处理条件设定部458与缩放处理部414连接。
局部区域设定部451对从同时化部417输出的窄频带光图像设定多个局部区域。以下,以将窄频带光图像分割为矩形区域,并将分割后的各区域设定为局部区域的情况为例进行说明。
如图46所示,例如将5×5像素作为1个局部区域。设为窄频带图像信号由M×N个局部区域构成,各区域的坐标由(m,n)表示。此外,坐标(m,n)的局部区域由a(m,n)表示。此外,将位于图像的左上方的局部区域的坐标设为(0,0),将右方向定义为m的正方向、下方向定义为n的正方向。另外,为了减少计算量,将由多个相邻的像素组构成的区域作为一个局部区域,但也可以将1个像素作为1个局部区域。该情况下,后面的处理相同。
局部区域设定部451将局部区域的大小以及全部局部区域的坐标输出到特征量计算部452。局部区域设定部451将全部局部区域的坐标和与该坐标对应的窄频带光图像上的坐标输出到关联部457。这里,窄频带光图像上的坐标是存在于局部区域的中心的像素的坐标。
特征量计算部452根据由局部区域设定部451所设定的全部局部区域来计算特征量。以下,以使用色相作为特征量的情况为例进行说明。
将局部区域a(m,n)的色相记为H(m,n)。为了计算H(m,n),特征量计算部452首先计算各局部区域中的R、G、B信号的平均值R_ave、G_ave、B_ave。这里,R_ave是各局部区域中所包含的全部像素的R信号的平均值。G_ave、B_ave也同样。例如,各信号值是8位(0~255)。
特征量计算部452例如使用下式(17)~(22),根据R_ave、G_ave、B_ave来计算各局部区域的色相H(m,n)。首先,根据下式(17)求出max。
max=MAX(R_ave,G_ave,B_ave)      17)
这里,MAX()函数是输出括弧内的多个参数的最大值的函数。
在max为0的情况下,根据下式(18)计算色相H。
H=0    (18)
在max为0以外的情况下,根据下式(19)计算d。
d=MAX(R_ave,G_ave,B_ave)-MIN(R_ave,G_ave,B_ave)       (19)
这里,MIN()函数是输出括弧内的多个参数的最小值的函数。
在R_ave、G_ave、B_ave中R_ave为最大的情况下,根据下式(20)计算色相H。
H=60×(G_ave-B_ave)÷d       (20)
在R_ave、G_ave、B_ave中G_ave为最大的情况下,根据下式(21)计算色相H。
H=60×{2+(B_ave-R_ave)}÷d          (21)
在R_ave、G_ave、B_ave中B_ave为最大的情况下,根据下式(22)计算色相H。
H=60×{4+(R_ave-G_ave)}÷d                (22)
另外,在H<0的情况下,在H上加上360。此外,在H=360的情况下,设为H=0。
病变区域检测部453检测具有特定的色相H的局部区域作为病变区域,将被检测为病变区域的全部局部区域的坐标输出到赋予标签处理部454。例如病变区域检测部453将具有色相H为5~35的值的区域(相当于褐色区域)检测为病变区域。
赋予标签处理部454对由病变区域检测部453输出的病变区域中的彼此相邻的病变区域赋予相同的标签。以下,将被赋予了相同的标签的病变区域的集合称作病变区域组。赋予标签处理部454计算被赋予了相同的标签的病变区域组的大小。这里,将病变区域组的大小设为被赋予了相同的标签的病变区域的数量即可。另外,不限于此,病变区域组的大小是表示病变区域组的面积的信息即可。
使用图47详细地说明赋予标签处理部454进行的处理。例如在检测到图47所示的病变区域的情况下,对属于A1所示的区域的病变区域赋予标签1。同样,对属于A2所示的区域的病变区域赋予标签2,对属于A3所示的区域的病变区域赋予标签3。赋予标签处理部454计算被赋予了相同的标签的病变区域组的大小。被赋予了标签1的病变区域组1(A1)的大小为7。同样,病变区域组2(A2)的大小为3,病变区域组3(A3)的大小为2。
区域选择部455在由赋予标签处理部454赋予了标签的多个病变区域组中,选择具有最大的大小的病变区域组作为关注区域。然后,将在该关注区域中所包含的全部的局部区域的坐标输出到坐标计算部456。在图47的情况下,选择由A1所示的病变区域组1作为关注区域。
坐标计算部456根据由区域选择部455输出的全部局部区域坐标,计算局部区域坐标的最大值(mMAX,nMAX)和最小值(mMIN,nMIN),将计算出的值输出到关联部457。
具体而言,将由区域选择部455输出的全部局部区域的数量设为K,为了方便,将全部的局部区域表示为a(m1,n1)~a(mK,nK)。该情况下,坐标计算部456根据下式(23)计算局部区域坐标的最大值(mMAX,nMAX)和最小值(mMIN,nMIN)。
mMAX=MAX(m1,m2,…mK),
mMIN=MIN(m1,m2,…mK),
                                              (23)
nMAX=MAX(n1,n2,…nK),
nMIN=MIN(n1,n2,…nK)
关联部457计算与该最大值(mMAX,nMAX)、最小值(mMIN,nMIN)对应的窄频带光图像的坐标。具体而言,根据由局部区域设定部451输出的局部区域与窄频带光图像的坐标之间的对应关系来计算该坐标。以下,将与(mMAX,nMAX)、(mMIN,nMIN)对应的窄频带光图像的坐标表示为(xMAX,yMAX)、(xMIN,yMIN)。关联部457将坐标(xMAX,yMAX)、(xMIN,yMIN)输出到缩放处理条件设定部458。
缩放处理条件设定部458确定作为缩放处理的对象的关注区域的条件即缩放处理条件,将该缩放处理条件输出到缩放处理部414。具体而言,缩放处理条件设定部458根据下式(24)计算关注区域的中心坐标(x0,y0),根据下式(25)计算关注区域的半径R,将计算出的中心坐标(x0,y0)和半径R作为缩放处理条件。在图47中说明的例中,如图示那样将半径为R的圆内设定为缩放对象的关注区域。
x 0 = int { ( x MAX + x MIN ) / 2 } , y 0 = int { ( y MAX + y MIN ) / 2 } - - - ( 24 )
R = { ( x MAX - x MIN ) / 2 } 2 + { ( y MAX - y MIN ) / 2 } 2 - - - ( 25 )
这里,int()是返回括弧内的实数的整数值的函数。
7.4.软件
另外,在本实施方式中,也可以由软件构成图像处理部410的各部进行的处理的一部分或全部。该情况下,例如由图72等中后述的计算机系统的CPU执行图像处理程序。
图48中示出第6实施方式中的图像处理程序的流程图例。如图48所示,在开始该处理后,输入头信息(S41),将2种图像信号输入到预先确保的图像缓冲区中(S42)。2种图像信号是指,由拜耳式排列的摄像元件所检测到的单板图像信号和由图41中所述的排列的摄像元件所检测到的单板图像信号。
接着,对上述图像信号进行预处理(S43)。接着,对在拜耳式排列中所检测到的单板图像信号进行上述的插值处理,生成3板图像信号作为通常光图像(S44)。接着,通过上述的方法,根据图41中所述的排列的摄像元件中所检测到的单板图像信号,生成3板图像信号作为窄频带光图像(S45)。
接着,根据窄频带光图像设定关注区域(S46)。接着,根据关注区域进行通常光图像的缩放处理(S47)。在后面对关注区域设定处理进行详细说明。缩放处理与图20中所述的处理相同。接着,对缩放处理后的通常光图像进行后处理(S48),输出后处理后的通常光图像(S49)。如果是最后图像则结束处理(S50,“是”),如果不是最后图像,则再次进行步骤S42的处理(S50,“否”)。
另外,图像信号输入处理(S42)、通常光图像同时化处理(S44)、窄频带光图像同时化处理(S45)、以及关注区域设定处理(S46)以外的步骤与第1实施方式相同。
图49中示出第6实施方式中的关注区域设定处理(S46)的详细的流程图例。以下,以对窄频带光图像实施处理的情况为例进行说明。
如图49所示,在开始该处理后,对窄频带光图像设定在图46中所述的局部区域(S61)。接着,通过上述的方法计算所设定的全部的局部区域中的特征量(色相H)(S62)。接着,检测色相H为5~35的值的局部区域作为病变区域(S63)。接着,在步骤S63中,判定是否检测到病变区域(S64)。在没有检测到病变区域的情况下,结束该处理(S64,“否”)。
在检测到病变区域的情况下(S64,“是”),对所检测到的病变区域进行上述的赋予标签处理(S65)。接着,赋予标签处理的结果,选择具有最大的大小的病变区域组(S66)。接着,根据所选择的病变区域组中所包含的全部的局部区域的坐标,通过上述的方法计算局部区域坐标的最大值(mMAX,nMAX)和最小值(mMIN,nMIN)(S67)。接着,计算与该最大值(mMAX,nMAX)、最小值(mMIN,nMIN)对应的窄频带光图像上的坐标(xMAX,yMAX)、(xMIN,yMIN)(S68)。接着,根据坐标(xMAX,yMAX)、(xMIN,yMIN),通过上述的方法计算关注区域的中心坐标(x0,y0)和半径R(S69),结束该处理。
根据以上的实施方式,关注区域设定部413根据摄像图像来计算特征量(例如色相值),根据具有预定特征量(例如色相值5~35的范围)的区域来设定关注区域。
由此,能够根据在病变部中显现为特征的图像的特征量来设定关注区域,通过缩放处理对该关注区域进行放大。由此,能够向术者提示对病变部进行适当放大显示而得到的图像。
此外,在本实施方式中,如图47等中说明的那样,关注区域设定部413选择具有预定特征量的区域中的最大面积的区域,将包含所选择的区域的圆形区域设定为关注区域。
考虑由于术者使镜体靠近想要观察的病变部,因此该想要观察的病变部被较大地显示。因此,通过将大小最大的病变区域组设定为关注区域,能够将被认为术者正在关注的区域适当地放大显示。
另外,在上述的实施方式中,以特征量为色相值的情况为例进行了说明,但本实施方式不限于此。例如,特征量能够区别病变部与其他区域即可,例如在识别出血部位的情况下,R像素值也可以是特征量。
此外,在上述的实施方式中,对根据由赋予标签处理部454赋予了标签的病变区域组中的具有最大的大小的病变区域组来设定关注区域的例子进行了说明,但本实施方式不限于此。例如也可以是,根据由病变区域检测部453所检测到的全部的病变区域来设定关注区域。该情况下,区域选择部455将由赋予标签处理部454输出的全部的病变区域组中所包含的局部区域的坐标输出到坐标计算部456即可。
由此,在存在多个病变区域组的情况下,也能够将全部的病变区域组相比于其他区域相对地放大显示。
此外,在上述的实施方式中,示出了使用通常光图像作为显示图像的例子,但本实施方式不限于此。例如,也可以使用窄频带光图像作为显示图像。
此外,在本实施方式中,摄像图像是拍摄有具有特定波段中的信息的被摄体像的特殊光图像、和拍摄有具有白色光的波段中的信息的被摄体像的通常光图像(白色光图像)。关注区域设定部413根据特殊光图像来设定关注区域。
缩放处理部414根据所设定的关注区域对通常光图像进行缩放处理。
由此,通过取得与要检测的病变部对应的特殊光图像,能够易于提取该病变部的特征量,能够根据该提取到的特征量来设定关注区域。此外,根据通过特殊光图像设定的关注区域,能够进行在观察中通常使用的通常光图像的缩放处理。
此外,在本实施方式中,特定波段是比白色的波段(例如380nm~650nm)窄的频带(NBI:Narrow Band Imaging:窄带成像)。例如,通常光图像和特殊光图像是对活体内进行摄像得到的活体内图像,在该活体内图像中所包含的特定波段是血液中的血红蛋白所吸收的波长的波段。例如,该血红蛋白所吸收的波长是390nm~445nm(第1窄频带光nB)或530nm~550nm(第2窄频带光nG)。
由此,能够观察位于活体的表层部和深部的血管的构造。此外,通过将得到的信号输入到特定的通道(G2→R,B2→G、B),能够以褐色等显示鳞状上皮癌等在通常光中难以看到的病变等,能够抑制看漏病变部。另外,390nm~445nm或530nm~550nm是根据被血红蛋白所吸收的特性、和分别到达活体的表层部或深部的特性而得到的数字。但是,该情况下的波段不限于此,例如由于与基于血红蛋白的吸收和到达活体表层部或深部有关的实验结果等的变动因素,也可考虑波段的下限值减小0~10%左右,上限值提高0~10%左右。
此外,在本实施方式中,通常光图像和特殊光图像是对活体内进行摄像得到的活体内图像,该活体内图像中所包含的特定波段也可以是荧光物质发出的荧光的波段。例如,特定波段也可以是490nm~625nm的波段。
由此,能够实现被称作AFI(Auto Fluorescence Imaging:自发荧光成像)的荧光观察。在该荧光观察中,通过照射激励光(390nm~470nm),能够对来自胶原(Collagen)等荧光物质的自体荧光(intrinsic fluorescence:内源荧光。490nm~625nm)进行观察。在这样的观察中,能够以与正常粘膜不同的色调对病变进行强调显示,能够抑制看漏病变部等。另外,490nm~625nm表示照射了上述的激励光时,胶原等荧光物质发出的自体荧光的波段。但是,该情况下的波段不限于此,例如由于与荧光物质发出的荧光的波段有关的实验结果等的变动因素,也考虑波段的下限值减小0~10%左右,上限值提高0~10%左右。此外,也可以是同时照射被血红蛋白所吸收的波段(540nm~560nm),生成伪彩色图像。
此外,在本实施方式中,活体内图像中所包含的特定波段也可以是红外光的波段。例如,特定波段也可以是790nm~820nm或905nm~970nm的波段。
由此,能够实现被称为IRI(Infra Red Imaging:红外成像)的红外光观察。在该红外光观察中,在静脉注射了作为容易吸收红外光的红外指标药剂的ICG(吲哚菁绿)后,照射上述波段的红外光,由此能够对人眼难以看到的粘膜深部的血管和血流信息进行强调显示,能够实现胃癌的浸润深度诊断和治疗方针的判定等。另外,790nm~820nm这一数字是根据红外指标药剂的吸收最强的特性求出的,905nm~970nm这一数字是根据红外指标药剂的吸收最弱的特性求出的。但是,该情况下的波段不限于此,例如由于与红外指标药剂的吸收有关的实验结果等的变动因素,也考虑波段的下限值减小0~10%左右,上限值提高0~10%左右。
此外,在本实施方式中,还可以包含根据所取得的通常光图像来生成特殊光图像的特殊光图像取得部。例如也可以是,在图40中省略半反射镜309、摄像元件310和A/D转换部311,图43的预处理部418和同时化部417作为特殊光图像取得部根据通常光图像生成特殊光图像。
具体而言,特殊光图像取得部包含从所取得的通常光图像中提取白色的波段中的信号的信号提取部。而且,特殊光图像取得部也可以根据所提取的通常光的波段中的信号来生成包含特定波段中的信号的特殊光图像。例如,信号提取部根据通常光图像的RGB信号每10nm地估计被摄体的分光反射率特性,特殊光图像取得部将该所估计的信号分量在上述特定频带上累计,生成特殊光图像。
更具体而言,特殊光图像取得部也可以包含矩阵数据设定部,该矩阵数据设定部根据通常光的波段中的信号来设定用于计算特定波段中的信号的矩阵数据。而且,也可以是,特殊光图像取得部使用所设定的矩阵数据,根据白色的波段中的信号来计算特定波段中的信号,生成特殊光图像。例如,矩阵数据设定部将每10nm地记述特定波段的照射光的分光特性而得到的表数据设定为矩阵数据。然后,将该表数据中所记述的分光特性(系数)与每10nm地估计的被摄体的分光反射率特性相乘并累计,生成特殊光图像。
由此,能够根据通常光图像生成特殊光图像,因此,仅通过照射通常光的1个光源和对通常光进行摄像的1个摄像元件就能够实现系统。因此,能够缩小胶囊型内窥镜和镜体型内窥镜的插入部,并且由于部件减少还能够期待减少成本的效果。
8.第7实施方式
8.1.内窥镜装置
对根据镜体ID来设定关注区域的第7实施方式进行说明。
图50中示出第7实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
插入部300包含光导纤维301、照明镜头302、物镜光学系统303、摄像元件304、A/D转换部305、存储器313。存储器313以外的各部的结构与第1实施方式相同,因此省略说明。
插入部300一般被称作镜体。因此,以下适当地将插入部300称作镜体。在内窥镜诊断中,根据诊断的部位而使用不同的镜体。例如,在食道和胃的诊断中使用上部消化器镜体,在大肠的诊断中使用下部消化器镜体。另一方面,在镜体的存储器313中保持有各镜体固有的识别号码(镜体ID)。
控制装置400包含图像处理部410、控制部420和状态信息取得部430。状态信息取得部430参照保持在存储器313中的各镜体固有的识别号码,识别所连接的镜体的种类。镜体的种类是指例如上部消化器镜体或下部消化器镜体中的任意一种。状态信息取得部430将所识别出的镜体的种类输出到后述的关注区域设定部413。
8.2.图像处理部
图51中示出第7实施方式中的图像处理部410的详细的结构例。图像处理部410包含预处理部411、同时化部412、关注区域设定部413、缩放处理部414、后处理部415。关注区域设定部413和缩放处理部414以外的处理与第1实施方式相同,因此省略说明。
关注区域设定部413根据由状态信息取得部430输出的镜体的种类来设定关注区域。关注区域的设定方法与第3实施方式相同。具体而言,在镜体的种类为下部消化器镜体的情况下,将侧方视野的区域设定为关注区域(放大区域)。在镜体的种类为上部消化器镜体的情况下,将前方视野的区域设定为关注区域。
缩放处理部414通过与第3实施方式相同的方法来进行图像的放大缩小处理。具体而言,通过图27(B)中上述的倍率A、B对关注区域进行放大,对其他区域进行缩小。例如,预先准备将镜体的种类与放大率A、B关联起来的查找表即可。
根据以上的实施方式,如图50等中说明的那样,可以在内窥镜装置上拆装镜体(插入部300)。状态信息取得部430取得用于识别所安装的镜体的识别信息(镜体ID)。关注区域设定部413根据所取得的识别信息来设定关注区域。
由此,通过根据所连接的镜体来实施适当的缩放处理,术者能够在掌握被摄体的整体像的同时,以适当的大小观察病变区域。
具体而言,镜体具有对前方视野和侧方视野进行成像的物镜光学系统。关注区域设定部413在识别信息为表示下部消化管用的镜体的识别信息的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
假设在作为下部消化器镜体的诊断对象的大肠中,位于皱襞的背面的病变被显示在图像的侧方区域。因此,通过对与侧方视野对应的区域进行放大显示,能够改善看漏病变的危险性。
此外,在本实施方式中,在识别信息为表示上部消化管(例如胃和食道)用的镜体的识别信息的情况下,关注区域设定部413将摄像图像中的与前方视野对应的区域设定为关注区域。
在作为上部消化器的诊断对象的食道和胃中皱襞较少,因此在诊断时前方视野比侧方视野重要。因此,通过将与前方视野对应的区域进行放大,能够容易看到重要的视野。
9.第8实施方式
9.1.关注区域设定部
对根据图像计算被摄体的运动量(广义上为运动信息)并基于该运动量来设定关注区域的第8实施方式进行说明。
内窥镜装置与图像处理部410的结构与在图3、图6中所述的第1实施方式相同,因此适当省略说明。以下,对结构与第1实施方式不同的关注区域设定部413进行详细说明。
图52中示出第8实施方式中的关注区域设定部413的详细的结构例。关注区域设定部413包含畸变校正部471、图像存储器472、运动检测部473(广义上为运动信息取得部)、设定部474。
同时化部412将进行了同时化后的图像信号输出到畸变校正部471。畸变校正部471与图像存储器472、运动检测部473、设定部474连接。运动检测部473与设定部474连接。设定部474与缩放处理部414连接。控制部420与畸变校正部471、图像存储器472、运动检测部473、设定部474双向地连接,进行它们的控制。
畸变校正部471针对进行了同时化处理后的图像信号,对作为像差的一种的畸变像差(以下适当称作畸变)进行校正。图53中示出畸变校正处理前后的图像例。
具体而言,畸变校正部471取得畸变校正处理后的图像的像素坐标。设为根据光学系统的畸变预先取得了畸变校正处理后的图像尺寸。畸变校正部471使用下式(26),将所取得的像素坐标(x,y)转换为以光轴中心为原点的坐标(x’,y’)。
x ′ y ′ = x y - center _ x center _ y - - - ( 26 )
这里,(center_x,center_y)是畸变校正处理后的光轴中心的坐标。例如,畸变校正处理后的光轴中心是畸变校正处理后图像的中心。
接着,畸变校正部471根据转换后的像素坐标(x’,y’),使用下式(27)来计算物体高度r。
r=(x′2+y′2)1/2/max_r                   (27)
这里,max_r是畸变校正处理后的图像中的最大物体高度。
接着,畸变校正部471根据计算出的物体高度r来计算像高度与物体高度的比值(R/r)。具体而言,畸变校正部471预先将比值R/r与物体高度r之间的关系作为表进行保持,通过参照该表来取得与物体高度r对应的比值R/r。接着,畸变校正部471使用下式(28)取得与畸变校正处理后的像素坐标(x,y)对应的畸变校正处理前的像素坐标(X,Y)。
X Y = ( R / r ) · x ′ y ′ + center _ X center _ Y - - - ( 28 )
这里,(center_X,center_Y)是畸变校正处理前的光轴中心的坐标。例如,畸变校正处理前的光轴中心是畸变校正处理前的图像的中心。
接着,畸变校正部471根据计算出的畸变校正处理前的像素坐标(x,y),来计算畸变校正处理后的像素坐标(x,y)中的像素值。在(X,Y)不是整数的情况下,通过基于周围的像素值的线性插值来计算像素值。畸变校正部471对畸变校正处理后的图像的全部像素进行以上的处理。畸变校正部471将这样进行了畸变校正的图像输出到图像存储器472和运动检测部473。
图像存储器472对由畸变校正部471进行了畸变校正后的畸变校正后图像进行保存。所保存的畸变校正后图像与由畸变校正部471输出新的畸变校正后图像的定时同步地被输出到运动检测部473。
运动检测部473根据由畸变校正部471进行了畸变校正后的畸变校正后图像和在图像存储器472中所保存的畸变校正后图像,来检测图像的局部的运动。以下为了便于说明,将前者的畸变校正后图像作为当前帧图像、后者的畸变校正后图像设为前帧图像。
具体而言,运动检测部473在当前帧图像上设定作为检测局部运动的点的代表点。例如图54所示,在当前帧图像的像素中将代表点(图54所示的●)设定成具有一定间隔且为格子状。运动检测部473计算当前帧图像与前帧图像之间的代表点的运动矢量作为局部的运动量。例如,使用作为公知技术的块匹配来检测运动矢量。运动检测部473将所设定的代表点的坐标和在各代表点中所检测到的运动矢量输出到设定部474。
设定部474根据来自畸变校正部471的当前帧图像以及来自运动检测部473的代表点的坐标和各代表点的运动矢量来设定关注区域。具体而言,设定部474根据当前帧图像和运动矢量来判定是否为拔出状态,如果是拔出状态则将侧方视野设定为关注区域,如果不是拔出状态则将前方视野设定为关注区域。设定部474将所设定的关注区域输出到缩放处理部414。
这里,拔出状态是指,将内窥镜插入到管腔状脏器的深处后,一边拔出内窥镜一边进行观察的状态。一般对大肠进行这样的观察,因此,如果是拔出状态,则将侧方视野设定为关注区域,使得容易观察皱襞背面,如果不是拔出状态,则将前方视野设定为关注区域,使得容易进行内窥镜操作。
9.2.拔出状态的判定方法
使用图55(A)~图55(D)对拔出状态的判定方法进行说明。首先,根据代表点的运动矢量来检测运动矢量的消失点。
具体而言,在图55(A)中,●表示代表点,实线箭头表示运动矢量,×表示消失点。消失点是以各代表点为起点在沿着各代表点的运动矢量的方向上延长的直线的交点。例如假设观察对象为内径固定的圆筒状,运动矢量仅由于内窥镜的运动而产生,则在拔出状态的情况下,从各代表点延长的直线在消失点上在一点相交。实际上,作为观察对象的管腔状脏器的内径不是固定,并且运动矢量还由于活体心脏跳动而产生,因此即便是拔出状态,直线也不在消失点上在一点相交。因此,将与全部的直线的距离的平方和作为第1评价值,将该第1评价值最小的点作为消失点候选。将直线设为ax+by+c=0、点设为(p,q),则根据下式(29)求出第1评价值D。
D = Σ ( ap + bq + c ) 2 a 2 + b 2 - - - ( 29 )
这里,上式(29)中的和表示针对从代表点延长的全部的直线的距离的平方的总和。
根据最小二乘法,使用下式(30)来计算使第1评价值D为最小的消失点候选的坐标(xsk,ysk)。
xsk ysk = Σ 2 a 2 a 2 + b 2 Σ 2 ab a 2 + b 2 Σ 2 ab a 2 + b 2 Σ 2 b 2 a 2 + b 2 - 1 - Σ 2 ac a 2 + b 2 - Σ 2 bc a 2 + b 2 - - - ( 30 )
这里,将代表点的坐标设为(Px,Py)、代表点的运动矢量设为(Mx,My),则a=My,b=-Mx,c=MxPy-MyPx。
接着,在该消失点候选中的第1评价值D为预定的第1阈值以下,并且该消失点候选存在于图像内的情况下,将该消失点候选作为消失点。在消失点候选不满足该条件的情况下,判定为无法检测消失点。
对可通过该条件检测拔出状态的理由进行详细说明。这里,如图55(B)所示,定义内窥镜前端的运动方向。x方向、y方向、z方向在图像上分别对应于水平方向、铅直方向、与水平方向和铅直方向正交的纵深方向。并且,针对x方向、y方向、z方向将沿着箭头的运动定义为正运动,将相反的运动定义为负运动。在拔出状态中,内窥镜前端为z方向负运动。在不是拔出状态,例如内窥镜的前端的运动为x方向正运动的情况下,如图55(C)所示,运动矢量基本平行,因此该消失点候选存在于图像外。或者,即使消失点候选存在于图像内,该消失点候选中的第1评价值D也为较大的值。即,根据消失点候选存在于图像内且第1评价值D小于第1阈值的条件,能够检测z方向的运动。
接着,进行是否为拔出状态的判定。如图55(D)所示,在插入了内窥镜的情况下也检测消失点。因此,根据从各代表点向该消失点的矢量(虚线箭头)与运动矢量(实线箭头)来进行判定。具体而言,在朝向该消失点的矢量与运动矢量的内积为负的代表点存在预定个数以上的情况下,判定为没有检测到消失点。在没有检测到消失点的情况下,判定为不是拔出状态。
接着,将检测到的消失点坐标的当前帧图像的像素值作为第2评价值,根据该第2评价值判定观察对象是否是管腔状脏器。在消失点坐标不是整数的情况下,根据周围的像素值进行线性插值,由此来计算第2评价值。然后,在第2评价值为预定的第2阈值以下的情况下,判定为是管腔状脏器。在观察对象不是管腔状而平坦的情况下,由于当内窥镜前端进行z方向负运动时会检测到消失点,因此也需要这样的判定。
具体而言,在观察对象为管腔状的情况下,在当前帧图像上中,消失点位于基本不被照射照明光的管腔状脏器的深处,因此第2评价值较小。另一方面,在观察对象平坦的情况下,在当前帧图像上中,消失点位于被照射照明光较多的区域,因此第2评价值较大。因此,通过判定第2评价值是否为第2阈值以下,针对管腔状的观察对象,能够判定一边拔出内窥镜一边进行观察的拔出状态。
另外,在上述的实施方式中,在判定从拔出状态切换到非拔出状态情况下,马上将前方视野设定为关注区域,但本实施方式不限于此。例如,也可以在非拔出状态的判定持续了预定帧的情况下,将前方视野设定为关注区域。与判定从非拔出状态切换到拔出状态的情况同样,也可以在拔出状态的判定持续了预定帧的情况下将侧方视野设定为关注区域。通过这样设定关注区域,能够防止在小幅度地重复插入和拔出的情况下,关注区域被频繁切换而使显示画面不稳定。
9.3.软件
另外,在本实施方式中,也可以由软件构成图像处理部410的各部进行的处理的一部分或全部。该情况下,例如由图72等中后述的计算机系统的CPU执行图像处理程序。
图56中示出第8实施方式中的关注区域设定处理的详细的流程图例。关于图像处理程序的其他步骤的处理,与图18等中所述的第1实施方式相同。
如图56所示,在开始该处理后,对进行了同时化后的图像信号进行畸变像差的校正处理(S81)。后面通过图57详细说明畸变校正处理。接着,将畸变校正后的图像保持在存储器中(S82)。接着,根据畸变校正后的图像和在1帧前保存在图像存储器中的畸变校正后的图像,来检测局部的运动矢量(S83)。接着,根据畸变校正后的图像和运动矢量来设定关注区域(S84)。后面通过图58进行详细说明设定处理。
图57中示出畸变校正处理(S81)的详细的流程图例。如图57所示,在开始该处理后,取得畸变校正后的图像的像素坐标(S101)。接着,使用上式(26),将所取得的像素坐标转换为以光轴中心为原点的坐标(S102)。接着,根据转换后的像素坐标,使用上式(27)计算物体高度r(S103)。接着,根据计算出的物体高度r来计算像高度/物体高度的比值(R/r)(S104)。例如,预先将R/r与r之间的关系保持为表,通过参照该表来取得与r对应的R/r。
接着,根据计算出的像高度/物体高度的比值,使用上式(28)来取得与畸变校正后的像素坐标(x,y)对应的畸变校正前的像素坐标(x,y)(S105)。接着,根据计算出的畸变校正前的像素坐标(x,y),计算畸变校正后的像素坐标(x,y)中的像素值(S106)。在(x,y)不是整数值的情况下,通过线性插值根据周围的像素值来进行计算。接着,判定是否针对畸变校正后的图像的全部像素进行了以上处理(S107)。在存在未被处理的像素的情况下,对该像素进行步骤S101~S106的处理(S107,“否”)。在对全部像素进行了处理De情况下,结束该处理(S107,“是”)。
图58中示出设定处理(S84)的详细的流程图例。如图58所示,在开始该处理后,根据代表点的运动矢量来检测运动矢量的消失点候选(S121)。接着,判定是否该消失点候选的第1评价值为预定的第1阈值以下,并且该消失点候选存在于图像内(S122)。
在消失点候选的第1评价值为预定的第1阈值以下,并且该消失点候选存在于图像内的情况下(S122,“是”),判定从代表点向消失点的矢量与运动矢量的内积为负的代表点是否为预定个数以下(S123)。在朝向消失点的矢量与运动矢量的内积为正的代表点为预定的个数以下的情况下(S123,“是”),设定消失点(S124)。
接着,将检测到的消失点的坐标中的当前帧图像的像素值作为第2评价值,判定第2评价值是否为第2阈值以下(S125)。在第2评价值为第2阈值以下的情况下(S125,“是”),将侧方视野设定为关注区域(S126),结束该处理。在步骤S122、S123、S125中判定结果为“否”的情况下,将前方视野设定为关注区域(S127),结束该处理。
根据以上的实施方式,如图52所示,关注区域设定部413具有运动检测部473。运动检测部473根据摄像图像取得被摄体的运动量。关注区域设定部根据取得的运动量来设定关注区域。
具体而言,如图55(A)等中说明的那样,内窥镜装置的特征在于,关注区域设定部413在根据运动量判定为是镜体被拔出的状态的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
通常,在对大肠进行观察时,一边拔出镜体一边进行观察。因此,通过在拔出时将与侧方视野对应的区域设定为关注区域并进行放大显示,能够适当地取得有助于大肠的皱襞背面等诊断的信息。
此外,在本实施方式中,运动检测部473计算多个代表点的运动矢量作为运动量,求出所计算的运动矢量的消失点。关注区域设定部413在所求出的消失点存在于摄像图像中,且从代表点朝向消失点的矢量与运动矢量的内积为正的情况下,判定为是镜体被拔出的状态。
由此,通过判定消失点的位置,能够判定镜体被插入或拔出,通过判定运动矢量的朝向能够判定是插入还是拔出。
此外,在本实施方式中,关注区域设定部413在判定为消失点的像素值小于阈值(第2阈值)的情况下,判定为是镜体被拔出的状态。
由此,如上所述,能够判定是镜体与壁面正对的状态还是镜体朝向沿着管腔的方向的状态,因此,能够判定作为沿着管腔的方向的移动的拔出状态。
此外,在本实施方式中,关注区域设定部413在根据运动量判定为不是镜体被拔出的状态的情况下,将摄像图像中的与前方视野对应的区域设定为关注区域。
由此,能够将被认为主要在拔出时以外使用的前方视野设定为关注区域并进行放大显示。例如,由于在插入时使用前方视野对内窥镜进行操作,因此能够提示包含大量有助于该操作的信息的前方的信息。
此外,在本实施方式中,如图52所示,运动检测部473具有畸变校正部471。畸变校正部471根据镜体的光学系统具有的畸变像差,进行摄像图像的畸变校正。运动检测部473根据畸变校正后的摄像图像来取得运动量。
由此,例如在使用图1的物镜光学系统等视野范围较大的光学系统的情况下,能够校正由该畸变像差引起的图像的畸变。由此,能够减轻畸变对运动量检测的影响。
10.第9实施方式
10.1.内窥镜装置
对通过形状检测部取得被摄体的形状信息并根据该形状信息来设定关注区域的第9实施方式进行说明。
图59中示出第9实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、插入部300、控制装置400、显示部500、外部I/F部550、形状检测部700(例如UPD(Position Detecting Unit:位置检测单元))。另外,对与图21等中说明的结构要素相同的结构要素标注相同的标号,适当省略说明。
插入部300包含光导纤维301、照明镜头302、物镜光学系统303、摄像元件304、A/D转换部305、电磁线圈312。电磁线圈312以外与第1实施方式相同,因此省略说明。
在插入部300中例如设有十几个电磁线圈312,分别向形状检测部700(广义上为形状信息取得部)发送磁信号。多个电磁线圈312例如沿着插入部300的长度方向排列。
形状检测部700通过未图示的天线接收由设于插入部300的各部的电磁线圈312发送的磁信号,实时地取得各电磁线圈的三维位置信息。形状检测部700从所取得的电磁线圈的三维位置信息中实时地取得表示插入部300的形状的内窥镜形状信息。
控制装置400包含图像处理部410、控制部420、状态信息取得部430。控制部420与第1实施方式相同,因此省略说明。
10.2.状态信息取得部
图60中示出第9实施方式中的状态信息取得部430的详细的结构例。状态信息取得部430包含被摄体信息取得部436和观察信息取得部437。形状检测部700将所检测到的内窥镜形状信息输出到被摄体信息取得部436和观察信息取得部437。被摄体信息取得部436与关注区域设定部413连接。观察信息取得部437与关注区域设定部413连接。
被摄体信息取得部436根据由形状检测部700所取得的内窥镜形状信息,判定被摄体是否是下部消化管。具体而言,被摄体信息取得部436根据内窥镜形状信息,取得在体内插入的内窥镜的长度以及内窥镜形状是否形成为环的判定结果,根据该长度和判定结果来判定是否是下部消化管。
更具体而言,一般来讲,在对下部消化管进行内窥镜检查的情况下,与对其以外的脏器进行内窥镜检查的情况相比,将内窥镜插入到更深处。因此,被摄体信息取得部436在内窥镜插入体内预定长度以上时,判定为被摄体是下部消化管。此外,仅在下部消化管中插入内窥镜的情况下,存在为了便于插入而在内窥镜中形成环的插入法。因此,被摄体信息取得部436在内窥镜中形成环时,判定为被摄体是下部消化管。
被摄体信息取得部436在插入到体内的内窥镜超过预定长度或者内窥镜形成环之前,判定为被摄体不是下部消化管。并且,在满足任意一个条件的情况下,判定为被摄体是下部消化管,之后不改变该判定结果。被摄体信息取得部436将该判别结果作为被摄体信息输出到关注区域设定部413。
观察信息取得部437根据由形状检测部700取得的内窥镜形状信息,判定内窥镜是否为拔出状态。具体而言,观察信息取得部437根据内窥镜形状信息,判定插入到体内的内窥镜的长度是否随时间推移而变短,在随时间推移而变短的情况下判定为是拔出状态。观察信息取得部437将拔出状态的判定结果作为观察信息输出到关注区域设定部413。
10.3.图像处理部
图61中示出第9实施方式中的图像处理部410的详细的结构例。图像处理部410包含预处理部411、同时化部412、关注区域设定部413、缩放处理部414、后处理部415。关注区域设定部413以外的结构与第2实施方式相同,因此省略说明。
关注区域设定部413根据由状态信息取得部430输出的被摄体信息和观察信息来设定关注区域。具体而言,关注区域设定部413在根据被摄体信息判定为被摄体是下部消化管,并且根据观察信息判定为内窥镜是拔出状态的情况下,将侧方视野设定为关注区域。在其以外的情况下,将前方视野设定为关注区域。关注区域设定部413将所设定的关注区域输出到缩放处理部414。
根据以上的实施方式,如图60所示,内窥镜装置包含取得镜体插入部(插入部300)的形状信息(例如,图59的电磁线圈312的三维位置信息)的形状检测部700。状态信息取得部430具有被摄体信息取得部436。被摄体信息取得部436将所取得的形状信息作为状态信息取得,根据该形状信息取得被摄体信息。关注区域设定部413根据所取得的被摄体信息来设定关注区域。
具体而言,被摄体信息取得部436根据形状信息来判定被摄体的部位,取得所判定的部位作为被摄体信息。关注区域设定部413在判定为被摄体的部位是下部消化管的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
更具体而言,被摄体信息取得部436在判定为镜体插入部是环形状的情况下,判定为被摄体的部位是下部消化管。
由此,能够根据基于被摄体的形状信息判定出的部位来设定关注区域并进行放大显示。并且,在下部消化管的情况下对侧方视野进行放大显示,由此能够在拔出时等向术者适当地提示有助于大肠的皱襞背面等诊断的信息。
这里,被摄体信息是与被摄体有关的信息。被摄体信息不限于被摄体的部位,只要是根据被摄体的形状信息所估计的信息即可,例如也可以是被摄体的大小或长度。
此外,在本实施方式中,状态信息取得部430具有观察信息取得部437。观察信息取得部437将所取得的形状信息作为状态信息取得,根据该形状信息取得观察状态信息。关注区域设定部413根据所取得的观察状态信息来设定关注区域。
具体而言,观察信息取得部437根据形状信息判定镜体的行进方向,取得所判定的行进方向作为观察状态信息。关注区域设定部413在判定为镜体正在被拔出的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
由此,能够在正在对镜体进行拔出操作时对侧方视野进行放大显示。例如在被摄体为下部消化管且对镜体正在进行拔出操作的情况下对侧方视野进行放大显示,由此术者能够容易地观察皱襞背面等。
此外,在本实施方式中,关注区域设定部413在判定为被摄体是下部消化管并且判定为是拔出状态的情况以外的情况下,将摄像图像中的与前方视野对应的区域设定为关注区域。
由此,能够将在上部消化管的观察和下部消化管中的插入操作中重要的前方视野设定为关注区域,通过缩放处理对该关注区域进行放大显示。
11.第10实施方式
11.1.概要
对从图像中检测红球区域并将该红球区域以外的区域设定为关注区域的第10实施方式进行说明。
将内窥镜插入大肠的难度在于,大肠是狭窄的管腔且弯曲扭转,并且会随着内窥镜插入而伸缩变形。处于这样的状况下,操作者进行一边观察内窥镜像并判断插入方向一边操作内窥镜使其向插入方向导入的手术。内窥镜的操作是内窥镜前端的上下左右的角度操作、和内窥镜插入部(适当称作镜体)的推拉扭操作等。
这样的插入手术对于不熟练的医生而言比较困难。特别是在插入时推动内窥镜插入部的操作较多,因此内窥镜前端与肠壁频繁接触,内窥镜像成为被称作红球的图像整体为红色的模糊状态,完全无法判断插入方向。成为这样的状态后,需要通过将内窥镜插入部稍微拉回,从而从红球状态返回到能够确认插入方向的状态并再次进行插入操作,这成为插入时间拉长的原因之一。
在前端具有180度以上(包含该值)的广视野的光学系统的内窥镜中,即便内窥镜前端与肠壁接触也不会全部阻挡大视野,因此不会在内窥镜像全部区域发生上述的红球状态,能够确保一部分视野。即,即便在内窥镜前端与肠壁接触的状态下,也可能能够确认插入方向。
因此,在本实施方式中,在180度以上(包含该值)的光学系统的内窥镜像中检测红球区域,将该红球区域以外的区域设定为关注区域,在提高了该关注区域的可视性的状态下向医生进行提示,由此能够缩短插入时间。提高了可视性的状态是指关注区域的放大显示状态。
图62中示出内窥镜插入部的前端从斜向与将大肠模型化后的管腔的壁面接触的状态。如图63(A)所示,在该状态的内窥镜像中,成为红球区域占据内窥镜像的大半部分的状态。在该状态下,在管腔笔直地开口的情况下,作为暗部也能够判断插入方向。另一方面,在管腔弯曲的状态或管腔的口闭合的状态下,插入方向不会成为明显的暗部,难以进行区分,因此,想要在进一步放大的状态下对内窥镜像的红球以外的较小的关注区域进行观察。因此,如图63(B)所示,对红球区域以外的较小的关注区域进行放大显示。这样,能够判断难以识别的插入方向。
此外,关于图63(A)的红球区域,由于在插入部的前端与肠壁接触的状态下照明光照射在肠壁上,因此在红球区域与其以外的关注区域中产生相对的明暗差。特别是在内窥镜中,对照明光量进行调整(调光处理),将内窥镜像控制在适当曝光状态。因此,当红球区域占据较多面积时,会进行调光控制以使得红球区域的亮度成为适当曝光状态。该情况下,即便好不容易红球区域以外的关注区域进入了视野内,也存在该关注区域较暗而无法适当曝光的可能性,因此,即便对关注区域进行放大处理也不能确保插入方向的可视性。因此,将红球区域以外的关注区域指定为调光对象区域进行调光处理。由此,能够以适当曝光状态对关注区域进行观察,插入方向的识别变得容易。
图63(A)是从斜向对肠壁进行接触时的例子,因此,即便大致将插入方向判断为红球区域以外的区域,也可能在某一程度上插入。然而,在大肠(管腔)的弯曲部等中,还存在在正对肠壁的状态下内窥镜前端与肠壁接触的情况。该情况下,内窥镜像的中央部分成为红球区域,周边部分成为红球区域以外的关注区域。该情况下,仅通过找到红球区域以外的区域是无法识别插入方向的。因此,与上述同样,对作为关注区域的周边区域进行放大显示,将周边区域指定为调光对象区域进行调光处理。由此,能够更简单地从被放大的周边区域的360度的方向中识别应该插入的方向。
11.2.图像处理部
接着,对本实施方式的检测红球区域的方法和将红球区域以外的区域设定为关注区域的方法进行详细说明。
图64中示出第10实施方式中的图像处理部410的详细的结构例。图像处理部410包含预处理部411、同时化部412、关注区域设定部413、缩放处理部414、后处理部415、测光部416。以下,对与图6等中说明的结构要素相同的结构要素标注相同的标号,适当省略说明。另外,第10实施方式中的内窥镜装置与图3等中所述的第1实施方式相同。
预处理部411与同时化部412连接。同时化部412与关注区域设定部413和缩放处理部414连接。关注区域设定部413与缩放处理部414和测光部416连接。缩放处理部414与后处理部415连接。后处理部415与显示部500连接。控制部420与预处理部411、同时化部412、关注区域设定部413、缩放处理部414、后处理部415、测光部416连接。
关注区域设定部413将红球区域以外的区域设定为关注区域。缩放处理部414对所设定的关注区域进行放大处理。后面对这些处理进行详细说明。测光部416计算图像的明亮度(例如亮度)。测光部416在设定了关注区域的情况下,计算关注区域的亮度。测光部416将计算出的亮度输出到控制部420。控制部420根据该亮度控制光源光圈驱动部103,进行调光处理。
11.3.关注区域设定部
图65中示出第10实施方式中的关注区域设定部413的详细的结构例。关注区域设定部413包含颜色转换部461、红球区域候选检测部462、散焦检测部463、红球区域判定部464、缩放参数设定部465。
颜色转换部461与红球区域候选检测部462和散焦检测部463连接。红球区域候选检测部462与红球区域判定部464连接。散焦检测部463与红球区域判定部464连接。红球区域判定部464与缩放参数设定部465和测光部416连接。缩放参数设定部465与缩放处理部414连接。控制部420与红球区域候选检测部462、散焦检测部463、缩放参数设定部465连接。
颜色转换部461将从同时化部412输出的彩色图像的RGB信号转换为亮度信号和颜色信号。另外,以下以将RGB信号转换为YCbCr信号的情况为例进行说明。颜色转换部461将计算出的亮度信号Y向散焦检测部463和测光部416输出,将颜色差信号Cb、Cr向红球区域候选检测部462输出。
红球区域候选检测部462根据来自控制部420的块尺寸信息(例如N×N块),将所输入的色差信号Cb、Cr分割为块区域。然后,红球区域候选检测部462根据块区域内的色差信号的统计量来判定红球区域候选,将每个块区域的判定信息向红球区域判定部464输出。
散焦检测部463根据来自控制部420的块尺寸信息,将所输入的亮度信号Y分割为块区域。然后,散焦检测部463根据块区域内的高频分量的有无来判定块区域是否为散焦状态,将每个块区域的判定信息向红球区域判定部464输出。
红球区域判定部464将由红球区域候选检测部462判定为红球候选区域并且由散焦检测部463判定为散焦状态的块区域判定为红球区域。红球区域判定部464将该判定结果向缩放参数设定部465和测光部416输出。
如图66所示,缩放参数设定部465设定对所分割的各块区域(N×N块的各块)的缩放参数。具体而言,缩放参数设定部465根据红球区域判定部464的判定结果,将成像区域内的块区域中的被判定为不是红球区域的块区域设定为关注区域。缩放参数设定部465根据关注区域与红球区域之间的关系,设定对各块区域的缩放参数,将所设定的缩放参数向缩放处理部414输出。
缩放处理部414以成像区域内的关注区域被放大显示的方式对关注区域与非关注区域之间的显示倍率进行再设定,生成关注区域相对于红球区域被相对地放大的图像。再设定是指,伴随显示倍率的变更,生成相对于缩放处理后的像素位置(整数精度)的缩放处理前的坐标位置(实数精度)的变换表。
测光部416根据从关注区域设定部413输出的红球区域以外的关注区域信息、和从颜色转换部461输出的亮度信号,计算关注区域的平均亮度水平。
11.4.红球区域候选检测部
图67中示出红球区域候选检测部462的详细的结构例。红球区域候选检测部462包含区域分割部481、统计量计算部482、特定颜色区域判定部483、存储器484。
区域分割部481与统计量计算部482连接。统计量计算部482与特定颜色区域判定部483连接。特定颜色区域判定部483与存储器484和红球区域判定部464连接。此外,控制部420与区域分割部481和特定颜色区域判定部483连接。
区域分割部481根据来自控制部420的块尺寸,将从颜色转换部461输出的Cb信号、Cr信号分别分割为块区域,将该块区域向统计量计算部482输出。
统计量计算部482计算Cb信号的块区域中的Cb信号的平均值Cba(x,y)和标准偏差值Cbs(x,y),并计算Cr信号的块区域中的Cr信号的平均值Cra(x,y)和标准偏差值Crs(x,y)。统计量计算部482将计算出的这些值向特定颜色区域判定部483输出。这里,x表示水平方向的块区域的坐标,y表示垂直方向的块区域的坐标。图像的左上是原点(0,0)。x的值随着向图像的右方(水平扫描方向)移动而变大。y的值随着向图像的下方(与水平扫描方向正交的方向)移动而变大。
向特定颜色区域判定部483输入上述的平均值和标准偏差值。此外,从控制部420输入向特定颜色区域判定部483中输入在将Cb信号和Cr信号作为坐标轴的二维平面(以下称作色相平面)中规定红球区域候选的特定颜色区域信息。
这里,特定颜色区域信息是指定色相平面内的区域的信息,例如可以通过色相角和彩度进行指定,也可以通过CbCr坐标进行指定。
此外,从控制部420向特定颜色区域判定部483中输入在对大肠进行通常观察时的规定粘膜和血管的颜色区域的通常颜色区域信息。通常颜色区域信息是指定色相平面内的区域的信息,通过与特定颜色区域信息相同的形式进行指定即可。另外,以下将表示特定颜色区域信息的色相平面的区域称作特定颜色区域,将表示通常颜色区域信息的色相平面的区域称作通常颜色区域。
如图66所示,特定颜色区域判定部483在平均值Cba(x,y)、Cra(x,y)进入特定颜色区域内的情况下,将该块区域的红球区域候选标志Frc(x,y)设定为‘有效’,并将该标志Frc(x,y)记录在存储器484中。红球区域候选标志Frc(x,y)作为表示红球区域候选的标志被分配到各块区域。特定颜色区域判定部483在块区域没有被判定为红球区域候选的情况下,将该块区域的红球区域候选标志Frc(x,y)设定为‘无效’,将该标志Frc(x,y)记录在存储器484中。
特定颜色区域判定部483在标准偏差值Cbs(x,y)小于阈值ThCb并且标准偏差值Crs(x,y)小于阈值ThCr的情况下,不变更该块区域的红球区域候选标志Frc(x,y)而保持原样。阈值ThCb、ThCr被存储在存储器484中。另一方面,在标准偏差值Cbs(x,y)为阈值ThCb以上(包含该值)或者标准偏差值Crs(x,y)为阈值ThCr以上(包含该值)的情况下,将该块区域的红球区域候选标志Frc(x,y)设定为‘无效’。特定颜色区域判定部483将所设定的红球区域候选标志Frc(x,y)向红球区域判定部464输出。
这里,阈值ThCb和阈值ThCr是在过去所摄像的彩色图像中的块区域的平均值Cba(x,y)、Cra(x,y)包含在通常颜色区域中的情况下,并且将块区域的标准偏差值Cbs(x,y)、Crs(x,y)的最大值MaxCbss、MaxCrss与预定系数(小于1)相乘而得到的值。预定系数被预先保存在控制部420内,从控制部420被取得。
将过去的标准的粘膜区域的最大标准偏差MaxCbss、MaxCrss作为基准是因为,将特定颜色区域中所包含的颜色偏差比通常观察的粘膜区域小的块区域检测为红球区域候选。即,是因为在散焦状态的红球区域中,由于模糊而无法分解粘膜内的血管,粘膜与血管之间的颜色偏差降低。
11.5.散焦检测部
图68中示出散焦检测部463的详细的结构例。散焦检测部463包含区域分割部491、频率分量生成部492、高频有无判定部493。
区域分割部491与频率分量生成部492连接。频率分量生成部492与高频有无判定部493连接。此外,控制部420与区域分割部491和高频有无判定部493连接。
区域分割部491根据来自控制部420的块尺寸将从颜色转换部461输出的亮度信号分割为块区域,将分割后的块区域向频率分量生成部492输出。
频率分量生成部492对块区域进行例如DCT(离散余弦变换)和FFT(高速傅里叶变换),变换为频率分量。频率分量生成部492将生成的各块区域的频率分量向高频有无判定部493输出。
在高频有无判定部493中输入各块区域的频率分量、以及来自控制部420的高频判定阈值Thf和高频有无判定阈值Thp。高频有无判定部493在大于预定值的振幅值的频率分量的最高频率大于高频判定阈值Thf、且频率分量总和大于高频有无判定阈值Thp的情况下,判定为块区域处于对焦状态,将散焦状态标志Fdf(x,y)设定为‘无效’。高频有无判定部493在频率分量总和为高频有无判定阈值Thp以下(包含该值)的情况下,判定为散焦状态,将散焦状态标志Fdf(x,y)设定为‘有效’。高频有无判定部493将设定后的散焦状态标志Fdf(x,y)向红球区域判定部464输出。
另外,散焦检测部463不限于上述结构。例如也可以是,散焦检测部463通过简单的高通滤波器或带通滤波器对亮度信号进行处理,将提取到的高频分量信号在块区域内进行绝对值相加,通过预定阈值对该值进行阈值判定,由此判定散焦状态。
红球区域判定部464通过取红球区域候选标志Frc(x,y)与散焦状态标志Fdf(x,y)的逻辑积来得到红球区域标志Fr(x,y)。如图69所示,红球区域判定部464例如用闭曲线对包含红球区域标志Fr(x,y)为‘有效’的多个块区域的边界线进行近似并设定,将该边界线内的区域作为最终的红球区域的判定结果。然后,红球区域判定部464将该区域内的红球区域标志Fr(x,y)全部设定为‘有效’,将该红球区域标志Fr(x,y)向缩放参数设定部465输出。
11.6.缩放参数设定部
图70示出缩放参数设定部465的详细的结构例。缩放参数设定部465包含红球区域参数计算部495和块缩放参数计算部496。
红球区域参数计算部495与块缩放参数计算部496连接。块缩放参数计算部496与缩放处理部414连接。此外,控制部420与红球区域参数计算部495和块缩放参数计算部496连接。
如图69所示,红球区域参数计算部495计算所输入的红球区域标志Fr(x,y)为‘有效’的区域的重心位置R0、以及从该重心位置R0到红球区域边界的最大距离Rr。具体而言,根据来自控制部420的块尺寸,计算红球区域标志Fr(x,y)为‘有效’的全部块区域的中心坐标,将计算出的中心坐标的红球区域内平均值作为重心位置R0。此外,搜索红球区域内的块区域的中心坐标与重心位置R0的最大距离,求出最大距离Rr。红球区域参数计算部495将计算出的重心位置R0和最大距离Rr向块缩放参数计算部496输出。
块缩放参数计算部496根据所输入的重心位置R0和最大距离Rr,用圆来定义红球区域(以下将该圆内称作红球区域)。红球区域的中心为重心位置R0,红球区域的半径为最大距离Rr。此外,整体的成像区域也由圆来定义(以下将该圆内称作成像区域)。成像区域的中心为光轴中心,其与成像区域的半径一起是根据光学系统而预先确定的。成像区域的中心和半径被从控制部420向块缩放参数计算部496输入。
块缩放参数计算部496根据红球区域和成像区域来确定各块区域的缩放参数。具体而言,在将红球区域的中心位置设为R0、块区域的中心位置设为B0(x,y)的情况下,求出通过R0和B0(x,y)的直线。然后,计算该直线与成像区域的边界的交点ISb(x,y),计算该直线与红球区域的边界的交点Rb(x,y)。
块缩放参数计算部496根据下式(31)计算线段|R0-Rb(x,y)|的距离Rr与线段|ISb(x,y)-Rb(x,y)|的距离DS(x,y)的比率DRatio(x,y)。此外,根据下式(32)计算R0与B0(x,y)之间的距离DB(x,y)。针对全部块区域来计算DRatio(x,y)和DB(x,y)。
DRatio(x,y)
=|ISb(x,y)-Rb(x,y)|/|R0-Rb(x,y)|
=|ISb(x,y)-Rb(x,y)|/Rr      (31)
DB(x,y)
=|R0-B0(x,y)|                    (32)
块缩放参数计算部496将与各个块对应地计算出的比率DRatio(x,y)、距离DB(x,y)、红球区域的中心R0、红球区域的半径Rr输出到缩放处理部414。
缩放处理部414将从块缩放参数计算部496输入的每个块区域的参数蓄积1个画面的量,生成像素单位的倍率变换表。如图71所示,红球区域与非红球区域的距离比率DRatio(x,y)用于从缩放前归一化距离与多个缩放后归一化距离的对应曲线中选择1个。该曲线可以用查找表(LUT)记述,也可以用多项式的系数记述。该曲线存储在缩放处理部414内的未图示的ROM表中,ROM表的地址与距离比率DRatio(x,y)对应。
缩放处理部414根据下式(33)计算各块区域的归一化距离ND(x,y)。
ND(x,y)=DB(x,y)/(1+DRatio(x,y))×Rr
                                                            (33)
缩放处理部414根据计算出的归一化距离ND(x,y),确定代表各块区域的缩放前后的归一化距离的对应关系(以下称作代表对应关系)。代表对应关系是图71所示的与缩放后的归一化距离相对应的缩放前的归一化距离。缩放处理部414使用关注块区域的代表对应关系和其周边块区域的代表对应关系,通过插值来计算关注块区域内的各像素中的缩放前后的归一化距离的对应关系。例如,可利用线性插值作为插值处理。
缩放处理部414将从红球区域的中心位置R0到关注块区域内的像素位置P(i,j)的实际距离与在该像素位置的缩放前后的归一化距离的对应关系相乘,将归一化距离中的对应关系变换为实际距离中的对应关系。这里,i、j分别表示像素间距精度的水平坐标、垂直坐标。与缩放后的像素位置(整数精度)对应的缩放前的像素位置(实数精度)位于连结缩放后的像素位置P’(i,j)与红球区域的中心位置R0的线段上,因此可以作为与实际距离对应的坐标值而唯一地确定。
缩放处理部414使用所确定的缩放前的坐标值的周边多个像素值(像素值处于整数精度的像素位置),通过插值来计算该坐标值处的像素值。例如,可利用线性插值或双三次插值(BiCubic)等作为插值处理。这样,能够生成相对于红球区域将不是红球区域的关注区域相对放大而得到的缩放图像。
另外,可以始终实施红球区域的判定处理,也可以通过外部I/F部550具有的未图示的开关来手动地对红球区域的判定处理进行ON(打开)/OFF(关闭)控制。即,也可以是,在用户判断为产生了红球区域后,通过将开关设为ON(打开)来实施红球区域的判定处理。
根据以上的实施方式,摄像图像是对活体内进行摄像得到的图像。关注区域设定部413具有接触状态信息取得部(图65的颜色转换部461、红球区域候选检测部462、散焦检测部463、红球区域判定部464)。接触状态信息取得部根据摄像图像取得镜体前端部与活体之间的接触状态信息(红球区域的信息)。关注区域设定部413根据该接触状态信息来设定关注区域。
此外,在本实施方式中,接触状态信息取得部在摄像图像中检测具有特定的颜色范围的颜色的特定颜色区域(在色相平面中表示红球区域的颜色区域),根据特定颜色区域来设定接触区域。关注区域设定部413将该接触区域以外的区域设定为关注区域。
例如在本实施方式中,由红球区域候选检测部462(广义上为特定颜色区域检测部)检测特定颜色区域,由红球区域判定部464(广义上为接触区域设定部)设定接触区域。
由此,能够判定与活体的接触区域(红球区域。广义上为无法观察区域),将该接触区域以外的区域设定为关注区域并进行放大显示。如上所述,在由于畸变像差而发生图像畸变的广视野的光学系统中,有时即便存在接触区域,也在其他区域中拍摄到管腔的插入方向。因此,通过对接触区域以外的区域进行放大显示,能够提高插入方向的可视性,实现插入时间的缩短。
此外,在本实施方式中,接触状态信息取得部将特定颜色区域的图像变换为空间频率分量,在变换后的空间频率分量为预定阈值以下的情况下,将特定颜色区域设定为接触区域。例如在判定为变换后的空间频率分量的振幅值为预定值以上的最高频率为第1阈值以下,或者空间频率分量的振幅值的总和为第2阈值以下的情况下,将特定颜色区域设定为接触区域。
例如在本实施方式中,散焦检测部463(广义上为空间频率转换部)将特定颜色区域的图像变换为空间频率分量,判定变换后的空间频率分量是否为预定阈值以下。
由此,在接触区域中,考虑图像的高频分量由于散焦而较小,因此通过对特定颜色区域的高频分量进行阈值判定,能够检测接触区域。
此外,在本实施方式中,如图69中说明的那样,接触状态信息取得部设定包含特定颜色区域的圆,将圆的内侧设定为接触区域。
缩放处理部414根据在连结接触区域的圆的中心与摄像图像的外周(成像区域的外周)的直线上的、从圆的中心到圆周的距离Rr与从圆周到外周的距离DS(x,y)的比率DRatio(x,y),来设定关注区域的放大率(图71的缩放前后的归一化距离的对应关系)。
接触状态信息是表示接触区域的位置(圆的中心位置R0)和大小(半径Rr)的信息。
由此,将接触区域设定为圆区域,通过沿着从该圆的中心连结到摄像图像的外周的直线的缩放处理,能够对关注区域进行放大显示。
12.软件
在上述的本实施方式中,用硬件构成了构成图像处理部410的各部,但不限于此。例如,也可以采用由CPU对使用胶囊内窥镜等摄像装置预先取得的图像进行各部的处理的结构,通过由CPU执行程序而作为软件来实现。或者,也可以由软件来构成由各部进行的处理的一部分。预先取得的图像例如是将A/D转换部305输出的拜耳排列的输出图像作为RAW文件记录在记录介质中的图像。
在将摄像部作为另外的部分,将由图像处理部410的各部进行的处理作为软件来实现的情况下,可使用工作站或个人计算机等公知的计算机系统作为图像处理装置。而且,能够通过预先准备用于实现由图像处理部410的各部进行的处理的程序(图像处理程序),并由计算机系统的CPU来执行该图像处理程序来实现。
图72是示出本变形例中的计算机系统600的结构的系统结构图,图73是示出该计算机系统600中的主体部610的结构的框图。如图72所示,计算机系统600具有主体部610、用于根据来自主体部610的指示在显示画面621中显示图像等信息的显示器620、用于在该计算机系统600中输入各种信息的键盘630、用于指定显示器620的显示画面621上的任意位置的鼠标640。
此外,如图73所示,该计算机系统600中的主体部610具有CPU611、RAM612、ROM613、硬盘驱动器(HDD)614、用于读取CD-ROM660的CD-ROM驱动器615、可拆装地与USB存储器670连接的USB端口616、连接显示器620和键盘630及鼠标640的I/O接口617、用于与局域网或广域网(LAN/WAN)N1连接的LAN接口618。
此外,在该计算机系统600上连接有用于与互联网等公共线路N3连接的调制解调器650,并且经由LAN接口618和局域网或广域网N1,连接有作为其他计算机系统的个人计算机(PC)681、服务器682、打印机683等。
而且,该计算机系统600参照记录在预定记录介质中的图像处理程序(例如图18~图20),读出用于实现后述的处理步骤的图像处理程序并执行该程序,由此实现图像处理装置。这里,预定记录介质除了CD-ROM660和USB存储器670以外,还包括:包含MO盘、DVD盘、软盘(FD)、磁光盘、IC卡等的“可携带用物理介质”,在计算机系统600的内外具备的HDD614、RAM612、ROM613等“固定用物理介质”,如经由调制解调器650连接的公共线路N3和连接其他计算机系统(PC)681或服务器682的局域网或广域网N1等那样,在发送程序时短时间地存储程序的“通信介质”等,以及记录可由计算机系统600读取的图像处理程序的所有记录介质。
即,图像处理程序以计算机可读取的方式记录在“可携带用物理介质”、“固定用物理介质”、“通信介质”等记录介质中,计算机系统600通过从这样的记录介质中读出图像处理程序并执行该程序来实现图像处理装置。另外,图像处理程序不限于由计算机系统600来执行,在由其他计算机系统(PC)681或服务器682来执行图像处理程序的情况下,或者由它们协作来执行图像处理程序的情况下,也能够同样地应用本发明。
此外,本实施方式还能够应用于记录有用于实现本实施方式的各部(控制部、图像处理部、状态信息取得部等)的程序代码的计算机程序产品。
计算机程序产品例如是记录了程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录了程序代码的计算机、记录了程序代码的互联网系统(例如,包含服务器和客户端的系统)等、嵌入了程序代码的信息存储介质、装置、设备或系统等。该情况下,本实施方式的各结构要素和各处理过程通过各模块来安装,由这些安装的模块构成的程序代码被记录在计算机程序产品中。
以上,对应用了本发明的实施方式及其变形例进行了说明,但是,本发明不原样地限定于各实施方式及其变形例,在实施阶段中,可在不脱离发明的主旨的范围内对结构要素进行变形而具体化。此外,通过适当组合上述的各实施方式和变形例中所公开的多个结构要素,能够形成各种发明。例如,也可以从各实施方式和变形例中记载的全部结构要素中删除几个结构要素。此外,也可以适当组合不同的实施方式和变形例中说明的结构要素。这样,能够在不脱离发明的主旨的范围内进行各种变形和应用。
此外,可以将在说明书或附图中至少一次与更广义或同义的不同用语一起记载的用语,在说明书或附图的任意位置置换为该不同的用语。
标号说明
100  光源部,101  白色光源,102  光源光圈,103  驱动部,
104  旋转滤色片,105  旋转驱动部,106  聚光镜头,
107  光源控制部,200  操作部,201  弯曲操作杆,
202  插入口,203  操作量检测传感器,300  插入部,
301  光导纤维,302  照明镜头,303  物镜光学系统,
304  摄像元件,305A/D  转换部,306  弯曲操作线,
307  插通通道,308  处置器具传感器,309  半反射镜,
310  摄像元件,311  A/D转换部,312  电磁线圈,
313  存储器,400  控制装置,410  图像处理部,
411  预处理部,412  同时化部,413  关注区域设定部,
414  缩放处理部,415  后处理部,416  测光部,417  同时化部,
418  预处理部,420  控制部,430  状态信息取得部,
431  弯曲角度检测部,432  弯曲运动量检测部,433  亮度换算部,
434  加法部,435  调整系数计算部,436  被摄体信息取得部,
437  观察信息取得部,441  亮度换算部,442  加法部,
443  确定部,451  局部区域设定部,452  特征量计算部,
453  病变区域检测部,454  赋予标签处理部,455  区域选择部,
456  坐标计算部,457  关联部,458  缩放处理条件设定部,
461  颜色转换部,462  红球区域候选检测部,
463  散焦检测部,464  红球区域判定部,
465  缩放参数设定部,471  畸变校正部,
472  图像存储器,473  运动检测部,474  设定部,
481  区域分割部,482  统计量计算部,483  特定颜色区域判定部,
484  存储器,491  区域分割部,492  频率分量生成部,
493  高频有无判定部,495  红球区域参数计算部,
496  块缩放参数计算部,500  显示部,
550  外部I/F部,600  计算机系统,610  主体部,
611  CPU,612  RAM,613  ROM,614  HDD,
615  CD-ROM驱动器,616  USB端口,
617  I/O接口,618  LAN接口,
620  显示器,621  显示画面,630  键盘,640  鼠标,
650  调制解调器,660  CD-ROM,670  USB存储器,681  PC,
682  服务器,683  打印机,
700  形状检测部,701~703  滤色片,704  旋转电机,
A、B倍率,a(m,n)局部区域,B0(x,y)块中心,
B2、G2图像信号,C1半径,C2距离,CL边界线,
DB(x,y)距离,DRatio距离比率,DS(x,y)距离,
ISb(x,y)交点,L距离,LC1、LC2光线,LW长度,
N、M横宽的像素数,(N/2,M/2)图像中心的坐标,
nB、nG滤色片,N1广域网,N3公共线路,
R半径,rd距离,R0中心位置,Rb(x,y)交点,Rr半径,
Rs半径,SF1~SF3面,(x,y)坐标,
(x0,y0)关注区域中心像素的坐标,α放大率,β缩小率,θ弯曲角度

Claims (64)

1.一种内窥镜装置,其特征在于包含:
图像取得部,其取得包含被摄体像的摄像图像;
关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及
缩放处理部,其进行将所述关注区域相比于其他区域相对地放大的局部缩放处理。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述缩放处理部一边维持所述摄像图像的视角一边进行所述局部缩放处理。
3.根据权利要求2所述的内窥镜装置,其特征在于,
所述内窥镜装置包含取得内窥镜装置的状态信息的状态信息取得部,
所述关注区域设定部将所述状态信息作为来自所述内窥镜装置的信息来设定所述关注区域。
4.根据权利要求3所述的内窥镜装置,其特征在于,
所述状态信息取得部根据对所述被摄体进行照明的光源部的出射光量,取得表示所述被摄体与镜体前端部之间的距离的距离信息,
所述关注区域设定部将所述距离信息作为所述状态信息来设定所述关注区域。
5.根据权利要求4所述的内窥镜装置,其特征在于,
所述关注区域设定部在判断为所述距离比阈值近的情况下,设定所述关注区域。
6.根据权利要求4所述的内窥镜装置,其特征在于,
所述内窥镜装置包含:
模式设定部,其设定第1测光模式或第2测光模式,所述第1测光模式进行与前方视野对应的区域的调光控制,所述第2测光模式进行与侧方视野对应的区域的调光控制;以及
调光控制部,其根据在所设定的测光模式中被调光控制的区域的亮度对所述光源部的光圈的开口面积进行控制,由此控制所述出射光量,
所述距离信息是由所述调光控制部控制的所述开口面积,
在判断为所述开口面积小于阈值的情况下,所述关注区域设定部将在所设定的测光模式中被调光控制的区域设定为所述关注区域。
7.根据权利要求3所述的内窥镜装置,其特征在于,
在内窥镜装置上能够拆装镜体,
所述状态信息取得部取得用于识别所安装的所述镜体的识别信息作为所述状态信息,
所述关注区域设定部根据所取得的所述识别信息来设定所述关注区域。
8.根据权利要求7所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
在所述识别信息是表示下部消化管用的镜体的识别信息的情况下,所述关注区域设定部将所述摄像图像中的与所述侧方视野对应的区域设定为所述关注区域。
9.根据权利要求7所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
在所述识别信息是表示上部消化管用的镜体的识别信息的情况下,所述关注区域设定部将所述摄像图像中的与所述前方视野对应的区域设定为所述关注区域。
10.根据权利要求3所述的内窥镜装置,其特征在于,
所述状态信息取得部具有弯曲角度检测部,该弯曲角度检测部取得表示镜体前端部的弯曲角度的弯曲角度信息作为所述状态信息,
所述关注区域设定部根据所取得的所述弯曲角度信息来设定所述关注区域。
11.根据权利要求10所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
所述关注区域设定部在判断为所述弯曲角度大于阈值的情况下,将所述摄像图像中的与所述侧方视野对应的区域设定为所述关注区域。
12.根据权利要求10所述的内窥镜装置,其特征在于,
所述缩放处理部根据所述弯曲角度来控制所述关注区域或所述关注区域以外的区域的缩放率。
13.根据权利要求12所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
所述关注区域设定部将所述摄像图像中的与所述侧方视野对应的区域设定为所述关注区域,
所述弯曲角度越大,所述缩放处理部将所述关注区域的放大率设定得越大。
14.根据权利要求3所述的内窥镜装置,其特征在于,
所述状态信息取得部具有弯曲运动量检测部,该弯曲运动量检测部取得表示镜体前端部的弯曲运动量的弯曲运动量信息作为所述状态信息,
所述关注区域设定部根据所取得的所述弯曲运动量信息来设定所述关注区域。
15.根据权利要求14所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
所述关注区域设定部在判断为所述弯曲运动量大于阈值的情况下,将所述摄像图像中的与所述侧方视野对应的区域设定为所述关注区域。
16.根据权利要求14所述的内窥镜装置,其特征在于,
所述缩放处理部根据所述弯曲运动量来控制所述关注区域或所述关注区域以外的区域的缩放率。
17.根据权利要求16所述的内窥镜装置,其特征在于,
所述镜体具有对前方视野和侧方视野进行成像的物镜光学系统,
所述关注区域设定部将所述摄像图像中的与所述侧方视野对应的区域设定为所述关注区域,
所述弯曲运动量越大,所述缩放处理部将所述关注区域的放大率设定得越大。
18.根据权利要求3所述的内窥镜装置,其特征在于,
所述内窥镜装置包含取得镜体插入部的形状信息的形状检测部,
所述状态信息取得部具有被摄体信息取得部,该被摄体信息取得部取得所取得的所述形状信息作为所述状态信息,根据所述形状信息来取得被摄体信息,
所述关注区域设定部根据所取得的所述被摄体信息来设定所述关注区域。
19.根据权利要求18所述的内窥镜装置,其特征在于,
所述被摄体信息取得部根据所述形状信息来判定被摄体的部位,取得所判定出的部位作为被摄体信息,
所述关注区域设定部在判定为所述被摄体的部位是下部消化管的情况下,将所述摄像图像中的与侧方视野对应的区域设定为所述关注区域。
20.根据权利要求19所述的内窥镜装置,其特征在于,
所述被摄体信息取得部在判定为所述镜体插入部为环状的情况下,判定为所述被摄体的部位是所述下部消化管。
21.根据权利要求3所述的内窥镜装置,其特征在于,
所述内窥镜装置包含取得镜体插入部的形状信息的形状取得部,
所述状态信息取得部具有观察信息取得部,该观察信息取得部取得所取得的所述形状信息作为所述状态信息,根据所述形状信息取得观察状态信息,
所述关注区域设定部根据所取得的所述观察状态信息来设定所述关注区域。
22.根据权利要求21所述的内窥镜装置,其特征在于,
所述观察信息取得部根据所述形状信息来判定镜体的行进方向,取得所判定出的行进方向作为所述观察状态信息,
所述关注区域设定部在判定为所述镜体正在被拔出的情况下,将所述摄像图像中的与侧方视野对应的区域设定为所述关注区域。
23.根据权利要求3所述的内窥镜装置,其特征在于,
所述状态信息取得部具有处置器具检测部,该处置器具检测部检测用于对所述被摄体实施处置的处置器具是否从镜体前端部突出,取得检测结果作为所述状态信息,
所述关注区域设定部根据所述检测结果来设定所述关注区域。
24.根据权利要求23所述的内窥镜装置,其特征在于,
所述关注区域设定部在检测到所述处置器具的突出的情况下,将所述摄像图像的中央区域、或者相比于所述摄像图像的中心的插入所述处置器具的一侧的区域设定为所述关注区域。
25.根据权利要求2所述的内窥镜装置,其特征在于,
所述关注区域设定部将所述摄像图像作为来自所述内窥镜装置的信息来设定所述关注区域。
26.根据权利要求25所述的内窥镜装置,其特征在于,
所述关注区域设定部具有处置器具检测部,该处置器具检测部根据所述摄像图像,检测对用于对所述被摄体实施处置的处置器具进行摄像而得到的处置器具区域,
所述关注区域设定部根据所检测到的所述处置器具区域来设定所述关注区域。
27.根据权利要求26所述的内窥镜装置,其特征在于,
所述处置器具检测部检测所述处置器具区域的前端,
所述关注区域设定部将从所检测到的所述前端起预定半径的圆内设定为所述关注区域。
28.根据权利要求27所述的内窥镜装置,其特征在于,
所述处置器具检测部将所述处置器具区域中所包含的像素中的、与所述摄像图像的中心最近的像素设定为所述前端。
29.根据权利要求26所述的内窥镜装置,其特征在于,
所述处置器具检测部具有亮度特征量计算部,该亮度特征量计算部计算与所述摄像图像的像素的亮度有关的亮度特征量,
所述处置器具检测部根据所计算出的所述亮度特征量来检测所述处置器具区域。
30.根据权利要求29所述的内窥镜装置,其特征在于,
所述处置器具检测部根据所述亮度特征量来检测作为所述处置器具区域的候选的处置器具候选像素,根据所检测出的所述处置器具候选像素来确定所述处置器具区域。
31.根据权利要求30所述的内窥镜装置,其特征在于,
所述处置器具检测部具有比较部,该比较部对处理对象像素的所述亮度特征量和所述处理对象像素的周边像素的平均亮度特征量进行比较,
所述处置器具检测部将所述亮度特征量大于所述平均亮度特征量的像素设定为所述处置器具候选像素。
32.根据权利要求30所述的内窥镜装置,其特征在于,
所述处置器具检测部根据所述处置器具候选像素的位置信息将所述处置器具候选像素分类为1个或多个处置器具候选区域,
所述处置器具检测部从所述1个或多个处置器具候选区域中选择所述处置器具区域。
33.根据权利要求32所述的内窥镜装置,其特征在于,
所述处置器具检测部从所述处置器具候选像素的中提取作为处置器具候选区域与其他区域之间的边界的像素,将由所述边界围住的所述处置器具候选像素设定为处置器具候选区域,由此设定所述1个或多个处置器具候选区域。
34.根据权利要求32所述的内窥镜装置,其特征在于,
所述处置器具检测部根据各处置器具候选区域中所包含的所述处置器具候选像素的数量来确定所述处置器具区域。
35.根据权利要求34所述的内窥镜装置,其特征在于,
所述处置器具检测部将所述1个或多个处置器具候选区域中的包含最多数量的所述处置器具候选像素、且包含多于预定阈值的所述处置器具候选像素的区域确定为所述处置器具区域。
36.根据权利要求25所述的内窥镜装置,其特征在于,
所述关注区域设定部具有运动检测部,该运动检测部根据所述摄像图像取得被摄体的运动量,
所述关注区域设定部根据所取得的所述运动量来设定所述关注区域。
37.根据权利要求36所述的内窥镜装置,其特征在于,
所述关注区域设定部在根据所述运动量判定为镜体是正在被拔出的状态的情况下,将所述摄像图像中的与侧方视野对应的区域设定为所述关注区域。
38.根据权利要求37所述的内窥镜装置,其特征在于,
所述运动检测部计算多个代表点的运动矢量作为所述运动量,求出所计算出的所述运动矢量的消失点,
所述关注区域设定部在所求出的所述消失点存在于所述摄像图像中,并且从所述代表点朝向所述消失点的矢量与所述运动矢量的内积为正的情况下,判定为所述镜体是正在被拔出的状态。
39.根据权利要求38所述的内窥镜装置,其特征在于,
所述关注区域设定部在判断为所述消失点的像素值小于阈值的情况下,判定为所述镜体为正在被拔出的状态。
40.根据权利要求36所述的内窥镜装置,其特征在于,
所述关注区域设定部在根据所述运动量判定为镜体不是正在被拔出的状态的情况下,将所述摄像图像中的与前方视野对应的区域设定为所述关注区域。
41.根据权利要求36所述的内窥镜装置,其特征在于,
所述运动检测部具有畸变校正部,该畸变校正部根据镜体的光学系统具有的畸变像差来进行所述摄像图像的畸变校正,
所述运动检测部根据畸变校正后的所述摄像图像来取得所述运动量。
42.根据权利要求25所述的内窥镜装置,其特征在于,
所述关注区域设定部具有距离信息取得部,该距离信息取得部根据所述摄像图像的亮度,取得表示所述被摄体与镜体前端部之间的距离的距离信息,
所述关注区域设定部根据所取得的所述距离信息来设定所述关注区域。
43.根据权利要求42所述的内窥镜装置,其特征在于,
所述距离信息取得部计算与所述摄像图像的像素的亮度有关的亮度特征量,根据所计算出的所述亮度特征量来取得所述距离信息。
44.根据权利要求42所述的内窥镜装置,其特征在于,
所述距离信息取得部将所述摄像图像分割为多个区域,取得所分割的各区域的亮度作为所述距离信息,
所述关注区域设定部将所述多个区域中最亮的区域作为与所述镜体前端部最近的区域,并设定为所述关注区域。
45.根据权利要求25所述的内窥镜装置,其特征在于,
所述关注区域设定部根据所述摄像图像计算特征量,根据具有预定特征量的区域来设定所述关注区域。
46.根据权利要求45所述的内窥镜装置,其特征在于,
所述关注区域设定部选择具有所述预定特征量的区域中的最大面积的区域,将包含所选择的区域的圆形区域设定为所述关注区域。
47.根据权利要求45所述的内窥镜装置,其特征在于,
所述摄像图像是特殊光图像和通常光图像,所述特殊光图像是对具有特定波段的信息的被摄体像进行摄像而得到的,所述通常光图像是对具有白色光波段的信息的被摄体像进行摄像而得到的,
所述关注区域设定部根据所述特殊光图像来设定关注区域。
48.根据权利要求47所述的内窥镜装置,其特征在于,
所述缩放处理部根据所设定的所述关注区域,对所述通常光图像进行缩放处理。
49.根据权利要求47所述的内窥镜装置,其特征在于,
所述特定波段是比所述白色波段窄的波段。
50.根据权利要求49所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是对活体内进行摄像而得到的活体内图像,
所述活体内图像中所包含的所述特定波段是被血液中的血红蛋白所吸收的波长的波段。
51.根据权利要求50所述的内窥镜装置,其特征在于,
所述特定波段是390nm~445nm或者530nm~550nm。
52.根据权利要求47所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是对活体内进行摄像而得到的活体内图像,
所述活体内图像中所包含的所述特定波段是荧光物质发出的荧光的波段。
53.根据权利要求52所述的内窥镜装置,其特征在于,
所述特定波段是490nm~625nm的波段。
54.根据权利要求47所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是对活体内进行摄像而得到的活体内图像,
所述活体内图像中所包含的所述特定波段是红外光波段。
55.根据权利要求54所述的内窥镜装置,其特征在于,
所述特定波段是790nm~820nm或者905nm~970nm的波段。
56.根据权利要求25所述的内窥镜装置,其特征在于,
所述摄像图像是对活体内进行摄像而得到的图像,
所述关注区域设定部具有接触状态信息取得部,该接触状态信息取得部根据所述摄像图像来取得镜体前端部与所述活体之间的接触状态信息,
所述关注区域设定部根据所述接触状态信息来设定所述关注区域。
57.根据权利要求56所述的内窥镜装置,其特征在于,
所述接触状态信息取得部在所述摄像图像中检测具有特定颜色范围的颜色的特定颜色区域,根据所述特定颜色区域来设定接触区域,
所述关注区域设定部将所述接触区域以外的区域设定为所述关注区域。
58.根据权利要求57所述的内窥镜装置,其特征在于,
所述接触状态信息取得部将所述特定颜色区域的图像变换为空间频率分量,在判定为变换后的所述空间频率分量的振幅值为预定值以上的最高频率为第1阈值以下,或者所述空间频率分量的振幅值的总和为第2阈值以下的情况下,将所述特定颜色区域设定为所述接触区域。
59.根据权利要求57所述的内窥镜装置,其特征在于,
所述接触状态信息取得部设定包含所述特定颜色区域的圆,将所述圆的内侧设定为所述接触区域,
所述缩放处理部根据在连结所述接触区域的圆的中心与所述摄像图像的外周的直线上的、从所述中心到圆周的距离与从所述圆周到所述外周的距离的比率,来设定所述关注区域的放大率。
60.根据权利要求57所述的内窥镜装置,其特征在于,
所述接触状态信息是表示所述接触区域的位置和大小的信息。
61.根据权利要求1所述的内窥镜装置,其特征在于,
所述图像取得部取得对镜体前端部的前方视野和侧方视野进行摄像而得到的所述摄像图像。
62.根据权利要求61所述的内窥镜装置,其特征在于,
所述摄像图像是通过对所述前方视野和所述侧方视野进行成像的物镜光学系统而得到的图像。
63.根据权利要求62所述的内窥镜装置,其特征在于,
所述物镜光学系统具有大于180°的视野角。
64.一种内窥镜装置,其特征在于包含:
图像取得部,其取得包含被摄体像的摄像图像;
关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及
缩放处理部,其一边维持所述摄像图像的视角一边进行所述关注区域的缩放处理。
CN201280025568.8A 2011-05-27 2012-05-22 内窥镜装置及内窥镜装置的工作方法 Active CN103561629B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-119063 2011-05-27
JPJP2011-119063 2011-05-27
JP2011119063A JP5855358B2 (ja) 2011-05-27 2011-05-27 内視鏡装置及び内視鏡装置の作動方法
PCT/JP2012/062975 WO2012165203A1 (ja) 2011-05-27 2012-05-22 内視鏡装置

Publications (2)

Publication Number Publication Date
CN103561629A true CN103561629A (zh) 2014-02-05
CN103561629B CN103561629B (zh) 2016-05-11

Family

ID=47259064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280025568.8A Active CN103561629B (zh) 2011-05-27 2012-05-22 内窥镜装置及内窥镜装置的工作方法

Country Status (5)

Country Link
US (1) US9486123B2 (zh)
EP (1) EP2716206A4 (zh)
JP (1) JP5855358B2 (zh)
CN (1) CN103561629B (zh)
WO (1) WO2012165203A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106413510A (zh) * 2014-06-04 2017-02-15 索尼公司 图像处理装置和图像处理方法
CN107708521A (zh) * 2015-06-29 2018-02-16 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
CN109310306A (zh) * 2016-06-28 2019-02-05 索尼公司 图像处理装置、图像处理方法和医疗成像系统
CN110573054A (zh) * 2017-05-01 2019-12-13 索尼公司 医学图像处理设备、医学图像处理方法以及内诊镜系统
CN112294236A (zh) * 2020-10-14 2021-02-02 北京大学 内窥镜前端弯曲部形态检测系统及其检测方法
WO2021102939A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像处理方法及设备
CN113911868A (zh) * 2020-07-09 2022-01-11 东芝电梯株式会社 电梯的使用者检测系统

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814698B2 (ja) * 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
CN105358044A (zh) * 2013-06-05 2016-02-24 亚利桑那州立大学董事会 用于照明和成像的双视探头及其使用
JP6265630B2 (ja) * 2013-06-13 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
EP3028622A4 (en) * 2013-08-01 2017-03-22 Olympus Corporation Imaging device
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view
CN103595912B (zh) 2013-09-30 2018-02-06 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
JP6375607B2 (ja) 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP5942044B2 (ja) * 2014-02-14 2016-06-29 オリンパス株式会社 内視鏡システム
JP5889495B2 (ja) * 2014-02-14 2016-03-22 オリンパス株式会社 内視鏡システム
JP6166841B2 (ja) * 2014-03-31 2017-07-19 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2015174365A1 (ja) * 2014-05-16 2015-11-19 オリンパス株式会社 内視鏡システム
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6322495B2 (ja) * 2014-06-26 2018-05-09 オリンパス株式会社 形状推定装置、形状推定装置を備えた内視鏡システム及び形状推定のためのプログラム
WO2016043063A1 (ja) * 2014-09-18 2016-03-24 ソニー株式会社 画像処理装置および画像処理方法
WO2016067927A1 (ja) * 2014-10-28 2016-05-06 オリンパス株式会社 内視鏡システム
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2016110984A1 (ja) * 2015-01-08 2016-07-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
CN107438495B (zh) 2015-02-12 2021-02-05 格罗弗治公司 云控制激光制造
US10509390B2 (en) 2015-02-12 2019-12-17 Glowforge Inc. Safety and reliability guarantees for laser fabrication
CN106572786B (zh) * 2015-03-30 2018-12-18 奥林巴斯株式会社 胶囊型内窥镜系统以及磁场产生装置
JP6518115B2 (ja) * 2015-04-13 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
WO2016189629A1 (ja) * 2015-05-25 2016-12-01 オリンパス株式会社 内視鏡システム及び内視鏡システムの制御方法
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
TWI591377B (zh) 2015-12-11 2017-07-11 財團法人工業技術研究院 廣角鏡頭校正系統及其方法
JP6840737B2 (ja) * 2016-04-21 2021-03-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017221335A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2018000795A (ja) * 2016-07-07 2018-01-11 オリンパス株式会社 内視鏡プロセッサ
JP6779089B2 (ja) 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
WO2018098398A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Preset optical components in a computer numerically controlled machine
WO2018098397A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Calibration of computer-numerically-controlled machine
WO2018098393A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Housing for computer-numerically-controlled machine
WO2018098399A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Controlled deceleration of moveable components in a computer numerically controlled machine
CN110226137A (zh) 2016-11-25 2019-09-10 格罗弗治公司 借助图像跟踪进行制造
JP6976720B2 (ja) * 2017-05-26 2021-12-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、およびズーム制御方法
JP7073145B2 (ja) * 2018-03-12 2022-05-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用調光制御装置、および医療用調光制御装置の作動方法
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US11145054B2 (en) * 2018-07-09 2021-10-12 Canon U.S.A., Inc. Methods and systems for displaying intraluminal images
JP7163155B2 (ja) * 2018-12-04 2022-10-31 オリンパス株式会社 画像処理装置
JP7235532B2 (ja) * 2019-02-25 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、画像処理方法およびプログラム
US11166623B2 (en) * 2019-04-23 2021-11-09 Arthrex, Inc. Field stop fluorescent indicator system and method
DE102019215933A1 (de) 2019-07-26 2021-01-28 Hanon Systems Efp Deutschland Gmbh Flügelzellenpumpe
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム
JP2021145859A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
US11698622B2 (en) 2021-03-09 2023-07-11 Glowforge Inc. Previews for computer numerically controlled fabrication

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805597A (en) * 1986-09-30 1989-02-21 Kabushiki Kaisha Toshiba Endoscopic apparatus
JPH04102437A (ja) * 1990-08-22 1992-04-03 Olympus Optical Co Ltd 電子内視鏡装置
US6491628B1 (en) * 2000-05-31 2002-12-10 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope
CN1695546A (zh) * 2004-05-10 2005-11-16 富士能株式会社 体腔诊断系统
WO2010047357A1 (ja) * 2008-10-24 2010-04-29 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
JP2010194261A (ja) * 2009-02-27 2010-09-09 Toshiba Corp X線撮影装置及びx線画像処理方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63271217A (ja) 1987-04-30 1988-11-09 Toshiba Corp 電子内視鏡装置
JP2843328B2 (ja) 1988-02-22 1999-01-06 オリンパス光学工業株式会社 電子式内視鏡装置
JP3012341B2 (ja) 1990-12-25 2000-02-21 オリンパス光学工業株式会社 内視鏡装置
US5469254A (en) 1992-04-06 1995-11-21 Olympus Optical Co., Ltd. Method and apparatus for measuring three-dimensional position of a pipe from image of the pipe in an endoscopic observation system
JP2776246B2 (ja) * 1994-05-31 1998-07-16 日本電気株式会社 マウスカーソル追従型拡大表示の移動装置
JPH0838433A (ja) * 1994-07-31 1996-02-13 Shimadzu Corp 医用画像診断装置
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JPH0980323A (ja) 1995-09-11 1997-03-28 Olympus Optical Co Ltd 内視鏡装置
JP3875291B2 (ja) 1995-10-04 2007-01-31 オリンパス株式会社 電子内視鏡
JPH09149876A (ja) 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
JPH09262206A (ja) 1996-03-28 1997-10-07 Asahi Optical Co Ltd 電子内視鏡の照明制御装置
JPH10243919A (ja) * 1997-03-07 1998-09-14 Olympus Optical Co Ltd 内視鏡装置
JP3762512B2 (ja) * 1997-04-03 2006-04-05 オリンパス株式会社 内視鏡装置
JP4242491B2 (ja) 1998-12-09 2009-03-25 オリンパス株式会社 内視鏡治療装置
JP2000279380A (ja) * 1999-03-29 2000-10-10 Fuji Photo Optical Co Ltd デジタル出力可能な電子内視鏡装置
JP4493141B2 (ja) 2000-02-08 2010-06-30 オリンパス株式会社 内視鏡
JP2002125926A (ja) * 2000-10-19 2002-05-08 Olympus Optical Co Ltd 内視鏡装置
JP2002263064A (ja) 2001-03-07 2002-09-17 Asahi Optical Co Ltd 内視鏡用自動調光装置およびそれを含む電子内視鏡装置のプロセッサ
US6980227B2 (en) 2001-10-01 2005-12-27 Pentax Corporation Electronic endoscope with light-amount adjustment apparatus
JP4223778B2 (ja) * 2001-10-01 2009-02-12 Hoya株式会社 内視鏡用自動調光装置および電子内視鏡装置
JP4474106B2 (ja) * 2003-02-27 2010-06-02 キヤノン株式会社 画像処理装置、画像処理方法、記録媒体及びプログラム
JP4139265B2 (ja) 2003-04-25 2008-08-27 オリンパス株式会社 電子内視鏡の光量制御装置
JP2005124756A (ja) 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP4801381B2 (ja) 2004-06-11 2011-10-26 Hoya株式会社 電子内視鏡装置
US20060178561A1 (en) * 2005-02-07 2006-08-10 Olympus Corporation Endoscope apparatus
JP2008048905A (ja) 2006-08-24 2008-03-06 Olympus Medical Systems Corp 内視鏡装置
JP2008229205A (ja) * 2007-03-23 2008-10-02 Fujinon Corp 電子内視鏡装置
JP5096090B2 (ja) 2007-09-19 2012-12-12 オリンパスメディカルシステムズ株式会社 生体内画像受信装置および生体内画像取得システム
US20090213218A1 (en) * 2008-02-15 2009-08-27 Andrew Cilia System and method for multi-resolution storage of images
JP5296396B2 (ja) 2008-03-05 2013-09-25 オリンパスメディカルシステムズ株式会社 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
JP2010113312A (ja) * 2008-11-10 2010-05-20 Hoya Corp 内視鏡装置および内視鏡プロセッサ
CN102209926B (zh) 2008-11-11 2013-05-29 奥林巴斯医疗株式会社 内窥镜用照明光学系统
JP5342869B2 (ja) 2008-12-22 2013-11-13 Hoya株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP5289987B2 (ja) * 2009-01-21 2013-09-11 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
WO2010084914A1 (ja) 2009-01-21 2010-07-29 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
US8730592B2 (en) 2009-01-21 2014-05-20 Olympus Corporation Optical system
JP2011027912A (ja) * 2009-07-23 2011-02-10 Olympus Corp 内視鏡装置、計測方法、およびプログラム
CN102469930B (zh) 2009-11-06 2014-09-10 奥林巴斯医疗株式会社 内窥镜系统
EP2339534A1 (en) 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
EP2502546B1 (en) 2010-04-12 2015-07-01 Olympus Medical Systems Corp. Medical image processing apparatus and medical image processing method
JP5684033B2 (ja) * 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
US8504941B2 (en) * 2011-10-31 2013-08-06 Utc Fire & Security Corporation Digital image magnification user interface
US9060674B2 (en) * 2012-10-11 2015-06-23 Karl Storz Imaging, Inc. Auto zoom for video camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805597A (en) * 1986-09-30 1989-02-21 Kabushiki Kaisha Toshiba Endoscopic apparatus
JPH04102437A (ja) * 1990-08-22 1992-04-03 Olympus Optical Co Ltd 電子内視鏡装置
US6491628B1 (en) * 2000-05-31 2002-12-10 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope
CN1695546A (zh) * 2004-05-10 2005-11-16 富士能株式会社 体腔诊断系统
WO2010047357A1 (ja) * 2008-10-24 2010-04-29 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
JP2010194261A (ja) * 2009-02-27 2010-09-09 Toshiba Corp X線撮影装置及びx線画像処理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106413510A (zh) * 2014-06-04 2017-02-15 索尼公司 图像处理装置和图像处理方法
CN106413510B (zh) * 2014-06-04 2018-07-27 索尼公司 图像处理装置和图像处理方法
CN107708521A (zh) * 2015-06-29 2018-02-16 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
CN107708521B (zh) * 2015-06-29 2020-06-12 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
CN109310306A (zh) * 2016-06-28 2019-02-05 索尼公司 图像处理装置、图像处理方法和医疗成像系统
US11087461B2 (en) 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
CN110573054A (zh) * 2017-05-01 2019-12-13 索尼公司 医学图像处理设备、医学图像处理方法以及内诊镜系统
WO2021102939A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像处理方法及设备
CN113911868A (zh) * 2020-07-09 2022-01-11 东芝电梯株式会社 电梯的使用者检测系统
CN113911868B (zh) * 2020-07-09 2023-05-26 东芝电梯株式会社 电梯的使用者检测系统
CN112294236A (zh) * 2020-10-14 2021-02-02 北京大学 内窥镜前端弯曲部形态检测系统及其检测方法
CN112294236B (zh) * 2020-10-14 2022-03-25 北京大学 内窥镜前端弯曲部形态检测系统及其检测方法

Also Published As

Publication number Publication date
EP2716206A1 (en) 2014-04-09
EP2716206A4 (en) 2015-03-25
CN103561629B (zh) 2016-05-11
JP5855358B2 (ja) 2016-02-09
WO2012165203A1 (ja) 2012-12-06
US9486123B2 (en) 2016-11-08
JP2012245157A (ja) 2012-12-13
US20140046131A1 (en) 2014-02-13

Similar Documents

Publication Publication Date Title
CN103561629B (zh) 内窥镜装置及内窥镜装置的工作方法
CN103561632B (zh) 内窥镜装置
CN103764013B (zh) 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
US9154745B2 (en) Endscope apparatus and program
CN103415240B (zh) 内窥镜系统
CN103841879B (zh) 内窥镜用图像处理装置、内窥镜装置和图像处理方法
CN103269636B (zh) 内窥镜装置以及图像处理方法
CN107072509A (zh) 内窥镜系统以及评价值计算装置
CN109310301A (zh) 电子内窥镜用处理器以及电子内窥镜系统
CN106999019B (zh) 图像处理装置、图像处理方法、记录介质以及内窥镜装置
WO2017168986A1 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
CN104883948B (zh) 图像处理装置以及图像处理方法
WO2020052623A1 (zh) 一种用于可见光和激发荧光实时成像的系统和方法
CN106714651A (zh) 评价值计算装置以及电子内窥镜系统
JP6150554B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN102131449A (zh) 摄像系统以及内窥镜系统
US20210251570A1 (en) Surgical video creation system
CN102596001A (zh) 图像处理装置和图像处理方法
CN107005683A (zh) 内窥镜装置
JP6150555B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
CN110893096A (zh) 一种基于图像曝光的多光谱成像系统和方法
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant