CN105007802A - 图像处理装置、内窥镜装置、图像处理方法和图像处理程序 - Google Patents

图像处理装置、内窥镜装置、图像处理方法和图像处理程序 Download PDF

Info

Publication number
CN105007802A
CN105007802A CN201380073710.0A CN201380073710A CN105007802A CN 105007802 A CN105007802 A CN 105007802A CN 201380073710 A CN201380073710 A CN 201380073710A CN 105007802 A CN105007802 A CN 105007802A
Authority
CN
China
Prior art keywords
information
known features
subject
emphasize
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380073710.0A
Other languages
English (en)
Inventor
樋口圭司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105007802A publication Critical patent/CN105007802A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明提供能够进行与观察状态对应的强调处理的图像处理装置、内窥镜装置、图像处理方法和图像处理程序等。图像处理装置包括:图像取得部(310),其取得包含被摄体的像的摄像图像;距离信息取得部(380),其取得基于拍摄摄像图像时从摄像部到被摄体的距离的距离信息;已知特性信息取得部(390),其取得表示与被摄体有关的已知特性的信息即已知特性信息;以及强调处理部(370),其以与距离信息对应的处理内容,根据已知特性信息进行强调处理。

Description

图像处理装置、内窥镜装置、图像处理方法和图像处理程序
技术领域
本发明涉及图像处理装置、内窥镜装置、图像处理方法和图像处理程序等。
背景技术
在使用内窥镜装置的活体内部的观察、诊断中,广泛应用通过观察活体的微小的凹凸状态或发红/褪色等颜色差异来识别是否是早期病变部的方法。并且,不仅是活体用的内窥镜装置,在工业用的内窥镜装置中,观察被摄体(狭义地讲为被摄体表面)的凹凸构造等也是有用的,例如能够检测难以直接目视的管内部等产生的龟裂等。并且,在内窥镜装置以外的图像处理装置中,多数情况下,从作为处理对象的图像中检测被摄体的凹凸构造等也是有用的。
在内窥镜装置中,通过进行图像强调,能够进行容易观察被摄体的构造和颜色差异的处理。例如,作为通过图像处理来强调被摄体的构造的方法,公知有专利文献1所公开的方法。或者,作为通过颜色强调来识别病变部位的方法,公知有专利文献2所公开的方法。
现有技术文献
专利文献
专利文献1:日本特开2003-88498号公报
专利文献2:日本特开2005-342234号公报
发明内容
发明要解决的课题
这样,在针对不同观察状态进行了同一强调处理的情况下,存在可能成为难以观察的图像的课题。例如,在活体用的内窥镜装置中,在筛选观察和放大观察中,图像的运动速度不同,并且,医师关注的观察对象也不同,所以,期望进行适于各个观察状态的强调处理。
根据本发明的几个方式,能够提供可以进行与观察状态对应的强调处理的图像处理装置、内窥镜装置、图像处理方法和图像处理程序等。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置,该图像处理装置包括:图像取得部,其取得包含被摄体的像的摄像图像;距离信息取得部,其取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息;已知特性信息取得部,其取得表示与所述被摄体有关的已知特性的信息即已知特性信息;以及强调处理部,其以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
根据本发明的一个方式,以与到被摄体之间的距离信息对应的处理内容,进行基于表示与被摄体有关的已知特性的信息即已知特性信息的强调处理。由于到被摄体之间的距离根据观察状态而不同,所以,能够进行与观察状态对应的强调处理。
本发明的另一个方式涉及一种图像处理装置,该图像处理装置包括:图像取得部,其取得包含被摄体的像的摄像图像;距离信息取得部,其取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息;已知特性信息取得部,其取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息;以及强调处理部,其对所述摄像图像进行强调处理,所述强调处理部具有对象确定部,该对象确定部从所述距离信息中提取与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部,将所提取出的所述凹凸部确定为所述强调处理的对象,所述强调处理部进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,以第1处理内容对所述对象进行所述强调处理,在判断为所述观察状态是放大观察状态的情况下,以第2处理内容对所述对象进行所述强调处理。
并且,本发明的又一个方式涉及一种内窥镜装置,该内窥镜装置包括上述任意一项所记载的图像处理装置。
并且,本发明的另一个方式涉及一种图像处理方法,取得包含被摄体的像的摄像图像,取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息,取得表示与所述被摄体有关的已知特性的信息即已知特性信息,以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
并且,本发明的又一个方式涉及一种图像处理程序,该图像处理程序使计算机执行以下步骤:取得包含被摄体的像的摄像图像,取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息,取得表示与所述被摄体有关的已知特性的信息即已知特性信息,以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
附图说明
图1是图像处理装置的结构例。
图2是内窥镜装置的结构例。
图3是第1实施方式中的图像处理部的详细结构例。
图4是距离信息取得部的详细结构例。
图5是内窥镜装置的变形结构例。
图6是第1实施方式中的强调处理部的详细结构例。
图7(A)~图7(D)是通过滤波处理对提取凹凸信息进行提取处理的说明图。
图8(A)~图8(F)是通过形态学处理对提取凹凸信息进行提取处理的说明图。
图9是第1实施方式中的图像处理的流程图例。
图10是第2实施方式中的强调处理部的详细结构例。
图11是第2实施方式中的图像处理的流程图例。
具体实施方式
下面,对本实施方式进行说明。另外,以下说明的本实施方式并不是不当限定权利要求书所记载的本发明的内容。并且,本实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.本实施方式的概要
在使用内窥镜装置这样的摄像装置鉴别/诊断消化道的早期病变时,主要看活体表面的凹凸等构造和发红/褪色等颜色差异。为了更加容易地观察这种被摄体的构造,存在通过对消化道散布色素来改善颜色和对比度的方法。
但是,进行色素散布的作业对于医师来说是烦杂的,并且,对于患者来说也成为负担,所以,尝试通过图像处理来强调颜色和凹凸构造从而判别病变部(例如专利文献1、2)。
在这种基于图像处理的强调中,根据观察状态(观察方法)来改变处理内容时,成为容易观看的图像。例如,在如筛选观察那样比较快地移动而依次观看消化道整体的情况下,医师观察比较大的构造。因此,需要在图像上进行提示以使得不会漏看该较大的构造。另一方面,在通过筛选来确定目标的场所并对其详细构造进行放大观察(精查观察、接近观察)的情况下,医师观察微细的构造。因此,需要强调该微细的构造且能够判断目标是良性还是恶性。
但是,在这样根据观察状态而手动切换强调处理的内容的情况下,操作烦杂。另一方面,当不切换强调处理的内容而始终对较大的构造和微细的构造双方进行强调时,在筛选观察中,由于图像的运动较快,所以,即使强调微细的构造也很难看到,在放大观察中,虽然希望看到微细的构造,但是,由于强调了较大的构造而很难看到微细的构造。
图1示出能够解决这种课题的图像处理装置的结构例。该图像处理装置包括:图像取得部310,其取得包含被摄体的像的摄像图像;距离信息取得部380,其取得基于拍摄摄像图像时从摄像部到被摄体的距离的距离信息;已知特性信息取得部390,其取得表示与被摄体有关的已知特性的信息即已知特性信息;以及强调处理部370,其以与距离信息对应的处理内容,根据已知特性信息进行强调处理。
例如,在活体用的内窥镜装置中,在一边使镜体(摄像部)相对于消化道移动一边探索病变部的筛选观察的情况下,从镜体到被摄体的距离比较远。另一方面,在对筛选观察中发现的病变候选进行精查的放大观察的情况下,使镜体接近被摄体。这样,在不同观察状态下,与被摄体之间的距离也不同,所以,通过以与距离信息对应的处理内容进行强调处理,能够根据观察状态来改变强调处理。由此,能够选择性地强调各观察状态下应该强调的部分而容易观看。
如后所述,强调处理部370根据距离信息求出代表与被摄体之间的距离的代表距离,将与由已知特性信息确定的特性一致的被摄体作为强调处理的对象,以与代表距离对应的处理内容进行强调处理。例如,强调处理部370也可以包括确定与由已知特性信息确定的特性一致的被摄体作为强调处理的对象的对象确定部371。而且,强调处理部370也可以对该确定的对象进行强调处理。另外,如后所述,对象确定部371不是必须的,也可以不确定对象而根据已知特性信息进行强调处理。
更具体而言,强调处理部在判断为代表距离符合与筛选观察对应的距离的情况下,对所确定的对象进行第1处理内容的强调处理。另一方面,在判断为代表距离符合与接近观察对应的距离的情况下,对所确定的对象进行与第1处理内容不同的第2处理内容的强调处理。
这样,根据已知特性信息确定希望强调的对象,能够进行与距离信息对应的强调处理,以使得在各观察状态下容易观看该对象。如后所述,对象是活体的凹凸部或发红部/褪色部,在各个部分中具有各观察状态下用户关注的特征(例如较大的构造、较小的构造、规定颜色的区域等)。在强调处理中,根据这种观察状态对用户关注的特征进行强调即可。例如,在快速移动镜体的筛选观察中,进行强调比较大的凹凸构造的处理,在进行病变的精查的放大观察中,能够强调微细的凹凸构造。
这里,距离信息是将摄像图像中的各位置和该各位置处的与被摄体之间的距离对应起来的信息。例如距离信息是距离映射图。距离映射图是如下的映射图:例如在设摄像部200的光轴方向为Z轴的情况下,关于XY平面的各点(例如各像素),将与被摄体之间的Z轴方向上的距离(进深/深度)作为该点的值。
另外,距离信息是根据从摄像部200到被摄体的距离而取得的各种信息即可。例如,在利用立体光学系统进行三角测量的情况下,将以连接产生视差的2个透镜的平面的任意点为基准的距离作为距离信息即可。或者,在使用Time of Flight(飞行时间)方式的情况下,例如,取得以摄像元件面的各像素位置为基准的距离作为距离信息即可。这些是将距离计测的基准点设定在摄像部200中的例子,但是,基准点也可以设定在摄像部200以外的任意场所、例如包含摄像部和被摄体的三维空间内的任意场所,使用这种基准点的情况下的信息也包含在本实施方式的距离信息中。
关于从摄像部200到被摄体的距离,例如考虑从摄像部200到被摄体的进深方向的距离。作为一例,使用摄像部200的光轴方向上的距离即可。例如,在与摄像部200的光轴垂直的方向上设定视点的情况下,也可以是在该视点处观察的距离(穿过该视点的与光轴平行的线上的从摄像部200到被摄体的距离)。
例如,距离信息取得部380也可以通过公知的坐标转换处理,将以摄像部200的第1基准点为原点的第1坐标系中的各对应点的坐标转换为以三维空间内的第2基准点为原点的第2坐标系中的对应点的坐标,根据该转换后的坐标来计测距离。该情况下,第2坐标系中的从第2基准点到各对应点的距离成为第1坐标系中的从第1基准点到各对应点的距离、即“从摄像部到各对应点的距离”,两者一致。
并且,距离信息取得部380也可以通过在能够维持与在摄像部200中设定了基准点的情况下取得的距离映射图上的各像素间的距离值的大小关系相同的大小关系的位置设置假想的基准点,取得基于从摄像部200到对应点的距离的距离信息。例如,在从摄像部200到3个对应点的实际距离为“3”、“4”、“5”的情况下,在维持各像素间的距离值的大小关系的状态下,距离信息取得部380也可以取得使这些距离一律成为一半的“1.5”、“2”、“2.5”。
并且,已知特性信息是能够分离被摄体表面的构造中的本实施方式中有用的构造和无用的构造的信息。具体而言,可以将强调有用的(例如有助于发现早期病变部的)凹凸部和颜色的信息(例如病变部中的特征性的凹凸部的尺寸、色相、彩度等)作为已知特性信息,该情况下,与该已知特性信息一致的被摄体成为强调处理的对象。或者,也可以将即使强调也没用的构造的信息作为已知特性信息,该情况下,与已知特性信息不一致的被摄体成为强调对象。或者,还可以保持有用的凹凸部和没用的构造双方的信息,高精度地设定有用的凹凸部的范围。
另外,在上述中,以根据距离信息进行与观察状态对应的强调处理的情况为例进行了说明,但是,本实施方式不限于此。即,距离信息不是必须的,也可以根据某些信息(例如用户的操作信息、或图像的各种特征量等)判断是筛选观察还是放大观察,进行与其结果对应的强调处理。
2.第1实施方式
2.1.内窥镜装置
接着,对本实施方式进行详细说明。图2示出第1实施方式中的内窥镜装置的结构例。内窥镜装置包括光源部100、摄像部200、处理器部300(控制装置)、显示部400、外部I/F部500。
光源部100包括白色光源101、具有多个分光透射率的旋转滤色镜102、驱动旋转滤色镜102的旋转驱动部103、使来自旋转滤色镜102的具有各分光特性的光会聚在光导纤维201的入射端面的会聚透镜104。旋转滤色镜102由三原色的滤镜(红色滤镜、绿色滤镜、蓝色滤镜)以及旋转马达构成。
旋转驱动部103根据来自处理器部300的控制部302的控制信号,与摄像部200的摄像元件206的摄像期间同步地使旋转滤色镜102以规定的转速旋转。例如,当使旋转滤色镜102在1秒间旋转20次时,各滤色镜以60分之一秒间隔横切入射白色光。该情况下,以60分之一秒间隔对观察对象照射三原色的各色光(R或G或B),摄像元件206对来自该观察对象的反射光进行摄像,将该摄像图像转送到A/D转换部209。即,R图像、G图像、B图像成为以60分之一秒间隔以面顺次的方式进行摄像的内窥镜装置的例子,实质的帧率为20fps。
另外,本实施方式不限于上述的面顺次方式,例如也可以对被摄体照射来自白色光源101的白色光,通过具有RGB拜尔排列的彩色滤镜的摄像元件进行摄像。
摄像部200形成为细长且能够弯曲,以使得能够插入到例如胃或大肠等体腔内。摄像部200包括用于引导由光源部100会聚的光的光导纤维201、使由光导纤维201引导到前端的光扩散而对观察对象进行照射的照明透镜203。并且,摄像部200包括使从观察对象返回的反射光会聚的物镜204、用于检测会聚后的成像光的摄像元件206、将来自摄像元件206的光电转换后的模拟信号转换为数字信号的A/D转换部209。并且,摄像部200包括记录摄像部200的镜体ID信息和包含制造偏差在内的固有信息的存储器210、能够拆装摄像部200和处理器部300的连接器212。
在面顺次方式的情况下,摄像元件206是单色单板摄像元件,例如能够利用CCD或CMOS图像传感器等。A/D转换部209将从摄像元件206输出的模拟信号转换为数字信号,将该数字信号的图像输出到图像处理部301。存储器210与控制部302连接,将镜体ID信息和包含制造偏差在内的固有信息转送到控制部302。
处理器部300包括对从A/D转换部209转送的图像进行图像处理的图像处理部301、对内窥镜装置的各部进行控制的控制部302。
显示部400是能够进行动态图像显示的显示装置,例如由CRT或液晶监视器等构成。
外部I/F部500是用于从用户对该内窥镜装置进行输入等的接口。外部I/F部500例如构成为包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关(例如用于进行活体表面的凹凸部的选择性的强调处理的开关)等。而且,该外部I/F部500将所输入的信息输出到控制部302。
2.2.图像处理部
图3示出图像处理部301的详细结构例。图像处理部301包括图像结构部320、存储部350、强调处理部370、距离信息取得部380、已知特性信息取得部390。另外,图像结构部320对应于图1的图像取得部310。
图像结构部320对由摄像部200进行摄像而得到的图像实施规定的图像处理(例如OB处理、增益处理、伽马处理等),生成能够输出到显示部400的图像。图像结构部320将处理后的图像输出到强调处理部370、距离信息取得部380。
已知特性信息取得部390读出(取得)存储部350中存储的已知特性信息,将该已知特性信息输出到强调处理部370。这里,已知特性信息是作为强调对象而希望确定的活体固有的凹凸部的尺寸(宽度、高度和深度等维度信息)。
距离信息取得部380根据摄像图像取得与被摄体之间的距离信息,将该距离信息输出到强调处理部370。距离信息例如是针对摄像图像的各像素对应有该像素处的与被摄体之间的距离的距离映射图。另外,距离信息取得部380在后面详细叙述。
强调处理部370根据已知特性信息和距离信息来确定对象,对该对象进行与距离信息对应的强调处理,将处理后的图像输出到显示部400。具体而言,根据距离信息求出代表距离。代表距离例如是距离映射图的中央位置处的距离、距离映射图的规定区域内的平均距离等。或者,也可以使用距离映射图的距离的分散值。在筛选观察中,由于镜体离开活体表面,所以距离的分散值较大,在放大观察中,由于镜体正对着活体表面并与其接近,所以距离的分散值较小。并且,强调处理部370从距离信息中提取与已知特性信息所表示的期望的维度特性一致的凹凸部,确定该提取出的凹凸部作为对象。
而且,强调处理部370在代表距离大于阈值的情况下(例如筛选观察时),对提取出的凹凸部中的尺寸(凹凸图案)大于第1尺寸阈值的凹凸部进行强调。另一方面,在代表距离小于阈值的情况下(例如放大观察时),对提取出的凹凸部中的尺寸(凹凸图案)小于第2尺寸阈值的凹凸部进行强调。按照各个观察状态下希望强调(或容易观看强调后的图像)的凹凸部的尺寸来设定第1尺寸阈值和第2尺寸阈值即可。作为强调处理,例如在凹部和凸部中对不同颜色成分进行强调。
另外,在本实施方式中,不限于对所确定的对象进行强调处理的情况,也可以不确定对象而根据已知特性信息进行强调处理。例如,也可以根据已知特性信息所表示的凹凸部的尺寸来设定构造强调(例如图像的高频成分的强调)的滤波器特性(例如要强调的频带),对期望尺寸的凹凸部进行强调。该情况下,也可以根据代表距离来改变滤波器特性。
2.3.距离信息取得处理
图4示出距离信息取得部380的详细结构例。距离信息取得部380包括亮度信号计算部323、差分运算部324、2次微分运算部325、模糊参数运算部326、存储部327、LUT存储部328。
亮度信号计算部323根据控制部302的控制,根据从图像取得部310输出的摄像图像,通过下式(1)求出亮度信号Y(亮度值)。
【数学式1】
Y=0.299×R+0.587×G+0.114×B  (1)
计算出的亮度信号Y被转送到差分运算部324、2次微分运算部325、存储部327。差分运算部324根据模糊参数计算所需要的多个图像,计算亮度信号Y的差分。2次微分运算部325计算图像中的亮度信号Y的2次微分,计算根据模糊不同的多个亮度信号Y而得到的2次微分的平均值。模糊参数运算部326根据由差分运算部324计算出的图像的亮度信号Y的差分除以由2次微分运算部325计算出的2次微分的平均值,计算模糊参数。
存储部327存储第1张拍摄的图像中的亮度信号Y及其2次微分的结果。由此,距离信息取得部380能够经由控制部302将对焦透镜配置在不同位置,在不同时刻取得多个亮度信号Y。LUT存储部328以一览表(LUT)的形式存储模糊参数与被摄体距离的关系。
接着,对被摄体距离的计算方法进行说明。当开始计算被摄体距离后,控制部302根据由外部I/F部500预先设定的拍摄模式,使用公知的对比度检测方式、相位差检测方式等计算最佳的对焦透镜位置。接着,透镜驱动部250根据来自控制部302的信号,将对焦透镜驱动到计算出的对焦透镜位置。然后,在驱动的对焦透镜位置,通过摄像元件206取得被摄体的第1张图像。所取得的图像经由图像取得部310和亮度信号计算部323存储在存储部327中。
然后,通过透镜驱动部250,将对焦透镜驱动到与取得了第1张图像的对焦透镜位置不同的第2对焦透镜位置,通过摄像元件206取得被摄体的第2张图像。由此取得的第2张图像经由图像取得部310输出到距离信息取得部380。
当第2张图像的取得完成后,计算模糊参数。在距离信息取得部380中,差分运算部324从存储部327中读出第1张图像中的亮度信号Y,计算第1张图像中的亮度信号Y与从亮度信号计算部323输出的第2张图像中的亮度信号Y的差分。
并且,2次微分运算部325计算从亮度信号计算部323输出的第2张图像中的亮度信号Y的2次微分。然后,从存储部327中读出第1张图像中的亮度信号Y,计算其2次微分。然后,计算所计算出的第1张和第2张的2次微分的平均值。
然后,模糊参数运算部326根据由差分运算部324运算出的差分除以由2次微分运算部325运算出的2次微分的平均值,计算模糊参数。
模糊参数与对焦透镜位置的关系作为表而存储在LUT存储部328中。在模糊参数运算部326中,使用模糊参数和LUT存储部328中存储的表的信息,根据模糊参数,通过线性插值求出针对光学系统的被摄体距离。计算出的被摄体距离作为距离信息输出到强调处理部370。
另外,在本实施方式中,不限于上述距离信息取得处理,例如也可以通过使用了红外光的Time of Flight方式等求出距离信息。并且,在使用Time of Flight的情况下,还能够进行不使用红外光而使用蓝色光等的变形实施。
或者,在本实施方式中,也可以通过立体匹配来取得距离信息。图5示出该情况下的内窥镜装置的结构例。该内窥镜装置在图2的结构例的基础上,摄像部200包括物镜205、摄像元件207。
物镜204、205配置在以规定的间隔分开的位置,配置成能够拍摄视差图像(以后记为立体图像)。在摄像元件206、207中分别形成立体图像中的左图像、右图像。A/D转换部209对从摄像元件206、207输出的左图像、右图像进行A/D转换,将转换后的左图像、右图像输出到图像结构部320和距离信息取得部380。
然后,距离信息取得部380将左图像作为基准图像,在穿过该基准图像的关注像素的极线(Epipolar)上,进行包含该关注像素的局部区域与右图像的局部区域的匹配运算。计算匹配运算中成为最大相关的位置作为视差,将该视差转换为进深方向(距离映射图的Z轴方向)的距离,将该距离信息输出到强调处理部370。
2.4.对象确定处理、强调处理
图6示出强调处理部370的详细结构例。强调处理部370包括对象确定部371、强调部372。另外,下面,以根据距离信息和已知特性信息来确定对象并对该所确定的对象进行强调处理的情况为例进行说明,但是,如上所述,本实施方式不限于此。
图7(A)示意性地示出距离映射图的例子。下面,为了便于说明,考虑一维的距离映射图,在箭头所示的方向上取距离的轴。距离映射图包含活体的大体构造的信息(例如管腔或褶皱2、3、4等的形状信息)以及活体表层的凹凸部(例如凹部10、30、凸部20)的信息双方。
已知特性信息取得部390从存储部350取得维度信息(希望提取的活体的凹凸部的尺寸信息)作为已知特性信息,根据该维度信息决定低通滤波处理的频率特性。如图7(B)所示,对象确定部371对距离映射图实施该频率特性的低通滤波处理,提取活体的大体构造的信息(与管腔或褶皱等有关的形状信息)。
而且,如图7(C)所示,对象确定部371从距离映射图中减去活体的大体构造的信息,生成活体表层的凹凸信息即凹凸映射图(期望尺寸的凹凸部的信息)。例如,将图像或距离映射图、凹凸映射图中的水平方向定义为x轴,将垂直方向定义为y轴。当将距离映射图的坐标(x、y)中的距离定义为dist(x、y)、将低通滤波处理后的距离映射图的坐标(x、y)中的距离定义为dist_LPF(x、y)时,通过下式(2)求出凹凸映射图的坐标(x、y)中的凹凸信息diff(x、y)。
【数学式2】
diff(x,y)=dist(x,y)-dist_LPF(x,y)  (2)
对象确定部371将如上所述求出的凹凸映射图输出到强调部372。在该例中,提取活体表层的凹凸部作为凹凸映射图,这相当于确定活体表层的凹凸部作为强调对象。
接着,对根据维度信息决定截止频率(广义地讲为提取处理参数)的处理进行详细说明。
对象确定部371对所输入的距离信息实施规定的尺寸(例如N×N像素(N为2以上(包含该值)的自然数))的低通滤波处理。然后,根据该处理后的距离信息(局部平均距离),自适应地决定提取处理参数。具体而言,决定对引起病变部的希望提取的活体固有的凹凸部进行平滑化并且保持观察部位固有的管腔和褶皱的构造的低通滤波器的特性。由于根据已知特性信息得知作为提取对象的凹凸部、作为除外对象的褶皱和管腔构造的特性,所以,这些空间频率特性已知,能够决定低通滤波器的特性。并且,根据局部平均距离,外观上的构造的大小发生变化,所以,如图7(D)所示,根据局部平均距离来决定低通滤波器的特性。
低通滤波处理例如由下式(3)所示的高斯滤波器或下式(4)所示的双边滤波器实现。这些滤波器的频率特性由σ、σc、σν控制。此时,也可以生成与距离映射图的像素一一对应的σ映射图作为提取处理参数。另外,在双边滤波器的情况下,也可以生成σc、σν双方或一方的σ映射图。
【数学式3】
f ( x ) = 1 N exp ( - ( x - x 0 ) 2 2 σ 2 ) - - - ( 3 )
【数学式4】
f ( x ) = 1 N exp ( - ( x - x 0 ) 2 2 σ c 2 ) × exp ( - ( p ( x ) - p ( x 0 ) ) 2 2 σ v 2 ) - - - ( 4 )
作为σ,例如设定大于与希望提取的活体固有的凹凸部的尺寸对应的距离映射图的像素间距离D1的规定倍α(>1)、且小于与观察部位固有的管腔和褶皱的尺寸对应的距离映射图的像素间距离D2的规定倍β(<1)的值。例如,可以设定为σ=(α*D1+β*D2)/2*Rσ。这里,Rσ是局部平均距离的函数,局部平均距离越小,则值越大,局部平均距离越大,则值越小。
另外,已知特性信息取得部390例如从存储部350中读出与观察部位对应的维度信息,对象确定部371也可以根据该维度信息来确定与观察部位对应的对象。观察部位例如可以由图2的存储器210中存储的镜体ID来决定。例如在上部消化器用镜体的情况下,读出与作为观察部位的食道、胃、十二指肠对应的维度信息。或者,在下部消化器用镜体的情况下,读出与作为观察部位的大肠对应的维度信息。
这里,在本实施方式中,不限于上述这种使用了低通滤波处理的提取处理,例如也可以通过形态学处理来取得提取凹凸信息。该情况下,如图8(A)所示,对距离映射图进行规定的内核尺寸(构造要素的大小(球的直径))的开启处理、闭合处理。提取处理参数是构造要素的大小。例如在使用球作为构造要素的情况下,作为该球的直径,设定小于基于观察部位信息的部位固有的管腔和褶皱的尺寸、且大于引起病变部的希望提取的活体固有的凹凸部的尺寸的直径。并且,如图8(F)所示,局部平均距离越小,则越增大直径,局部平均距离越大,则越减小直径。如图8(B)、图8(C)所示,取通过闭合处理而得到的信息与原来的距离信息的差分,由此提取活体表面的凹部。并且,如图8(D)、图8(E)所示,取通过开启处理而得到的信息与原来的距离信息的差分,由此提取活体表面的凸部。
强调部372根据代表距离来判断观察状态(观察方法),进行与观察状态对应的强调处理。具体而言,强调部372在代表距离较大而判断为筛选观察的情况下,对提取出的凹凸部中的较大尺寸的凹凸部进行强调。另一方面,在代表距离较小而判断为放大观察的情况下,对提取出的凹凸部中的较小尺寸的凹凸部进行强调。
作为强调处理的一例,说明在凹部和凸部中对不同颜色进行强调的处理。根据上式(2),例如设diff(x、y)<0的像素为凸部,设diff(x、y)>0的像素为凹部。然后,对凸部的像素进行例如规定的色相的彩度强调,对凹部的像素进行与其不同的规定的色相的彩度强调。作为凹凸部的尺寸,例如使用凸部区域的宽度(像素数)、凹部区域的宽度(像素数),通过对该尺寸和阈值进行比较来判别凹凸部的大小即可。另外,本实施方式不限于此,能够应用各种强调处理。例如也可以进行如下处理:diff(x、y)越大(凹部越深),则越强调规定的颜色(例如蓝色),越再现靛胭脂等的色素散布。并且,也可以在筛选观察和放大观察中改变上色方式。
根据以上的实施方式,对象确定部371根据已知特性信息决定提取处理参数,根据所决定的提取处理参数确定被摄体的凹凸部作为强调处理的对象。
由此,能够进行使用由已知特性信息决定的提取处理参数来提取(分离)凹凸信息的处理(对象确定处理)。为了高精度地提取出提取凹凸信息,需要进行从距离信息所包含的各种构造的信息中提取与期望的凹凸部有关的信息、并将其他构造(例如褶皱等活体固有的构造)除外的控制。这里,通过根据已知特性信息来设定提取处理参数,实现这种控制。
并且,在本实施方式中,对象确定部371根据已知特性信息,决定开启处理和闭合处理中使用的构造要素的尺寸作为提取处理参数,使用所决定的尺寸的构造要素进行开启处理和闭合处理,提取被摄体的凹凸部作为提取凹凸信息。
这样,能够根据开启处理和闭合处理(广义地讲为形态学处理)提取出提取凹凸信息。此时的提取处理参数是开启处理和闭合处理中使用的构造要素的尺寸。在本实施方式中,由于假设球作为构造要素,所以,提取处理参数成为表示球的直径等的参数。
并且,摄像图像是对活体的内部进行了摄像而得到的活体内图像,被摄体具有活体内部的管腔构造即活体的全局的三维构造和形成在管腔构造中的与全局的三维构造相比成为局部的凹凸构造,对象确定部371提取被摄体所包含的全局的三维构造和凹凸部中的与由已知特性信息确定的特性一致的被摄体的凹凸部作为提取凹凸信息。
由此,在将活体内图像作为对象的情况下,能够实现提取距离信息所包含的全局的(这里是指空间频率低于凹凸部的构造)三维构造和小于该全局的三维构造的凹凸部的处理。例如,在将早期病变部的发现中有用的凹凸部作为提取对象的情况下,不需要将活体固有的褶皱、由于壁面的曲率而引起的构造等活体固有的三维构造作为提取对象,对象确定部371将它们除外来提取凹凸部即可。该情况下,除外的部分成为全局的构造(空间频率较低的构造),提取对象成为局部的构造(空间频率较高的构造),所以,设定相当于其中间部分的空间频率等作为边界。
2.5.软件
在上述实施方式中,构成处理器部300的各部由硬件构成,但是,本实施方式不限于此。例如,也可以构成为CPU对使用摄像装置预先取得的图像信号和距离信息进行各部的处理,通过由CPU执行程序而作为软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
该情况下,读出信息存储介质中存储的程序,CPU等处理器执行所读出的程序。这里,信息存储介质(计算机可读取的介质)保存程序和数据等,其功能可以通过光盘(DVD、CD等)、HDD(硬盘驱动)或存储器(卡型存储器、ROM等)等实现。然后,CPU等处理器根据信息存储介质中保存的程序(数据)进行本实施方式的各种处理。即,在信息存储介质中存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部发挥功能的程序(用于使计算机执行各部的处理的程序)。
图9示出利用软件实现图像处理部301进行的处理的情况下的流程图。当开始进行该处理后,取得摄像图像(步骤S1),取得对该摄像图像进行了摄像时的距离信息(步骤S2)。
接着,通过上述方法确定对象(步骤S3)。并且,根据距离信息计算与被摄体之间的代表距离(步骤S4),判定代表距离(例如图像中央的距离、平均距离、距离分散值等)是否大于阈值ε(步骤S5)。在代表距离大于阈值ε的情况下判断为筛选观察,对摄像图像进行第1强调处理(步骤S6),输出处理后的图像(步骤S7)。在第1强调处理中,对所确定的对象中的大小大于第1尺寸阈值Tk的对象进行强调。另一方面,在代表距离为阈值ε以下(包含该值)的情况下判断为放大观察,对摄像图像进行第2强调处理(步骤S8),输出处理后的图像(步骤S9)。在第2强调处理中,对所确定的对象中的大小小于第2尺寸阈值Ts的对象进行强调。
根据以上的实施方式,已知特性信息取得部390取得表示与被摄体的构造有关的已知特性的信息即已知特性信息。强调处理部370将与由已知特性信息确定的特性一致的被摄体的凹凸部作为对象,进行强调处理。例如,在本实施方式中,对象确定部371从距离信息(狭义地讲为距离映射图)中提取已知特性信息所表示的期望的特性(例如尺寸)的凹凸部,确定提取出的凹凸部作为对象。然后,强调处理部370对所确定的对象进行强调处理。
这样,能够根据距离信息和已知特性信息进行强调处理,能够在该强调处理中根据观察状态来改变处理内容。通过使用距离信息,例如能够确定三维构造或形状具有特征的观察对象。即,能够进行提取具有期望特性(例如尺寸)的凹凸部并对该凹凸部进行强调的处理。在强调处理中,能够根据距离信息来改变强调处理,以对用户在各观察状态下着眼的凹凸部进行强调。
更具体而言,强调处理部370在代表距离(例如图像中央的距离、平均距离、距离分散值等)大于阈值ε的情况下,对提取出的凹凸部中的被判断为尺寸大于第1尺寸阈值Tk的凹凸部进行强调处理。另一方面,在代表距离小于阈值ε的情况下,对凹凸部中的被判断为尺寸小于第2尺寸阈值Ts的凹凸部进行强调处理。
这样,在快速移动镜体的筛选观察中不强调较小的构造,能够减轻外观的烦杂度。另一方面,在精查病变的放大观察中强调较小的构造,容易观看病变的微小构造。如上所述,能够提高各观察状态下的视觉辨认性,能够实现病变漏看的减少和诊断精度的提高。
3.第2实施方式
在第2实施方式中,进行发红部或褪色部的强调。由于发红部/褪色部不具有凹凸部那样的形状特征,所以,优选改变成与针对凹凸部的强调方法不同的方法。这里,发红部是指在视觉上与周围颜色相比红色较强的部分,褪色部是指在视觉上与周围颜色相比红色较少的部分。
对第2实施方式中的详细结构进行说明。内窥镜装置和图像处理部301能够与第1实施方式同样地构成。另外,下面,对与第1实施方式相同的结构要素标注相同标号并适当省略说明。
图10示出第2实施方式中的强调处理部370的详细结构例。强调处理部370包括对象确定部371、强调部372。
已知特性信息取得部390取得希望提取的活体(例如发红部或褪色部)的颜色的信息作为已知特性信息。对象确定部371确定与该已知特性信息所表示的颜色一致的区域作为对象。以发红部为例时,确定从正常粘膜的颜色向红色方向偏移的区域作为发红部。例如,确定红色(R)的像素值与绿色(G)的像素值之比R/G大于周围的R/G的区域作为发红部。该情况下,例如以何种程度(例如多少倍)大于周围的R/G即可的信息是已知特性信息。或者,也可以存储R/G或色相值的范围作为已知特性信息,将与该R/G或色相值的范围一致的区域作为发红部。或者,还可以使用发红部中的特征性的图像频率或形态信息(例如尺寸或形状)作为已知特性信息。
强调部372在代表距离较大而判断为筛选观察的情况下,进行强调所确定的对象的颜色的处理。例如,进行加强发红部的红色(例如R/G或红色的色相范围的彩度等)、减弱褪色部的红色的处理。另一方面,在代表距离较小而判断为放大观察的情况下,进行强调图像的边缘成分的处理、通过频率解析来强调特定的频率区域的处理。并且,也可以进行与筛选观察时相同的颜色的强调。
另外,在上述中,以确定对象的情况为例进行了说明,但是,本实施方式中不限于此,也可以不确定对象而进行强调处理。例如,也可以在代表距离较大的情况下,进行越是红色较强的区域则越加强红色的处理,在代表距离较小的情况下,进行越是微小的构造则越增大强调程度的强调处理。该情况下,例如存储红色的强调特性作为已知特性信息。
并且,检测对象不限于发红部或褪色部,例如也可以是息肉等。在对象是息肉的情况下,例如也可以存储息肉特有的形状(或颜色)作为已知特性信息,通过图案匹配(或颜色比较)来检测息肉。然后,在代表距离较大而判断为筛选观察的情况下,通过轮廓强调来强调息肉,在代表距离较小而判断为放大观察的情况下,除了轮廓强调以外,还可以进行颜色强调。
图11示出利用软件实现图像处理部301进行的处理的情况下的流程图。当开始进行该处理后,取得摄像图像(步骤S21)。接着,通过上述方法确定对象(步骤S22)。并且,取得与被摄体之间的距离信息(步骤S23),根据距离信息计算与被摄体之间的代表距离(例如图像中央的距离、平均距离、距离分散值等)(步骤S24),判定代表距离是否大于阈值ε(步骤S25)。在代表距离大于阈值ε的情况下判断为筛选观察,对摄像图像进行第1强调处理(步骤S26),输出处理后的图像(步骤S27)。在第1强调处理中,对所确定的对象的颜色进行强调。另一方面,在代表距离为阈值ε以下(包含该值)的情况下判断为放大观察,对摄像图像进行第2强调处理(步骤S28),输出处理后的图像(步骤S29)。在第2强调处理中,对所确定的对象的颜色和边缘进行强调。
根据以上的实施方式,已知特性信息取得部390取得表示与被摄体的颜色有关的已知特性的信息即已知特性信息。
这样,能够根据与希望观察的对象中的特征性颜色有关的信息,以与观察状态对应的内容针对该颜色进行强调处理。通过使用与颜色有关的信息,能够进行强调以使得例如容易观看颜色与正常部不同的病变部等。
并且,在本实施方式中,强调处理部370将与由已知特性信息确定的特性一致的被摄体作为强调处理的对象,以与距离信息对应的处理内容来进行强调处理。例如,在本实施方式中,对象确定部371确定与由已知特性信息确定的特性一致的被摄体作为强调处理的对象,强调处理部370对该确定的对象进行强调处理。
更具体而言,强调处理部370根据距离信息求出代表与被摄体之间的距离的代表距离(例如图像中央的距离、平均距离、距离分散值等)。而且,强调处理部370在代表距离大于阈值ε的情况下,进行强调对象的颜色(例如R/G或规定的色相的彩度)的强调处理。另一方面,在代表距离小于阈值ε的情况下,进行强调对象的至少构造的强调处理。
例如,已知特性信息是表示与红色成分(例如R/G)大于正常粘膜的颜色的发红部的颜色有关的已知特性的信息。强调处理部370在代表距离大于阈值ε的情况下,进行强调被确定为对象的发红部的红色成分(例如R/G或红色的色相范围的彩度)的强调处理。
这样,在快速移动镜体的筛选观察中,例如不会漏看发红部/褪色部等的颜色具有特征的病变部,能够确定该病变部的场所。另一方面,在精查病变的放大观察中,不仅能够强调颜色,还能够强调构造,所以,能够容易观看用户着眼的病变部的微细构造。如上所述,能够提高各观察状态下的视觉辨认性,能够实现病变漏看的减少和诊断精度的提高。
以上对应用了本发明的实施方式及其变形例进行了说明,但是,本发明不限于各实施方式及其变形例,能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且,通过对上述各实施方式和变形例所公开的多个结构要素进行适当组合,能够形成各种发明。例如,可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而,也可以对不同实施方式和变形例中说明的结构要素进行适当组合。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。并且,在说明书或附图中,至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同用语。
标号说明
2~4:褶皱;10、30:凹部;20:凸部;100:光源部;101:白色光源;102:旋转滤色镜;103:旋转驱动部;104:会聚透镜;200:摄像部;201:光导纤维;203:照明透镜;204、205:物镜;206、207:摄像元件;209:A/D转换部;210:存储器;212:连接器;250:透镜驱动部;300:处理器部;301:图像处理部;302:控制部;310:图像取得部;320:图像结构部;323:亮度信号计算部;324:差分运算部;325:2次微分运算部;326:参数运算部;327:存储部;328:LUT存储部;350:存储部;370:强调处理部;371:对象确定部;372:强调部;380:距离信息取得部;390:已知特性信息取得部;400:显示部;500:外部I/F部。
权利要求书(按照条约第19条的修改)
1.(修改后)一种内窥镜装置,其特征在于,该内窥镜装置包括:
图像取得部,其取得包含被摄体的像的摄像图像;
距离信息取得部,其取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息;
已知特性信息取得部,其取得表示与所述被摄体有关的已知特性的信息即已知特性信息;以及
强调处理部,其以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理,
所述强调处理部进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行所述强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。
2.(修改后)根据权利要求1所述的内窥镜装置,其特征在于,
所述已知特性信息取得部取得如下的所述已知特性信息,该已知特性信息是表示与所述被摄体的构造有关的已知特性的信息,
所述强调处理部将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为对象来进行所述强调处理。
3.(修改后)根据权利要求2所述的内窥镜装置,其特征在于,
所述强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,
在所述代表距离大于阈值的情况下,所述强调处理部对所述凹凸部中的被判断为尺寸大于第1尺寸阈值的凹凸部进行所述强调处理,
在所述代表距离小于所述阈值的情况下,所述强调处理部对所述凹凸部中的被判断为尺寸小于第2尺寸阈值的凹凸部进行所述强调处理。
4.(修改后)根据权利要求1所述的内窥镜装置,其特征在于,
所述已知特性信息取得部取得如下的所述已知特性信息,该已知特性信息是表示与所述被摄体的颜色有关的已知特性的信息。
5.(修改后)根据权利要求4所述的内窥镜装置,其特征在于,
强调处理部将与由所述已知特性信息确定的特性一致的所述被摄体作为所述强调处理的对象,以与所述距离信息对应的所述处理内容来进行所述强调处理。
6.(修改后)根据权利要求5所述的内窥镜装置,其特征在于,
所述强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,
在所述代表距离大于阈值的情况下,所述强调处理部进行强调所述对象的颜色的所述强调处理,
在所述代表距离小于所述阈值的情况下,所述强调处理部进行强调所述对象的至少构造的所述强调处理。
7.(修改后)根据权利要求6所述的内窥镜装置,其特征在于,
所述已知特性信息是表示与红色成分大于正常粘膜的颜色的发红部的颜色有关的已知特性的信息,
在所述代表距离大于所述阈值的情况下,所述强调处理部进行强调被确定为所述对象的所述发红部的红色成分的所述强调处理。
8.(修改后)根据权利要求1所述的内窥镜装置,其特征在于,
强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,将与由所述已知特性信息确定的特性一致的所述被摄体作为所述强调处理的对象,以与所述代表距离对应的所述处理内容来进行所述强调处理。
9.(修改后)根据权利要求8所述的内窥镜装置,其特征在于,
在判断为所述代表距离符合与所述被摄体的筛选观察对应的距离的情况下,所述强调处理部对所确定的所述对象进行第1处理内容的所述强调处理,
在判断为所述代表距离符合与所述被摄体的放大观察对应的距离的情况下,所述强调处理部对所确定的所述对象进行与所述第1处理内容不同的第2处理内容的所述强调处理。
10.(删除)
11.(删除)
12.(删除)
13.(删除)
14.一种图像处理方法,其特征在于,
取得包含被摄体的像的摄像图像,
取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息,
进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。
15.(删除)
16.一种图像处理程序,其特征在于,该图像处理程序使计算机执行以下步骤:
取得包含被摄体的像的摄像图像,
取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息,
进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。

Claims (16)

1.一种图像处理装置,其特征在于,该图像处理装置包括:
图像取得部,其取得包含被摄体的像的摄像图像;
距离信息取得部,其取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息;
已知特性信息取得部,其取得表示与所述被摄体有关的已知特性的信息即已知特性信息;以及
强调处理部,其以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述已知特性信息取得部取得如下的所述已知特性信息,该已知特性信息是表示与所述被摄体的构造有关的已知特性的信息,
所述强调处理部将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为对象来进行所述强调处理。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,
在所述代表距离大于阈值的情况下,所述强调处理部对所述凹凸部中的被判断为尺寸大于第1尺寸阈值的凹凸部进行所述强调处理,
在所述代表距离小于所述阈值的情况下,所述强调处理部对所述凹凸部中的被判断为尺寸小于第2尺寸阈值的凹凸部进行所述强调处理。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述已知特性信息取得部取得如下的所述已知特性信息,该已知特性信息是表示与所述被摄体的颜色有关的已知特性的信息。
5.根据权利要求4所述的图像处理装置,其特征在于,
强调处理部将与由所述已知特性信息确定的特性一致的所述被摄体作为所述强调处理的对象,以与所述距离信息对应的所述处理内容来进行所述强调处理。
6.根据权利要求5所述的图像处理装置,其特征在于,
所述强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,
在所述代表距离大于阈值的情况下,所述强调处理部进行强调所述对象的颜色的所述强调处理,
在所述代表距离小于所述阈值的情况下,所述强调处理部进行强调所述对象的至少构造的所述强调处理。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述已知特性信息是表示与红色成分大于正常粘膜的颜色的发红部的颜色有关的已知特性的信息,
在所述代表距离大于所述阈值的情况下,所述强调处理部进行强调被确定为所述对象的所述发红部的红色成分的所述强调处理。
8.根据权利要求1所述的图像处理装置,其特征在于,
强调处理部根据所述距离信息求出代表与所述被摄体之间的距离的代表距离,将与由所述已知特性信息确定的特性一致的所述被摄体作为所述强调处理的对象,以与所述代表距离对应的所述处理内容来进行所述强调处理。
9.根据权利要求8所述的图像处理装置,其特征在于,
在判断为所述代表距离符合与所述被摄体的筛选观察对应的距离的情况下,所述强调处理部对所确定的所述对象进行第1处理内容的所述强调处理,
在判断为所述代表距离符合与所述被摄体的放大观察对应的距离的情况下,所述强调处理部对所确定的所述对象进行与所述第1处理内容不同的第2处理内容的所述强调处理。
10.一种图像处理装置,其特征在于,该图像处理装置包括:
图像取得部,其取得包含被摄体的像的摄像图像;
已知特性信息取得部,其取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息;以及
强调处理部,其对所述摄像图像进行强调处理,
所述强调处理部进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行所述强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。
11.一种内窥镜装置,其特征在于,该内窥镜装置包括权利要求1所述的图像处理装置。
12.一种内窥镜装置,其特征在于,该内窥镜装置包括权利要求10所述的图像处理装置。
13.一种图像处理方法,其特征在于,
取得包含被摄体的像的摄像图像,
取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息,
取得表示与所述被摄体有关的已知特性的信息即已知特性信息,
以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
14.一种图像处理方法,其特征在于,
取得包含被摄体的像的摄像图像,
取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息,
进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。
15.一种图像处理程序,其特征在于,该图像处理程序使计算机执行以下步骤:
取得包含被摄体的像的摄像图像,
取得基于拍摄所述摄像图像时从摄像部到所述被摄体的距离的距离信息,
取得表示与所述被摄体有关的已知特性的信息即已知特性信息,
以与所述距离信息对应的处理内容,根据所述已知特性信息进行强调处理。
16.一种图像处理程序,其特征在于,该图像处理程序使计算机执行以下步骤:
取得包含被摄体的像的摄像图像,
取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息,
进行针对所述被摄体的观察状态的判断,在判断为所述观察状态是筛选观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第1处理内容进行强调处理,在判断为所述观察状态是放大观察状态的情况下,将与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部作为强调对象,以第2处理内容进行所述强调处理。
CN201380073710.0A 2013-02-26 2013-09-24 图像处理装置、内窥镜装置、图像处理方法和图像处理程序 Pending CN105007802A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013035730A JP6150555B2 (ja) 2013-02-26 2013-02-26 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP2013-035730 2013-02-26
PCT/JP2013/075628 WO2014132475A1 (ja) 2013-02-26 2013-09-24 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN105007802A true CN105007802A (zh) 2015-10-28

Family

ID=51427769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073710.0A Pending CN105007802A (zh) 2013-02-26 2013-09-24 图像处理装置、内窥镜装置、图像处理方法和图像处理程序

Country Status (5)

Country Link
US (1) US20150363929A1 (zh)
EP (1) EP2962622A4 (zh)
JP (1) JP6150555B2 (zh)
CN (1) CN105007802A (zh)
WO (1) WO2014132475A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
WO2017033728A1 (ja) * 2015-08-26 2017-03-02 オリンパス株式会社 内視鏡装置
CN108135457B (zh) * 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
JPWO2017073337A1 (ja) * 2015-10-27 2017-11-09 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
WO2017110459A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
CN111065315B (zh) * 2017-11-02 2022-05-31 Hoya株式会社 电子内窥镜用处理器以及电子内窥镜系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126030A (ja) * 2001-10-23 2003-05-07 Pentax Corp 電子内視鏡装置
CN101505650A (zh) * 2006-08-24 2009-08-12 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
US20110164064A1 (en) * 2008-09-01 2011-07-07 Hitachi Medical Corporation Image processing device and method for processing image
US20120002879A1 (en) * 2010-07-05 2012-01-05 Olympus Corporation Image processing apparatus, method of processing image, and computer-readable recording medium
US20120008839A1 (en) * 2010-07-07 2012-01-12 Olympus Corporation Image processing apparatus, method of processing image, and computer-readable recording medium
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
EP2526854A1 (en) * 2011-05-24 2012-11-28 Fujifilm Corporation Endoscope system and method for assisting in diagnostic endoscopy

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035855B2 (ja) * 1991-01-11 2000-04-24 富士写真光機株式会社 電子内視鏡装置
JP2003088498A (ja) 2001-09-19 2003-03-25 Pentax Corp 電子内視鏡装置
JP2005342234A (ja) 2004-06-03 2005-12-15 Olympus Corp 内視鏡装置
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5698476B2 (ja) * 2010-08-06 2015-04-08 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126030A (ja) * 2001-10-23 2003-05-07 Pentax Corp 電子内視鏡装置
CN101505650A (zh) * 2006-08-24 2009-08-12 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
US20110164064A1 (en) * 2008-09-01 2011-07-07 Hitachi Medical Corporation Image processing device and method for processing image
US20120002879A1 (en) * 2010-07-05 2012-01-05 Olympus Corporation Image processing apparatus, method of processing image, and computer-readable recording medium
US20120008839A1 (en) * 2010-07-07 2012-01-12 Olympus Corporation Image processing apparatus, method of processing image, and computer-readable recording medium
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
EP2526854A1 (en) * 2011-05-24 2012-11-28 Fujifilm Corporation Endoscope system and method for assisting in diagnostic endoscopy

Also Published As

Publication number Publication date
EP2962622A1 (en) 2016-01-06
JP6150555B2 (ja) 2017-06-21
WO2014132475A1 (ja) 2014-09-04
JP2014161538A (ja) 2014-09-08
EP2962622A4 (en) 2016-11-16
US20150363929A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
CN105025775A (zh) 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN105007802A (zh) 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
JP6112879B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN105072968A (zh) 图像处理装置、内窥镜装置、程序和图像处理方法
CN103561629A (zh) 内窥镜装置
JP6454489B2 (ja) 観察システム
US9826884B2 (en) Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method
Wisotzky et al. Interactive and multimodal-based augmented reality for remote assistance using a digital surgical microscope
CN105308651B (zh) 检测装置、学习装置、检测方法、学习方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
US9323978B2 (en) Image processing device, endoscope apparatus, and image processing method
JP2006223377A (ja) 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
CN115311405A (zh) 一种双目内窥镜的三维重建方法
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JPS6340528A (ja) 内視鏡装置
Wisotzky et al. Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene Reconstruction
KR20240065115A (ko) 다중 이미지 재구성 및 정합 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180727