CN102695446A - 图像处理装置、电子设备、程序和图像处理方法 - Google Patents

图像处理装置、电子设备、程序和图像处理方法 Download PDF

Info

Publication number
CN102695446A
CN102695446A CN2010800596109A CN201080059610A CN102695446A CN 102695446 A CN102695446 A CN 102695446A CN 2010800596109 A CN2010800596109 A CN 2010800596109A CN 201080059610 A CN201080059610 A CN 201080059610A CN 102695446 A CN102695446 A CN 102695446A
Authority
CN
China
Prior art keywords
image
processing apparatus
emphasical
light image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800596109A
Other languages
English (en)
Other versions
CN102695446B (zh
Inventor
高桥顺平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102695446A publication Critical patent/CN102695446A/zh
Application granted granted Critical
Publication of CN102695446B publication Critical patent/CN102695446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供如下的图像处理装置、电子设备、程序和图像处理方法等:能够取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。图像处理装置包括:第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;种类判别部,其根据第2图像内的像素的特征量,判别摄入到第2图像内的被摄体像的种类;以及强调部,其根据判别的被摄体像的种类,对第1图像实施强调处理。

Description

图像处理装置、电子设备、程序和图像处理方法
技术领域
本发明涉及图像处理装置、电子设备、程序和图像处理方法等。
背景技术
以往,广泛使用如下的面次序式的内窥镜系统:针对体腔内的组织,使用旋转滤镜依次照射R1、G1、B1这3种颜色的光,使用根据它们的反射光图像而生成的图像(通常光图像)进行诊断。进而,提出了如下的内窥镜系统:针对体腔内的组织,依次照射特性与所述3种颜色的光不同的2种窄带光G2和B2,使用根据它们的反射光图像而生成的窄带光图像进行诊断(例如专利文献1)。并且,提出了如下的内窥镜系统:针对体腔内的组织照射窄带的激励光,取得通过激励光而从组织产生的自体荧光或药剂荧光,使用所生成的荧光图像进行诊断(例如专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2006-68113号公报
专利文献2:日本特开2007-229053号公报
专利文献3:日本特开2000-115553号公报
发明内容
发明要解决的课题
通过使用上述专利文献1的取得窄带光图像的内窥镜系统进行诊断,例如,很难通过通常光图像而视觉辨认的扁平上皮癌等病变部被描绘成与正常部不同的褐色区域。因此,可知病变部的发现变得容易。
并且,在使用上述专利文献2的取得荧光图像的内窥镜系统进行诊断的情况下,对肿瘤等病变部使用具有特殊积累的性质的荧光药剂,仅肿瘤等病变部产生荧光,发现变得容易。
但是,这些窄带图像或荧光图像(将它们统称为特殊光图像)一般具有与通常光图像大大不同的色调。进而,由于照明光不足而成为非常暗的图像,所以很难仅使用特殊光图像进行诊断。根据这种理由,为了提高医生的诊断精度,例如考虑同时取得通常光图像和特殊光图像进行显示。但是,并列地同时显示这些图像时,医生始终一边关注于多个图像一边进行诊断,医生的负担增大。并且,认为临时仅关注于1个图像会遗漏病变部。
根据本发明的几个方式,能够提供如下的图像处理装置、电子设备、程序和图像处理方法等:取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。并且,根据本发明的几个方式,能够提供如下的图像处理装置、电子设备、程序和图像处理方法等:在使用通常光图像和特殊光图像进行诊断时,降低医生的负担并防止病变部的遗漏。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置,该图像处理装置包括:第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;种类判别部,其根据所述第2图像内的像素的特征量,判别摄入到所述第2图像内的被摄体像的种类;以及强调部,其根据所述判别的被摄体像的种类,对所述第1图像实施强调处理。
在本发明的一个方式中,取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。因此,能够根据状况实施各种强调处理。
本发明的另一个方式涉及一种图像处理装置,其特征在于,该图像处理装置包括:第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;以及强调部,其根据所述取得的第2图像的种类,对所述第1图像实施强调处理。
根据本发明的另一个方式,取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像,根据第2图像对第1图像实施强调处理。因此,在第2图像的种类存在多个的情况下,也能够根据状况实施各种强调处理。
附图说明
图1是种类判别和强调处理的方法的说明图。
图2是本实施方式的系统结构例。
图3是滤色镜r、g、b的分光特性。
图4是滤色镜g2、b2的说明图。
图5是滤色镜g2、b2的分光特性。
图6是通常光图像取得部的结构例。
图7是特殊光图像取得部的结构例。
图8是滤色镜g2、b2的说明图。
图9是区域种类判别部的结构例。
图10是局部区域的分割方法的说明图。
图11是在软件处理中使用的计算机的结构例。
图12是在软件处理中使用的计算机的结构例。
图13是用于说明本实施方式的处理的流程图。
图14是用于说明区域种类判别处理的流程图。
图15是种类判别和强调处理的另一个方法的说明图。
图16是区域种类判别部的另一个结构例。
图17是强调部的结构例。
图18是高频分量计算部的结构例。
图19是基于小波转换的多分辨率转换图像的说明图。
图20是内窥镜图像的说明图。
图21是多分辨率转换图像中的血管与粘膜的对应图。
图22是用于说明区域种类判别处理的另一个流程图。
图23是用于说明强调处理的流程图。
图24是种类判别和强调处理的另一个方法的说明图。
图25是区域种类判别部的另一个结构例。
图26是强调部的另一个结构例。
图27是用于说明区域种类判别处理的另一个流程图。
图28是本实施方式的另一个系统结构例。
图29是特殊光图像取得部的另一个结构例。
图30是种类判别和强调处理的另一个方法的说明图。
图31是本实施方式的另一个系统结构例。
图32是旋转滤镜的结构例。
图33是滤镜F1的分光特性。
图34是滤镜F2的分光特性。
图35是滤色镜g3、r3的说明图。
图36是滤色镜g3、r3的分光特性。
图37是滤色镜g3、r3的说明图。
图38是各定时的滤镜和所得到的图像的组合的例子。
图39是通常光图像和特殊光图像的取得定时的例子。
图40是用于说明本实施方式的处理的另一个流程图。
图41是用于说明区域种类判别处理的另一个流程图。
图42是种类判别和强调处理的另一个方法的说明图。
图43是本实施方式的另一个系统结构例。
图44是旋转滤镜的结构例。
图45是旋转滤镜的结构例。
图46是滤镜F3的分光特性。
图47是滤镜F4的分光特性。
图48是滤色镜g4、b4的说明图。
图49是滤色镜g4的分光特性。
图50是滤色镜b4的分光特性。
图51是强调部的另一个结构例。
图52是用于说明本实施方式的处理的另一个流程图。
图53是用于说明强调处理的另一个流程图。
具体实施方式
1.第1实施方式
参照图1对第1实施方式的概要进行说明。
本申请人提出了根据第2图像内的被摄体像的种类来变更对第1图像实施的强调处理的方法。在第1实施方式中,如A1所示,第2图像是NBI(Narrow Band Imaging:窄带成像)图像。判别该第2图像内的被摄体像的种类(A2)。这里,用于种类判别的特征量是色相H。如A3所示,将H为5~35的范围的种类设为第1种类,将H为170~200的范围的种类设为第2种类。并且,将不符合任意一方的种类设为第3种类。这里,第1种类对应于表层的血管,第2种类对应于深层的血管。第3种类对应于除此之外的部分、例如粘膜等。
在种类的判别后,决定强调范围。在本实施方式中,强调范围为第1种类和第2种类(即表层血管和深层血管)(A4)。由此,第1图像(狭义为通常光图像)中被强调的范围为A5所示的范围。
然后,利用规定方法对所设定的强调范围实施强调处理。在本实施方式中,如A6所示,强调处理的方法为颜色转换处理。具体而言,使用后述的式子(9)、(10)。通过对在第1种类和第2种类中使用的目标颜色和参数gain进行变更,能够实施与种类对应的强调处理。作为结果,如A7所示,能够取得对血管进行了强调的通常光图像。在图1的A7中没有图示,但是,在第1种类和第2种类中,由于目标颜色不同,所以利用不同的色调表现表层血管和深层血管。
并且,能够根据要观察的部位对强调处理的方法进行变更。
接着,参照图2对第1实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统具有光源部100、摄像部200、图像处理部300、显示部400、外部I/F部500。
光源部100具有产生白色光的白色光源110以及用于将白色光会聚在光导纤维210中的会聚透镜120。
摄像部200例如形成为细长且能够弯曲,以使得能够插入体腔内。并且,摄像部200具有能够装卸的构造,根据要观察的部位而使用不同的摄像部。一般地,在内窥镜领域中,摄像部200被称为镜体,具体而言,作为所使用的镜体,可以举出上部消化器用镜体和下部消化器用镜体等。
摄像部200具有:用于引导由光源部100会聚后的光的光导纤维210、使通过该光导纤维210引导到前端的光扩散并照射到被检体的照明透镜220、使从被检体返回的反射光会聚的物镜230、将会聚后的反射光分离成2个部分的半透半反镜240、以及用于检测分离后的反射光的第1摄像元件250和第2摄像元件260。第1摄像元件250是用于拍摄通常光图像的具有拜耳排列的滤色镜的摄像元件。第1摄像元件250的滤色镜R、G、B例如具有图3所示的分光特性。例如如图4所示,第2摄像元件260是将2种滤色镜g2、b2配置成方格状的摄像元件。这里,2种滤色镜g2、b2例如如图5所示,b2具有透射390~445nm的波段的光的特性,g2具有透射530~550nm的波段的光的特性。
进而,摄像部200在内部具有存储器280,存储器280保持各镜体固有的识别编号。存储器280与控制部360连接,控制部360通过参照在存储器280中保持的各镜体固有的识别编号,能够识别正在使用的镜体。并且,通过识别正在使用的镜体,能够识别观察部位。
图像处理部300具有2个AD转换部310和311、通常光图像取得部320、特殊光图像取得部330、区域种类判别部340、强调部350、控制部360。控制部360与通常光图像取得部320、特殊光图像取得部330、区域种类判别部340、强调部350连接,并对它们进行控制。
外部I/F部500是用于供用户对该图像处理装置进行输入等的接口,构成为包括用于进行电源的接通/断开的电源开关、用于开始摄影操作的快门按钮、用于切换摄影模式和其他各种模式的模式切换按钮等。而且,该外部I/F部500向控制部360输出所输入的信息。
AD转换部310将从第1摄像元件250输出的模拟图像信号转换为数字图像信号并输出,AD转换部311将从第2摄像元件260输出的模拟图像信号转换为数字图像信号并输出。
通常光图像取得部320根据从AD转换部310输出的数字图像信号取得通常光图像。特殊光图像取得部330根据从AD转换部311输出的数字图像信号取得特殊光图像。通常光图像取得部320和特殊光图像取得部330的详细情况在后面叙述。
由通常光图像取得部320取得的通常光图像被输出到强调部350。并且,由特殊光图像取得部330取得的特殊光图像被输出到区域种类判别部340。区域种类判别部340判别摄入到特殊光图像内的被检体的种类,将其判别结果输出到强调部350。强调部350根据从区域种类判别部340输出的判别结果对通常光图像实施强调处理,输出到显示部400。区域种类判别部340和强调部350的详细情况在后面叙述。
这里,使用图6对通常光图像取得部320进行说明。通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。通常光图像生成部321对由AD转换部310输出的数字图像信号进行图像处理,生成通常光图像。具体而言,进行现有的插值处理、白平衡、颜色转换、灰度转换等处理,生成通常光图像并输出。这里,通常光图像为RGB图像。通常光图像存储部322在存储器中存储从通常光图像生成部321输出的通常光图像。
接着,使用图7对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331对由AD转换部311输出的数字图像信号进行图像处理,生成特殊光图像。在本实施例中,特殊光图像为窄带光图像。另外,窄带光图像为RGB图像。
这里,对利用特殊光图像生成部331生成窄带光图像的方法进行说明。如上所述,如图4所示,第2摄像元件260是将2种滤色镜g2、b2配置成方格状的摄像元件。因此,对特殊光图像生成部331输入图8所示的数字图像信号。这里,G2(x,y)表示g2滤镜的信号值,B2(x,y)表示b2滤镜的信号值。并且,x,y是图像坐标。首先对这种图像信号进行插值处理,生成在全部像素中具有g2滤镜的信号值的G2图像和在全部像素中具有b2滤镜的信号值的B2图像。在插值处理中计算的信号值例如是周边4个像素的信号值的平均值即可,例如,使用下式(1)、(2)计算图8的G2(1,1)位置的b2滤镜的信号值B2(1,1)和B2(1,2)位置的g2滤镜的信号值G2(1,2)。
B2(1,1)=[B2(0,1)+B2(1,0)+B2(1,2)+B2(2,1)]/4……(1)
G2(1,2)=[G2(0,2)+G2(1,1)+G2(1,3)+G2(2,2)]/4……(2)
接着,根据通过所述插值处理而生成的G2图像和B2图像,与通常光图像同样,生成具有R、G、B这3种信号值的彩色图像。这里,通过对所述彩色图像的坐标(x,y)中的R信号输入G2(x,y),对G、B信号输入B2(x,y),生成彩色图像。特殊光图像生成部331进一步对所生成的所述彩色图像进行白平衡、灰度转换等处理,生成窄带光图像。所生成的窄带光图像被输出到特殊光图像存储部332。特殊光图像存储部332在存储器中存储从特殊光图像生成部331输出的窄带光图像。
接着,对区域种类判别部340进行详细说明。图9是说明第1实施方式中的区域种类判别部340的结构的一例的框图。区域种类判别部340具有局部区域设定部341、特征量计算部342、种类判别部343、区域选出部344。控制部360与局部区域设定部341、特征量计算部342、种类判别部343、区域选出部344连接,并对它们进行控制。
局部区域设定部341针对从特殊光图像取得部330输出的窄带光图像设定多个局部区域。这里,以将窄带光图像分割成矩形区域、并将分割后的各区域设定为局部区域的情况为例进行说明。具体而言,例如如图10所示,设5×5个像素为1个局部区域。这里,设窄带光图像由M×N个局部区域构成,利用(m,n)表示各区域的坐标。并且,坐标(m,n)的局部区域表示为a(m,n)。这里,将位于图像的左上方的局部区域的坐标设为(0,0),将右方向定义为m的正方向,将下方向定义为n的正方向。局部区域不一定必须是矩形,当然可以将窄带光图像分割成任意多边形,将分割后的各个区域设定为局部区域。并且,可以根据用户的指示,任意设定局部区域。并且,这里,为了削减此后的计算量,将由多个相邻的像素群构成的区域作为1个局部区域,但是,也可以将1个像素作为1个局部区域。该情况下,以后的处理完全相同。
特征量计算部342针对由局部区域设定部341设定的全部局部区域计算特征量。在本实施例中,对使用色相作为特征量的情况进行说明。
这里,将局部区域a(m,n)的色相表记为H(m,n)。为了计算H(m,n),首先,计算各局部区域中的R、G、B信号的平均值R_ave、G_ave、B_ave。这里,设平均值R_ave为各局部区域中包含的全部像素中的R信号的平均值。并且,G_ave、B_ave也同样,设为各局部区域中包含的全部像素中的G、B信号的平均值。另外,设各信号值为8比特(0~255)。接着,根据平均值R_ave、G_ave、B_ave,例如使用以下的式子(3)~(8)计算各局部区域的色相H(m,n)。
Max=MAX(R_ave,G_ave,B_ave)……(3)
这里,设MAX函数是输出多个变量中的最大变量的函数。
在max为0的情况下,
H=0……(4)
在max为0以外的情况下,
d=MAX(R_ave,G_ave,B_ave)-MIN(R_ave,G_ave,B_ave)……(5)
这里,设MIN函数是输出多个变量中的最小变量的函数。
进而,在R_ave、G_ave、B_ave中的R_ave为最大的情况下,
H=60*(G_ave-B_ave)/d……(6)
在R_ave、G_ave、B_ave中的G_ave为最大的情况下,
H=60*{2+(B_ave-R_ave)}/d……(7)
在R_ave、G_ave、B_ave中的B_ave为最大的情况下,
H=60*{4+(R_ave-G_ave)}/d……(8)
另外,在H<0的情况下,在H中加上360。并且,在H=360的情况下,设H=0。
接着,种类判别部343使用对全部局部区域计算出的色相H,判别摄入到局部区域中的被检体的种类,将判别结果输出到区域选出部344。
在将活体作为被检体的情况下,从光源部100对活体照射的光具有如下特性:短波长的光在活体表面附近反射,与此相对,长波长的光到达活体深部。另一方面,如上所述,在本实施方式中,拍摄窄带光图像的摄像元件所使用的2种滤色镜具有如下特性:b2透射390~445nm的波段的光,g2透射530~550nm的波段的光。因此,透射b2滤镜的光是在活体表层反射的短波长的光,透射g2滤镜的光是在活体深层反射的长波长的光。并且,这些滤色镜的透射波段的波长具有容易被血液中大量包含的血红蛋白吸收的特征。因此,在B2图像中描绘出活体表层的血管,在G2图像中描绘出活体深层的血管。
在本实施方式中,在根据B2、G2图像生成所述彩色图像时,如上所述,对所述彩色图像的坐标(x,y)的R信号输入G2(x,y)信号,对G、B信号输入B2(x,y)信号。因此,在窄带光图像的R信号中包含活体深层的血管信息,在G、B信号中包含活体表层的血管信息。
因此,在窄带光图像上,具有如下特征:活体表层的血管被描绘成褐色的区域,活体深层的血管被描绘成青绿色的区域。由此,活体表层的血管和活体深层的血管被描绘成不同的色相,所以,通过使用色相H作为特征量,能够判别活体表层的血管和活体深层的血管。这里,例如,将色相H为5~35的范围内的区域判别为活体表层的血管、将色相H为170~200的范围内的区域判别为活体深层的血管即可。
种类判别部343对区域选出部344输出由局部区域设定部341设定的局部区域中的判别为活体表层的血管或活体深层的血管的全部局部区域的坐标、以及表示该局部区域的种类判别的结果的标签信息。这里,关于标签信息,例如在判别为活体表层的血管的情况下,设标签的值为1,在判别为活体深层的血管的情况下,设标签的值为2即可。
区域选出部344根据由种类判别部343判别为活体表层或深层的血管的局部区域a(m,n)的坐标和各局部区域所包含的像素的信息,计算所述局部区域中包含的全部像素的位置,对计算出的像素位置信息附加所述标签信息,输出到强调部350。
接着,对强调部350进行详细说明。强调部350对与从区域种类判别部340输出的像素位置对应的通常光图像的全部像素实施强调处理。这里,在强调处理中,例如针对判别为活体表层的血管的像素、即标签的值为1的像素,进行下式(9)所示的颜色转换处理,针对判别为活体深层的血管的像素、即标签的值为2的像素,进行下式(10)所示的颜色转换处理即可。
R_out(x,y)=gain*R(x,y)+(1-gain)*T_R1
G_out(x,y)=gain*G(x,y)+(1-gain)*T_G1
B_out(x,y)=gain*B(x,y)+(1-gain)*T_B1…(9)
R_out(x,y)=gain*R(x,y)+(1-gain)*T_R2
G_out(x,y)=gain*G(x,y)+(1-gain)*T_G2
B_out(x,y)=gain*B(x,y)+(1-gain)*T_B2…(10)
其中,在上式(9)、(10)中,
R(x,y)、G(x,y)、B(x,y):颜色转换处理前的通常光图像的坐标(x,y)中的RGB信号值
R_out(x,y)、G_out(x,y)、B_out(x,y):颜色转换处理后的通常光图像的坐标(x,y)中的RGB信号值
T_R1、T_G1、T_B1:活体表层的血管的目标颜色的RGB信号值
T_R2、T_G2、T_B2:活体深层的血管的目标颜色的RGB信号值
这里,通过使各个目标颜色为不同的值,能够将活体表层的血管和活体深层的血管描绘成不同的颜色。并且,gain为0~1的任意系数。
另外,活体表层的血管的目标颜色T_R1、T_G1、T_B1、活体深层的血管的目标颜色T_R2、T_G2、T_B2和gain参数可以通过外部I/F部500由用户设定,也可以根据观察部位而预先设定不同的参数。这里,如上所述,控制部360通过参照在存储器280中保持的各镜体固有的识别编号能够识别观察部位,也可以构成为通过外部I/F部500由用户指定观察部位。
通过进行这种处理,活体表层的血管和活体深层的血管被描绘成不同的颜色,所以,容易区别活体表层的血管和活体深层的血管,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。
另外,在本实施方式中,示出了单独对判别为活体表层的血管和活体深层的血管的区域实施强调处理的例子,但是本发明不限于此,也可以构成为仅对活体表层的血管和活体深层的血管中的任意一方进行强调。
上述结构可以通过如下方式来实现:预先对活体表层的血管或活体深层的血管等被检体的种类设置优先顺序,在区域种类判别部340中检测到多个种类的被检体的情况下,按照所述优先顺序最高的被检体的种类,决定强调处理的方法。
例如,在大肠部位的诊断中发现肿瘤的情况下,肿瘤表面的血管构造成为判断该肿瘤的良性、恶性的重要信息。因此,在大肠部位的诊断时,通过提高活体表层的血管的优先顺序,在由区域种类判别部340检测到多个种类的被检体的情况下,也能够仅对判别为活体表层的血管的区域进行强调处理。由此,活体表层的血管的视觉辨认性提高,能够防止病变的遗漏。
并且,在食道部位的诊断时,担心食道静脉瘤等疾患,但是,食道静脉瘤存在于活体的比较深的深部,所以,活体深层的血管成为诊断的重要信息。因此,在食道部位的诊断中,通过提高活体深层的血管的优先顺序,能够仅对判别为活体深层的血管的区域进行强调处理,所以,活体深层的血管的视觉辨认性提高,有效防止食道静脉瘤的遗漏。
另外,所述优先顺序可以通过外部I/F部500由用户设定,也可以根据观察部位预先设定优先顺序。这里,如上所述,控制部360通过参照在存储器280中保持的各镜体固有的识别编号能够决定观察部位,也可以由用户通过外部I/F部500指定观察部位。
并且,强调部350中的强调处理不限于所述颜色转换处理,当然也可以使用任意的亮度转换或任意的颜色转换处理。
并且,在本实施方式中,构成图像处理部300的各部由硬件构成,但是不限于此,例如也可以构成为,针对使用胶囊内窥镜等摄像元件预先取得的图像,CPU进行各部的处理,通过CPU执行程序,也可以利用软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
在独立于摄像部而作为软件来实现图像处理部300的各部进行的处理的情况下,能够将工作站或个人计算机等公知的计算机系统用作图像处理装置。而且,也可以预先准备用于实现图像处理部300的各部进行的处理的程序(图像处理程序),通过计算机系统的CPU执行该图像处理程序来实现。
图11是示出本变形例中的计算机系统600的结构的系统结构图,图12是示出该计算机系统600中的主体部610的结构的框图。如图11所示,计算机系统600具有主体部610、用于根据来自主体部610的指示而在显示画面621中显示图像等信息的显示器620、用于对该计算机系统600输入各种信息的键盘630、用于指定显示器620的显示画面621上的任意位置的鼠标640。
并且,如图12所示,该计算机系统600中的主体部610具有CPU 611、RAM 612、ROM 613、硬盘驱动器(HDD)614、收纳CD-ROM 660的CD-ROM驱动器615、以能够装卸的方式与USB存储器670连接的USB端口616、连接显示器620、键盘630和鼠标640的I/O接口617、以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口618。
进而,在该计算机系统600中连接有用于与因特网等公共线路N3连接的调制解调器650,并且,经由LAN接口618和局域网或广域网N1连接有作为其他计算机系统的个人计算机(PC)681、服务器682、打印机683等。
而且,该计算机系统600通过读出在规定记录介质中记录的图像处理程序(例如用于参照图13~图14实现后述处理顺序的图像处理程序)并执行,实现图像处理装置。这里,关于规定记录介质,除了CD-ROM 660和USB存储器670以外,还包括如下介质等记录可通过计算机系统600读取的图像处理程序的所有记录介质:包含MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等的“可移动用的物理介质”;计算机系统600内外具有的HDD 614、RAM 612、ROM 613等的“固定用的物理介质”;如经由调制解调器650连接的公共线路N3、连接有其他计算机系统(PC)681或服务器682的局域网或广域网N1等那样,在发送程序时在短期内存储程序的“通信介质”。
即,图像处理程序以计算机可读取的方式记录在“可移动用的物理介质”、“固定用的物理介质”、“通信介质”等记录介质中,计算机系统600通过从这种记录介质读出图像处理程序并执行,实现图像处理装置。另外,图像处理程序不限于由计算机系统600执行,在其他计算机系统(PC)681或服务器682执行图像处理程序的情况下、或者在它们协作执行图像处理程序的情况下,也能够同样应用本发明。
作为利用软件构成各部进行的处理的一部分的情况的一例,使用图13的流程图说明针对预先取得的通常光图像和窄带光图像利用软件实现图2的区域种类判别部340和强调部350的处理的情况下的处理顺序。
该情况下,首先将窄带光图像读入存储器中(Step1),接着,将与该窄带光图像同时取得的通常光图像读入存储器中(Step2)。接着,使用所读入的窄带光图像判别被检体的种类(Step3)。区域种类判别步骤(Step3)在后面详细叙述。然后,根据判别结果对通常光图像实施强调处理,输出强调处理后的图像作为显示图像(Step4)。使用所述式9和10进行强调处理。在针对所有图像完成了一连串处理的情况下,结束处理,在残留有未处理的图像的情况下,继续进行同样的处理(Step5)。
接着,使用图14的流程图对图13的区域种类判别步骤(Step3)的详细处理顺序进行说明。在局部区域设定步骤中,如所述图10所示,对窄带光图像设定多个局部区域(Step31)。接着,对所设定的全部局部区域计算特征量(Step32)。这里,作为特征量的一例,使用所述上式(3)~(8)所示的色相H。然后,根据在全部局部区域中计算出的色相H进行种类判别处理(Step33)。具体而言,将色相H为5~35的区域判别为活体表层的血管,将色相为170~200的区域判别为活体深层的血管。进而,根据判别为活体表层、深层的血管中的任意一方的局部区域a(m,n)的坐标、以及各局部区域所包含的像素的信息,计算所述区域中包含的全部像素的位置,附加计算出的像素的位置信息和表示该像素的判别结果的标签信息并输出(Step34)。
通过进行这种处理,活体表层的血管和活体深层的血管被显示成不同的颜色,所以,容易区别活体表层的血管和活体深层的血管,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。
在以上的本实施方式中,第1图像取得部(狭义上为通常光图像取得部320)取得与白色光的波段对应的第1图像(狭义上为白色光图像),第2图像取得部(狭义上为特殊光图像取得部330)取得与特定波段(狭义上为窄带光或荧光等的波段)对应的第2图像(狭义上为窄带图像或荧光图像等特殊光图像)。然后,种类判别部343使用第2图像内的像素的特征量,判别摄入到第2图像内的被检体像的种类。强调部350根据种类判别部343的判别,对第1图像实施强调处理。
这里,如后所述,种类为与病变有关的种类和与血管有关的种类。具体而言,例如,第1种类为病变部,第2种类为正常部。并且,还考虑第1种类为表层血管、第2种类为深层血管、第3种类为血管以外(粘膜等)的情况。
并且,具体而言,考虑像素的特征量为色相H、边缘量E、信号值(R、G、B)等,根据要观察的对象(希望实施强调处理的对象)而选择适当的特征量。
由此,在取得通常光图像(白色光图像)和特殊光图像(NBI图像或荧光图像等)后,能够在特殊光图像中判别被检体像的种类。然后,根据判别出的种类,能够变更针对通常光图像的强调处理的方法。由此,具体而言,例如进行病变部和正常部的判别,能够仅对病变部实施强调处理等。并且,也可以进行表层血管和深层血管的判别,在表层血管和深层血管中改变强调处理的方法等。
并且,强调部350也可以根据被检体像所属的部位,对强调处理的方法进行变更。
由此,在观察部位不同的情况下,能够对强调处理的方法进行变更。具体而言,例如,考虑第1种类为表层血管、第2种类为深层血管、第3种类为血管以外(粘膜等)的情况。这里,在对大肠进行观察的情况下,肿瘤的表层血管成为判断病变的良性/恶性的重要信息。因此,考虑优先对作为第1种类的表层血管进行强调显示。例如,在第1种类的颜色转换处理中,与第2种类的颜色转换处理相比,考虑将目标颜色设定为更加显眼的颜色等。并且,第2种类也可以不进行强调显示。
并且,在食道静脉瘤中,由于深层血管为重要的诊断信息,所以在食道观察时,优先对第2种类进行强调显示即可。
并且,第1图像和第2图像中的至少一方可以通过设于图像处理装置外部的摄像装置摄像。该情况下,根据与摄像装置有关的信息,决定被检体像所属的部位。
由此,作为决定部位的手段,可以使用与摄像装置有关的信息。这里,摄像装置例如对应于内窥镜的插入部(镜体)。具体而言,具有上部消化器用镜体和下部消化器用镜体等。镜体具有固有的识别编号,例如通过在存储器中存储识别编号,能够识别所使用的镜体。如上所述,所使用的镜体由于观察部位而不同,所以,通过识别镜体,能够确定观察部位。
并且,可以在第2图像内存在多个被检体像。该情况下,种类判别部343判别各被检体像属于第1~第N(N为2以上的整数)种类中的哪个种类。然后,强调部350根据判别结果决定强调处理的方法。
由此,即使一次性检测到多个被检体像,也能够在分别判别为适当种类后,根据判别结果决定强调处理的方法。
具体而言,如图1的A1所示,在血管为2条、且观察到作为背景的粘膜时,被检体像共存在3个。该情况下,预先决定N=3,分别判别3个被检体像属于第1~第3种类中的哪个种类。在图1的A3的情况下,左侧的血管是表层血管,所以判别为第1种类,右侧的血管是深层血管,所以判别为第2种类,粘膜判别为第3种类。这里,在1个种类中对应有1个被检体像,但是,本领域技术人员能够容易地理解到也可以在1个种类中对应有多个被检体像,在某个种类中不存在对应的被检体像。
而且,强调部350可以根据种类决定强调处理的方法。具体而言,例如如图1的A6所示,考虑如下方法:第1种类和第2种类使用分别不同的参数进行颜色转换,不对第3种类实施强调处理。
并且,也可以在第1~第N种类的各种类中设定与种类对应的优先度。然后,也可以根据优先度决定强调处理的方法。具体而言,可以根据被检体像所属的部位,通过强调部350设定优先度。
由此,可以进行基于优先度的强调处理。然后,可以根据被检体像所属的部位决定优先度的设定。具体而言,如上所述,在大肠的观察中,表层血管是重要的,在食道的观察中,深层血管是重要的。由此,在对属于大肠的被检体像进行观察的情况下,将表层血管所属的种类(在图1的例子中为第1种类)的优先度设定得较高,在对食道进行观察的情况下,将深层血管所属的种类(第2种类)的优先度设定得较高即可。
并且,强调部350也可以对属于优先度最高的种类的被检体,使用与该种类对应的强调方法进行强调处理。
由此,仅对优先度最高的种类进行强调处理,不对其他种类进行强调处理,由此,能够使属于优先度最高的种类的被检体像相对显眼。
并且,强调部350也可以利用第i强调方法对属于第1~第N种类中的第i种类的被检体像进行强调处理,利用第j强调方法对属于第j种类的被检体像进行强调处理。
由此,在第1~第N种类中,针对2个以上的任意数量的种类,能够使用各自的方法进行强调处理。在所述表层血管和深层血管的例子中,可以说,在双方的血管成为诊断的重要信息的情况下等,发挥效果。
并且,作为第2图像的种类,也可以存在多个种类。该情况下,根据被检体像的种类和第2图像的种类决定强调处理的方法。具体而言,在第2图像的种类为NBI图像、被检体像的种类是否为血管的情况下,对与血管对应的区域即对应关注区域实施强调处理(对应于图1)。
这里,对应关注区域是通过区域选出部344从第1图像内选出的区域,是第2图像中的与关注区域(包含被检体像的区域)对应的区域。
由此,不仅考虑被检体像的种类,还能够考虑第2图像的种类,然后决定强调处理的方法。具体而言,如图1所示,在血管+NBI图像的组合的情况下,考虑对血管进行强调。
并且,特征量可以是边缘量、色相、彩度等。
由此,能够根据观察对象等,使用各种特征量判别被检体像的种类。
并且,被检体像的种类可以是与病变有关的种类和与血管有关的种类中的至少1个种类。
由此,能够将是否是血管、血管是表层血管还是深层血管、是否是病变作为种类进行判别。
并且,特定波段是比白色光的波段窄的波段。具体而言,第1图像和第2图像是活体内图像,特定波段是被血液中的血红蛋白吸收的波长的波段。更具体而言为390nm~445nm或530nm~550nm的波段。
由此,能够观察活体的表层部和位于深部的血管的构造。并且,通过将所得到的信号输入特定通道(R、G、B),能够利用褐色等显示扁平上皮癌等的通常光中很难视觉辨认的病变等,能够抑制病变部的遗漏。另外,390nm~445nm或530nm~550nm是根据被血红蛋白吸收这样的特性和分别到达活体的表层部或深部这样的特性而得到的数字。但是,该情况下的波段不限于此,例如由于与基于血红蛋白的吸收和到达活体的表层部或深部有关的实验结果等的变动原因,考虑波段的下限值减少0~10%左右,上限值上升0~10%左右。
并且,第1图像和第2图像也可以是拍摄了活体内的活体内图像。而且,活体内图像中包含的特定波段也可以是荧光物质发出的荧光的波段。具体而言为490nm~625nm的波段。
由此,能够进行被称为AFI的荧光观察。通过照射激励光(390nm~470nm),能够对来自骨胶原等荧光物质的自体荧光进行观察。在这种观察中,能够利用与正常粘膜不同的色调对病变进行强调显示,能够抑制病变部的遗漏等。另外,490nm~625nm这样的数字表示在照射所述激励光时骨胶原等荧光物质发出的自体荧光的波段。但是,该情况下的波段不限于此,例如由于与荧光物质发出的荧光的波段有关的实验结果等的变动原因,考虑波段的下限值减少0~10%左右,上限值上升0~10%左右。并且,也可以同时照射被血红蛋白吸收的波段(540nm~560nm),生成虚拟彩色图像。
并且,第1图像和第2图像也可以是拍摄了活体内的活体内图像。而且,活体内图像中包含的特定波段也可以是红外光的波段。具体而言为790nm~820nm或905nm~970nm的波段。
由此,能够进行被称为IRI的红外光观察。在静脉注射了容易吸收红外光的作为红外指示药剂的ICG(吲哚菁绿)后,通过照射上述波段的红外光,能够对人类眼睛很难视觉辨认的粘膜深部的血管或血流信息进行强调显示,能够进行胃癌的深度诊断和治疗方针的判定等。另外,790nm~820nm这样的数字是根据红外指示药剂的吸收最强这样的特性而求出的,905nm~970nm这样的数字是根据红外指示药剂的吸收最弱这样的特性而求出的。但是,该情况下的波段不限于此,例如由于与红外指示药剂的吸收有关的实验结果等的变动原因,考虑波段的下限值减少0~10%左右,上限值上升0~10%左右。
并且,本实施方式还能够应用于包含图像处理装置(图像处理部)的电子设备。
例如,除了内窥镜以外,本实施方式的图像处理装置还能够搭载于数字照相机、数字摄像机、个人计算机等各种类型的电子设备(以电压、电流等动力源进行动作的设备)。
并且,本实施方式也可以是程序,该程序使计算机作为第1图像取得部、第2图像取得部、种类判别部343、强调部350发挥功能。第1图像取得部取得包含具有白色光波段中的信息的被摄体像的图像作为第1图像,第2图像取得部取得包含具有特定波段中的信息的被摄体像的图像作为第2图像。种类判别部343根据第2图像内的像素的特征量,判别被检体像的种类。强调部350根据基于区域种类判别部340的判别的被检体像的种类,对第1图像实施强调处理。
由此,例如如胶囊型内窥镜等那样,首先,蓄积图像数据,然后,能够利用PC等计算机系统以软件方式对所蓄积的图像数据进行处理。
并且,本实施方式也可以是程序,该程序使计算机作为第1图像取得部、第2图像取得部、强调部350发挥功能。第1图像取得部取得包含具有白色光波段中的信息的被摄体像的图像作为第1图像,第2图像取得部取得包含具有特定波段中的信息的被摄体像的图像作为第2图像。强调部350根据第2图像的种类,对第1图像实施强调处理。
由此,例如如胶囊型内窥镜等那样,首先,蓄积图像数据,然后,能够利用PC等计算机系统以软件方式对所蓄积的图像数据进行处理。特别地,不是根据被检体像的种类,而是能够根据第2图像的种类进行强调处理。
并且,本实施方式也可以是如下的图像处理方法:取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像,取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像,根据第2图像内的像素的特征量,判别被检体像的种类,根据被检体像的种类,对第1图像实施强调处理。
由此,能够实现可执行本实施方式的处理的图像处理方法。
并且,本实施方式也可以是如下的图像处理方法:取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像,取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像,根据第2图像的种类,对第1图像实施强调处理。
由此,能够实现可执行本实施方式的处理的图像处理方法。特别地,不是根据被检体像的种类,而是能够根据第2图像的种类进行强调处理。
并且,本实施方式还能够应用于记录有实现本实施方式的各部(第1图像取得部、第2图像取得部、区域种类判别部、强调部)的程序代码的计算机程序产品。
这里,程序代码实现:第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;种类判别部,其根据所述第2图像内的像素的特征量,判别摄入到所述第2图像内的被摄体像的种类;以及强调部,其根据所述判别的被摄体像的种类,对所述第1图像所包含的信号实施强调处理。
并且,计算机程序产品例如是记录有程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录有程序代码的计算机、记录有程序代码的因特网系统(例如包含服务器和客户终端的系统)等装入有程序代码的信息存储介质、装置、设备或系统等。该情况下,本实施方式的各结构要素和各处理过程通过各模块安装,由这些所安装的模块构成的程序代码记录在计算机程序产品中。
2.第2实施方式
参照图15对第2实施方式的概要进行说明。目的与第1实施方式相同,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。
在第2实施方式中,如B1所示,第2图像是NBI图像。判别该第2图像内的被摄体像的种类(B2)。这里,用于种类判别的特征量是色相H。如B3所示,H为5~35的范围,将规定阈值以上的大小的种类设为第1种类,将除此之外的种类设为第2种类。这里,第1种类对应于病变部,第2种类对应于除此之外的部分(正常部)。
在种类的判别后,决定强调范围。在本实施方式中,以检测到第1种类(病变部)为条件,对第1图像全体进行强调处理。由此,第1图像中被强调的范围为B5所示的范围。并且,在没有检测到第1种类的情况下,不进行强调处理。
然后,利用规定方法对所设定的强调范围实施强调处理。在本实施方式中,强调处理的方法为高频分量的相加。具体而言,使用后述的小波转换等(B6)。通过根据是否检测到第1种类而对强调处理进行变更,能够实施与种类对应的强调处理。作为结果,如B7所示,能够取得对血管和病变部进行了强调的通常光图像。另外,高频分量的相加对应于对血管进行强调,但是,病变部具有血管密集这样的特性,所以病变部也被强调。
接着,对第2实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统的结构如图2所示。并且,区域种类判别部340和强调部350以外的处理与第1实施方式相同。
对本实施方式中的区域种类判别部340的具体结构进行说明。基本结构与图9所示的区域种类判别部340相同,对同一结构分配同一名称和编号。下面,仅对不同的部分进行说明。
图16是示出本实施方式中的区域种类判别部340的结构的一例的框图。区域种类判别部340具有局部区域设定部341、特征量计算部342、种类判别部343。从特殊光图像取得部330输出的窄带光图像被输出到局部区域设定部341。控制部360与局部区域设定部341、特征量计算部342、种类判别部343连接,并对它们进行控制。并且,种类判别部343与强调部350连接。另外,局部区域设定部341、特征量计算部342的处理与第1实施方式相同。
种类判别部343使用由特征量计算部342计算出的全部局部区域中的色相H,判别各局部区域是否是疑似病变的区域,将该结果输出到强调部350。在本实施方式中使用的窄带光图像中,扁平上皮癌等病变部被描绘成褐色的区域,所以,通过使用色相H作为特征量,能够判别是否是疑似病变的区域。具体而言,将色相H为5~35的区域判别为疑似病变的区域即可。
种类判别部343将在窄带光图像内是否存在疑似病变的区域的标志信息输出到强调部350。关于标志信息,例如在全部局部区域中存在规定数以上的疑似病变的区域的情况下,设标志信息为1,在不存在的情况下,设标志信息为0即可。
另外,在第1实施方式中叙述了局部区域设定部341设定的局部区域不限于5×5的矩形区域。在本实施方式中,例如考虑设定为16×16这样的较大的区域作为局部区域。这是基于病变部的血管比正常部密集这样的特性。即,在5×5的小区域中,即使血管不密集(例如仅1条),色相H也进入5~35的区域。因此,需要根据疑似病变的区域是否密集的判定,进行图像内的区域是否是病变的判定。即,如上所述,在设定了适当的阈值后,需要判断疑似病变的区域是否为阈值以上。
与此相对,在设定16×16的较大的区域作为局部区域的情况下,由于在局部区域内具有大量血管进入的空间,所以为了使H成为5~35,需要使血管密集。因此,能够通过疑似病变的区域是否为1个,来判定图像内的区域是否为病变。
接着,对强调部350的结构进行说明。图17是示出本实施方式中的强调部350的结构的一例的框图。强调部350具有YC分离部351、高频分量计算部352、高频分量加法部353、YC合成部354。从通常光图像取得部320输出的通常光图像被输出到YC分离部351。并且,从区域种类判别部340输出的标志信息被输出到高频分量加法部353。控制部360与YC分离部351、高频分量计算部352、高频分量加法部353、YC合成部354连接,并对它们进行控制。并且,YC合成部354与显示部400连接。
YC分离部351利用公知的YC分离处理将从通常光图像取得部320输出的通常光图像转换成亮度色差信号。向亮度色差信号的转换例如使用下式(11)即可。在下式(11)中,Y是通常光图像的亮度信号,Cb、Cr是色差信号。
YC分离部351将转换成亮度色差信号后的通常光图像输出到高频分量计算部352和高频分量加法部353。这里,对高频分量计算部352仅输出亮度色差信号中的亮度信号,对高频分量加法部353输出亮度色差信号的双方。
[数式1]
Y Cb Cr = 0.2126 0.7152 0.0722 - 0.1146 0.3854 0.5000 0.5000 - 0.4542 - 0.0458 R G B . . . . . . ( 11 )
高频分量计算部352例如利用公知的小波转换对通常光图像的亮度信号进行多分辨率转换,从多分辨率转换后的亮度信号中提取高频分量并输出到高频分量加法部353。高频分量计算部352的处理在后面叙述。
高频分量加法部353根据从区域种类判别部340输出的标志信息,在从YC分离部351输出的通常光图像的亮度信号中加上从高频分量计算部352输出的高频分量,输出到YC合成部354。
YC合成部354对从高频分量加法部353输出的通常光图像实施公知的YC合成处理,转换成RGB图像,输出到显示部400。YC合成处理例如使用下式(12)即可。
[数式2]
R G B = 1.0000 0.0000 1.5748 1.0000 - 0.1873 - 0.4681 1.0000 1.8556 - 0.0458 Y Cb Cr . . . . . . ( 12 )
这里,对高频分量计算部352的处理进行详细说明。图18是示出本实施方式中的高频分量计算部352的结构的一例的图。高频分量计算部352包括多分辨率转换部3521和高频分量提取部3522。控制部360与多分辨率转换部3521、高频分量提取部3522连接,并对它们进行控制。并且,高频分量提取部3522与高频分量加法部353连接。从YC分离部351输出的通常光图像被输出到多分辨率转换部3521。
多分辨率转换部3521利用公知的小波转换对从YC分离部351输出的通常光图像的亮度信号进行多分辨率转换。这里,将多分辨率转换后的图像表记为多分辨率转换图像。能够使用通常光图像的坐标(x,y)中的亮度信号Y(x,y)和多分辨率转换图像的坐标(i,j)中的信号值S(i,j),利用下式(13)表示小波转换。其中,设通常光图像的图像宽度为ImW,设图像高度为ImH。
[数式3]
S ( i , j ) = Y ( 2 i , 2 j ) + Y ( 2 i + 1,2 j ) + Y ( 2 i , 2 j + 1 ) + Y ( 2 i + 1,2 j + 1 ) / 4 ( 0 &le; i < Im w / 2 , 0 &le; j < Im H / 2 )
Y ( 2 i - I m w , 2 j ) - Y ( 2 i + 1 - I m w , 2 j ) + Y ( 2 i - Im w , 2 j + 1 ) - Y ( 2 i + 1 - I m w , 2 j + 1 ) / 4 ( Im w / 2 &le; Im w , 0 &le; j < Im H / 2 )
Y ( 2 i , 2 j - I m H ) + Y ( 2 i + 1 , 2 j - I m H ) - Y ( 2 i , 2 j + 1 - Im H ) - Y ( 2 i + 1 , 2 j + 1 - I m H ) / 4 ( 0 &le; i < Im w / 2 , Im H / 2 &le; j < Im H )
Y ( 2 i - Im w , 2 j - Im H ) - Y ( 2 i + 1 - Im w , 2 j - Im H ) - Y ( 2 i - Im w , 2 j + 1 - Im H ) + Y ( 2 i + 1 - Im w , 2 j + 1 - Im H ) / 4 ( Im w / 2 &le; i < Im w , Im H / 2 &le; j < Im H )
……(13)
图19示出多分辨率转换图像与通常光图像的亮度信号的频率分量之间的对应关系。如图19所示,在多分辨率转换图像中,图像左上方的区域相当于通常光图像的亮度信号的低频分量,图像右上方的区域相当于通常光图像的亮度信号的水平高频分量,图像左下方的区域相当于通常光图像的亮度信号的垂直高频分量,图像右下方的区域相当于通常光图像的亮度信号的对角高频分量。
另一方面,图20示出内窥镜图像的亮度信号的一例,图21是示出对图20所示的内窥镜图像的亮度信号进行小波转换的结果的图。在内窥镜图像中,血管部位包含低频分量和高频分量双方,与此相对,粘膜部位具有包含较多的低频分量、高频分量较少的特征。因此,在图21所示的多分辨率转换后的图像中,在图19所示的低频分量区域中分布有血管部位和粘膜部位双方,在图19所示的水平高频分量、垂直高频分量、对角高频分量区域中主要分布有血管部位。
高频分量提取部3522根据从多分辨率转换部3521输出的多分辨率转换图像,利用后述方法,生成仅提取出高频分量的高频分量图像,将所生成的图像输出到高频分量加法部353。这里,高频分量图像的大小与通常光图像相同,由多分辨率转换图像的水平高频分量、垂直高频分量、对角高频分量中的任意分量的组合构成。具体而言,高频分量图像的坐标(x,y)中的信号值H(x,y)例如由下式(14)给出。其中,在下式(14)中,Floor(a)表示舍弃实数a的小数点以下的处理,abs max(a,b,c)表示选出实数a、b、c中的绝对值最大的实数的处理。
[数式4]
H ( x , y ) = abs _ max S ( floor ( x / 2 ) + Im w / 2 , floor ( y / 2 ) ) , S ( floor ( x / 2 ) , floor ( y / 2 ) + Im H / 2 ) , S ( floor ( x / 2 ) + Im W / 2 , floor ( y / 2 ) + Im H / 2 ) . . . . . . ( 14 )
高频分量加法部353根据从区域种类判别部340输出的标志信息,对从YC分离部351输出的通常光图像实施强调处理,对YC合成部354输出通常光图像。
具体而言,在从区域种类判别部340输出的标志信息为1的情况下、即存在疑似病变的区域的情况下,在通常光图像的亮度信号中加上从高频分量计算部352输出的高频分量图像,将相加处理后的通常光图像输出到YC合成部354。并且,在从区域种类判别部340输出的标志信息为0的情况下、即不存在疑似病变的区域的情况下,将从YC分离部351输出的通常光图像直接输出到YC合成部354。
通过进行这种处理,在疑似病变部的区域摄入到通常光图像内的情况下,强调显示对病变诊断重要的血管部位,所以,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担,并且能够防止病变部的遗漏。
并且,在本实施方式中,构成图像处理部300的各部由硬件构成,但是,也可以与第1实施方式同样,构成为针对预先取得的图像,CPU进行各部的处理,通过CPU执行程序,也可以作为软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
作为利用软件构成各部进行的处理的一部分的情况的一例,说明针对预先取得的通常光图像和窄带光图像利用软件实现图2的区域种类判别部340和强调部350的处理的情况下的处理顺序。该情况下的处理顺序如图13所示,区域种类判别步骤(Step3)和强调处理步骤(Step4)以外与第1实施方式相同。
使用图22的流程图对本实施方式中的图13的区域种类判别步骤(Step3)的详细处理进行说明。在局部区域设定步骤中,利用与第1实施方式相同的方法,对窄带光图像设定多个局部区域(Step311)。接着,在特征量计算步骤中,利用与第1实施方式相同的方法,对所设定的全部局部区域计算特征量(Step312)。这里,作为特征量的一例,使用色相H。在种类判别步骤中,对全部局部区域进行种类判别处理,输出是否存在疑似病变的区域的判别结果作为标志信息(Step313)。这里,种类判别处理例如是将色相H为5~35的范围内的局部区域判别为疑似病变的区域的处理,在全部局部区域中存在规定阈值以上的疑似病变的区域的情况下,输出标志信息1,在阈值以下的情况下,输出标志信息0。
接着,使用图23的流程图对强调处理步骤(Step4)的详细处理进行说明。在YC分离处理步骤中,首先,利用式11所示的公知的YC分离处理将通常光图像转换成亮度色差信号(Step411)。接着,在多分辨率转换步骤中,利用式13所示的公知的小波转换对YC分离处理后的亮度信号实施多分辨率转换处理(Step412)。然后,在高频分量图像生成步骤中,根据多分辨率转换后的图像,利用式14生成高频分量图像(Step413)。在Step414中,参照由Step313输出的标志信息,在标志信息为1的情况下执行Step415的处理,在标志信息为0的情况下执行Step416的处理。在Step415中,实施在通常光图像的亮度信号中加上由Step413生成的高频分量图像的处理。在Step416中,通过式12所示的YC合成处理,将通常光图像转换成RGB信号并输出。
通过进行这种处理,在疑似病变部的区域摄入到通常光图像内的情况下,强调显示对病变诊断重要的血管部位,所以,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担,并且能够防止病变部的遗漏。
在以上的本实施方式中,作为第2图像的种类,也可以存在多个种类。该情况下,根据被检体像的种类和第2图像的种类决定强调处理的方法。具体而言,在第2图像的种类为NBI图像、被检体像的种类是否为病变的情况下,对图像全体实施强调处理(对应于图15)。
由此,不仅考虑被检体像的种类,还能够考虑第2图像的种类,然后决定强调处理的方法。具体而言,如图15所示,在病变+NBI图像的组合的情况下,考虑对图像全体进行强调。
并且,强调部350针对第1图像全体,对第1图像的空间频率中的特定频率分量进行强调。
由此,能够根据通过小波转换等而得到的多分辨率转换图像,对特定频率分量进行强调。具体而言,例如,通过对高频分量进行强调(相加处理),能够对包含较多的高频分量的血管部进行强调等。
3.第3实施方式
参照图24对第3实施方式的概要进行说明。目的与第1实施方式相同,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。
在第3实施方式中,如C1所示,第2图像是NBI图像。判别该第2图像内的被摄体像的种类(C2)。这里,用于种类判别的特征量是边缘量E。如C3所示,将边缘量E为规定阈值以上的大小的种类设为第1种类,将除此之外的种类设为第2种类。这里,第1种类对应于血管,第2种类对应于除此之外的部分(例如粘膜)。
在种类的判别后,决定强调范围。在本实施方式中,对第1图像内的与第1种类(血管)对应的部分进行强调处理(C4)。由此,第1图像中被强调的范围为C5所示的范围。
然后,利用规定方法对所设定的强调范围实施强调处理。在本实施方式中,强调处理的方法为边缘量E的相加。具体而言,在第1图像的亮度分量中加上边缘量E的值(C6)。对第1种类进行强调处理,不对第2种类进行强调处理,由此,能够实施与种类对应的强调处理。作为结果,如C7所示,能够取得对血管进行了强调的通常光图像。
接着,对第3实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统的结构如图2所示。并且,区域种类判别部340和强调部350以外的处理与第1实施方式相同。
对本实施方式中的区域种类判别部340的具体结构进行说明。基本结构与图9所示的区域种类判别部340相同,对同一结构分配同一名称和编号。下面,仅对不同的部分进行说明。
图25是示出本实施方式中的区域种类判别部340的结构的一例的框图。区域种类判别部340具有亮度信号计算部345、特征量计算部342、种类判别部343。来自特殊光图像取得部330的图像信号被输出到亮度信号计算部345。并且,亮度信号计算部345与特征量计算部342连接,特征量计算部342与种类判别部343连接。并且,种类判别部343与强调部350连接。控制部360与亮度信号计算部345、特征量计算部342、种类判别部343连接,并对它们进行控制。
亮度信号计算部345根据由特殊光图像取得部330输出的窄带光图像,对全部像素计算亮度信号Y,输出到特征量计算部342。亮度信号的计算例如使用上式(11)即可。
特征量计算部342使用从亮度信号计算部345输出的亮度信号,计算通常光图像的全部像素中的边缘量E,输出到种类判别部343。这里,窄带光图像的坐标(x,y)中的边缘量E(x,y)的计算例如使用下式(15)即可。
[数式5]
E ( x , y ) = | &Sigma; i = - 1 1 &Sigma; j = - 1 1 C i , j &times; Y ( x + i , y + j ) | C i , j = 8 ( i = j = 0 ) - 1 else . . . . . . ( 15 )
种类判别部343根据从特征量计算部342输出的边缘量,针对窄带光图像的全部像素进行该像素是否是血管的判别处理。由于内窥镜图像具有在血管区域中边缘量大、在粘膜区域中边缘量小的特征,所以能够使用边缘量来判别血管区域。判别处理例如如下式(16)所示,在边缘量E(x,y)大于阈值E_ave的情况下,将坐标(x,y)的像素判别为血管即可。另外,阈值E_ave例如为根据窄带光图像的全部像素而计算出的边缘量E(x,y)的平均值即可。种类判别部343将判别为血管的全部像素位置和该像素中的边缘量E(x,y)的信息输出到强调部350。
E(x,y)>E_ave……(16)
接着,对强调部350的具体结构进行说明。基本结构与图17所示的强调部350相同,对同一结构分配同一名称和编号。下面,仅对不同的部分进行说明。
图26是示出本实施方式中的强调部350的结构的一例的框图。强调部350具有YC分离部351、边缘加法部355、YC合成部354。YC分离部351与边缘加法部355连接,边缘加法部355与YC合成部354连接。并且,边缘加法部355与区域种类判别部340连接,对边缘加法部355输出所述的边缘量E(x,y)。控制部360与YC分离部351、边缘加法部355、YC合成部354连接,并对它们进行控制。另外,YC分离部351和YC合成部354的处理与第2实施例相同。
在边缘加法部355中,使用由区域种类判别部340输出的全部像素位置和该像素中的边缘量E(x,y),对通常光图像实施强调处理。具体而言,进行在与所述像素位置对应的通常光图像的像素的亮度信号Y(x,y)中加上所述边缘量E(x,y)的处理。边缘相加后的通常光图像被输出到YC合成部354。
另外,这里,示出了根据边缘量E(x,y)对通常光图像实施亮度转换处理的例子,但是本发明不限于此,也可以根据所述边缘量对通常光图像进行颜色转换处理。
通过进行这种处理,血管部位被强调,所以,血管的视觉辨认性提高,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。另外,在本实施例中,在血管判别时仅使用边缘量作为特征量,但是,在将活体作为被检体的情况下,在褶皱等凹凸部位也包含较多的边缘量。因此,在血管判别时,除了所述边缘量以外,还可以使用第1实施方式所示的色相H作为特征量。
并且,在本实施方式中,构成图像处理部300的各部由硬件构成,但是,也可以与第1实施方式同样,构成为针对预先取得的图像,CPU进行各部的处理,通过CPU执行程序,也可以作为软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
作为利用软件构成各部进行的处理的一部分的情况的一例,说明针对预先取得的通常光图像和窄带光图像利用软件实现图2的区域种类判别部340和强调部350的处理的情况下的处理顺序。该情况下的处理顺序如图13所示,区域种类判别步骤(Step3)和强调处理步骤(Step4)以外与第1实施方式相同。
使用图27的流程图对本实施方式中的图13的区域种类判别步骤(Step3)的详细处理进行说明。在亮度信号计算步骤中,使用上式(11),根据窄带光图像的全部像素计算亮度信号(Step321)。在特征量计算步骤中,使用式15计算边缘量E(x,y)(Step322)。在种类判别步骤中,对全部像素进行上式(16)所示的判别处理,判别该像素是否是血管。然后,输出判别为血管的全部像素位置和该像素中的边缘量E(x,y)(Step323)。
在强调处理步骤中,进行如下的处理:对与在区域种类判别步骤中(Step3)输出的判别为血管的像素位置对应的通常光图像的亮度信号Y(x,y)加上边缘量E(x,y)(Step4)。
通过进行这种处理,血管部位被强调,所以血管的视觉辨认性提高,在使用通常光图像和窄带光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。
在以上的本实施方式中,强调部350根据从第2图像计算出的边缘量,针对第1图像的对应关注区域,对亮度分量或颜色分量进行强调。这里,对应关注区域如上所述。
由此,能够进行使用边缘量E作为特征量的种类判别和强调处理。具体而言,针对边缘量E大于平均值的区域,考虑在亮度分量(YCrCb的Y分量)或颜色分量(R、G、B分量)中加上边缘量E。在本实施方式中,用于种类判别(是否是血管)的特征量和用于强调的参数均为边缘量E。
4.第4实施方式
参照图28对本发明的第4实施方式的内窥镜系统进行说明。在第1~第3实施方式中,使用2个摄像元件取得通常光图像和特殊光图像,但是,这里,例如也可以仅通过具有拜耳排列的滤色镜的第1摄像元件,利用图像处理取得通常光图像和特殊光图像。本实施方式的内窥镜系统具有光源部100、摄像部200、图像处理部300、显示部400、外部I/F部500。另外,下面,针对与第1实施方式等重复的部分,适当省略其说明。
光源部100具有产生白色光的白色光源110和会聚透镜120。
摄像部200例如形成为细长且能够弯曲,以使得能够插入体腔内。并且,摄像部200具有能够装卸的构造,根据要观察的部位而使用不同的摄像部。一般地,在内窥镜领域中,摄像部200被称为镜体,具体而言,作为所使用的镜体,可以举出上部消化器用镜体和下部消化器用镜体等。
摄像部200具有:用于引导由光源部100会聚后的光的光导纤维210、使通过该光导纤维210引导到前端的光扩散并照射到被检体的照明透镜220、使从被检体返回的反射光会聚的物镜230、以及用于检测会聚后的反射光的第1摄像元件250。第1摄像元件250例如是用于拍摄通常光图像的具有拜耳排列的滤色镜的摄像元件。第1摄像元件250的滤色镜例如具有图3所示的分光特性。
进而,摄像部200在内部具有存储器280,存储器280保持各镜体固有的识别编号。存储器280与控制部360连接,控制部360通过参照在存储器280中保持的各镜体固有的识别编号,能够识别正在使用的镜体。并且,通过识别正在使用的镜体,能够识别观察部位。
图像处理部300具有AD转换部310、通常光图像取得部320、特殊光图像取得部330、区域种类判别部340、强调部350、控制部360。
控制部360与区域种类判别部340和强调部350连接,并对它们进行控制。
外部I/F部500是用于供用户对该图像处理装置进行输入等的接口。
AD转换部310将从第1摄像元件输出的模拟图像信号转换为数字图像信号并输出。
通常光图像取得部320根据从AD转换部310输出的数字图像信号取得通常光图像。特殊光图像取得部330根据从AD转换部310输出的数字图像信号取得特殊光图像。
由特殊光图像取得部330取得的特殊光图像被输出到区域种类判别部340。并且,由通常光图像取得部320取得的通常光图像被输出到强调部350。
接着,使用图6对通常光图像取得部320进行说明。通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。
接着,使用图29对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331、特殊光图像存储部332、信号提取部333、矩阵数据设定部334。特殊光图像生成部331对由AD转换部310转换并输入的数字图像信号进行图像处理,生成特殊光图像。在本实施例中,特殊光图像为窄带光图像。在本实施方式中,被输入到特殊光图像生成部331的数字图像信号是与被输入到通常光图像生成部321的数字图像信号相同的信号。
这里,对在信号提取部333、矩阵数据设定部334和特殊光图像生成部331中生成窄带光图像的方法进行说明。首先,对所输入的数字图像信号进行现有的插值处理,生成具有R、G、B的3个通道的彩色图像。该图像是在白色光源下使用第1摄像元件250对被摄体进行摄像的情况下的彩色图像。接着,根据该彩色图像,使用公知的分光估计技术,估计彩色图像的各像素中的被摄体的分光反射率。分光估计技术的详细情况例如在专利文献3的[0054]~[0065]中被公开,通过进行这种处理,例如各像素在380nm~780nm中以每10nm取得具有被摄体的分光反射率特性O(λ)的分光图像信息(这里λ为380~780)。这里,将图像上的位置(x,y)中的分光反射率特性记述为O(λx,y)。并且,设本实施方式中的白色光源的分光放射率为E(λ),光学系统的分光透射率为L(λ),与第1的实施方式中的第2摄像元件260的滤色镜g2、b2对应的像素的分光感光度分别为g2(λ)、b2(λ)。于是,能够利用下式(17)、(18)计算与第1实施方式的G2图像和B2图像对应的G2'图像和B2'图像的位置(x,y)中的信号值G2’(x,y)和B2’(x,y)。
G2'(x,y)=∫E(λ·O(λ·L(λ·g2λ)dλ……(17)
B2'(x,y)=∫E(λ·O(λ·L(λ·b2λ)dλ……(18)
通过对图像上的所有位置(x,y)进行这种计算,能够从由第1摄像元件250得到的图像信号取得G2’图像和B2’图像。
接着,与实施方式1同样,根据该G2’图像和B2’图像,生成具有R、G、B的3个通道的彩色图像。这里,例如通过对彩色图像的R通道输入G2图像、对G通道和B通道输入B2图像,生成彩色图像。特殊光图像生成部331进一步对所生成的彩色图像进行白平衡、灰度转换等处理,作为窄带光图像输出。特殊光图像存储部332存储从特殊光图像生成部输出的特殊光图像。
关于由通常光图像取得部320和特殊光图像取得部330取得图像后的处理,只要进行与第1~第3实施方式相同的处理即可。
在以上的本实施方式中,第2图像取得部(狭义上为特殊光图像取得部330)根据第1图像生成第2图像。具体而言,第2图像取得部包括信号提取部333和矩阵数据设定部334。信号提取部333提取白色光的波段中的信号。矩阵数据设定部334设定用于计算特定波段中的信号的矩阵数据。然后,第2图像取得部使用矩阵数据,根据信号提取部333提取出的信号,计算特定波段的信号,生成第2图像。
由此,能够根据第1图像生成第2图像,所以如图28所示,仅利用一个摄像元件也能够实现系统,能够减小摄像部200。并且,部件很少即可,所以还能够期待降低成本的效果。
5.第5实施方式
参照图30对第5实施方式的概要进行说明。目的与第1实施方式相同,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。
在第5实施方式中,如D1所示,第2图像是荧光图像。判别该第2图像内的被摄体像的种类(D2)。这里,用于种类判别的特征量是信号值(具体而言为R、G、B中的任意一方)。如D3所示,将信号值为规定阈值以上的大小的种类设为第1种类,将除此之外的种类设为第2种类。这里,第1种类对应于病变部,第2种类对应于除此之外的部分(正常部)。这基于如下特性:由于荧光药剂集中于规定病变部,所以在第2图像中,病变部具有特定色调。
在种类的判别后,决定强调范围。在本实施方式中,对第1图像内的与第1种类(病变部)对应的部分进行强调处理(D4)。由此,第1图像中被强调的范围为D5所示的范围。
然后,利用规定方法对所设定的强调范围实施强调处理。在本实施方式中,强调处理的方法为信号值的相加减。具体而言,从第1图像的R、G分量中减去特征量×gain(gain为规定参数),在B分量中加上特征量×gain(D6)。对第1种类进行强调处理,不对第2种类进行强调处理,由此,能够实施与种类对应的强调处理。作为结果,如D7所示,能够取得对病变部进行了强调的通常光图像。
使用图31对本发明的第5实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统具有光源部100、摄像部200、图像处理部300、显示部400、外部I/F部500。
光源部100具有产生白色光的白色光源110、用于使来自光源的出射光会聚在光导纤维210中的会聚透镜120、以及从白色光中提取规定波段的光的旋转滤镜130。
如图32所示,旋转滤镜130由透射率特性不同的2种滤镜F1、F2构成。例如如图33所示,滤镜F1具有使400~700nm的波段的光透射的特征。滤镜F1是白色光。并且,如图34所示,滤镜F2具有使520~550nm和600~650nm的2个波段的光透射的梳形滤镜的特性。由滤镜F2提取出的520~550nm的波段的光具有激励CY3这样的荧光药剂并产生560~600nm的波段的荧光的特性,600~650nm的波段的光具有激励CY5这样的荧光药剂并产生670~710nm的波段的荧光的特性。这里,荧光药剂CY3具有特殊积累在常见于食道部位的扁平上皮癌等病变部的性质。并且,荧光药剂CY5具有特殊积累在常见于大肠部位的肿瘤等病变部的性质。
摄像部200例如形成为细长且能够弯曲,以使得能够插入体腔内。并且,摄像部200具有能够装卸的构造,根据要观察的部位而使用不同的摄像部。一般地,在内窥镜领域中,摄像部200被称为镜体,具体而言,作为所使用的镜体,可以举出上部消化器用镜体和下部消化器用镜体等。
摄像部200具有:用于引导由光源部100会聚后的光的光导纤维210、使通过该光导纤维210引导到前端的光扩散并照射到被检体的照明透镜220、使来自被检体的反射光会聚的物镜230、将会聚后的反射光和荧光分支到不同光路的二色镜240、以及检测分支后的反射光的第1摄像元件250和第2摄像元件260。
第1摄像元件250例如是具有图3所示的R、G、B的分光特性的拜耳型彩色摄像元件。并且,例如如图35所示,第2摄像元件260是将2种滤色镜g3、b3配置成方格状的摄像元件。滤色镜g3、r3例如如图36所示,g3具有透射560~600nm的波段的光的透射率特性,r3具有透射670~710nm的波段的光的透射率特性。这些波段分别相当于荧光药剂CY3、CY5的荧光波长。
进而,摄像部200在内部具有存储器280,存储器280保持各镜体固有的识别编号。存储器280与控制部360连接,控制部360通过参照在存储器280中保持的各镜体固有的识别编号,能够识别正在使用的镜体。并且,通过识别正在使用的镜体,能够识别观察部位。
图像处理部300具有2个AD转换部310和311、通常光图像取得部320、特殊光图像取得部330、区域种类判别部340、强调部350、控制部360、对应部370。控制部360与通常光图像取得部320、特殊光图像取得部330、区域种类判别部340、强调部350、对应部370连接,并对它们进行控制。
进而,控制部360还与所述旋转滤镜130连接,旋转滤镜130根据来自控制部360的信号对电动机进行旋转驱动,由此,依次切换滤镜F1、F2,依次对作为被检体的体腔内组织照射照明光。并且,控制部360将配置在光路中的滤镜F1、F2的信息作为触发信号,输出到通常光图像取得部320、特殊光图像取得部330、对应部370。
外部I/F部500是用于供用户对该图像处理装置进行输入等的接口。
AD转换部310将从第1摄像元件250输出的模拟图像信号转换为数字图像信号并输出,AD转换部311将从第2摄像元件260输出的模拟图像信号转换为数字图像信号并输出。
通常光图像取得部320根据从AD转换部310输出的数字图像信号取得通常光图像。特殊光图像取得部330根据从AD转换部311输出的数字图像信号取得特殊光图像。
由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到对应部370。在本实施方式中,由于利用通常光图像取得部320和特殊光图像取得部330交替取得通常光图像和特殊光图像,所以对应部370进行这些图像的对应。对应部370在后面详细叙述。
由对应部370对应的通常光图像被输出到强调部350。并且,同样由对应部370对应的的特殊光图像被输出到区域种类判别部340。区域种类判别部340判别摄入到特殊光图像内的被检体的种类,将其判别结果输出到强调部350。强调部350根据从区域种类判别部340输出的判别结果对通常光图像实施强调处理,输出到显示部400。区域种类判别部340和强调部350的详细情况在后面叙述。
接着,使用图6对通常光图像取得部320进行说明。通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。通常光图像生成部321通过从控制部360送来的触发信号,识别滤镜F1位于光路中的期间,在滤镜F1位于光路中的期间内,针对从由第1摄像元件送来的模拟图像信号转换后的数字图像信号进行图像处理,生成通常光图像。具体而言,进行现有的插值处理、白平衡、颜色转换、灰度转换等处理,生成通常光图像并输出。这里,通常光图像为RGB图像。通常光图像存储部322在存储器中存储从通常光图像生成部321输出的通常光图像。
接着,使用图7对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331通过从控制部360送来的触发信号,识别滤镜F2位于光路中的期间,在滤镜F2位于光路中的期间内,针对从由第2摄像元件送来的模拟图像信号转换后的数字图像信号进行图像处理,生成特殊光图像。在本实施例中,特殊光图像为荧光图像。荧光图像为RGB图像。
这里,对利用特殊光图像生成部331生成荧光图像的方法进行说明。如上所述,如图37所示,第2摄像元件260是将2种滤色镜g3、r3配置成方格状的摄像元件。因此,对特殊光图像生成部331输入图37所示的数字图像信号。其中,G3(x,y)表示g3滤镜的信号值,R3(x,y)表示r3滤镜的信号值。并且,x、y是图像坐标。首先对这种图像信号进行插值处理,生成在全部像素中具有g3滤镜的信号值的G3图像和在全部像素中具有r3滤镜的信号值的R3图像。插值处理例如利用与所述式(1)、(2)相同的方法进行即可。
接着,根据G3图像和R3图像,与通常光图像同样,生成具有R、G、B的3种信号值的彩色图像。这里,例如对所述彩色图像的坐标(x,y)的R信号输入R3(x,y),对G、B信号输入G3(x,y),由此生成彩色图像。特殊光图像生成部331进一步对所生成的彩色图像进行白平衡、灰度转换等处理,作为荧光图像输出。特殊光图像存储部332在存储器中存储从特殊光图像生成部331输出的荧光图像。
图38是示出位于光路中的滤镜的种类以及在通常光图像存储部322和特殊光图像存储部332中存储的图像的图。首先,在定时1,在光路中插入滤镜F1。此时,被照射的照明光是白色光,在通常光图像存储部322中存储通常光图像,在特殊光图像存储部332中不存储图像。接着,在定时2,在光路中插入滤镜F2。此时,被照射的照明光是激励光,在特殊光图像存储部332中存储从积累药剂荧光的病变部产生的荧光作为虚拟彩色图像,在通常光图像存储部322中不存储图像。通常光图像存储部322和特殊光图像存储部332能够分别存储多张图像。
接着,对对应部370进行详细说明。在本实施方式中,由于利用通常光图像取得部320和特殊光图像取得部330交替取得通常光图像和荧光图像,所以对应部370进行这些图像的对应。这里,对本实施方式中的对应部370的处理进行具体说明。
图39是示出取得在通常光图像存储部322中存储的图像的定时和取得在特殊光图像存储部332中存储的图像的定时的图。对应部370根据来自控制部360的控制信号,从通常光图像存储部322和特殊光图像存储部332中,各读出一张以取得图像的定时之差最小的方式相对应的通常光图像和荧光图像。这里,最初读出的图像是在定时1取得的通常光图像和在定时2取得的荧光图像,接着读出的图像是在定时2取得的荧光图像和在定时3取得的通常光图像。这样,对应部370能够以与图像取得相同的定时间隔取得通常光图像和荧光图像双方。
接着,对区域种类判别部340的处理进行说明。区域种类判别部340的结构与第1实施方式相同,如图9所示。并且,局部区域设定部341的处理也与第1实施方式相同。
在特征量计算部342中,根据观察部位计算特征量。如上所述,本实施方式中使用的荧光药剂CY3具有特殊积累在常见于食道部位的扁平上皮癌等病变部的性质,并且,荧光药剂CY5具有特殊积累在常见于大肠部位的肿瘤等病变部的性质。因此,在对食道进行诊断时,使用被输入荧光药剂CY3的荧光信号的G或B信号作为特征量,在对大肠进行观察时,使用被输入荧光药剂CY5的荧光信号的R信号作为特征量即可。这里,如上所述,控制部360通过参照在存储器280中保持的各镜体固有的识别编号也能够决定观察部位,也可以构成为通过外部I/F部500由用户指定观察部位。
这里,以对大肠部位进行诊断的情况为例进行说明。在对大肠部位进行诊断时,特征量计算部342针对由局部区域设定部341设定的全部局部区域计算各局部区域内的全部像素的R信号的平均值。然后,将计算出的R信号的平均值作为特征量输出到种类判别部343。这里,将局部区域a(m,n)的特征量表记为f(m,n)。
在种类判别部343中,根据由特征量计算部342计算出的各局部区域内的特征量f(m,n),判别摄入到各局部区域内的被检体的种类。
由于本实施方式中使用的荧光药剂CY5特殊积累在肿瘤等病变部位,所以与不存在病变部的局部区域相比,存在肿瘤等病变部的局部区域具有特征量f(m,n)变大的倾向。因此,在各局部区域中的特征量f(m,n)大于阈值F th的情况下,将该局部区域判别为肿瘤等病变部即可。这里,例如如下式(19)所示,设阈值F th为各局部区域中的特征量f(m,n)的平均值即可。
[数式6]
F _ th = 1 ( M + 1 ) ( N + 1 ) &Sigma; m = 0 M &Sigma; n = 0 N f ( m , n ) . . . . . ( 19 )
种类判别部343将判别为肿瘤等病变部的全部局部区域坐标、该局部区域中的特征量f(m,n)、以及表示判别结果的标签信息输出到区域选出部344。这里,关于标签信息,例如,设判别为肿瘤等病变部的区域的标签信息为1即可。
区域选出部344根据由种类判别部343判别为肿瘤等病变部的局部区域a(m,n)的坐标和局部区域所包含的全部像素的信息,计算该局部区域中的全部像素位置,将计算出的像素位置、所述标签信息和特征量f(x,y)输出到强调部350。这里,设各像素位置中的特征量f(x,y)为该像素位置所属的局部区域a(m,n)中的特征量f(m,n)即可。
接着,对强调部350进行详细说明。强调部350对与从区域种类判别部340输出的像素位置对应的通常光图像的全部像素实施强调处理。实施了强调处理后的通常光图像被输出到显示部400。
这里,关于强调处理,例如针对判别为肿瘤等病变部的像素、即标签的值为1的像素进行式20所示的颜色转换处理即可。
R_out(x,y)=R(x,y)-gain*f(x,y)
G_out(x,y)=G(x,y)-gain*f(x,y)
B_out(x,y)=B(x,y)+gain*f(x,y)……(20)
其中,在式20中,
R(x,y)、G(x,y)、B(x,y):颜色转换处理前的通常光图像的坐标(x,y)中的R、G、B信号值
R_out(x,y)、G_out(x,y)、B_out(x,y):颜色转换处理后的通常光图像的坐标(x,y)中的R、G、B信号值
并且,gain为0~1的任意系数。这里,gain可以通过外部I/F部500由用户设定,也可以根据观察部位预先设定不同的值。另外,如上所述,控制部360通过参照在存储器280中保持的各镜体固有的识别编号能够识别观察部位,也可以构成为通过外部I/F部500由用户指定观察部位。
通过进行这种处理,肿瘤等病变部被描绘成与正常部位不同的强蓝色的区域,所以在使用通常光图像和荧光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。
另外,在本实施方式中,示出了根据所述特征量对通常光图像实施颜色转换处理的例子,但是本发明不限于此,也可以根据所述特征量进行任意的颜色转换处理和亮度转换处理。
并且,在本实施方式中使用了荧光药剂,但是,例如也可以如现有的作为AFI(Auto Fluorescence Imaging:自体荧光成像)而公知的技术那样,构成为对从活体中的骨胶原产生的自体荧光进行观察。该情况下,使用390~470nm的波段的光作为激励光,将第2摄像元件的滤色镜的透射特性变更为所述自体荧光的波段即490~625nm即可。
进而,例如也可以如现有的作为IRI(Infra red Imaging:红外成像)而公知的技术那样,在静脉注射了ICG后,使用2个红外光(790~820nm和905~970nm的波段的光)作为照明光,根据它们的反射光图像生成虚拟彩色图像,用作特殊光图像。
并且,在本实施方式中,构成图像处理部300的各部由硬件构成,但是,也可以与第1实施方式同样,构成为针对预先取得的图像,CPU进行各部的处理,通过CPU执行程序,也可以作为软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
作为利用软件构成各部进行的处理的一部分的情况的一例,使用图40的流程图说明针对预先取得的通常光图像和荧光图像利用软件实现图31的区域种类判别部340、强调部350和对应部370的处理的情况下的处理顺序。
在本实施方式中,由于交替取得通常光图像和荧光图像,所以首先根据取得各个图像的定时信息,利用所述方法进行这些图像的对应(Step11)。接着,将荧光图像读入存储器中(Step12),将与该特殊光图像相对应的通常光图像读入存储器中(Step13)。
区域种类判别步骤(Step14)的详细情况如图41所示。首先,在局部区域设定步骤中,与第1实施方式同样,针对荧光图像设定局部区域(Step141)。在特征量计算步骤中,利用所述方法,根据正在诊断的部位计算各局部区域的特征量(Step142)。在种类判别步骤中,通过所述阈值处理进行各局部区域是否是肿瘤等病变部的判别处理(Step143)。在区域选出步骤中,根据判别为病变部的局部区域的坐标和各局部区域所包含的像素的信息,计算所述局部区域中包含的像素的位置(Step144)。
在强调处理步骤(Step15)中,利用上式(19)所示的方法对通常光图像实施强调处理。然后,在针对所有图像完成了一连串处理的情况下,结束处理,在残留有未处理的图像的情况下,继续进行同样的处理(Step16)。
在以上的本实施方式中,种类判别部343根据被检体像所属的部位,对特征量的计算处理进行变更。
由此,能够根据正在观察的部位,对用于被检体像的种类判别的特征量进行变更。具体而言,在使用荧光药剂CY3和CY5的观察中,CY3的荧光信号G3被输入到G和B通道,CY5的荧光信号R3被输入到R通道。这里,具有如下特征:CY3容易积累在常见于食道部位的扁平上皮癌等病变中,CY5容易积累在常见于大肠部位的肿瘤等病变中。因此,考虑在对食道进行观察时,使用被输入CY3的荧光信号G3的G或B信号作为特征量,在对大肠进行观察时,使用被输入CY5的荧光信号R3的R信号作为特征量。
并且,作为强调处理,强调部350根据从第2图像计算出的与颜色有关的特征量,针对第1图像内的对应关注区域,对亮度分量或颜色分量进行强调。
由此,作为强调处理,能够进行在对应关注区域的亮度分量(Y分量)或颜色分量(R、G、B分量)中加上与颜色有关的特征量(如上所述,在食道的情况下为G或B信号,在大肠的情况下为R信号)的处理。
6.第6实施方式
参照图42对第6实施方式的概要进行说明。目的与第1实施方式相同,判别第2图像内的被摄体像的种类,根据种类对第1图像实施强调处理。但是,在本实施方式中,采用能够取得多种第2图像的系统结构,所以,特征在于,除了被摄体像的种类以外,还需要考虑第2图像的种类。
首先,如E1所示,判别第2图像的种类。这里,考虑如E2所示取得荧光图像的情况、以及如E3所示取得NBI图像的情况。根据第2图像是荧光图像还是NBI图像,此后的处理不同。因此,能够根据第2图像的种类对第1图像实施强调处理。
另外,得到荧光图像作为第2图像的情况下的以后的处理与图30(第5实施方式)相同,得到NBI图像的情况下的以后的处理与图24(第3实施方式)相同。
接着,使用图43对第6实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统具有光源部100、摄像部200、图像处理部300、显示部400、外部I/F部500。
光源部100具有产生白色光的白色光源110、用于使来自光源的出射光会聚在光导纤维210的会聚透镜120、以及从白色光中提取规定波段的光的第1旋转滤镜140和第2旋转滤镜150。
这里,这2个旋转滤镜被排他地进行控制。具体而言,在第1旋转滤镜140插入从白色光源110输出的光的光路中的情况下,第2旋转滤镜150不插入所述光路中。相反,在第2旋转滤镜150插入所述光路中的情况下,第1旋转滤镜140不插入所述光路中。旋转滤镜的切换例如通过外部I/F部500由用户指定,构成为按照用户的指定,控制部360排他地控制所述2个旋转滤镜即可。
如图44所示,第1旋转滤镜140由透射率特性不同的滤镜F1、F3构成。如图33所示,滤镜F1具有使400nm~700nm的波段的光透射的特性。如图46所示,滤镜F3具有使600nm~650nm的波段的光透射的特性。通过滤镜F3提取出的600~650nm的波段的光具有对CY5这种荧光药剂进行激励而产生670~710nm的波段的荧光的特性。这里,荧光药剂CY5具有特殊地积累在肿瘤等病变部中的性质。
并且,如图45所示,第2旋转滤镜150由透射率特性不同的滤镜F1、F4构成。如图47所示,滤镜F4具有使390nm~445nm和530~550nm的2个波段的光透射的梳形滤镜的特性。另外,第2旋转滤镜150具有的滤镜F1的特性与第1旋转滤镜140具有的滤镜F1的特性相同。
摄像部200例如形成为细长且能够弯曲,以使得能够插入体腔内。摄像部200具有:用于引导由光源部100会聚后的光的光导纤维210、使通过该光导纤维210引导到前端的光扩散并照射到被检体的照明透镜220、使来自被检体的反射光会聚的物镜230、将会聚后的反射光分支到不同光路的二色镜240、以及检测分支后的反射光的第1摄像元件250和第2摄像元件260。
第1摄像元件250例如是具有图3所示的R、G、B的分光特性的拜耳型彩色摄像元件。并且,例如如图48所示,第2摄像元件260是将2种滤色镜g4、b4配置成方格状的摄像元件。例如如图49所示,滤色镜g4具有使530~550nm和670~710nm的2个波段的光透射的梳形滤镜的特性。并且,例如如图50所示,滤色镜b4具有使390~445nm和670~710nm的2个波段的光透射的梳形滤镜的特性。这里,2种滤色镜g4、b4共同的透射波段即670~710nm的波段相当于荧光药剂CY5的荧光波长。
图像处理部300具有2个AD转换部310和311、通常光图像取得部320、特殊光图像取得部330、强调部350、控制部360、对应部370。控制部360与通常光图像取得部320、特殊光图像取得部330、强调部350、对应部370连接,并对它们进行控制。
进而,控制部360还与第1旋转滤镜140和第2旋转滤镜150连接,所述2个旋转滤镜根据来自控制部360的信号对电动机进行旋转驱动,由此,依次切换滤镜F1、F3或F1、F4,依次对作为被检体的体腔内组织照射照明光。并且,控制部360将插入光路中的旋转滤镜的信息和配置在光路中的滤镜F1、F3、F4的信息输出到通常光图像取得部320、特殊光图像取得部330、强调部350、对应部370。这里,控制部360输出的信息为标志信号和触发信号这2种。标志信号是用于识别第1旋转滤镜140和第2旋转滤镜150中的哪个旋转滤镜插入光路中的信号。并且,触发信号是用于识别配置在光路中的滤镜F1、F3、F4的信号。
外部I/F部500是用于供用户对该图像处理装置进行输入等的接口。
AD转换部310将从第1摄像元件250输出的模拟图像信号转换为数字图像信号并输出,AD转换部311将从第2摄像元件260输出的模拟图像信号转换为数字图像信号并输出。
通常光图像取得部320根据从AD转换部310输出的数字图像信号取得通常光图像。特殊光图像取得部330根据从AD转换部311输出的数字图像信号取得特殊光图像。
由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到对应部370。在本实施方式中,由于利用通常光图像取得部320和特殊光图像取得部330交替取得通常光图像和特殊光图像,所以对应部370进行这些图像的对应。对应部370的处理与第5实施方式相同。
由对应部370对应的通常光图像和特殊光图像被输出到强调部350。强调部350根据特殊光图像的种类对通常光图像实施强调处理,输出到显示部400。另外,强调部350在后面详细叙述。
接着,使用图6对通常光图像取得部320进行说明。通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。通常光图像生成部321通过从控制部360送来的触发信号,识别滤镜F1位于光路中的期间,在滤镜F1位于光路中的期间内,针对从由第1摄像元件250送来的模拟图像信号转换后的数字图像信号进行图像处理,生成通常光图像。具体而言,进行现有的插值处理、白平衡、颜色转换、灰度转换等处理,生成通常光图像并输出。这里,通常光图像为RGB图像。通常光图像存储部322在存储器中存储从通常光图像生成部321输出的通常光图像。另外,通常光图像存储部322可以存储多张图像。
接着,使用图7对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331根据从控制部360送来的所述标志信号,识别所述2个旋转滤镜中的哪个旋转滤镜插入光路中,根据该识别结果生成特殊光图像。这里,针对在所述光路中插入第1旋转滤镜140的情况以及插入第2旋转滤镜150的情况,分别说明特殊光图像的生成方法。
在第1旋转滤镜140插入光路中的情况下,特殊光图像取得部330根据所述触发信号识别滤镜F3位于光路中的期间,在滤镜F3位于光路中的期间内,对从AD转换部311输出的数字图像信号进行图像处理,生成特殊光图像。如上所述,滤镜F3具有使激励荧光药剂CY5并产生荧光的波段的光透射的特性。这里,荧光药剂CY5的荧光波长的波段为670~710nm。另一方面,在第2摄像元件260中使用的滤色镜g4、b4两者均具有使所述荧光波长的波段透射的特性。因此,从第2摄像元件260输出的信号为CY5的荧光信号。因此,在本实施方式中,在第1旋转滤镜140插入光路中的情况下取得的特殊光图像为荧光图像。特殊光图像生成部331通过对由AD转换部311输出的数字图像信号进行现有的灰度转换处理,生成荧光图像,将所生成的荧光图像输出到特殊光图像存储部332。这里,荧光图像为单色图像。特殊光图像存储部332在存储器中存储从特殊光图像生成部331输出的荧光图像。
并且,在第2旋转滤镜150插入光路中的情况下,特殊光图像取得部330根据所述触发信号识别滤镜F4位于光路中的期间,在滤镜F4位于光路中的期间内,对从AD转换部311输出的数字图像信号进行图像处理,生成特殊光图像。这里,如上所述,滤镜F4具有使390~445nm和530~550nm的2种窄带光透射的特性。另一方面,如上所述,如图48所示,第2摄像元件260是将2种滤色镜g4、b4配置成方格状的摄像元件。并且,g4具有使530~550nm的波段的光透射的特性,b4具有使390~445nm的波段的光透射的特性。因此,在第2旋转滤镜150插入光路中的情况下,输入到特殊光图像生成部331的数字图像信号与第1实施方式所示的输入到特殊光图像生成部331的数字图像信号相同。因此,特殊光图像生成部331利用与第1实施方式相同的方法生成窄带光图像,将所生成的窄带光图像输出到特殊光图像存储部332。这里,窄带光图像为RGB图像。特殊光图像存储部332在存储器中存储从特殊光图像生成部331输出的窄带光图像。另外,特殊光图像存储部332可以存储多张图像。
接着,对强调部350进行详细说明。如图51所示,强调部350由特征量计算部356和特征量加法部357构成。通过对应部370进行了与通常光图像之间的对应的特殊光图像被输出到特征量计算部356。并且,通过对应部370进行了与特殊光图像之间的对应的通常光图像被输出到特征量加法部357。控制部360与特征量计算部356和特征量加法部357连接,并对它们进行控制。
特征量计算部356根据特殊光图像的种类计算特征量。具体而言,参照从控制部360送来的标志信号,识别光源部100中的2个旋转滤镜中的哪个旋转滤镜插入光路中,根据识别结果计算特征量。
在所述光路中插入第1旋转滤镜140的情况下,如上所述,由对应部370输出的特殊光图像为单色的荧光图像。该情况下,特征量计算部356将所输入的荧光图像的全部像素位置(x,y)中的信号值作为特征量输出到特征量加法部357。这里,将像素位置(x,y)中的特征量表记为f’(x,y)。
另一方面,在所述光路中插入第2旋转滤镜150的情况下,由对应部370输出的特殊光图像为窄带光图像。该情况下,特征量计算部356根据所输入的窄带光图像的亮度信号,使用式15,针对特殊光图像的全部像素计算边缘量E(x,y),将计算出的边缘量E(x,y)作为特征量f’(x,y)输出到特征量加法部357。
特征量加法部357根据特殊光图像的种类对通常光图像实施强调处理。如上所述,特殊光图像的种类判别方法参照从控制部360送来的标志信号即可。
在所述光路中插入第1旋转滤镜140的情况下,特征量加法部357利用与上式(20)相同的方法,对通常光图像实施颜色转换处理。这里,示出了根据由特征量计算部356计算出的特征量对通常光图像实施颜色转换处理的例子,但是本发明不限于此,也可以根据所述特征量进行任意的颜色转换处理和亮度转换处理。
另一方面,在所述光路中插入第2旋转滤镜150的情况下,特征量加法部357实施在通常光图像的亮度信号Y(x,y)中加上由特征量计算部356输出的特征量f’(x,y)的处理。这里,示出了根据由特征量计算部356计算出的特征量对通常光图像实施亮度转换处理的例子,但是本发明不限于此,也可以根据所述特征量进行任意的颜色转换处理和亮度转换处理。
通过进行这种处理,在取得荧光图像作为特殊光图像的情况下,肿瘤等病变部被描绘成与正常部位不同的颜色。进而,在取得窄带光图像作为特殊光图像的情况下,强调描绘对病变诊断重要的血管部位。
根据以上所示的结构,能够根据特殊光图像的种类对通常光图像进行强调处理,在使用通常光图像和特殊光图像进行诊断时,能够降低医生的负担并防止病变部的遗漏。
另外,在本实施方式中,示出了使用插入光路中的旋转滤镜的信息作为标志信号来判别特殊光图像的种类的方法,但是本发明不限于此。例如,也可以根据从第2摄像元件260输出的信号来判别特殊光图像的种类。
这里,对根据从第2摄像元件260输出的信号来判别特殊光图像的种类的方法进行说明。如图48所示,第2摄像元件260是将2种滤色镜g4、b4排列成方格状的摄像元件。并且,在本实施方式中,在第1旋转滤镜140插入光路中的情况下,如上所述,由第2摄像元件260输出的信号为CY5的荧光信号。因此,从具有滤色镜g4的全部像素输出的信号的平均值G4_ave与从具有滤色镜b4的全部像素输出的信号的平均值B4_ave大致相等。
另一方面,在第2旋转滤镜150插入光路中的情况下,如上所述,由第2摄像元件260输出的信号为与滤色镜g4有关的波段530~550nm的窄带信号、与滤色镜b4有关的波段390~445的窄带信号,在g4和b4中输出不同波段的信号。因此,所述信号的平均值G4_ave和B4_ave为不同的值。因此,通过对所述平均值G4_ave、B4_ave进行比较,也能够识别特殊光图像的种类。
并且,在本实施方式中,构成图像处理部300的各部由硬件构成,但是,也可以与第1实施方式同样,构成为针对预先取得的图像,CPU进行各部的处理,通过CPU执行程序,也可以作为软件来实现。或者,也可以利用软件构成各部进行的处理的一部分。
作为利用软件构成各部进行的处理的一部分的情况的一例,使用图52的流程图说明针对预先取得的通常光图像和特殊光图像利用软件实现图43的强调部350和对应部370的处理的情况下的处理顺序。
在本实施方式中,由于交替取得通常光图像和特殊光图像,所以首先根据取得各个图像的定时信息,利用与第5实施方式相同的方法进行这些图像的对应(Step21)。接着,将特殊光图像读入存储器中(Step22),将与该特殊光图像相对应的通常光图像读入存储器中(Step23)。进而,将用于识别特殊光图像的种类的标志信号读入存储器中(Step24)。
强调处理步骤(Step25)的详细情况如图53所示。首先,在特殊光图像识别步骤中,参照标志信号来识别特殊光图像的种类(Step251)。接着,在特征量计算步骤中,根据特殊光图像的种类计算特征量(Step252)。具体而言,在特殊光图像为荧光图像的情况下,将荧光图像的信号值作为特征量f’(x,y),并且,在特殊光图像为窄带光图像的情况下,根据窄带光图像的亮度信号,使用式15计算边缘量,将计算出的边缘量作为特征量f’(x,y)。在特征量相加步骤中,与Step252同样,根据特殊光图像的种类对通常光图像实施强调处理(Step253)。具体而言,在特殊光图像的种类为荧光图像的情况下,使用由Step252计算出的特征量和上式(20)对通常光图像实施颜色转换处理。并且,在特殊光图像的种类为窄带光图像的情况下,实施在通常光图像的亮度信号中加上由Step252计算出的特征量的处理。
然后,在针对所有图像完成了一连串处理的情况下,结束处理,在残留有未处理的图像的情况下,继续进行同样的处理(Step26)。
在以上的本实施方式中,第1图像取得部(狭义上为通常光图像取得部320)取得与白色光的波段对应的第1图像(狭义上为白色光图像),第2图像取得部(狭义上为特殊光图像取得部330)取得与特定波段(狭义上为窄带光或荧光等的波段)对应的第2图像(狭义上为窄带图像或荧光图像等特殊光图像)。然后,强调部350根据第2图像的种类,对第1图像实施强调处理。
这里,第2图像的种类可以包括NBI图像和AFI图像。而且,强调部350也可以根据第2图像是NBI图像还是AFI图像,对强调处理的方法进行变更。
由此,能够在取得通常光图像(白色光图像)和特殊光图像(NBI图像或荧光图像等)后,根据特殊光图像的种类,变更针对通常光图像的强调处理的方法。由此,具体而言,例如能够在特殊光图像为NBI图像的情况下,进行与第3实施方式相同的处理,在特殊光图像为荧光图像的情况下,进行与第5的实施方式相同的处理等。
以上对应用本发明的6个实施方式1~6及其变形例进行了说明,但是,本发明不限于各实施方式1~6及其变形例本身,在实施阶段,能够在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且,通过适当组合上述各实施方式1~6和变形例所公开的多个结构要素,能够形成各种发明。例如,可以从各实施方式1~6和变形例所记载的全部结构要素中删除若干个结构要素。进而,可以适当组合不同实施方式和变形例中说明的结构要素。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。
并且,在说明书或附图中,至少一次与更广义或同义的不同用语(第1图像、第2图像等)一起记载的用语(通常光图像、特殊光图像等)在说明书或附图的任意部位中,能够置换为与其不同的用语。
标号说明
100:光源部;110:白色光源;120:会聚透镜;130:旋转滤镜;140:旋转滤镜;150:旋转滤镜;200:摄像部;210:光导纤维;220:照明透镜;230:物镜;240:半透半反镜;250:摄像元件;260:摄像元件;270:二色镜;280:存储器;300:图像处理部;310:转换部;311:转换部;320:通常光图像取得部;321:通常光图像生成部;322:通常光图像存储部;330:特殊光图像取得部;331:特殊光图像生成部;332:特殊光图像存储部;333:信号提取部;334:矩阵数据设定部;340:区域种类判别部;341:局部区域设定部;342:特征量计算部;343:种类判别部;344:像素信息输出部;345:亮度信号计算部;350:强调部;351:分离部;352:高频分量计算部;353:高频分量加法部;354:合成部;355:边缘加法部;356:特征量计算部;357:特征量加法部;360:控制部;370:对应部;400:显示部;500:外部I/F部;600:计算机系统;610:主体部;615:驱动器;616:端口;617:接口;618:接口;620:显示器;621:显示画面;630:键盘;640:鼠标;650:调制解调器;670:存储器;682:服务器;683:打印机;3521:多分辨率转换部;3522:高频分量提取部。

Claims (35)

1.一种图像处理装置,其特征在于,该图像处理装置包括:
第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;
种类判别部,其根据所述第2图像内的像素的特征量,判别摄入到所述第2图像内的被摄体像的种类;以及
强调部,其根据所述判别的被摄体像的种类,对所述第1图像实施强调处理。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述种类判别部根据所述被检体像所属的部位,对所述特征量的计算处理进行变更。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述强调部根据所述被检体像所属的部位,对所述强调处理的方法进行变更。
4.根据权利要求2或3所述的图像处理装置,其特征在于,
所述第1图像和所述第2图像中的至少一方是由设于该图像处理装置外部的摄像装置拍摄的,
所述强调部根据与拍摄所述第1图像和所述第2图像中的至少一方的所述摄像装置有关的信息,决定所述被检体像所属的部位。
5.根据权利要求1所述的图像处理装置,其特征在于,
作为所述被检体像,在所述第2图像内存在多个被检体像,
所述种类判别部判别所述多个被检体像中的各被检体像属于第1~第N(N为2以上的整数)种类中的哪个种类,
所述强调部根据所述种类判别部的判别结果,决定强调处理的方法。
6.根据权利要求5所述的图像处理装置,其特征在于,
对于所述第1~第N种类中的各种类设定了与种类对应的优先度,
所述强调部根据按照所述被摄体像的种类而设定的所述优先度,决定强调处理的方法。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述强调部根据所述被检体像所属的部位,设定与所述被检体像的种类相应的所述优先度。
8.根据权利要求6所述的图像处理装置,其特征在于,
所述强调部针对属于所述优先度最高的种类的所述被检体像,使用与所述被检体像的种类对应的强调方法进行强调处理。
9.根据权利要求5所述的图像处理装置,其特征在于,
所述强调部针对属于所述第1~第N种类中的第i(1≦i≦N)种类的所述被检体像,使用与所述第i种类对应的强调方法进行强调处理,针对属于第j(1≦j≦N、j≠i)种类的所述被检体像,使用与所述第j种类对应的强调方法进行强调处理。
10.根据权利要求1所述的图像处理装置,其特征在于,
作为所述第2图像的种类,存在多个种类,
所述强调部根据所述被检体像的种类和所述第2图像的种类,决定所述强调处理的方法。
11.根据权利要求10所述的图像处理装置,其特征在于,
所述图像处理装置包括区域选出部,该区域选出部从所述第1图像中选出所述第2图像内的与具有所述被检体像的关注区域对应的对应关注区域,
在所述被检体像的种类为血管、且所述第2图像的种类为NBI图像的情况下,所述强调部将作为与所述血管对应的区域的所述对应关注区域决定为实施所述强调处理的范围。
12.根据权利要求10所述的图像处理装置,其特征在于,
在所述被检体像的种类为病变、且所述第2图像的种类为NBI图像的情况下,所述强调部将所述第1图像全体决定为实施所述强调处理的范围。
13.根据权利要求1所述的图像处理装置,其特征在于,
作为所述强调处理,所述强调部针对所述第1图像全体,对该第1图像的空间频率中的特定频率成分进行强调。
14.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置包括区域选出部,该区域选出部从所述第1图像中选出所述第2图像内的与具有所述被检体像的关注区域对应的对应关注区域,
作为所述强调处理,所述强调部根据从所述第2图像计算出的边缘量,对所述第1图像内的所述对应关注区域中包含的信号的亮度分量或颜色分量进行强调。
15.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置包括区域选出部,该区域选出部从所述第1图像中选出所述第2图像内的与具有所述被检体像的关注区域对应的对应关注区域,
作为所述强调处理,所述强调部根据从所述第2图像计算出的与颜色有关的特征量,对所述第1图像内的所述对应关注区域中包含的信号的亮度分量或颜色分量进行强调。
16.根据权利要求1所述的图像处理装置,其特征在于,
所述特征量是表示边缘、色相或彩度的量。
17.根据权利要求1所述的图像处理装置,其特征在于,
所述被检体像的种类包括与病变有关的种类和与血管有关的种类中的至少一个种类。
18.根据权利要求1所述的图像处理装置,其特征在于,
所述特定波段是比所述白色光的波段窄的波段。
19.根据权利要求1所述的图像处理装置,其特征在于,
所述第1图像和所述第2图像是对活体内进行拍摄而得的活体内图像,
所述活体内图像中包含的所述特定波段是容易被血液中的血红蛋白吸收的波长的波段。
20.根据权利要求19所述的图像处理装置,其特征在于,
所述特定波段为390纳米~445纳米或530纳米~550纳米。
21.根据权利要求1所述的图像处理装置,其特征在于,
所述第1图像和所述第2图像是对活体内进行拍摄而得的活体内图像,
所述活体内图像中包含的所述特定波段是荧光物质发出的荧光的波段。
22.根据权利要求21所述的图像处理装置,其特征在于,
所述特定波段是490纳米~625纳米的波段。
23.根据权利要求1所述的图像处理装置,其特征在于,
所述第1图像和所述第2图像是对活体内进行拍摄而得的活体内图像,
所述活体内图像中包含的所述特定波段是红外光的波段。
24.根据权利要求23所述的图像处理装置,其特征在于,
所述特定波段是790纳米~820纳米或905纳米~970纳米的波段。
25.根据权利要求1所述的图像处理装置,其特征在于,
所述第2图像取得部根据所述取得的第1图像,生成所述第2图像。
26.根据权利要求25所述的图像处理装置,其特征在于,
所述第2图像取得部包括信号提取部,该信号提取部从所述取得的第1图像中提取白色光波段中的信号,
所述第2图像取得部根据所述提取出的信号,生成包含所述特定波段中的信号的所述第2图像。
27.根据权利要求26所述的图像处理装置,其特征在于,
所述第2图像取得部包括矩阵数据设定部,该矩阵数据设定部根据所述白色光波段中的信号,设定用于计算所述特定波段中的信号的矩阵数据,
所述第2图像取得部使用所述设定的矩阵数据,根据所述白色光波段中的信号计算所述特定波段中的信号,生成所述第2图像。
28.一种电子设备,其特征在于,该电子设备包括权利要求1~27中的任意一项所述的图像处理装置。
29.一种图像处理装置,其特征在于,该图像处理装置包括:
第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;以及
强调部,其根据所述取得的第2图像的种类,对所述第1图像实施强调处理。
30.根据权利要求29所述的图像处理装置,其特征在于,
所述第2图像的种类包括NBI图像和AFI图像的种类。
31.根据权利要求30所述的图像处理装置,其特征在于,
所述强调部根据所述第2图像的种类是NBI图像还是AFI图像,对强调处理的方法进行变更。
32.一种程序,其特征在于,该程序使计算机作为以下部分发挥功能:
第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;
种类判别部,其根据所述第2图像内的像素的特征量,判别摄入到所述第2图像内的被摄体像的种类;以及
强调部,其根据所述判别的被摄体像的种类,对所述第1图像实施强调处理。
33.一种程序,其特征在于,该程序使计算机作为以下部分发挥功能:
第1图像取得部,其取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
第2图像取得部,其取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;以及
强调部,其根据所述取得的第2图像的种类,对所述第1图像实施强调处理。
34.一种图像处理方法,其特征在于,
取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;
根据所述第2图像内的像素的特征量,判别摄入到所述第2图像内的被摄体像的种类;以及
根据所述判别的被摄体像的种类,对所述第1图像实施强调处理。
35.一种图像处理方法,其特征在于,
取得包含具有白色光波段中的信息的被摄体像的图像,作为第1图像;
取得包含具有特定波段中的信息的被摄体像的图像,作为第2图像;以及
根据所述取得的第2图像的种类,对所述第1图像实施强调处理。
CN201080059610.9A 2009-12-28 2010-12-08 图像处理装置、电子设备和图像处理方法 Active CN102695446B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009296964A JP5541914B2 (ja) 2009-12-28 2009-12-28 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP2009-296964 2009-12-28
PCT/JP2010/071963 WO2011080996A1 (ja) 2009-12-28 2010-12-08 画像処理装置、電子機器、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN102695446A true CN102695446A (zh) 2012-09-26
CN102695446B CN102695446B (zh) 2015-07-08

Family

ID=44226415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080059610.9A Active CN102695446B (zh) 2009-12-28 2010-12-08 图像处理装置、电子设备和图像处理方法

Country Status (5)

Country Link
US (1) US8913111B2 (zh)
EP (1) EP2520214A4 (zh)
JP (1) JP5541914B2 (zh)
CN (1) CN102695446B (zh)
WO (1) WO2011080996A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103908217A (zh) * 2012-12-28 2014-07-09 Hoya株式会社 电子内窥镜
CN103997946A (zh) * 2012-01-25 2014-08-20 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
CN104869884A (zh) * 2012-12-19 2015-08-26 奥林巴斯株式会社 医用图像处理装置以及医用图像处理方法
CN105072975A (zh) * 2013-02-27 2015-11-18 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
CN106725263A (zh) * 2016-12-15 2017-05-31 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
CN107072485A (zh) * 2014-11-12 2017-08-18 索尼公司 图像处理装置、图像处理方法以及程序
CN108154554A (zh) * 2018-01-25 2018-06-12 北京雅森科技发展有限公司 基于脑部数据统计分析的立体图像生成方法及系统
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN109965829A (zh) * 2019-03-06 2019-07-05 重庆金山医疗器械有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
CN111295124A (zh) * 2017-11-09 2020-06-16 奥林巴斯株式会社 内窥镜系统
WO2020215810A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN113543689A (zh) * 2019-03-19 2021-10-22 奥林巴斯株式会社 内窥镜装置、内窥镜装置的工作方法以及程序

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5752945B2 (ja) * 2011-01-24 2015-07-22 オリンパス株式会社 内視鏡システム
WO2013051431A1 (ja) 2011-10-06 2013-04-11 オリンパス株式会社 蛍光観察装置
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5844230B2 (ja) * 2011-10-12 2016-01-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5757891B2 (ja) * 2012-01-23 2015-08-05 富士フイルム株式会社 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP5815426B2 (ja) 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP6150555B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20160066798A1 (en) * 2013-04-09 2016-03-10 University Of Washington Through Its Center For Commercialization Methods and Systems for Determining Hemodynamic Properties of a Tissue
US10722155B2 (en) 2013-05-30 2020-07-28 Hoya Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
JP5869541B2 (ja) * 2013-09-13 2016-02-24 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
EP3072439B1 (en) * 2013-10-28 2018-09-05 Fujifilm Corporation Image processing device and operation method therefor
JP2015211727A (ja) * 2014-05-01 2015-11-26 オリンパス株式会社 内視鏡装置
WO2015182306A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置及び合成画像表示装置
JP6204314B2 (ja) 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JP6356051B2 (ja) 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法
US9986890B2 (en) * 2014-11-25 2018-06-05 Sony Corporation Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging
JP6164238B2 (ja) * 2015-03-18 2017-07-19 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016193107A (ja) * 2015-04-01 2016-11-17 Hoya株式会社 画像処理装置
JP6707533B2 (ja) 2015-05-21 2020-06-10 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
DE112015006505T5 (de) * 2015-06-17 2018-03-15 Olympus Corporation Bildgebungsvorrichtung
WO2017046857A1 (ja) 2015-09-14 2017-03-23 オリンパス株式会社 内視鏡装置
JP6513209B2 (ja) * 2015-09-28 2019-05-15 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6626783B2 (ja) 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
WO2018079205A1 (ja) 2016-10-27 2018-05-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
CN110337259B (zh) * 2017-02-24 2023-01-06 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法
CN108881674B (zh) * 2017-06-05 2020-09-18 北京旷视科技有限公司 图像采集装置和图像处理方法
WO2018229832A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP6920931B2 (ja) 2017-09-01 2021-08-18 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
EP3685731B1 (en) 2017-09-22 2023-06-07 FUJIFILM Corporation Medical image processing system, endoscope system, diagnostic support device, and medical task support device
WO2019087971A1 (ja) * 2017-10-30 2019-05-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
US11011275B2 (en) * 2018-02-12 2021-05-18 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
CN112236067A (zh) 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
US11885954B2 (en) 2018-08-31 2024-01-30 Hoya Corporation Endoscope system
WO2020162275A1 (ja) 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020178970A1 (ja) * 2019-03-05 2020-09-10 オリンパス株式会社 内視鏡装置および画像処理方法
WO2021097302A1 (en) * 2019-11-13 2021-05-20 University Of South Florida Systems and methods of deep learning for colorectal polyp screening
DE102020116473A1 (de) * 2020-06-23 2021-12-23 Olympus Winter & Ibe Gmbh Verfahren zur endoskopischen Bildgebung, endoskopisches Bildgebungssystem und Softwareprogrammprodukt
EP4316348A4 (en) 2021-03-29 2024-05-01 Nec Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08224209A (ja) * 1995-02-23 1996-09-03 Olympus Optical Co Ltd 蛍光観察装置
US20030071894A1 (en) * 2001-09-27 2003-04-17 Fuji Photo Optical Co., Ltd. Electronic endoscope for highlighting blood vessel
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP2006166940A (ja) * 2004-12-10 2006-06-29 Olympus Corp 内視鏡照明装置
JP2006192065A (ja) * 2005-01-13 2006-07-27 Pentax Corp 画像処理装置
CN101400294A (zh) * 2006-03-16 2009-04-01 奥林巴斯医疗株式会社 生物体观测装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4814859A (en) * 1986-11-28 1989-03-21 Olympus Optical Co., Ltd. Video image processing apparatus for emphasizing color of an image by expanding hue and saturation
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
US5540677A (en) * 1990-06-15 1996-07-30 Rare Earth Medical, Inc. Endoscopic systems for photoreactive suturing of biological materials
US5398685A (en) * 1992-01-10 1995-03-21 Wilk; Peter J. Endoscopic diagnostic system and associated method
JP2000115553A (ja) * 1998-09-30 2000-04-21 Mitsubishi Electric Corp 画像処理装置および画像データ構成方法
JP2001017379A (ja) * 1999-07-09 2001-01-23 Fuji Photo Film Co Ltd 蛍光診断装置
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
JP3559755B2 (ja) * 2000-07-27 2004-09-02 オリンパス株式会社 内視鏡装置
EP1302152B1 (en) 2000-07-21 2013-03-20 Olympus Corporation Endoscope apparatus
JP2002065582A (ja) * 2000-08-25 2002-03-05 Asahi Optical Co Ltd 電子内視鏡装置
US6885886B2 (en) * 2000-09-11 2005-04-26 Brainlab Ag Method and system for visualizing a body volume and computer program product
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
JP4159291B2 (ja) * 2002-01-30 2008-10-01 フジノン株式会社 電子内視鏡装置
JP3894762B2 (ja) * 2001-09-27 2007-03-22 フジノン株式会社 電子内視鏡装置
JP4285641B2 (ja) 2002-08-30 2009-06-24 富士フイルム株式会社 撮像装置
JP2006509573A (ja) * 2002-12-13 2006-03-23 イエトメド リミテッド 手術中に腫瘍と正常組織とを実時間で区別するのに特に有用な光学的検査方法および装置
JP4388318B2 (ja) * 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置
JP4426225B2 (ja) * 2003-07-02 2010-03-03 Hoya株式会社 蛍光観察内視鏡システム及び蛍光観察内視鏡用光源装置
ITRM20030345A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
JP4554944B2 (ja) * 2004-01-15 2010-09-29 Hoya株式会社 内視鏡装置
JP2005342234A (ja) * 2004-06-03 2005-12-15 Olympus Corp 内視鏡装置
JP4025764B2 (ja) * 2004-08-31 2007-12-26 オリンパス株式会社 内視鏡装置
EP1787577B1 (en) * 2004-08-30 2011-03-09 Olympus Corporation Endoscope
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP4813145B2 (ja) * 2005-10-14 2011-11-09 富士フイルム株式会社 内視鏡装置
JP4647346B2 (ja) * 2005-03-04 2011-03-09 富士フイルム株式会社 内視鏡装置
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Hoya株式会社 電子内視鏡システム
JP2007111357A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム
JP2007202589A (ja) * 2006-01-30 2007-08-16 National Cancer Center-Japan 電子内視鏡装置
JP4818753B2 (ja) 2006-02-28 2011-11-16 オリンパス株式会社 内視鏡システム
EP1994878B9 (en) 2006-03-16 2013-09-04 Olympus Medical Systems Corp. Medical image processing device and medical image processing method
US7702139B2 (en) * 2006-10-13 2010-04-20 Carestream Health, Inc. Apparatus for caries detection
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08224209A (ja) * 1995-02-23 1996-09-03 Olympus Optical Co Ltd 蛍光観察装置
US20030071894A1 (en) * 2001-09-27 2003-04-17 Fuji Photo Optical Co., Ltd. Electronic endoscope for highlighting blood vessel
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP2006166940A (ja) * 2004-12-10 2006-06-29 Olympus Corp 内視鏡照明装置
JP2006192065A (ja) * 2005-01-13 2006-07-27 Pentax Corp 画像処理装置
CN101400294A (zh) * 2006-03-16 2009-04-01 奥林巴斯医疗株式会社 生物体观测装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997946A (zh) * 2012-01-25 2014-08-20 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN103997946B (zh) * 2012-01-25 2016-09-07 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
CN104869884A (zh) * 2012-12-19 2015-08-26 奥林巴斯株式会社 医用图像处理装置以及医用图像处理方法
CN104869884B (zh) * 2012-12-19 2017-03-08 奥林巴斯株式会社 医用图像处理装置以及医用图像处理方法
US9949625B2 (en) 2012-12-28 2018-04-24 Hoya Corporation Electronic endoscope
US10986988B2 (en) 2012-12-28 2021-04-27 Hoya Corporation Electronic endoscope
CN103908217A (zh) * 2012-12-28 2014-07-09 Hoya株式会社 电子内窥镜
CN105072975A (zh) * 2013-02-27 2015-11-18 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
CN107072485A (zh) * 2014-11-12 2017-08-18 索尼公司 图像处理装置、图像处理方法以及程序
US11766167B2 (en) 2014-11-12 2023-09-26 Sony Corporation Image processing apparatus, image processing method, and program
CN107072485B (zh) * 2014-11-12 2019-08-13 索尼公司 图像处理装置、图像处理方法以及程序
US10799101B2 (en) 2014-11-12 2020-10-13 Sony Corporation Image processing apparatus, image processing method, and program
CN106725263B (zh) * 2016-12-15 2018-07-06 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
CN106725263A (zh) * 2016-12-15 2017-05-31 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
US11412917B2 (en) 2017-03-30 2022-08-16 Fujifilm Corporation Medical image processor, endoscope system, and method of operating medical image processor
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN109756763B (zh) * 2017-11-03 2022-05-27 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN111295124A (zh) * 2017-11-09 2020-06-16 奥林巴斯株式会社 内窥镜系统
CN108154554A (zh) * 2018-01-25 2018-06-12 北京雅森科技发展有限公司 基于脑部数据统计分析的立体图像生成方法及系统
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN109965829A (zh) * 2019-03-06 2019-07-05 重庆金山医疗器械有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN113543689A (zh) * 2019-03-19 2021-10-22 奥林巴斯株式会社 内窥镜装置、内窥镜装置的工作方法以及程序
WO2020215810A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN111839445A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法

Also Published As

Publication number Publication date
CN102695446B (zh) 2015-07-08
US20120327205A1 (en) 2012-12-27
EP2520214A4 (en) 2014-04-02
WO2011080996A1 (ja) 2011-07-07
JP5541914B2 (ja) 2014-07-09
EP2520214A1 (en) 2012-11-07
US8913111B2 (en) 2014-12-16
JP2011135983A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
CN102695446B (zh) 图像处理装置、电子设备和图像处理方法
CN102665527B (zh) 图像处理装置、电子设备、内窥镜系统和图像处理装置的控制方法
CN102665526B (zh) 图像处理装置、电子设备、内窥镜系统和图像处理装置的控制方法
CN102740757B (zh) 图像处理装置、内窥镜系统以及图像处理方法
CN102201114B (zh) 图像处理装置和图像处理方法
US9135701B2 (en) Medical image processing
US20190005641A1 (en) Vascular information acquisition device, endoscope system, and vascular information acquisition method
JP5250342B2 (ja) 画像処理装置およびプログラム
CN103561629B (zh) 内窥镜装置及内窥镜装置的工作方法
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
Eichenholz et al. Real-time megapixel multispectral bioimaging
CN111526773B (zh) 内窥镜图像获取系统及方法
FR2785170A1 (fr) Procede et dispositif pour generer des donnees destinees au diagnostic du degre de lesion du tissu epidermique d&#39;un patient
JP2011218090A (ja) 画像処理装置、内視鏡システム及びプログラム
CN102724909A (zh) 医用图像处理装置和医用图像处理方法
CN104883948A (zh) 图像处理装置、程序以及图像处理方法
WO2018235178A1 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
WO2022014258A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant