CN105101862B - 图像处理装置和内窥镜系统的工作方法 - Google Patents

图像处理装置和内窥镜系统的工作方法 Download PDF

Info

Publication number
CN105101862B
CN105101862B CN201480018011.0A CN201480018011A CN105101862B CN 105101862 B CN105101862 B CN 105101862B CN 201480018011 A CN201480018011 A CN 201480018011A CN 105101862 B CN105101862 B CN 105101862B
Authority
CN
China
Prior art keywords
signal
signal ratio
range
scope
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480018011.0A
Other languages
English (en)
Other versions
CN105101862A (zh
Inventor
千敏景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105101862A publication Critical patent/CN105101862A/zh
Application granted granted Critical
Publication of CN105101862B publication Critical patent/CN105101862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • G06T5/92
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Abstract

本发明提供能够对基于萎缩性胃炎的胃萎缩时可能引起的粘膜等的颜色变化进行强调的图像处理装置和内窥镜系统的工作方法。计算B图像信号与G图像信号间的第一信号比(‑log(B/G)),计算G图像信号与R图像信号间的第二信号比(‑log(G/R))。对第一范围内的第一及第二信号比与第二范围内的第一及第二信号比的差进行放大,进行对正常粘膜与异常区域(萎缩粘膜区域、深层血管区域)的色差进行强调的处理。在监视器中显示色差强调后的图像。

Description

图像处理装置和内窥镜系统的工作方法
技术领域
本发明涉及对萎缩性胃炎的诊断时使用的图像进行处理的图像处理装置和内窥镜系统的工作方法。
背景技术
在医疗领域中,广泛进行使用具有光源装置、电子内窥镜、处理器装置的内窥镜系统的诊断等。另外,在最近的内窥镜系统中,通过组入到电子内窥镜中的摄像元件的高灵敏度化和高像素化等基于高清系统的高分辨率化,能够显示超过现有画质的高精度图像。由此,即使是微细的血管或粘膜的较小病变,也能够极其真实地进行描绘。
通过这种高清化,病变部的形状和大小清楚,所以,能够容易地进行病变部的检测。然而,不仅是病变部的形状和大小,医生还根据粘膜的微小的颜色差异来发现病变部。例如,针对泛红但是与粘膜的颜色差异微小的部分,检测为早期病变部。针对这种稍微泛红的部分,即使高清化并仅提高分辨率,有时也无法发现。
因此,在专利文献1中,通过实施泛红部分更红、白色部分更白的色彩强调处理,使病变部的边界醒目。通过进行该色彩强调处理,能够发现仅通过高清化无法检测的病变部。
在先技术文献
专利文献1:日本特许3228627号公报
近年来,根据萎缩性胃炎的状态来检测胃癌等胃的病变部。其利用了以下所示的萎缩性胃炎与胃的病变部之间的关系性。在图26(A)所示的正常胃粘膜构造的情况下,由于表面的粘膜层带有厚度,所以在该粘膜层中吸收并反射大部分光。因此,如图26(B)所示,在内窥镜图像上几乎无法观察到正常胃粘膜下层内的血管。
与此相对,如图27(A)所示,在萎缩性胃炎发展的胃粘膜构造的情 况下,由于胃腺细胞的减少而使粘膜层变薄。伴随这种萎缩性胃炎的发展而引起的胃粘膜内部构造的变化在内窥镜图像上表现为下述(A)和(B)这样的变化。
(A)可透视到接近白色的颜色的粘膜肌板,萎缩粘膜部的颜色成为与正常部相比退色的颜色。
(B)在萎缩粘膜部中,随着伴随萎缩而使粘膜层变薄,透视到粘膜下层的血管(参照图27(B))。
因此,在基于萎缩性胃炎的胃病变部的诊断中,利用上述2个特征(A)、(B),进行萎缩的发展程度的判断以及正常部与胃炎部的边界的判别。
这里,在萎缩高度发展的情况下(例如在ABC检查诊断中C组或D组中包含的萎缩的情况下),在内窥镜图像上能够明确观察到上述2个特征(A)、(B)。然而,在萎缩没怎么发展等萎缩发展中的情况下(例如在ABC检查诊断中B组或C组中包含的萎缩的情况下),内窥镜图像上的萎缩部与正常部的差微小,有时很难进行萎缩的发展程度的判断以及正常部与胃炎部的边界的判别。因此,要求在内窥镜图像上明确上述2个特征(A)、(B),使正常部与胃炎部的边界清楚。
与此相关,考虑应用专利文献1的方法,但是,在该专利文献1的方法中,由于对泛红的部分进行强调以使得泛红进一步增加,所以,无法对上述这种伴随胃的萎缩而引起的粘膜颜色的变化进行强调,进而,无法对伴随胃的萎缩而透视到的粘膜下层的血管进行强调显示。
发明内容
本发明的目的在于,提供能够对基于萎缩性胃炎的胃的萎缩时可能引起的粘膜等的颜色的变化进行强调的图像处理装置和内窥镜系统的工作方法。
用于解决技术问题的手段
为了实现上述目的,本发明的图像处理装置具有图像信号输入部、信号比计算部、色差强调部、以及显示部。图像信号输入部输入三色的图像信号。信号比计算部基于三色的图像信号,计算二色的图像信号间的第一 信号比、以及与第一信号比不同的二色的图像信号间的第二信号比。色差强调部进行对第一范围内的第一及第二信号比与位于第二范围内的第一及第二信号比的差进行扩张的第一扩张处理,该第二范围与第一范围不同。显示部显示基于实施了第一扩张处理的第一及第二信号比而对观察对象上的正常粘膜与第一异常区域的色差进行了强调的图像。
优选第一扩张处理是对第一范围内的第一及第二信号比与第二范围内的第一及第二信号比的矢径差进行扩张的处理。优选基于对第一范围内的第一及第二信号比和第二范围内的第一及第二信号比进行极坐标转换后的信号,进行扩张矢径差的处理。优选通过第一扩张处理,使第一异常区域的彩度降低。优选第一异常区域是包含萎缩粘膜在内的退色调粘膜。优选第一扩张处理在维持了第一范围的第一及第二信号比的状态下,对第一范围的第一及第二信号比与第二范围的第一及第二信号比的差进行扩张,显示部显示维持了正常粘膜的颜色的图像。
优选除了第一扩张处理以外,色差强调部还进行第二扩张处理,在该第二扩张处理中,对第一范围内的第一及第二信号比与第三范围内的第一及第二信号比的差进行扩张,该第三范围与第一和第二范围不同,显示部显示除了对观察对象上的正常粘膜与第一异常区域的色差进行强调以外、还对观察对象上的正常粘膜与第二异常区域的色差进行了强调的图像。优选第二扩张处理是对第一范围内的第一及第二信号比与第三范围内的第一及第二信号比的偏角差进行扩张的处理。优选基于对第一范围内的第一及第二信号比和第三范围内的第一及第二信号比进行极坐标转换后的信号,进行扩张偏角差的处理。优选通过第二扩张处理,使第二异常区域的色相变化,从而透视到第一异常区域下的血管。优选第二扩张处理在维持了第一范围的第一及第二信号比的状态下,对第一范围的第一及第二信号比与第三范围的第一及第二信号比的差进行扩张,显示部显示维持了正常粘膜的颜色的图像。
优选图像处理装置具有计算位于第一范围内的第一及第二信号比的平均值的平均值计算部,色差强调部对平均值与位于第二范围内的第一及第二信号比的差进行扩张,并且,对平均值与位于第三范围内的第一及第二信号比的差进行扩张。优选针对第一~第三范围中的高亮度区或低亮度 区进行抑制色差的强调的抑制处理。优选第一信号比是B图像信号与G图像信号间的B/G比,第二信号比是G信号与R图像信号间的G/R比。
本发明的内窥镜系统的工作方法具有图像信号输入步骤、信号比计算步骤、色差强调步骤、显示步骤。在图像信号输入步骤中,图像信号输入部输入三色的图像信号。在信号比计算步骤中,信号比计算部基于三色的图像信号,计算二色的图像信号间的第一信号比、以及与第一信号比不同的二色的图像信号间的第二信号比。在色差强调步骤中,色差强调部进行对第一范围内的第一及第二信号比与位于第二范围内的第一及第二信号比的差进行扩张的第一扩张处理,该第二范围与第一范围不同。在显示步骤中,显示部显示基于实施了第一扩张处理的第一及第二信号比而对观察对象上的正常粘膜与第一异常区域的色差进行了强调的图像。
发明效果
根据本发明,能够对基于萎缩性胃炎的胃的萎缩时可能引起的粘膜等的颜色变化进行强调。
附图说明
图1是内窥镜系统的外观图。
图2是示出第一实施方式的内窥镜系统的功能的框图。
图3A是示出白色光的分光强度的曲线图。
图3B是示出特殊光的分光强度的曲线图。
图4是示出异常区域强调部的内部结构的框图。
图5是示出第一~第五范围的位置关系的曲线图。
图6是示出特殊光(蓝色激光的发光强度大于蓝紫色激光的发光强度)照明时得到的表示第一及第二信号比的分布的实测数据的曲线图。
图7是示出色差强调处理前的二维空间(纵轴(-log(B/G))、横轴(-log(G/R)))上的第二范围和第三范围的位置的说明图。
图8是示出色差强调处理后的二维空间上的第二范围和第三范围的位置的说明图。
图9是示出二维空间与色度的关系以及伴随萎缩性胃炎的发展而引起的第一及第二信号比的分布的变化的说明图。
图10是示出萎缩性胃炎的诊断中的一系列流程的流程图。
图11是示出使用包含蓝色窄带光的特殊光的情况下的异常区域与使用包含蓝色宽带光的照明光的情况下的二维空间上的第一~第五范围的位置关系的说明图。
图12A是示出反射浓度与吸收体的吸收系数以及分布密度之间的关系的曲线图。
图12B是示出血红蛋白的吸光系数的分布的曲线图。
图13是示出BA区域的反射浓度分布的曲线图。
图14是示出粘膜层内的血液密度在表层局部变高的BA的说明图。
图15是示出使用窄带B光的情况下的第四范围与使用宽带B光的情况下的第四范围的二维空间上的位置关系的说明图。
图16是示出发红区域的反射浓度分布的曲线图。
图17是示出粘膜层内的血液密度在粘膜整体中局部变高的发红的说明图。
图18是示出使用窄带B光的情况下的第五范围与使用宽带B光的情况下的第五范围的二维空间上的位置关系的说明图。
图19是示出第二实施方式的内窥镜系统的功能的框图。
图20是旋转滤光片的俯视图。
图21是示出第三实施方式的特殊光图像处理部的功能的框图。
图22A是示出第一范围、第二范围、第三范围的矢径的说明图。
图22B是示出第一范围、第四范围、第五范围的矢径的说明图。
图23是示出矢径r与矢径Er的关系的曲线图。
图24A是示出第一范围、第二范围、第三范围的偏角的说明图。
图24B是示出第一范围、第四范围、第五范围的偏角的说明图。
图25是示出偏角θ与偏角Eθ的关系的曲线图。
图26(A)是正常粘膜中的粘膜构造的剖视图,(B)是从表层侧观察正常粘膜的情况下的俯视图。
图27(A)是萎缩性胃炎时的粘膜构造(由于胃腺细胞的减少或胃组织与肠、纤维组织的置换而使胃粘膜层变薄)的剖视图,(B)是从表层侧观察萎缩性胃炎时的粘膜的情况下的俯视图。
具体实施方式
[第一实施方式]
如图1所示,第一实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18、以及控制台20。内窥镜12与光源装置14光学连接,并且与处理器装置16电连接。内窥镜12具有插入到检体内的插入部21、设置在插入部的基端部分的操作部22、设置在插入部21的前端侧的弯曲部23和前端部24。通过对操作部22的角度旋钮22a进行操作,弯曲部23进行弯曲动作。伴随该弯曲动作,前端部24朝向期望方向。
另外,在操作部22中,除了角度旋钮22a以外,还设有模式切换SW22b和变焦操作部22c。模式切换SW22b用于通常观察模式和特殊观察模式这两种模式间的切换操作。通常观察模式是在检体内的照明中使用白色光的模式。特殊观察模式是在检体内的照明中使用泛蓝的特殊光的模式,是对基于萎缩性胃炎的胃的萎缩时可能引起的粘膜的颜色变化和血管的透视进行强调的模式。变焦操作部22c用于驱动内窥镜12内的变焦透镜47(参照图2)来放大检体的变焦操作。需要说明的是,在特殊观察模式中,也可以代替特殊光而使用白色光。
处理器装置16与监视器18和控制台20电连接。监视器18输出显示图像信息等。控制台20作为受理功能设定等输入操作的UI(用户接口)发挥功能。需要说明的是,也可以在处理器装置16上连接记录图像信息等的外置记录部(图示省略)。
如图2所示,光源装置14具有发出中心波长445nm的蓝色激光的蓝色激光光源(445LD)34和发出中心波长405nm的蓝紫色激光的蓝紫色激光光源(405LD)36作为发光源。来自这些各光源34、36的半导体发光元件的发光由光源控制部40单独控制,自由变更蓝色激光光源34的出射光和蓝紫色激光光源36的出射光的光量比。在通常观察模式的情况下,光源控制部40控制为主要驱动蓝色激光光源34而稍微发出蓝紫色激光。需要说明的是,在该通常观察模式的情况下,也可以驱动蓝紫色激光光源36。但是,该情况下,优选将蓝紫色激光光源36的发光强度抑制为较低。
与此相对,在特殊观察模式的情况下,控制为驱动蓝色激光光源34和蓝紫色激光光源36双方,并且使蓝色激光的发光比率大于蓝紫色激光的发光比率。需要说明的是,优选蓝色激光或蓝紫色激光的半值宽度为±10nm左右。另外,蓝色激光光源34和蓝紫色激光光源36可以利用大面积型的InGaN系激光二极管,另外,也可以使用InGaNAs系激光二极管或GaNAs系激光二极管。另外,作为上述光源,也可以采用使用发光二极管等发光体的结构。
从这些各光源34、36出射的激光经由聚光透镜、光纤、合波器等光学构件(均未图示)入射到光导(LG)41。光导41内置在光源装置14、内窥镜12和通用软线(用于连接内窥镜12和光源装置的软线(未图示))内。中心波长445nm的蓝色激光或中心波长405nm的蓝紫色激光经由光导41传播到内窥镜12的前端部24。需要说明的是,作为光导41,可以使用多模光纤。作为一例,可以使用芯直径105μm、包层直径125μm、包含作为外皮的保护层在内的直径为的细径的光缆。
内窥镜12的前端部24具有照明光学系统24a和摄像光学系统24b。在照明光学系统24a中设有荧光体44和照明透镜45,该荧光体44入射有来自光导41的中心波长445nm的蓝色激光或中心波长405nm的蓝紫色激光。通过对荧光体44照射蓝色激光,从荧光体44发出荧光。另外,一部分蓝色激光直接透过荧光体44。蓝紫色激光透过荧光体44而不进行激励。在荧光体44出射的光经由照明透镜45照射到检体内。
这里,在通常观察模式中,由于主要是蓝色激光入射到荧光体44,所以,图3A所示的、对蓝色激光和通过蓝色激光而从荧光体44激励发光的荧光进行合波后的白色光照射到检体内。另一方面,在特殊观察模式中,由于蓝紫色激光和蓝色激光双方入射到荧光体44,所以,图3B所示的、对蓝紫色激光、蓝色激光和通过蓝色激光而从荧光体44激励发光的荧光进行合波后的特殊光照射到检体内。在该特殊观察模式中,在蓝色成分中,除了发光强度较高的蓝色激光以外,还包含有蓝紫色激光,所以,特殊光成为包含较多蓝色成分且波长范围大致涉及可见光整个区域的宽带光。
需要说明的是,优选荧光体44使用构成为包含吸收蓝色激光的一部分且激励发光为绿色~黄色的多种荧光体(例如YAG系荧光体或BAM (BaMgAl10O17)等荧光体)的结构。如本结构例那样,如果使用半导体发光元件作为荧光体44的激励光源,则以较高的发光效率得到高强度的白色光,能够容易地调整白色光的强度,而且,能够将白色光的色温、色度的变化抑制为较小。
如图2所示,内窥镜12的摄像光学系统24b具有摄像透镜46、变焦透镜47、摄像传感器48。来自检体的反射光经由摄像透镜46和变焦透镜47入射到摄像传感器48。由此,在摄像传感器48上形成检体的反射像。通过对变焦操作部22c进行操作,变焦透镜47在望远端与广角端之间移动。当变焦透镜47移动到广角端侧时,检体的反射像缩小,另一方面,通过移动到望远端侧,检体的反射像放大。
摄像传感器48是彩色的图像传感器,对检体的反射像进行摄像并输出图像信号。需要说明的是,优选摄像传感器48是CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal-Oxide Semiconductor)图像传感器等。本发明中使用的图像传感器是具有在摄像面上设有RGB彩色滤光片的RGBch的RGB图像传感器,通过利用各ch进行光电转换,从设有R(红色)的彩色滤光片的R像素输出R图像信号,从设有G(绿色)的彩色滤光片的G像素输出G图像信号,从设有B(蓝色)的彩色滤光片的B像素输出B图像信号。
需要说明的是,作为摄像传感器48,也可以是在摄像面上具有C(青色)、M(品红色)、Y(黄色)和G(绿色)的CMYG滤光片的图像传感器。在具有CMYG滤光片的图像传感器的情况下,能够通过颜色转换从CMYG的四色的图像信号得到RGB的三色的图像信号。该情况下,需要使内窥镜12、光源装置14或处理器装置16中的任意一方具有从CMYG的四色的图像信号颜色转换为RGB的三色的图像信号的颜色转换机构。
从摄像传感器48输出的图像信号被发送到CDS/AGC电路50。CDS/AGC电路50对作为模拟信号的图像信号进行相关双重取样(CDS)和自动增益控制(AGC)。在伽马转换部51中对经由CDS/AGC电路50的图像信号实施伽马转换。由此,得到具有适合于监视器18等输出器件的灰度的图像信号。该伽马转换后的图像信号通过A/D转换器(A/D Converter)52转换为数字图像信号。A/D转换后的数字图像信号被输入到 处理器装置16。
处理器装置16具有接收部54、图像处理切换部60、通常光图像处理部62、特殊光图像处理部64、图像显示信号生成部66。接收部54接收来自内窥镜12的数字图像信号。该接收部54具有DSP(Digital Signal Processor)56和噪声去除部58。DSP56对数字图像信号进行伽马修正、颜色修正处理。噪声去除部58通过对由DSP56实施了伽马修正等的数字图像信号实施噪声去除处理(例如移动平均法或中值滤波法等),从数字图像信号中去除噪声。去除了噪声后的数字图像信号被发送到图像处理切换部60。需要说明的是,本发明的“图像信号输入部”对应于包含接收部54的结构。
图像处理切换部60在通过模式切换SW22b设置为通常观察模式的情况下,将数字图像信号发送到通常光图像处理部62,在设定为特殊观察模式的情况下,将数字图像信号发送到特殊光图像处理部64。
通常光图像处理部62具有颜色转换部68、色彩强调部70、以及构造强调部72。颜色转换部68将所输入的RGB三通道的数字图像信号分别分配给R图像数据、G图像数据、B图像数据。进一步对这些RGB的图像数据进行3×3的矩阵处理、灰度转换处理、三维LUT处理等颜色转换处理,将其转换为颜色转换处理完的RGB图像数据。
色彩强调部70对颜色转换完的RGB图像数据实施各种色彩强调处理。构造强调部72对色彩强调处理完的RGB图像数据进行空间频率强调等构造强调处理。由构造强调部72实施了构造强调处理的RGB图像数据作为通常光图像从通常光图像处理部62输入到图像显示信号生成部66。
特殊光图像处理部64具有逆伽马转换部76、异常区域强调部77、以及构造强调部78。逆伽马转换部76对所输入的RGB三通道的数字图像信号实施逆伽马转换。由于该逆伽马转换后的RGB图像信号是相对于来自检体的反射率呈线性的反射率线性RGB信号,所以,较多地包含检体的各种活体信息(就本实施方式而言,是伴随萎缩性胃炎的颜色变化等与胃的萎缩有关的信息)。
异常区域强调部77基于反射率线性RGB信号,进行对正常粘膜区域与可能包含胃癌等病变部的异常区域的颜色的差进行强调的色差强调处 理。该异常区域强调部77的详细情况在后面叙述。构造强调部78对色差强调处理完的RGB图像数据进行空间频率强调等构造强调处理。由构造强调部78实施了构造强调处理的RGB图像数据作为特殊光图像从特殊光图像处理部64输入到图像显示信号生成部66。
图像显示信号生成部66将从通常光图像处理部62或特殊光图像处理部64输入的通常光图像或特殊光图像转换为用于显示为可由监视器18显示的图像的显示图像信号。基于该转换后的显示图像信号,监视器18显示通常光图像或特殊光图像。
如图4所示,异常区域强调部77具有信号比计算部80、色差强调部82、RGB转换部83、伽马转换部84。信号比计算部80计算反射率线性RGB信号中的B信号与G信号间的第一信号比(-log(B/G)),并且计算G信号与R信号间的第二信号比(-log(G/R))。由于这些第一及第二信号比分别通过G信号、R信号进行标准化,所以,几乎不会由于与观察对象之间的距离和观察区的明亮度等而受到影响。另一方面,由于第一及第二信号比分别包含与粘膜内的吸收成分(血红蛋白)的浓度的变化或粘膜内部构造的变化等存在相关的B信号和G信号,所以,当吸收成分浓度或粘膜内部构造产生变化时大幅变动。需要说明的是,上述B信号对应于从摄像传感器48的B像素输出的B图像信号,上述G信号对应于从摄像传感器48的G像素输出的G图像信号,上述R信号对应于从摄像传感器48的R像素输出的R图像信号。
例如,由于第一信号比与血管深度(粘膜的深度方向上的血管的位置)存在相关,所以,对于存在深层血管这样的粗血管的部分的第一信号比而言,位于越深位置则值越大,另一方面,位于越浅的位置则值越小。另外,由于第一信号比和第二信号比均与血红蛋白的吸收存在相关,所以,光的吸收越强则值越大。
另外,信号比计算部80具有判别反射率线性RGB信号中的亮度值为上限值以上的高亮度区和该亮度值为下限值以下的高亮度/低亮度区的高亮度/低亮度区判别部80a。由于在高亮度/低亮度区中包含较多噪声,所以,在使用该高亮度/低亮度区的信号计算第一或第二信号比的情况下,第一或第二信号比极大,可能对噪声进行了强调。因此,针对由高亮度/低亮度区 判别部80a判别为高亮度/低亮度区的区域的强调处理,如后所述,与其他区相比,抑制了强调处理的电平。需要说明的是,由于反射率线性RGB信号中的与反射光的光量连动变化的信号是R信号,所以,优选基于R信号来判别高亮度/低亮度区。
色差强调部82具有平均值计算部82a、萎缩粘膜区域强调部82b、深层血管区域强调部82c、BA区域强调部82d、以及发红区域强调部82e。在该色差强调部82中,通过在图5的二维空间(纵轴:第一信号比(-log(B/G))、横轴:第二信号比(-log(G/R)))中放大第1范围的第一及第二信号比与第二~第五范围的第一及第二信号比的差,从而对观察区域上的正常粘膜与异常部位(萎缩粘膜、BA、发红等)的色差进行强调。
在第一范围中,如图6的实测数据所示,包含较多的具有正常粘膜的部分的第一及第二信号比(在图6中用“○”表记正常粘膜),该第一范围在二维空间上位于大致中央。另外,在第二范围中,包含较多的具有萎缩粘膜的部分的第一及第二信号比(在图6中用“×”表记萎缩粘膜),该第二范围在二维空间上位于第一范围的左斜下方。在第三范围中,包含较多的具有深层血管的部分的第一及第二信号比(在图6中用“□”表记深层血管),该第三范围位于第一范围的右斜下方。在第四范围中,包含较多的具有BA的部分的第一及第二信号比(在图6中用“◇”表记BA),该第四范围位于第一范围的右斜上方。在第五范围中,包含较多的具有发红的部分的第一及第二信号比(在图6中用“△”表记发红),该第五范围位于第一范围的右侧。
平均值计算部82a计算第一范围内的第一及第二信号比的平均值。然后,通过对计算出的平均值进行极坐标转换,得到极坐标转换完的第一范围平均值(rm、θm)。
萎缩粘膜区域强调部82b通过对第二范围内的第一及第二信号比进行极坐标转换,得到极坐标转换完的第二范围信号(ri、θi)。然后,进行对图7所示的极坐标转换完的第一范围平均值(rm、θm)与第二范围信号(ri、θi)之间的矢径差Δr进行扩张的第一扩张处理。通过下述式(1)进行该第一扩张处理。由此,得到强调第二范围信号(Eri、θi)。如图8所示,该强调第二范围信号(Eri、θi)与第一范围平均值(rm、θm)的矢径 差成为比Δr大的EΔr。
(1):Eri=(ri-rm)·α+rm(其中,α≥1)
如图7、8所示,萎缩粘膜区域强调部82b中的第一扩张处理在维持了色相的状态下,在彩度降低的方向上对矢径差Δr进行扩张。基于该第一扩张处理的颜色变化与伴随图9所示的萎缩性胃炎的发展而成为退色调的粘膜的颜色变化一致。该图9中示出发展2与发展1相比,萎缩性胃炎进一步发展,在发展1的情况下,与正常粘膜区域之差较小,与此相对,在发展2的情况下,色相大致不变,仅彩度降低,由此,可知与正常粘膜区域之差增大。
因此,在基于强调第二范围信号(Eri、θi)而显示在监视器18上的特殊光图像上,利用与正常粘膜区域不同的颜色清楚地显示萎缩粘膜区域,并且,与萎缩性胃炎时的粘膜颜色大致相同地显示萎缩粘膜区域的颜色。由此,能够可靠地判别正常粘膜区域与萎缩粘膜区域的边界。在正常粘膜区域与萎缩粘膜区域的颜色的差微小的情况下(例如在萎缩发展中,在ABC检查诊断中包含在B组或C组中的情况下),第一扩张处理特别有效。
需要说明的是,在进一步对正常粘膜区域与萎缩粘膜区域的颜色的差进行强调的情况下,不仅可以进行彩度方向的扩张(矢径差的扩张),还可以进行色相方向的扩张(偏角差的扩张)。另外,针对高亮度/低亮度区,减小α的值来抑制扩张。另外,在萎缩高度发展的情况下,当式(1)的α的值过大时,萎缩粘膜区域的颜色泛蓝,所以,该情况下,通过减小α的值(通过基于控制台20的操作进行调整),能够使萎缩粘膜区域的颜色与实际的萎缩粘膜的颜色(退色调的颜色)一致。
深层血管区域强调部82c通过对第三范围内的第一及第二信号比进行极坐标转换,得到极坐标转换完的第三范围信号(rv、θv)。然后,进行对图7所示的极坐标转换完的第一范围平均值(rm、θm)与第三范围信号(rv、θv)之间的偏角差Δθ进行扩张的第二扩张处理。通过下述式(2)进行该第二扩张处理。由此,得到强调第三范围信号(rv、Eθv)。如图8所示,该强调第三范围信号(rv、Eθv)与第一范围平均值(rm、θm)的偏角差成为比Δθ大的EΔθ。
(2):Eθv=(θv-θm)·β+θm(其中,β≥1)
如图7、8所示,深层血管区域强调部82c中的第二扩张处理在维持了彩度的状态下,在色相方向上对偏角差Δθ进行扩张。如图9所示,基于该第二扩张处理的颜色变化与伴随萎缩性胃炎的发展而使深层血管的颜色显现化的颜色变化一致。该图9中示出发展2与发展1相比,萎缩性胃炎进一步发展,在发展1的情况下,与正常粘膜区域之差较小,与此相对,在发展2的情况下,彩度大致不变,仅色相变化,由此,可知与正常粘膜区域之差增大。
因此,在基于强调第三范围信号(rv、Eθv)而显示在监视器18上的特殊光图像上,利用与正常粘膜区域不同的颜色清楚地显示深层血管区域,并且,通过深层血管的颜色的显现化,从而可靠地透视到深层血管。由此,能够可靠地判别正常粘膜区域与深层血管区域的边界。在几乎未透视到深层血管的情况下(例如在萎缩发展中,在ABC检查诊断中包含在B组或C组中的情况下),第二扩张处理特别有效。
需要说明的是,在进一步对正常粘膜区域与深层血管区域的颜色的差进行强调的情况下,不仅可以进行色相方向的扩张(偏角差的扩张),还可以进行彩度方向的扩张(矢径差的扩张)。另外,针对高亮度/低亮度区,减小β的值来抑制扩张。另外,在萎缩高度发展的情况下,当式(2)的β的值过大时,深层血管区域的颜色成为品红调,所以,该情况下,通过减小β的值(通过基于控制台20的操作进行调整),能够使深层血管区域的颜色与深层血管的颜色一致。
BA区域强调部82d通过对第四范围内的第一及第二信号比进行极坐标转换,得到极坐标转换完的第四范围信号(rk、θk)。然后,通过下述式(3)、(4),进行对极坐标转换完的第一范围平均值(rm、θm)与第四范围信号(rk、θk)之间的矢径差Δr、偏角差Δθ进行扩张的第三扩张处理。由此,得到矢径差Δr、偏角差Δθ均被扩张的强调第四范围信号(Erk、Eθk)。
(3):Erk=(rk-rm)·α+rm(其中,α≥1)
(4):Eθk=(θk-θm)·β+θm(其中,β≥1)
在基于强调第四范围信号(Erk、Eθk)而显示在监视器18上的特殊光图像上,利用与正常粘膜区域不同的颜色清楚地显示BA区域。由此, 能够可靠地判别正常粘膜区域与BA区域的边界。需要说明的是,在BA区域强调部82d中,也可以代替对矢径差Δr、偏角差Δθ双方进行扩张,而对矢径差Δr、偏角差Δθ中的任意一方进行扩张。另外,针对高亮度/低亮度区,减小α、β的值来抑制扩张。
发红区域强调部82e通过对第五范围内的第一及第二信号比进行极坐标转换,得到极坐标转换完的第五范围信号(rj、θj)。然后,通过下述式(5)、(6),进行对极坐标转换完的第一范围平均值(rm、θm)与第五范围信号(rj、θj)之间的矢径差Δr、偏角差Δθ进行扩张的第四扩张处理。由此,得到矢径差Δr、偏角差Δθ均被扩张的强调第五范围信号(Erj、Eθj)。
(5):Erj=(rj-rm)·α+rm(其中,α≥1)
(6):Eθj=(θj-θm)·β+θm(其中,β≥1)
在基于强调第五范围信号(Erj、Eθj)而显示在监视器18上的特殊光图像上,利用与正常粘膜区域不同的颜色清楚地显示发红区域。由此,能够可靠地判别正常粘膜区域与发红区域的边界。需要说明的是,在发红区域强调部82e中,也可以代替对矢径差Δr、偏角差Δθ双方进行扩张,而对矢径差Δr、偏角差Δθ中的任意一方进行扩张。另外,针对高亮度/低亮度区,减小α、β的值来抑制扩张。
RGB转换部83将由色差强调部82得到的色差强调信号(强调萎缩粘膜信号、强调深层血管信号、强调BA信号、强调发红信号)再次转换为RGB图像数据。在该RGB转换部83中,进行将由极坐标空间的值表现的色差强调信号转换为RGB的值的处理。伽马转换部84对色差强调完的RGB图像数据实施伽马转换。由此,得到具有适合于监视器18等输出器件的灰度的色差强调完的RGB图像数据。
接着,沿着图10的流程图对本实施方式中的一系列流程进行说明。首先,设置为通常观察模式,将内窥镜12的插入部21插入到检体内。在插入部21的前端部24到达胃后,诊断是否产生了萎缩性胃炎。这里,在能够从通常光图像中读取粘膜成为退色调、或透视到树枝状的深层血管的部位与未透视到的部位的边界(称为内窥镜的腺边界)的情况下,医生判断为由于萎缩性胃炎而产生胃癌等病变的病态观察结果(基于木村/竹本分类的判断手法)。需要说明的是,还可知这种胃癌是由于基于幽门螺杆菌 感染的胃粘膜的萎缩而产生的。
另一方面,在无法从通常光图像中读取退色调的粘膜或内窥镜的腺边界的存在的情况下,为了更加可靠地进行诊断,对模式切换SW22b进行操作而切换为特殊观察模式。通过该特殊观察模式的切换,发出包含蓝色激光和蓝紫色激光双方的特殊光。根据该特殊光发光时得到的RGB图像信号计算第一及第二信号比。
求出计算出的第一及第二信号比中的第一范围内的第一及第二信号比的平均值,并且对该第一范围平均值进行极坐标转换。另外,对第二~第五范围内的第一及第二信号比进行极坐标转换,得到极坐标转换完的第二~第五范围信号。然后,对极坐标转换完的第一范围平均值与第二~第五范围信号的矢径差或偏角差进行扩张。由此,得到对正常粘膜与异常区域的颜色的差进行了强调的色差强调信号(强调第二范围信号、强调第三范围信号、强调第四范围信号、强调第五范围信号)。基于该色差强调信号,在监视器18中显示特殊光图像。
在特殊光图像上,在完全没有胃的萎缩的情况下,利用通常的颜色显示粘膜。该情况下,医生判断为没有产生基于萎缩性胃炎的胃癌等病变部的正常观察结果。与此相对,在胃的萎缩稍微发展的情况下,利用退色调显示萎缩粘膜的颜色,另外,透视显示深层血管。由此,能够清楚地显示内窥镜的腺边界。因此,在实际的胃中,在不怎么利用退色调显示萎缩粘膜的颜色、且几乎未透视到深层血管的情况下,医生也能够判断为由于萎缩性胃炎而产生了胃癌等病变的病态观察结果。
需要说明的是,在上述实施方式中,在特殊观察模式中,使用包含相对于粘膜的吸收物质的光吸收性较高的蓝色窄带成分(蓝色激光和蓝紫色激光)的特殊光,所以,与使用包含蓝色宽带成分的照明光的情况相比,由于以下所示的理由,观察区域上的异常区域中的萎缩粘膜、深层血管区域、BA区域与正常粘膜区域的色差增大。
图11示出如上述实施方式那样使用包含蓝色窄带成分(蓝色激光和蓝紫色激光)的特殊光的情况下的二维空间上的第二~第五范围的位置、以及使用包含蓝色宽带成分(例如400~520nm)的照明光的情况下的二维空间上的第一范围的位置。在该图11中,第二范围Mn示出在使用包 含蓝色窄带成分的特殊光的情况下得到的、包含较多的萎缩粘膜部分的信号的范围。第二范围Mb示出在使用包含蓝色宽带成分的照明光的情况下得到的、包含较多的萎缩粘膜部分的信号的范围。
另外,第三范围Vn、第四范围Xn、第五范围Yn分别示出在使用包含蓝色窄带成分的特殊光的情况下得到的、包含较多的深层血管部分的信号、BA部分的信号、发红部分的信号的范围。第三范围Vb、第四范围Xb、第五范围Yb分别示出在使用包含蓝色宽带成分的照明光的情况下得到的、包含较多的深层血管部分的信号、BA部分的信号、发红部分的信号的范围。
如该图11所示,第二范围Mn、第三范围Vn、第四范围Xn与第一范围之差较大,与此相对,第二范围Mb、第三范围Vb、第四范围Xb与第一范围几乎不存在差。因此,通过使用包含蓝色窄带成分的特殊光,能够充分赋予第一范围与第二~第四范围Mn、Vn、Xn之差。在此基础上,通过色差强调部82中的矢径差或偏角差的扩张,第一范围与第二~第四范围Mn、Vn、Xn之差进一步增大。如上所述,在使用包含蓝色窄带成分的特殊光的情况下,与使用包含蓝色宽带成分的照明光的情况相比,正常粘膜与萎缩粘膜区域、深层血管区域、BA的色差增大由蓝色窄带成分赋予的第一范围与第二~第四范围Mn、Vn、Xn之差的量。
与此相对,第五范围Yn与第五范围Yb的情况相比,与第一范围之差几乎没有变化。因此,在使用包含蓝色窄带成分的特殊光或包含蓝色宽带成分的照明光中的任意一方的情况下,正常粘膜与发红区域的色差也几乎不变化。
如上所述,根据特殊光中是否包含蓝色窄带成分,与正常区域的色差的大小不同,这主要是因为依赖于血液密度的大小等粘膜内的吸收物质的分布密度。与此相关,能够使用图12A所示的反射浓度与粘膜内的吸光物质(在消化器官中主要是血红蛋白)的吸收系数(血红蛋白的吸光系数的分布参照图12B)与分布密度的关系进行说明。需要说明的是,在设反射浓度为(-log(Bch(入射到传感器的Bch的光的反射率))的情况下,第一信号比根据该反射浓度的变动而变动。
根据该图12A,可知反射浓度相对于吸光物质的吸光系数和分布密度 以非线性的方式增加。因此,粘膜内的光吸收或分布密度越强,则反射浓度的大小越增加。与此相对,关于反射浓度的增加量,在光吸收较弱的情况下或分布密度较小的情况下,即使吸收或密度稍微增加,反射浓度也大幅增加,另一方面,在光吸收较强的情况下或分布密度较大的情况下,即使吸收或密度增加,反射浓度也几乎不增加。
因此,使用图12A的反射浓度分布的关系,分别对在摄像传感器48的Bch中入射有蓝色激光(445nm)和蓝紫色激光(405nm)的混色窄带光(以下表记为“窄带光445nm+405nm”)的反射光、蓝紫色激光(405nm)的反射光(以下表记为“窄带光405nm”)、蓝色激光(445nm)的反射光(以下表记为“窄带光445nm”)、蓝色波段中波长范围涉及宽带(例如400~500nm)的蓝色光的反射光(以下表记为“宽带B光”)时的正常粘膜与异常区域的色差进行说明。
在BA区域中的反射浓度分布中,如图13所示,窄带光405nm的反射浓度R1最高,比该反射浓度R1低的是窄带光445nm+405nm的反射浓度R2,比反射浓度R1、2低的是窄带光445nm的反射浓度R3,最低的是宽带B光的反射浓度R4。成为这种大小关系是因为,光吸收的强度具有“窄带光405nm>窄带光445nm+405nm>窄带光445nm>宽带B光”的关系(参照图12B)。
另外,窄带光405nm、窄带光445nm+405nm、窄带光445nm等窄带B光的反射浓度R1~R3与宽带B光的反射浓度R4之间的差比较大。这是因为宽带B光的反射浓度R4特别低。即,可知与使用宽带B光的情况相比,使用窄带B光的情况下的正常粘膜与BA区域的反射浓度的差较大。这样,宽带B光的反射浓度R4较低是因为,如图14所示,BA仅狭窄地分布在粘膜中的比较浅的位置,光蔓延路径上的血液密度比较低,另外,还因为在宽带B光中混合有血红蛋白的吸收较弱的500nm周边的波长。另外,关于窄带B光,与发红区域的情况相比,由于波长不同而导致的反射浓度的差(例如反射浓度R1与反射浓度R2的差)比较大。这是因为,由于BA区域内的光蔓延路径上的血液密度较低,所以,当由于波长的差异而在光吸收中产生差时,该差大幅反映在反射浓度的差中。
由于在BA区域中具有以上这样的反射浓度,所以,如图15所示, 与使用宽带B光时的第四范围Xb相比,使用窄带B光时的第四范围Xn与第一范围的第一信号比的差较大。另外,在使用窄带B光的情况下,当分别对使用窄带光405nm的情况下的第四范围Xn(405nm)、使用窄带光445nm+405nm的情况下的第四范围Xn(445nm+405nm)、使用窄带光445nm的情况下的第四范围Xn(445nm)与第一范围的位置关系进行比较时,可知在使用更短波长的光的情况下,与第一范围之差增大。因此,通过使用窄带B光,能够增大与第一范围之差,所以,能够进一步增大正常粘膜区域与BA区域的色差。
需要说明的是,萎缩粘膜区域和深层血管区域与BA区域同样,光蔓延路径上的血液密度低于发红区域。另外,由于萎缩粘膜区域和深层血管区域具有与BA区域相同的反射浓度分布,所以,与BA区域的情况同样,通过使用更短波长的光,能够增大第一范围与第二以及第三范围的差。因此,通过使用窄带B光,能够增大与第一范围之差,所以,能够进一步增大萎缩粘膜区域、深层血管区域与正常粘膜区域的色差。
与此相对,在发红区域中,如图16所示,反射浓度R1~R4的大小关系与BA区域等相同,但是,与BA区域等的情况相比,窄带B光的反射浓度R1~R3与宽带B光的反射浓度R4之间的差比较小。这是因为,与BA区域等的情况相比,宽带B光的反射浓度R4较高。这样,宽带B光的反射浓度R4比较高是因为,如图17所示,发红广泛分布在从粘膜中的较浅位置到较深位置的范围内,光蔓延路径上的血液密度比较高。
另外,关于窄带B光,与BA区域的情况相比,由于波长不同而导致的反射浓度的差(例如反射浓度R1与反射浓度R2的差)不太大。这是因为,与BA区域等相比,发红区域内的光蔓延路径上的血液密度比较高,所以,即使由于波长的差异而在光吸收中产生差,该差也不太会反映在反射浓度的差中。
由于在发红区域中具有以上这样的反射浓度,所以,如图18所示,与使用宽带B光的情况下的发红区域Yb相比,使用窄带B光的情况下的第五范围Yn与第一范围的差没怎么变化。另外,针对使用窄带B光的情况,即使分别对使用窄带光405nm的情况下的第五范围Yn(405nm)、使用窄带光445nm+405nm的情况下的第五范围Yn(445nm+405nm)、使用 窄带光445nm的情况下的第五范围Yn(445nm)与第一范围的位置关系进行比较,也几乎不存在第一范围与第五范围之差。因此,即使使用窄带B光,与第一范围之差也不太大,所以,不太能够增大正常粘膜区域与发红区域的色差。
其中,在发红区域中,如果不是高度发红或出血这样的高血液密度区域、而是轻度的发红区域(轻度发红区域),则与使用宽带B光的情况相比,使用窄带B光的情况下的正常粘膜区域与轻度发红区域的反射浓度的差较大。因此,通过使用窄带B光,能够增大正常区域与轻度发红区域的色差。
需要说明的是,上述说明了对入射到摄像传感器48的Bch的B光进行窄带化时的第一信号比的变化(当对波长进行窄带化时,在二维空间上,第二~第五范围的位置在纵轴方向上移位),但是,在使入射到摄像传感器48的Gch的G光窄带化的情况下,也能够利用与上述相同的理由进行说明。即,在使用窄带的G光(具有针对血液的光吸收较高的波长的G光)的情况下,与使用宽带的G光的情况相比,第一范围与第二范围的差较大(当对波长进行窄带化时,在二维空间上,第二~第五范围在横轴方向上移位)。
需要说明的是,上述对入射到摄像传感器48的Bch的B光和入射到摄像传感器48的Gch的G光中的任意一方进行了窄带化,但是,也可以对两个光进行窄带化。该情况下,通过波长的窄带化,在二维空间上,第二~第五范围在纵轴方向和横轴方向上移位。其中,与仅对入射到摄像传感器48的Bch的B光进行窄带化的情况相比,纵轴方向的移位量较小。这是因为,通过B光和G光的窄带化,Bch、Gch的吸收系数均增加,所以,与仅Bch窄带化的情况相比,Bch、Gch的反射浓度的差较小。
在上述实施方式中,通过对第一及第二信号比进行极坐标转换,并且对极坐标转换完的第一范围平均值与第二~第五范围内的信号值的矢径差或偏角差进行扩张,从而强调了正常粘膜区域与异常区域的颜色的差,但是不限于此,也可以使用其他坐标转换方法和色差强调方法,对正常粘膜区域与异常区域的颜色的差进行强调。需要说明的是,关于上述实施方式那样的使用在极坐标上对矢径差或偏角差进行扩张的色差强调方法得 到的强调图像,由于正常粘膜区域的颜色与通常光图像的颜色相同,所以没有不舒适感。另外,由于强调图像上的萎缩粘膜区域和深层血管区域的颜色与萎缩性胃炎产生时的粘膜的颜色、透视到血管时的颜色相同,所以,能够利用与当前进行的萎缩性胃炎诊断(例如ABC检查诊断)相同的方法进行诊断。
需要说明的是,在上述实施方式中,在正常粘膜区域与异常区域的色差强调中使用第一范围平均值,但是,取而代之,也可以使用图像信号整体的像素值平均值。该情况下,虽然萎缩粘膜或深层血管的颜色可能按照每个图像而变动,但是,具有能够结合图像上的各区域的分布来对正常粘膜区域与异常区域的颜色的微小差进行扩张这一优点。
需要说明的是,在上述实施方式中,对第一及第二信号比进行极坐标转换,对该极坐标转换完的信号进行扩张矢径差或偏角差的扩张处理,但是,也可以事先进行这些极坐标转换处理和扩张处理,将处理结果存储在色差强调用LUT中。该情况下,使用上述式(1)~(6),预先计算认为属于第二~第五范围的第一及第二信号比。然后,将第二~第五范围的第一以及第二信号比与使用这些信号比进行计算时的计算结果建立对应地存储在色差强调用LUT中。另外,针对认为属于第一范围的第一及第二信号比,将与这些信号比相同的值建立对应地存储在色差强调用LUT中。通过使用这种色差强调用LUT,不用进行极坐标转换处理和扩张处理,就能够进行异常区域的色差强調,所以,能够减轻处理负荷。
需要说明的是,在上述实施方式中,利用色差强调部82进行对异常区域与正常区域的色差进行强调的色差强调处理,但是,通过使用包含相对于粘膜的吸收物质的光吸收性较高的蓝色窄带成分(蓝色激光和蓝紫色激光)的特殊光,即使不利用色差强调部82进行色差强调处理,也能够对正常粘膜区域与异常区域(萎缩粘膜区域、深层血管区域、BA区域、发红区域)的色差进行强调显示。另外,同样,通过使用包含相对于粘膜的吸收物质的光吸收性较高的绿色窄带成分(例如540~560nm的波长成分)的光,即使不利用色差强调部82进行色差强调处理,也能够对正常粘膜区域与异常区域(萎缩粘膜区域、深层血管区域、BA区域、发红区域)的色差进行强调显示。
需要说明的是,在上述第一实施方式中,将荧光体44设置在内窥镜12的前端部24,但是,取而代之,也可以将荧光体44设置在光源装置14内。该情况下,优选在光导41与蓝色激光光源34之间设置荧光体44。
[第二实施方式]
在上述第一实施方式中,利用彩色的摄像传感器同时取得RGB图像信号,但是,在第二实施方式中,利用单色的摄像传感器依次取得RGB图像信号。如图19所示,在第二实施方式的内窥镜系统200的光源装置14中,代替蓝色激光光源34、蓝紫色激光光源36、光源控制部40而设置有宽带光源202、旋转滤光片204、滤光片切换部205。另外,在内窥镜12的照明光学系统24a中未设置荧光体44。另外,在摄像光学系统24b中,代替彩色的摄像传感器48而设置有未设置彩色滤光片的单色的摄像传感器206。除此以外与第一实施方式的内窥镜系统10相同。
宽带光源202是氙灯、白色LED等,发出波段涉及蓝色~红色的白色光。旋转滤光片204具有设置在内侧的通常观察模式用滤光片208和设置在外侧的特殊观察模式用滤光片209(参照图20)。滤光片切换部205使旋转滤光片204在径向上移动,在通过模式切换SW22b设置为通常观察模式时,将旋转滤光片204的通常观察模式用滤光片208插入到白色光的光路中,在设置为特殊观察模式时,将旋转滤光片204的特殊观察模式用滤光片209插入到白色光的光路中。
如图20所示,在通常观察模式用滤光片208中,沿着周向设置有使白色光中的蓝色光透过的B滤光片208a、使白色光中的绿色光透过的G滤光片208b、使白色光中的红色光透过的R滤光片208c。因此,在通常观察模式时,通过旋转滤光片204的旋转,蓝色光、绿色光、红色光交替照射到检体内。
在特殊观察模式用滤光片209中,沿着周向设置有使白色光中的中心波长415nm的蓝色窄带光透过的Bn滤光片209a、使白色光中的绿色光透过的G滤光片209b、使白色光中的红色光透过的R滤光片209c。因此,在特殊观察模式时,通过旋转滤光片204的旋转,蓝色窄带光、绿色光、红色光交替照射到检体内。
在内窥镜系统200中,在通常观察模式时,每当蓝色光、绿色光、红 色光照射到检体内时,利用单色的摄像传感器206对检体内进行摄像。由此,得到RGB的三色的图像信号。然后,基于这些RGB的图像信号,利用与上述第一实施方式相同的方法生成通常光图像。
另一方面,在特殊观察模式时,每当蓝色窄带光、绿色光、红色光照射到检体内时,利用单色的摄像传感器206对检体内进行摄像。由此,得到Bn画像信号、G图像信号、R图像信号。基于这些Bn图像信号、G图像信号、R图像信号生成特殊光图像。在特殊光图像的生成中,代替B图像信号而使用Bn图像信号。除此以外,利用与第一实施方式相同的方法生成特殊光图像。
[第三实施方式]
在第一实施方式的内窥镜系统10中,在特殊光图像的生成中使用包含蓝色激光和蓝紫色激光的窄带波长信息在内的窄带信号即B图像信号,在第二实施方式的内窥镜系统200中,在特殊光图像的生成中使用包含蓝色窄带光的窄带波长信息在内的窄带信号即Bn图像信号,但是,在第三实施方式中,通过基于白色图像等宽带图像的分光运算来生成蓝色窄带图像信号,使用该蓝色窄带图像生成特殊光图像。
在该第三实施方式中,在同时式的内窥镜系统10的特殊观察模式时,代替特殊光而照射作为宽带光的白色光。然后,如图21所示,在设置在接收部54与逆伽马转换部76之间的分光运算部300中,进行基于通过白色光的发光/摄像而得到的RGB图像信号的分光运算处理。由此,生成蓝色窄带图像信号。分光运算的方法使用日本特开2003-093336号公报所记载的方法。基于由该分光运算部300生成的蓝色窄带图像信号、G图像信号、R图像信号,利用与上述第一实施方式相同的步骤生成特殊光图像。需要说明的是,作为白色光,除了通过荧光体44得到的白色光以外,还可以使用从氙灯等宽带光源发出的宽带光。
需要说明的是,在上述实施方式中,示出由于萎缩性胃炎而使粘膜成为退色调的例子以及透视到萎缩粘膜下的深层血管的例子,但是,还存在由于其他部位的病变(例如食道的病变或大肠的病变等)而使粘膜成为退色调的情况。本发明还能够对这种萎缩粘膜以外的退色调粘膜与正常区域的色差进行强调。另外,本发明还能够对萎缩粘膜以外的退色调粘膜下的 深层血管的透视进行强调显示。
需要说明的是,上述实施方式所示的第一~第四扩张处理增大萎缩粘膜、深层血管、BA、发红等异常区域与正常粘膜的差,但是不改变正常粘膜的颜色。即,根据上述实施方式,在第一~第四扩张处理前后,能够显示维持了正常粘膜的颜色的图像。
如上所述,为了显示维持了正常粘膜的颜色的图像,需要利用以下这种处理来进行第一~第四扩张处理。例如,在如第一扩张处理、第三扩张处理、第四扩张处理那样对矢径进行扩张的处理中,如图22A所示,在将第一范围定义为“rm-Δr1”~“rm+Δr2”的情况下,如图23所示,将第一范围内的矢径r转换为大小与矢径r相同的矢径Er(恒等转换)(例如在矢径r为rm的情况下,矢径Er为rm)。这样,通过对第一范围内的矢径r进行恒等转换,即使进行第一、三、四扩张处理,也能够在图像上维持正常粘膜的颜色。
与此相对,如图22A所示,针对比第一范围平均值rm小的第二范围的矢径ri,如图23所示,将其转换为比矢径ri小的矢径Eri。另外,如图22B所示,针对大部分比第一范围平均值rm大的第四、第五范围的矢径rk、rj,将矢径rk、rj转换为比这些矢径rk、rj大的矢径Erk、Erj。需要说明的是,图23示出包含第一~第五范围在内的一定范围的偏角θ中的矢径r与矢径Er的对应关系,但是,也可以按照每个偏角θ而设定为不同的对应关系。
另外,在如第二扩张处理、第三扩张处理、第四扩张处理那样对偏角进行扩张的处理中,如图24A所示,在将第一范围定义为“θm-Δθ1”~“θm+Δθ2”的情况下,如图25所示,将第一范围内的偏角θ转换为大小与偏角θ相同的偏角Eθ(恒等转换)(例如在偏角θ为θm的情况下,偏角Eθ为θm)。这样,通过对第一范围内的偏角θ进行恒等转换,即使进行第二、三、四扩张处理,也能够在图像上维持正常粘膜的颜色。
与此相对,如图24A所示,针对比第一范围平均值θm小的第三范围的偏角θv,如图25所示,将其转换为比偏角θv小的偏角Eθv。另外,如图24B所示,针对大部分比第一范围平均值θm大的第四范围的偏角θk,如图25所示,将其转换为比偏角θk大的偏角Eθk。另外,如图24B所示, 针对大部分比第一范围平均值θm小的第五范围的偏角θj,如图25所示,将其转换为比偏角θj小的偏角Eθj。需要说明的是,在图25中,“θm”是在0。~90。的范围内定义的角度。因此,“θm-90”是负角度,“θm+90”是正角度。因此,横轴越靠右侧,角度越大,另外,纵轴越靠上侧,角度越大。
需要说明的是,在上述实施方式中,在内窥镜的诊断中实施本发明,但是不限于此,也可以在内窥镜诊断后,基于内窥镜系统的记录部中记录的内窥镜图像来实施本发明,另外,还可以基于由胶囊内窥镜取得的胶囊内窥镜图像来实施本发明。
附图标号说明
10、200:内窥镜系统
18:监视器(显示部)
48、206:摄像传感器
80:信号比计算部
82:色差强调部
82a:平均值计算部

Claims (14)

1.一种图像处理装置,其特征在于,
所述图像处理装置具备:
图像信号输入部,其输入三色的图像信号;
信号比计算部,其基于所述三色的图像信号,计算二色的图像信号间的第一信号比、以及与所述第一信号比不同的二色的图像信号间的第二信号比;
色差强调部,其进行第一扩张处理,在该第一扩张处理中,对第一范围内的第一信号比与位于第二范围内的第一信号比的差及所述第一范围内的第二信号比与位于所述第二范围内的第二信号比的差进行扩张,所述第二范围与所述第一范围不同;以及
显示部,其显示基于实施了所述第一扩张处理的第一信号比及第二信号比而对观察对象上的正常粘膜与第一异常区域的色差进行了强调的图像。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述第一扩张处理是对所述第一范围内的第一信号比与所述第二范围内的第一信号比的矢径差及所述第一范围内的第二信号比与所述第二范围内的第二信号比的矢径差进行扩张的处理。
3.根据权利要求2所述的图像处理装置,其特征在于,
基于对所述第一范围内的第一信号比及第二信号比和所述第二范围内的第一信号比及第二信号比进行极坐标转换后的信号,进行扩张所述矢径差的处理。
4.根据权利要求1~3中任一项所述的图像处理装置,其特征在于,
通过所述第一扩张处理,使所述第一异常区域的彩度降低。
5.根据权利要求1所述的图像处理装置,其特征在于,
所述第一异常区域是包含萎缩粘膜在内的退色调粘膜。
6.根据权利要求1~3中任一项所述的图像处理装置,其特征在于,
所述第一扩张处理在维持了所述第一范围的第一信号比及第二信号比的状态下,对所述第一范围的第一信号比与所述第二范围的第一信号比的差及所述第一范围的第二信号比与所述第二范围的第二信号比的差进行扩张,
所述显示部显示维持了所述正常粘膜的颜色的图像。
7.根据权利要求1所述的图像处理装置,其特征在于,
除了所述第一扩张处理以外,所述色差强调部还进行第二扩张处理,在该第二扩张处理中,对所述第一范围内的第一信号比与第三范围内的第一信号比的差及所述第一范围内的第二信号比与所述第三范围内的第二信号比的差进行扩张,所述第三范围与所述第一范围及所述第二范围不同,
所述显示部显示除了对所述观察对象上的正常粘膜与第一异常区域的色差进行强调以外、还对所述观察对象上的正常粘膜与第二异常区域的色差进行了强调的图像。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述第二扩张处理是对所述第一范围内的第一信号比与所述第三范围内的第一信号比的偏角差及所述第一范围内的第二信号比与所述第三范围内的第二信号比的偏角差进行扩张的处理。
9.根据权利要求8所述的图像处理装置,其特征在于,
基于对所述第一范围内的第一信号比及第二信号比和所述第三范围内的第一信号比及第二信号比进行极坐标转换后的信号,进行扩张所述偏角差的处理。
10.根据权利要求7~9中任一项所述的图像处理装置,其特征在于,
通过所述第二扩张处理,使所述第二异常区域的色相变化,从而透视到所述第一异常区域下的血管。
11.根据权利要求7~9中任一项所述的图像处理装置,其特征在于,
所述第二扩张处理在维持了所述第一范围的第一信号比及第二信号比的状态下,对所述第一范围的第一信号比与所述第三范围的第一信号比的差及所述第一范围的第二信号比与所述第三范围的第二信号比的差进行扩张,
所述显示部显示维持了所述正常粘膜的颜色的图像。
12.根据权利要求7所述的图像处理装置,其特征在于,
所述图像处理装置具有平均值计算部,该平均值计算部计算位于所述第一范围内的第一信号比的平均值及第二信号比的平均值,
所述色差强调部对位于所述第一范围内的第一信号比的平均值与位于所述第二范围内的第一信号比的差以及位于所述第一范围内的第二信号比的平均值与位于所述第二范围内的第二信号比的差进行扩张,并且,对位于所述第一范围内的第一信号比的平均值与位于所述第三范围内的第一信号比的差以及位于所述第一范围内的第二信号比的平均值与位于所述第三范围内的第二信号比的差进行扩张。
13.根据权利要求7所述的图像处理装置,其特征在于,
针对所述第一范围~所述第三范围中的高亮度区或低亮度区,进行抑制所述色差的强调的抑制处理。
14.根据权利要求1或7所述的图像处理装置,其特征在于,
所述第一信号比是B图像信号与G图像信号间的B/G比,所述第二信号比是G信号与R图像信号间的G/R比。
CN201480018011.0A 2013-03-27 2014-03-20 图像处理装置和内窥镜系统的工作方法 Active CN105101862B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-066284 2013-03-27
JP2013066284 2013-03-27
JP2013201274 2013-09-27
JP2013-201274 2013-09-27
PCT/JP2014/057715 WO2014156938A1 (ja) 2013-03-27 2014-03-20 画像処理装置及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
CN105101862A CN105101862A (zh) 2015-11-25
CN105101862B true CN105101862B (zh) 2017-04-12

Family

ID=51623917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018011.0A Active CN105101862B (zh) 2013-03-27 2014-03-20 图像处理装置和内窥镜系统的工作方法

Country Status (5)

Country Link
US (1) US9545187B2 (zh)
EP (1) EP2979618B1 (zh)
JP (1) JP5647752B1 (zh)
CN (1) CN105101862B (zh)
WO (1) WO2014156938A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5932894B2 (ja) 2014-03-24 2016-06-08 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6113116B2 (ja) * 2014-03-31 2017-04-12 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016107003A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 医用画像処理装置及びその作動方法
US10702127B2 (en) 2015-06-25 2020-07-07 Hoya Corporation Endoscope system and evaluation value calculation device
JP6461739B2 (ja) * 2015-07-28 2019-01-30 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP6113386B1 (ja) 2015-08-13 2017-04-12 Hoya株式会社 評価値計算装置及び電子内視鏡システム
JP6113387B1 (ja) 2015-08-13 2017-04-12 Hoya株式会社 評価値計算装置及び電子内視鏡システム
JP6461760B2 (ja) * 2015-09-25 2019-01-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
US10918270B2 (en) * 2015-09-30 2021-02-16 Hoya Corporation Endoscope system and evaluation value calculation device
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
CN109068945B (zh) * 2016-03-29 2020-12-01 富士胶片株式会社 图像处理装置、图像处理装置的工作方法及记录介质
WO2018142658A1 (ja) * 2017-02-01 2018-08-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2018230396A1 (ja) 2017-06-15 2018-12-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US10580157B2 (en) * 2017-08-04 2020-03-03 Capsovision Inc Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
EP3711652A4 (en) * 2017-11-13 2021-01-06 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD OF OPERATING IT
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138876A (ja) * 1987-11-26 1989-05-31 Toshiba Corp カラー画像処理装置
JP3228627B2 (ja) 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
US7167276B2 (en) * 2002-10-22 2007-01-23 Canon Kabushiki Kaisha Data conversion between color coordinate systems
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4554647B2 (ja) * 2003-04-25 2010-09-29 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2009000344A (ja) * 2007-06-22 2009-01-08 Olympus Corp 内視鏡装置
JP5767775B2 (ja) * 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP2011024628A (ja) * 2009-07-21 2011-02-10 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP5597049B2 (ja) * 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5582948B2 (ja) * 2010-09-29 2014-09-03 富士フイルム株式会社 内視鏡装置
JP5303012B2 (ja) * 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
WO2014156937A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP5647752B1 (ja) 2015-01-07
US9545187B2 (en) 2017-01-17
US20160007829A1 (en) 2016-01-14
JPWO2014156938A1 (ja) 2017-02-16
EP2979618A1 (en) 2016-02-03
EP2979618A4 (en) 2016-07-06
CN105101862A (zh) 2015-11-25
EP2979618B1 (en) 2018-11-28
WO2014156938A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
CN105101862B (zh) 图像处理装置和内窥镜系统的工作方法
CN105101863B (zh) 图像处理装置
CN105705075B (zh) 图像处理装置及其工作方法
US8419628B2 (en) Endoscope system and endoscopic image processing apparatus
US10779714B2 (en) Image processing apparatus, method for operating image processing apparatus, and image processing program
JP5460506B2 (ja) 内視鏡装置の作動方法及び内視鏡装置
JP5501210B2 (ja) 画像処理装置
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP5997817B2 (ja) 内視鏡システム
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN106388756A (zh) 图像处理装置及其工作方法以及内窥镜系统
CN104939792B (zh) 医用图像处理装置及其工作方法
US10186033B2 (en) Medical image processing device, operation method therefor, and endoscope system
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP5334952B2 (ja) 画像処理装置
CN104939791B (zh) 医用图像处理装置及其工作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant