CN115209784A - 内窥镜装置、处理器、色彩强调方法 - Google Patents
内窥镜装置、处理器、色彩强调方法 Download PDFInfo
- Publication number
- CN115209784A CN115209784A CN202080097782.9A CN202080097782A CN115209784A CN 115209784 A CN115209784 A CN 115209784A CN 202080097782 A CN202080097782 A CN 202080097782A CN 115209784 A CN115209784 A CN 115209784A
- Authority
- CN
- China
- Prior art keywords
- light
- image signal
- color
- illumination
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
内窥镜装置(1)具有:光源装置(3),其以第一光量比/第二光量比发出多种颜色的光而生成第一照明光/第二照明光;内窥镜(2),其具有对返回光进行摄像而生成摄像信号的摄像元件(21);以及处理器(4)。处理器(4)使光源装置(3)切换第一照明光和第二照明光而发光,根据与第一照明光相关的摄像信号生成第一图像信号,根据与第二照明光相关的摄像信号生成第二图像信号,根据第二图像信号对第一图像信号进行色彩强调。第二照明光是以与基准部分相关的第二图像信号实质上成为无彩色的方式调整第二光量比而得到的光。
Description
技术领域
本发明涉及进行图像的色彩强调的内窥镜装置、处理器、色彩强调方法,该图像是通过发出中心波长不同的多个光而取得的。
背景技术
以往,提出了显示表层血管、表层微细构造被清晰化的图像的内窥镜装置,对病变部的诊断做出了较大贡献。
例如,在日本特开2013-176号公报中记载了如下技术:通过拍摄光量值相等的B光、G光、R光的被检体像来取得通常光图像,通过拍摄光量值为B光>G光>R光的被检体像来取得特殊光图像,对特殊光图像和通常光图像进行合成,得到表层微细血管等被清晰化的合成图像。
另外,例如在日本专利第6050286号公报中记载了如下技术:在由多个颜色信息形成的特征空间中,为了使被检体内的观察对象所分布的第一~第三范围内的1个特定范围的坐标进入基准范围而移动第一~第三范围的坐标,为了使特定范围以外的2个范围相互分离而移动特定范围以外的2个范围,由此生成强调了正常部与异常部的色差的图像。
进而,例如在日本专利第3228627号公报中记载了如下的IHb色彩强调的技术:计算血红蛋白浓度(IHb)和IHb的平均值<IHb>,强调IHb相对于平均值<IHb>的偏差。
但是,上述现有技术中,处理后的图像的色相较大地变化,颜色再现性降低,另外,成为与通常不同的颜色再现的图像,在诊断中需要习惯。
本发明是鉴于上述情况而完成的,其目的在于提供一种内窥镜装置、处理器、色彩强调方法,能够在不降低颜色再现性的情况下强调显示微小的色彩差异。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜装置具有:光源装置,其具备发出的光的中心波长不同的多个半导体发光元件,使所述多个半导体发光元件以某一光量比发光而生成照明光;内窥镜,其具有摄像元件,该摄像元件对来自被照射了所述照明光的被检体的返回光进行摄像,生成具有多个颜色成分的摄像信号;以及处理器,其与所述光源装置和所述内窥镜连接,所述处理器进行如下处理:控制所述光源装置,来切换第一照明光和第二照明光而发光,该第一照明光中所述光量比被设为用于观察所述被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,从所述内窥镜接收与所述第一照明光相关的第一摄像信号而生成第一图像信号,从所述内窥镜接收与所述第二照明光相关的第二摄像信号而生成第二图像信号,生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,所述第二照明光是以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比而得到的光。
本发明的一个方式的处理器控制光源装置,来切换第一照明光和第二照明光而发光,该第一照明光中中心波长不同的多个光的光量比被设为用于观察被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,根据第一摄像信号生成第一图像信号,该第一摄像信号是对来自被照射了所述第一照明光的所述被检体的返回光进行摄像而得到的,根据第二摄像信号生成第二图像信号,该第二摄像信号是对来自被照射了所述第二照明光的所述被检体的返回光进行摄像而得到的,生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比,来控制所述光源装置。
在本发明的一个方式的色彩强调方法中,切换第一照明光和第二照明光而发光,该第一照明光中中心波长不同的多个光的光量比被设为用于观察被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,根据第一摄像信号生成第一图像信号,该第一摄像信号是对来自被照射了所述第一照明光的所述被检体的返回光进行摄像而得到的,根据第二摄像信号生成第二图像信号,该第二摄像信号是对来自被照射了所述第二照明光的所述被检体的返回光进行摄像而得到的,生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比。
附图说明
图1是表示本发明的第一实施方式的内窥镜装置的结构的图。
图2是表示上述第一实施方式的色彩强调部的结构的框图。
图3是表示由上述第一实施方式的内窥镜装置进行的色彩强调显示处理的流程图。
图4涉及上述第一实施方式,是表示在色彩强调模式开启时白色光WL和色彩强调光CE交替地发光的情形的时序图。
图5涉及上述第一实施方式,是表示在色彩强调模式关闭时发出白色光WL的情形的一例的时序图。
图6涉及上述第一实施方式,是表示在通常观察模式下开启色彩强调模式时的、第一照明光以及第二照明光中的各LED的光量的设定例的图表。
图7涉及上述第一实施方式,是表示根据被检体的部位而使第二照明光中的各LED的光量比不同的通常观察模式的例子的图表。
图8涉及上述第一实施方式,是表示使第二照明光中的各LED的光量比根据被检体的部位且根据从内窥镜的前端部到被检体的部位的距离而不同的通常观察模式的例子的图表。
图9涉及上述第一实施方式,是表示根据被检体的部位而使第二照明光中的紫色LED以及绿色LED的光量比不同的NBI观察模式的例子的图表。
图10涉及上述第一实施方式,是表示通过色彩强调部将第一图像信号和第二图像信号合成后的校正图像信号中的、正常组织的像素和病变组织的像素的像素信号的变化的例子的图表。
图11涉及上述第一实施方式,是用于说明合成部的合成方法的其他例子的图表。
图12涉及上述第一实施方式,是表示根据a*b*平面中的第一图像信号的成分距L*轴的距离,使色彩强调量变化的例子的曲线图。
图13涉及上述第一实施方式,是表示在a*b*平面中进行色彩强调的区域的一例的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。但是,本发明并不限定于以下说明的实施方式。
此外,在附图的记载中,对相同或对应的要素适当地标注相同的附图标记。另外,需要留意的是,附图是示意性的,1个附图内的各要素的长度的关系、各要素的长度的比率等有时与现实不同。进而,在多个附图的相互之间,有时也包含相互的长度的关系、比率不同的部分。
[第一实施方式]
图1至图13表示本发明的第一实施方式,图1是表示内窥镜装置1的结构的图。
内窥镜装置1具备内窥镜2、光源装置3、处理器4、显示器5以及输入设备6。
内窥镜2构成为能够插入到被检体的体腔内等的电子内窥镜,对被检体的生物体组织等进行摄像并输出摄像信号。
光源装置3向内窥镜2供给照明光,以便能够观察处于暗部的被检体。
处理器4与光源装置3和内窥镜2连接,根据从内窥镜2输出的摄像信号,生成观察用和/或记录用的影像信号并输出。
显示器5具备LCD(Liquid-Crystal Display:液晶显示器)、有机EL(Electro-Luminescence:电致发光)显示器等显示设备,显示与从处理器4输出的影像信号对应的观察图像等。
输入设备6具备开关、按钮等操作部件,通过手术者等用户进行输入操作,向处理器4输出与操作内容对应的指示信号。
内窥镜2例如经由通用线缆(未图示)以能够装卸的方式与处理器4连接,经由光导线缆(未图示)以能够装卸的方式与光源装置3连接。
内窥镜2具备能够插入到被检体内的细长的插入部2a和设置于插入部2a的基端侧的操作部2b。
在插入部2a的前端部2c设置有摄像部21和照明光学系统22。
在上述光导线缆和内窥镜2的内部,贯插配置有用于传输照明光的光导7。光导7的出射端部配设在与照明光学系统22对置的位置。由此,经由光导7传输的照明光通过照明光学系统22向被检体照射。
摄像部21具有物镜光学系统21a和摄像元件21b。
物镜光学系统21a使来自被从照明光学系统22射出的照明光照明的被检体的返回光在摄像元件21b上成像。
摄像元件21b对由物镜光学系统21a成像的被检体的光学像进行摄像,生成具有多个颜色成分的摄像信号,并输出所生成的摄像信号。具体而言,摄像元件21b构成为CCD或CMOS等图像传感器,该图像传感器中多个像素排列成矩阵状,例如具备原色拜耳排列的滤色器(其中,例如也可以是补色系的滤色器)。
操作部2b形成为用户能够把持并操作的形状,设置有镜体开关23和镜体存储器24。
镜体开关23具有开关、按钮等操作部件,通过进行用户的输入操作,将与操作内容对应的指示信号输出到处理器4。
镜体存储器24存储内窥镜信息,该内窥镜信息包含内窥镜2的ID编号、摄像部21的分光灵敏度特性信息等内窥镜2固有的信息。
与摄像元件21b连接的信号线、与镜体开关23连接的信号线以及与镜体存储器24连接的信号线配设在内窥镜2内和上述的通用线缆内,经由通用线缆与处理器4电连接。
由此,在内窥镜2与处理器4电连接且处理器4的电源接通时,由处理器4的后述的控制部47读出镜体存储器24中存储的内窥镜信息。另外,从镜体开关23输出的指示信号被发送到控制部47。进而,从摄像元件21b输出的摄像信号被发送到处理器4内的后述的前处理电路40。
光源装置3具备光源控制器31、光源单元32、合波器33以及聚光透镜34。
光源控制器31例如具备控制电路等,根据从处理器4输出的照明控制信号,控制光源单元32的发光。
光源单元32作为光源部发挥功能,具备发出的光的中心波长不同的多个半导体发光元件(具体而言,下述说明的LED32a~32d),使多个半导体发光元件以某一光量比发光而生成照明光。
具体而言,光源单元32例如具备紫色LED(Light-Emitting Diode:发光二极管)32a、蓝色LED32b、绿色LED32c和红色LED32d。
紫色LED32a发出中心波长属于紫色区域的紫色光(以下,也称为V光)。特别是在本实施方式中,由于设想了能够进行NBI观察模式的内窥镜系统,所以紫色LED32a发出波长为390~445(nm)的窄带紫色光。
蓝色LED32b发出中心波长属于蓝色区域的蓝色光(以下,也称为B光)。如后所述,该蓝色光也优选为窄带光。
绿色LED32c发出中心波长属于绿色区域的绿色光(以下,也称为G光)。如上所述,在本实施方式中,由于设想了NBI观察模式,因此绿色LED32c发出波长为530~550(nm)的窄带绿色光。
红色LED32d发出中心波长属于红色区域的红色光(以下,也称为R光)。如后所述,该红色光也优选为窄带光。
光源单元32的各LED32a~32d基于光源控制器31的控制,以各自的光量单独地发光或者单独地消光。另外,这里所说的光量是指在通过摄像元件21b拍摄(曝光)图像的期间发出的照明光的光量。
另外,由存储在镜体存储器24中的分光灵敏度特性信息表示的摄像部21的分光灵敏度特性根据内窥镜2的机型(进而根据个体)而各种各样。例如,经由原色拜耳排列的R(红色)滤镜、G(绿色)滤镜、B(蓝色)滤镜,摄像元件21b接收的光的波段不限于分别限定为红色波段、绿色波段、蓝色波段,实际上有时在更宽的频带具有灵敏度。
因此,作为在准确地控制照明光的光源单元32中采用的光源,优选使用窄带化的且各色光的分光光谱离散的光源。
例如,在将LED作为光源单元32的光源的情况下,与使用利用荧光剂生成发光色的类型的LED相比,优选使用利用从LED自身发出的光生成发光色的类型的LED。
另外,不限于LED,例如也可以将半导体激光器(LD:LaserDiode)等激光光源用作光源单元32的光源。
由此,能够减轻经由原色滤镜进行摄像时的混色,提高色彩强调的精度。
合波器33对从光源单元32的各LED32a~32d发出的光进行合波而射出。
聚光透镜34将从合波器33射出的光会聚于光导7的入射端部。
处理器4具备前处理电路40、A/D转换器41、WB(白平衡)处理部42、同时化处理部43、色彩强调部44、清晰度强调部45、显示控制部46以及控制部47。比A/D转换器41靠前级的前处理电路40是模拟电路。另外,比A/D转换器41靠后级的WB处理部42、同时化处理部43、色彩强调部44、清晰度强调部45以及显示控制部46是数字电路,并且,控制部47也是数字电路。
在此,处理器4的数字电路部例如构成为,通过包含CPU(Central ProcessingUnit:中央处理单元)等的ASIC(Application Specific Integrated Circuit:面向特定用途的集成电路)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等处理器读入并执行存储于存储器等存储装置(或记录介质)的处理程序,来实现各部的功能。
但是,并不限定于此,处理器4的各部例如也可以构成为发挥各自的功能的专用的电子电路。
前处理电路40对从内窥镜2的摄像部21输出的摄像信号进行放大,进而进行例如相关双采样等噪声去除处理。
A/D转换器41对从前处理电路40输出的模拟的摄像信号进行A/D转换,生成数字的图像信号。由A/D转换器41生成的数字图像信号被输出到WB处理部42和控制部47。
WB处理部42对从A/D转换器41输出的具有多个颜色成分的图像信号进行白平衡处理。
同时化处理部43对从A/D转换器41输出的多个颜色成分的图像信号进行同时化处理(也称为去马赛克处理)。即,在摄像元件21b例如是具备上述那样的原色拜耳排列的滤色器的单板摄像元件的情况下,摄像信号成为1个像素具有1个颜色成分的信号。因此,同时化处理部43例如在设置有G滤镜的G像素的情况下,进行如下的同时化处理:根据周边的R像素的R成分和B像素的B成分对在G像素位置从像素信号中缺失的R成分和B成分进行插值,由此生成G像素的像素位置的RGB成分。通过对设置有其他滤色器的像素也同样地进行同时化处理,生成在各像素位置统一存在RGB成分的图像信号。
色彩强调部44根据控制部47的控制,对从同时化处理部43输出的图像信号进行色彩强调处理。关于由该色彩强调部44进行的色彩强调处理,将在后面详细说明。
清晰度强调部45基于控制部47的控制,对从色彩强调部44输出的图像信号进行清晰度强调处理。
显示控制部46生成将从清晰度强调部45输出的图像信号分配给显示器5的R通道、G通道以及B通道而得到的影像信号,并将生成的影像信号输出到显示器5。
控制部47是接受从输入设备6和镜体开关23输出的指示信号,对包含处理器4的内窥镜装置1的整体进行统一控制的控制器。
控制部47具备存储由控制部47执行的处理程序的存储器47a。
并且,在存储器47a中预先存储有用于根据照明光的种类来调整各LED32a~32d的光量的颜色调整系数、以及在由色彩强调部44进行的色彩强调处理中使用的强调系数等信息。
另外,这里在存储器47a中存储有颜色调整系数和强调系数双方,但也可以将至少一方存储在光源控制器31内的存储器(未图示)中。
如上所述,控制部47在内窥镜2与处理器4电连接且处理器4的电源接通时,读入镜体存储器24中存储的内窥镜信息。
并且,控制部47根据从设置于输入设备6和/或镜体开关23的观察模式切换开关(未图示)输出的指示信号,设定内窥镜装置1的观察模式。这里,作为能够在内窥镜装置1中设定的观察模式,例如有通常观察模式和特殊光观察模式。另外,在本实施方式中,作为特殊光观察模式的例子,举出NBI(Narrow-Band Imaging:窄带成像)观察模式,但并不限定于此。
并且,控制部47根据从设置于输入设备6和/或镜体开关23的色彩强调模式设定开关(未图示)输出的指示信号,设定内窥镜装置1的色彩强调模式的开启/关闭。
即,本实施方式的内窥镜装置1能够在各观察模式中设定色彩强调模式的开启/关闭。因此,能够选择并设定在通常观察模式下色彩强调模式开启、在通常观察模式下色彩强调模式关闭、在NBI观察模式下色彩强调模式开启、以及在NBI观察模式下色彩强调模式关闭中的任意一个。
控制部47根据从镜体存储器24读入的内窥镜信息所示的摄像部21的分光灵敏度特性信息,生成用于使适合于所设定的观察模式和所设定的色彩强调模式的开启/关闭的照明光从光源装置3射出的照明控制信号,并将该照明控制信号输出到光源控制器31。
控制部47在色彩强调模式开启的情况下,控制光源装置3,来切换第一照明光和第二照明光而发光,该第一照明光中各LED32a~32d的光量比成为用于观察被检体的第一光量比,该第二照明光中各LED32a~32d的光量比成为与第一光量比不同的第二光量比。
另一方面,控制部47在色彩强调模式为关闭的情况下,控制光源装置3,发出用于观察被检体的第一照明光。
如果通过摄像部21拍摄到来自被照射了从光源装置3发出的照明光的被检体的返回光,则控制部47从由A/D转换器41输出的图像信号中提取被检体的明亮度信息,根据当前的明亮度信息,生成使被检体成为适当的明亮度的照明控制信号,并将该照明控制信号输出到光源控制器31。
进而,控制部47在色彩强调模式开启的情况下,从存储器47a读入强调系数,对色彩强调部44进行控制,以使用读入的强调系数进行色彩强调处理。
图2是表示色彩强调部44的结构的框图。
色彩强调部44具备第一存储器44a、第二存储器44b、L*a*b*转换部44c、合成部44d以及RGB转换部44e。
第一存储器44a是存储对第一摄像信号进行处理而得到的第一图像信号的存储器,该第一摄像信号是对来自被照射了第一照明光的被检体的返回光进行摄像而生成的。在此,第一照明光是将各LED32a~32d的光量比设为用于观察被检体的第一光量比的照明光。第一照明光的具体例是通常观察模式下的白色光WL(White Light)、NBI观察模式下的NBI照明光等。
第二存储器44b是存储对第二摄像信号进行处理而得到的第二图像信号的存储器,该第二摄像信号是对来自被照射了第二照明光的被检体的返回光进行摄像而生成的。在此,第二照明光是使用与发出第一照明光的LED相同的各LED32a~32d,以与第一光量比不同的第二光量比发出的照明光。
第二照明光也被称为色彩强调光CE(Color Enhance:色彩强调),是以与被检体的基准部分相关的第二图像信号在规定的误差范围内成为无彩色(若举出几个颜色空间中的例子,则在RGB颜色空间的情况下R=G=B,在CIE(国际照明委员会)(以下省略“CIE”)L*a*b*颜色空间的情况下a*=b*=0等)的方式调整了第二光量比而得到的光。
在此,作为被检体的基准部分的一例,可举出被检体中的正常部位(例如,正常粘膜等正常组织)且血管不延伸的部位。另外,作为被检体的基准部分,也可以使用生物体模型。因此,在第二图像信号中,被检体的基准部分成为无彩色(白色等灰度),在基准部分以外的异常部位等产生色彩。
L*a*b*转换部44c读入存储于第一存储器44a的RGB颜色空间的第一图像信号(RGB成分为(R1,G1,B1)),并将其转换为L*a*b*颜色空间的第一图像信号(L1*,a1*,b1*)。
并且,L*a*b*转换部44c读入存储于第二存储器44b的RGB颜色空间的第二图像信号(RGB成分为(R2,G2,B2)),并将其转换为L*a*b*颜色空间的第二图像信号(L2*,a2*,b2*)。
合成部44d生成基于第二图像信号(L2*,a2*,b2*)对第一图像信号(L1*,a1*,b1*)进行色彩强调后的校正图像信号。在合成部44d合成图像信号时,如后述那样使用从控制部47发送的强调系数。
另外,第一摄像信号和第二摄像信号是通过不同时刻的摄像而取得的信号(参照图4等)。因此,合成部44d优选在对第一图像信号(L1*,a1*,b1*)和第二图像信号(L2*,a2*,b2*)进行对位处理之后进行合成。由此,能够减轻因位置偏移而产生的图像模糊以及颜色偏差。
RGB转换部44e将由合成部44d进行了合成的L*a*b*颜色空间的信号转换为RGB颜色空间的信号并输出。
图3是表示由内窥镜装置1进行的色彩强调显示处理的流程图,图4是表示在色彩强调模式开启时交替地发出白色光WL和色彩强调光CE的情形的时序图,图5是表示在色彩强调模式关闭时发出白色光WL的情形的一例的时序图。
另外,在通常观察模式和特殊光观察模式(在此为NBI观察模式)的任意一个中,在色彩强调模式开启时,图3所示的色彩强调显示处理都由内窥镜装置1进行。
如图4所示,在色彩强调模式开启时,按照每1帧摄像,交替地发出白色光WL和色彩强调光CE。但是,图4是表示一例的图,并不限定于此。例如,也可以进行在连续发出2帧的白色光WL之后发出1帧的色彩强调光CE等变形。
此外,在此,设想了通过照射图4所示的各照明光而拍摄到的图像内的(WL1,CE1)、(WL2,CE2)、…的各组合来进行色彩强调,但为了提高摄像帧率,也可以进一步进行基于(CE1,WL2)、(CE2,WL3)、…的各组合的色彩强调。
另外,在色彩强调模式关闭时,优选代替仅使色彩强调光CE不发光,而如图5所示,在色彩强调光CE的发光时机发出白色光WL,从而提高摄像帧率。通过提高摄像帧率,即使在有运动的情况下,也能够生成容易观察的动态图像。
在未图示的主处理中,当进入图3所示的处理时,控制部47和光源控制器31设定用于发出第一照明光的各LED32a~32d的光量(步骤S1)。在此,以第一照明光为白色光WL的情况(通常观察模式的情况)为例进行说明,各LED32a~32d的光量如下那样设定。
图6是表示在通常观察模式下开启色彩强调模式时的、第一照明光以及第二照明光中的各LED32a~32d的光量的设定例的图表。
控制部47根据从A/D转换器41输出的图像信号中提取出的明亮度信息,设定白色光WL中的绿色LED32c的光量Gw。进而,控制部47从存储器47a读出针对白色光WL的颜色调整系数αwv、αwb、αwr,并与绿色LED32c的光量Gw相乘,由此分别计算紫色LED32a的光量Gv=αwv×Gw、蓝色LED32b的光量Gb=αwb×Gw、红色LED32d的光量Gr=αwr×Gw(参照图6的WL栏)。
另外,在本实施方式中,构成为通过使紫色LED32a和蓝色LED32b同时发光,得到由摄像元件21b的B像素拍摄的来自被检体的返回光。这是为了通过紫色LED32a的光量来补偿蓝色LED32b的光量,因此在通常观察模式下,实质上紫色LED32a也作为发出蓝色光的LED来处理。但是,如果蓝色LED32b的光量有富余,则也可以不使紫色LED32a发光而使蓝色LED32b发光,得到由B像素拍摄的来自被检体的返回光。
控制部47生成能够得到这样设定的各LED32a~32d的光量的照明控制信号,并将该照明控制信号向光源控制器31输出。
通过光源控制器31向各半导体发光元件供给驱动电流,光源装置3基于照明控制信号发出第一照明光,在此例如发出白色光WL(步骤S2)。
然后,摄像元件21b对来自被检体的返回光进行摄像而生成第一摄像信号,处理器4从内窥镜2接收第一摄像信号。处理器4通过前处理电路40~同时化处理部43对第一摄像信号进行处理,生成例如具有RGB成分的第一图像信号(R1,G1,B1)(步骤S3)。在此生成的第一图像信号(R1,G1,B1)存储于第一存储器44a。
L*a*b*转换部44c读入存储于第一存储器44a的第一图像信号(R1,G1,B1),并转换为L*a*b*颜色空间的第一图像信号(L1*,a1*,b1*)(步骤S4)。
接着,控制部47和光源控制器31设定用于发出第二照明光的各LED32a~32d的光量(步骤S5)。在此,在第一照明光为白色光WL的情况下,第二照明光成为白色光WL的色彩强调光CE。
控制部47为了抑制第一照明光和第二照明光的亮度(或明度)变动,基本上将色彩强调光CE中的绿色LED32c的光量设定为与白色光WL中的绿色LED32c的光量Gw相同。
但是,在将色彩强调光CE中的绿色LED32c的光量设为Gw时,在基于第二光量比计算出的紫色LED32a的光量、蓝色LED32b的光量和红色LED32d的光量中的至少1个超过各色光的最大光量时,控制部47设定为在保持第二光量比的状态下降低各色光的光量,以使紫色LED32a的光量、蓝色LED32b的光量和红色LED32d的光量全部为最大光量以下。
因此,图6所示的颜色调整系数Kg基本上被设定为1,在Kg=1而无法实现第二光量比时,例如被设定为Kg<1的适当的值。然后,将所设定的Kg乘以白色光WL中的绿色LED32c的光量Gw,计算色彩强调光CE中的绿色LED32c的光量Gw×Kg。
进而,控制部47从存储器47a读出关于第二光量比的颜色调整系数Kv,并乘以白色光WL中的紫色LED32a的光量αwv×Gw,由此计算紫色LED32a的光量Gv=αwv×Gw×Kv。此外,颜色调整系数Kv(以及以下说明的颜色调整系数Kb、Kr)根据颜色调整系数Kg是1还是1以外的值而成为不同的值,以维持第二光量比,这是不言而喻的。
同样地,控制部47从存储器47a读出关于第二光量比的颜色调整系数Kb,并乘以白色光WL中的蓝色LED32b的光量αwb×Gw,由此计算蓝色LED32b的光量Gb=αwb×Gw×Kb。
控制部47从存储器47a读出关于第二光量比的颜色调整系数Kr,并乘以白色光WL中的红色LED32d的光量αwr×Gw,由此计算红色LED32d的光量Gr=αwr×Gw×Kr(参照图6的CE栏)。
在此,上述的各色调整系数Kg、Kv、Kb、Kr是基于被检体的基准部分的分光反射率、摄像部21的分光灵敏度特性、光源单元32的分光发光强度特性,作为第二图像信号在规定的误差范围内成为无彩色那样的系数(例如,R成分、G成分和B成分的各值的平均在规定的误差范围内相同那样的系数)而预先求出的,并存储于存储器47a。
在此,关于被检体的基准部分的分光反射率,例如使用日本特开2000-14629号公报所记载的技术(但是,当然也可以应用其他适当的技术),使用以规定距离测定出的分光反射率。
因此,颜色调整系数Kg、Kv、Kb、Kr的值一般根据内窥镜2、光源装置3和处理器4的组合而不同,因此例如也可以作为与机型的组合对应的表存储于存储器47a。
此外,若举出Kg=1的情况下的第二光量比的具体例,则如下所示,
V光:B光:G光:R光=(αwv×Kv):(αwb×Kb):1:(αwr×Kr)。
这样的第二光量比也可以实时地变更。例如,在RGB颜色空间的第二图像信号(R2,G2,B2)中,控制部47也可以实时地调整关于第二光量比的颜色调整系数Kv、Kb、Kr,以使得基准部分的各信号值的平均(平均由符号<>表示)在规定的误差范围内成为<R2>=<G2>=<B2>。
或者,也可以在L*a*b*颜色空间的第二图像信号(L2*,a2*,b2*)中,计算基准部分的a*成分的平均<a2*>以及b*成分的平均<b2*>,控制部47实时地调整颜色调整系数Kv、Kb、Kr,以使<a2*>以及<b2*>在规定的误差范围内为0。
例如,在<a*>为正时降低颜色调整系数Kr的值,在<a*>为负时提高颜色调整系数Kr的值,在<b*>为正时提高颜色调整系数Kv、Kb的值,在<b*>为负时降低颜色调整系数Kv、Kb的值等。也可以例如递归地进行这样的处理,使第二图像信号中的基准部分在规定的误差范围内始终成为无彩色。
或者,也可以如下所述。首先,手术者等用户通过操作内窥镜2,在图像内计算平均的规定的位置配置正常部位且血管未延伸的部分。之后,用户操作输入设备6,指示计算规定的位置处的平均。由此,用户能够按照期望选择想要成为无彩色的部分。
控制部47生成能够得到这样设定的各LED32a~32d的光量的照明控制信号,并将该照明控制信号向光源控制器31输出。
光源装置3基于照明控制信号发出第二照明光,在此为白色光WL的色彩强调光CE(步骤S6)。
然后,摄像元件21b对来自被检体的返回光进行摄像而生成第二摄像信号,处理器4从内窥镜2接收第二摄像信号。处理器4通过前处理电路40~同时化处理部43对第二摄像信号进行处理,生成例如具有RGB成分的第二图像信号(R2,G2,B2)(步骤S7)。在此生成的第二图像信号(R2,G2,B2)存储于第二存储器44b。
L*a*b*转换部44c读入存储于第二存储器44b的第二图像信号(R2,G2,B2),并转换为L*a*b*颜色空间的第二图像信号(L2*,a2*,b2*)(步骤S8)。
之后,合成部44d在L*a*b*颜色空间中按每个像素合成第一图像信号(L1*,a1*,b1*)和第二图像信号(L2*,a2*,b2*),生成色彩强调后的校正图像信号(步骤S9)。
图10是表示通过色彩强调部将第一图像信号和第二图像信号合成后的校正图像信号中的、正常组织的像素和病变组织的像素的像素信号的变化的例子的图表。
如上所述,作为被检体的基准部分,选择血管未延伸的正常组织等。在该情况下,如图10的正常组织的栏所示,以使第二图像中的正常组织成为无彩色(白色等灰度)的方式设定第二照明光,因此第二图像信号中的a*成分以及b*成分在规定的误差范围内均取0的值。
因此,作为合成后的校正图像信号的a*成分、b*成分的(as*,bs*)不从第一图像信号的a*成分、b*成分变化,而成为数学式1所示那样,
[数1]
(as*,bs*)=(a1*,b1*)。
与此相对,已知病变组织、例如有炎症等的生物体组织与正常组织相比,蓝色~绿色频带的光的反射率下降(蓝色~绿色频带的光的吸收率提高)。对这样的病变组织进行摄像而得到的像素的信号中,R=G=B不成立,例如成为G<R且B<R的信号值。
这样,在病变组织的情况下,即使对第二照明光进行照明也不会成为无彩色(白色等灰度),第二图像信号的a*成分和b*成分中的至少一方存在0以外的值(a2*,b2*)。
合成部44d将从控制部47接收到的强调系数C与第二图像信号的成分(a2*,b2*)相乘后,与第一图像信号的成分(a1*,b1*)相加,由此如以下的数学式2所示那样计算色彩强调后的校正图像信号的成分(as*,bs*)。
[数2]
(as*,bs*)=(a1*+C×a2*,b1*+C×b2*)
该数学式2也同样适用于正常组织,但在正常组织中(a2*,b2*)=(0,0),因此仅成为数学式1所示的结果。另外,如果设强调系数C=1,则第一图像信号的成分(a1*,b1*)与第二图像信号的成分(a2*,b2*)的单纯的相加结果成为校正图像信号的成分(as*,bs*)。
另一方面,合成部44d针对校正图像信号的L*成分(明度成分),使用从控制部47接收到的第二强调系数C2,进行例如以下的数学式3所示的运算,由此计算作为合成后的校正图像信号的L*成分的Ls*。
[数3]
Ls*=L1*+C2×(L2*-L1*)
数学式3的运算通过对从第二图像信号的明度成分L2*减去第一图像信号的明度成分L1*而得到的差分值乘以第二强调系数C2,再与第一图像的明度成分L1*相加来进行校正。
如上所述,设想在将色彩强调光CE中的绿色LED32c的光量设定为与白色光WL中的绿色LED32c的光量Gw相同的情况下,L1*与L2*成为相等或接近的值,Ls*相对于L1*不怎么变化。
因此,在数学式3中,明度不怎么变化,通过数学式2主要强调色相。
另外,合成部44d的合成方法并不限定于上述的方法,能够应用其他的各种方法。
图11是用于说明合成部44d的合成方法的其他例子的图表。
在上述的基于数学式2的计算方法中,如图10的病变组织/校正图像栏所示,校正图像信号的成分(as*,bs*)的色相接近第一图像信号的成分(a1*,b1*)的色相,但有时产生一些色相的变化。
因此,图11所示的合成方法是使色相不产生变化的方法。
将第一图像信号的成分(a1*,b1*)在a*b*平面(L*=L1*平面)上的距原点(0,0)(即,L*轴)的距离设为r1(参照后述的数学式5),将与a*轴所成的角度设为θ。
同样地,将第二图像信号的成分(a2*,b2*)在a*b*平面(L*=L2*平面)上的距原点(0,0)的距离设为r2。
此时,合成部44d如以下的数学式4所示,使用从控制部47接收到的强调系数C基于距离r2延长距离r1,由此计算色彩强调后的校正图像信号的成分(as*,bs*)。
[数4]
(as*,bs*)
=([r1+C×r2]cosθ,[r1+C×r2]sinθ)
根据该数学式4所示的计算方法,不仅第二图像信号的a*b*平面成分被以强调系数C强调而与第一图像信号的a*b*平面成分相加,而且校正图像信号的成分(as*,bs*)与a*轴所成的角度与第一图像信号的成分(a1*,b1*)与a*轴所成的角度θ相同,因此能够不使色相变化地进行色彩强调。
此外,关于校正图像信号的L*成分(明度成分),例如通过上述的数学式3所示的运算来求出即可。
并且,作为合成部44d的合成方法,可以使用对第一图像信号的成分(a1*,b1*)和第二图像信号的成分(a2*,b2*)进行加权相加的方法,此时,也可以将加权归一化。另一方面,关于L*成分,也可以不使第一图像信号的L1*成分的值变化而直接作为校正图像信号的L*成分。
这样,在由合成部44d生成校正图像信号后,RGB转换部44e将L*a*b*颜色空间的校正图像信号转换为RGB颜色空间的信号并输出(步骤S10)。
然后,清晰度强调部45进行清晰度强调处理,显示控制部46生成影像信号,在显示器5上显示色彩强调后的校正图像(步骤S11)。
之后,控制部47根据来自输入设备6或者镜体开关23的指示信号,判定是否进行了结束色彩强调显示处理的设定(步骤S12),在未进行的情况下,返回步骤S1,反复进行上述那样的处理。
另一方面,在步骤S12中,在判定为进行了结束设定的情况下,从该处理返回到未图示的主处理。
另外,在图6中示出第二照明光中的各LED32a~32d的光量的设定的一例,但LED32a~32d的光量比也可以根据被检体的部位而变更。图7是表示根据被检体的部位而使第二照明光中的各LED32a~32d的光量比不同的通常观察模式的例子的图表。
以消化道为例,被检体的基准部分的颜色根据被检体的部位例如是食道(第一部位)、胃(第二部位)、大肠(第三部位)中的哪一个而不同。
因此,在图7中,作为颜色调整系数(Kv,Kb,Kr),预先准备第一部位用的颜色调整系数(Kv1,Kb1,Kr1)、第二部位用的颜色调整系数(Kv2,Kb2,Kr2)、第三部位用的颜色调整系数(Kv3,Kb3,Kr3),并存储于控制部47的存储器47a。
在此,如上所述,各部位用的颜色调整系数例如基于使用日本特开2000-14629号公报所记载的技术测定出的各部位的基准部分的分光反射率、摄像部21的分光灵敏度特性、光源单元32的分光发光强度特性,预先决定为第二图像信号在规定的误差范围内成为无彩色的系数。
并且,在检查时,选择与被检体的部位对应的任意一个颜色调整系数来使用即可。这里,颜色调整系数的选择也可以通过用户操作输入设备6或者镜体开关23等手动选择被检体的部位来进行。或者,也可以通过在图像识别中有实绩的例如CNN(ConvolutionalNeural Network:卷积神经网络)等的机器学习,判定在图像中拍摄到的被检体的部位,根据判定结果自动地选择颜色调整系数。
另外,在图7中设想了Kg=1的情况,但也可以与上述同样地根据需要设定为Kg≠1。在该情况下,也可以根据被检体的部位而设为Kg1、Kg2、Kg3等不同的颜色调整系数。这里,Kg1是在向第一部位照射的第一色彩强调光(第一CE)中与白色光WL的光量Gw相乘的颜色调整系数,Kg2是在向第二部位照射的第二色彩强调光(第二CE)中与白色光WL的光量Gw相乘的颜色调整系数,Kg3是在向第三部位照射的第三色彩强调光(第三CE)中与白色光WL的光量Gw相乘的颜色调整系数。
并且,图8是表示使第二照明光中的各LED32a~32d的光量比根据被检体的部位且根据从内窥镜2的前端部2c到被检体的部位的距离而不同的通常观察模式的例子的图表。
在从内窥镜2的前端部2c到检查对象的部位的距离近的情况下,摄像部21能够直接取得来自被照射了从照明光学系统22射出的照明光的被检体的返回光。
与此相对,当从内窥镜2的前端部2c到检查对象的部位的距离变远时,来自某个部位的返回光作为2次光照射到其他部位,从其他部位入射到摄像部21的光有时成为照明光的返回光与2次光的返回光的重合。
这样,在从被检体入射到摄像部21的光中,不限于2次光,更一般地包含高次的反射光以及散射光(以下,多重散射光)的影响有时根据到被检体的距离而产生。
生物体中的多重散射光由于红色波段的分光成分变多,因此即使照射相同的照明光,被检体的分光反射率也会根据从前端部2c到被检体的距离而变化。
因此,从内窥镜2的前端部2c到被检体的距离是根据近距离(near)、中距离(medium)、远距离(far),预先准备近距离用的Kc1n、中距离用的Kc1m、远距离用的Kc1f,作为第一部位用的颜色调整系数Kc1(这里“c”表示颜色,c=v(紫色)、b(蓝色)、r(红色)),的例子。同样地,关于第二、第三部位用的颜色调整系数Kc2、Kc3,也预先准备近距离用的Kc2n、中距离用的Kc2m、远距离用的Kc2f、近距离用的Kc3n、中距离用的Kc3m、远距离用的Kc3f。
另外,关于图8,也可以与上述同样地设定为Kg≠1,在颜色“c”中包含c=g(绿色),根据到被检体的距离准备Kg1n、Kg1m、Kg1f(第二、第三部位的情况也同样),这一点是同样的。
与这些距离对应的颜色调整系数例如使用上述的日本特开2000-14629号公报所记载的技术,基于在近距离、中距离、远距离分别测定的各部位的分光反射率来决定即可。
作为所决定的颜色调整系数在生物体中的具体例,可举出距离越远则越使红色LED32d的光量降低的颜色调整系数、Kr1n>Kr1m>Kr1f(第二、第三部位的情况也同样)。进而,为了抑制与红色LED32d的光量的降低相伴的总光量的降低,也可以使绿色LED32c、紫色LED32a、蓝色LED32b的各光量随着距离变远而稍微增加。
此外,在此,示出将距离分为近距离、中距离、远距离这3个阶段的例子,但也可以分为2个阶段,还可以分为4个阶段以上。或者,也可以通过插值来求出与任意的距离对应的颜色调整系数。
这样准备的颜色调整系数预先存储在控制部47的存储器47a中,在检查时,选择与被检体的部位和到被检体的距离对应的任意一个颜色调整系数来使用即可。此时的选择可以通过用户操作输入设备6或者镜体开关23来手动设定,例如关于距离,也可以由控制部47根据通过基于激光的距离测定、基于图像识别的距离测定等各种技术测定出的距离来自动设定。
并且,在上述说明中,不仅根据被检体的部位,还根据距离而使颜色调整系数不同,但也可以代替距离而根据内窥镜2的前端部2c的方向与被检体的部位的面所成的方向的角度而使颜色调整系数不同,或者除了距离以外还根据内窥镜2的前端部2c的方向与被检体的部位的面所成的方向的角度而使颜色调整系数不同。
另外,在上述说明中,说明了在通常观察模式下开启色彩强调模式的例子,但本实施方式的内窥镜装置1如上所述,也能够在NBI观察模式下开启色彩强调模式。这里,NBI观察模式中的色彩强调显示处理的流程也如上述那样与图3所示的流程相同。
图9是表示根据被检体的部位而使第二照明光中的紫色LED32a和绿色LED32c的光量比不同的NBI观察模式的例子的图表。
NBI观察模式是照射容易被血液中的血红蛋白吸收的窄带化的2个波长,具体而言,如上所述,照射波长为390~445(nm)的紫色光和波长为530~550(nm)的绿色光,来强调显示粘膜表层的毛细血管和粘膜微细图案的观察模式。
因此,在NBI观察模式下,使紫色LED32a和绿色LED32c以第一光量比发光,生成作为第一照明光的NBI照明光。
具体而言,控制部47通过对NBI照明光中的绿色LED32c的光量GN乘以从存储器47a读出的针对NBI照明光的颜色调整系数αNv,计算紫色LED32a的光量Gv=αNv×GN(参照图9的NBI栏)(步骤S1)。
然后,光源装置3发出所设定的光量的NBI照明光(步骤S2),摄像元件21b对来自被检体的返回光进行摄像而生成第一摄像信号。在进行该摄像时,B像素主要拍摄紫色光的返回光,G像素主要拍摄绿色光的返回光。
同时化处理部43将从B像素得到的摄像信号所对应的图像信号分配给R通道和B通道,将从G像素得到的摄像信号所对应的图像信号分配给G通道,然后进行同时化处理(去马赛克处理),生成例如具有RGB成分的第一图像信号(R1,G1,B1)(步骤S3)。
第一图像信号(R1,G1,B1)存储于第一存储器44a,通过L*a*b*转换部44c转换为L*a*b*颜色空间的第一图像信号(L1*,a1*,b1*)(步骤S4)。
接着,控制部47和光源控制器31设定用于发出NBI观察模式下的第二照明光(NBI照明光的色彩强调光CE)的紫色LED32a和绿色LED32c的光量(步骤S5)。
首先,为了抑制亮度(或明度)的变动,基本上将色彩强调光CE中的绿色LED32c的光量设定为与NBI照明光中的绿色LED32c的光量GN相同,这与上述的通常观察模式的情况相同。另外,为了实现第二光量比,根据需要使色彩强调光CE中的绿色LED32c的光量变化,这也与上述的通常观察模式的情况相同。
进而,控制部47从存储器47a读出第二光量比的颜色调整系数Kvx(“x”表示部位的编号,第一部位为x=1,第二部位为x=2,第三部位为x=3),并乘以NBI照明光中的紫色LED32a的光量αNv×GN,由此计算紫色LED32a的光量Gv=αNv×GN×Kvx(参照图9的第一~第三CE栏)。
在此,颜色调整系数Kvx是使色彩强调部44的第二存储器44b中存储的第二图像(R2,G2,B2)中的被检体的基准部分的颜色成为无彩色(白色等灰度)那样的系数,即成为(a2*,b2*)≈(0,0)那样的系数。
然后,光源装置3通过发出所设定的第二光量比的绿色光及紫色光,生成作为第二照明光的色彩强调光CE(步骤S6)。
摄像元件21b对来自被照射了色彩强调光CE的被检体的返回光进行摄像,生成第二摄像信号。在进行该摄像时,B像素主要拍摄紫色光的返回光,G像素主要拍摄绿色光的返回光。
同时化处理部43将从B像素得到的摄像信号所对应的图像信号分配给R通道和B通道,将从G像素得到的摄像信号所对应的图像信号分配给G通道,然后进行同时化处理(去马赛克处理),生成第二图像信号(R2,G2,B2)(步骤S7)。
第二图像信号(R2,G2,B2)存储于第二存储器44b,通过L*a*b*转换部44c转换为L*a*b*颜色空间的第二图像信号(L2*,a2*,b2*)(步骤S8)。
之后,合成部44d通过关于通常观察模式的上述方法中的任一种方法,对第一图像信号(L1*,a1*,b1*)和第二图像信号(L2*,a2*,b2*)进行合成,生成色彩强调后的校正图像信号(步骤S9)。
这样,在由合成部44d生成校正图像信号后,RGB转换部44e将L*a*b*颜色空间的校正图像信号转换为RGB颜色空间的信号并输出(步骤S10)。
然后,清晰度强调部45进行清晰度强调处理,显示控制部46生成影像信号。在显示控制部46生成影像信号时,进行将G通道的图像信号分配给R通道、将B通道的图像信号分配给G通道以及B通道的伪彩色处理。根据这样生成的影像信号,在显示器5上显示色彩强调后的NBI观察模式的校正图像(步骤S11)。
之后,如上所述,判定是否结束处理(步骤S12),在未结束的情况下返回步骤S1,在结束的情况下返回未图示的主处理。
另外,在图9中示出了根据被检体的部位而使颜色调整系数Kvx不同的例子,但也可以如参照图8说明的那样,根据距离、角度而使颜色调整系数Kv不同。
另外,在上述说明中,通过紫色LED32a和绿色LED32c的组合进行了NBI照明,但例如也可以进一步在光源装置3内追加设置发出琥珀色光的琥珀色LED(所谓的5LED的结构),进行第二NBI照明。
在该情况下,控制部47控制光源装置3,通过使红色光、绿色光以及琥珀色光以第一光量比发光来生成第二NBI照明光(第一照明光),通过使红色光、绿色光以及琥珀色光以第二光量比发光来生成作为第二照明光的色彩强调光即可。
并且,不限于NBI观察模式,例如在红外光观察模式或荧光观察模式等特殊光观察模式中,也可以与上述同样地进行色彩强调。
图12是表示根据a*b*平面中的第一图像信号的成分(a1*,b1*)距L*轴的距离而使色彩强调量变化的例子的曲线图。
例如,当以一定的色彩强调量对第一图像信号的成分(a1*,b1*)进行色彩强调时,在彩度高的区域中色彩强调变得过度,计算出的数值有时会超过能够实现的色彩范围。
因此,如图12所示,优选根据第一图像信号的成分(a1*,b1*)距L*轴的距离,使色彩强调量变化。
首先,第一图像信号的成分(a1*,b1*)距L*轴的距离作为a*b*平面中的距原点(0,0)的距离r1,如以下的数学式5所示那样计算。
[数5]
同样地,校正图像信号的成分(as*,bs*)距L*轴的距离作为a*b*平面中的距原点(0,0)的距离rs,如以下的数学式6所示那样计算。
[数6]
图12中的虚线的直线表示距离rs与距离r1相等,不进行色彩强调的情况。
另一方面,图12所示的函数f1~f3表示根据距离r1进行色彩强调的函数f的几个例子。函数f使用常数k(0<k)和表示幂的γ(0<γ<1),例如如以下的数学式7所示那样表示。
[数7]
rs=f(r1)=k·r1γ
在此,表示幂的γ主要决定函数f的曲线形状,当γ的值接近1时,如双点划线的函数f3所示,色彩强调量变小,当γ的值接近0时,如实线的函数f1所示,色彩强调量变大,当γ的值为中等程度时,如单点划线的函数f2所示,色彩强调量为中等程度。即,若将函数f1的γ设为γ1,将函数f2的γ设为γ2,将函数f3的γ设为γ3,则存在0<γ1<γ2<γ3<1的关系。
并且,这些函数f1~f3都是处理器4以随着a*b*平面中的距L*轴的距离r1增加,强调系数C单调减少而逐渐接近0的方式设定强调系数C的例子。
也可以预先准备由这些函数f1~f3表示的强调系数C的设定方法,例如由用户选择能够得到与喜好对应的色彩强调量的设定方法。
另外,如图12的曲线图的右上角所示,距离r1的最大值与距离rs的最大值相等,因此即使以图12所示的方法进行色彩强调,也不会超过能够实现的色彩范围。
因此,通过利用图12所示的设定方法使强调系数C变化,能够抑制在颜色空间内的彩度高的区域中色彩强调变得过度,能够有效地进行彩度低的区域的色彩强调。
接着,图13是表示在a*b*平面中进行色彩强调的区域的一例的图。
在a*b*平面中进行色彩强调的区域如图13所示,也可以限制为一定的范围。
即,对第一图像信号的成分(a1*,b1*)的、距a*b*平面上的原点(0,0)的距离r1小于规定距离rth的像素(成分(a1*,b1*)进入图13所示的标注了阴影线的区域的像素)进行色彩强调,但对距离r1为规定距离rth以上的像素不进行色彩强调,将第一图像信号的成分(a1*,b1*)直接作为校正图像信号的成分(as*,bs*)。另外,此时,可以以在距离r1=rth处色彩强调量不会急剧变化的方式进行平滑处理。
另外,在上述说明中,将针对a*成分的强调系数和针对b*成分的强调系数均设为相同的C,但并不限定于此,也可以针对a*成分和b*成分单独地设定强调系数。
根据这样的第一实施方式,生成与用于观察被检体的第一照明光相关的第一图像信号,生成与使被检体的基准部分成为无彩色的第二照明光相关的第二图像信号,根据第二图像信号对第一图像信号进行色彩强调,所以能够不使颜色再现性降低地强调显示微小的色彩的差异。
此时,在第二图像信号中,分光反射率与基准部分不同的部分不成为无彩色而具有色彩,因此通过将第二图像信号与第一图像信号相加这样的简单的处理,能够进行基于颜色的差异的色彩强调。
并且,由于使用照射第二照明光而取得的第二图像信号来进行色彩强调,因此与仅对第一图像信号进行图像处理来进行色彩强调的情况不同,能够抑制依赖于图像处理条件的伪影的产生。
另外,将第一图像信号以及第二图像信号从RGB颜色空间的信号转换为L*a*b*颜色空间的信号,对第一图像信号的a*成分以及b*成分分别加上第二图像信号的a*成分以及b*成分来进行色彩强调,因此亮度成分L*被分离,能够高效地处理色相以及彩度来进行色彩强调。
此时,在对第二图像信号的a*成分以及b*成分乘以强调系数C之后,分别与第一图像信号的a*成分以及b*成分相加,由此能够控制色彩强调量。
并且,通过以随着第一图像信号距L*轴的距离r1增加而单调减少并逐渐接近0的方式设定强调系数C,能够抑制在彩度高的区域中色彩强调变得过度,能够有效地进行彩度低的区域的色彩强调。
另外,通过在第一图像信号距L*轴的距离r1为规定距离rth以上的情况下不进行色彩强调,能够抑制彩度高的区域的色彩强调。
而且,通过基于数学式3对明度成分进行校正,能够得到使第一图像信号的明度与第二图像信号的明度适当地平衡的校正图像信号的明度成分。
另一方面,在使用数学式4基于第二图像信号距L*轴的距离r2来延长第一图像信号距L*轴的距离r1的情况下,能够不使色相变化地进行色彩强调。
另外,在将第一照明光作为白色光WL而将色彩强调模式设为开启的情况下,能够对通常观察模式的图像进行色彩强调而进行观察。
此时,由于第二照明光中的绿色光和第一照明光中的绿色光尽可能成为相同光量,因此能够抑制亮度(或明度)的变动。
但是,根据需要,在各色光的最大光量的范围内,在保持第二光量比的状态下降低各色光的光量,因此即使在不能使第二照明光的绿色光成为与第一照明光的绿色光相同的光量的情况下,也能够得到适当地色彩强调后的校正图像。
另外,在将第一照明光作为NBI照明光,将色彩强调模式设为开启的情况下,能够对NBI观察模式的图像进行色彩强调来进行观察。此时,对于组合绿色光和紫色光的NBI观察模式以及组合红色光、绿色光和琥珀色光的第二NBI观察模式中的任一个都能够进行基于色彩强调的观察。
并且,通过实时地调整第二光量比,例如能够对动态图像的各帧始终进行适当的色彩强调。
需要说明的是,在上述说明中,以CIE L*a*b*颜色空间为例,但并不限定于此,也可以使用其他表色系。如果举一个例子,也可以使用亮度色差空间YCrCb。在该情况下,在上述的说明中,将L*置换为Y,将a*置换为Cr,将b*置换为Cb即可。
另外,在上述说明中,主要说明了本发明是具备处理器的内窥镜装置的情况,但不限于此,本发明可以是处理器单体,也可以是与内窥镜装置同样地进行色彩强调的色彩强调方法,还可以是用于使计算机进行与内窥镜装置同样的处理的计算机程序、记录该计算机程序的计算机可读取的非暂时性的记录介质等。
另外,本发明并不限定于上述的实施方式,在实施阶段能够在不脱离其主旨的范围内对构成要素进行变形而具体化。另外,通过上述实施方式所公开的多个构成要素的适当组合,能够形成各种发明的方式。例如,也可以从实施方式所示的全部构成要素中删除几个构成要素。进而,也可以适当组合不同实施方式中的构成要素。这样,当然能够在不脱离发明的主旨的范围内进行各种变形、应用。
Claims (14)
1.一种内窥镜装置,其特征在于,具有:
光源装置,其具备发出的光的中心波长不同的多个半导体发光元件,使所述多个半导体发光元件以某一光量比发光而生成照明光;
内窥镜,其具有摄像元件,该摄像元件对来自被照射了所述照明光的被检体的返回光进行摄像,生成具有多个颜色成分的摄像信号;以及
处理器,其与所述光源装置和所述内窥镜连接,
所述处理器进行如下处理:
控制所述光源装置,来切换第一照明光和第二照明光而发光,该第一照明光中所述光量比被设为用于观察所述被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,
从所述内窥镜接收与所述第一照明光相关的第一摄像信号而生成第一图像信号,
从所述内窥镜接收与所述第二照明光相关的第二摄像信号而生成第二图像信号,
生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,
所述第二照明光是以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比而得到的光。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述处理器进行如下处理:
将所述第一图像信号和所述第二图像信号从RGB颜色空间的信号转换为CIE L*a*b*颜色空间的信号,
在所述CIE L*a*b*颜色空间中,对所述第一图像信号的a*成分和b*成分分别加上所述第二图像信号的a*成分和b*成分,由此对所述第一图像信号进行色彩强调。
3.根据权利要求2所述的内窥镜装置,其特征在于,
所述处理器在对所述第二图像信号的a*成分和b*成分乘以强调系数之后,分别与所述第一图像信号的a*成分和b*成分相加,由此对所述第一图像信号进行色彩强调。
4.根据权利要求3所述的内窥镜装置,其特征在于,
所述处理器以随着所述CIE L*a*b*颜色空间的a*b*平面中的所述第一图像信号距L*轴的距离增加,使所述强调系数单调减少而逐渐接近0的方式,设定所述强调系数。
5.根据权利要求4所述的内窥镜装置,其特征在于,
在所述CIE L*a*b*颜色空间的a*b*平面中的所述第一图像信号距L*轴的距离为规定距离以上的情况下,所述处理器不进行色彩强调。
6.根据权利要求3所述的内窥镜装置,其特征在于,
所述处理器还对从所述第二图像信号的L*成分减去所述第一图像信号的L*成分而得到的差分值乘以第二强调系数,再与所述第一图像信号的L*成分相加。
7.根据权利要求1所述的内窥镜装置,其特征在于,
所述处理器进行如下处理:
将所述第一图像信号和所述第二图像信号从RGB颜色空间的信号转换为CIE L*a*b*颜色空间的信号,
根据所述CIE L*a*b*颜色空间的a*b*平面中的所述第二图像信号距L*轴的距离,延长所述a*b*平面中的所述第一图像信号距L*轴的距离,由此对所述第一图像信号进行色彩强调。
8.根据权利要求1所述的内窥镜装置,其特征在于,
所述光源装置具备发出红色光的半导体发光元件、发出绿色光的半导体发光元件以及发出蓝色光的半导体发光元件,
所述处理器控制所述光源装置,
使所述光源装置通过以所述第一光量比发出红色光、绿色光以及蓝色光来生成作为所述第一照明光的白色光,
使所述光源装置通过以所述第二光量比发出红色光、绿色光以及蓝色光来生成作为所述第二照明光的色彩强调光。
9.根据权利要求8所述的内窥镜装置,其特征在于,
所述处理器进行如下处理:
关于在使所述第二照明光中的绿色光的光量与所述第一照明光中的绿色光的光量相同时基于所述第二光量比计算出的红色光的光量和蓝色光的光量,
在均为最大光量以下时,将所述第二照明光中的绿色光的光量设定为与所述第一照明光中的绿色光的光量相同,
在至少一方超过最大光量时,设定为在保持所述第二光量比的状态下降低绿色光、红色光以及蓝色光的光量,以使红色光的光量和蓝色光的光量双方为最大光量以下。
10.根据权利要求1所述的内窥镜装置,其特征在于,
所述光源装置具备发出绿色光的半导体发光元件和发出紫色光的半导体发光元件,
所述处理器控制所述光源装置,
使所述光源装置通过以所述第一光量比发出绿色光和紫色光来生成作为所述第一照明光的NBI照明光,
使所述光源装置通过以所述第二光量比发出绿色光和紫色光来生成作为所述第二照明光的色彩强调光。
11.根据权利要求1所述的内窥镜装置,其特征在于,
所述光源装置具备发出红色光的半导体发光元件、发出绿色光的半导体发光元件以及发出琥珀色光的半导体发光元件,
所述处理器控制所述光源装置,
使所述光源装置通过以所述第一光量比发出红色光、绿色光以及琥珀色光来生成作为所述第一照明光的NBI照明光,
使所述光源装置通过以所述第二光量比发出红色光、绿色光以及琥珀色光来生成作为所述第二照明光的色彩强调光。
12.根据权利要求1所述的内窥镜装置,其特征在于,
所述处理器实时地调整所述第二光量比,使得所述第二图像信号在规定的误差范围内成为无彩色。
13.一种处理器,其特征在于,
所述处理器控制光源装置,来切换第一照明光和第二照明光而发光,该第一照明光中中心波长不同的多个光的光量比被设为用于观察被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,
根据第一摄像信号生成第一图像信号,该第一摄像信号是对来自被照射了所述第一照明光的所述被检体的返回光进行摄像而得到的,
根据第二摄像信号生成第二图像信号,该第二摄像信号是对来自被照射了所述第二照明光的所述被检体的返回光进行摄像而得到的,
生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,
以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比,来控制所述光源装置。
14.一种色彩强调方法,其特征在于,
切换第一照明光和第二照明光而发光,该第一照明光中中心波长不同的多个光的光量比被设为用于观察被检体的第一光量比,该第二照明光中所述光量比被设为与所述第一光量比不同的第二光量比,
根据第一摄像信号生成第一图像信号,该第一摄像信号是对来自被照射了所述第一照明光的所述被检体的返回光进行摄像而得到的,
根据第二摄像信号生成第二图像信号,该第二摄像信号是对来自被照射了所述第二照明光的所述被检体的返回光进行摄像而得到的,
生成基于所述第二图像信号对所述第一图像信号进行色彩强调后的校正图像信号,
以使与所述被检体的基准部分相关的所述第二图像信号在规定的误差范围内成为无彩色的方式调整所述第二光量比。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/011284 WO2021181706A1 (ja) | 2020-03-13 | 2020-03-13 | 内視鏡装置、プロセッサ、色彩強調方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115209784A true CN115209784A (zh) | 2022-10-18 |
Family
ID=77671490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080097782.9A Pending CN115209784A (zh) | 2020-03-13 | 2020-03-13 | 内窥镜装置、处理器、色彩强调方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11963668B2 (zh) |
CN (1) | CN115209784A (zh) |
WO (1) | WO2021181706A1 (zh) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3228627B2 (ja) | 1993-03-19 | 2001-11-12 | オリンパス光学工業株式会社 | 内視鏡用画像処理装置 |
JP2000014629A (ja) | 1998-07-02 | 2000-01-18 | Olympus Optical Co Ltd | 内視鏡分光装置 |
DE102010013308A1 (de) | 2010-03-29 | 2011-09-29 | Karl Storz Gmbh & Co. Kg | Vorrichtung zur Bereitstellung von weißem Beleuchtungslicht |
JP5670264B2 (ja) * | 2011-06-13 | 2015-02-18 | 富士フイルム株式会社 | 内視鏡システム、及び内視鏡システムの作動方法 |
JP2016007355A (ja) | 2014-06-24 | 2016-01-18 | 富士フイルム株式会社 | 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法 |
JP6050286B2 (ja) | 2014-06-27 | 2016-12-21 | 富士フイルム株式会社 | 医用画像処理装置及びその作動方法並びに内視鏡システム |
DE112015002789T5 (de) | 2014-07-09 | 2017-03-02 | Olympus Corporation | Endoskopsystem und Endoskop-Lichtquellenvorrichtung |
JP6516772B2 (ja) | 2015-01-23 | 2019-05-22 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
JP6420230B2 (ja) * | 2015-12-22 | 2018-11-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
JP6669539B2 (ja) * | 2016-03-11 | 2020-03-18 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
WO2017170233A1 (ja) * | 2016-03-29 | 2017-10-05 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
WO2018083888A1 (ja) * | 2016-11-01 | 2018-05-11 | オリンパス株式会社 | 画像処理装置 |
JP6389912B2 (ja) | 2017-03-23 | 2018-09-12 | 富士フイルム株式会社 | 内視鏡装置 |
CN110573056B (zh) | 2017-05-02 | 2021-11-30 | 奥林巴斯株式会社 | 内窥镜系统 |
-
2020
- 2020-03-13 WO PCT/JP2020/011284 patent/WO2021181706A1/ja active Application Filing
- 2020-03-13 CN CN202080097782.9A patent/CN115209784A/zh active Pending
-
2022
- 2022-09-08 US US17/940,328 patent/US11963668B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021181706A1 (ja) | 2021-09-16 |
US20230000333A1 (en) | 2023-01-05 |
US11963668B2 (en) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
JP5968944B2 (ja) | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 | |
US8419628B2 (en) | Endoscope system and endoscopic image processing apparatus | |
JP4847250B2 (ja) | 内視鏡装置 | |
US10709310B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
US10039439B2 (en) | Endoscope system and method for operating the same | |
WO2017170233A1 (ja) | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム | |
US20160089010A1 (en) | Endoscope system, processor device, and method for operating endoscope system | |
US20140340497A1 (en) | Processor device, endoscope system, and operation method of endoscope system | |
WO2016121556A1 (ja) | 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム | |
CN111050629B (zh) | 内窥镜系统 | |
CN108830825B (zh) | 内窥镜系统及其工作方法 | |
JP2006218283A (ja) | 内視鏡装置 | |
JP6690003B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2018061414A1 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
US20220211259A1 (en) | Endoscope system and method of operating the same | |
US11744437B2 (en) | Medical image processing system | |
CN112137564A (zh) | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 | |
JP7196016B2 (ja) | 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法 | |
CN115209784A (zh) | 内窥镜装置、处理器、色彩强调方法 | |
JP2013094489A (ja) | 内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |