CN113543689A - 内窥镜装置、内窥镜装置的工作方法以及程序 - Google Patents
内窥镜装置、内窥镜装置的工作方法以及程序 Download PDFInfo
- Publication number
- CN113543689A CN113543689A CN201980093833.8A CN201980093833A CN113543689A CN 113543689 A CN113543689 A CN 113543689A CN 201980093833 A CN201980093833 A CN 201980093833A CN 113543689 A CN113543689 A CN 113543689A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- region
- image signal
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 49
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 80
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 80
- 238000010521 absorption reaction Methods 0.000 claims abstract description 30
- 238000005286 illumination Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 230000000740 bleeding effect Effects 0.000 claims description 68
- 210000004876 tela submucosa Anatomy 0.000 claims description 60
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 claims description 19
- 229960003988 indigo carmine Drugs 0.000 claims description 19
- 235000012738 indigotine Nutrition 0.000 claims description 19
- 239000004179 indigotine Substances 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 208000032843 Hemorrhage Diseases 0.000 description 66
- 230000008569 process Effects 0.000 description 32
- 206010016654 Fibrosis Diseases 0.000 description 30
- 230000004761 fibrosis Effects 0.000 description 30
- 210000003205 muscle Anatomy 0.000 description 27
- 230000003387 muscular Effects 0.000 description 18
- 206010018833 Haematocoele Diseases 0.000 description 15
- 208000005873 Hematocele Diseases 0.000 description 15
- 201000004920 hematocele of tunica vaginalis testis Diseases 0.000 description 15
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 239000008280 blood Substances 0.000 description 11
- 210000004369 blood Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 9
- 239000003086 colorant Substances 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000004877 mucosa Anatomy 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000003176 fibrotic effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010054787 Haemorrhoidal haemorrhage Diseases 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000001045 blue dye Substances 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
内窥镜装置(100)包含光源部(20)、摄像部(30)和处理部(13)。光源部(20)至少依次或同时产生第1光和第2光作为照明光。第1光是窄带光，该窄带光在血红蛋白吸光系数呈最小值的波长、与在比呈该最小值的波长短的波长侧呈血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长。第2光是属于蓝色区域或绿色区域的光。图像信号包含与第1光对应的第1图像信号以及与第2光对应的第2图像信号。处理部(13)在根据图像信号而判定为在图像内包含特定被摄体的情况下，通过对包含特定被摄体的图像区域进行使用第1图像信号或第2图像信号的、颜色或亮度的转换处理，进行特定被摄体的强调处理。
Description
技术领域
本发明涉及内窥镜装置、内窥镜装置的工作方法以及程序等。
背景技术
正进行使用内窥镜来切除早期癌的ESD(Endoscopic Submucosal Dissection：内窥镜粘膜下剥离术)。在ESD中，视觉辨认肌层和粘膜下层的边界，通过切开粘膜下层来切除粘膜上的早期癌。例如，在专利文献1中公开了如下内容：在ESD中切除粘膜时产生了出血的情况下，通过使用DRI(Dual Red Imaging：红色双色成像)观察，容易视觉辨认出血点。DRI观察是使用包含琥珀色光和红色光的照明光的观察方法。
现有技术文献
专利文献
专利文献1：国际公开第2013/145407号
发明内容
发明要解决的课题
如上所述，通过使用DRI观察，出血点的视觉辨认性提高。但是，在早期癌等病变中，粘膜下层有时伴随纤维化，在这样的纤维化病例中，存在DRI观察中的肌层和纤维化层的识别比WLI(White Light Imaging：白光成像)观察困难的课题。例如，在ESD中，在切开粘膜下层时，预想出血。此时，希望使用DRI观察以提高出血点的视觉辨认性，但存在难以识别伴随纤维化的粘膜下层和肌层的边界的课题。
用于解决问题的手段
本发明的一个方式涉及一种内窥镜装置，其中，该内窥镜装置包含：光源部，其至少依次或同时产生第1光和第2光作为照明光；摄像部，其通过拍摄来自被照射了所述照明光的被摄体的返回光，输出图像信号；以及处理部，其根据所述图像信号来生成显示图像，并将所述显示图像输出到显示装置，所述第1光是窄带光，该窄带光在血红蛋白吸光系数呈最小值的波长、与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长，所述第2光是属于蓝色区域或绿色区域的光，所述图像信号包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号，所述处理部根据所述图像信号来判定在图像内是否包含特定被摄体，在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，并将所述强调处理后的图像作为所述显示图像输出。
此外，本发明的其他方式涉及一种内窥镜装置的工作方法，其中，在第1光是窄带光、该窄带光在血红蛋白吸光系数呈最小值的波长与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长、并且第2光是属于蓝色区域或绿色区域的光时，至少依次或同时产生所述第1光和所述第2光作为照明光；通过拍摄来自被照射了所述照明光的被摄体的返回光，取得包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号的图像信号；根据所述图像信号来判定在图像内是否包含特定被摄体；以及在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，将所述强调处理后的图像作为显示图像输出到显示装置。
此外，本发明的又一其他方式涉及一种程序，其中，所述程序使计算机执行以下步骤：在第1光是窄带光、该窄带光在血红蛋白吸光系数呈最小值的波长与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长、并且第2光是属于蓝色区域或绿色区域的光时，至少依次或同时产生所述第1光和所述第2光作为照明光；通过拍摄来自被照射了所述照明光的被摄体的返回光，取得包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号的图像信号；根据所述图像信号来判定在图像内是否包含特定被摄体；以及在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，将所述强调处理后的图像作为显示图像输出到显示装置。
附图说明
图1是本实施方式的内窥镜装置的结构例。
图2是WLI模式中的照明光的分光特性例。
图3是DRI模式中的照明光的分光特性例。
图4是说明ESD的过程的图。
图5是在ESD中切开粘膜下层时的内窥镜图像的例子。
图6是示出内窥镜装置进行的处理的过程的流程图。
图7是示出判定在显示图像内是否存在特定被摄体时的详细过程的流程图。
图8是示出判定为WLI模式的情况下的强调处理的过程的流程图。
图9是说明WLI模式中的强调处理的图。
图10是示出判定为DRI模式的情况下的强调处理的过程的流程图。
图11是说明DRI模式中的强调处理的图。
图12是说明DRI模式中的强调处理的变形例的图。
具体实施方式
下面，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。此外，本实施方式中说明的结构未必全部都是本发明的必需结构要件。
1.内窥镜装置
图1是本实施方式的内窥镜装置100的结构例。内窥镜装置100包含控制装置10、光源部20、摄像部30、显示部40和操作部50。作为内窥镜装置，例如能够假想下部消化管中使用的柔性镜，但是不限于此，也可以是上部消化管中使用的柔性镜或外科手术等中使用的硬性镜。
摄像部30是设置于镜体的前端并拍摄被摄体像的装置。摄像部30包含：物镜，其对被摄体进行成像；以及图像传感器，其拍摄该成像的被摄体像。图像传感器将图像信号输出到控制装置300。图像传感器可以是单色图像传感器，或者，也可以是设有拜耳原色滤镜或补色滤镜的彩色图像传感器。
内窥镜装置100具有显示白色光图像的WLI(White Light Imaging：白光成像)模式和显示DRI(Dual Red Imaging：红色双色成像)图像的DRI模式。例如，根据来自操作部50的输入信息来设定为WLI模式或DRI模式。
光源部20是产生照明光的装置。图2中示出WLI模式中的照明光的分光特性例，图3中示出DRI模式中的照明光的分光特性例。
如图2所示，在WLI模式中，光源部20射出蓝色光LB、绿色光LG和红色光LR。蓝色光LB是属于将可见光分割为3原色时的蓝色区域的光，例如波段为450～500nm。绿色光LG是属于将可见光分割为3原色时的绿色区域的光，例如波段为500～570nm。红色光LR是属于将可见光分割为3原色时的红色区域的光，例如波段为570～700nm。
如图3所示，在DRI模式中，光源部20射出DRI用绿色光LG2、琥珀色窄带光LA和红色窄带光LR2。另外，以下，也将LG2、LA、LR2简称作绿色光、琥珀色光、红色光。绿色光LG2是属于绿色区域的光，具有比WLI模式的绿色光L窄的波段，例如峰值波长为540nm。琥珀色光LA是峰值波长为600nm的窄带光。红色光LR2是峰值波长为630nm的窄带光。窄带光是比将可见光的波段分割为3原色时的各色区域窄的频带的光。窄带光的带宽例如为几十nm。
另外，图2、图3的分光特性仅是一例，照明光的分光特性不限于此。例如，由于LG2只要是血红蛋白吸光系数HAC较大的波段即可，因此，属于蓝色区域或绿色区域即可。
此外，琥珀色光LA的峰值波长在红色区域中属于血红蛋白吸光系数HAC急剧地发生变化的规定的波长范围即可。即，在血红蛋白吸光系数HAC呈极小值的730nm附近、与在其短波长侧血红蛋白吸光系数HAC最初呈极大值的576nm之间具有琥珀色光LA的峰值波长即可。更优选的是，琥珀色光LA的峰值波长属于585nm～615nm的范围即可。
此外，红色光LR2的峰值波长属于血红蛋白吸光系数HAC较低的波段即可。具体而言，红色光LR2的峰值波长属于610nm～730nm的范围即可。
光源部20例如包含分别产生LB、LG、LR、LG2、LA、LR2的第1发光元件～第6发光元件。而且，通过第1发光元件～第6发光元件中的、与各模式对应的发光元件发光，由此，射出各模式的照明光。发光元件例如为LED(Light Emitting Diode：发光二极管)或LD(LaserDiode：激光二极管)。或者，光源部20也可以包含疝灯等白色光源和分别使LB、LG、LR、LG2、LA、LR2通过的第1光学滤镜～第6光学滤镜。而且，通过将第1光学滤镜～第6光学滤镜中的、与各模式对应的光学滤镜插入到光路，射出各模式的照明光。照明光被光纤等引导到镜体的前端，该引导的照明光被照明透镜扩散，由此照射到被摄体。照明透镜设置于镜体的前端。
光源部20依次或同时产生上述多个颜色的照明光。首先，说明使用单色图像传感器的情况。在WLI模式中，光源部20分别在第1时机～第3时机依次发出LB、LG、LR，摄像部30在各时机拍摄图像。在DRI模式中，光源部20分别在第1时机～第3时机依次发出LG2、LA、LR2，摄像部30在各时机拍摄图像。接着，说明使用彩色图像传感器的情况。在WLI模式中，光源部20同时发出LB、LG、LR，摄像部30在该发光时机拍摄图像。在DRI模式中，光源部20在第1时机发出LG2和LR2，在第2时机发出LA。或者，光源部20在第1时机发出LG2和LA，在第2时机发出LR2。摄像部30在各时机拍摄图像。
另外，如后所述，在WLI模式的强调处理中，使用通过琥珀色光LA拍摄到的图像。在该情况下，在WLI模式中，光源部20依次或同时发出LB、LG、LA、LR。此外，在DRI模式的强调处理中，也可以使用通过绿色光LG拍摄到的图像。在该情况下，在DRI模式中，光源部20依次或同时发出LG、LG2、LA、LR2。
控制装置10对内窥镜装置100的各部进行控制，或者进行图像处理等各种信号处理。控制装置10也称作内窥镜装置100的主体部或处理器部。控制装置10包含存储部11、控制部12和处理部13。
存储部11存储内窥镜装置100的动作设定信息，或者记录图像或动态图像，或者作为处理部13的工作存储器发挥功能。存储部11可以包含易失性存储装置和非易失性存储装置，例如包含半导体存储器、硬盘驱动器或光盘驱动器等。
控制部12对内窥镜装置100的各部进行控制。例如，根据用户经由操作部50而输入的信息来设定WLI模式或DRI模式，将该模式设定信号输出到光源部20和处理部13。光源部20和处理部13根据模式设定信号来执行各模式中的动作。
处理部13进行图像处理等各种信号处理。处理部13包含显示图像生成部14、图像判定部15和图像强调部16。例如，显示图像生成部14、图像判定部15和图像强调部16可以分别由单独的电路构成，或者，处理部13也可以由一体的电路构成。或者，如后所述，处理部13也可以通过CPU等处理器来实现。
显示图像生成部14根据从摄像部30输入的图像信号来生成显示图像。在WLI模式中，显示图像生成部14生成白色光图像作为显示图像。即，基于红色光LR的图像信号被分配给显示图像的R通道，基于绿色光LG的图像信号被分配给显示图像的G通道，基于蓝色光LB的图像信号被分配给显示图像的B通道。在DRI模式中，显示图像生成部14生成DRI图像作为显示图像。即，基于红色光LR2的图像信号被分配给显示图像的R通道，基于琥珀色光LA的图像信号被分配给显示图像的G通道，基于绿色光LG2的图像信号被分配给显示图像的B通道。
此外，显示图像生成部14在上述显示图像的生成中进行插值处理、白平衡处理或伽马变换处理等图像处理。例如，在依次拍摄到多个颜色的图像的情况下，显示图像生成部14对这些图像进行合成而生成彩色图像。此外，在由彩色图像传感器拍摄到图像的情况下，显示图像生成部14通过对该图像进行插值处理来生成彩色图像。
图像判定部15判定在图像内拍摄有特定被摄体的区域。图像判定部15可以根据从摄像部30输入的图像信号来进行判定，也可以根据显示图像生成部14所生成的显示图像来进行判定。判定方法的详细情况容后再述。图像判定部15将判定为拍摄有特定被摄体的区域的信息输出到图像强调部16。区域的信息例如是表示属于区域的像素的位置的信息或表示区域的位置以及形状的信息。
图像强调部16对判定为拍摄有特定被摄体的区域进行强调处理。图像强调部16对显示图像生成部14所生成的显示图像实施强调处理，将处理后的显示图像输出到显示部40。强调处理的详细情况容后再述。在判定为在图像内未拍摄有特定被摄体的情况下，将显示图像生成部14所生成的显示图像输出到显示部40。
显示部40显示从图像强调部16或显示图像生成部14输入的显示图像。显示部40例如是液晶显示器或有机EL显示器等显示装置。
操作部50是用于供用户操作内窥镜装置100的装置。操作部50例如可以包含按钮、拨盘、操作杆、脚踏开关或触摸面板等。操作部50设置于镜体、控制装置10或显示部40。
2.动作和处理的详细情况
以下，说明内窥镜装置100的动作和处理的详细情况。首先，作为能够应用本实施方式的内窥镜装置100的处置的一例，说明ESD(Endoscopic Submucosal Dissection：内窥镜粘膜下剥离术)。另外，本实施方式的内窥镜装置100不限于ESD，能够应用于各种处置。即，在该处置中需要视觉辨认或识别多个活体组织时，由于该多个活体组织在色相平面上没有分离而难以视觉辨认或识别，在这种情况下，能够应用本实施方式的内窥镜装置100。
图4是说明ESD的过程的图。如图4所示，在粘膜下方具有粘膜下层，在其更下方具有肌层。早期癌存在于粘膜上。
如S1所示，通过电刀等将作为切除范围的记号的标记赋予到早期癌的周围。接着，通过向切除范围的下方的粘膜下层注入水或药液，使切除范围抬起。药液例如是作为蓝色的染料的靛蓝胭脂红。如S2所示，沿着标记通过电刀等切开粘膜。如S3所示，通过切开粘膜下层，去除切除范围。早期癌局部存在于粘膜上，因此通过切开粘膜下层来切除早期癌。此时，以不切开肌层的方式识别肌层和粘膜下层的边界，并切开粘膜下层。
图5是在ESD中切开粘膜下层时的内窥镜图像的例子。如图5所示，粘膜下层的一部分有时纤维化。将该纤维化后的粘膜下层称作纤维化层。在该情况下，需要视觉辨认纤维化层和肌层的边界。
在WLI模式中，肌层看起来是例如粉红色等带红色的颜色，纤维化层和粘膜下层看起来是比肌层更发白的颜色。具体而言，如图9的左图所示，在CrCb平面上，纤维化层的颜色分布于原点附近，与纤维化层相比，肌层的颜色的彩度在第4象限侧升高。即，在WLI模式中，纤维化层和肌层在CrCb平面中分离。此外，在WLI模式中，能够视觉辨认纤维化层中的纤维状的结构。因此，在WLI模式中，能够通过颜色或结构信息来识别肌层和纤维化层。
另一方面，在DRI模式中，肌层和纤维化层看上去是相同的色调。具体而言，如图11的左图所示，在CrCb平面上，肌层和纤维化层的颜色均分布于原点附近。在DRI模式中，通过琥珀色光拍摄到的图像输入到显示图像的G通道，但是，与绿色光相比，琥珀色光对血红蛋白的灵敏度较低。因此，认为肌层和纤维化层的色调难以产生差异。
如上所述，基于识别纤维化层和肌层的观点，优选使用WLI模式。另一方面，在切开粘膜下层或纤维化层时存在出血的情况，但是，在该情况下，通过送水使血液流动并且视觉辨认出血点，进行止血等处置。在凹部中积存有血液的积血处，由于送水而成为了血液与水混合的状态，但优选能够从该积血视觉辨认出血点。
在WLI模式中，由于对血红蛋白的灵敏度较高，因此，拍摄有血液的区域容易饱和为红色。在积血处，血红蛋白浓度在出血点附近较高，但是，在WLI模式中，积血容易饱和为红色，因此，难以视觉辨认血红蛋白的浓淡。具体而言，如图9的左图所示，在CrCb平面上，水与血液混合而成的积血和出血点的彩度均较高，成为色调没有差异的状态。
另一方面，在DRI模式中，由于使用血红蛋白吸光系数HAC比绿色光等低的琥珀色光，因此，与WLI模式相比，对血红蛋白的灵敏度低。由此，容易视觉辨认血红蛋白的浓淡。具体而言，如图11的左图所示，积血的彩度比出血点的彩度低，出血点看起来是更深的橙色。
如上所述，基于视觉辨认出血点的观点，优选使用DRI模式。如上所述，基于识别纤维化层和肌层的观点，优选使用WLI模式，因此，在现有的WLI模式和DRI模式中，存在难以提供兼顾了出血点的视觉辨认以及纤维化层和肌层的识别的图像的课题。
以下，对本实施方式中的特定被摄体的判定处理和特定被摄体的强调处理进行说明。
图6是示出内窥镜装置100进行的处理的过程的流程图。在步骤S10中，光源部20产生照明光，并且摄像部30进行拍摄，由此拍摄被摄体的图像。接着，在步骤S11中，显示图像生成部14根据从摄像部30输入的图像信号来生成显示图像。接着，在步骤S12中，图像判定部15判定在显示图像内是否存在特定被摄体。具体而言，图像判定部15判定在显示图像内拍摄有特定被摄体的区域。接着，在步骤S13中，图像强调部16对判定为在显示图像内拍摄有特定被摄体的区域进行强调处理。对动态图像的各帧图像实施以上的步骤S10～S13，将强调处理后的动态图像显示到显示部40。
关于步骤S12、S13，处理在WLI模式和DRI模式中不同。以下，说明各步骤中的处理的详细情况。
图7是示出步骤S12的详细过程的流程图。在步骤S121中，图像判定部15将显示图像转换为YCrCb图像。即，将显示图像的各像素中的RGB值转换为YCrCb值。接着，在步骤S122中，图像判定部15判定是否是WLI模式。即，图像判定部15根据从控制部12输入的模式设定信号来判定模式。
在步骤S122中判定为WLI模式的情况下，在步骤S123中，图像判定部15根据YCrCb值来判定显示图像内的出血区域。在WLI模式中，出血区域是特定被摄体。图像判定部15将在显示图像中拍摄到的被摄体中血红蛋白浓度较高的区域判定为出血区域。具体而言，图像判定部15将色相属于规定的色相范围并且彩度比第1规定值高的区域判定为出血区域。色相是在CrCb平面上以原点为中心的角度方向的值，彩度是在CrCb平面上以原点为中心的距离方向的值。规定的色相范围是与红色对应的色相范围，例如是CrCb平面的第4象限。
在步骤S122中判定为不是WLI模式的情况、即判定为DRI模式的情况下，在步骤S124中，图像判定部15根据YCrCb值来判定显示图像内的粘膜下层区域。在DRI模式中，粘膜下层区域是特定被摄体。图像判定部15将在显示图像中拍摄到的被摄体中血红蛋白浓度较低的区域判定为粘膜下层区域。在这里被判定的粘膜下层区域中包含肌层和纤维化层。具体而言，图像判定部15将彩度比第2规定值低的区域判定为粘膜下层区域。第2规定值也可以与第1规定值不同。
在步骤S123或S124结束时，步骤S12结束，执行步骤S13。另外，步骤S123、S124能够实施各种变形，关于该变形例容后再述。
图8是示出在步骤S122中判定为WLI模式的情况下的强调处理的过程的流程图。在步骤S131中，图像强调部16判断是否在步骤S123中检测到出血区域。
在步骤S123中检测到出血区域的情况下，在步骤S132中，图像强调部16根据琥珀色信号来对显示图像内的出血区域进行强调处理。具体而言，图像强调部16对属于显示图像的出血区域的像素的G通道以第1规定比率合成该像素中的琥珀色信号。在WLI模式中，绿色信号被分配给显示图像的G通道，因此，以第1规定比率将绿色信号与琥珀色信号合成而得到的信号被分配给显示图像的G通道。另外，绿色信号、琥珀色信号分别是与绿色光、琥珀色光对应的图像信号。例如，当以琥珀色信号为例时，在面顺序方式的情况下，琥珀色信号是在被照射了琥珀色光时拍摄到的图像信号，在同时式的情况下，琥珀色信号是在被照射了琥珀色光时拍摄到的图像信号中的R通道的图像信号。
在步骤S132结束时或在步骤S123中未检测到出血区域的情况下，步骤S13结束。另外，步骤S132能够实施各种变形，关于该变形例容后再述。
图9是说明WLI模式中的强调处理的图。在图9中，示出CrCb平面上的被摄体的颜色的分布。图9的左图是强调处理前的分布，右图是强调处理后的分布。
在强调处理之前，积血和出血点的Cr值均饱和，因此，在CrCb平面上没有分离。通过借助强调处理将琥珀色信号合成到G通道，积血和出血点的色相在CrCb平面上逆时针旋转。此外，积血的彩度比出血点的彩度低。由此，在CrCb平面上，积血与出血点分离，在强调后的显示图像中，容易视觉辨认出血点。
如图3所示，琥珀色光被血红蛋白吸收，但是，与绿色光等相比，血红蛋白吸光系数HAC相对较低。血红蛋白吸光系数HAC较高的绿色光等在出血区域中几乎被吸收，因此，血红蛋白的浓淡信息较少。另一方面，血红蛋白吸光系数HAC相对较低的琥珀色光在血红蛋白浓度较高的出血区域中也将血红蛋白的浓淡信息作为灰度保存。通过将该血红蛋白的浓淡信息合成到G通道，将出血区域中血红蛋白浓度相对较低的积血与出血区域中血红蛋白浓度相对较高的出血点在CrCb平面上分离。
图10是示出在步骤S122中判定为DRI模式的情况下的强调处理的过程的流程图。在步骤S133中，图像强调部16判断在步骤S124中是否检测到粘膜下层区域。
在步骤S124中检测到粘膜下层区域的情况下，在步骤S134中，图像强调部16根据绿色信号来对显示图像内的粘膜下层区域进行强调处理。具体而言，图像强调部16对属于显示图像的粘膜下层区域的像素的G通道以第2规定比率合成该像素中的绿色信号。第2规定比率也可以与第1规定比率不同。在DRI模式中，琥珀色信号被分配给显示图像的G通道，因此，以第2规定比率将绿色信号与琥珀色信号合成而得到的信号分配给显示图像的G通道。另外，绿色信号是与图2的绿色光LG或图3的绿色光LG2对应的图像信号。
在步骤S134结束时或在步骤S124中未检测到粘膜下层区域的情况下，步骤S13结束。另外，步骤S134能够实施各种变形，关于该变形例容后再述。
图11是说明DRI模式中的强调处理的图。在图11中，示出CrCb平面上的被摄体的颜色的分布。图11的左图是强调处理前的分布，右图是强调处理后的分布。
在强调处理之前，纤维化层和肌层的彩度均较低，因此，在CrCb平面上没有分离。如上所述，在作为强调处理对象的粘膜下层区域中包含粘膜下层、纤维化层和肌层。通过利用强调处理将绿色信号合成到G通道，纤维化层的彩度几乎不发生变化，另一方面，肌层的彩度提高。此时，肌层的色相属于CrCb平面的第4象限。由此，在CrCb平面上，纤维化层与肌层分离，在强调后的显示图像中，容易视觉辨认纤维化层和肌层的边界。如图3所示，绿色光的血红蛋白吸光系数HAC较高，因此，对于血红蛋白的浓淡的灵敏度较高。因此，绿色信号保存有组织中含有的血红蛋白的浓淡信息作为灰度。由于肌层的血红蛋白的含量比纤维化层多，因此，肌层的绿色信号比纤维化层小。通过将该绿色信号合成到G通道，与纤维化层相比，肌层的红色增加。由此，在CrCb平面上，纤维化层和肌层分离。
另外，强调处理的对象区域不仅限于作为出血区域或粘膜下层区域的特定被摄体的区域，只要是包含特定被摄体的区域即可。即，对象区域也可以是如下区域：包含显示图像中判定为特定被摄体的区域，并且比该区域宽。
以上所说明的本实施方式的内窥镜装置100包含光源部20、摄像部30和处理部13。光源部20至少依次或同时产生第1光和第2光作为照明光。摄像部30通过拍摄来自被照射了照明光的被摄体的返回光，输出图像信号。处理部13根据图像信号来生成显示图像，并将该显示图像输出到显示装置，在本实施方式中，第1光是图3的琥珀色光LA。第2光是属于蓝色区域或绿色区域的光，在本实施方式中，第2光是图2的绿色光LG或蓝色光LB、或图3的绿色光LG2。图像信号包含与第1光对应的第1图像信号以及与第2光对应的第2图像信号。处理部13根据图像信号来判定在图像内是否包含特定被摄体。然后，处理部13在判定为在图像内包含特定被摄体的情况下，通过对包含特定被摄体的图像区域进行使用第1图像信号或第2图像信号的、颜色或亮度的转换处理，进行特定被摄体的强调处理，并将强调处理后的图像作为显示图像输出。
琥珀色光LA的血红蛋白吸光系数HAC比绿色光等小，因此，能够在血红蛋白浓度较高的区域中取得血红蛋白的浓淡信息。另一方面，蓝色光或绿色光的血红蛋白吸光系数HAC较大，因此，能够在血红蛋白浓度较低的区域中取得血红蛋白的浓淡信息。使用由这些光取得的图像信号来进行强调处理，由此能够强调特定被摄体。即，在血红蛋白浓度较高的区域中难以识别出被摄体的WLI模式中，使用琥珀色光，由此能够在血红蛋白浓度较高的区域中强调血红蛋白的浓淡。另一方面，在血红蛋白浓度较低的区域中难以识别出被摄体的DRI模式中，使用蓝色光或绿色光，由此能够在血红蛋白浓度较低的区域子中强调血红蛋白的浓淡。
此外，在本实施方式中，特定被摄体为粘膜下层区域。处理部13将第1图像信号分配给显示图像的G通道。第1图像信号为琥珀色信号。这对应于本实施方式中的DRI模式。
通过将琥珀色信号分配给显示图像的G通道，能够在积血等血红蛋白浓度较高的区域中显示血红蛋白的浓淡。由此，能够在血液和送的水混合的区域和出血点附近的区域等中对血红蛋白浓度之差进行灰度显示。
此外，在本实施方式中，处理部13在判定为在图像内包含粘膜下层区域的情况下，在包含粘膜下层区域的图像区域中，进行提高第2图像信号相对于第1图像信号的合成比率的转换处理，并将合成后的图像信号分配给G通道。即，处理部13在包含粘膜下层区域的图像区域中，提高基于第1光的第1图像信号或基于第2光的第2图像信号中的、占据显示图像的G通道的比率较低一方的图像信号的比率。另外，第2图像信号是蓝色信号或绿色信号。
另外，“提高第2图像信号相对于第1图像信号的合成比率”是指：与非强调对象的区域中的合成比率相比，能够提高强调对象区域中的合成比率。另外，也包含在非强调对象的区域中仅将第1图像信号分配给G通道的情况。
在DRI模式中，对G通道分配了琥珀色光，因此，难以识别纤维化层与肌层的边界。在本实施方式中，通过将蓝色信号或绿色信号合成到G通道，在血红蛋白浓度比较低的纤维化层和肌层中，将血红蛋白的浓淡信息合成到G通道。由此，在DRI模式中，纤维化层和肌层的识别性提高。
此外，如后所述，处理部13也可以在判定为在图像内包含粘膜下层区域的情况下，在包含粘膜下层区域的图像区域中，将第2图像信号的高频成分合成到G通道。
在蓝色信号或绿色信号中包含被摄体的纹理信息。在本实施方式中，通过将蓝色信号或绿色信号的高频成分合成到G通道，能够强调粘膜下层区域的纹理信息。与肌层相比，纤维化层含有丰富的纹理信息，因此纤维化层和肌层的识别性提高。
此外，如后所述，处理部13也可以根据色相和彩度中的至少一方，判定靛蓝胭脂红的浓度比规定值高的区域。然后，处理部13也可以在判定为靛蓝胭脂红的浓度比规定值高的区域中，提高第2图像信号的高频成分的合成比率。另外，“提高合成比率”的意思如上所述。
如图4中所说明的那样，在ESD中，向作为切除对象的早期癌的下方注入靛蓝胭脂红。处理部13从显示图像中检测粘膜下层区域，而能够判断出该粘膜下层区域中的、判定为靛蓝胭脂红的浓度比规定值高的区域是切除对象的粘膜下层区域。在这样的粘膜下层区域中，提高纹理信息的强调程度，由此能够在切除对象的粘膜下层区域中更加提高纤维化层和肌层的识别性。
此外，如后所述，处理部13也可以在判定为在图像内包含粘膜下层区域的情况下，在包含粘膜下层区域的图像区域中，进行使色相和彩度中的至少一方根据第2图像信号的信号值而发生变化的转换处理。即，处理部13对第2图像信号的信号值越大的像素越增大色相的变化量，或者对第2图像信号的信号值越大的像素越提高彩度。
蓝色信号或绿色信号具有纤维化层和肌层中的血红蛋白的浓淡信息。通过根据该浓淡来转换色相或彩度，能够对纤维化层和肌层的颜色或彩度赋予差异。由此，能够提高纤维化层和肌层的识别性。
此外，处理部13也可以根据色相和彩度中的至少一方，将靛蓝胭脂红的浓度比规定值高的区域判定为粘膜下层区域。具体而言，处理部13将色相属于蓝色区域的区域判定为粘膜下层区域，或者将色相属于蓝色区域并且彩度比规定值高的区域判定为粘膜下层区域。
如图4中所说明的那样，在ESD中，向作为切除对象的早期癌的下方注入靛蓝胭脂红。根据本实施方式，能够将因注入了靛蓝胭脂红而使靛蓝胭脂红的浓度比规定值高的区域判定为粘膜下层区域。例如，能够不将未注入靛蓝胭脂红的粘膜下层判定为粘膜下层区域，而仅将注入了靛蓝胭脂红的粘膜下层判定为粘膜下层区域。
此外，处理部13也可以根据色相和彩度中的至少一方，将血红蛋白的浓度比规定值低的区域判定为所述粘膜下层区域。具体而言，处理部13将色相属于红色区域并且彩度比规定值低的区域判定为粘膜下层区域，或者将彩度比规定值低的区域判定为粘膜下层区域。
粘膜下层区域中包含的粘膜下层、纤维化层和肌层的血红蛋白的含量比积血等少。根据本实施方式，通过判定在显示图像中血红蛋白的浓度比规定值低的区域，能够判定显示图像中的粘膜下层区域。
此外，在本实施方式中，特定被摄体是出血区域。第2光是属于绿色区域的光。处理部13将第2图像信号分配给显示图像的G通道。这与本实施方式中的WLI模式对应。在WLI模式中，第2光是图2的绿色光LG。
通过将绿色信号分配给显示图像的G通道，在粘膜下层、纤维化层和肌层等血红蛋白浓度较低的区域中，显示血红蛋白的浓淡。由此，由于纤维化层和肌层出现色调的差异，因此，能够视觉辨认纤维化层和肌层。
此外，在本实施方式中，处理部13在判定为在图像内包含出血区域的情况下，在包含出血区域的图像区域中，进行提高第1图像信号相对于第2图像信号的合成比率的转换处理，并将该合成后的图像信号分配给G通道。另外，“提高合成比率”的意思如上所述。
在WLI模式中，对G通道分配了绿色光，因此，难以视觉辨认积血中的出血点。在本实施方式中，通过将琥珀色信号合成到G通道，在血红蛋白浓度较高的积血中，将血红蛋白的浓淡信息合成到G通道。由此，在WLI模式中，积血中的出血点的视觉辨认性提高。
此外，如后所述，处理部13也可以在判定为在图像内包含出血区域的情况下，在包含出血区域的图像区域中，进行使色相和彩度中的至少一方根据第1图像信号的信号值而发生变化的转换处理。即，处理部13对第1图像信号的信号值越小的像素越增大色相的变化量，或者对第1图像信号的信号值越小的像素越提高彩度。
琥珀色信号具有积血和出血点中的血红蛋白的浓淡信息。通过根据该浓淡来转换色相或彩度，能够对积血和出血点的颜色或彩度赋予差异。由此，能够提高积血中的出血点的视觉辨认性。
此外，处理部13也可以根据色相和彩度中的至少一方，将血红蛋白的浓度比规定值高的区域判定为出血区域。具体而言，处理部13将色相属于红色区域并且彩度比规定值高的区域判定为出血区域，或者将彩度比规定值高的区域判定为出血区域。
出血区域的血红蛋白的含量比粘膜下层等组织多。根据本实施方式，通过判定在显示图像中血红蛋白的浓度比规定值高的区域，能够判定显示图像中的出血区域。
此外，在本实施方式中，处理部13根据对显示图像的G通道分配第1图像信号、还是分配第2图像信号，变更在图像内是否包含特定被摄体的判定条件。具体而言，在对显示图像的G通道分配第1图像信号的DRI模式中，处理部13判定在图像内是否包含粘膜下层区域。另一方面，在对显示图像的G通道分配第2图像信号的WLI模式中，处理部13判定在图像内是否包含出血区域。各模式中的判定条件如上所述。
由此，能够在各模式中根据显示图像来判定难以识别的特定被摄体。而且，在显示图像内存在特定被摄体的情况下，通过对判定为该特定被摄体的区域进行强调处理，能够提高特定被摄体的视觉辨认性。
另外，本实施方式的处理部13和控制部12也可以由以下的硬件构成。处理部13和控制部12可以由单独的硬件构成，也可以由一体的硬件构成。硬件可以包含对数字信号进行处理的电路和对模拟信号进行处理的电路中的至少一方。例如，硬件能够由电路基板上安装的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是IC等。1个或多个电路元件例如是电阻、电容器等。
此外，处理部13和控制部12可以通过处理器来实现。处理部13和控制部12可以由单独的处理器构成，也可以由一个处理器构成。即，本实施方式的控制装置10包含：存储器，其存储信息；以及处理器，其根据存储器中存储的信息来进行动作。存储器可以包含于存储部11。信息例如是程序和各种数据等。处理器包含硬件。处理器根据图像信号来判定在图像内是否包含特定被摄体。然后，处理器在判定为在图像内包含特定被摄体的情况下，通过对包含特定被摄体的图像区域进行使用第1图像信号或第2图像信号的颜色或亮度的转换处理，进行特定被摄体的强调处理，并将强调处理后的图像作为显示图像输出。
处理器例如可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器不限于CPU，还能够使用GPU(Graphics Processing Unit：图形处理单元)或DSP(DigitalSignal Processor：数字信号处理器)等各种处理器。存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器。也可以是硬盘装置等磁存储装置，也可以是光盘装置等光学式存储装置。例如，存储器存储可由计算机读取的命令，并通过处理器执行该命令，由此，将显示图像生成部14、图像判定部15、图像强调部16和控制部12的功能作为处理来实现。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
此外，本实施方式的实现处理部13进行的处理的程序或实现处理部13以及控制部12进行的处理的程序例如能够存储到作为可由计算机读取的介质的信息存储介质中。信息存储介质例如能够通过光盘、存储卡、HDD或半导体存储器等来实现。半导体存储器例如是ROM。处理部13和控制部12根据信息存储介质所存储的程序和数据来进行本实施方式的各种处理。即，在信息存储介质中，存储有用于使计算机作为本实施方式的内窥镜装置的各部发挥功能的程序。计算机是具有输入装置、处理部、存储部和输出部的装置。程序是用于使计算机执行各部的处理的程序。程序记录到信息存储介质中。这里，作为信息记录介质，可以假定DVD或CD等光盘、光磁盘、硬盘、非易失性存储器、RAM等存储器等可由光学式检测系统读取的各种记录介质。
3.各种实施方式
在图7的步骤S123中，也可以在WLI模式中，如下述那样判定出血区域。
图像判定部15根据琥珀色信号来判定显示图像内的出血区域。具体而言，图像判定部15将在显示图像中琥珀色信号比规定值小的区域判定为出血区域。在血红蛋白的吸收较大的区域中，琥珀色信号较小，因此，能够将血红蛋白浓度较高的区域判定为出血区域。
此外，图像判定部15也可以通过红色信号对琥珀色信号进行归一化，将该归一化后的琥珀色信号比规定值小的区域判定为出血区域。红色信号是通过图2的红色光LR或图3的红色光LR2得到的图像信号。
此外，图像判定部15也可以将色相属于规定的色相范围并且彩度比第1规定值高的区域与琥珀色信号比规定值小的区域的逻辑和判定为出血区域。
此外，图像判定部15也可以将色相属于规定的色相范围并且彩度比第1规定值高的区域与琥珀色信号比规定值小的区域的逻辑积判定为出血区域。
在图8的步骤S132中，也可以在WLI模式中，如下述那样对出血区域进行强调处理。
图像强调部16对属于显示图像的出血区域的像素的R通道或B通道以规定比率合成该像素中的琥珀色信号。
此外，图像强调部16也可以对属于显示图像的出血区域的像素的RGB通道中的2个以上的通道以规定比率合成该像素中的琥珀色信号。
此外，图像强调部16也可以不将琥珀色信号加上显示图像，而使用琥珀色信号的信号值来控制出血区域的色相转换。具体而言，在属于显示图像的出血区域的像素中，琥珀色信号越小，越增大色相的变化量。出血点的琥珀色信号比积血小，因此，出血点的色相变化增大，容易视觉辨认出血点。
此外，图像强调部16也可以通过红色信号对琥珀色信号进行归一化，该归一化后的琥珀色信号越小，越增大色相的变化量。红色光对血红蛋白的灵敏度较低，因此，在红色信号中，被摄体形状和配光的影响为主导。通过红色信号对琥珀色信号进行归一化，由此，能够减少被摄体形状和配光的影响。
在图7的步骤S124中，也可以在DRI模式中，如下述那样判定粘膜下层区域。
图像判定部15也可以将显示图像中的色相属于规定范围的区域判定为粘膜下层区域。色相的规定范围属于蓝色区域，例如是CrCb平面的第2象限。在图4的S1中将靛蓝胭脂红注入到粘膜下层的情况下，肌层、粘膜下层和纤维化层被靛蓝胭脂红染色。如图12的左图所示，在DRI图像中，被靛蓝胭脂红染色后的纤维化层和肌层位于CrCb平面的第2象限，看上去带蓝色。
此外，图像判定部15也可以将彩度比第2规定值低的区域与色相属于规定范围的区域的逻辑和判定为粘膜下层区域。
在图10的步骤S134中，也可以在DRI模式中，如下述那样对粘膜下层区域进行强调处理。
图像强调部16对属于显示图像的粘膜下层区域的像素的R通道或B通道以规定比率合成该像素中的绿色信号。
此外，图像强调部16也可以对属于显示图像的粘膜下层区域的像素的RGB通道中的2个以上的通道以规定比率合成该像素中的绿色信号。
此外，图像强调部16也可以在显示图像中判定为属于蓝色区域的区域中，针对各通道提高绿色信号的合成比率。即，也可以使判定为属于蓝色区域的区域中的合成比率比没有判定为属于蓝色区域的区域中的合成比率高。在粘膜下层中注入了靛蓝胭脂红的情况下，粘膜下层区域被蓝色染色，因此，能够在该染色区域中加强粘膜下层区域的强调程度。
此外，图像强调部16也可以根据绿色信号来强调粘膜下层区域的结构。具体而言，图像强调部16提取绿色信号的高频成分，对属于显示图像的粘膜下层区域的像素的G通道合成该像素中的绿色信号的高频成分。高频成分的提取例如通过高通滤波器或带通滤波器等来实现。纤维化层的纹理信息比肌层丰富，因此，高频成分较多。因此，通过合成绿色信号的高频成分，能够提高纤维化层的视觉辨认性。
此外，图像强调部16也可以在显示图像中判定为属于蓝色区域的区域中，针对G通道提高绿色信号的高频成分的合成比率。在粘膜下层中注入了靛蓝胭脂红的情况下，粘膜下层区域被蓝色染色，因此，能够在该染色区域中加强纤维化层的强调程度。
此外，图像强调部16也可以对属于显示图像的粘膜下层区域的像素的R通道或B通道合成该像素中的绿色信号的高频成分。此外，图像强调部16也可以对属于显示图像的粘膜下层区域的像素的RGB通道中的2个以上的通道合成该像素中的绿色信号的高频成分。
以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形并具体化。此外，通过适当组合上述各实施方式和变形例中公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例中记载的全部结构要素中删除若干个结构要素。并且，还可以适当组合不同实施方式、变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。此外，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。
标号说明
10：控制装置；11：存储部；12：控制部；13：处理部；14：显示图像生成部；15：图像判定部；16：图像强调部；20：光源部；30：摄像部；40：显示部；50：操作部；100：内窥镜装置；300：控制装置；HAC：血红蛋白吸光系数；LA：琥珀色光；LB：蓝色光；LG：绿色光；LG2：绿色光；LR：红色光；LR2：红色光。
Claims (15)
1.一种内窥镜装置，其特征在于，该内窥镜装置包括：
光源部，其至少依次或同时产生第1光和第2光作为照明光；
摄像部，其通过拍摄来自被照射了所述照明光的被摄体的返回光，输出图像信号；以及
处理部，其根据所述图像信号来生成显示图像，并将所述显示图像输出到显示装置，
所述第1光是窄带光，该窄带光在血红蛋白吸光系数呈最小值的波长、与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长，
所述第2光是属于蓝色区域或绿色区域的光，
所述图像信号包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号，
所述处理部根据所述图像信号来判定在图像内是否包含特定被摄体，
所述处理部在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，并将所述强调处理后的图像作为所述显示图像输出。
2.根据权利要求1所述的内窥镜装置，其特征在于，
所述特定被摄体是粘膜下层区域，
所述处理部将所述第1图像信号分配给所述显示图像的G通道。
3.根据权利要求2所述的内窥镜装置，其特征在于，
所述处理部在判定为在所述图像内包含所述粘膜下层区域的情况下，在包含所述粘膜下层区域的所述图像区域中，进行提高所述第2图像信号相对于所述第1图像信号的合成比率的所述转换处理，并将所述合成后的图像信号分配给所述G通道。
4.根据权利要求2所述的内窥镜装置，其特征在于，
所述处理部在判定为在所述图像内包含所述粘膜下层区域的情况下，在包含所述粘膜下层区域的所述图像区域中将所述第2图像信号的高频成分合成到所述G通道。
5.根据权利要求4所述的内窥镜装置，其特征在于，
所述处理部根据色相和彩度中的至少一方来判定靛蓝胭脂红的浓度比规定值高的区域，在判定为所述靛蓝胭脂红的浓度比所述规定值高的区域中提高所述高频成分的合成比率。
6.根据权利要求2所述的内窥镜装置，其特征在于，
所述处理部在判定为在所述图像内包含所述粘膜下层区域的情况下，在包含所述粘膜下层区域的所述图像区域中，进行使色相和彩度中的至少一方根据所述第2图像信号的信号值而发生变化的所述转换处理。
7.根据权利要求2所述的内窥镜装置，其特征在于，
所述处理部根据色相和彩度中的至少一方，将靛蓝胭脂红的浓度比规定值高的区域判定为所述粘膜下层区域。
8.根据权利要求2所述的内窥镜装置，其特征在于，
所述处理部根据色相和彩度中的至少一方，将血红蛋白的浓度比规定值低的区域判定为所述粘膜下层区域。
9.根据权利要求1所述的内窥镜装置，其特征在于，
所述特定被摄体是出血区域，
所述第2光是属于绿色区域的光，
所述处理部将所述第2图像信号分配给所述显示图像的G通道。
10.根据权利要求9所述的内窥镜装置，其特征在于，
所述处理部在判定为在所述图像内包含所述出血区域的情况下，在包含所述出血区域的所述图像区域中，进行提高所述第1图像信号相对于所述第2图像信号的合成比率的所述转换处理，将所述合成后的图像信号分配给所述G通道。
11.根据权利要求9所述的内窥镜装置，其特征在于，
所述处理部在判定为在所述图像内包含所述出血区域的情况下，在包含所述出血区域的所述图像区域中，进行使色相和彩度中的至少一方根据所述第1图像信号的信号值而发生变化的所述转换处理。
12.根据权利要求9所述的内窥镜装置，其特征在于，
所述处理部根据色相和彩度中的至少一方，将血红蛋白的浓度比规定值高的区域判定为所述出血区域。
13.根据权利要求1所述的内窥镜装置，其特征在于，
所述处理部根据对所述显示图像的G通道分配所述第1图像信号、还是分配所述第2图像信号，变更在所述图像内是否包含所述特定被摄体的判定条件。
14.一种内窥镜装置的工作方法，其中，
在第1光是窄带光、该窄带光在血红蛋白吸光系数呈最小值的波长与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长、并且第2光是属于蓝色区域或绿色区域的光时，
至少依次或同时产生所述第1光和所述第2光作为照明光；
通过拍摄来自被照射了所述照明光的被摄体的返回光，取得包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号的图像信号；
根据所述图像信号来判定在图像内是否包含特定被摄体；以及
在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，并将所述强调处理后的图像作为显示图像输出到显示装置。
15.一种程序，其中，所述程序使计算机执行以下步骤：
在第1光是窄带光、该窄带光在血红蛋白吸光系数呈最小值的波长与在比呈所述最小值的波长短的波长侧呈所述血红蛋白吸光系数的第1个极大值的波长之间具有峰值波长、并且第2光是属于蓝色区域或绿色区域的光时，
至少依次或同时产生所述第1光和所述第2光作为照明光；
通过拍摄来自被照射了所述照明光的被摄体的返回光，取得包含与所述第1光对应的第1图像信号以及与所述第2光对应的第2图像信号的图像信号；
根据所述图像信号来判定在图像内是否包含特定被摄体；以及
在判定为在所述图像内包含所述特定被摄体的情况下，通过对包含所述特定被摄体的图像区域进行使用所述第1图像信号或所述第2图像信号的、颜色或亮度的转换处理，进行所述特定被摄体的强调处理，并将所述强调处理后的图像作为显示图像输出到显示装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/011330 WO2020188727A1 (ja) | 2019-03-19 | 2019-03-19 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113543689A true CN113543689A (zh) | 2021-10-22 |
Family
ID=72520658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980093833.8A Pending CN113543689A (zh) | 2019-03-19 | 2019-03-19 | 内窥镜装置、内窥镜装置的工作方法以及程序 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210401268A1 (zh) |
| JP (1) | JP7158562B2 (zh) |
| CN (1) | CN113543689A (zh) |
| WO (1) | WO2020188727A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022180177A (ja) * | 2021-05-24 | 2022-12-06 | 富士フイルム株式会社 | 内視鏡システム、医療画像処理装置及びその作動方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011218090A (ja) * | 2010-04-14 | 2011-11-04 | Olympus Corp | 画像処理装置、内視鏡システム及びプログラム |
| WO2012081297A1 (ja) * | 2010-12-17 | 2012-06-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法 |
| US20120179050A1 (en) * | 2011-01-11 | 2012-07-12 | Fujifilm Corporation | Endoscope diagnosis system |
| CN102665526A (zh) * | 2009-11-13 | 2012-09-12 | 奥林巴斯株式会社 | 图像处理装置、电子设备、内窥镜系统和程序 |
| CN102695446A (zh) * | 2009-12-28 | 2012-09-26 | 奥林巴斯株式会社 | 图像处理装置、电子设备、程序和图像处理方法 |
| CN103068298A (zh) * | 2011-04-11 | 2013-04-24 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
| WO2013145408A1 (ja) * | 2012-03-30 | 2013-10-03 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| US20170027428A1 (en) * | 2015-03-17 | 2017-02-02 | Olympus Corporation | Endoscope apparatus |
| US20170340273A1 (en) * | 2015-03-04 | 2017-11-30 | Olympus Corporation | Image processing device, living-body observation device, and image processing method |
| WO2018083888A1 (ja) * | 2016-11-01 | 2018-05-11 | オリンパス株式会社 | 画像処理装置 |
| CN108366717A (zh) * | 2015-12-17 | 2018-08-03 | 奥林巴斯株式会社 | 内窥镜装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103582445B (zh) * | 2012-03-30 | 2017-02-22 | 奥林巴斯株式会社 | 内窥镜装置 |
| JP6234350B2 (ja) * | 2014-09-30 | 2017-11-22 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| JP6707533B2 (ja) * | 2015-05-21 | 2020-06-10 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6267372B2 (ja) * | 2017-01-12 | 2018-01-24 | 富士フイルム株式会社 | 内視鏡システム |
-
2019
- 2019-03-19 CN CN201980093833.8A patent/CN113543689A/zh active Pending
- 2019-03-19 WO PCT/JP2019/011330 patent/WO2020188727A1/ja active Application Filing
- 2019-03-19 JP JP2021506874A patent/JP7158562B2/ja active Active
-
2021
- 2021-09-08 US US17/469,093 patent/US20210401268A1/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665526A (zh) * | 2009-11-13 | 2012-09-12 | 奥林巴斯株式会社 | 图像处理装置、电子设备、内窥镜系统和程序 |
| CN102695446A (zh) * | 2009-12-28 | 2012-09-26 | 奥林巴斯株式会社 | 图像处理装置、电子设备、程序和图像处理方法 |
| JP2011218090A (ja) * | 2010-04-14 | 2011-11-04 | Olympus Corp | 画像処理装置、内視鏡システム及びプログラム |
| WO2012081297A1 (ja) * | 2010-12-17 | 2012-06-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法 |
| US20120179050A1 (en) * | 2011-01-11 | 2012-07-12 | Fujifilm Corporation | Endoscope diagnosis system |
| CN103068298A (zh) * | 2011-04-11 | 2013-04-24 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
| WO2013145408A1 (ja) * | 2012-03-30 | 2013-10-03 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| US20170340273A1 (en) * | 2015-03-04 | 2017-11-30 | Olympus Corporation | Image processing device, living-body observation device, and image processing method |
| US20170027428A1 (en) * | 2015-03-17 | 2017-02-02 | Olympus Corporation | Endoscope apparatus |
| CN108366717A (zh) * | 2015-12-17 | 2018-08-03 | 奥林巴斯株式会社 | 内窥镜装置 |
| WO2018083888A1 (ja) * | 2016-11-01 | 2018-05-11 | オリンパス株式会社 | 画像処理装置 |
Non-Patent Citations (1)
| Title |
|---|
| 藤本愛, DUAL RED IMAGINGの内視鏡治療における可能性, vol. 28, no. 3, pages 480 - 483 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7158562B2 (ja) | 2022-10-21 |
| WO2020188727A1 (ja) | 2020-09-24 |
| JPWO2020188727A1 (zh) | 2020-09-24 |
| US20210401268A1 (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| JP6285383B2 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法 | |
| JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| JP6495539B2 (ja) | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム | |
| US20210076917A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| CN107847117A (zh) | 图像处理装置、方法及程序 | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP6077340B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
| JP6054806B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
| JP6017669B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
| CN112996423A (zh) | 图像获取系统和图像获取方法 | |
| US20210088772A1 (en) | Endoscope apparatus, operation method of endoscope apparatus, and information storage media | |
| CN113543689A (zh) | 内窥镜装置、内窥镜装置的工作方法以及程序 | |
| US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
| US20220351350A1 (en) | Endoscope processor, method for operating endoscope processor, and storage medium | |
| JP6763025B2 (ja) | プロセッサ装置及びプロセッサ装置の作動方法 | |
| JP6267372B2 (ja) | 内視鏡システム | |
| EP4201301A1 (en) | Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program | |
| JP7090706B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
| JP7090705B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
| WO2022059233A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
| WO2022210508A1 (ja) | プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム | |
| US20220375117A1 (en) | Medical image processing device, endoscope system, and medical image processing device operation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |