CN109640781A - 内窥镜系统 - Google Patents
内窥镜系统 Download PDFInfo
- Publication number
- CN109640781A CN109640781A CN201780052356.1A CN201780052356A CN109640781A CN 109640781 A CN109640781 A CN 109640781A CN 201780052356 A CN201780052356 A CN 201780052356A CN 109640781 A CN109640781 A CN 109640781A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- light
- endoscopic system
- generating unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005284 excitation Effects 0.000 claims abstract description 83
- 238000005286 illumination Methods 0.000 claims abstract description 30
- 239000003814 drug Substances 0.000 claims abstract description 22
- 230000000737 periodic effect Effects 0.000 claims abstract description 13
- 238000004519 manufacturing process Methods 0.000 claims description 56
- 239000000284 extract Substances 0.000 claims description 26
- 238000003709 image segmentation Methods 0.000 claims 3
- 230000003287 optical effect Effects 0.000 description 44
- 238000003780 insertion Methods 0.000 description 17
- 230000037431 insertion Effects 0.000 description 17
- 238000010276 construction Methods 0.000 description 7
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 7
- 229960004657 indocyanine green Drugs 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 241000252203 Clupea harengus Species 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- KPHWPUGNDIVLNH-UHFFFAOYSA-M diclofenac sodium Chemical compound [Na+].[O-]C(=O)CC1=CC=CC=C1NC1=C(Cl)C=CC=C1Cl KPHWPUGNDIVLNH-UHFFFAOYSA-M 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical group O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 3
- 235000019514 herring Nutrition 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000009738 saturating Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 206010019909 Hernia Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000005005 sentinel lymph node Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Endoscopes (AREA)
Abstract
内窥镜系统具有：光源部，其发出照明光和用于激励荧光药剂的激励光；摄像部，其分别拍摄与激励光针对被摄体的照射对应地产生的荧光、以及与照明光针对被摄体的照射对应地产生的反射光，该被摄体存在于投放有荧光药剂的被检体的体腔内；以及混合图像生成部，其构成为生成将第1图像和第2图像以相互不重复且具有周期性的像素排列混合而成的观察图像，该第1图像是与由摄像部拍摄到的反射光对应的图像，该第2图像是表示被摄体中的荧光的产生部位的图像。
Description
技术领域
本发明涉及内窥镜系统，特别涉及用于荧光观察的内窥镜系统。
背景技术
在医疗领域中，例如，以往进行了如下荧光观察，该荧光观察是根据在向存在于该被检体的体腔内的期望被摄体照射了用于激励投放到本检体中的荧光药剂的激励光时的荧光的产生状态、来诊断该期望被摄体中是否包含病变部位等这样的观察方法。而且，例如，在国际公开号WO2005/048826号中公开了用于如上所述的荧光观察的前哨淋巴结检测装置。
具体而言，在国际公开号WO2005/048826号中公开了如下结构：对预先注入有荧光色素的肿瘤附近的包含淋巴结的生物体观察部照射激励光，并且，拍摄与该激励光的照射对应地从该生物体观察部发出的荧光而获得荧光图像。此外，在国际公开号WO2005/048826号中公开了如下结构：取得将荧光图像与通常图像重叠所得的观察图像，并且调整该取得的观察图像的亮度和/或对比度而显示在图像显示装置上，该荧光图像是拍摄与激励光的照射对应地从生物体观察部发出的荧光而获得的，该通常图像是拍摄照射到该生物体观察部的该激励光的反射光而获得的。
但是，根据国际公开号WO2005/048826号所公开的结构，产生了如下问题：有时由于简单地将荧光图像与通常图像重叠而导致失去该通常图像中原本包含的、表示生物体组织的凹凸等构造的信息。
即，根据国际公开号WO2005/048826号所公开的结构，产生了与“有时在观察从生物体组织发出的荧光时会显示难以掌握荧光的产生部位处的生物体组织的构造的观察图像”这一上述问题对应的课题。
本发明就是鉴于上述情况而完成的，其目的在于提供一种内窥镜系统，能够在观察从生物体组织发出的荧光时比以往更容易地掌握该荧光的产生部位处的该生物体组织的构造。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜系统具有：光源部，其构成为能够发出用于激励投放到被检体中的荧光药剂的激励光和用于对所述被检体的体腔内进行照明的照明光；摄像部，其构成为分别拍摄与所述激励光针对被摄体的照射对应地产生的荧光、以及与所述照明光针对所述被摄体的照射对应地产生的反射光，该被摄体存在于投放有所述荧光药剂的所述被检体的体腔内；以及混合图像生成部，其构成为生成将第1图像和第2图像以相互不重复且具有周期性的像素排列混合而成的观察图像，该第1图像是与由所述摄像部拍摄到的所述反射光对应的图像，该第2图像是表示所述被摄体中的所述荧光的产生部位的图像。
附图说明
图1是示出实施方式的内窥镜系统的主要部分的结构的图。
图2是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
图3是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
图4是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
图5是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
图6是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
图7是示出使用被轮廓强调处理部实施轮廓强调处理后的白色光图像来生成观察图像时的结构的一例的图。
图8是示出能够在图7的轮廓强调处理部的轮廓强调处理中利用的空间滤镜的一例的图。
图9是示出对观察图像直接实施轮廓强调处理部的轮廓强调处理时的结构的一例的图。
图10是示出能够在图9的轮廓强调处理部的轮廓强调处理中利用的空间滤镜的一例的图。
图11是示出实施方式的第1变形例的内窥镜系统的主要部分的结构的图。
图12是示出实施方式的第2变形例的内窥镜系统的主要部分的结构的图。
图13是示出由实施方式的第2变形例的内窥镜系统生成的观察图像的像素排列的一例的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
图1至图13涉及本发明的实施方式。
例如，如图1所示，内窥镜系统1具有：内窥镜2，其构成为插入到被检体的体腔内，并且拍摄存在于该体腔内的生物体组织等被摄体而输出摄像信号；光源装置3，其构成为向内窥镜2供给照射到该被摄体的光；处理器4，其构成为通过对从内窥镜2输出的摄像信号实施各种处理，生成并输出观察图像；以及显示装置5，其构成为将从处理器4输出的观察图像显示在画面上。图1是示出实施方式的内窥镜系统的主要部分的结构的图。
例如，如图1所示，内窥镜2构成为具有：插入部21，其能够插入到被检体的体腔内，形成为细长形状；以及操作部22，其设置于插入部21的基端侧。此外，内窥镜2具有经由光导线缆27而能够相对于光源装置3装卸的结构。此外，内窥镜2具有经由从操作部22延伸设置的信号线缆28而能够相对于处理器4装卸的结构。
在插入部21和光导线缆27的内部贯穿插入有光导11，该光导11用于传输从光源装置3供给的光。
如图1所示，光导11的射出端部配置于插入部21的前端部处的照明透镜12的附近。此外，如图1所示，光导11的入射端部配置于经由光导线缆27而与内窥镜2连接的光源装置3中的会聚透镜32的附近。
在插入部21的前端部设置有：照明透镜12，其用于向外部射出由光导11传输的光；以及物镜13，其用于接收从外部入射的光。此外，在插入部21的前端部设置有摄像元件14和配置在从镜13通向摄像元件14的光路上的激励光截止滤镜15。
摄像元件14例如构成为，具有将原色系或补色系的滤色片安装于摄像面而成的彩色CMOS图像传感器，进行与从处理器4输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件14构成为，拍摄透过激励光截止滤镜15的光而生成摄像信号，并且向处理器4输出该生成的摄像信号。
激励光截止滤镜15例如形成为具有如下的光学特性：切断经过物镜13而射出的光中包含的各波段中的、与激励光EXA(后述)相同的波段，并且使与激励光EXA不同的波段透过。即，激励光截止滤镜15形成为具有如下的光学特性：使与激励光EXA的照射对应地从荧光药剂发出的荧光FLA(后述)透过。
即，本实施方式的摄像部构成为具有摄像元件14和激励光截止滤镜15。
操作部22设置于插入部21的基端侧，并且形成为具有能够供手术操作者等用户把持的形状。此外，操作部22上例如设置有镜体开关(未图示)，该镜体开关是能够对处理器4进行与用户的操作对应的各种指示的1个以上的开关。
例如，如图1所示，光源装置3构成为具有发光部31、会聚透镜32和光源驱动部33。
发光部31构成为具有白色光源51、激励光源52和分色镜53。
白色光源51例如构成为具有疝气灯、白色LED、或红色、绿色和蓝色这3色的LED中的任意LED。此外，白色光源51构成为根据从光源驱动部33输出的光源驱动信号，产生例如包含红色域、绿色域和蓝色域的各波段在内的光即白色光WLA。另外，在本实施方式中，也可以替代白色光源51，而将例如宽带光源和光学滤镜设置于光源装置3，该宽带光源构成为具有发出宽带光的灯，该宽带光是至少具有从蓝色域到近红外域的波段的光，该光学滤镜具有使该宽带光中包含的各波段中的、与白色光WLA的波段相同的波段透过并切断其它波段这样的光学特性。
激励光源52例如构成为具有LD(激光二极管)。此外，激励光源52构成为根据从光源驱动部33输出的光源驱动信号，产生激励光EXA，该激励光EXA例如是包含投放到被检体中的规定的荧光药剂的激励波长的狭带的光。另外，下面，只要没有特别说明，则设为投放到被检体中的荧光药剂为ICG(吲哚青绿)、激励光EXA为包含ICG的激励波长的狭带的近红外光、并且从ICG发出荧光FLA，来进行说明，该荧光FLA是属于比激励光EXA靠长波长侧的波段的近红外光。
分色镜53例如构成为具有如下的光学特性：使从白色光源51发出的白色光WLA透过而向会聚透镜32侧射出，并且使从激励光源52发出的激励光EXA反射而向会聚透镜32侧射出。
即，发光部31构成为通过与从光源驱动部33输出的驱动信号对应地使白色光源51发光，能够产生白色光WLA。此外，发光部31构成为通过与从光源驱动部33输出的驱动信号对应地使激励光源52发光，能够产生激励光EXA。此外，发光部31构成为能够向会聚透镜32射出白色光WLA和激励光EXA。
会聚透镜32构成为使从发光部31射出的光会聚而向光导11的入射端部射出。
光源驱动部33构成为根据从处理器4输出的控制信号，生成用于驱动白色光源51和激励光源52的光源驱动信号并向发光部31输出该光源驱动信号。
即，光源装置3构成为能够发出激励光EXA和白色光WLA，该激励光EXA用于激励投放到被检体中的荧光药剂，该白色光WLA是用于对该被检体的体腔内进行照明的照明光。
例如，如图1所示，处理器4构成为具有摄像元件驱动部41、选择器42、白色光图像生成部43、荧光图像生成部44、重叠图像生成部45、混合图像生成部46、输入I/F(接口)47和控制部48。另外，根据本实施方式，例如，处理器4的各部可以构成为单独的电子电路，或者，也可以构成为FPGA(Field Programmable Gate Array：现场可编程门阵列)等集成电路中的电路块。
摄像元件驱动部41构成为根据从控制部48输出的控制信号，生成并输出用于驱动摄像元件14的摄像元件驱动信号。
选择器42构成为根据从控制部48输出的控制信号，进行用于将从内窥镜2输出的摄像信号的输出目的地设定为白色光图像生成部43或荧光图像生成部44中的任意方的动作。
白色光图像生成部43构成为根据经过选择器42而输出的摄像信号生成白色光图像WIA，并且分别向重叠图像生成部45和混合图像生成部46输出该生成的白色光图像WIA。即，白色光图像生成部43构成为生成白色光图像WIA，该白色光图像WIA是与由摄像元件14拍摄到的白色光WLA的反射光对应的图像。
荧光图像生成部44构成为根据经过选择器42而输出的摄像信号生成荧光图像FIA，并且向重叠图像生成部45输出该生成的荧光图像FIA。即，荧光图像生成部44构成为生成荧光图像FIA，该荧光图像FIA是与由摄像元件14拍摄到的荧光FLA对应的图像。
重叠图像生成部45构成为能够进行与从控制部48输出的控制信号对应的动作。此外，重叠图像生成部45构成为通过进行用于将从白色光图像生成部43输出的白色光图像WIA与从荧光图像生成部44输出的荧光图像FIA重叠的处理，生成重叠图像SIA，向混合图像生成部46输出该生成的重叠图像SIA。
具体而言，重叠图像生成部45例如在图像整个范围内进行如下处理：使用下述式(1)，将从白色光图像生成部43输出的白色光图像WIA的一个像素位置处的像素WP的像素值与从荧光图像生成部44输出的荧光图像FIA的该一个像素位置处的像素FP的像素值重叠，由此，获得重叠图像SIA的该一个像素位置处的像素SP的像素值。
另外，在下述式(1)中，Ri表示像素WP的红色成分的亮度值，Gi表示像素WP的绿色成分的亮度值，Bi表示像素WP的蓝色成分的亮度值，Fi表示像素FP的(荧光成分的)亮度值，Ro表示像素SP的红色成分的亮度值，Go表示像素SP的绿色成分的亮度值，Bo表示像素SP的蓝色成分的亮度值。此外，下述式(1)的α、β和γ表示用于规定重叠图像SIA中包含的荧光FLA的产生部位的色调的权重系数，例如，可以是在重叠图像生成部45中预先设定的固定值，或者，也可以是与来自控制部48的控制信号对应地设定的可变值。
即，重叠图像生成部45构成为生成重叠图像SIA，该重叠图像SIA是表示由内窥镜2拍摄到的被摄体中的荧光FLA的产生部位的图像。
混合图像生成部46构成为根据从控制部48输出的控制信号，进行用于混合从白色光图像生成部43输出的白色光图像WIA的一部分和从重叠图像生成部45输出的重叠图像SIA的一部分的处理，由此生成观察图像，向显示装置5输出该生成的观察图像。另外，后面对由混合图像生成部46进行的处理的详细内容进行说明。
输入I/F 47构成为具有能够进行与用户的操作对应的指示的1个以上的开关和/或按钮。
控制部48构成为能够生成控制信号以进行与来自输入I/F 47的指示对应的动作，并分别向光源驱动部33、重叠图像生成部45和混合图像生成部46输出该控制信号。此外，控制部48构成为具有存储器49，该存储器49存储有进行内窥镜系统1的各部的控制时使用的控制信息。
控制部48构成为生成用于使发光部31中的白色光WLA和激励光EXA的产生时机、摄像元件14中的拍摄动作和输入到处理器4的摄像信号的输出目的地同步的控制信号，并分别向光源驱动部33、摄像元件驱动部41和选择器42输出该控制信号。
控制部48构成为根据从存储器49读入的控制信息，生成用于依据相互不重复且具有周期性的一组像素排列提取白色光图像WIA中包含的像素WP和重叠图像SIA中包含的像素SP的控制信号，并向混合图像生成部46输出该控制信号。
接着，对本实施方式的内窥镜系统1的动作等进行说明。另外，下面，设为在进行存在于被检体的体腔内的期望被摄体的荧光观察之前，在该期望被摄体中预先投放有ICG(荧光药剂)来进行说明。此外，下面，为了简单说明，假设省略与白色光观察有关的说明，该白色光观察是将对照射有白色光WLA的被摄体进行拍摄而获得的白色光图像WIA作为观察图像显示于显示装置5的观察方法。
首先，用户在将内窥镜系统1的各部连接并接通电源之后，例如，通过操作输入I/F47的荧光观察开始开关(未图示)，对控制部48进行用于使被摄体的荧光观察开始的指示。此外，用户通过预先将插入部21插入到被检体的体腔内，在存在于该体腔内的期望被摄体的附近配置插入部21的前端部。
控制部48在接通了处理器4的电源时，从存储器49读入控制信息，并且根据该读入的控制信息，生成用于依据相互不重复且具有周期性的一组像素排列提取白色光图像WIA中包含的像素WP和重叠图像SIA中包含的像素SP的控制信号，并向混合图像生成部46输出该控制信号。
具体而言，控制部48例如生成并向混合图像生成部46输出控制信号，该控制信号用于从白色光图像WIA中包含的各像素中提取像素组WGA，并且从重叠图像SIA中包含的各像素中提取像素组SGA，该像素组WGA是存在于与相互不重复且具有周期性的一组像素排列中的第1像素排列对应的位置的多个像素WP，该像素组SGA是存在于与上述的一组像素排列中的第2像素排列对应的位置的多个像素SP。
控制部48在接通处理器4的电源并且检测出来自输入I/F 47的荧光观察开始开关的指示时，生成用于使发光部31中的白色光WLA和激励光EXA的产生时机、摄像元件14中的拍摄动作和输入到处理器4的摄像信号的输出目的地同步的控制信号，并分别向光源驱动部33、摄像元件驱动部41和选择器42输出该控制信号。
具体而言，控制部48例如生成用于使摄像元件14进行卷帘快门方式的拍摄动作的控制信号，并向摄像元件驱动部41输出该控制信号。此外，控制部48例如按照每个消隐期间，生成用于使光量AL1的白色光WLA和该光量AL1的激励光EXA交替地(以时分方式)产生的控制信号，并向光源驱动部33输出该控制信号，该消隐期间是在卷帘快门方式的拍摄动作中在摄像元件14的全部行上不进行读出的期间。此外，控制部48例如生成用于在产生白色光WLA时将输入到处理器4中的摄像信号的输出目的地设定为白色光图像生成部43并且在产生激励光EXA时将输入到处理器4中的摄像信号的输出目的地设定为荧光图像生成部44的控制信号，并向选择器42输出该控制信号。
而且，根据如上所述的控制部48的控制，例如，在摄像元件14的第1消隐期间中对被摄体照射白色光WLA，由摄像元件14拍摄作为由该被摄体产生的返回光的白色光WLA的反射光，经过选择器42而向白色光图像生成部43输出由摄像元件14生成的摄像信号，分别向重叠图像生成部45和混合图像生成部46输出根据该摄像信号而生成的白色光图像WIA。
此外，根据如上所述的控制部48的控制，例如，在与上述的第1消隐期间不同的摄像元件14的第2消隐期间内对被摄体照射激励光EXA，由摄像元件14拍摄由该被摄体产生的返回光中包含的荧光FLA，经由选择器42向荧光图像生成部44输出由摄像元件14生成的摄像信号，向重叠图像生成部45输出根据该摄像信号生成的荧光图像FIA。
重叠图像生成部45例如通过在将上述式(1)的系数α、β和γ设定为α＝γ＝0并且β＝1的状态下，进行用于将从白色光图像生成部43输出的白色光图像WIA和从荧光图像生成部44输出的荧光图像FIA重叠的处理，生成重叠图像SIA，向混合图像生成部46输出该生成的重叠图像SIA。即，根据这样的重叠图像生成部45的动作，向混合图像生成部46输出用绿色表示由内窥镜2拍摄到的被摄体中的荧光FLA的产生部位这样的重叠图像SIA。
混合图像生成部46根据从控制部48输出的控制信号，进行用于混合从白色光图像生成部43输出的白色光图像WIA的一部分和从重叠图像生成部45输出的重叠图像SIA的一部分的处理，由此生成观察图像，并向显示装置5输出该生成的观察图像。
具体而言，混合图像生成部46根据从控制部48输出的控制信号，例如，依据第1格子状的像素排列提取像素组WGA，依据与该第1格子状的像素排列不重复的第2格子状的像素排列提取像素组SGA，混合该提取出的像素组WGA和SGA，由此生成观察图像，并向显示装置5输出该生成的观察图像。而且，通过由混合图像生成部46进行这样的动作，例如，如图2所示，生成像素WP与像素SP按照每1个像素交替地配置并且像素WP的像素数与像素SP的像素数为相同数量这样的观察图像。此外，在由混合图像生成部46进行如上所述的动作的情况下，在存储器49所存储的控制信息中包含用于依据第1格子状的像素排列提取像素组WGA并且依据与该第1格子状的像素排列不重复的第2格子状的像素排列提取像素组SGA的信息。图2是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
如上所述，根据本实施方式的内窥镜系统1，能够使显示装置5显示如下观察图像：尽可能保留白色光图像WIA中包含的表示生物体组织的凹凸等构造的信息并赋予了重叠图像SIA中包含的表示荧光FLA的产生部位的信息。因此，根据本实施方式，能够在观察从生物体组织发出的荧光时，比以往更容易地掌握该荧光的产生部位处的该生物体组织的构造。
另外，根据本实施方式，也可以通过对内窥镜系统1的结构适当地进行变形，来应对除了ICG以外的其它荧光药剂。
具体而言，例如，在投放到被检体中的荧光药剂为荧光素的情况下，从激励光源52发出包含荧光素的激励波长在内的狭带的蓝色光作为激励光EXB，替代分色镜53而设置有使白色光WLA透过并反射激励光EXB这样的半反射镜，在激励光截止滤镜15中切断与激励光EXB相同的波段的光，并且使包含荧光FLB在内的可视范围内的光透过激励光截止滤镜15即可，该荧光FLB是与激励光EXB的照射对应地从荧光素发出的绿色光。
此外，根据本实施方式，只要是相互不重复且具有周期性的一组像素排列，则也可以在存储器49所存储的控制信息中包含用于依照除了上述的格子状的像素排列以外的其它像素排列提取像素组WGA和SGA的信息。
具体而言，根据本实施方式，在存储器49所存储的控制信息中例如包含如下信息，该信息用于提取将白色光图像WIA分割为2×2像素的小区域时存在于各区域的右上方的像素WP作为属于像素组WGA的像素，并且提取将重叠图像SIA分割为2×2像素的小区域时存在于各区域的右上方以外的各像素SP作为属于像素组SGA的像素。而且，在混合图像生成部46依照这样的一组像素排列提取出像素组WGA和SGA的情况下，例如，如图3所示，生成像素SP与像素WP交替地配置在水平方向的第奇数行上、仅像素SP配置在水平方向的第偶数行上、并且像素SP的像素数为像素WP的像素数的3倍这样的观察图像。图3是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
此外，根据本实施方式，也可以在存储器49所存储的控制信息中例如包含如下信息，该信息用于依据第1纵条纹状的像素排列提取像素组WGA，并且依据不与该第1纵条纹状的像素排列重复的第2纵条纹状的像素排列提取像素组SGA。而且，在混合图像生成部46依照这样的一组像素排列提取出像素组WGA和SGA的情况下，例如，如图4所示，生成仅像素SP配置于垂直方向的第奇数行、仅像素WP配置于垂直方向的第偶数行、并且像素WP的像素数与像素SP的像素数成为相同数量这样的观察图像。图4是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
此外，根据本实施方式，也可以在存储器49所存储的控制信息中例如包含如下信息，该信息用于依据第1横条纹状的像素排列提取像素组WGA，并且依据不与该第1横条纹状的像素排列重复的第2横条纹状的像素排列提取像素组SGA。而且，在混合图像生成部46依照这样的一组像素排列提取出像素组WGA和SGA的情况下，例如，如图5所示，生成仅像素WP配置于水平方向的第奇数行、仅像素SP配置于水平方向的第偶数行、并且像素WP的像素数与像素SP的像素数成为相同数量这样的观察图像。图5是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
此外，根据本实施方式，也可以在存储器49所存储的控制信息中例如包含如下信息，该信息用于提取将重叠图像SIA分割为2×2像素的小区域时存在于各区域的右下方的像素SP作为属于像素组SGA的像素，并且提取将白色光图像WIA分割为2×2像素的小区域时存在于各区域的右下方以外的各像素WP作为属于像素组WGA的像素。而且，在混合图像生成部46依照这样的一组像素排列提取出像素组WGA和SGA的情况下，例如，如图6所示，生成仅像素WP配置于水平方向的第奇数行、像素WP和像素SP交替地配置于水平方向的第偶数行、并且像素WP的像素数为像素SP的像素数的3倍这样的观察图像。图6是示出由实施方式的内窥镜系统生成的观察图像的像素排列的一例的图。
此外，根据本实施方式，例如，也可以是，在存储器49所存储的控制信息中包含表示混合图像生成部46生成观察图像时使用的二组以上的像素排列的信息的情况下，输入I/F 47进行用于显示期望的观察图像的指示，该期望的观察图像与该二组以上的像素排列中的一组像素排列对应，并且从控制部48向混合图像生成部46输出用于依据该一组像素排列提取像素组WGA和SGA的控制信号。
而且，根据如上所述的结构，例如，能够在由输入I/F 47进行指示以显示相比生物体组织的构造的视觉辨认性更重视荧光FLA的产生部位的视觉辨认性的观察图像时，生成具有如图3所示的像素排列的观察图像并显示在显示装置5上。此外，根据如上所述的结构，例如，能够在由输入I/F 47进行指示以显示相比荧光FLA的产生部位的视觉辨认性更重视生物体组织的构造的视觉辨认性的观察图像时，生成具有如图6所示的像素排列的观察图像并显示在显示装置5上。此外，能够在由输入I/F 47进行指示以显示重视生物体组织的构造与荧光FLA的产生部位之间的视觉辨认性的平衡的观察图像时，生成具有如图2、图4或图5中的任意图所示的像素排列的观察图像并显示在显示装置5上。
此外，根据本实施方式，例如，也可以是，在控制部48向混合图像生成部46输出用于以使像素WP与像素SP成为不同像素数的方式提取像素组WGA和SGA的控制信号时，向重叠图像生成部45输出用于将上述式(1)的β的值设定为与像素数的差对应的值的控制信号。
具体而言，控制部48例如也可以在向混合图像生成部46输出用于以使像素SP的像素数为像素WP的像素数的3倍的方式提取像素组WGA和SGA的控制信号时，向重叠图像生成部45输出用于将上述式(1)的β的值设定为1/3的控制信号。而且，根据这样的控制部48的控制，在重叠图像生成部45使用上述式(1)来生成重叠图像SIA时，将应用于荧光图像FIA的权重系数β(＝1/3)设定为应用于白色光图像WIA的权重系数(＝1)的1/3倍。
此外，控制部48例如也可以在向混合图像生成部46输出用于以使像素WP的像素数为像素SP的像素数的3倍的方式提取像素组WGA和SGA的控制信号时，向重叠图像生成部45输出用于将上述式(1)的β的值设定为3的控制信号。而且，根据这样的控制部48的控制，在重叠图像生成部45使用上述式(1)来生成重叠图像SIA时，将应用于荧光图像FIA的权重系数β(＝3)设定为应用于白色光图像WIA的权重系数(＝1)的3倍。
此外，根据本实施方式，例如，也可以在控制部48向混合图像生成部46输出用于以使像素WP与像素SP为不同像素数的方式提取像素组WGA和SGA的控制信号时，向光源驱动部33输出用于将白色光WLA的光量和激励光EXA的光量设定为与像素数的差对应的光量的控制信号。
具体而言，控制部48例如也可以在向混合图像生成部46输出用于以使像素SP的像素数为像素WP的像素数的3倍的方式提取像素组WGA和SGA的控制信号时，向光源驱动部33输出用于使白色光WLA的光量为激励光EXA的光量的3倍的控制信号。而且，根据这样的控制部48的控制，将从发光部31发出的激励光EXA的光量设定为光量AL2，并且将从发光部31发出的白色光WLA的光量设定为光量AL3，光量AL3是该光量AL2的3倍的光量。
此外，控制部48例如也可以在向混合图像生成部46输出用于以使像素WP的像素数为像素SP的像素数的3倍的方式提取像素组WGA和SGA的控制信号时，向光源驱动部33输出用于使激励光EXA的光量为白色光WLA的光量的3倍的控制信号。而且，根据这样的控制部48的控制，将从发光部31发出的白色光WLA的光量设定为光量AL4，并且将从发光部31发出的激励光EXA的光量设定为光量AL5，光量AL5是该光量AL4的3倍的光量。
此外，根据本实施方式，例如，也可以根据对被检体实施的手术的种类和/或投放到被检体中的荧光药剂的种类，决定用于像素组WGA和SGA的提取的一组像素排列。
具体而言，例如，也可以是，在存储器49所存储的控制信息中包含表示多个初始设定的信息、且该初始设定通过将对被检体实施的手术的种类和/或投放到被检体中的荧光药剂的种类与用于像素组WGA和SGA的提取的像素排列关联起来而得的情况下，由输入I/F47进行选择手术的种类和/或荧光药剂的种类的指示，并且从控制部48向混合图像生成部46输出用于使用与该指示对应的初始设定中包含的一组像素排列来提取像素组WGA和SGA的控制信号。而且，根据这样的结构，例如，在输入I/F 47进行选择ICG作为荧光药剂的指示时，根据与该指示对应的初始设定，从控制部48向混合图像生成部46输出如下控制信号，该控制信号用于依据第1格子状的像素排列提取像素组WGA，并且依据与该第1格子状的像素排列不重复的第2格子状的像素排列提取像素组SGA。
此外，根据本实施方式，例如，也可以构成为使得混合图像生成部46包含重叠图像生成部45的功能。
具体而言，混合图像生成部46能够根据从控制部48输出的控制信号，例如，在依据第1格子状的像素排列的像素中使上述式(1)的系数α、β和γ均为0而生成像素组WGA，在依据与该第1格子状的像素排列不重复的第2格子状的像素排列的像素中，通过设为α＝γ＝0、β＝1而生成像素组SGA。以这样的方式生成混合像素组WGA和SGA而成的观察图像，向显示装置5输出该生成的观察图像。
此外，根据本实施方式，例如，如图7所示，也可以还(在处理器4上)设置有轮廓强调处理部61，该轮廓强调处理部61构成为进行用于强调从白色光图像生成部43输出的白色光图像WIA的轮廓的轮廓强调处理，并且向混合图像生成部46输出实施该轮廓强调处理后的白色光图像WIA。另外，在这样的情况下，针对从白色光图像生成部43输出的白色光图像WIA中包含的像素WP，例如，在轮廓强调处理部61中进行应用空间滤镜SFA这样的轮廓强调处理即可，该空间滤镜SFA是如图8所示的、3×3像素的尺寸的清晰化滤镜。图7是示出使用被轮廓强调处理部实施轮廓强调处理后的白色光图像来生成观察图像时的结构的一例的图。图8是示出能够在图7的轮廓强调处理部的轮廓强调处理中使用的空间滤镜的一例的图。
此外，根据本实施方式，例如，如图9所示，也可以还(在处理器4上)设置有轮廓强调处理部62，该轮廓强调处理部62构成为进行用于强调从混合图像生成部46输出的观察图像的轮廓的轮廓强调处理，并且，向显示装置5输出实施了该轮廓强调处理的观察图像。另外，在这样的情况下，例如，针对从混合图像生成部46输出的观察图像中包含的像素组WGA的各像素WP，例如，在轮廓强调处理部62中进行应用空间滤镜SFB这样的轮廓强调处理即可，该空间滤镜SFB是如图10所示的、5×5像素的尺寸的清晰化滤镜。但是，使用图10的空间滤镜SFB的轮廓强调处理优选针对如下观察图像实施，该观察图像具有如图2所例示的依据格子状的像素排列而提取出的像素组WGA。图9是示出对观察图像直接实施轮廓强调处理部的轮廓强调处理时的结构的一例的图。图10是示出能够在图9的轮廓强调处理部的轮廓强调处理中使用的空间滤镜的一例的图。
另一方面，本实施方式不限定于应用于如图1所示的内窥镜系统1，例如，也大致同样地应用于如图11所示的内窥镜系统1A。
这里，对本实施方式的第1变形例的内窥镜系统1A的结构进行说明。另外，下面，为了简单说明，适当省略与能够应用上述的结构或动作等的部分有关的具体说明。
例如，如图11所示，内窥镜系统1A具有：内窥镜2A，其构成为插入到被检体的体腔内，并且拍摄存在于该体腔内的生物体组织等被摄体而输出摄像信号；光源装置3，其构成为向内窥镜2A供给照射到该被摄体的光；处理器4A，其构成为通过对从内窥镜2A输出的摄像信号实施各种处理，生成并输出观察图像；以及显示装置5，其构成为将从处理器4A输出的观察图像显示在画面上。图11是示出实施方式的第1变形例的内窥镜系统的主要部分的结构的图。
例如，如图11所示，内窥镜2A构成为具有：插入部21A，其能够插入到被检体的体腔内，形成为细长形状；以及操作部22，其设置于插入部21A的基端侧。
在插入部21A的内部贯穿插入有光导11，该光导11用于传输从光源装置3供给的光。
在插入部21A的前端部设置有照明透镜12和物镜13。此外，在插入部21A的前端部设置有摄像元件14A和14B、分光光学系统16和激励光截止滤镜17。
摄像元件14A例如构成为具有将原色系或补色系的滤色片安装于摄像面而成的彩色CMOS图像传感器，进行与从处理器4A输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件14A构成为拍摄透过分光光学系统16的光而生成摄像信号，并且向处理器4A输出该生成的摄像信号。
摄像元件14B例如构成为具有单色CMOS图像传感器，进行与从处理器4A输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件14B构成为拍摄由分光光学系统16反射并且透过激励光截止滤镜17的光而生成摄像信号，并且向处理器4A输出该生成的摄像信号。
分光光学系统16例如构成为具有分色棱镜。此外，分光光学系统16构成为具有如下的光学特性：使经过物镜13而入射的光中的、小于700nm的波段的光向摄像元件14A侧透过并且使700nm以上的波段的光向激励光截止滤镜17侧反射。
激励光截止滤镜17配置于从分光光学系统16通向摄像元件14B的光路上。此外，激励光截止滤镜17形成为具有如下的光学特性：切断由分光光学系统16反射的光中包含的各波段中的、与激励光EXA的波段相同的波段，并且使与激励光EXA的波段不同的波段透过。即，激励光截止滤镜17形成为具有如下的光学特性：使与激励光EXA的照射对应地从荧光药剂发出的荧光FLA透过。
即，本变形例的摄像部构成为具有摄像元件14A和14B、分光光学系统16、激励光截止滤镜17。
例如，如图11所示，处理器4A构成为具有摄像元件驱动部41A、白色光图像生成部43A、荧光图像生成部44A、重叠图像生成部45A、混合图像生成部46A、输入I/F 47和控制部48A。另外，根据本变形例，例如，处理器4A的各部可以构成为单独的电子电路，或者，也可以构成为FPGA(Field Programmable Gate Array：现场可编程门阵列)等集成电路中的电路块。
摄像元件驱动部41A构成为根据从控制部48A输出的控制信号，生成并输出用于驱动摄像元件14A和14B的摄像元件驱动信号。
白色光图像生成部43A构成为根据从摄像元件14A输出的摄像信号生成白色光图像WIA，并且分别向重叠图像生成部45和混合图像生成部46输出该生成的白色光图像WIA。即，白色光图像生成部43A构成为生成白色光图像WIA，该白色光图像WIA是与由摄像元件14A拍摄到的白色光WLA的反射光对应的图像。
荧光图像生成部44A构成为根据从摄像元件14B输出的摄像信号生成荧光图像FIA，并且向重叠图像生成部45输出该生成的荧光图像FIA。即，荧光图像生成部44A构成为生成荧光图像FIA，该荧光图像FIA是与由摄像元件14B拍摄的荧光FLA的反射光对应的图像。
重叠图像生成部45A构成为能够进行与从控制部48A输出的控制信号对应的动作。此外，重叠图像生成部45A构成为进行用于将从白色光图像生成部43A输出的白色光图像WIA与从荧光图像生成部44A输出的荧光图像FIA重叠的处理，由此生成重叠图像SIA，并向混合图像生成部46A输出该生成的重叠图像SIA。即，重叠图像生成部45A构成为生成重叠图像SIA，该重叠图像SIA是表示由内窥镜2A拍摄到的被摄体中的荧光FLA的产生部位的图像。
混合图像生成部46A构成为根据从控制部48A输出的控制信号，进行用于混合从白色光图像生成部43A输出的白色光图像WIA的一部分与从重叠图像生成部45A输出的重叠图像SIA的一部分的处理，由此生成观察图像，并向显示装置5输出该生成的观察图像。
控制部48A构成为能够生成控制信号以进行与来自输入I/F 47的指示对应的动作，并分别向光源驱动部33、重叠图像生成部45A和混合图像生成部46A输出该控制信号。此外，控制部48A构成为具有存储器49A，该存储器49A存储有进行内窥镜系统1A的各部的控制时使用的控制信息。
控制部48A构成为根据从存储器49A读入的控制信息，生成用于依据相互不重复且具有周期性的一组像素排列提取白色光图像WIA中包含的像素WP和重叠图像SIA中包含的像素SP的控制信号，并向混合图像生成部46A输出该控制信号。
另外，在本变形例中，也可以替代发光部31，例如，将构成为发出宽带光的宽带光源和具有如下光学特性的光学滤镜分别设置于光源装置3，该宽带光是至少具有从蓝色域到近红外域的波段的光，该光学特性使该宽带光中包含的各波段中的、与白色光WLA和激励光EXA的波段相同的波段透过并切断其它波段。
接下来，对本变形例的内窥镜系统1A的动作等进行说明。
首先，用户在将内窥镜系统1A的各部连接并接通电源之后，例如，通过操作输入I/F 47的荧光观察开始开关，对控制部48A进行用于使被摄体的荧光观察开始的指示。此外，用户通过预先将插入部21A插入到被检体的体腔内，在存在于该体腔内的期望被摄体的附近配置插入部21A的前端部。
控制部48A在接通了处理器4A的电源时，从存储器49A读入控制信息，并且根据该读入的控制信息生成用于依据相互不重复且具有周期性的一组像素排列提取白色光图像WIA中包含的像素WP和重叠图像SIA中包含的像素SP的控制信号，并向混合图像生成部46A输出该控制信号。
控制部48A在接通处理器4A的电源并且检测出来自输入I/F 47的荧光观察开始开关的指示时，生成用于使摄像元件14A和14B进行卷帘快门方式的拍摄动作的控制信号，并向摄像元件驱动部41A输出该控制信号，并且生成用于同时产生光量AL1的白色光WLA和该光量AL1的激励光EXA的控制信号，并向光源驱动部33输出该控制信号。
而且，根据如上所述的控制部48A的控制，同时对被摄体照射白色光WLA和激励光EXA，由摄像元件14A拍摄由该被摄体产生的返回光中包含的白色光WLA的反射光，由摄像元件14B拍摄该返回光中包含的荧光FLA。此外，根据如上所述的控制部48A的控制，向白色光图像生成部43A输出由摄像元件14A生成的摄像信号，向荧光图像生成部44A输出由摄像元件14B生成的摄像信号，向重叠图像生成部45A和混合图像生成部46A输出由白色光图像生成部43A生成的白色光图像WIA，向重叠图像生成部45A输出由荧光图像生成部44A生成的荧光图像FIA。
重叠图像生成部45A例如在将上述式(1)的系数α、β和γ设定为α＝γ＝0并且β＝1的状态下，进行用于将从白色光图像生成部43A输出的白色光图像WIA与从荧光图像生成部44A输出的荧光图像FIA重叠的处理，由此生成重叠图像SIA，向混合图像生成部46A输出该生成的重叠图像SIA。
混合图像生成部46A构成为根据从控制部48A输出的控制信号，进行用于混合从白色光图像生成部43A输出的白色光图像WIA的一部分与从重叠图像生成部45A输出的重叠图像SIA的一部分的处理，由此生成具有如图2所例示的像素排列的观察图像，并向显示装置5输出该生成的观察图像。
即，根据本变形例的内窥镜系统1A，能够生成与内窥镜系统1相同的观察图像并显示于显示装置5。因此，根据本变形例，能够在观察从生物体组织发出的荧光时，比以往更容易地掌握该荧光的产生部位处的该生物体组织的构造。
另一方面，本实施方式不限定于应用于图1所示的内窥镜系统1，例如，也大致同样地应用于如图12所示的内窥镜系统1B。
这里，对本实施方式的第2变形例的内窥镜系统1B的结构进行说明。
例如，如图12所示，内窥镜系统1B具有：内窥镜2B，其构成为插入到被检体的体腔内，并且拍摄存在于该体腔内的生物体组织等被摄体而输出摄像信号；光源装置3B，其构成为向内窥镜2B供给照射到该被摄体的光；处理器4B，其构成为通过对从内窥镜2B输出的摄像信号实施各种处理，生成并输出观察图像；以及显示装置5，其构成为将从处理器4B输出的观察图像显示在画面上。图12是示出实施方式的第2变形例的内窥镜系统的主要部分的结构的图。
内窥镜2B构成为具有细长形状的光学观察管21B和能够在光学观察管21B的基端部装卸的照相机单元22B。
光学观察管21B构成为具有作为插入部的功能，该插入部能够插入到被检体的体腔内。
在光学观察管21B的内部贯穿插入有光导11，该光导11用于传输从光源装置3B供给的光。
在光学观察管21B的前端部上设置有照明透镜12和物镜13。
如图12所示，在光学观察管21B的内部设置有中继透镜18，该中继透镜18具有用于传输从物镜13入射的光的多个透镜LE。即，中继透镜18构成为具有作为传输光学系统的功能，该传输光学系统传输从物镜13入射的光。
如图12所示，在光学观察管21B的基端部设置有目镜19，该目镜19用于能够用肉眼观察与由中继透镜18传输的光对应的被摄体的光学像。
照相机单元22B具有作为摄像部的功能，并构成为具有激励光截止滤镜23、分色棱镜24、摄像元件25A、25B和25C。
激励光截止滤镜23配置于分色棱镜24的前表面，形成为具有如下的光学特性：切断经过目镜19而射出的光中包含的各波段中的、与激励光EXA的波段相同的波段，并且使与激励光EXA的波段不同的波段透过。即，激励光截止滤镜23形成为具有如下的光学特性：使与激励光EXA的照射对应地从荧光药剂发出的荧光FLA透过。
分色棱镜24构成为将经过激励光截止滤镜23而射出的光分离为红色域～近红外域的光、绿色域的光和蓝色域的光这3个波段的光并射出。
摄像元件25A例如构成为具有单色CMOS图像传感器，进行与从处理器4B输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件25A构成为拍摄经过分色棱镜24而射出的蓝色域的光，生成并输出与该拍摄到的蓝色域的光对应的摄像信号。
摄像元件25B例如构成为具有单色CMOS图像传感器，进行与从处理器4B输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件25B构成为拍摄经过分色棱镜24而射出的绿色域的光，生成并输出与该拍摄到的绿色域的光对应的摄像信号。
摄像元件25C例如构成为具有单色CMOS图像传感器，进行与从处理器4B输出的摄像元件驱动信号对应的拍摄动作。此外，摄像元件25C构成为拍摄经过分色棱镜24而射出的红色域～近红外域的光，生成并输出与该拍摄到的红色域～近红外域的光对应的摄像信号。
例如，如图12所示，光源装置3B构成为具有发光部31B、会聚透镜32和光源驱动部33B。
发光部31B构成为具有宽带光源51B和光学滤镜54。
宽带光源51B构成为具有发出宽带光的灯，该宽带光例如是至少具备从蓝色域到近红外域的波段的光。此外，宽带光源51B构成为与从光源驱动部33B输出的驱动信号对应地发出宽带光。
光学滤镜54构成为具有如下的光学特性：使从宽带光源51B发出的宽带光中包含的各波段中的、与激励光EXA的波段相同的波段透过，并且使蓝色域和绿色域以10％左右的透射率透过。此外，光学滤镜54形成为具有如下的光学特性：切断从宽带光源51B发出的宽带光中包含的各波段中的、除了蓝色域、绿色域和激励光EXA的波段以外的波段。
即，发光部31B构成为通过与从光源驱动部33B输出的驱动信号对应地使宽带光源51B发光，能够同时产生参考光RLA和激励光EXA，该参考光RLA是具有蓝色域和绿色域这2个波段的光。此外，发光部31B构成为能够向会聚透镜32射出参考光RLA和激励光EXA。
另外，本变形例的发光部31B例如可以构成为具有发出蓝色光的蓝色LED、发出绿色光的绿色LED和发出激励光EXA的LD。或者，本变形例的发光部31B例如也可以构成为具有：白色LED，其发出白色光WLA；光学滤镜，其具有仅使白色光WLA中包含的各波段中的、与参考光RLA相同的波段透过这样的光学特性；以及LD，其发出激励光EXA。或者，本变形例的发光部31B还可以构成为具有：宽带光源51B；光学滤镜，其具有使从宽带光源51B发出的宽带光中包含的各波段中的蓝色域和绿色域以10％左右的透射率透过并切断其它波段这样的光学特性；以及LD，其发出激励光EXA。
光源驱动部33B构成为根据从处理器4B输出的控制信号，生成用于驱动宽带光源51B的光源驱动信号，并向发光部31B输出该光源驱动信号。
即，光源装置3B构成为能够发出激励光EXA和参考光RLA，该激励光EXA用于激励投放到被检体中的荧光药剂，该参考光RLA是用于对该被检体的体腔内进行照明的照明光。
例如，如图12所示，处理器4B构成为具有摄像元件驱动部41B、参考光图像生成部43B、荧光图像生成部44B、混合图像生成部46B、输入I/F 47和控制部48B。另外，根据本变形例，例如，处理器4B的各部可以构成为单独的电子电路，或者，也可以构成为FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成电路中的电路块。
摄像元件驱动部41B构成为根据从控制部48B输出的控制信号，生成并输出用于驱动摄像元件25A、25B和25C的摄像元件驱动信号。
参考光图像生成部43B构成为根据从摄像元件25A和25B输出的摄像信号生成参考光图像RIA，并且向混合图像生成部46B输出该生成的参考光图像RIA。即，参考光图像生成部43B构成为生成参考光图像RIA，该参考光图像RIA是与由摄像元件25A和25B拍摄到的参考光RLA的反射光对应的图像。此外，参考光图像RIA被生成为，对根据从摄像元件25A输出的摄像信号获得的蓝色图像和根据从摄像元件25B输出的摄像信号获得的绿色图像进行合成而成的青色的图像。
荧光图像生成部44B构成为根据从摄像元件25C输出的摄像信号生成荧光图像FIA，并且向混合图像生成部46B输出该生成的荧光图像FIA。另外，假设由荧光图像生成部44B生成的荧光图像FIA被生成为，用与参考光图像RIA的颜色不同的颜色表示由内窥镜2拍摄的被摄体中的荧光FLA的产生部位这样的图像。即，荧光图像生成部44B构成为生成荧光图像FIA，该荧光图像FIA是表示由内窥镜2B拍摄到的被摄体中的荧光FLA的产生部位的图像。
混合图像生成部46B构成为根据从控制部48B输出的控制信号，进行用于混合从参考光图像生成部43B输出的参考光图像RIA的一部分和从荧光图像生成部44B输出的荧光图像FIA的一部分的处理，由此生成观察图像，并向显示装置5输出该生成的观察图像。
控制部48B构成为能够生成控制信号以进行与来自输入I/F 47的指示对应的动作，并分别向光源驱动部33B和混合图像生成部46B输出该控制信号。此外，控制部48B构成为具有存储器49B，该存储器49B存储有进行内窥镜系统1B的各部的控制时使用的控制信息。
控制部48B构成为根据从存储器49B读入的控制信息，生成用于依据相互不重复且具有周期性的一组像素排列提取参考光图像RIA中包含的像素RP和荧光图像FIA中包含的像素FP的控制信号，并向混合图像生成部46B输出该控制信号。
接下来，对本变形例的内窥镜系统1B的动作等进行说明。
首先，用户在将内窥镜系统1B的各部连接并接通电源之后，例如，通过操作输入I/F 47的荧光观察开始开关，对控制部48B进行用于开始被摄体的荧光观察的指示。此外，用户通过预先将光学观察管21B插入到被检体的体腔内，在存在于该体腔内的期望被摄体的附近配置光学观察管21B的前端部。
控制部48B在接通了处理器4B的电源时，从存储器49B读入控制信息，并且，根据该读入的控制信息，生成用于依据相互不重复且具有周期性的一组像素排列提取参考光图像RIA中包含的像素RP和荧光图像FIA中包含的像素FP的控制信号，并向混合图像生成部46B输出该控制信号。
具体而言，控制部48B例如生成用于从参考光图像RIA中包含的各像素中提取像素组RGA并且从荧光图像FIA中包含的各像素中提取像素组FGA的控制信号，并向混合图像生成部46B输出该控制信号，该像素组RGA是存在于与相互不重复且具有周期性的一组像素排列中的第1像素排列对应的位置的多个像素RP，该像素组FGA是存在于与上述的一组像素排列中的第2像素排列对应的位置的多个像素FP。
控制部48B在接通处理器4B的电源并且检测出来自输入I/F 47的荧光观察开始开关的指示时，生成用于使摄像元件25A、25B和25C进行卷帘快门方式的拍摄动作的控制信号，并向摄像元件驱动部41B输出该控制信号，并且生成用于产生光量AL1的宽带光的控制信号，并向光源驱动部33B输出该控制信号。
而且，根据如上所述的控制部48B的控制，同时对被摄体照射参考光RLA和激励光EXA，由摄像元件25A和25B拍摄由该被摄体产生的返回光中包含的参考光RLA的反射光，由摄像元件25C拍摄该返回光中包含的荧光FLA。此外，根据如上所述的控制部48B的控制，向参考光图像生成部43B输出由摄像元件25A和25B生成的摄像信号，向荧光图像生成部44B输出由摄像元件25C生成的摄像信号，向混合图像生成部46B分别输出由参考光图像生成部43B生成的参考光图像RIA和由荧光图像生成部44B生成的荧光图像FIA。
混合图像生成部46B根据从控制部48B输出的控制信号，进行用于混合从参考光图像生成部43B输出的参考光图像RIA的一部分和从荧光图像生成部44B输出的荧光图像FIA的一部分的处理，由此生成观察图像，并向显示装置5输出该生成的观察图像。
具体而言，混合图像生成部46B根据从控制部48B输出的控制信号，例如，依据第1格子状的像素排列提取像素组RGA，依据与该第1格子状的像素排列不重复的第2格子状的像素排列提取像素组FGA，混合该提取出的像素组RGA和FGA，由此生成观察图像，并向显示装置5输出该生成的观察图像。而且，通过在混合图像生成部46B中进行这样的动作，例如，如图13所示，生成按照每1个像素交替地配置像素RP和像素FP、并且像素RP的像素数与像素FP的像素数为相同数量这样的观察图像。此外，在由混合图像生成部46B进行如上所述的动作的情况下，在存储器49B所存储的控制信息中包含用于依据第1格子状的像素排列提取像素组RGA并且依据与该第1格子状的像素排列不重复的第2格子状的像素排列提取像素组FGA的信息。图13是示出由实施方式的第2变形例的内窥镜系统生成的观察图像的像素排列的一例的图。
如上所述，根据本变形例的内窥镜系统1B，能够使显示装置5显示如下观察图像，该观察图像尽可能保留参考光图像RIA中包含的表示生物体组织的凹凸等构造的信息并赋予了荧光图像FIA中包含的表示荧光FLA的产生部位的信息。因此，根据本变形例，能够在观察从生物体组织发出的荧光时，比以往更容易地掌握该荧光的产生部位处的该生物体组织的构造。
另外，也可以是，通过对本变形例的内窥镜系统1B中的照相机单元22B等的结构适当地进行变形，例如，被摄体以时分方式被照射有白色光WLA和激励光EXA，用1个摄像元件拍摄由该被摄体产生的返回光中包含的白色光WLA的反射光和荧光FLA，根据从该1个摄像元件输出的摄像信号生成白色光图像WIA和重叠图像SIA，生成将该白色光图像WIA和该重叠图像SIA混合而成的观察图像。此外，还可以是，通过对本变形例的内窥镜系统1B中的照相机单元22B等的结构适当地进行变形，例如，被摄体同时被照射有白色光WLA和激励光EXA，用2个摄像元件拍摄由该被摄体产生的返回光中包含的白色光WLA的反射光和荧光FLA，根据从该2个摄像元件输出的摄像信号生成白色光图像WIA和重叠图像SIA，生成将该白色光图像WIA和该重叠图像SIA混合而成的观察图像。
本发明不限定于上述各实施方式和各变形例，当然能够在不脱离发明主旨的范围内实施各种变更和应用。
本申请以2016年9月6日在日本申请的日本特愿2016-173521号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书中。
Claims (13)
1.一种内窥镜系统，其特征在于，具有：
光源部，其构成为能够发出用于激励投放到被检体中的荧光药剂的激励光和用于对所述被检体的体腔内进行照明的照明光；
摄像部，其构成为分别拍摄与所述激励光针对被摄体的照射对应地产生的荧光、以及与所述照明光针对所述被摄体的照射对应地产生的反射光，该被摄体存在于投放有所述荧光药剂的所述被检体的体腔内；以及
混合图像生成部，其构成为生成将第1图像和第2图像以相互不重复且具有周期性的像素排列混合而成的观察图像，该第1图像是与由所述摄像部拍摄到的所述反射光对应的图像，该第2图像是表示所述被摄体中的所述荧光的产生部位的图像。
2.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有控制部，该控制部生成并向所述混合图像生成部输出如下控制信号，该控制信号用于依据相互不重复且具有周期性的所述像素排列，从所述第1图像中包含的各像素中提取第1像素组，并且从所述第2图像中包含的各像素中提取第2像素组。
3.根据权利要求2所述的内窥镜系统，其特征在于，
所述控制部依据所述一组像素排列中的第1格子状的像素排列提取所述第1像素组，并依据所述一组像素排列中的第2格子状的像素排列提取所述第2像素组。
4.根据权利要求2所述的内窥镜系统，其特征在于，
所述控制部依据所述一组像素排列中的第1竖条纹状的像素排列提取所述第1像素组，并依据所述一组像素排列中的第2竖条纹状的像素排列提取所述第2像素组。
5.根据权利要求2所述的内窥镜系统，其特征在于，
所述控制部依据所述一组像素排列中的第1横条纹状的像素排列提取所述第1像素组，并依据所述一组像素排列中的第2横条纹状的像素排列提取所述第2像素组。
6.根据权利要求2所述的内窥镜系统，其特征在于，
所述控制部生成如下控制信号，该控制信号用于提取将所述第1图像分割为2×2像素的小区域时存在于各区域的规定位置的像素作为属于所述第1像素组的像素，并且提取将所述第2图像分割为2×2像素的小区域时存在于各区域的所述规定位置以外的各像素作为属于所述第2像素组的像素，
所述内窥镜系统还具有输入部，该输入部能够对所述控制部变更所述第1像素组和所述第2像素组的比率。
7.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有重叠图像生成部，该重叠图像生成部生成将所述第1图像和荧光图像重叠而成的重叠图像而作为所述第2图像，该荧光图像是与由所述摄像部拍摄到的所述荧光对应的图像。
8.根据权利要求7所述的内窥镜系统，其特征在于，
所述重叠图像生成部和所述混合图像生成部一体地构成。
9.根据权利要求7所述的内窥镜系统，其特征在于，
所述控制部生成如下控制信号，该控制信号用于提取将所述第1图像分割为2×2像素的小区域时存在于各区域的规定位置的像素作为属于所述第1像素组的像素，并且提取将所述重叠图像分割为2×2像素的小区域时存在于的各区域的所述规定位置以外的各像素作为属于所述第2像素组的像素，
所述重叠图像生成部在生成所述重叠图像时，根据来自所述控制部的控制信号设定应用于所述荧光图像的权重系数。
10.根据权利要求2所述的内窥镜系统，其特征在于，
所述光源部根据来自所述控制部的控制信号设定所述照明光的光量。
11.根据权利要求6所述的内窥镜系统，其特征在于，
所述输入部构成为能够设定对所述被检体实施的手术的种类和/或所述荧光药剂的种类。
12.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有轮廓强调处理部，该轮廓强调处理部构成为进行用于强调所述第1图像的轮廓的轮廓强调处理，并且向所述混合图像生成部输出实施所述轮廓强调处理所得的所述第1图像。
13.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有轮廓强调处理部，该轮廓强调处理部构成为进行用于强调由所述混合图像生成部生成的所述观察图像的轮廓的轮廓强调处理。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-173521 | 2016-09-06 | ||
| JP2016173521 | 2016-09-06 | ||
| PCT/JP2017/004497 WO2018047369A1 (ja) | 2016-09-06 | 2017-02-08 | 内視鏡システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109640781A true CN109640781A (zh) | 2019-04-16 |
Family
ID=61561545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780052356.1A Pending CN109640781A (zh) | 2016-09-06 | 2017-02-08 | 内窥镜系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190167083A1 (zh) |
| CN (1) | CN109640781A (zh) |
| WO (1) | WO2018047369A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10568492B2 (en) * | 2015-07-15 | 2020-02-25 | Sony Corporation | Medical observation device and medical observation method |
| WO2019123796A1 (ja) | 2017-12-22 | 2019-06-27 | オリンパス株式会社 | 内視鏡システム |
| WO2020174666A1 (ja) * | 2019-02-28 | 2020-09-03 | オリンパス株式会社 | 医療用システム |
| US11700995B2 (en) * | 2019-06-20 | 2023-07-18 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
| JPWO2021039870A1 (zh) * | 2019-08-27 | 2021-03-04 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011206193A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 蛍光内視鏡装置 |
| CN102551646A (zh) * | 2010-10-21 | 2012-07-11 | 富士胶片株式会社 | 电子内窥镜系统及其处理器装置、荧光图像的高灵敏度化方法 |
| CN102949172A (zh) * | 2011-08-16 | 2013-03-06 | 富士胶片株式会社 | 图像显示方法及设备 |
| US20160249019A1 (en) * | 2006-12-22 | 2016-08-25 | Novadaq Technologies Inc. | Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy |
| CN107427183A (zh) * | 2015-03-19 | 2017-12-01 | 奥林巴斯株式会社 | 内窥镜装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011005002A (ja) * | 2009-06-26 | 2011-01-13 | Hoya Corp | 内視鏡装置 |
| JP2011055938A (ja) * | 2009-09-08 | 2011-03-24 | Hoya Corp | 内視鏡装置 |
| JP2011055939A (ja) * | 2009-09-08 | 2011-03-24 | Hoya Corp | 内視鏡装置 |
-
2017
- 2017-02-08 CN CN201780052356.1A patent/CN109640781A/zh active Pending
- 2017-02-08 WO PCT/JP2017/004497 patent/WO2018047369A1/ja active Application Filing
-
2019
- 2019-02-11 US US16/272,312 patent/US20190167083A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160249019A1 (en) * | 2006-12-22 | 2016-08-25 | Novadaq Technologies Inc. | Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy |
| JP2011206193A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 蛍光内視鏡装置 |
| CN102551646A (zh) * | 2010-10-21 | 2012-07-11 | 富士胶片株式会社 | 电子内窥镜系统及其处理器装置、荧光图像的高灵敏度化方法 |
| CN102949172A (zh) * | 2011-08-16 | 2013-03-06 | 富士胶片株式会社 | 图像显示方法及设备 |
| CN107427183A (zh) * | 2015-03-19 | 2017-12-01 | 奥林巴斯株式会社 | 内窥镜装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190167083A1 (en) | 2019-06-06 |
| WO2018047369A1 (ja) | 2018-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109640781A (zh) | 内窥镜系统 | |
| JP6533358B2 (ja) | 撮像装置 | |
| EP3205254B1 (en) | Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors | |
| KR101022585B1 (ko) | 생체 관측 장치 | |
| US9258549B2 (en) | Single-chip sensor multi-function imaging | |
| KR100939400B1 (ko) | 생체 관측 장치 | |
| US20120190922A1 (en) | Endoscope system | |
| JP5997817B2 (ja) | 内視鏡システム | |
| CN110269700A (zh) | 增强现实手术显微镜和显微镜学方法 | |
| WO2007010709A1 (ja) | 内視鏡及び内視鏡装置 | |
| CN107427198B (zh) | 图像处理装置、活体观察装置和图像处理方法 | |
| US20180000334A1 (en) | Biological observation apparatus | |
| CN102727217A (zh) | 血液信息测量方法和设备 | |
| JP4190917B2 (ja) | 内視鏡装置 | |
| JPWO2013164962A1 (ja) | 内視鏡装置 | |
| CN103732116A (zh) | 内窥镜系统、处理器设备和图像显示方法 | |
| CN107072508A (zh) | 观察系统 | |
| CN106574831A (zh) | 观察系统 | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US20170340273A1 (en) | Image processing device, living-body observation device, and image processing method | |
| EP3858215A1 (en) | Fluorescent observation camera system | |
| CN107405053A (zh) | 内窥镜系统 | |
| CN107005683A (zh) | 内窥镜装置 | |
| US8158919B2 (en) | Image capturing system, image capturing method, and computer readable medium | |
| US11363943B2 (en) | Endoscope system and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220401 |