CN113366366A - 内窥镜系统 - Google Patents
内窥镜系统 Download PDFInfo
- Publication number
- CN113366366A CN113366366A CN201980090845.5A CN201980090845A CN113366366A CN 113366366 A CN113366366 A CN 113366366A CN 201980090845 A CN201980090845 A CN 201980090845A CN 113366366 A CN113366366 A CN 113366366A
- Authority
- CN
- China
- Prior art keywords
- image signal
- image
- light
- value
- gain coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 106
- 238000012937 correction Methods 0.000 claims abstract description 78
- 210000004204 blood vessel Anatomy 0.000 claims description 55
- 238000012935 Averaging Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 238000000295 emission spectrum Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 5
- 239000002932 luster Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 210000004877 mucosa Anatomy 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 11
- 239000010410 layer Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 210000004400 mucous membrane Anatomy 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 102000003712 Complement factor B Human genes 0.000 description 1
- 108090000056 Complement factor B Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种内窥镜系统,在将多个光进行切换来进行照明,并将通过各光的照明而获得的多个图像进行切换来显示的情况下,能够根据被摄体的变化,使各图像的色泽匹配的同时能够可视化各图像的差异。内窥镜系统具备光源部(14)、光源控制部(21)、图像获取部(52)、白平衡部(55)及校正系数计算部(56)。白平衡部(55)对第1图像信号乘以第1增益系数,对第2图像信号乘以第2增益系数,并且,使用对第1增益系数及第2增益系数中的至少任一个进行校正而得的校正增益系数进行白平衡处理。
Description
技术领域
本发明涉及一种切换显示多种图像的内窥镜系统。
背景技术
近年的医疗领域中广泛使用具备光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜系统中,从内窥镜对观察对象照射照明光,并根据通过内窥镜的成像元件拍摄用该照明光照明中的观察对象而获得的RGB图像信号,将观察对象的图像显示于显示器上。
并且,近年来,根据诊断的目的,将波长区域彼此不同的多个照明光照亮在观察对象上。例如,在专利文献1中,记载有通过交替照亮峰值波长为422nm的NB1光和峰值波长为460~470nm的NB2光这2个蓝色的窄频带光来获取观察对象中所含的血管中的氧饱和度。并且,在专利文献2中,记载有将在B1区域(第1B区域:390nm至440nm)具有峰值的光和在B2区域(第2B区域:440nm至490nm)具有峰值的光照亮在观察对象上,通过包含对B1区域的光及B2区域的光这两者具有灵敏度的B像素的成像元件进行成像来获得表层血管的图像信息。并且,在专利文献3中,使用中心波长405nm的紫色光、中心波长445nm的蓝色激光束及通过蓝色激光束进行激励发光的激励发光,以适于诊断的更清晰的状态获取活体组织的所期望的组织信息。
以往技术文献
专利文献
专利文献1:日本特开2015-173737号公报
专利文献2:国际公开第2016/080130号
专利文献3:日本特开2017-185258号公报
发明内容
发明要解决的技术课题
近年来,在内窥镜领域中,进行着眼于除了背景粘膜以外的活体信息,例如深度不同的血管或深度、高度不同的腺管结构等的诊断。在这种诊断中,需要向用户显示成能够分别掌握除了背景粘膜以外的多个信息。作为分别表示这种多个信息的方法,考虑自动地周期性地进行切换并照亮侵入活体组织的侵入深度不同的多个波长的光,并将通过这些照明所获得的多个图像进行切换来显示的方法。例如,为了获得表层血管等表层的信息和深层血管等深层的信息,将在表层具有侵入深度的短波光和在深层具有侵入深度的中波长光进行切换来照亮,并将通过短波光的照明所获得的表层图像和通过中波长光的照明所获得的深层图像进行切换来显示。由于通过进行这种切换显示来显示表层图像和深层图像的差分,因此能够分开显示不同的活体信息。因此,能够掌握表层信息和深层信息的不同的活体信息。
然而,在将短波光和中波长光进行切换来照亮的情况下,若表层图像的信号值与深层图像的信号值大不相同,则在表层图像和深层图像中整个图像的色泽大不相同。因此,例如,在将短波光和中波长光自动进行切换来照亮的情况下,自动切换显示色泽不同的图像,因此可能会成为难以观看的画面。并且,诊断时要注意的表层信息及深层信息的可见性可能会降低。
为了防止这些情况,如自动白平衡那样,若使色调始终与标准颜色匹配,则正常粘膜和发炎的粘膜成为相同的色调,并且可能无法做出正确的诊断。并且,可考虑预先假设基于粘膜等的标准被摄体,在用多个波长的光拍摄的图像中,例如,通过以预设的不同的增益系数进行白平衡处理等来应对各波长的光,以使色调及亮度相同。然而,即使在这种情况下,由于观察部位的不同、个人差异、炎症等疾病的有无、或色素散布的有无等被摄体的变化,标准被摄体与分光反射率不同,用多个波长的光拍摄的各个图像的亮度、色调等大大不同,因此可能会产生难以识别目标活体信息的差的问题。
本发明的目的在于,提供一种内窥镜系统,在将多个光进行切换来照明,并将通过各光的照明而获得的多个图像进行切换来显示的情况下,根据被摄体的变化,使各图像的亮度、色调等匹配的同时容易识别各图像的差异。
用于解决技术课题的手段
本发明的内窥镜系统具备光源部、光源控制部、图像获取部及白平衡部。光源部使第1照明光和具有与第1照明光不同的发射光谱的第2照明光发光。光源控制部为进行将第1照明光和第2照明光自动进行切换来发光的控制的光源控制部,其中,使第1照明光发光的发光期间和使第2照明光发光的发光期间分别为至少1帧以上的发光期间。图像获取部获取第1图像信号组和第2图像信号组,所述第1图像信号组包括对在第1照明光的发光期间由第1照明光照明的被摄体进行拍摄而得的第1图像信号,所述第2图像信号组包括对在第2照明光的发光期间由第2照明光照明的被摄体进行拍摄而得的第2图像信号。白平衡部对第1图像信号乘以第1增益系数,并对第2图像信号乘以第2增益系数来进行白平衡处理。白平衡部使用对第1增益系数和第2增益系数中的至少任一个进行校正而得的校正增益系数进行白平衡处理。
白平衡部优选使用未校正的固定的第2增益系数进行白平衡处理。
第1图像信号或第2图像信号包括蓝色信号、红色信号及绿色分量,第1图像的信号值或第2图像的信号值优选由蓝色信号值、红色信号值及绿色信号值组成。
白平衡部优选针对蓝色信号值、红色信号值及绿色信号值分别确定第1增益系数或第2增益系数。
在校正第1增益系数的情况下,用于获取期间PN(N为整数)的第1图像信号组所包括的第1图像信号的获取期间PN的第1增益系数优选为校正用于获取期间PN刚刚之前的获取期间PN-2的第1图像信号的获取期间PN-2的第1增益系数而得的校正第1增益系数。
优选的是,在校正第1增益系数的情况下,用于获取期间PN之前的多个获取期间PN-K(K为2以上的偶数)的第1图像信号组所包括的第1图像信号的多个获取期间PN-K的第1增益系数的至少一部分为分别被校正的校正增益系数,用于获取期间PN的第1图像信号组所包括的第1图像信号的获取期间PN的第1增益系数为对多个获取期间PN-K的第1增益系数分别乘以加权系数并相加而得的值,加权系数越接近获取期间PN则越大。
优选在各获取期间PN-K,在白平衡处理中使用多个获取期间PN-K的第1增益系数。
优选的是,在第1增益系数或第2增益系数的校正中使用用于校正第1增益系数及第2增益系数中的至少一者的校正系数,校正系数使用通过基于第1图像信号组的运算而获得的第1运算值和通过基于第2图像信号组的运算而获得的第2运算值来计算。
优选的是,第1运算值通过在第1图像信号组所包括的第1图像信号中对将第1图像信号的信号值平均化而获得的第1图像信号值平均各自进行算术平均而获得,第2运算值通过在第2图像信号组所包括的第2图像信号中对将第2图像信号的信号值平均化而获得的第2图像信号值平均各自进行算术平均而获得。
优选的是,本发明具备检测部,所述检测部在第1图像信号或第2图像信号中检测血管或病变部分的图像信号来作为异常图像信号,第1图像信号值平均或第2图像信号值平均分别通过使用除异常图像信号以外的第1图像信号的信号值或第2图像信号的信号值而获得。
优选的是,本发明具备检测部,所述检测部在第1图像信号或第2图像信号中检测异常像素部分的图像信号来作为异常图像信号,第1图像信号值平均或第2图像信号值平均分别通过使用除异常图像信号以外的第1图像信号的信号值或第2图像信号的信号值而获得。
校正系数优选为第1运算值与第2运算值的比。
优选的是,获取期间PN的第1增益系数为对用于获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数乘以获取期间PN-2中的第1运算值与获取期间PN-1中的第2运算值的比的值而得的值。
优选的是,在获取期间PN的第1增益系数与用于所获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数的差为预先设定的阈值以下的情况下,不进行获取期间PN的第1增益系数的校正。
优选的是,在获取期间PN的第1增益系数与用于所获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数的差为预先设定的阈值以上的情况下,不进行获取期间PN的第1增益系数的校正。
第1照明光包括紫色光、绿色光及红色光,第2照明光包括蓝色光、绿色光及红色光,光源控制部优选根据第1增益系数或第2增益系数控制第1照明光和第2照明光所包括的各个颜色各自的发光量。
在根据第1增益系数或第2增益系数控制的发光量为特定阈值以下的情况下,光源控制部使发光量增加至预设的最低发光量。
图像处理部通过第1图像信号生成第1显示用观察图像,并且通过第2图像信号生成第2显示用观察图像,第1显示用观察图像强调表层血管,第2显示用观察图像强调位于比表层血管更深的位置的中深层血管。
发明效果
根据本发明,能够提供一种内窥镜系统,在将多个光进行切换来照明,并将通过各光的照明而获得的多个图像进行切换来显示的情况下,根据被摄体的变化,使各图像的亮度、色泽等匹配的同时容易识别各图像的差异。
附图说明
图1是内窥镜系统的外观图。
图2是表示内窥镜系统的功能的框图。
图3是表示紫色光V、蓝色光B、绿色光G及红色光R的发射光谱的曲线图。
图4是表示包含紫色光V、蓝色光B、绿色光G及红色光R的第1照明光的发射光谱的曲线图。
图5是表示包含紫色光V、蓝色光B、绿色光G及红色光R的第2照明光的发射光谱的曲线图。
图6是表示第1照明光的发光期间和第2照明光的发光期间的说明图。
图7是表示发光期间设定菜单的说明图。
图8是设置于摄像传感器的B过滤器、G过滤器、R过滤器的光谱透射率。
图9是通过时序列对第1图像信号组及第2图像信号组的获取进行说明的说明图。
图10是表示DSP的功能的框图。
图11是表示特殊图像处理部的功能的框图。
图12是表示第1特殊观察图像(第1图像)的图像图。
图13是表示照亮第1照明光时所获得的紫色及蓝色光图像和绿色及红色光图像的说明图。
图14是表示第2特殊观察图像(第2图像)的图像图。
图15是表示照亮第2照明光时所获得的紫色光图像和绿色及红色光图像的说明图。
图16是对获取期间P5中的校正第1增益系数的一例进行说明的说明图。
图17是对获取期间P5中的校正第1增益系数的另一例进行说明的说明图。
图18是对第1图像信号值平均及第2图像信号值平均进行说明的说明图。
图19是对校正系数的一例进行说明的说明图。
图20是对校正系数的另一例进行说明的说明图。
图21是表示包含第1红色窄频带光的第1照明光的发射光谱的曲线图。
图22是表示包含第2红色窄频带光的第2照明光的发射光谱的曲线图。
具体实施方式
如图1所示,本实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18(显示部)及用户介面19。内窥镜12与光源装置14光学连接,且与处理器装置16电连接。内窥镜12具有插入于受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e,弯曲部12c进行弯曲动作。伴随该弯曲动作,前端部12d朝向所期望的方向。另外,用户介面19除了图示的键盘以外,还包含鼠标等。
并且,在操作部12b中,除了角度旋钮12e以外,设置有模式切换SW13a及静止图像获取命令部13b。模式切换SW13a用于普通观察模式、第1特殊观察模式、第2特殊观察模式、多观察模式的切换操作。普通观察模式是将普通图像显示于显示器18上的模式。第1特殊观察模式为将强调了表层血管等的表层信息的第1特殊观察图像显示于显示器18上的模式。第2特殊观察模式为将强调了深层血管等的深层信息的第2特殊观察图像显示于显示器18上的模式。多观察模式为将第1特殊观察图像(以下称为第1图像)与第2特殊观察图像(以下称为第2图像)自动进行切换而显示于显示器18的模式。另外,为了切换模式,除了模式切换SW13a以外,还可以使用脚踏开关等。
处理器装置16与显示器18及用户介面19电连接。显示器18输出显示图像信息等。用户介面19作为接收功能设定等输入操作的UI(UserInterface:用户界面)而发挥功能。另外,在处理器装置16中也可以连接记录图像信息等的外置记录部(省略图示)。
如图2所示,光源装置14具有光源部20、光源控制部21及光路结合部23及发光期间设定部24。光源部20具有V-LED(Violet Light Emitting Diode:紫色发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝色发光二极管)20b、G-LED(Green Light EmittingDiode:绿色发光二极管)20c及R-LED(Red Light Emitting Diode:红色发光二极管)20d。光源控制部21控制LED20a~20d的驱动。光路结合部23结合从四个颜色的LED20a~20d发射的四个颜色的光的光路。由光路结合部23结合的光经由贯穿于插入部12a内的光导件41及照明透镜45照射到受检体内。另外,也可以使用LD(Laser Diode:激光二极管)来代替LED。发光期间设定部24设定多个照明光的每个发光期间。
如图3所示,V-LED20a产生中心波长405±10nm、波长范围380~420nm的紫色光V。B-LED20b产生中心波长460±10nm、波长范围420~500nm的蓝色光B。G-LED20c产生波长范围达到480~600nm的绿色光G。R-LED20d产生中心波长620~630nm且波长范围达到600~650nm的红色光R。
光源控制部21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。并且,在为普通观察模式时,光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vc∶Bc∶Gc∶Rc的普通光的方式,控制各LED20a~20d。
并且,在为第1特殊观察模式时,光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vs1∶Bs1∶Gs1∶Rs1的第1照明光的方式,控制各LED20a~20d。光强度比Vs1∶Bs1∶Gs1∶Rs1对应于第1照明光的光量条件。第1照明光优选强调表层血管。因此,第1照明光优选使紫色光V的光强度大于蓝色光B的光强度。例如,如图4所示,将紫色光V的光强度Vs1与蓝色光B的光强度Bs1的比率设为“4∶1”。
另外,在本说明书中,光强度比包括至少1个半导体光源的比率为0(零)的情况。因此,包括各半导体光源中的任一个或2个以上未点亮的情况。例如,如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比为1∶0∶0∶0的情况那样,设为仅点亮半导体光源中的1个,且不点亮其他3个的情况下也具有光强度比。
并且,在为第2特殊观察模式时,光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vs2∶Bs2∶Gs2∶Rs2的第2照明光的方式,控制各LED20a~20d。光强度比Vs2∶Bs2∶Gs2∶Rs2对应于第2照明光的光量条件。第2照明光优选强调深层血管。因此,第2照明光优选使蓝色光B的光强度大于紫色光V的光强度。例如,如图5所示,将紫色光V的光强度Vs2与蓝色光B的光强度Bs2的比率设为“1∶3”。
在设定为多观察模式的情况下,光源控制部21在第1期间和第2期间的发光期间分别发出第1照明光和第2照明光,并且,进行自动切换发光第1照明光和第2照明光的控制。第1期间和第2期间分别具有至少1帧以上的发光期间。
更具体而言,例如,如图6所示,光源控制部21在将第1期间设为4帧,将第2期间设为4帧的情况下,连续发出4帧的第1照明光之后,连续发出4帧的第2照明光。然后,重复该发光图案而进行。
另外,“帧”是指,用于控制拍摄观察对象的摄像传感器48(参考图2)的单位,例如,“1帧”是指,至少包含由来自观察对象的光曝光摄像传感器48的曝光期间和读出图像信号的读取期间的期间。在本实施方式中,与作为拍摄的单位的“帧”对应地分别确定第1期间或第2期间。
作为第1照明光的发光期间的第1期间和作为第2照明光的发光期间的第2期间能够根据连接于光源控制部21的发光期间设定部24而适当地变更。若通过用户介面19的操作而接收发光期间的变更操作,则发光期间设定部24将如图7所示的发光期间设定菜单显示于显示器18上。第1期间例如能够在2帧至10帧之间变更。关于各发光期间,被分配于滑杆26a上。
在变更第1期间的情况下,通过操作用户介面19而在示出滑杆26a上的希望变更的发光期间的位置配合滑块27a,从而第1期间被变更。对于第2期间,也通过操作用户介面19而在示出滑杆26b上的希望变更的发光期间的位置配合滑块27b,从而第2期间被变更。另外,滑杆26b例如也从2帧分配10帧的发光期间。
如图2所示,光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)内,并将由光路结合部23结合的光传播至内窥镜12的前端部12d。另外,作为光导件41、能够使用多模光纤。作为一例,能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层的直径φ0.3~0.5mm的细径的光缆。
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜45,并且来自光导件41的光经由该照明透镜45照射到观察对象。摄像光学系统30b具有物镜46及摄像传感器48。来自观察对象的反射光经由物镜46入射到摄像传感器48。由此,在摄像传感器48中成像观察对象的反射像。
摄像传感器48为彩色摄像传感器,并且拍摄受检体的反射像而输出图像信号。该摄像传感器48优选为CCD(ChargeCoupledDevice:电荷耦合元件)摄像传感器或CMOS(ComplementaryMetal-OxideSemiconductor:互补金属氧化物半导体)摄像传感器等。本发明中使用的摄像传感器48为用于获得R(红色)、G(绿色)及B(蓝色)这三个颜色的RGB图像信号的彩色摄像传感器即具备设置有R滤波器的R像素、设置有G滤波器的G像素及设置有B滤波器的B像素的所谓的RGB摄像传感器。
如图8所示,B过滤器48b透射紫色频带的光、蓝色频带的光及绿色频带的光中短波侧的光。G过滤器48g透射绿色频带的光、蓝色频带的光的长波侧的光及红色频带的光的短波侧的光。R过滤器48r透射红色频带的光、绿色频带的长波侧的光。因此,摄像传感器48中,B像素对紫色光V及蓝色光B具有灵敏度,G像素对蓝色光B、绿色光G及红色光R具有灵敏度,R像素对绿色光G及红色光R具有灵敏度。
另外,作为摄像传感器48,代替RGB的彩色摄像传感器,也可以是具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的所谓的补色摄像传感器。在使用补色摄像传感器的情况下,输出CMYG这四个颜色的图像信号,因此需要通过补色-原色颜色转换,将CMYG这四个颜色的图像信号转换为RGB这三个颜色的图像信号。并且,摄像传感器48也可以是没有设置滤色器的单色摄像传感器。在该情况下,光源控制部21需要分时点亮蓝色光B、绿色光G及红色光R,并在摄像信号的处理中增加同步化处理。
如图2所示,从摄像传感器48输出的图像信号发送至CDS/AGC电路50。CDS/AGC电路50对作为模拟信号的图像信号进行相关双采样(CDS(Correlated Double Sampling))或自动增益控制(AGC(Auto Gain Control))。经过了CDS/AGC电路50的图像信号通过A/D转换器(A/D(Analog/Digital:模拟/数字)变频器)52转换为数字图像信号。被A/D转换的数字图像信号输入于处理器装置16。
处理器装置16具备图像获取部52、DSP(DigitalSignalProcessor:数字信号处理器)54、去噪部58、信号切换部60、普通观察图像处理部62、特殊观察图像处理部63、显示控制部64、静止图像保存部65及静止图像保存控制部66。
图像获取部52获取通过拍摄内窥镜12中的观察对象而获得的观察图像。具体而言,作为观察图像,来自内窥镜12的数字彩色图像信号被输入到图像获取部52。彩色图像信号由从摄像传感器48的R像素输出的红色信号、由摄像传感器48的G像素输出的绿色信号、由摄像传感器48的B像素输出的蓝色信号构成。
如图9所示,图像获取部52在第1期间PL1获取第1图像信号组。第1图像信号组包括在第1期间PL1中拍摄通过第1照明光L1照明的被摄体而成的多个第1图像信号SP1。并且,图像获取部52在第2期间PL2获取第2图像信号组。第2图像信号组包括在第2期间PL2中通过第2照明光L2照明的被摄体而成的多个第2图像信号SP2。在本实施方式中,在设定为多观察模式的情况下,光源控制部21进行使第1照明光L1和第2照明光L2分别在第1期间PL1和第2期间PL2的发光期间发光,并且,将第1照明光L1和第2照明光L2自动进行切换而发光的控制,因此图像获取部52随时间的经过以第1图像信号组、第2图像信号组的顺序,周期性地获取图像。
由于第1期间PL1和第2期间PL2分别具有至少1帧以上的发光期间,因此第1图像信号组和第2图像信号组分别包括至少1个以上的第1图像信号SP1和第2图像信号SP2。在本实施方式中,第1期间PL1和第2期间PL2均为4帧的发光期间。因此,在第1期间PL1获取包括4个第1图像信号SP1的第1图像信号组,在第2期间PL2获取包括4个第2图像信号SP2的第2图像信号组。
DSP56对接收的图像信号实施缺陷校正处理、偏移处理、白平衡处理、线性矩阵处理、伽玛转换处理或去马赛克处理等各种信号处理。并且,如图10所示,DSP54具备白平衡部55。并且,白平衡部55具备校正系数计算部56。
在缺陷校正处理中,校正摄像传感器48的缺陷像素的信号。在偏移处理中,从实施了缺陷校正处理的图像信号去除暗电流成分,并设定准确的零电平。白平衡部对第1图像信号55乘以第1增益系数,并对第2图像信号乘以第2增益系数来进行白平衡处理。第1增益系数是指与第1图像信号相乘的增益系数,并且,第2增益系数是指与第2图像信号相乘的增益系数。在白平衡处理中,通过对偏移处理之后的图像信号乘以增益而调整信号电平。校正系数计算部56计算用于校正第1增益系数和第2增益系数中的至少一者的校正系数。对白平衡处理之后的图像信号实施用于提高颜色再现性的线性矩阵处理。然后,通过伽玛转换处理调整亮度或彩度。对线性矩阵处理之后的图像信号实施去马赛克处理(也被称为各向同性处理、同步化处理),并通过插值生成各像素中缺失颜色的信号。通过该去马赛克处理,变得所有像素具有各颜色的信号。
去噪部58对通过DSP56实施了伽玛校正处理的图像信号实施去噪处理(例如移动平均法或中值滤波法等),由此从图像信号去除噪声。去除了噪声的图像信号发送至信号切换部60。
通过模式切换SW13a设置为普通观察模式的情况下,信号切换部60将通过普通光的照明及拍摄所获得的普通光用图像信号发送至普通观察图像处理部62。如图11所示,特殊观察图像处理部63包括第1特殊观察图像处理部67、第2特殊观察图像处理部68及检测部69。并且,在设置为第1特殊观察模式的情况下,将通过第1照明光的照明及拍摄所获得的第1图像信号发送至第1特殊观察图像处理部67。第1图像信号包括从摄像传感器的R像素输出的第1红色信号、从摄像传感器48的G像素输出的第1绿色信号、从摄像传感器48的B像素输出的第1蓝色信号。并且,在设置为第2特殊观察模式的情况下,将通过第2照明光的照明及拍摄所获得的第2图像信号发送至第2特殊观察图像处理部63。第2图像信号包括从摄像传感器的R像素输出的第2红色信号、从摄像传感器48的G像素输出的第2绿色信号、从摄像传感器48的B像素输出的第2蓝色信号。并且,在设置为多观察模式的情况下,通过第1照明光的照明和拍摄而获得的第1图像信号发送至第1特殊观察图像处理部67,通过第2照明光的照明和拍摄而获得的第2图像信号发送至第2特殊观察图像处理部63。
普通观察图像处理部62对普通观察模式时所获得的RGB图像信号实施用于普通图像的图像处理。用于普通图像的图像处理中包括用于普通图像的结构强调处理等。在普通观察图像处理部62中设置有用于与RGB图像信号相乘的普通图像用参数以进行用于普通图像的图像处理。实施了用于普通图像的图像处理的RGB图像信号作为普通图像而从普通观察图像处理部62输入到显示控制部64。
第1特殊观察图像处理部67根据第1图像信号而生成进行了彩度强调处理、色相强调处理及结构强调处理等图像处理的第1图像。在第1图像中,包含许多表层血管并且背景粘膜的颜色也被正确地再现。在第1特殊观察图像处理部67中设置有用于与第1图像信号相乘的第1图像用参数以进行第1图像的图像处理。另外,在第1特殊观察图像处理部67中不进行用于强调表层血管的表层血管强调处理,但可以根据处理负荷的情况而进行表层血管强调处理。
如图12所示,通过第1图像显示示出观察对象中背景粘膜BM及表层血管VS1的图像。第1图像根据包括紫色光、蓝色光、绿色光及红色光的第1照明光来获得。如图13所示,第1照明光L1照亮在观察对象时,第1照明光L1中紫色光及蓝色光V/B深入至表层血管VS1所分布的表层。另外,在图13中,第1照明光L1从纸面上方照射到观察对象,纸面下方为观察对象的深度方向D。在第1照明光中,紫色光V的光强度比蓝色光B、绿色光G及红色光R的光强度强,因此根据紫色光V的反射光而获得的紫色光图像VP所包括的表层血管VS1的图像被强调。另外,在此,紫色光V的光强度比蓝色光B、绿色光G及红色光R的光强度强,因此采用紫色光图像VP。并且,第1照明光L1中红色光R深入至分布于比表层血管VS1及深层血管VS2(位于比表层血管VS1更深的位置的血管)更深的位置的背景粘膜BM。因此,根据红色光R的反射光所获得的红色光图像RP包括背景粘膜BM的图像。根据以上内容,第1图像为将紫色光图像VP和红色光图像RP组合而成的图像,因此显示背景粘膜BM及表层血管VS1的图像。
第2特殊观察图像处理部68根据第2图像信号而生成进行了彩度强调处理、色相强调处理及结构强调处理等图像处理的第2图像。在第2图像中,包含许多深层血管并且背景粘膜的颜色也被正确地再现。在第2特殊观察图像处理部68中设置有用于与第2图像信号相乘的第2图像用参数以进行第2图像的图像处理。另外,在第2特殊观察图像处理部68中不进行强调深层血管的表层血管强调处理,但可以根据处理负荷的情况而进行深层血管强调处理。
如图14所示,通过第2图像显示示出观察对象中背景粘膜BM及深层血管VS2的图像。第2图像根据包括紫色光V、蓝色光B、绿色光G及红色光R的第2照明光来获得。如图15所示,第2照明光L2中绿色光G深达到深层血管VS2所分布的深层为止。另外,在图14中,第1照明光L1从纸面上方照射到观察对象,纸面下方为观察对象的深度方向D。在第2照明光L2中,绿色光G的光强度比蓝色光B、绿色光G及红色光R的光强度强,因此根据绿色光G的反射光而获得的绿色光图像GP所包括的深层血管VS2的图像被强调。另外,在此,由于绿色光G的光强度强,因此作为绿色光图像GP。并且,第2照明光L2中红色光R深入至分布于比表层血管VS1及深层血管VS2(位于比表层血管VS1更深的位置的血管)更深的位置的背景粘膜BM。因此,根据红色光R的反射光所获得的红色光图像RP包括背景粘膜BM的图像。根据以上内容,第2图像为将红色光图像RP组合而成的图像,因此显示背景粘膜BM及深层血管VS2的图像。
如上所述,在本实施方式中,通过第1图像信号生成第1特殊观察图像,并且通过第2图像信号生成第2特殊观察图像,第1特殊观察图像强调表层血管,第2特殊观察图像强调位于比表层血管更深的位置的中深层血管。
检测部69通过普通图像、第1图像及第2图像来检测血管或病变。如上所述,第1图像为显示有表层血管VS1的图像,第2图像为显示有深层血管VS2的图像,因此能够通过图像处理来检测这些血管。并且,检测部69检测第1图像或第2图像中的异常部分,将其作为异常图像信号。血管或病变的检测結果发送到白平衡部55或光源控制部21。
显示控制部64进行用于将从普通观察图像处理部62或特殊观察图像处理部63输入的普通图像、第1图像和/或第2图像作为能够在显示器18中显示的图像而显示的控制。根据基于显示控制部64的控制而显示对应各观察模式的图像。在普通观察模式的情况下,普通图像显示于显示器18。并且,在第1特殊观察模式的情况下,第1图像(参考图12)显示于显示器18。并且,在第2特殊观察模式的情况下,第2图像(参考图14)显示于显示器18。
并且,在多观察模式的情况下,彩色的第1图像和第2图像配合第1照明光的发光期间和第2照明光的发光期间而切换显示于显示器18。即,在第1期间为4帧,第2期间为4帧的情况下,第1显示用观察图像连续显示4帧,并且第2显示用观察图像连续显示4帧。
如上所述,在多观察模式下,能够在不进行基于用户的模式切换SW13a的操作的状态下,将第1图像和第2图像这2种进行自动切换显示。如此,通过自动切换显示,只要观察对象不移动或内窥镜12的前端部12d不移动,则在第1图像和第2图像中显示有同一观察对象。然而,在第1图像和第2图像中,即使是同一观察对象,由于各自的光谱信息不同,因此根据光谱信息的不同而观察对象的状态也不同。即,在第图像中,表层血管的视觉辨认性提高,另一方面在第2图像中,深层血管的视觉辨认性提高。因此,通过切换显示第1图像和第2图像,能够实现提高深度不同的多个的血管的视觉辨认性。
另外,在本实施方式中,具备普通观察模式、第1特殊观察模式、第2特殊观察模式及在第1特殊观察模式与第2特殊观察模式之间进行切换的多观察模式,但是除了普通观察模式、在第1特殊观察模式和第2特殊观察模式之间进行切换的多观察模式以外,还可以具备与这些观察模式不同的多个观察模式。此时,能够从更多角度观察被摄体。
静止图像保存控制部66根据静止图像获取命令部13b的命令,进行将在其静止图像获取命令的定时获得的图像作为静止图像而保存于静止图像保存部65的控制。若在普通观察模式的情况下,将在静止图像获取命令的定时获得的普通图像作为静止图像而保存于静止图像保存部65。若在第1特殊观察模式的情况下,将在静止图像获取命令的定时获得的第1显示用观察图像作为静止图像而保存于静止图像保存部65。若在第2特殊观察模式的情况下,将在静止图像获取命令的定时获得的第2显示用观察图像作为静止图像而保存于静止图像保存部65。并且,若在多观察模式的情况下,将在静止图像获取命令的定时获得的第1特殊观察图像和第2特殊观察图像的1套显示用观察图像保存于静止图像保存部65。
接着,以下对白平衡处理进行详细说明。白平衡部55使用对第1增益系数和第2增益系数中的至少任一个进行校正而得的校正增益系数进行白平衡处理。在校正第1增益系数的情况下,使用校正第1增益系数,并且,在校正第2增益系数的情况下,使用校正第2增益系数。可以通过乘以使用各种数据计算出的特定系数来进行校正。关于计算,可以每次进行计算,也可以设定一定期间,并且针对每一期间进行计算。
因此,能够提供如下内窥镜系统:作为增益系数,使用校正第1增益系数和第2增益系数中的至少任一个而得的校正增益系数,因此在将由基于第1照明光的第1图像信号和基于第2照明光的第2图像信号产生的图像进行切换来显示的情况下,根据被摄体的变化,调整各图像的亮度、色调等,同时容易识别各图像的差异。
在本实施方式中,白平衡部55使用未校正的固定的第2增益系数进行白平衡处理。此时,对第1增益系数进行校正。由此,可避免第2图像信号的色调变化,例如在第1图像信号和第2图像信号中,正常粘膜和发炎的粘膜成为相同的色调。并且,第1图像信号的色调与第2图像信号的色调匹配。因此,能够保持第1图像信号与第2图像信号的差异,同时能够保持例如正常粘膜和发炎的粘膜等的色调的差异,并且能够进行更准确的诊断。
在本实施方式中,第1图像信号或第2图像信号包括蓝色信号、红色信号及绿色分量,第1图像信号的信号值或第2图像信号的信号值由蓝色信号值、红色信号值及绿色信号值组成。并且,白平衡部55针对蓝色信号值、红色信号值及绿色信号值分别确定第1增益系数或第2增益系数。
在本实施方式中,在校正第1增益系数的情况下,用于获取某一期间PN(N为整数)的第1图像信号组所包括的第1图像信号的获取期间PN的第1增益系数使用校正用于获取期间PN刚刚之前的获取期间PN-2的第1图像信号的第1增益系数而得的校正第1增益系数ARn。获取期间PN是指特定的第1期间PL1或第2期间PL2。在本实施方式中,在N为奇数的情况下,是获取第1图像信号组的获取期间,在N为偶数的情况下,是获取第2图像信号组的获取期间。
利用图16对校正第1增益系数ARn进行说明。对于图16的箭头所示的任意的第1期间PL1即获取期间P5,将获取期间P5刚刚之前的第2期间PL2设为获取期间P4,将获取期间P4刚刚之前的第1期间PL1设为获取期间P3。在获取期间P3之前,获取期间P2、获取期间P1、获取期间P5之后,以获取期间P6、获取期间P7的顺序连续。将获取期间PN所包括的第1图像信号SP1N相对于红色信号值的第1增益系数设为第1增益系数RN、相对于绿色信号值的第1增益系数设为第1增益系数GN及相对于蓝色信号值的第1增益系数设为第1增益系数BN,因此获取期间P5所包括的第1图像信号SP15相对于红色信号值的第1增益系数为第1增益系数R5、相对于绿色信号值的第1增益系数为第1增益系数G5及相对于蓝色信号值的第1增益系数为第1增益系数B5。并且,在N为奇数时的获取期间PN所获取的图像信号为第1图像信号SP1N。同样地,在N为偶数时的获取期间PN所获取的图像信号为第2图像信号SP2N。在获取期间PN,在N为奇数的情况下,是获取第1图像信号组的第1期间PL1,在N为偶数的情况下,是获取第2图像信号组的第2期间PL2。以下,主要以相对于红色信号值的第1增益系数RN为代表进行说明,但是对于相对于绿色信号值的第1增益系数GN及相对于蓝色信号值的第1增益系数BN也相同。
对校正第1增益系数的情况进行说明。例如,N=5时,在获取期间PN,对于红色信号值,如图16的箭头所示,用于获取期间P5的第1图像信号组所包括的第1图像信号SP15的获取期间P5的第1增益系数R5使用对用于获取获取期间P5刚刚之前的第1图像信号的获取期间P3的第1图像信号的第1增益系数R3进行校正的校正第1增益系数AR5。校正增益系数ARNは表示增益系数RN得到校正。因此,在使用作为增益系数RN被校正的增益系数RN的情况下,增益系数RN与校正增益系数ARN相同。
如上所述,对于绿色信号值及蓝色信号值分别也相同。因此,对于绿色信号值,用于获取期间P5的第1图像信号组所包括的第1图像信号SP15的获取期间P5的第1增益系数G5使用对用于获取获取期间P5刚刚之前的第1图像信号的获取期间P3的第1图像信号的第1增益系数G3进行校正的校正第1增益系数AG5。并且,对于蓝色信号值,用于获取期间P5的第1图像信号组所包括的第1图像信号SP15的获取期间P5的第1增益系数B5使用对用于获取获取期间P5刚刚之前的第1图像信号的获取期间P3的第1图像信号的第1增益系数B3进行校正的校正第1增益系数AB5。
如上所述,在获取期间PN获取的第1图像信号SP1N中,将多个光进行切换来照明,并切换显示通过各光的照明的获得的多个图像的情况下,使用校正第1增益系数ARN、AGN及ABN,因此能够获得稳定的色调及亮度的图像。
在本实施方式中,对于第1增益系数RN的校正,使用用于校正第1增益系数RN的校正系数WN。使用通过基于第1图像信号组的运算而获得的第1运算值和通过基于第2图像信号组的运算而获得的第2运算值来计算校正系数WN。第1运算值表示第1图像信号组的信号值的代表值,第2运算值表示第2图像信号组的信号值的代表值。校正系数WN优选为第1运算值与第2运算值的比。对于第1运算值及第2运算值和校正系数WN的详细内容将在后面进行叙述。另外,在校正第2增益系数的情况下,也可以使用相同的校正系数来进行校正。
将用于校正相对于红色信号的第1增益系数RN的校正系数设为WrN、将相对于绿色信号的第1增益系数GN及第1增益系数BN的校正系数分别设为WgN及WbN。对用于获取期间PN刚刚之前的获取期间PN-2的第1图像信号的第1增益系数RN-2、GN-2、BN-2乘以校正系数WrN、WgN及WbN而进行校正时的校正第1增益系数ARN、AGN、ABN为以下式(1)~(3)。
ARN=WrN*RN-2 (1)
AGN=WgN*GN-2 (2)
ABN=WbN*BN-2 (3)
由于如上述进行第1增益系数RN的校正,因此第1增益系数RN由使用通过基于第1图像信号组的运算而获得的第1运算值及通过基于第2图像信号组的运算而获得的第2运算值计算出的校正系数WrN进行校正。因此,将基于第2照明光L2的第2期间PL2和基于第1照明光L1的第1期间PL1一并进行调整,因此在将多个光进行切换来照明,并切换显示通过各光的照明而获得的多个图像的情况下,能够根据被摄体的变化,能够使各图像的色泽匹配,同时可视化各图像的差异。
并且,在本实施方式中,在校正第1增益系数RN的情况下,即,在作为第1增益系数使用进行了校正处理的校正第1增益系数ARN的情况下,除了使用用于获取期间PN之前的获取期间PN-2的第1图像信号的第1增益系数RN-2に以外,还可以使用之前的获取期间的第1增益系数RN来进行校正。
更具体而言,获取期间PN的第1增益系数RN可以设为对多个获取期间PN-K的第1增益系数RN-K分别乘以加权系数并将其相加而得的值。K为2以上的偶数。加权系数优选越接近获取期间PN越变大。
并且,获取期间PN之前的多个获取期间PN-K的第1增益系数RN-K的至少一部分为分别被校正的校正第1增益系数ARN-K。多个获取期间PN-K的第1增益系数为在各获取期间PN-K,在白平衡处理中使用的第1增益系数。因此,在这种情况下,作为第1增益系数RN-K使用校正第1增益系数ARN-K,因此第1增益系数RN-K与校正第1增益系数ARN-K相等。另外,在本实施方式中,获取期间PN之前的多个获取期间PN-K的第1增益系数RN-K为分别全部被校正处理的校正第1增益系数ARN-K,在多个获取期间PN-K,白平衡处理中所使用的第1增益系数RN-K为经校正处理的校正第1增益系数ARN-K。
如此,在校正第1增益系数的情况下,例如,在获取期间PN,在N=5的情况下,对于红色信号值,如图17的箭头所示,用于获取期间P5的第1图像信号组所包括的第1图像信号SP15的获取期间P5的第1增益系数R5使用用于获取期间P5刚刚之前的获取期间P3的第1图像信号SP13的第1增益系数即校正第1增益系数AR3、用于获取期间P5的前2次的第1图像信号SP11的第1增益系数即校正第1增益系数AR1、若有获取之前的第1图像信号SP1的获取期间PN,各校正第1增益系数ARN、多个获取期间PN的校正第1增益系数ARN。所使用的校正第1增益系数ARN的个数并无特别限制。因此,对于获取期间P1以前并未图示,但是,例如在获取期间P1之前有获取期间P-1、P-3、……,则使用用于获取期间P-1、P-3、……的第1图像信号SP1的校正第1增益系数ARN即第1增益系数AR-1、AR-3……。
对于加权系数,优选越接近获取期间PN越变大。在此,将加权系数设为αn,对于获取期间PN-K的第1增益系数RN-K(K为2以上的偶数),依次将获取期间PN-2相对于校正第1增益系数ARN-2的加权系数赋予编号α1、将获取期间PN-4相对于校正第1增益系数ARN-4的加权系数赋予编号α2。获取期间PN中的第1增益系数RN若设为数式,则能够设为以下式(4)及(5)。在此,N为整数,n为自然数。
[数学式1]
RN=α1*ARN-2+α2*ARN-4+α3*ARN-6...(4)
∑αn=1 (5)
另外,在如上所述附加加权系数的情况下,若将加权系数αn全部相加,则成为1。在式(4)中,加权系数αn能够乘以越是接近获取时期PN的校正第1增益系数ARN-K越重的系数。因此,例如,将α1设为0.5,将α2设为0.25,将α3设为0.125,设为0.5的n次方。因此,对αn能够设为数式(5)。
在本实施方式中,例如,将获取期间P3的校正第1增益系数AR3由加权系数α1的权重进行加权,将获取期间P1的校正第1增益系数AR1由加权系数α2的权重进行加权,将获取期间P-1的校正第1增益系数由加权系数α3的权重进行加权,越接近获取期间PN,加权系数越变大,以使将α1为0.5,α2为0.25、α3为0.125、α4以下的加权系数全部相加则设为0.125。
并且,在图17中,例如,若获取期间P1为最初的获取期间PN,则用于在获取期间P5获取的第1图像信号SP15的第1增益系数R5成为以下式(6)。另外,α1为0.5,α2为0.5。
[数学式2]
R5=0.5*AR3+0.5*AR1 (6)
如上所述,为了计算用于获取期间RN的第1图像信号SP1N的第1增益系数RN,不仅使用前1次的获取期间PN-2相对于第1图像信号SP1的增益系数RN-2,还使用此前的获取期间相对于多个第1图像信号SP1的增益系数,因此即使为色泽或亮度突然变化的被摄体,增益系数也不会有很大的改变,能够持续以相同的色泽或亮度进行观察。因此,在将多个光进行切换来照明,并将通过各光的照明而获得的多个图像进行切换来显示的情况下,能够获得稳定的色调及亮度的图像。另外,在以上的实施方式中,主要对第1增益系数进行说明,但是在校正第2增益系数的情况下,能够与第1增益系数同样地进行。
在本实施方式中,在校正系数的计算中使用第1运算值和第2运算值。用于计算校正系数的第1运算值和第2运算值优选如下。即,第1运算值通过分别对在第1图像信号组所包括的第1图像信号SP1中将第1图像信号SP1的信号值平均化而获得的第1图像信号值平均各自进行算术平均而获得,第2运算值通过分别对在第2图像信号组所包括的第2图像信号SP2中将第2图像信号SP2的信号值平均化而获得的第2图像信号值平均各自进行算术平均而获得。
另外,第1运算值及第2运算值如上所述除了使用各图像信号值平均的加算平均以外,还能够使用通过第1图像信号组及第2图像信号组获得的值,例如,也可以使用将过去的特定期间分の第1图像信号组所包括的第1图像信号SP1的信号值和过去的特定期间分の第2图像信号组所包括的第2图像信号SP2的信号值进行加算、平均等运算处理而得的值等。
更具体而言,例如,校正系数计算部56首先对第1图像信号组所包括的第1图像信号SP1分别计算与第1图像信号SP1的个数相应的将第1图像信号SP1的信号值平均化的第1图像信号值平均。接着,将对这些多个第1图像信号值平均各自进行算术平均而获得的值作为第1运算值。此外,在第2图像信号组所包括的第2图像信号SP2中也同样地对第2图像信号SP2分别计算与第2图像信号SP2的个数相应的将第2图像信号SP2的信号值平均化的第2图像信号值平均。接着,将对这些多个第2图像信号值平均各自进行算术平均而获得的值作为第2运算值。
利用图18对第1运算值及第2运算值进行说明。例如,为了计算用于获取期间P3所包括的第1图像信号SP13的校正增益系数ARN的校正系数,通过基于获取期间P1和获取期间P2的图像信号的运算来计算第1运算值及第2运算值。首先,将获取期间P1所包括的多个第1图像信号SP11中的任意一个第1图像信号的RGB信号值设为r1-1、g1-1、b1-1,将另一个第1图像信号的RGB信号值设为r1-2、g1-2、b1-2,并依次赋予编号。在获取期间P1,帧数为L,因此获取期间P1所包括的第1图像信号为L个,第1图像信号的RGB信号值为r1-1、g1-1、b1-1至r1-L、g1-L、b1-L。
并且,同样地,对于获取期间P2所包括的多个第2图像信号SP22,同样地将获取期间所包括的多个第2图像信号SP22中的任意一个的第2图像信号的RGB信号值设为r2-1、g2-2、b2-3。在获取期间P2,帧数为M,因此获取期间P2所包括的第2图像信号为M个,第2图像信号的RGB信号值为r2-1、g2-1、b2-1至r2-M、g2-M、b2-M。
并且,将各图像信号的水平像素数量设为i,将垂直像素数量设为j。第1图像信号值平均为多个第1图像信号的各色信号值的图像面内的平均,并设为Sr1-1、Sg1-1、Sb1-1。同样地,第2图像信号值平均为多个第2图像信号的各色信号值的图像面内的平均,并设为Sr2-1、Sg2-1、Sb2-1。因此,Sr1-1、Sg1-1、Sb1-1、Sr2-1、Sg2-1、Sb2-1通过以下式(7)~(12)而获得。通式成为以下式(13)~(18)。
[数学式3]
[数学式4]
接着,第1运算值为对第1图像信号值平均各自进行算术平均而获得的值,因此将获取期间P1的第1图像信号值平均Sr1-L与获取期间P1所包括的帧数的个数的多个第1图像信号全部相加并求平均而得的值分别设为AveSr1、AveSg1、AveSb1。因此,获取期间P1的第1图像信号值平均有Sr1-1至Sr1-L的L个,因此为将它们相加并除以L而得的值。这些通过以下式(19)~(21)而获得。同样地,第2运算值为对第2图像信号值平均各自进行算术平均而获得的值,因此将获取期间P2的第2图像信号值平均与获取期间P2所包括的帧数的个数的多个第2图像信号全部相加并求平均而得的值分别设为AveSr2、AveSg2、AveSb2时,这些通过以下式(22)~(24)而获得。
[数学式5]
在此,例如,对于获取期间P3的校正系数W3,将红色信号的增益系数的校正系数设为Wr3、将绿色信号的增益系数的校正系数设为Wg3、将蓝色信号的增益系数的校正系数设为Wg3时,这些校正系数Wr3、Wg3、Wb3使用获取期间P1的第1运算值即AveSr1、AveSg1、AveSb1和获取期间P2的第2运算值即AveSr2、AveSg2、AveSb2来计算。另外,在本实施方式中,将运算值与校正系数设为相同颜色,以使用红色信号的第1运算值AveSr1和红色信号的第2运算值AveSr2と来计算红色信号的校正系数Wr3。根据情况,可以通过除了相同颜色以外的组合来计算校正系数。
另外,在计算第1图像信号值平均或第2图像信号值平均的情况下,由检测部69在第1图像信号或第2图像信号中检测为血管或病变的部分的图像信号作为异常图像信号去除之后,计算第1图像信号值平均或第2图像信号值平均。同样地,由检测部69在第1图像信号或第2图像信号中检测为异常像素的部分的图像信号作为异常图像信号去除之后,计算第1图像信号值平均或第2图像信号值平均。在此,异常像素包括暗部、光晕等亮部或异常帧等。
通过如上所述计算第1运算值或第2运算值,在第1图像信号及第2图像信号中,分别使用整个图像的信号值来计算校正系数。因此,在切换显示通过各光的照明而获得的多个图像的情况下,根据被摄体的变化,防止整个图像的色泽、亮度等突然变化而能够显示多个图像,因此容易识别多个图像的差异。另外,在使用在第1图像信号及第2图像信号中分别去除异常图像信号的图像的信号值来计算校正系数的情况下,能够进一步以稳定的色调、亮度来显示多个图像。
在本实施方式中,在将第1运算值与第2运算值的比设为校正系数的情况下,如下获得校正系数。即,获取期间PN的第1增益系数能够设为对用于获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数乘以获取期间PN-2中的第1运算值与获取期间PN-1中的第2运算值的比的值而得的值。
例如,如图19所示,获取期间P3的校正系数Wr3、Wg3、Wb3作为第1运算值、第2运算值使用AveSr1、AveSg1、AveSb1、AveSr2、AveSg2、AveSb2,由此设为以下式(25)~(27)。
[数学式6]
因此,在将获取期间P3的各种颜色的增益系数作为R3、G3、B3使用作为校正增益系数的校正第1增益系数AR3、AG3及AB3的情况下,能够通过上述式(1)~(3)和式(25)~(27)设为以下式(28)~(30)。
[数学式7]
式(28)~(30)为与获取期间P3的增益系数有关的式,但是若将其一般化,则能够设为以下式(31)~(33)。在以下式(31)~(33)中,h为奇数。因此,通过以下式(31)~(33),获得由第1照明光获得的获取期间(h+2)中相对于第1图像的校正第1增益系数ARh+2、AGh+2及ABh+2。
[数学式8]
并且,如图20所示,在将获取期间PN的第1增益系数RN设为对多个获取期间PN-K的第1增益系数RN-K分别乘以加权系数并加算而得的值的情况下,通过式(4)和式(31)~(33),校正第1增益系数能够设为以下式(34)。在此,第1增益系数设为获取期间h中的第1增益系数。在此,K为2以上的偶数。
[数学式9]
另外,在式(34)中,如上所述,当全部相加时,使系数α成为1,越是接近获取期间h的校正第1增益系数设为越大的系数。因此,例如,将α1设为0.5,将α2设为0.25,将α3设为0.125,设为0.5的n次方。因此,对αn能够设为数式(5)。
[数学式10]
∑αn=1 (5)
如上所述,例如,为了计算第1增益系数,不仅使用相对于先前的第1图像的增益系数,还使用相对于前两次的第1图像的增益系数,因此即使为色泽或亮度突然改变的被摄体,增益系数也不会较大地改变,能够持续以相同的色泽或亮度进行观察。另外,在以上的实施方式中,主要对第1增益系数进行说明,但是第2增益系数得的计算也同样地进行。
如上所述,通过之前的第1运算值和第2运算值来计算校正系数,从而能够根据被摄体的变化来校正增益系数,因此能够更好地适应被摄体的变化,同时匹配各图像的色泽,并且使各图像的差异可视化。
另外,优选在获取期间PN的第1增益系数RN、GN及BN与用于所获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数RN-2、GN-2及BN-2的差为预先设定的阈值以下的情况下,不进行获取期间PN的第1增益系数RN、GN及BN的校正。并且,优选在获取期间PN的第1增益系数RN、GN及BN与用于所获取期间PN-2的第1图像信号组所包括的第1图像信号的第1增益系数RN-2、GN-2及BN-2的差为预先设定的阈值以上的情况下,不进行获取期间PN的第1增益系数RN、GN及BN的校正。在此,在预设的阈值以下的情况下,例如,图像信号具有不灵敏区等的异常像素部分。在此,不灵敏区是获取到的图像中照明光未到达的部分、透镜外的部分等。并且,在预设的阈值以上的情况例如为图像信号包括光晕等异常像素部分的情况。这些图像信号的异常像素部分由检测部69检测。
另外,在上述实施方式中,光源控制部21根据预设的光量比使各照明光发光,但是也可以根据第1增益系数或第2增益系数控制光量比使各照明光发光。即,第1照明光包括紫色光、绿色光、蓝色光及红色光,第2照明光包括紫色光、蓝色光、绿色光及红色光,光源控制部21可以根据第1增益系数或第2增益系数控制第1照明光和第2照明光所包括的各个颜色各自的发光量。
光源控制部21对于第1照明光以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vs1∶Bs1∶Gs1∶Rs1的第1照明光的方式,控制各LED20a~20d。其结果,获得第1图像的R信号值、第1图像的G信号值、第1图像的B信号值,例如,在校正第1增益系数分别计算为AR1、AG1、AB1的情况下,可以控制第1照明光的光强度比,以成为未进行增益处理时对第1图像信号值分别乘以校正第1增益系数ARN、AGN、ABN而得的值的R信号值。对于第1图像的G信号值、第1图像的B信号值,也能够以相同的方式控制第1照明光的光强度比。
另外,如上所述,在根据校正第1增益系数或校正第2增益系数控制的发光量为特定阈值以下的情况下,光源控制部使发光量增加至预设的最低发光量。例如,光源控制部21对通过第1增益系数进行了白平衡处理的图像信号值在不进行白平衡处理时成为相同的图像信号值的发光量控制发光量,并将此时的发光量与特定的阈值进行比较。
通过如此由光源控制部21调整光量比来进行增益处理,从而进行了处理的图像中有时产生噪声,由此,能够抑制通过增益处理产生噪声,同时能够获得调整色泽或亮度的图像。
另外,如上述实施方式所示,代替在第1照明光中包括紫色光V、蓝色光B、绿色光G、红色光R,如图21所示,也可以在第1照明光中包括中心波长或峰值波长为560~580nm的第1红色窄频带光NR1。并且,如图22所示,代替在第2照明光中包括紫色光V、蓝色光B、绿色光G、红色光R,也可以包括中心波长或峰值波长为630~670nm的第2红色窄频带光NR2。在此情况下,优选确定特定光量条件(第1红色窄频带光NR1的光量条件、第2红色窄频带光NR2的光量条件),以使将第1红色窄频带光NR1作为观察对象进行拍摄而获得的第1图像信号中至少与特定活体组织对应的特定活体组织的第1红色信号(第1特定色信号)的信号值与将第2红色窄频带光NR2作为观察对象进行拍摄而获得的第2图像信号中至少与特定活体组织对应的特定活体组织的第2红色信号(第2特定色信号)的信号值一致。另外,第1红色窄频带光NR1和第2红色窄频带光NR2分别对摄像传感器48的R像素具有灵敏度。
在上述实施方式中,图像获取部52、DSP54、去噪部58、普通观察图像处理部62、特殊观察图像处理部63、显示控制部64、静止图像保存部65、静止图像保存控制部66等、处理器装置16中所包括的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中,包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit:中央处理器)、GPU(Graphical Processing Unit:图形处理单元)、制造FPGA(Field Programmable Gate Array:现场可编程门阵列)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、及具有为了执行ASIC(Application Specific Integrated Circuit:专用集成电路)等特定处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合、GPU与CPU的组合)构成。并且,也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(SystemOn Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(IntegratedCircuit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。
另外,本发明除了组装于如上述实施方式的内窥镜系统的处理器装置以外,还能够适用于组装于胶囊型内窥镜系统的处理器装置或各种医用图像处理装置中。
本发明还能够通过下述另一方式来实施。
一种内窥镜系统的处理器装置,所述内窥镜系统具备使第1照明光和使具有与所述第1照明光不同的发光光谱的第2照明光发光的光源部,其中,
进行将第1照明光和所述第2照明光自动进行切换来发光的控制,并使第1照明光发光的发光期间和使所述第2照明光发光的发光期间分别为至少1帧以上的发光期间,
获取第1图像信号组和第2图像信号组,所述第1图像信号组包括对在第1照明光的发光期间由第1照明光照明的被摄体进行拍摄而得的第1图像信号,所述第2图像信号组包括对在第2照明光的发光期间由第2照明光照明的被摄体进行拍摄而得的第2图像信号,
对第1图像信号乘以第1增益系数,并对第2图像信号乘以第2增益系数来进行白平衡处理,
白平衡部使用对第1增益系数和第2增益系数中的至少任一个进行校正而得的校正增益系数进行白平衡处理。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,13a-模式切换SW,13b-静止图像获取命令部,14-光源装置,16-处理器装置,18-显示器,19-用户界面,20-光源部,20a-V-LED(Violet Light Emitting Diode:紫色发光二极管),20b-B-LED(Blue Light Emitting Diode:蓝色发光二极管),20c-G-LED(GreenLight Emitting Diode:绿色发光二极管),20d-R-LED(Red Light Emitting Diode:红色发光二极管),21-光源控制部,23-光路结合部,24-发光期间设定部,26a-滑杆,26b-滑杆,27a-滑块,27b-滑块,30a-照明光学系统,30b-摄像光学系统,41-光导件,45-照明透镜,46-物镜,48-摄像传感器,48b-B过滤器,48g-G过滤器,48r-R过滤器,50-CDS/AGC电路,52-图像获取部,54-DSP(Digital Signal Processor:数字信号处理器),55-白平衡部,56-校正系数算定部,58-去噪部,60-信号切换部,62-普通观察图像处理部,63-特殊观察图像处理部,64-显示控制部,65-静止图像保存部,66-静止图像保存控制部,67-第1特殊观察图像处理部,68-第2特殊观察图像处理部,69-检测部,L1-第1照明光,L2-第2照明光,PL1-第1期间,PL2-第2期间,SP1-第1特殊观察图像(第1图像),SP2-第2特殊观察图像(第2图像),VP-紫色光图像,RP-红色光图像,VS1-表层血管,VS2-中层血管,BM-背景粘膜,V/B-紫色光及蓝色光,G-绿色光,R-红色光,D-深度方向。
Claims (18)
1.一种内窥镜系统,其具备:
光源部,使第1照明光和具有与所述第1照明光不同的发射光谱的第2照明光发光;
光源控制部,进行使所述第1照明光和所述第2照明光自动进行切换来发光的控制,其中,使所述第1照明光发光的发光期间和使所述第2照明光发光的发光期间分别为至少1帧以上的发光期间;
图像获取部,其获取第1图像信号组和第2图像信号组,所述第1图像信号组包括对在所述第1照明光的发光期间由所述第1照明光照明的被摄体进行拍摄而得的第1图像信号,所述第2图像信号组包括对在所述第2照明光的发光期间由所述第2照明光照明的被摄体进行拍摄而得的第2图像信号;及
白平衡部,对所述第1图像信号乘以第1增益系数,并对所述第2图像信号乘以第2增益系数来进行白平衡处理,
所述白平衡部使用对所述第1增益系数和所述第2增益系数中的至少任一个进行校正而得的校正增益系数进行白平衡处理。
2.根据权利要求1所述的内窥镜系统,其中,
所述白平衡部使用未校正的固定的所述第2增益系数来进行所述白平衡处理。
3.根据权利要求1或2所述的内窥镜系统,其中,
所述第1图像信号或所述第2图像信号包括蓝色信号、红色信号及绿色分量,
所述第1图像信号的信号值或所述第2图像信号的信号值由蓝色信号值、红色信号值及绿色信号值组成。
4.根据权利要求3所述的内窥镜系统,其中,
所述白平衡部针对所述蓝色信号值、所述红色信号值及所述绿色信号值分别确定所述第1增益系数或所述第2增益系数。
5.根据权利要求1至4中任一项所述的内窥镜系统,其中,
在校正所述第1增益系数的情况下,
用于获取期间PN的所述第1图像信号组所包括的所述第1图像信号的所述获取期间PN的所述第1增益系数为校正用于所述获取期间PN刚刚之前的获取期间PN-2的所述第1图像信号的所述获取期间PN-2的所述第1增益系数而得的校正第1增益系数,其中,N为整数。
6.根据权利要求1至4中任一项所述的内窥镜系统,其中,
在校正所述第1增益系数的情况下,
用于获取期间PN之前的多个获取期间PN-2的所述第1图像信号组所包括的所述第1图像信号的多个所述获取期间PN-K的所述第1增益系数的至少一部分为分别被校正的所述校正增益系数,其中,K为2以上的偶数,
用于所述获取期间PN的所述第1图像信号组所包括的所述第1图像信号的所述获取期间PN的所述第1增益系数为对多个所述获取期间PN-K的所述第1增益系数分别乘以加权系数并相加而得的值,
所述加权系数越接近所述获取期间PN则越大。
7.根据权利要求6所述的内窥镜系统,其中,
在各所述获取期间PN-K,在所述白平衡处理中使用多个所述获取期间PN-K的所述第1增益系数。
8.根据权利要求1至7中任一项所述的内窥镜系统,其中,
在所述第1增益系数或所述第2增益系数的校正中使用用于校正所述第1增益系数及所述第2增益系数中的至少一者的校正系数,
所述校正系数使用通过基于所述第1图像信号组的运算而获得的第1运算值和通过基于所述第2图像信号组的运算而获得的第2运算值来计算。
9.根据权利要求8所述的内窥镜系统,其中,
所述第1运算值通过在所述第1图像信号组所包括的所述第1图像信号中对将所述第1图像信号的信号值平均化而获得的第1图像信号值平均各自进行算术平均而获得,
所述第2运算值通过在所述第2图像信号组所包括的所述第2图像信号中对将所述第2图像信号的信号值平均化而获得的第2图像信号值平均各自进行算术平均而获得。
10.根据权利要求9所述的内窥镜系统,其中,
所述内窥镜系统具备检测部,所述检测部在所述第1图像信号或所述第2图像信号中检测血管或病变部分的图像信号来作为异常图像信号,
所述第1图像信号值平均或所述第2图像信号值平均分别通过使用除所述异常图像信号以外的所述第1图像信号的信号值或所述第2图像信号的信号值而获得。
11.根据权利要求9所述的内窥镜系统,其中,
所述内窥镜系统具备检测部,所述检测部在所述第1图像信号或所述第2图像信号中检测异常像素部分的图像信号来作为异常图像信号,
所述第1图像信号值平均或所述第2图像信号值平均分别通过使用除所述异常图像信号以外的所述第1图像信号的信号值或所述第2图像信号的信号值而获得。
12.根据权利要求8至11中任一项所述的内窥镜系统,其中,
所述校正系数为所述第1运算值与所述第2运算值的比。
13.根据权利要求8至12中任一项所述的内窥镜系统,其中,
所述获取期间PN的所述第1增益系数为对用于所述获取期间PN-2的所述第1图像信号组所包括的所述第1图像信号的所述第1增益系数乘以所述获取期间PN-2中的所述第1运算值与所述获取期间PN-1中的所述第2运算值的比的值而得的值。
14.根据权利要求5所述的内窥镜系统,其中,
在所述获取期间PN的所述第1增益系数与用于所述获取期间PN-2的所述第1图像信号组所包括的所述第1图像信号的所述第1增益系数的差为预先设定的阈值以下的情况下,不进行所述所述获取期间PN的所述第1增益系数的校正。
15.根据权利要求5所述的内窥镜系统,其中,
在所述获取期间PN的所述第1增益系数与用于所述获取期间PN-2的所述第1图像信号组所包括的所述第1图像信号的所述第1增益系数的差为预先设定的阈值以上的情况下,不进行所述所述获取期间PN的所述第1增益系数的校正。
16.根据权利要求1至15中任一项所述的内窥镜系统,其中,
所述第1照明光包含紫色光、绿色光及红色光,所述第2照明光包含蓝色光、绿色光及红色光,
所述光源控制部根据所述第1增益系数或所述第2增益系数控制所述第1照明光和所述第2照明光所包含的各个颜色各自的发光量。
17.根据权利要求16所述的内窥镜系统,其中,
在根据所述第1增益系数或所述第2增益系数控制的所述发光量为特定阈值以下的情况下,所述光源控制部使所述发光量增加至预先设定的最低发光量。
18.根据权利要求1至17中任一项所述的内窥镜系统,其中,
所述图像处理部通过所述第1图像信号生成第1显示用观察图像,并且通过所述第2图像信号生成第2显示用观察图像,
所述第1显示用观察图像强调表层血管,所述第2显示用观察图像强调位于比所述表层血管深的位置的中深层血管。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-014802 | 2019-01-30 | ||
JP2019014802 | 2019-01-30 | ||
PCT/JP2019/047008 WO2020158165A1 (ja) | 2019-01-30 | 2019-12-02 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113366366A true CN113366366A (zh) | 2021-09-07 |
CN113366366B CN113366366B (zh) | 2023-04-28 |
Family
ID=71842114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980090845.5A Active CN113366366B (zh) | 2019-01-30 | 2019-12-02 | 内窥镜系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210338069A1 (zh) |
JP (1) | JP7136933B2 (zh) |
CN (1) | CN113366366B (zh) |
WO (1) | WO2020158165A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023007896A1 (ja) * | 2021-07-28 | 2023-02-02 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置及びその作動方法 |
DE102022117580A1 (de) | 2022-07-27 | 2024-02-01 | Karl Storz Se & Co. Kg | Medizinische Bildgebungsvorrichtung, medizinisches Bildgebungssystem und Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012152246A (ja) * | 2011-01-21 | 2012-08-16 | Hoya Corp | ホワイトバランス調整システム、内視鏡プロセッサ、補正とバランス調整キャップ |
JP2017113458A (ja) * | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 内視鏡用光源装置及びその作動方法、並びに内視鏡システム |
JP2017202241A (ja) * | 2016-05-13 | 2017-11-16 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び信号処理方法 |
JP2019005096A (ja) * | 2017-06-23 | 2019-01-17 | 富士フイルム株式会社 | プロセッサ装置及びその作動方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6013382B2 (ja) * | 2014-02-27 | 2016-10-25 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP6203088B2 (ja) * | 2014-03-13 | 2017-09-27 | オリンパス株式会社 | 生体観察システム |
JP6234350B2 (ja) * | 2014-09-30 | 2017-11-22 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
EP3222194A4 (en) * | 2014-11-20 | 2018-08-01 | Olympus Corporation | Observation apparatus |
JP6660707B2 (ja) * | 2015-10-23 | 2020-03-11 | Hoya株式会社 | 内視鏡システム |
JP6550420B2 (ja) * | 2017-06-02 | 2019-07-24 | 富士フイルム株式会社 | 内視鏡装置 |
-
2019
- 2019-12-02 JP JP2020569410A patent/JP7136933B2/ja active Active
- 2019-12-02 CN CN201980090845.5A patent/CN113366366B/zh active Active
- 2019-12-02 WO PCT/JP2019/047008 patent/WO2020158165A1/ja active Application Filing
-
2021
- 2021-07-12 US US17/372,648 patent/US20210338069A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012152246A (ja) * | 2011-01-21 | 2012-08-16 | Hoya Corp | ホワイトバランス調整システム、内視鏡プロセッサ、補正とバランス調整キャップ |
JP2017113458A (ja) * | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 内視鏡用光源装置及びその作動方法、並びに内視鏡システム |
JP2017202241A (ja) * | 2016-05-13 | 2017-11-16 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び信号処理方法 |
JP2019005096A (ja) * | 2017-06-23 | 2019-01-17 | 富士フイルム株式会社 | プロセッサ装置及びその作動方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020158165A1 (ja) | 2020-08-06 |
US20210338069A1 (en) | 2021-11-04 |
JPWO2020158165A1 (ja) | 2021-11-11 |
JP7136933B2 (ja) | 2022-09-13 |
CN113366366B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111770717B (zh) | 内窥镜系统 | |
US20200260942A1 (en) | Endoscope system and method of operating the same | |
US11311185B2 (en) | Endoscope system | |
US20210338069A1 (en) | Endoscope system | |
US11937788B2 (en) | Endoscope system | |
CN111050629B (zh) | 内窥镜系统 | |
JP6891294B2 (ja) | 内視鏡システム及びその作動方法 | |
US11744437B2 (en) | Medical image processing system | |
CN111712178A (zh) | 内窥镜系统及其工作方法 | |
US11969152B2 (en) | Medical image processing system | |
CN113454514B (zh) | 内窥镜系统 | |
CN112472011A (zh) | 内窥镜系统及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |