CN109419484A - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN109419484A
CN109419484A CN201811007363.2A CN201811007363A CN109419484A CN 109419484 A CN109419484 A CN 109419484A CN 201811007363 A CN201811007363 A CN 201811007363A CN 109419484 A CN109419484 A CN 109419484A
Authority
CN
China
Prior art keywords
light
light source
signal value
signal
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811007363.2A
Other languages
English (en)
Other versions
CN109419484B (zh
Inventor
大桥永治
森本美范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN109419484A publication Critical patent/CN109419484A/zh
Application granted granted Critical
Publication of CN109419484B publication Critical patent/CN109419484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131Accessories for endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

本发明提供即使在用于观察的光中发生波长偏移也维持内窥镜图像的色调的内窥镜系统,具有:光源部,具备至少1个出射包括波长互不相同的2个颜色成分的光的第1光源;图像传感器,至少具有第1元件部和第2元件部,第1元件部具有对第1光源的2个颜色成分中的第1颜色成分的光谱灵敏度,第2元件部具有第2颜色成分的光谱灵敏度;处理器,采用从光源部的至少1个第1光源出射的光来拍摄观察对象,获得由图像传感器的第1元件部获得的第1颜色成分的第1信号值及由第2元件部获得的第2颜色成分的第2信号值。处理器求出第1信号值与第2信号值的信号比,通过改变第1信号值及第2信号值中的至少1个信号值,从而将信号比设定为预先规定的设定值。

Description

内窥镜系统
技术领域
本发明涉及一种使用波长不同的多个光获取观察对象的内窥镜图像的内窥镜系统,尤其涉及一种即使在用于观察的光中发生波长偏移也维持内窥镜图像的色调的内窥镜系统。
背景技术
近年来,在医疗中广泛实施使用了具备内窥镜用光源装置、电子内窥镜(内窥镜观测器)及处理器装置的内窥镜系统的诊断等。内窥镜用光源装置产生照明光并对观察对象进行照射。关于电子内窥镜,照射照明光并通过图像传感器拍摄观察对象,从而生成图像信号。关于处理器装置,对通过电子内窥镜生成的图像信号进行图像处理而生成用于显示在监视器的观察图像。
以往,在内窥镜用光源装置中,作为照明光使用了发出白色光的氙灯及卤素灯等灯光源,但在最近,正在使用发出特定颜色的光的激光二极管(LD:Laser Diode)或发光二极管(LED:Light Emitting Diode)等半导体光源来代替灯光源。
例如,专利文献1中记载有具备向内窥镜供给照明光的光源装置的内窥镜系统。专利文献1的光源装置具有:第1半导体光源,由半导体构成且发出第1蓝色光;及荧光体,通过蓝色光而被激发,从而发出包括绿色成分及红色成分的荧光,并且该光源装置具备:第1光源部,出射混合透射了荧光体的第1蓝色光和荧光而成的白色光;蓝色光截止滤波器,配置于白色光的光路上,且对透射了荧光体的第1蓝色光进行截止;第2光源部,具有发出第2蓝色光的第2半导体光源;光混合部,在蓝色光截止滤波器的后一阶段混合第2蓝色光和荧光而生成白色光;及光源控制部,控制第1光源部及第2光源部各自的光量。
专利文献1:日本特开2014-161639号公报
专利文献1中记载有若包括白色光的G成分(绿色成分)和R成分(红色成分)的荧光FL与和B成分(蓝颜色成分)对应的蓝色光B的色彩平衡(光量比)发生变化,则导致观察部位的色调发生变化。针对这一点,专利文献1中记载有通过上述光源装置的结构,进行将荧光FL与蓝色光B的光量比保持成恒定的光量控制,因此能够准确地校正色彩平衡。如此,专利文献1中进行了将光量比保持成恒定的光量控制,但在半导体光源中,除了光量比的变动以外,有时还因为由发光强度引起的温度漂移而发生波长偏移。波长偏移也会导致观察部位的色调变化,在这种情况下,需要根据波长偏移来进行校正,但通过专利文献1的光量控制则无法应对。
发明内容
本发明的目的在于,解决基于前述现有技术的问题点,并提供一种即使在用于观察的光中发生波长偏移也维持内窥镜图像的色调的内窥镜系统。
为了达到上述目的,本发明提供一种内窥镜系统,其具有:光源部,具备至少1个出射包括波长互不相同的2个颜色成分的光的第1光源;图像传感器,至少具有第1元件部和第2元件部,所述第1元件部具有对第1光源的2个颜色成分中的第1颜色成分的光谱灵敏度,所述第2元件部具有对第2颜色成分的光谱灵敏度;及处理器,采用从光源部的至少1个第1光源出射的光来拍摄观察对象,并获得由图像传感器的第1元件部获得的第1颜色成分的第1信号值及通过第2元件部获得的第2颜色成分的第2信号值,处理器求出第1信号值与第2信号值的信号比,通过改变第1信号值及第2信号值中的至少1个信号值,从而将信号比设定为预先规定的设定值。
优选处理器使用图像传感器的第1信号值及第2信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源的光量,通过按照光量来改变第1信号值及第2信号值中的至少1个信号值,从而将信号比设定为预先规定的设定值。
优选光源部具有至少1个出射除了2个颜色成分以外的颜色的光的第2光源,且图像传感器至少具有第3元件部,该第3元件部具有对除了2个颜色成分以外的颜色的光的光谱灵敏度,处理器获得由图像传感器的第3元件部获得的除了2个颜色成分以外的颜色的光的第3信号值。
优选光源部具有1个第1光源且具有1个第2光源,图像传感器具有第1元件部、第2元件部及第3元件部,且处理器获得通过图像传感器的第1元件部、第2元件部及第3元件部分别获得的第1信号值、第2信号值及第3信号值。
优选处理器根据图像传感器的第1信号值、第2信号值及第3信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源的光量,并根据光量来改变第1信号值、第2信号值及第3信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。
优选处理器根据图像传感器的第1信号值、第2信号值及第3信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源的光量,并根据光量,且以第1信号值、第2信号值及第3信号值中的1个信号值作为基准值来改变第1信号值、第2信号值及第3信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。
优选除了2个颜色成分以外的颜色的光为显示蓝色的光,2个颜色成分中第1颜色成分为绿色,第2颜色成分为红色。
优选除了2个颜色成分以外的颜色的光为显示红色的光,2个颜色成分中第1颜色成分为蓝色,第2颜色成分为绿色。
优选光源部作为第1光源具有出射包括显示绿色的第1颜色成分和显示红色的第2颜色成分在内的光的光源或出射包括显示蓝色的第1颜色成分和显示绿色的第2颜色成分在内的光的光源。
优选光源部作为第1光源具有出射包括显示绿色的第1颜色成分和显示红色的第2颜色成分在内的光的光源及出射包括显示蓝色的第1颜色成分和显示绿色的第2颜色成分在内的光的光源。
优选第1光源具有发出激发光的发光元件和通过激发光发出包括第1颜色成分及第2颜色成分的光的荧光体。
优选第1光源具有发光二极管,该发光二极管具备包括第1颜色成分和第2颜色成分的发射光谱。
优选第1光源具有发光峰值位于第1元件部的光谱灵敏度的峰值波长与第2元件部的光谱灵敏度的峰值波长之间的发光二极管。
优选图像传感器中,第1元件部的光谱灵敏度和第2元件部的光谱灵敏度存在重叠的范围。
本发明提供一种内窥镜系统,其具有:光源部,具备至少1个出射包括波长互不相同的2个颜色成分的光的第1光源;图像传感器,至少具有第1元件部和第2元件部,所述第1元件部具有对第1光源的2个颜色成分中的第1颜色成分的光谱灵敏度,所述第2元件部具有对第2颜色成分的光谱灵敏度;及处理器,采用从光源部的至少1个第1光源出射的光来拍摄观察对象,并获得通过图像传感器的第1元件部获得的第1颜色成分的第1信号值及通过第2元件部获得的第2颜色成分的第2信号值,并求出第1信号值与第2信号值的信号比,第1光源中,第1颜色成分与第2颜色成分的光量比根据所出射的光的光量而变化,处理器采用图像传感器的第1信号值及第2信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源的光量,并根据光量来改变第1信号值及第2信号值中的至少1个信号值,以使得信号比成为预先规定的设定值。
发明效果
根据本发明,无论光量如何,都能够维持内窥镜图像的色调。
附图说明
图1是概念性地表示本发明的第1实施方式的内窥镜系统的一例的立体图。
图2是概念性地表示本发明的第1实施方式的内窥镜系统的一例的框图。
图3是表示本发明的第1实施方式的内窥镜系统的图像传感器的一例的示意图。
图4是表示本发明的第1实施方式的内窥镜系统的图像传感器的滤色器的配置的一例的示意图。
图5是表示本发明的第1实施方式的内窥镜系统的光源部的一例的示意图。
图6是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱及图像传感器的光谱灵敏度的一例的曲线图。
图7是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱的由光量变化引起的波长偏移的曲线图。
图8是表示本发明的第1实施方式的内窥镜系统的图像传感器中的信号比的变动的一例的曲线图。
图9是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱的由光量变化引起的波长偏移及图像传感器的光谱灵敏度的一例的曲线图。
图10是表示本发明的第1实施方式的内窥镜系统的信号校正系数的一例的曲线图。
图11是表示本发明的第1实施方式的内窥镜系统的光源部的一例的变形例的示意图。
图12是表示本发明的第2实施方式的内窥镜系统的光源部的一例的示意图。
图13是表示本发明的第2实施方式的内窥镜系统的光源部的发射光谱及图像传感器的光谱灵敏度的一例的曲线图。
图14是表示本发明的第2实施方式的内窥镜系统的图像传感器中的信号比的变动的一例的曲线图。
具体实施方式
以下,基于所附的附图中示出的优选实施方式,对本发明的内窥镜系统进行详细地说明。
另外,以下说明的图是用于说明本发明的例示性图,本发明并不限定于以下示出的图。
另外,以下中表示数值范围的“~”是指包括在两侧记载的数值。例如,ε为数值α~数值β是指ε的范围为包括数值α和数值β的范围,用数学符号表示为α≤ε≤β。
若没有特别的记载,则“平行”等角度包括在该技术领域中一般所允许的误差范围。若没有特别的记载,则“相同”包括在该技术领域中一般所允许的误差范围。
通常,蓝色的波长为约445nm至约485nm左右,例如,有时将蓝色与绿色的中间颜色例如称为蓝绿色而与蓝色进行区分。但是,在内窥镜系统10中,至少关于光源部的各光源所出射的光,无需过度地细分颜色种类(颜色的名称)。因此,将具有约440nm以上且小于约490nm的波长的光的颜色称为蓝色。并且,具有约490nm以上且小于约600nm的波长的光的颜色称为绿色,且具有约600nm以上且小于约680nm的波长的光的颜色称为红色。而且,将具有小于上述蓝色波长的下限即“约440nm”的波长的可见光,例如约380nm以上且小于约440nm的可见光的颜色称为紫色,虽然比紫色波长短,但表示图像传感器48具有灵敏度的光的颜色时称为紫外。并且,具有上述红色波长的上限即“约680nm”以上的波长且表示图像传感器48具有灵敏度的光的颜色时称为红外。并且,“宽频带”是指波长范围遍及到多种颜色的波长范围。白色是指至少包括属于上述蓝色或紫色的光、属于绿色的光及属于红色的颜色的光的光的颜色。
[第1实施方式]
图1是概念性地表示本发明的第1实施方式的内窥镜系统的一例的立体图,图2是概念性地表示本发明的第1实施方式的内窥镜系统的一例的框图。
如图1所示,内窥镜系统10具备:内窥镜观测器(以下,还简称为内窥镜)12,拍摄作为观察对象的活体内(受检体内)的观察部位;处理器装置16,基于通过摄像而获得的图像信号来生成观察部位的显示图像;内窥镜用光源装置(以下,简称为光源装置)14,将照射观察部位的照明光供给至内窥镜12;及监视器18,对显示图像进行显示。处理器装置16中连接有键盘及鼠标等作为操作输入部的控制台19。
内窥镜系统10能够执行用于对观察部位进行观察的通常观察模式及用于着重观察存在于观察部位的粘膜内部的血管的血管强调观察模式。血管强调观察模式是用于将作为血管信息的血管图案可视化,从而进行肿瘤的良性或恶性鉴别等诊断的模式。在该血管强调观察模式中,将包括很多对血液中血红蛋白的吸光度高的特定波长波段的光的成分的照明光照射到观察部位。
在通常观察模式中,作为显示图像而生成适于对观察部位的整体进行观察的通常观察图像。在血管强调观察模式中,作为显示图像而生成适于观察血管图案的血管强调观察图像。
内窥镜12具有:插入部12a,插入被检体内;操作部12b,设置于插入部12a的基端部分;弯曲部12c,设置于插入部12a的前端侧;及前端部12d。通过对操作部12b的角度旋钮12e进行操作,弯曲部12c弯曲。弯曲部12c弯曲的结果,前端部12d朝向所希望的方向。另外,在前端部12d设置有朝向观察对象喷射空气或水等的喷射口(未图示)。并且,操作部12b中,除了角度旋钮12e以外,还设置有:用于插入处置器具的钳道口;在由送气送水喷嘴进行送气或送水时进行操作的送气送水按钮;用于对静止图像进行摄影的静止按钮(freezebutton)(未图示);变焦操作部13a;及模式切换开关13b。变焦操作部13a在对观察对象进行放大或缩小时使用。模式切换开关13b在内窥镜系统10具有多个观察模式时用于观察模式的切换。
并且,内窥镜12具备用于将内窥镜12连接于处理器装置16及光源装置14的通用塞绳17。
通用塞绳17中插通有从插入部12a延伸设置的通讯电缆或光导41(参考图2),处理器装置16及光源装置14侧的一端安装有连接器。连接器为由通讯用连接器和光源用连接器组成的复合型连接器。通讯用连接器装卸自如地连接于处理器装置16,光源用连接器装卸自如地连接于光源装置14。通讯用连接器中配设有通讯电缆的一端。光源用连接器中配设有光导41的入射端。
如图2所示,光源装置14具备:光源部20,具有主波长不同的2个以上的光源;光源控制部22,控制光源部20的发光定时及发光量等;及光源驱动部21,根据光源控制部22的控制信号生成驱动电流,并向各光源供给驱动电流(驱动信号)而出射光。
在光源装置14中,光源控制部22控制光源驱动部21,以使照明光Ls(参考图5)从光源部20以特定的光量照射到作为观察对象的对象物Ob(参考图5)。例如,即使内窥镜的前端部12d(参考图5)与对象物Ob(参考图5)的距离Ld(参考图5)发生变化,也对照明光Ls的光量进行控制,以使内窥镜图像的亮度成为恒定。此时,例如使用根据图像传感器48的传感器信号获得的亮度值控制照明光Ls的光量,以使亮度值成为恒定。
此时,光源部20中设置有如后述的光检测器91、92及93(参考图5),光检测器91、92及93(参考图5)所检测的各光源的光量信息输入至光源控制部22,从而获得各光源的光量信息。基于各光源的光量信息及图像传感器48的亮度值,自动准确地控制光源部20的光源的发光量。
从光源部20出射的照明光入射于光导41。光导41内置于内窥镜12及通用塞绳17内,将照明光传输至内窥镜12的前端部12d。通用塞绳17为连接内窥镜12与光源装置14及处理器装置16的塞绳。另外,作为光导41,能够使用多模光纤。作为一例,能够使用芯径为105μm、包层直径为125μm、包括成为外皮的保护层在内的直径为0.3~0.5mm的细径的光缆。
内窥镜12的前端部12d设置有照明光学系统30a及摄影光学系统30b。照明光学系统30a具有照明透镜45,照明光经由该照明透镜45照射于观察对象。摄影光学系统30b具有物镜46、变焦透镜47及图像传感器48。图像传感器48经由物镜46及变焦透镜47,并使用从观察对象返回的照明光的反射光等对观察对象进行摄影。上述从观察对象返回的照明光的反射光等中,除了反射光以外,还包含散射光、观察对象所发出的荧光或对观察对象给药等的药剂引起的荧光等。
另外,变焦透镜47通过进行变焦操作部13a的操作来移动。其结果,对使用图像传感器48进行摄影的观察对象进行放大或缩小来观察。
图像传感器48使用例如CCD(Charge Coupled Device:电荷耦合元件)传感器及CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)传感器等光电转换元件。在使用了光电转换元件的图像传感器48中,对接收到的光进行光电转换,按照每个像素积蓄与光接收量相应的信号电荷作为传感器信号。每个像素的信号电荷转换成电压信号并从图像传感器48读出。从图像传感器48读出的每个像素的电压信号作为图像信号而输入至DSP(Digital Signal Processor:数字信号处理器)56。
图像传感器48例如在1帧的获取期间内进行针对像素积蓄信号电荷的积蓄动作及读出所积蓄的信号电荷的读出动作。光源装置14根据图像传感器48的积蓄动作的定时来生成照明光,并入射于光导41。
如图3所示,图像传感器48具有:像素部49,具有光电转换功能;及滤波器部50,对特定波长区域具有光谱灵敏度,由像素部49及滤波器部50构成第1元件部48a、第2元件部48b及第3元件部48c。在具有光电转换功能的像素部49中,如上所述,作为传感器信号积蓄信号电荷。
在图像传感器48中,第1元件部48a具有:第1像素49a,具有光电转换功能;及第1滤波器50a,对第1颜色成分具有光谱灵敏度。根据入射于图像传感器48的光而通过第1元件部48a获得第1颜色成分的第1信号值。
第2元件部48b具有:第2像素49b,具有光电转换功能;及第2滤波器50b,对第2颜色成分具有光谱灵敏度。根据入射于图像传感器48的光而通过第2元件部48b获得第2颜色成分的第2信号值。
第3元件部48c具有:第3像素49c,具有光电转换功能;及第3滤波器50c,对第3颜色成分具有光谱灵敏度。第3颜色成分为除了第1颜色成分及第2颜色成分以外的颜色。通过入射于图像传感器48的光而通过第3元件部48c获得第3颜色成分的第3信号值。
图像传感器48例如为在各像素中具有滤色器,且为原色系的彩色传感器。第1滤波器50a、第2滤波器50b及第3滤波器50c例如由滤色器构成。此时,图像传感器48的第1滤波器50a、第2滤波器50b及第3滤波器50c为例如R滤色器(红色滤色器)、G滤色器(绿色滤色器)及B滤色器(蓝色滤色器)中的任一个。关于第1元件部48a、第2元件部48b及第3元件部48c,根据上述第1颜色成分、第2颜色成分及第3颜色成分而被适当地确定。
第1像素49a、第2像素49b及第3像素49c的各像素中,具有R滤色器的像素为R像素,具有G滤色器的像素为G像素,且具有B滤色器的像素为B像素。作为图像传感器48的传感器信号,从R像素获得R信号、从G像素获得G信号及从B像素获得B信号。R信号、G信号及B信号作为图像信号而输入至DSP56。
如此,图像传感器48具有例如R像素、G像素及B像素这3色的像素,因此,若使用白色光作为照明光来对观察对象进行摄影时,则可同时获得通过R像素对观察对象进行摄影而获得的R图像、通过G像素对观察对象进行摄影而获得的G图像及通过B像素对观察对象进行摄影而获得的B图像。
R滤色器50R参考图4)、G滤色器50G参考图4)及B滤色器50B参考图4)的配置并无特别限定,但例如如图4所示,考虑可视性而以R∶G∶B=1∶2∶1的比配置。
另外,例如,上述R信号的信号值相当于第2信号值,G信号的信号值相当于第1信号值,B信号的信号值相当于第3信号值。
另外,关于图像传感器48,例示了原色系的彩色传感器,但并不限定于此,也能够使用补色系的彩色传感器。补色系的彩色传感器例如具有设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色滤色器的绿色像素。使用补色系彩色传感器时,从上述各颜色的像素获得的图像只要进行补色原色颜色转换,则能够转换为B图像、G图像及R图像。并且,能够使用未设置有滤色器的单色传感器作为图像传感器48来代替彩色传感器。此时,能够通过使用BGR等各颜色的照明光对观察对象依次进行摄影而获得上述各颜色的图像。
并且,图1所示的插入部12a中插通有通讯电缆及光导41,该通讯电缆传送驱动图像传感器48的驱动信号和图像传感器48所输出的图像信号,该光导41将从光源装置14供给的照明光引导至照明窗。
如图2所示,处理器装置16具有图像获取部54、校正量计算部60、图像处理部61、显示控制部66及控制部69。处理器装置16相当于本发明的处理器。
图像获取部54获取从图像传感器48的各像素获得图像信号并使用图像传感器48对观察对象进行摄影来获取的多个颜色的摄影图像。具体而言,图像获取部54按每个摄影帧获取B图像、G图像及R图像的组。并且,图像获取部54具有DSP56、干扰降低部58及转换部59,使用这些对所获取的摄影图像实施各种处理。从图像传感器48的各像素作为传感器信号而获得的例如R信号、G信号及B信号输出至校正量计算部60及控制部69。
DSP56根据需要对所获取的摄影图像实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种处理。并且,在DSP56中,根据作为图像信号而输入的图像传感器48的传感器信号来获得亮度值。另外,作为亮度值,例如可以使用G信号。
缺陷校正处理为对与图像传感器48的缺陷像素对应的像素的像素值进行校正的处理。
偏移处理为从已实施缺陷校正处理的图像降低暗电流成分,并设定准确的零电平的处理。
增益校正处理为通过对已进行偏移处理的图像乘以增益来调整各图像的信号电平的处理。
线性矩阵处理为提高已进行偏移处理的图像的颜色再现性的处理,伽马转换处理为调整线性矩阵处理之后的图像的亮度或彩度的处理。
去马赛克处理(还称作各向同性处理或同步化处理)为对缺失的像素的像素值进行插值的处理,对伽马转换处理之后的图像实施。缺失的像素是指,为了滤色器的排列,在图像传感器48中配置有其他颜色的像素,因而没有像素值的像素。例如,B图像为在B像素中对观察对象进行摄影而获得的图像,因此图像传感器48中与G像素或R像素对应的位置的像素中没有像素值。去马赛克处理对B图像进行插值,生成位于图像传感器48的G像素及R像素的位置的像素的像素值。
YC转换处理为将去马赛克处理之后的图像转换为亮度通道Y与色差通道C b及色差通道Cr的处理。
干扰降低部58例如利用移动平均法或中值滤波法等对亮度通道Y、色差通道Cb及色差通道Cr实施干扰降低处理。
转换部59将干扰降低处理之后的亮度通道Y、色差通道Cb及色差通道Cr再次重新转换为BGR的各颜色的图像。
校正量计算部60进行用于维持内窥镜图像的色调的校正,并计算后述的校正系数或者存储校正系数。
图像处理部61对已实施上述各种处理的1摄影帧量的B图像、G图像及R图像实施颜色转换处理、色彩强调处理及结构强调处理来生成观察图像。关于颜色转换处理,对BGR各颜色的图像进行3×3的矩阵处理、灰度转换处理或3维LUT(查找表)处理等。色彩强调处理为强调图像的色彩的处理,结构强调处理为强调例如血管及凹坑图案等的观察对象的组织或结构的处理。
显示控制部66从图像处理部61依次获取观察图像,将所获取的观察图像转换为适于显示的形式并依次输出显示于显示器18。由此,医生等能够使用观察图像的静态图像或动态图像来对观察对象进行观察。
控制部69例如具有CPU(Central Processing Unit:中央处理单元),进行照明光的出射定时与摄影帧的同步控制等内窥镜系统10的整体控制。并且,内窥镜系统10具有多个观察模式时,控制部69通过接收来自模式切换开关13b的操作输入,并经由光源控制部22来切换照明光。由此,观察模式被切换。
处理器装置16与监视器18及控制台19电连接。监视器18根据需要输出显示观察图像及所附带的图像信息等。控制台19作为接收功能设定等输入操作的用户接口而发挥功能。另外,处理器装置16也可以连接记录图像及图像信息等的外置记录部(未图示)。
以下,对光源装置14的结构及作用进行更详细说明。图5是表示本发明的第1实施方式的内窥镜系统的光源部的一例的示意图。
如图5所示,光源装置14的光源部20具有第1光源71、第2光源72及追加光源74。能够分别独立地控制第1光源71、第2光源72及追加光源74。并且,光源部20具备冷却第1光源71、第2光源72及追加光源74的各光源的发光元件的散热片等冷却部件。
在光源装置14中,从光源部20出射的光穿过光导41而作为照明光Ls照射于对象物Ob。照射于对象物Ob的照明光Ls的反射光Lr经由物镜46而入射于图像传感器48。
第1光源71所出射的第1光经由使第1光穿过的合波部件77及透镜78而入射于光导41。
在第1光源71与合波部件77之间设置有分束器94。通过分束器94并以规定比例反射第1光源71所出射的第1光的一部分。分束器94所反射的光由光检测器91接收。光源控制部22使用光检测器91所检测的光量来自动准确地控制第1光源71的第1光的发光量。
第2光源72所出射的第2光经由透射第2光的合波部件76及合波部件77及透镜78而入射于光导41。
在第2光源72与合波部件76之间设置有分束器95。通过分束器95并以规定比例反射第2光源72所出射的第2光的一部分。分束器95所反射的光由光检测器92接收。光源控制部22使用光检测器92所检测的光量来自动准确地控制第2光源72的第2光的发光量。
追加光源74所出射的光经由透射追加光源74所出射的光的合波部件76及合波部件77以及透镜78而入射于光导41。
在追加光源74与合波部件76之间设置有分束器96。通过分束器96并以规定比例反射追加光源74所出射的光的一部分。分束器96所反射的光由光检测器93接收。光源控制部22使用光检测器93所检测的光量来自动准确地控制追加光源74的光的发光量。
合波部件76及合波部件77例如为分色镜或分色棱镜等。透镜78是用于使来自光源部20的光集中并入射于光导41的透镜。
光检测器91、92、93为例如利用了光电效应的光电倍增管、利用了由光照射引起的电阻变化的CdS及PbS等光电元件或利用了半导体的pn接合的光伏型光电二极管等。
第1光源71具备:发光元件81,出射包括波长互不相同的2个颜色成分的第1光;及透镜82,将发光元件81所出射的第1光调整为平行光等。发光元件81为例如LED(发光二极管)或LD等半导体元件,该LED(发光二极管)或LD等半导体元件具备包括在波长互不相同的2个色成分中的第1色成分及第2色成分的发射光谱。
第1光源71为出射由包括例如第1颜色成分为绿色、第2颜色成分为红色的波长互不相同的2个颜色成分的绿色成分组成的光(以下,称为绿色光)的光源。将1个颜色的光作为2个颜色的光来利用。绿色光也称为显示绿色的光。
第2光源72具备:发光元件83,作为除了上述波长互不相同的2个颜色成分以外的颜色的光,出射第2光;及透镜84,将发光元件83所出射的第2光调整为平行光等。发光元件83为例如LED或LD等半导体元件。
第1光源71中,在波长互不相同的2个颜色成分中,例如第1颜色成分为绿色、第2颜色成分为红色时,第2光源72为出射由蓝颜色成分组成的光(以下,称为蓝色光)的光源。蓝色光也称为显示蓝色的光。
第1光源71也可以为第1颜色成分为蓝色、第2颜色成分为绿色的蓝色光。此时,第2光源72使用出射由红色成分组成的光(以下,称为红色光)的光源。红色光也可以称为显示红色的光。
波长互不相同的2个颜色成分是指,存在2个作为颜色成分而能够分离的颜色成分。在此,如上所述,蓝色光为具有约440nm以上且小于约490nm的波长的光。绿色光为具有约490nm以上且小于约600nm的波长的光。红色光为具有约600nm以上且小于约680nm的波长的光。例如,若波长区域为490nm~700nm的光,则包括上述绿色光及红色光。并且,若波长区域为440nm~600nm,则包括上述蓝色光及绿色光。
并且,在主波长不同的2个以上的光源中,主波长不同是指,各光源所出射的光的峰值波长不是相同的波长、若没有峰值波长则为中心波长不是相同的波长。关于峰值波长或中心波长的相同的范围,根据内窥镜系统10的规格等而被适当地确定。
追加光源74出射例如由紫色成分组成的光(以下,称为紫色光)。追加光源74具备发光元件86及将发光元件86所出射的紫色光调整为平行光等的透镜87。发光元件86为例如LED或LD等半导体元件。追加光源74所出射的紫色光经由反射紫色光的合波部件76及透射紫色光的合波部件77而入射于光导41。紫色光的紫色成分在图像传感器48中由B像素接收光。因此,紫色光的反射光和蓝色光的反射光等共同有助于B图像。
在通常观察模式时,光源控制部22将第1光源71及第2光源72点亮,并且设为不点亮追加光源74。另一方面,在血管强调观察模式时,光源控制部22将第1光源71、第2光源72及追加光源74全部点亮。
第1光源71出射第1颜色成分为绿色、第2颜色成分为红色的绿色光,且第2光源72出射蓝色光时,在通常观察模式时,将第1光源71所出射的包括绿色光及红色光的光与第2光源72所出射的蓝色光进行合波而生成宽频带的白色光。另一方面,在血管强调观察模式时,生成对白色光混合对血液中血红蛋白的吸光度高的紫色光而成的混合光。另外,光源控制部22降低蓝色光的光量比例,以使在血管强调观察模式时,紫色光相较于蓝色光成为主导。
上述结构的光源装置14中,从光源装置14的光源部20出射的光,即穿过内窥镜12的光导41而从内窥镜的前端部12d出射的照明光Ls(参考图5)具有例如图6所示的发射光谱LE。
在此,图6是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱及图像传感器的光谱灵敏度的一例的曲线图,图7是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱的由光量变化引起的波长偏移的曲线图。图7是扩大表示在图6的发射光谱LE中包括作为波长450nm~700nm的颜色成分的绿色成分Gc及红色成分Rc的范围的曲线图。
另外,在图6所示的发射光谱LE中,符号V显示紫色光,符号B显示蓝色光,符号G显示绿色光、符号R显示红色光。并且,在图6所示的发射光谱LE中,用实线表示的光谱为光量相对低的光谱,用虚线表示的光谱为光量相对高的光谱。
在图6所示的发射光谱LE中,在波长400nm附近具有峰值波长,在波长450nm附近具有峰值波长。波长400nm附近的峰值波长是由通过追加光源74出射的紫色光引起的,波长450nm附近的峰值波长是由通过第2光源72出射的蓝色光引起的。
波长470nm~700nm的光是由通过第1光源71出射的绿色光引起的,作为颜色成分而包括绿色和红色。
图6所示的发射光谱LE显示几乎白色的光。在内窥镜系统10中,用具有包括蓝色光、绿色光及红色光的发射光谱LE的照明光Ls的反射光Lr,使用具有图6所示的光谱灵敏度特性的图像传感器48对观察对象进行摄影。图6所示的符号Bf表示对显示蓝色的光的光谱灵敏度。符号Gf表示对显示绿色的光的光谱灵敏度。符号Rf表示对显示红色的光的光谱灵敏度。光谱灵敏度Bf与光谱灵敏度Gf存在重叠的波长范围,光谱灵敏度Gf与光谱灵敏度Rf存在重叠的波长范围。对于光谱灵敏度,并不限定于这些。
如上所述,图像传感器48具有第1元件部48a、第2元件部48b及第3元件部48c。例如,第1元件部48a对显示绿色的光具有光谱灵敏度Gf。第2元件部48b对显示红色的光具有光谱灵敏度Rf。第3元件部48c对显示蓝色的光具有光谱灵敏度Bf。
并且,第1光源71可以为具有在第1元件部48a的光谱灵敏度的峰值波长与第2元件部48b的光谱灵敏度的峰值波长之间存在发光峰值的发光二极管的结构。此时,若第1元件部48a为光谱灵敏度Gf、第2元件部48b为光谱灵敏度Rf,则使用在波长550~600nm存在发光峰值的发光二极管。若第1元件部48a为光谱灵敏度Bf、第2元件部48b为光谱灵敏度Gf,则使用在波长450~550nm存在发光峰值的发光二极管。
在此,如图6及图7所示,若光量变化,则发射光谱LE发生波长偏移。在图6所示的发射光谱LE中,从1个第1光源71出射包括绿色及红色成分的绿色光,因此如图7所示,由于由光量变化引起的发射光谱LE的波长偏移,绿色成分Gc与红色成分Rc的光量比发生变化时,绿色成分Gc与红色成分Rc的光量比成为不恒定。其结果,如图8所示,在图像传感器48中,由于光量变化,会导致尤其是红色光的信号值与绿色光的信号值的信号比D1不恒定,而发生偏差。
由此,由于光量变化,经由图像传感器48获得的观察对象的内窥镜图像的色调发生偏差。即,内窥镜图像的白平衡被破坏。为了抑制由光量变化而产生的色调偏差,且无论光量如何,都使色调成为恒定,在处理器装置16中实施如下的处理。
另外,关于绿色光及蓝色光,不产生发射光谱的波长偏移,或波长偏移小,如图8所示,蓝色光的信号值与绿色光的信号值的信号比D2无论光量如何都恒定。
使用从光源部20的至少1个第1光源71出射的光来拍摄观察对象,在处理器装置16中,获得在图像传感器48的第1元件部48a获得的第1颜色成分的第1信号值及在第2元件部48b获得的第2颜色成分的第2信号值。处理器装置16求出第1信号值与第2信号值的信号比,并改变第1信号值及第2信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。
在图像传感器48中,在第1元件部48a获得第1颜色成分的第1信号值,在第2元件部48b获得第2颜色成分的第2信号值,在第3元件部48c获得除了2个颜色成分以外的颜色的光的第3信号值。
并且,将第1信号值及第2信号值从DSP56输出至校正量计算部60。通过校正量计算部60求出第1信号值与第2信号值的信号比,并改变第1信号值及第2信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。
并且,也可以设为如下:根据光量来改变第1信号值、第2信号值及第3信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。此时,确定根据光量而改变的第1信号值、第2信号值或第3信号值,并且将改变的值作为校正系数而求出,并将校正系数存储于校正量计算部60。
在校正量计算部60中,例如将信号比设为预先设定的设定值即1,如图8所示,对于红色光的信号值与绿色光的信号值的信号比D1,求出上述信号比成为1的红色光的信号值的校正系数或绿色光的信号值的校正系数,并将校正系数存储于校正量计算部60。然后,在图像处理部61中,从校正量计算部60调出校正系数,并使用校正系数对1摄影帧量的G图像或R图像实施校正处理。此时,通过改变红色光的信号值或绿色光的信号值,而能够如上述那样将信号比设为预先设定的设定值,例如将信号比设为1。
并且,使用第1信号值及第2信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源71的光量。然后,可以根据光量来改变第1信号值及第2信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。此时,在校正量计算部60中,确定根据光量来改变的第1信号值或第2信号值,并且将改变的值作为校正系数来求出,并将校正系数存储于校正量计算部60。
并且,使用第1信号值、第2信号值及第3信号值中的至少1个来计算亮度值,并基于亮度值来确定第1光源71的光量。然后,可以通过将第1信号值、第2信号值及第3信号值中的1个信号值作为基准值,并根据光量来改变第1信号值、第2信号值及第3信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。还将这种设定为设定值的处理称为白平衡处理。
此时,在校正量计算部60中,确定成为基准值的第1信号值、第2信号值或第3信号值,并确定根据光量来改变的第1信号值、第2信号值或第3信号值,并且将改变的值作为校正系数而求出,并将校正系数存储于校正量计算部60。
另外,在上述中以1个信号值作为基准值,但并不限定于此。也可以不设定基准值而根据光量来改变第1信号值、第2信号值及第3信号值中的至少1个信号值,由此将信号比设定为预先规定的设定值。
通过白平衡处理,无论光量如何,都能够将内窥镜图像的色调设为恒定。以下,针对白平衡处理进行说明。此时,以通过图像传感器48来获得内窥镜图像的B信号、G信号及R信号为例进行说明。并且,将G信号设为白平衡处理的基准。
首先,在制造内窥镜系统时,在基准光量点P0实际进行白板摄影,并求出基准光量点P0处的信号比B(P0)/G(P0)、R(P0)/G(P0)。此时,信号比为实际测量值。
基准光量点P0处的白平衡增益成为G(P0)/B(P0)、G(P0)/R(P0)这一基准光量点P0处的信号比的倒数。
进而,在制造内窥镜系统时,求出基于波长偏移的信号比的变动率Δ(B/G)(P)、Δ(R/G)(P),该波长偏移是由光量变化引起的、观测器出射的发射光谱的波长偏移。
求出下述式所表示的信号比的变动率Δ(B/G)(P)、Δ(R/G)(P)的方法为如下。
首先,可以使用在任意光量P下使用白板进行了实际测量的信号比,也可以使用如下信号比,即,至从光源部20出射的照明光Ls的发射光谱的波长偏移为止,提前用光谱测量仪进行实际测量,并使用已知的图像传感器的光谱灵敏度而计算的信号比。另外,传感器信号能够通过对图像传感器的光谱灵敏度与发射光谱进行积分来求得。
[数式1]
其中,Δ(B/G)(P0)=1,Δ(R/G)(P0)=1。
任意光量P下的信号比成为如下。
[数式2]
B(P0)/G(P0)·Δ(B/G)(P),R(P0)/G(P0)·Δ(R/G)(P)
如下述式所示,上述任意光量P下的信号比的倒数成为依赖光量的白平衡增益。
[数式3]
在此,上述式的G(P0)/B(P0)、G(P0)/R(P0)的部分为基准光量点P0的白平衡增益,由此,传感器信号的信号比变动率的倒数Iv即Iv=1/(Δ(B/G)(P))、Iv=1/(Δ(R/G)(P))成为光量依赖增益校正系数。
在实际使用内窥镜系统时,将基准光量点P0的白平衡增益及光量依赖增益校正系数提前存储于内窥镜系统10的校正量计算部60。对观察对象进行摄影而获得的B信号及R信号乘以光量依赖增益校正系数,由此执行白平衡处理。
在白板摄影时,任意光量P下的所有信号将被调整为G(P)。
[数式4]
G(P)→G(P)
针对用于无论光量如何都使内窥镜图像的色调成为恒定的白平衡处理的具体例进行说明。此时,以通过图像传感器48来获得内窥镜图像的B信号、G信号及R信号为例进行说明。
图9是表示本发明的第1实施方式的内窥镜系统的光源部的发射光谱的由光量变化引起的波长偏移及图像传感器的光谱灵敏度的一例的曲线图,图10是表示本发明的第1实施方式的内窥镜系统的信号校正系数的一例的曲线图。
首先,将从光源部20对白板以光量1、光量0.5及光量0.01的各光量照射照明光Ls时的信号值设为如下述表1的值。但在目前,对于进行白平衡处理的调整操作人员而言,该信号值为未知状态。
[表1]
传感器信号 光量1 光量0.5 光量0.01
B信号 710.4 667.7 617.0
G信号 880.6 814.8 757.1
R信号 367.8 332.5 303.9
为了进行白平衡处理,调整操作人员只要将表1的光量0.5作为基准光量点,并用白板仅对其信号值进行实际测量即可。对于调整操作人员而言,光量1及光量0.01的信号值仍是未知。接着,根据表1的光量0.5的各信号计算信号比,并取其倒数来求出下述表2所示的增益。当然,在该阶段光量1及光量0.01的增益为未知。
[表2]
增益 光量1 光量0.5 光量0.01
G<sub>0</sub>/B<sub>0</sub> - 1.220 -
G<sub>0</sub>/G<sub>0</sub> - 1.000 -
R<sub>0</sub>/B<sub>0</sub> - 2.451 -
接着,对图9所示的发射光谱LE进行实际测量。并且,使用图9所示的图像传感器48的光谱灵敏度求出各光量下的信号比。下述表3的“B/G”表示B信号与G信号的信号比,“R/G”表示R信号与G信号的信号比。对于调整操作人员而言,虽然光量1及光量0.01的信号值为未知,但通过本测定,光量1与光量0.01的信号比变得明确。相较于使用了白板的测定,发射光谱的测定为仅使用了照明光的(不包括拍摄的)更为简单的方法,对于光量1及光量0.01仅实施后者即可。
[表3]
信号比 光量1 光量0.5 光量0.01
B/G 0.807 0.819 0.815
R/G 0.418 0.408 0.401
接着,通过计算求出信号比变动率Δ(B/G)、Δ(R/G)。信号比变动率例如通过光量0.5的基准光量点P0进行标准化。
[表4]
接着,通过计算求出光量依赖增益校正系数1/(Δ(B/G))、1/(Δ(R/G))。光量依赖增益校正系数为信号比变动率的倒数Iv。由此,例如如图10所示,能够求出光量依赖增益校正系数。图10的符号G1表示光量依赖增益校正系数1/(Δ(B/G)),符号G2表示光量依赖增益校正系数1/(Δ(R/G))。
[表5]
接着,通过计算求出光量依赖白平衡增益。光量依赖白平衡增益为上述光量依赖增益校正系数与基准光量点处的增益的乘积的值。
[表6]
光量依赖白平衡增益 光量1 光量0.5 光量0.01
G(P)/B(P) 1.240 1.220 1.227
G(P)/R(P) 2.394 2.451 2.491
实际使用内窥镜系统时,将通过调整而获取的表6的光量依赖白平衡增益与实际使用内窥镜系统时将会获取的表1的各光量下的传感器信号相乘,由此能够针对通过图像传感器48所获得的B信号、G信号及R信号获取白平衡。对于调整操作人员而言,虽然表1及表7的光量1及光量0.01的信号值尚且未知,但实际使用内窥镜系统时,能够可靠地实现信号值的白平衡。由此,能够对内窥镜图像实施白平衡处理,且无论光量如何,都能够获得色调恒定的内窥镜图像,能够更准确地进行诊断。
[表7]
传感器信号 光量1 光量0.5 光量0.01
B信号 880.6 814.8 757.1
G信号 880.6 814.8 757.1
R信号 880.6 814.8 757.1
如上述图6所示,虽然光谱灵敏度Bf与光谱灵敏度Gf存在重叠的波长范围,光谱灵敏度Gf与光谱灵敏度Rf存在重叠的波长范围,但图像传感器48的光谱灵敏度的波长范围越窄,且重叠的波长范围越窄,则越能够获得无混色的纯度高的内窥镜图像。若重叠的波长范围窄,则由于发射光谱的波长偏移,上述信号比容易发生偏差,变得容易产生色调的变化。然而,即使重叠的波长的范围窄,通过上述白平衡处理,无论光量如何,都能够使内窥镜图像的色调成为恒定。如此,即使在图像传感器48的光谱灵敏度的波长范围窄的情况下,上述白平衡处理也有效。
另外,光源部20的结构并不限定于上述图5所示的结构。
图11是表示本发明的第1实施方式的内窥镜系统的光源部的一例的变形例的示意图。
图11所示的光源部20与图5所示的光源部20相比,第1光源71的结构不同,除此以外的结构与图5所示的光源部20相同,因此省略其详细说明。
图11所示的第1光源71具有:发光元件81a,发出激发光;及荧光体81b,发光元件81a所发出的激发光入射,由此发出包括波长互不相同的2个颜色成分的光。
第1光源71中,例如发光元件81a所发出的激发光为在约445nm具有峰值的蓝色光,荧光体81b所发出的光为除了绿色成分以外还包括红色成分的宽频带的绿色光。除此以外,第1光源71也可以为如下光源,即改变发光元件81a所发出的激发光的波长和荧光体81b而为发出除了蓝色成分以外还包括绿色成分的宽频带的蓝色光的光源。
[第2实施方式]
接着,针对第2实施方式进行说明。
图12是表示本发明的第2实施方式的内窥镜系统的光源部的一例的示意图。
第2实施方式中,光源部的结构不同。图12所示的光源部20与图5所示的光源部20相比,除了不同的光源结构以外的结构与图5所示的光源部20相同,因此省略其详细说明。
图12所示的光源部20具有第3光源75。在图5所示的光源部20中,从第1光源71出射包括波长互不相同的2个颜色成分的光,但在图12所示的光源部20中,从第1光源71出射第1颜色成分的光,并从第3光源75出射第2颜色成分的光来作为第3光。
在第1光源71与合波部件77之间设置有合波部件79。合波部件79透射第1光源71所出射的光。合波部件79将通过第1光源71出射的第1颜色成分的光及通过第3光源75出射的第2颜色成分的光进行合波,并且引导至合波部件77。
能够分别独立地控制第1光源71、第2光源72、第3光源75及追加光源74。
第3光源75作为第3光具备:发光元件88,出射第2颜色成分的光;及透镜89,将发光元件88所出射的光调整为平行光等。发光元件88例如为LED或LD等半导体元件。第3光源75所出射的第3光经由透射第3光的合波部件79及合波部件77而入射于光导41。
在第3光源75与合波部件79之间设置有分束器98。通过分束器98并以规定比例反射第3光源75所出射的第3光的一部分。分束器98所反射的光由光检测器97接收。光源控制部22使用光检测器97所检测的光量来自动准确地控制第3光源75的第3光的发光量。
合波部件79为与合波部件76及合波部件77结构相同的合波部件,例如为分色镜或分色棱镜等。
光检测器97与上述光检测器91、92及93结构相同。
第1光源71的发光元件81c例如出射绿色光作为第1色成分的光。第3光源75的发光元件88例如出射红色光作为第2色成分的光。
并且,也可以设为第1光源71的发光元件81c例如出射蓝色光作为第1颜色成分的光,第3光源75的发光元件88例如出射绿色光作为第2颜色成分的光,第2光源72出射红色光的结构。
图13是表示本发明的第2实施方式的内窥镜系统的光源部的发射光谱及图像传感器的光谱灵敏度的一例的曲线图,图14是表示本发明的第2实施方式的内窥镜系统的图像传感器中的信号比的变动的一例的曲线图。在图13所示的发射光谱LE中,用实线表示的光谱为光量相对低的光谱,用虚线表示的光谱为光量相对高的光谱。
在图13所示的发射光谱LE及图像传感器48的光谱灵敏度中,对于与图6所示的发射光谱LE及图像传感器48的光谱灵敏度相同的结构标注相同符号,省略其详细说明。
图13所示的图像传感器48的光谱灵敏度与图6所示的图像传感器48的光谱灵敏度相同。
图13所示的发射光谱LE与图6所示的发射光谱LE相比,不同之处在于,在波长630nm附近具有峰值波长及存在波长500~600nm的光,除此以外与图6所示的发射光谱LE相同。
在波长630nm附近的峰值波长是由通过第3光源75出射的红色光产生的。波长500~600nm的光是由通过第1光源71出射的绿色光产生的。
在图13所示的光源部20中也存在发射光谱LE的波长偏移。因此,如图14所示,尤其是红色光的信号值与绿色光的信号值的信号比D1不恒定,而产生偏差。另外,蓝色光的信号值与绿色光的信号值的信号比D2无论光量如何都恒定。
即使在这种情况下,如上所述,通过求出校正系数而能够将信号比设定为预先规定的设定值,且无论光量如何,都能够使内窥镜图像的色调成为恒定。如此,当产生发射光谱LE的波长偏移时,不受光源部20的结构的限制而能够使内窥镜图像的色调成为恒定。
本发明基本上以如上的形式构成。以上,针对本发明的内窥镜系统进行了详细说明,但本发明并不限定于上述实施方式,当然,在不脱离本发明的主旨的范围内,可以进行各种改进或变更。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-角度旋钮,13a-变焦操作部,13b-模式切换开关,14-光源装置,16-处理器装置,17-通用塞绳,18-监视器,19-控制台,20-光源部,21-光源驱动部,22-光源控制部,30a-照明光学系统,30b-摄影光学系统,41-光导,45-照明透镜,46-物镜,47-变焦透镜,48-图像传感器,48a-第1元件部,48b-第2元件部,48c-第3元件部,49-像素部,49a-第1像素,49b-第2像素,49c-第3像素,50-滤波器部,50B-B滤色器,50G-G滤色器,50R-R滤色器,50a-第1滤波器,50b-第2滤波器,50c-第3滤波器,54-图像获取部,58-干扰降低部,59-转换部,60-校正量计算部,61-图像处理部,66-显示控制部,69-控制部,71-第1光源,72-第2光源,74-追加光源,75-第3光源,76-合波部件,77-合波部件,78-透镜,79-合波部件,81、81a、81b、81c、83、86、88-发光元件,82、84、87、89-透镜,91、92、93、97-光检测器,94、95、96、98-分束器,Bf、Gf、Rf-光谱灵敏度,D1、D2-信号比,G1、G2-光量依赖增益校正系数,Gc-绿色成分,LE-发射光谱,Lr-反射光,Ld-距离,Ls-照明光,Ob-对象物,Rc-红色成分。

Claims (15)

1.一种内窥镜系统,其具有:
光源部,具备至少1个出射包括波长互不相同的2个颜色成分的光的第1光源;
图像传感器,至少具有第1元件部和第2元件部,所述第1元件部具有对所述第1光源的2个颜色成分中的第1颜色成分的光谱灵敏度,所述第2元件部具有对第2颜色成分的光谱灵敏度;及
处理器,采用从所述光源部的至少1个所述第1光源出射的所述光来拍摄观察对象,并获得由所述图像传感器的所述第1元件部获得的所述第1颜色成分的第1信号值及由所述第2元件部获得的所述第2颜色成分的第2信号值,
所述处理器求出所述第1信号值与所述第2信号值的信号比,通过改变所述第1信号值及所述第2信号值中的至少1个信号值,从而将所述信号比设定为预先规定的设定值。
2.根据权利要求1所述的内窥镜系统,其中,
所述处理器采用所述图像传感器的所述第1信号值及所述第2信号值中的至少1个信号值来计算亮度值,基于所述亮度值来确定所述第1光源的光量,通过按照所述光量来改变所述第1信号值及所述第2信号值中的至少1个信号值,从而将所述信号比设定为预先规定的设定值。
3.根据权利要求1所述的内窥镜系统,其中,
所述光源部至少具有1个出射除了所述2个颜色成分以外的颜色的光的第2光源,
所述图像传感器至少具有第3元件部,该第3元件部具有对除了所述2个颜色成分以外的颜色的所述光的光谱灵敏度,
所述处理器获得由所述图像传感器的所述第3元件部获得的除了所述2个颜色成分以外的颜色的所述光的第3信号值。
4.根据权利要求3所述的内窥镜系统,其中,
所述光源部具有1个所述第1光源且具有1个所述第2光源,
所述图像传感器具有所述第1元件部、所述第2元件部及所述第3元件部,
所述处理器获得由所述图像传感器的所述第1元件部、所述第2元件部及所述第3元件部分别获得的所述第1信号值、所述第2信号值及所述第3信号值。
5.根据权利要求4所述的内窥镜系统,其中,
所述处理器根据所述图像传感器的所述第1信号值、所述第2信号值及所述第3信号值中的至少1个信号值来计算亮度值,并基于所述亮度值来确定所述第1光源的光量,通过按照所述光量来改变所述第1信号值、所述第2信号值及所述第3信号值中的至少1个信号值,从而将所述信号比设定为预先规定的设定值。
6.根据权利要求4所述的内窥镜系统,其中,
所述处理器根据所述图像传感器的所述第1信号值、所述第2信号值及所述第3信号值中的至少1个信号值来计算亮度值,并基于所述亮度值来确定所述第1光源的光量,
通过按照所述光量并以所述第1信号值、所述第2信号值及所述第3信号值中的1个信号值作为基准值来改变所述第1信号值、所述第2信号值及所述第3信号值中的至少1个信号值,从而将所述信号比设定为预先规定的设定值。
7.根据权利要求4至6中任一项所述的内窥镜系统,其中,
除了所述2个颜色成分以外的颜色的所述光为显示蓝色的光,
所述2个颜色成分中所述第1颜色成分为绿色,所述第2颜色成分为红色。
8.根据权利要求4至6中任一项所述的内窥镜系统,其中,
除了所述2个颜色成分以外的颜色的所述光为显示红色的光,
所述2个颜色成分中所述第1颜色成分为蓝色,所述第2颜色成分为绿色。
9.根据权利要求1至4中任一项所述的内窥镜系统,其中,
所述光源部作为所述第1光源具有出射包括显示绿色的所述第1颜色成分和显示红色的所述第2颜色成分在内的光的光源或出射包括显示蓝色的所述第1颜色成分和显示绿色的所述第2颜色成分在内的光的光源。
10.根据权利要求1至4中任一项所述的内窥镜系统,其中,
所述光源部作为所述第1光源具有出射包括显示绿色的所述第1颜色成分和显示红色的所述第2颜色成分在内的光的光源及出射包括显示蓝色的所述第1颜色成分和显示绿色的所述第2颜色成分在内的光的光源。
11.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述第1光源具有:
发光元件,发出激发光;和
荧光体,通过所述激发光发出包括所述第1颜色成分及所述第2颜色成分在内的所述光。
12.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述第1光源具有发光二极管,该发光二极管具备包括所述第1颜色成分和所述第2颜色成分在内的发射光谱。
13.根据权利要求12所述的内窥镜系统,其中,
所述第1光源具有发光二极管,该发光二级管的发光峰值位于所述第1元件部的光谱灵敏度的峰值波长与所述第2元件部的光谱灵敏度的峰值波长之间。
14.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述图像传感器中,所述第1元件部的光谱灵敏度和所述第2元件部的光谱灵敏度存在重叠的范围。
15.一种内窥镜系统,其具有:
光源部,至少具备1个出射包括波长互不相同的2个颜色成分的光的第1光源;
图像传感器,至少具有第1元件部和第2元件部,所述第1元件部具有对所述第1光源的2个颜色成分中的第1颜色成分的光谱灵敏度,所述第2元件部具有对第2颜色成分的光谱灵敏度;及
处理器,采用从所述光源部的至少1个所述第1光源出射的光来拍摄观察对象,并获得由所述图像传感器的所述第1元件部获得的所述第1颜色成分的第1信号值及由所述第2元件部获得的所述第2颜色成分的第2信号值,求出所述第1信号值与所述第2信号值的信号比,
所述第1光源中,所述第1颜色成分与所述第2颜色成分的光量比根据所出射的所述光的光量而变化,
所述处理器采用所述图像传感器的所述第1信号值及所述第2信号值中的至少1个信号值来计算亮度值,并基于所述亮度值来确定所述第1光源的光量,按照所述光量来改变所述第1信号值及所述第2信号值中的至少1个信号值,以使得所述信号比成为预先规定的设定值。
CN201811007363.2A 2017-08-31 2018-08-30 内窥镜系统 Active CN109419484B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017166400A JP6791821B2 (ja) 2017-08-31 2017-08-31 内視鏡システム
JP2017-166400 2017-08-31

Publications (2)

Publication Number Publication Date
CN109419484A true CN109419484A (zh) 2019-03-05
CN109419484B CN109419484B (zh) 2023-07-07

Family

ID=63449240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811007363.2A Active CN109419484B (zh) 2017-08-31 2018-08-30 内窥镜系统

Country Status (4)

Country Link
US (1) US10560639B2 (zh)
EP (1) EP3453308B1 (zh)
JP (1) JP6791821B2 (zh)
CN (1) CN109419484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111110175A (zh) * 2019-12-31 2020-05-08 深圳开立生物医疗科技股份有限公司 一种内窥镜光源及其调光方法、装置和内窥镜系统
CN114224268A (zh) * 2022-02-24 2022-03-25 极限人工智能有限公司 图像处理装置以及内窥镜影像系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP6791821B2 (ja) * 2017-08-31 2020-11-25 富士フイルム株式会社 内視鏡システム
WO2019053804A1 (ja) * 2017-09-13 2019-03-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2020014718A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 内視鏡用光源装置および内視鏡システム
JP6916768B2 (ja) * 2018-09-05 2021-08-11 富士フイルム株式会社 内視鏡システム
JP7344976B2 (ja) * 2019-10-04 2023-09-14 富士フイルム株式会社 内視鏡システム及びその作動方法
US10877283B1 (en) * 2019-12-02 2020-12-29 T.Q. Optoelectronics Co., Ltd. Light source module
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116159A1 (en) * 2009-07-06 2012-05-10 Akira Mizuyoshi Lighting device for endoscope and endoscope device
US20140121468A1 (en) * 2012-10-26 2014-05-01 Halma Holdings, Inc. Spectroscopic illumination device using white light leds
CN104510435A (zh) * 2013-10-03 2015-04-15 富士胶片株式会社 内窥镜用光源装置和使用它的内窥镜系统
US20160270642A1 (en) * 2013-12-20 2016-09-22 Olympus Corporation Endoscope apparatus
CN106163372A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 内窥镜系统及其工作方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5067638B2 (ja) * 2009-04-13 2012-11-07 Necエンジニアリング株式会社 画像読取装置
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5258869B2 (ja) * 2010-12-13 2013-08-07 富士フイルム株式会社 内視鏡装置
WO2013164962A1 (ja) * 2012-05-01 2013-11-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5997630B2 (ja) 2013-02-27 2016-09-28 富士フイルム株式会社 光源装置、及びこれを用いた内視鏡システム
JP6304953B2 (ja) * 2013-06-27 2018-04-04 オリンパス株式会社 観察装置
WO2016189582A1 (ja) * 2015-05-22 2016-12-01 Necディスプレイソリューションズ株式会社 照明装置、プロジェクタ、表示システム及び光源調整方法
CN108024689B (zh) * 2015-09-24 2020-03-20 奥林巴斯株式会社 内窥镜装置
EP3360462A4 (en) * 2015-10-08 2019-04-24 Olympus Corporation ENDOSCOPE DEVICE
WO2017104046A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 内視鏡装置
JPWO2017216883A1 (ja) * 2016-06-14 2019-04-04 オリンパス株式会社 内視鏡装置
WO2017216878A1 (ja) * 2016-06-14 2017-12-21 オリンパス株式会社 内視鏡装置
CN109310277B (zh) * 2016-09-28 2021-06-15 奥林巴斯株式会社 医疗设备和医疗设备系统
JP6791821B2 (ja) * 2017-08-31 2020-11-25 富士フイルム株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116159A1 (en) * 2009-07-06 2012-05-10 Akira Mizuyoshi Lighting device for endoscope and endoscope device
US20140121468A1 (en) * 2012-10-26 2014-05-01 Halma Holdings, Inc. Spectroscopic illumination device using white light leds
CN104510435A (zh) * 2013-10-03 2015-04-15 富士胶片株式会社 内窥镜用光源装置和使用它的内窥镜系统
US20160270642A1 (en) * 2013-12-20 2016-09-22 Olympus Corporation Endoscope apparatus
CN106163372A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 内窥镜系统及其工作方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111110175A (zh) * 2019-12-31 2020-05-08 深圳开立生物医疗科技股份有限公司 一种内窥镜光源及其调光方法、装置和内窥镜系统
CN114224268A (zh) * 2022-02-24 2022-03-25 极限人工智能有限公司 图像处理装置以及内窥镜影像系统
CN114224268B (zh) * 2022-02-24 2022-05-03 极限人工智能有限公司 图像处理装置以及内窥镜影像系统

Also Published As

Publication number Publication date
EP3453308A1 (en) 2019-03-13
JP6791821B2 (ja) 2020-11-25
CN109419484B (zh) 2023-07-07
US10560639B2 (en) 2020-02-11
EP3453308B1 (en) 2024-02-28
US20190068864A1 (en) 2019-02-28
JP2019041947A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109419484A (zh) 内窥镜系统
CN105705075B (zh) 图像处理装置及其工作方法
EP2891450B1 (en) Endoscope system and processor of endoscope system
CN106388756A (zh) 图像处理装置及其工作方法以及内窥镜系统
CN109068945A (zh) 图像处理装置、图像处理装置的工作方法及图像处理程序
CN107518867B (zh) 光源装置及内窥镜系统
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN106163372B (zh) 内窥镜系统及其工作方法
US11510599B2 (en) Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
US20200037856A1 (en) Endoscope system, processor device, and method of operating endoscope system
CN110475503A (zh) 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
CN109381154B (zh) 内窥镜系统
CN106170241A (zh) 光源装置
CN106073691A (zh) 内窥镜用光源装置及内窥镜系统
US10799086B2 (en) Light source device for endoscope and endoscope system
JP6905038B2 (ja) 光源装置及び内視鏡システム
JP7159261B2 (ja) 内視鏡システム
WO2020100184A1 (ja) 内視鏡用光源装置、内視鏡装置及び内視鏡用光源装置の作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant