CN105339828A - 观察装置 - Google Patents
观察装置 Download PDFInfo
- Publication number
- CN105339828A CN105339828A CN201480036441.5A CN201480036441A CN105339828A CN 105339828 A CN105339828 A CN 105339828A CN 201480036441 A CN201480036441 A CN 201480036441A CN 105339828 A CN105339828 A CN 105339828A
- Authority
- CN
- China
- Prior art keywords
- light
- light source
- eigenwert
- wavelength
- light quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Abstract
观察装置包括摄像部(220)、光源部(10)、光量调整部(110)和图像处理部(150)。摄像部(220)包括在接受到灵敏度区域中包含的光时生成第1信号的多种元件。摄像部(220)生成基于被摄体像的图像数据。光源部(10)包括射出波长相互不同的窄谱光的多个光源。光源部(10)将波长设定为,使在摄像部(220)所包含的多种元件中的每种元件的灵敏度区域中都分别包含至少一个所述窄谱光的波长。光量调整部(110)单独调整多个光源各自的光量。图像处理部(150)根据图像数据生成表示彩色图像的显示数据。
Description
技术领域
本发明涉及观察装置。
背景技术
关于激光光源,相对于以往采用的气体光源,固体光源具有低功耗、高连接效率、小型、能够高速切换等优点。针对这样的固体光源的技术革新惊人。已公知有将这种小型的固体光源和光纤相结合的所谓光纤光源。光纤光源适合于照明细小的构造物内部。因此,在内窥镜等中的应用也得到推进。
例如,在日本特开平10-286235号公报中公开了将光源装置搭载于内窥镜中的示例,该光源装置是将红色(R)、绿色(G)、蓝色(B)这三种颜色的激光光源、和光纤、和扩散板进行组合而成的。光纤以较高的效率引导激光光源,根据这样的激光光源和光纤的组合,能够实现高效率且明亮的光源装置。在日本特开平10-286235号公报的光源装置中采用了He-Cd激光光源、和射出波长632.8nm的红色激光光的He-Ne激光光源,He-Cd激光光源是同时射出波长441.6nm的蓝色激光光、波长537.8nm的绿色激光光、及波长636.0nm的红色激光光的三原色(白色)激光光源。从这些光源射出的激光光经由光纤被引导至内窥镜末端部,再通过扩散板和照度分布调整滤波器照射到作为照明对象物的活体上。
通常在将已扩散的激光光用作照明光的情况下,激光光中未包含的波长的光的信息缺失。即,例如已公知在使用红色的波长636.0nm的激光光的情况下,在观察对象物对红色中波长636.0nm的光的反射率和观察对象物对除此以外的波长的光的反射率大不相同时,红色的颜色再现性变差。例如,在观察使波长为636.0nm附近的光几乎不反射、而使除此以外的红色区域的光良好地反射的物体的情况下,尽管实际上看起来呈红色,但是在以波长636.0nm的红色激光光进行照明时,有时看起来发暗。在上述的日本特开平10-286235号公报中,为了提高红色的颜色再现性,除了波长636.0nm的红色激光光源以外,还使用波长632.8nm的红色激光光源。但是,这些光源射出的激光光的波长差较小为3.2nm。在波长差较小时,不怎么能期待颜色再现性的提高。
在上述的日本特开平10-286235号公报的技术中,混合后的激光光呈白色。但是,在将白色光用作照明光拍摄整体呈红色和蓝色等泛出颜色的被摄体的情况下,存在颜色再现性根据该泛出的色彩而下降的情况。例如,在拍摄泛出红色的颜色的被摄体的情况下,入射至摄像部的红色光的强度提高,入射至摄像部的绿色光和蓝色光的强度下降。因此,在摄像部将有可能对红色曝光过度、而对绿色或者蓝色曝光不足。
发明内容
本发明的目的在于提供颜色再现性较高的观察装置。
为了达到前述目的,根据本发明的一个方式,观察装置,具有:摄像部,包括灵敏度区域相互不同的多种元件,所述元件在接受到规定的波长区域即所述灵敏度区域中包含的光时进行光电变换而生成第1信号,该摄像部生成基于被摄体像的包括所述第1信号在内的图像数据;光源部,包括射出波长相互不同的窄谱光的多个光源,所述窄谱光的波长被设定为,使在所述摄像部所包含的所述多种元件中的每种元件的所述灵敏度区域中都分别包含至少一个所述窄谱光的波长;光量调整部,单独调整所述多个光源各自的光量,以便使所述多种元件中的每种元件都发挥高功能;以及图像处理部,根据所述图像数据生成表示彩色图像的显示数据。
根据本发明,能够提供颜色再现性较高的观察装置。
附图说明
图1是表示第1实施方式的观察装置的结构例的概况的框图。
图2是表示摄像元件的结构例的概况的图。
图3是表示滤波器的光学特性的一例的图。
图4是表示光电变换元件中的入射光的波长和光电变换的灵敏度的关系的一例的图。
图5A是表示标准试验颜色的反射波谱的图。
图5B是表示标准试验颜色的反射波谱的图。
图6是表示多模半导体激光光源的振荡波谱的一例的图。
图7是表示观察装置的动作的一例的流程图。
图8是用于说明摄像元件中的入射光的光量和产生的第1信号的强度及其频次的关系的图。
图9是表示被摄体的平均反射率和波长的关系的一例的图。
图10是表示设于摄像元件的滤色器的光学特性、和激光光源的波长的关系的图。
图11是表示第1特征值和主波长的关系的一例的图。
图12是表示入射到拍摄呈红色的被摄体时的R像素、G像素及B像素的光的亮度值及其频次的直方图。
图13是表示第3实施方式的观察装置的结构例的概况的框图。
图14是表示光量决定表的一例的概况的图。
具体实施方式
[第1实施方式]
参照附图说明本发明的第1实施方式。图1表示本实施方式的观察装置1的结构例的概况。如图1所示,观察装置1具有主体部100和插入部200,插入部200构成为插入到外部光无法进入的暗处。观察装置1是观察暗部用的装置,从插入部200的末端照射照明光并拍摄被摄体。
插入部200呈细长形状,其一端与主体部100连接。将与该主体部100连接的这一侧的一端称作基端侧,将另一端称作末端侧。在插入部200的末端部250设有光射出部210和摄像部220。光射出部210与光纤215的一端连接。光纤215的另一端与主体部100连接。光纤215从主体部100向光射出部210引导照明光。经由光纤215引导的照明光从光射出部210照射出去。
插入部200形成为容易插入到观察对象物的内部空间中的形状。换言之,插入部200形成为具有通常的光源装置不易照明的狭窄的入口、且容易照明观察对象物的内部空间的形状。例如,如图1所示,作为观察对象物900的内部空间,可以考虑位于狭窄入口的里侧的稍大的空间等。室内照明和太阳光等外部光不易进入这样的空间的内部。尤其是在插入部200插入后,狭窄的入口被插入部封堵,因而外部光几乎进入不到内部。即,内部空间中的照明光几乎都是从光射出部210射出的光。在使用观察装置1的情况下,与从光射出部210射出的光相比,外部光几乎可以忽视。
摄像部220包括摄像元件。摄像元件根据受光量通过光电变换使电荷产生。摄像部220使用摄像元件拍摄被从光射出部210射出的光照射的被摄体,将反射光变换为电气信号。摄像部220将该电气信号作为图像数据输出给主体部100。
如图2所示,在摄像部220所包含的摄像元件222设有多个像素223。在摄像元件222上将滤色器224图案化。滤色器224与像素223对应而包括具有红色滤色器的区域和具有绿色滤色器的区域和具有蓝色滤色器的区域。这些像素及滤色器的配置例如依据于贝叶斯排列。将形成有红色滤色器的像素称作R像素226,将形成有绿色滤色器的像素称作G像素227,将形成有蓝色滤色器的像素称作B像素228。
图3表示滤色器224的光透射特性即透光率与波长的关系。如图3所示,蓝色滤色器主要使波长400nm左右的光透射,绿色滤色器主要使波长500nm左右的光透射,红色滤色器主要使波长600nm以上的光透射。
摄像元件222的各个像素223通过光电变换生成电气信号。R像素226主要将红色的光的强度变换为电气信号,G像素227主要将绿色的光的强度变换为电气信号,B像素228主要将蓝色的光的强度变换为电气信号。将在这些各个像素产生的各波长区域的电气信号称作第1信号。摄像元件222输出整体上包括有关多个第1信号的信息的图像数据。
图4表示与摄像元件222使用的光电变换元件有关的入射光的波长和光电变换的灵敏度的关系。如图4所示,有关摄像元件222的光电变换的灵敏度根据波长而不同。并且,在摄像元件222存在能够输出与光强度对应的信号的适当光量范围。在光量小于适当光量范围时,基于接受到的光的电气信号会嵌入噪声中,不能得到对应光量的输出。另一方面,在光量大于适当光量范围时,摄像元件222处于不能蓄积一定值以上的电荷的饱和状态,不能输出对应光量的电气信号。将摄像元件222能够输出对应光量的电气信号的范围称作该摄像元件222的动态范围。
观察装置1使用的光源优选发出不同波长的光的多个激光光源。由于假定观察装置1被用来观察具有狭窄入口的封闭空间内部,因而要求插入部200的细径化。激光光源的发光点较小,所射出的激光光直线行进性良好,因而激光光容易被导入至光纤等细径光学部件。因此,使用激光光源有利于插入部200的细径化。
另外,已公知即使是如激光光那样的窄谱光,根据混合了具有可见光区域所包含的多个不同波长的光而得到的光,能够充分得到作为照明光的性能(彩色再现性)(例如,参照A.Neumannetal.,Opt.Exp.,19,S4,A982(July4,2011))。另外,在通过一种窄谱光而得到的图像信息中,有时包含与对该波长具有特异的反射特性的物质有关的信息。因此,根据作为窄谱光的激光光,还具有能够得到在基于通常的白色光的观察中不能得到的信息的优点。
半导体激光光源是通过使电流流过半导体元件而射出激光光的固体光源装置。通常,作为半导体激光光源,射出从紫外光到红外光的各种波长的半导体激光光源已经得到实际应用。半导体激光光源具有小型节能等特点。高亮度化和波长多样化等有关半导体激光光源的研发得到大力推进。
在本实施方式中,在摄像部220设有R像素226、G像素227、B像素228的多种像素223。在R像素226、G像素227及B像素228上设有具有如图3所示的波长透射特性的滤色器224。在照明光的波长一个也没包含在该波长灵敏度区域中的情况下,该像素223存在的意义消失。因此,优选在各个像素223的波长灵敏度区域中包含至少一个照明光的波长。
另外,在本实施方式中,将各个像素223的波长灵敏度区域定义为对应的滤色器224的透射率至少在20%以上的波长区域。在滤色器224中将透射率设为0%,从技术上讲比较困难,因为滤色器224即使是在主要透射的波长区域以外的波长区域中也具有一些透射性。该定义当然能够适当变更。
假定被摄体的表面的光反射特性在从可见光区域所包含的短波长到长波长中是各式各样的。因此,要求光源至少在被称为颜色的三原色或者光的三原色的红色区域、绿色~黄色区域、蓝色区域中分别一定包含各一个波长。在上述文献(Neumannetal.)中,将红色(635nm)、黄色(589nm)、绿色(532nm)、蓝色(457nm)这样离散地设定的4个波长选择为光源的波长。
彩色再现性例如利用由国际照明委员会(CIE)和日本工业规格(JIS)制定的平均彩色再现评价数表示。由CIE和JIS制定的平均彩色再现评价数用于将假定在大自然中大量存在的多种试验颜色与太阳光和黑体放射光相比产生何种程度色差的情况指标化。该平均彩色再现评价数较低的照明光不限于基于人眼的视觉,即使是在如使用摄像元件222的本实施方式这样的装置中,也被认为颜色再现性变差。即,在平均彩色再现评价数较低的情况下,认为所取得的图像不能充分再现被摄体的本来颜色。
在对应滤色器224是三种颜色而采用三种波长的激光光源时,通过计算可知,彩色再现性未怎么提高。在光源的波长数增加时,通常平均彩色再现评价数增加。优选在观察装置1中采用混合了至少四种窄谱光的照明光。
对被用作光源的窄谱光的波长的组合进行说明。当在可见光区域中照明光的波长缺失的范围较大时,在该波长区域将不能得到出众的被摄体的图像信息,因而不期望如此。参照图5A和图5B所示的由CIE和JIS制定为标准试验色的8种反射波谱,在400nm~750nm的整个区域中,反射波谱缓慢地变化。因此,认为不需要在波长区域的整个区域中存在照明光。在将多个窄谱光作为照明光的情况下,无论照明光的各个波长过于接近或者过于远离,都导致特定的波长区域信息缺失,有可能不能再现具有特点的被摄体的颜色信息。由CIE和JIS标准化的平均彩色再现评价数的计算是根据每5nm的所有的离散性波谱信息计算出来的。据此认为在相互相邻的波长至少离开5nm以上时,能够有意义地提高彩色再现性。鉴于此种情况,优选观察装置1的光源使用峰值波长至少离开5nm以上的四种以上的激光光源。在以后的说明中,在使用具有相互离开5nm以上的波长的照明光时,将该波长间隔称作高彩色再现性维持波长间隔。
另外,有时将在观察装置1取得的彩色图像具有较高的颜色再现性的状态称作高颜色再现状态。另外,彩色图像信息不限于依据于特定的规格的信息组,在图像显示装置与观察装置1连接的情况下,表示能够适合人的眼睛目视确认的、变换后的任意的信息。
如图1所示,在主体部100设有作为从光射出部210射出的照明光的光源的第1半导体激光光源(LD)121、第2半导体激光光源122、第3半导体激光光源123、第4半导体激光光源124。这4台半导体激光光源射出的激光光的波长相互不同。另外,在以后的说明中,将第1半导体激光光源121、第2半导体激光光源122、第3半导体激光光源123、第4半导体激光光源124统一称作激光光源120。另外,在此示出了光源采用半导体激光光源的示例,但是光源也能够采用各种激光光源等射出狭窄波谱的光源。
激光光源120中包含的半导体激光光源都是多模激光光源。例如,如图6所示,多模半导体激光光源进行多个波长的激光振荡,但是其波长包含在从最短波长到最长波长的约数nm的波长区域中。图6表示以约440nm波长发光的多模半导体激光光源的发光波谱的一例。该发光波谱具有数十条的线谱成分,比率和线谱的数量随着时间一起变化。发光波谱的波长区域的宽度具有约1nm的宽度。在将具有这种波谱的多模激光光用作狭窄频带光的情况下,在本实施方式中,将作为狭窄频带光的峰值波长λnb定义为光强度最高的波长。在本实施方式中,第1半导体激光光源121的峰值波长λnb1为440nm,呈蓝色。同样,第2半导体激光光源122的峰值波长λnb2为530nm,呈绿色。第3半导体激光光源123的峰值波长λnb3为590nm,呈橙色。第4半导体激光光源124的峰值波长λnb4为640nm,呈红色。
在本实施方式中,将第1半导体激光光源121的激光光谱和第2半导体激光光源122的激光光谱之间、第2半导体激光光源122的激光光谱和第3半导体激光光源123的激光光谱之间、以及第3半导体激光光源123的激光光谱和第4半导体激光光源124的激光光谱之间的区域、即不包含激光光的区域,定义为波长缺失区域。在本实施方式中,各个激光光中的波谱成分具有的1nm以下的宽度是与波长缺失区域的宽度即数十nm相比可以忽视的范围。因此,能够将各峰值波长之间的距离视为波长缺失区域的宽度。
如图1所示,在主体部100设有驱动第1半导体激光光源121的第1驱动电路131、驱动第2半导体激光光源122的第2驱动电路132、驱动第3半导体激光光源123的第3驱动电路133、驱动第4半导体激光光源124的第4驱动电路134。在以后的说明中,将第1驱动电路131、第2驱动电路132、第3驱动电路133、第4驱动电路134统一称作驱动电路130。驱动电路130驱动激光光源120,使激光光源120点亮或灭灯来改变光量。另外,在主体部100设有控制驱动电路130的动作的光源控制部140。光源控制部140根据由后述的光量调整部110决定的输出值,使驱动电路130驱动激光光源120。
在主体部100设有光耦180。从各个激光光源120射出的激光光经由光纤170分别被引导至光耦180。光耦180将所引导过来的各激光光合成,使合成后的光入射至上述的光纤215。入射至光纤215的照明光经由光纤215被引导至末端部250的光射出部210。
在光射出部210设有例如包含扩散材料的末端光学部件,以便使经由光纤215引导过来的光成为期望的照明光。从光射出部210向被摄体的方向射出将四种颜色的激光光混合并扩散的状态的照明光。这样,由激光光源120、驱动电路130、光纤170、光耦180、光纤215和光射出部210构成光源部10。
主体部100还具有:光量调整部110,决定从激光光源120射出的激光光的光量;图像处理部150,对摄像部220拍摄得到的图像数据进行处理;显示部160,包括例如液晶显示元件这样的显示装置。光量调整部110具有像素特征值计算部111、光源特征值计算部112、光量决定部113、和存储部115。
像素特征值计算部111从图像处理部150取得图像数据。像素特征值计算部111根据所取得的图像数据计算第1特征值。此处的第1特征值是有关第1信号的特征值。第1信号是指如上所述在与摄像部220具有的R像素226的红色、G像素227的绿色及B像素228的蓝色对应的规定的波长区域的各个像素产生的电气信号。像素特征值计算部111将第1特征值发送给光源特征值计算部112。
光源特征值计算部112根据从像素特征值计算部111取得的第1特征值计算第2特征值。此处的第2特征值是对摄像部220接受到的光、按照光源的每种波长计算的特征值。光源特征值计算部112将第2特征值发送给光量决定部113。这样,光源特征值计算部112作为计算第2特征值的第2特征值计算部发挥作用。其中,第2特征值表示与激光光源120中包含的各个光源的输出校正有关的特征。该输出校正是有关光量的校正,是对上述的第1信号的强度产生影响的校正。
光量决定部113根据从光源特征值计算部112取得的第2特征值,计算从激光光源120的各个光源即第1半导体激光光源121、第2半导体激光光源122、第3半导体激光光源123、第4半导体激光光源124分别射出的激光光的光量即输出值。光量决定部113将计算出的输出值发送给光源控制部140。并且,光量决定部113将输出值发送给图像处理部150。
存储部115存储上述的运算所需要的基准值116。存储部115按照来自光源特征值计算部112和光量决定部113的请求,输出基准值116。
光源控制部140根据从光量决定部113取得的输出值,使驱动电路130驱动激光光源120。其结果是,激光光源120输出与光量调整部110决定的输出值对应的激光光。
图像处理部150取得与摄像部220拍摄的被摄体像有关的图像数据。并且,图像处理部150从光量决定部113取得激光光源120的输出值。图像处理部150对所取得的图像数据实施图像处理。该图像处理包括通常的图像处理、以及有关激光光源120的输出值的校正。即,图像处理部150对于蓝色、绿色、红色各颜色中来自激光光源120的射出光量较高的颜色,实施针对在摄像部220取得的图像数据而降低数值的校正,对于来自激光光源120的射出光量较低的颜色,实施针对在摄像部220取得的图像数据而增加数值的校正。通过这样的校正,生成在照射了作为照明光的白色光时的被摄体的颜色所呈现出来的图像。图像处理部150生成具有显示部160能够显示彩色图像的形式的显示数据。图像处理部150将显示数据输出给显示部160,使在显示部160显示被摄体的图像。并且,图像处理部150将从摄像部220取得的图像数据直接输出给像素特征值计算部111。
下面,关于本实施方式的观察装置1的动作,参照图7所示的流程图进行说明。在步骤S101,光源控制部140使驱动电路130驱动激光光源120,使照明开始。此时,激光光源120的输出为规定的初始值。在步骤S102,摄像部220进行摄像动作。即,摄像部220将在摄像元件222进行光电变换得到的图像数据发送给图像处理部150。
在步骤S103,图像处理部150对从摄像元件222取得的图像数据实施图像处理,并生成具有适合于在显示部160显示的彩色图像的信息的显示数据。此时,图像处理部150从光量决定部113取得有关激光光源120的各个光源的光量的输出值的信息,使用该输出值的信息生成显示数据。图像处理部150将所生成的显示数据发送给显示部160,使在显示部160显示基于显示数据的图像。并且,图像处理部150将从摄像部220取得的图像数据直接输出给像素特征值计算部111。此处的图像数据包括有关第1信号的信息。
在步骤S104,像素特征值计算部111根据从图像处理部150取得的图像数据计算第1特征值。此处的第1特征值是与摄像部220中包含的各个像素223输出的第1信号有关的特征值。这样,像素特征值计算部111作为计算第1特征值的第1特征值计算部发挥作用。
在本实施方式中,第1特征值是指如下所述的值。将摄像元件222中包含的例如所有的R像素226称作R像素组。同样,将摄像元件222中包含的例如所有的G像素227称作G像素组,将摄像元件222中包含的例如所有的B像素228称作B像素组。第1特征值包括从R像素组输出的第1信号的强度的平均值即R像素平均强度、从G像素组输出的第1信号的强度的平均值即G像素平均强度、从B像素组输出的第1信号的强度的平均值即B像素平均强度。像素特征值计算部111将包括计算出的R像素平均强度、G像素平均强度和B像素平均强度的第1特征值输出给光源特征值计算部112。
另外,摄像元件222具有动态范围。例如在拍摄超过动态范围的比较明亮的被摄体时,摄像元件222的各个像素中的入射光的光量和产生的第1信号的强度及其频次的关系如图8示出的直方图所示。在图8中,虚线表示入射光的光量,实线表示第1信号的强度的分布。在如图8所示的情况下,在单纯地求出第1信号的强度的平均值时,该值不能正确表示光量的平均值。因此,也可以将最频值而非平均值作为第1特征值。另外,在成为如图8所示的分布时,也可以根据直方图进行曲线匹配,然后根据匹配曲线计算平均值。例如,也优选将第1特征值设定为第1信号的信号强度的简单平均值的0.5倍以上1.5倍以下。因为在许多情况下,在简单平均值的0.5倍以上1.5倍以下的范围内存在与受光量的平均值对应的值。
在向所有的像素入射的光的光量接近平均值的情况下,即被摄体的亮度差较小的情况下,也有可能不存在曝光过度的像素和曝光不足的像素。在这种情况下,第1信号的强度的简单平均值表示光量的平均值。但是,在光量的平均值和动态范围的平均值大不相同的情况下,第1信号的平均值也有可能不表示光量的平均值。在这种情况下为了计算合适的第1特征值,需要采用如上所述的计算方法。
在步骤S105,光源特征值计算部112根据第1特征值计算第2特征值。其中,第2特征值是与第1特征值对应的每个光源的值。关于第2特征值将在后面列举具体例进行说明。光源特征值计算部112将第2特征值输出给光量决定部113。
在步骤S106,光量决定部113根据第2特征值决定激光光源120的各个光源的输出值。光量决定部113将所决定的光源的输出值发送给光源控制部140和图像处理部150。在步骤S107,光源控制部140根据从光量决定部113取得的光源的输出值,使驱动电路130驱动激光光源120。
在步骤S108,光量决定部113判定是否结束照明。例如,在用户从未图示的输入部输入照明结束的指示时,照明结束。在判定为照明未结束时,处理返回到步骤S102。此时,在步骤S102,摄像部220再次拍摄被摄体,在步骤S103,图像处理部150进行图像处理并生成显示数据。此时,图像处理部150根据在步骤S106决定的光源的输出值进行图像处理。即,例如对于光源光量较低的颜色提高图像信号的增益,对于光源光量较高的颜色降低图像信号的增益。
以拍摄整体呈红色的被摄体的情况为例进一步说明上述的动作。例如,说明观察波长和摄像范围整体的平均反射率的关系具有如图9所示的特点的被摄体的情况。
光量决定部113在照明开始时,例如将从激光光源120射出的四种激光光的光量都设定为100mW。即,光量决定部113在步骤S101将激光光源120的各个光源的输出值设定为初始值的100mW。此时,驱动电路130以100mW的输出来驱动激光光源120。
各个光源即第1半导体激光光源121、第2半导体激光光源122、第3半导体激光光源123和第4半导体激光光源124射出100mW的激光光。从激光光源120射出的激光光通过光纤170入射到光耦180,这些激光光在光耦180被合成后入射至光纤215。激光光经由光纤215被引导至光射出部210,并作为照明光从光射出部210射出。在与波长无关,将光纤、光耦180、末端光学部件等的光的传输效率暂且设为50%时,各种颜色的激光光从光射出部210每次50mW地朝向被摄体射出。
通过从光射出部210射出的照明光,反射具有与被摄体的颜色对应的波谱的光。例如,说明具有如图9所示的反射特性的被摄体。此时,对于各种颜色,在从光射出部210每次射出50mW的光时,在被摄体反射的光强度如下所述。即,
波长440nm的光强度为636μW,
波长530nm的光强度为789μW,
波长590nm的光强度为1053μW,
波长640nm的光强度为2368μW。
该反射光在摄像部220的滤色器224透射并入射至摄像元件222。根据图3所示的滤色器224的波长特性,透射光的强度如下所述。即,对于R像素226的平均是
波长440nm的光强度为25μW,
波长530nm的光强度为47μW,
波长590nm的光强度为937μW,
波长640nm的光强度为2226μW,
各波长的合计的光强度为3236μW。
另外,对于G像素227的平均是
波长440nm的光强度为70μW,
波长530nm的光强度为703μW,
波长590nm的光强度为526μW,
波长640nm的光强度为379μW,
各波长的合计的光强度为1678μW。
此外,对于B像素228的平均是
波长440nm的光强度为572μW,
波长530nm的光强度为134μW,
波长590nm的光强度为42μW,
波长640nm的光强度为166μW,
各波长的合计的光强度为914μW。
摄像元件222接受入射光并进行光电变换,生成图像数据。在本实施方式的摄像部220没有设置速度可变快门,假设曝光时间始终是10毫秒。在接受到如上所述的光的摄像元件222产生的第1信号的强度基于图4所示的关系如下所述。即,R像素226的第1信号的强度的平均值即R像素平均强度为
(25[μW]×231[mA/W]+47[μW]×300[mA/W]+937[μW]×346[mA/W]+2226[μW]×384[mA/W])×0.01=12.0μA。
G像素227的第1信号的强度的平均值即G像素平均强度为
(70[μW]×231[mA/W]+703[μW]×300[mA/W]+526[μW]×346[mA/W]+379[μW]×384[mA/W])×0.01=5.5μA。
B像素228的第1信号的强度的平均值即B像素平均强度为
(572[μW]×231[mA/W]+134[μW]×300[mA/W]+42[μW]×346[mA/W]+166[μW]×384[mA/W])×0.01=2.5μA。
在步骤S102,摄像部220将包括第1信号的图像数据发送给图像处理部150。图像处理部150从摄像部220取得图像数据。在步骤S103,图像处理部150对所取得的图像数据实施图像处理,并生成作为适合于在显示部160显示的彩色图像的显示数据,并发送给显示部160。并且,图像处理部150将从摄像部220取得的图像数据直接发送给光量调整部110的像素特征值计算部111。
像素特征值计算部111在步骤S104根据图像数据,例如按照以上所述计算出如下的第1特征值:即R像素平均强度是12.0μA、G像素平均强度是5.5μA、B像素平均强度是2.5μA。另外,例如在摄像元件222的动态范围的平均值是5μA的情况下,在R像素的平均中入射光的强度过高,在G像素的平均中入射光的强度合适,在B像素的平均中入射光的强度过低。像素特征值计算部111将计算出的第1特征值输出给光源特征值计算部112。
在步骤S105,光源特征值计算部112根据第1特征值中包含的R像素平均强度、G像素平均强度、B像素平均强度这三个值,计算与激光光源120的四个光源各自的光量有关的值即第2特征值。其中,第2特征值是表示与变更每个光源的输出的输出校正有关的特征的值。然后,光量决定部113在步骤S106决定激光光源120的各个光源的输出。在此,示出用于计算第2特征值及各个光源的输出值的两种方法。
(第1计算方法)
在第1计算方法中,光源特征值计算部112计算的第2特征值是用于计算倍率的倍率计算值,该倍率表示将激光光源120的各个光源的输出设为当前的几倍。
在摄像元件222设置的滤色器224的光学特性、和激光光源的波长的关系在图10中示出。假设在摄像元件222中对滤色器224的透射率为20%以上的波长进行光电变换。此时,从第1半导体激光光源121射出的光仅在B像素228中被检测到。同样,从第2半导体激光光源122射出的光仅在G像素227中被检测到,从第4半导体激光光源124射出的光仅在R像素226中被检测到。从第3半导体激光光源123射出的光在G像素227和R像素226中被检测到。
因此,用于计算第2特征值即各个半导体激光光源的输出的倍率的倍率计算值是根据以下所述计算出来的。即,有关第1半导体激光光源121的第1倍率计算值基于第1特征值中的B像素平均强度。有关第2半导体激光光源122的第2倍率计算值基于第1特征值中的G像素平均强度。有关第3半导体激光光源123的第3倍率计算值基于第1特征值中的G像素平均强度和R像素平均强度。有关第4半导体激光光源124的第4倍率计算值基于第1特征值中的R像素平均强度。
在步骤S105,光源特征值计算部112计算包括第1倍率计算值、第2倍率计算值、第3倍率计算值和第4倍率计算值的第2特征值。光源特征值计算部112将计算出的第2特征值发送给光量决定部113。
例如,在上述的示例中,光源特征值计算部112按照以下所述决定第2特征值。即,有关第1半导体激光光源121的第1倍率计算值是2.5。有关第2半导体激光光源122的第2倍率计算值是5.5。有关第3半导体激光光源123的第3倍率计算值是(5.5+12.0)/2=8.75。有关第4半导体激光光源124的第4倍率计算值是12.0。
在步骤S106,光量决定部113比较基准值116和第2特征值,计算各个激光光源的各个光源的输出值的校正倍率。光量决定部113根据计算出的校正倍率和当前的各个光源的输出值,决定下一个输出值。驱动电路130根据所决定的输出值进行驱动。
例如,在基准值116是5μA时,在上述的示例中,计算出有关第1半导体激光光源121的第1校正倍率是
5.0/2.5=2.0[倍]。
计算出有关第2半导体激光光源122的第2校正倍率是
5.0/5.5=0.90[倍]。
计算出有关第3半导体激光光源123的第3校正倍率是
5.0/8.75=0.57[倍]。
计算出有关第4半导体激光光源124的第4校正倍率是
5.0/12.0=0.42[倍]。
根据这些值,将第1半导体激光光源121的输出值决定为
100[mW]×2.0=200[mW]。
将第2半导体激光光源122的输出值决定为
100[mW]×0.90=90[mW]。
将第3半导体激光光源123的输出值决定为
100[mW]×0.57=57[mW]。
将第4半导体激光光源124的输出值决定为
100[mW]×0.42=42[mW]。
这样,在设调整后的输出值为L2、设调整前的输出值为L1、设基准值为S、设第2特征值为C2时,将调整后的输出值L2表示如下
L2=L1×S/C2。
在步骤S107,激光光源120根据这些值控制动作。在利用该光量照明同一被摄体进行拍摄时,如下所述接近适当量:
R像素平均强度为5.7μA,
G像素平均强度为3.9μA,
B像素平均强度为3.3μA。
在将该处理反复3次时如下所述
第1半导体激光光源121的光量达到309mW,
第2半导体激光光源122的光量达到138mW,
第3半导体激光光源123的光量达到57mW,
第4半导体激光光源124的光量达到34mW。
此时,
R像素平均强度为5.1μA,
G像素平均强度为4.9μA,
B像素平均强度为4.9μA,
都达到了接近作为基准值116的5μA的适当量。
(第2计算方法)
对第2计算方法进行说明。将代表在使标准的白色光透射时的滤色器透射的光的颜色(日文:色み)的波长称为主波长。在具有图3所示的光学特性的滤色器224中,蓝色滤色器的主波长即B像素主波长为470nm。同样,绿色滤色器的主波长即G像素主波长为555nm,红色滤色器的主波长即R像素主波长为605nm。如上所述,在作为第1特征值的R像素平均强度是12.0μA、G像素平均强度是5.5μA、B像素平均强度是2.5μA时,在使用主波长来图示这些值时如图11所示。
在第2计算方法中,使用表示根据B像素的平均信号强度和G像素的平均信号强度得到的直线关系的函数、以及表示根据G像素的平均信号强度和R像素的平均信号强度得到的直线关系的函数,决定激光光源的合适的光量。设R像素的平均信号强度为CCFR、设G像素的平均信号强度为CCFG、设B像素的平均信号强度为CCFB。设R像素主波长为λCFR、设G像素主波长为λCFG、设B像素主波长为λCFB。此时,将相对于激光光源的波长λLS的平均信号强度CLS表示如下。即,在表示根据B像素的平均信号强度和G像素的平均信号强度得到的直线关系的函数中,
CLS=(CCFG-CCFB)/(λCFG-λCFB)×λLS+CCFG-(CCFG-CCFB)/(λCFG-λCFB)×λCFG。
在表示根据G像素的平均信号强度和R像素的平均信号强度得到的直线关系的函数中,
CLS=(CCFR-CCFG)/(λCFR-λCFG)×λLS+CCFR-(CCFR-CCFG)/(λCFR-λCFG)×λCFR。
例如,如上所述,R像素的平均信号强度是12.0μA、G像素的平均信号强度是5.5μA、B像素的平均信号强度是2.5μA。此时,将表示根据B像素的平均信号强度和G像素的平均信号强度得到的直线关系的函数表述如下
CLS=0.036×λLS-14.3。
将表示根据G像素的平均信号强度和R像素的平均信号强度得到的直线关系的函数表述如下
CLS=0.129×λLS-66.0。
光源特征值计算部112根据这些直线关系和激光光源的波长λLS,按照如下所述计算平均信号强度CLS。即,对于第1半导体激光光源121是0.036×440-14.3=1.54[μA]。
对于第2半导体激光光源122是0.036×530-14.3=4.78[μA]。
对于第3半导体激光光源123是0.129×590-66.0=10.1[μA]。
对于第4半导体激光光源124是0.129×640-66.0=16.6[μA]。
光源特征值计算部112在步骤S105计算这样的平均信号强度CLS作为第2特征值。该第2特征值是表示有关各个光源的输出的校正的特征的值。光源特征值计算部112将计算出的第2特征值发送给光量决定部113。
从光源特征值计算部112取得了第2特征值的光量决定部113,在步骤S106根据所取得的第2特征值和作为基准值116的例如5μA,计算各个激光光源的光量的校正倍率。
例如,在上述的示例中,计算出有关第1半导体激光光源121的校正倍率是
5.0/1.54=3.5[倍]。
计算出有关第2半导体激光光源122的校正倍率是
5.0/4.78=1.1[倍]。
计算出有关第3半导体激光光源123的校正倍率是
5.0/10.1=0.5[倍]。
计算出有关第4半导体激光光源124的校正倍率是
5.0/16.6=0.3[倍]。
根据这些值,将第1半导体激光光源121的光量决定为
100[mW]×3.5=350[mW]。
将第2半导体激光光源122的光量决定为
100[mW]×1.1=110[mW]。
将第3半导体激光光源123的光量决定为
100[mW]×0.5=50[mW]。
将第4半导体激光光源124的光量决定为
100[mW]×0.3=30[mW]。
根据这些值,激光光源120进行动作。在利用该光量照明同一被摄体进行拍摄时,
R像素平均强度为4.6μA,
G像素平均强度为4.2μA,
B像素平均强度为5.3μA。
即,各个值都达到了接近作为基准值116的5μA的适当量。
以上示出了两种光量决定部113决定激光光源120的光量的方法的示例,可以采用任意一种方法。并且,基于同样的主旨,也可以采用其它的方法。
光量决定部113还将与激光光源120的输出有关的输出值也输出给图像处理部150。图像处理部150对从摄像部220取得的图像数据实施考虑了激光光源120的输出值的图像处理。即,图像处理部150对从R像素226、G像素227、B像素228取得的信号,进行与各自对应的激光光源120的强度相适应的加权。图像处理部150根据进行了加权的信号生成表示例如显示于显示部160的图像的显示数据。
例如,在上述的示例中,从蓝色的第1半导体激光光源121射出的光强度较强,从红色的第4半导体激光光源124射出的光强度较弱。因此,图像处理部150按照光源的光强度将在摄像部220的R像素226取得的图像信号的强度进一步放大,按照光源的光强度将在B像素228取得的图像信号的强度进一步减小,根据这些值生成显示数据。这样,图像处理部150将在显示部160显示的图像调整为在对被摄体照射白色光时得到的图像。
另外,在本实施方式中,以使摄像部220接受的R像素226、G像素227、B像素228各自的平均信号强度达到动态范围的中心的方式,决定激光光源120的光量。但是,不限于此,也可以以使平均信号强度达到规定的值的方式进行调整。
另外,在本实施方式中,通过上述的运算,按照被摄体泛出的颜色(日文:色み)适当决定每个光源的光量的比。通常,在观察过程中,由于放大及缩小这样的观察倍率的变更、摄像部220接近及远离被摄体的观察位置的变更而产生的被摄体反射率的变化,大于被摄体泛出的颜色的变化。因此,也可以在一次决定有关泛出的颜色的每个光源的光量比后,自此以后即在固定所决定的光量比的状态下变更总体光量。即,也可以构成为,光量调整部110在将激光光源120中包含的各个光源的光量比固定的状态下,同样地变更激光光源120中包含的光源的总体光量。在被摄体泛出的颜色不怎么变化、而只有整体的反射率变化的情况下,根据该方法也能维持较高的颜色再现性。根据这样的方法,运算量减少。
另外,光量调整部110进行与反射率的变化有关的光量的变更、和与泛出的颜色有关的每个光源的光量比的变更这两种变更,但也可以相比光量比的变更,更频繁地进行光量的变更。
另外,在由于被摄体的反射率降低、或者被摄体和光射出部210的距离较远,使得来自被摄体的反射光较弱的情况下,优选以最大输出来驱动各个光源。因此,优选构成为,光量调整部110保存激光光源120的最大输出的信息,在通过计算而计算出比光源的最大输出值大的输出值时,能够以最大输出来驱动激光光源120。
另外,作为来自被摄体的反射光极端微弱时的一例,例如假定插入部200被插入观察对象物900之前的状态。在插入部200被插入观察对象物900之前,用户不需通过摄像部220,而通过自己的视觉即可直接确认从光射出部210射出的照明光。在这种时候,照明光是白色对于用户而言没有不协调感。因此,优选设定成在这种情况下使照明光成为白色光。
根据本实施方式,通过单独调整激光光源120的各个光源射出的光的强度,对应被摄体泛出的颜色,在摄像元件222的每种颜色的像素都是入射最佳光量的被摄体像。另外,在图像处理中根据各个光源的输出值进行颜色的校正。因此,根据本实施方式的观察装置1,能够实现较高的颜色再现性。
通常在摄像装置中,在摄像元件的被摄体侧设有控制对摄像元件的入射光量的快门,通过按照摄像元件的受光量调整光源整体的光量,能够最广范围地利用摄像元件的动态范围,颜色再现性提高。在这种情况下,以照明光是太阳光和室内灯等的白色光为前提。即,例如关于在泛有红色等被摄体的颜色存在偏倚时按照每个波长区域考虑动态范围的调整,尚未进行研究。并且,在观察暗视野内部的内窥镜领域中,假定光源是氙气光源和卤素光源等白色固体光源,关于按照每个波长区域考虑动态范围的调整,也尚未进行研究。
例如,图12示出了表示在拍摄呈现红色的被摄体时入射到R像素、G像素、B像素的光的亮度值及其频次的直方图。在如图12所示的情况下,在使用动态范围足够广的摄像元件的情况下,能够实现较高的颜色再现性。但是,通常无论怎样调整快门速度和照明光的光量,在红色明亮的场所都是曝光过度,在蓝色和绿色的较暗场所都是曝光不足,或者这两种情况都存在,因而不能正确再现被摄体的颜色。例如在如图8所示的情况下,摄像元件不能正确表现超过动态范围的光强度。另外,如图4所示,摄像元件的灵敏度的波长依存性也有可能对颜色再现性产生不良影响。
在本实施方式中,假定观察装置1是在没有从激光光源120射出的光以外的照明光的状态下使用。因此,通过如上所述单独控制各颜色的光源的光量,能够实现较高的颜色再现性。即,与调整白色的照明光的强度时相比,按照在摄像元件222设置的滤色器224的分光透射特性调整各光源的光量,能够更有效地应用摄像元件222的各像素的动态范围。此时,从光量决定部113向图像处理部150提供有关光源光量的信息,因而图像处理部150能够再现用白色光照明时的颜色。根据以上所述,能够实现较高的颜色再现性。
另外,考虑到滤色器224的分光特性,以使成为大致相等间隔的方式选择激光光源的4个波长,也对实现较高的颜色再现性发挥效果。并且,将摄像元件222的动态范围存储在存储部115中并使用该值、或使用各波长区域的特征值,能够对决定适当的光源光量发挥效果。此外,光源采用激光光源能够对从较细的插入部的末端射出比较明亮的照明光发挥效果。
[第2实施方式]
对第2实施方式进行说明。在此,对与第1实施方式的不同之处进行说明,对相同的部分标注相同的标号,并省略其说明。在第1实施方式中,以使作为第1特征值的R像素平均强度、G像素平均强度及B像素平均强度达到摄像元件222的动态范围的平均值的方式进行调整。与此相对,在本实施方式中,以使在滤色器224的各颜色的滤色器透射的光量无论哪种颜色即波长区域都成为相同值的方式进行调整。因此,在本实施方式中,光源特征值计算部112的运算与第1实施方式的情况不同。
在本实施方式中,与第1实施方式一样,激光光源120中包含的第1半导体激光光源121的波长是440nm,第2半导体激光光源122的波长是530nm,第3半导体激光光源123的波长是590nm,第4半导体激光光源124的波长是640nm。将这些各个光源的输出的初始值都设为100mW。说明拍摄反射光的波长特性具有如图9所示的特性的呈红色的被摄体的情况。此时,与第1实施方式一样,第1特征值如下所述。即,
R像素平均强度为12.0μA,
G像素平均强度为5.5μA,
B像素平均强度为2.5μA。
取得了该第1特征值的光源特征值计算部112计算与相对于各个光源的当前的输出的倍率有关的第2特征值,并发送给光量决定部113。光量决定部113根据第2特征值计算激光光源120的输出值。在本实施方式中说明在光源特征值计算部112和光量决定部113进行的运算。
蓝色滤色器的主波长是470nm,绿色滤色器的主波长是555nm,红色滤色器的主波长是605nm。根据图4所示的摄像元件222的波长和灵敏度的关系,
R像素的主波长的灵敏度是357mA/W,
G像素的主波长的灵敏度是319mA/W,
B像素的主波长的灵敏度是254mA/W。
按照以下所述,根据各个主波长的灵敏度计算各个像素接受的光量的平均值的估计值。即,R像素的平均光量估计值是
12.0[μA]/357[mA/W]/0.01=3356[μW]。
G像素的平均光量估计值是
5.5[μA]/319[mA/W]/0.01=1738[μW]。
B像素的平均光量估计值是
2.5[μA]/254[mA/W]/0.01=987[μW]。
这样,在设入射至R像素、G像素或者B像素的光量的平均的估计值即平均光量估计值为Li1、设第1特征值为C1、设主波长的元件的灵敏度为KD、设曝光时间为t时,根据下式计算Li1为
Li1=C1/KD/t。
绿色波长区域对于人的眼睛而言是灵敏度最高的区域,人的眼睛以最良好的精度感测相对于绿色波长区域的明暗。因此,在本实施方式中,以绿色波长区域的适当光量为基准决定各波长区域的光量。在基准值116为5.0μA时,在将G像素的主波长的灵敏度作为基准时,适当光量为
5.0[μA]/319[mA/W]/0.01=1568[μW]。
这样,在设适当光量为R1、设基准值为Rcenter时,根据下式计算R1
R1=Rcenter/KD/t。
按照以下所述决定入射至各像素的光量,以便使入射至各个R像素、G像素及B像素的平均光量估计值达到1568μW。即,对于R像素是
1568[μW]/3356[μW]=0.47[倍]。
对于G像素是
1568[μW]/1738[μW]=0.90[倍]。
对于B像素是
1568[μW]/987[μW]=1.6[倍]。
第1半导体激光光源121的波长仅在B像素中被检测到,因而第1半导体激光光源121的输出值达到1.6倍。第2半导体激光光源122的波长仅在G像素中被检测到,因而第2半导体激光光源122的输出值达到0.90倍。第3半导体激光光源123的波长在G像素和B像素中被检测到,因而第3半导体激光光源123的输出值达到0.90倍和1.6倍的平均值即1.3倍。第4半导体激光光源124的波长仅在R像素中被检测到,因而第4半导体激光光源124的输出值达到0.47倍。
光源特征值计算部112将1.6倍、0.90倍、1.3倍、0.47倍这些值作为第2特征值,并发送给光量决定部113。这样,第2特征值是表示与各个光源的输出的校正有关的特征的值。光量决定部113根据第2特征值决定激光光源120的输出值。即,由于变更前的激光光源120的输出是100mW,因而
第1半导体激光光源121的输出是
100[mW]×1.6=160[mW]。
第2半导体激光光源122的输出是
100[mW]×0.90=90[mW]。
第3半导体激光光源123的输出是
100[mW]×1.3=130[mW]。
第4半导体激光光源124的输出是
100[mW]×0.47=47[mW]。
这样,通过调整激光光源120的输出值,作为第1特征值的
R像素平均强度达到6.4μA,
G像素平均强度达到4.1μA,
B像素平均强度达到2.9μA。
这样,R像素平均强度、G像素平均强度、B像素平均强度都接近作为基准值116的5.0μA。
在将该处理反复3次时如下所述
R像素平均强度达到5.8μA,
G像素平均强度达到4.8μA,
B像素平均强度达到3.9μA,
都达到了接近基准值116的5.0μA的合适量。
根据本实施方式,R像素平均强度、G像素平均强度及B像素平均强度与基准值116不一致。但是,由于进行调整使透射滤色器的光量的每种颜色的平均值成为相互相同的值,因而与被摄体泛出的颜色无关,每种颜色入射至像素223的来自被摄体的反射光的平均相互相同。例如,无论在拍摄泛有红色的被摄体时、还是拍摄泛有蓝色的被摄体时,对于摄像元件222而言来自被摄体的反射光的波谱处于接近白色的状态。即,反射光成为容易有效利用动态范围的接近无彩色光的光。因此,在通过插拔插入部200等来变更为受光特性不同的摄像元件时,与摄像元件的特性无关,都能够得到较高的颜色再现性。根据本变形例,由于不依存于摄像元件,因而观察装置1的系统简洁,实现观察装置1的系统的低成本化。
[实施方式3]
对实施方式3进行说明。在此,对与第1实施方式的不同之处进行说明,对相同的部分标注相同的标号,并省略其说明。在第1实施方式中,以使作为第1特征值的R像素平均强度、G像素平均强度及B像素平均强度达到摄像元件222的动态范围的平均值的方式进行调整。与此相对,在本实施方式中,根据第1特征值进行表检索来调整各个光源的光量比。其中,将对于人的眼睛而言灵敏度较高的绿色作为基准,决定各个光源的光量。
如图13的概略图所示,在本实施方式的存储部115中存储有光量决定表117和G像素基准值118。在光量决定表117中,如图14所示,按照R像素平均强度/G像素平均强度和B像素平均强度/G像素平均强度的各个关系,将被摄体的特性模式化。其中,将这些被摄体特性的模式分别称作第1假定被摄体、第2假定被摄体等。另外,光量决定表包括与各个被摄体的特性的模式(假定被摄体)对应的各个光源的输出的变更的基准倍率。另外,G像素基准值118是与第1实施方式的基准值116同样的值,尤其是与G像素有关的光量的基准值。
在本实施方式中与第1实施方式一样,激光光源120中包含的第1半导体激光光源121的波长是440nm,第2半导体激光光源122的波长是530nm,第3半导体激光光源123的波长是590nm,第4半导体激光光源124的波长是640nm。将这些各个光源的输出的初始值都设为100mW。说明拍摄反射光的波长特性具有如图9所示的特性的呈红色的被摄体的情况。
此时,与第1实施方式一样,第1特征值如下所述。即,
R像素平均强度为12.0μA,
G像素平均强度为5.5μA,
B像素平均强度为2.5μA。
取得了该第1特征值的光源特征值计算部112计算与相对于各个光源的当前的输出的倍率有关的第2特征值,并发送给光量决定部113。光量决定部113根据第2特征值决定激光光源120的输出值。在本实施方式中说明在光源特征值计算部112和光量决定部113进行的运算。
光源特征值计算部112计算相对于G像素平均强度的R像素平均强度及B像素平均强度即强度比率。例如,
R像素平均强度/G像素平均强度=2.2倍,
B像素平均强度/G像素平均强度=0.45倍。
光源特征值计算部112从存储部115读出光量决定表117。光源特征值计算部112根据强度比率和光量决定表117确定假定被摄体。例如,在上述的示例中,相当于图14所示的第2假定被摄体。光源特征值计算部112取得与第2假定被摄体对应的第1基准值(L1)是E倍、第2基准值(L2)是F倍、第3基准值(L3)是G倍、第2基准值(L4)是H倍这样的信息。
光源特征值计算部112使用与G像素的动态范围有关的G像素基准值118即5μA、和G像素平均强度即5.5μA,按照以下所述决定与各个光源的输出的变更有关的倍率。即,
将第1半导体激光光源的输出值的倍率设为
E×5.0/5.5[倍],
将第2半导体激光光源的输出值的倍率设为
F×5.0/5.5[倍],
将第3半导体激光光源的输出值的倍率设为
G×5.0/5.5[倍],
将第4半导体激光光源的输出值的倍率设为
H×5.0/5.5[倍]。
光源特征值计算部112将这些输出值的倍率作为第2特征值输出给光量决定部113。光量决定部113根据这些输出值的倍率,决定激光光源120中包含的各个光源的输出值,将该输出值输出给光源控制部140。
根据本实施方式,光量调整部110的运算处理简洁。其结果是,也实现观察装置1的低成本化。并且,根据本实施方式,当在观察过程中泛出的颜色变化不大的情况下,不需要检索光量决定表117,仅计算G像素平均强度,就能够以适当利用各个像素的动态范围的方式使激光光源120进行动作。
Claims (16)
1.一种观察装置,具有:
摄像部,包括灵敏度区域相互不同的多种元件,所述元件在接受到规定的波长区域即所述灵敏度区域中包含的光时进行光电变换而生成第1信号,该摄像部生成基于被摄体像的包括所述第1信号在内的图像数据;
光源部,包括射出波长相互不同的窄谱光的多个光源,所述窄谱光的波长被设定为,使在所述摄像部所包含的所述多种元件中的每种元件的所述灵敏度区域中都分别包含至少一个所述窄谱光的波长;
光量调整部,单独调整所述多个光源各自的光量,以便使所述多种元件中的每种元件都发挥高功能;以及
图像处理部,根据所述图像数据生成表示彩色图像的显示数据。
2.根据权利要求1所述的观察装置,所述光量调整部包括:
第1特征值计算部,计算表示所述第1信号的特征的第1特征值;以及
光量决定部,决定所述光量,以便成为使所述多种元件中的每种元件都发挥高功能的所述第1特征值。
3.根据权利要求2所述的观察装置,
所述图像处理部根据所述图像数据和所述光量生成所述显示数据。
4.根据权利要求2或3所述的观察装置,
所述光源部中包含的所述多个光源中的至少一个光源是激光光源。
5.根据权利要求2或3所述的观察装置,
所述光量调整部在时间上连续地进行所述光量的调整。
6.根据权利要求2或3所述的观察装置,所述光量调整部还包括:
第2特征值计算部,根据所述第1特征值计算表示与所述多个光源各自的输出校正有关的特征的第2特征值;以及
存储部,存储与所述元件的所述功能有关的基准值,
在设调整前的所述光量为L1、设调整后的所述光量为L2、设所述基准值为S、设所述第2特征值为C2时,所述光量决定部根据下式计算所述L2,
L2=L1×S/C2。
7.根据权利要求6所述的观察装置,
在按照每个所述灵敏度区域将所述灵敏度区域相同的所述元件设为元件组时,
所述第1特征值是所述元件组中包含的元件生成的所述第1信号的平均值的0.5倍以上1.5倍以下的值,
所述基准值是所述元件具有的输出信号的动态范围的中心值的0.5倍以上1.5倍以下的值。
8.根据权利要求7所述的观察装置,所述多个光源包括:
第1光源组,所述窄谱光的波长仅包含在一个所述灵敏度区域中;以及
第2光源组,所述窄谱光的波长包含在两个以上的所述灵敏度区域中,
与所述第1光源组对应的所述第2特征值是所述元件组的所述第1特征值,所述元件组具有包含所述光源射出的所述窄谱光的波长的所述灵敏度区域,
与所述第2光源组对应的所述第2特征值是所述元件组的两个以上的所述第1特征值的平均值,所述元件组具有包含所述光源射出的所述窄谱光的波长的所述灵敏度区域。
9.根据权利要求6所述的观察装置,
所述多种的所述元件在每个所述灵敏度区域中具有主波长,
在将与关注的所述光源射出的所述窄谱光的波长最近的所述主波长设为λCF1,将第二近的所述主波长设为λCF2,
将与所述最近的主波长对应的所述第1特征值设为CCF1,
将与所述第二近的主波长对应的所述第1特征值设为CCF2,
将所述关注的所述光源射出的所述窄谱光的波长设为λLS,
将与所述关注的所述光源有关的所述第2特征值设为CLS时,
CLS=(CCF1-CCF2)/(λCF1-λCF2)×λLS+CCF1-(CCF1-CCF2)/(λCF1-λCF2)×λCF1。
10.根据权利要求2或3所述的观察装置,所述光量调整部还包括:
第2特征值计算部,根据所述第1特征值计算表示与所述多个光源各自的输出校正有关的特征的第2特征值;以及
存储部,存储与所述元件的所述功能有关的基准值,
在按照每个所述灵敏度区域将所述灵敏度区域相同的所述元件设为元件组时,
所述第1特征值是所述元件组中包含的元件生成的所述第1信号的平均值的0.5倍以上1.5倍以下的值,
在设入射至所述元件组的光量的平均的估计值即平均光量估计值为Li1、设所述第1特征值为C1、设所述元件组的所述灵敏度区域所包含的主波长中的所述元件的灵敏度为KD、设曝光时间为t时,根据下式计算所述Li1,
Li1=C1/KD/t,
在设所述元件具有的输出信号的动态范围的中心值为Rcenter、设所述元件组中包含的所述元件能够正确进行光电变换的受光量的范围的中心值为R1时,所述基准值为根据下式计算出的所述R1的0.5倍以上1.5倍以下,
R1=Rcenter/KD/t,
第2特征值计算部根据R1/Li1计算所述第2特征值,
所述光量决定部根据所述第2特征值单独地调整所述光量。
11.根据权利要求10所述的观察装置,所述多个光源包括:
第1光源组,所述窄谱光的波长仅包含在一个所述灵敏度区域中;
第2光源组,所述窄谱光的波长包含在两个以上的所述灵敏度区域中,
与所述第1光源组对应的所述第2特征值是所述元件的所述R1/Li1,所述元件具有包含所述光源射出的所述窄谱光的波长的所述灵敏度区域,
与所述第2光源组对应的所述第2特征值是所述元件的两个以上的所述R1/Li1的平均值,所述元件具有包含所述光源射出的所述窄谱光的波长的所述灵敏度区域。
12.根据权利要求2或3所述的观察装置,
所述光量调整部还包括记录了与对应于所述第1特征值的所述光源的光量相关的值的光量决定表,
所述光量决定部根据所述第1特征值和所述光量决定表决定所述光量。
13.根据权利要求5所述的观察装置,
所述光量调整部进行变更所述光源之间的光量的比的光量比变更动作、和不变更所述光源之间的光量的比而将所有光源的光量变更为一样的整体光量变更动作,
所述整体光量变更动作的频次高于所述光量比变更动作的频次。
14.根据权利要求5所述的观察装置,
在所述第1特征值为规定值以下时,所述光量决定部将所述光源的光量决定为上限。
15.根据权利要求14所述的观察装置,
在所有的所述光源的光量为上限时,所述射出的窄谱光的混合光为白色。
16.根据权利要求5所述的观察装置,
所述光源部射出的窄谱光的波长数为4以上。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-135489 | 2013-06-27 | ||
JP2013135489A JP6304953B2 (ja) | 2013-06-27 | 2013-06-27 | 観察装置 |
PCT/JP2014/066155 WO2014208417A1 (ja) | 2013-06-27 | 2014-06-18 | 観察装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105339828A true CN105339828A (zh) | 2016-02-17 |
CN105339828B CN105339828B (zh) | 2018-05-29 |
Family
ID=52141757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480036441.5A Active CN105339828B (zh) | 2013-06-27 | 2014-06-18 | 观察装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10314462B2 (zh) |
EP (1) | EP3015899A4 (zh) |
JP (1) | JP6304953B2 (zh) |
CN (1) | CN105339828B (zh) |
WO (1) | WO2014208417A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109414160A (zh) * | 2016-06-27 | 2019-03-01 | 索尼公司 | 观察设备和控制观察设备的方法 |
CN112004455A (zh) * | 2018-04-23 | 2020-11-27 | 富士胶片株式会社 | 医疗图像处理系统 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015151703A1 (ja) * | 2014-03-31 | 2015-10-08 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN107105982B (zh) * | 2015-10-30 | 2019-05-21 | 奥林巴斯株式会社 | 用于内窥镜系统的控制装置、内窥镜系统以及内窥镜系统的控制方法 |
US10835102B2 (en) * | 2016-07-28 | 2020-11-17 | Verily Life Sciences Llc | Tunable color-temperature white light source |
WO2018216276A1 (ja) * | 2017-05-22 | 2018-11-29 | ソニー株式会社 | 観察システム、および光源制御装置 |
WO2019002281A1 (en) * | 2017-06-28 | 2019-01-03 | Ventana Medical Systems, Inc. | CALIBRATION OF SYSTEM LEVEL |
WO2019026189A1 (ja) * | 2017-08-01 | 2019-02-07 | オリンパス株式会社 | 撮像装置および制御方法 |
CN111031882B (zh) * | 2017-08-04 | 2023-06-30 | 波士顿科学医学有限公司 | 具有光源和光转换机构的照明设备 |
JP6791821B2 (ja) * | 2017-08-31 | 2020-11-25 | 富士フイルム株式会社 | 内視鏡システム |
US11457154B2 (en) * | 2019-06-20 | 2022-09-27 | Cilag Gmbh International | Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060103738A1 (en) * | 2004-11-12 | 2006-05-18 | Nikon Corporation | Image-capturing device, image processing device and image processing program product |
CN102245080A (zh) * | 2008-12-15 | 2011-11-16 | 奥林巴斯株式会社 | 照明装置以及内窥镜装置 |
US20120078046A1 (en) * | 2010-09-28 | 2012-03-29 | Fujifilm Corporation | Endoscopic image display apparatus |
EP2465432A1 (en) * | 2010-12-17 | 2012-06-20 | Fujifilm Corporation | Endoscope apparatus |
EP2556790A1 (en) * | 2011-08-10 | 2013-02-13 | FUJIFILM Corporation | Endoscopic device |
JP2013042855A (ja) * | 2011-08-23 | 2013-03-04 | Fujifilm Corp | 内視鏡装置及びその光源制御方法 |
US20130167389A1 (en) * | 2004-12-16 | 2013-07-04 | Ralf Christoph | Coordinate measuring device and method for measuring with a coordinate measuring device |
CN104981199A (zh) * | 2013-02-07 | 2015-10-14 | 奥林巴斯株式会社 | 光源装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10286235A (ja) * | 1997-04-14 | 1998-10-27 | Fuji Photo Film Co Ltd | 内視鏡装置 |
AU2003903157A0 (en) * | 2003-06-20 | 2003-07-03 | The Lions Eye Institute of Western Australia Incorporated The | Ophthalmic camera and ophthalmic camera adaptor |
US20100079503A1 (en) * | 2008-09-30 | 2010-04-01 | Texas Instruments Incorporated | Color Correction Based on Light Intensity in Imaging Systems |
JP5635750B2 (ja) * | 2009-09-09 | 2014-12-03 | キヤノン株式会社 | 画像読取装置 |
KR101628238B1 (ko) * | 2009-12-21 | 2016-06-21 | 삼성전자주식회사 | 화상을 독취하는 장치 및 방법 |
US9066658B2 (en) * | 2010-03-23 | 2015-06-30 | Stryker Corporation | Method and system for video based image detection/identification analysis for fluid and visualization control |
JP5885393B2 (ja) * | 2011-04-01 | 2016-03-15 | キヤノン株式会社 | 光学素子および撮像素子 |
KR101284268B1 (ko) * | 2011-10-28 | 2013-07-08 | 한국생산기술연구원 | 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법 |
TW201350994A (zh) * | 2012-06-08 | 2013-12-16 | Unity Opto Technology Co Ltd | 高對比之直下式背光模組 |
US20140159587A1 (en) * | 2012-12-12 | 2014-06-12 | Qualcomm Mems Technologies, Inc. | Dynamic adaptive illumination control for field sequential color mode transitions |
-
2013
- 2013-06-27 JP JP2013135489A patent/JP6304953B2/ja active Active
-
2014
- 2014-06-18 EP EP14817097.0A patent/EP3015899A4/en not_active Withdrawn
- 2014-06-18 CN CN201480036441.5A patent/CN105339828B/zh active Active
- 2014-06-18 WO PCT/JP2014/066155 patent/WO2014208417A1/ja active Application Filing
-
2015
- 2015-12-28 US US14/979,791 patent/US10314462B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060103738A1 (en) * | 2004-11-12 | 2006-05-18 | Nikon Corporation | Image-capturing device, image processing device and image processing program product |
US20130167389A1 (en) * | 2004-12-16 | 2013-07-04 | Ralf Christoph | Coordinate measuring device and method for measuring with a coordinate measuring device |
CN102245080A (zh) * | 2008-12-15 | 2011-11-16 | 奥林巴斯株式会社 | 照明装置以及内窥镜装置 |
US20120078046A1 (en) * | 2010-09-28 | 2012-03-29 | Fujifilm Corporation | Endoscopic image display apparatus |
EP2465432A1 (en) * | 2010-12-17 | 2012-06-20 | Fujifilm Corporation | Endoscope apparatus |
EP2556790A1 (en) * | 2011-08-10 | 2013-02-13 | FUJIFILM Corporation | Endoscopic device |
JP2013042855A (ja) * | 2011-08-23 | 2013-03-04 | Fujifilm Corp | 内視鏡装置及びその光源制御方法 |
CN104981199A (zh) * | 2013-02-07 | 2015-10-14 | 奥林巴斯株式会社 | 光源装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109414160A (zh) * | 2016-06-27 | 2019-03-01 | 索尼公司 | 观察设备和控制观察设备的方法 |
CN109414160B (zh) * | 2016-06-27 | 2021-11-16 | 索尼公司 | 观察设备和控制观察设备的方法 |
CN112004455A (zh) * | 2018-04-23 | 2020-11-27 | 富士胶片株式会社 | 医疗图像处理系统 |
CN112004455B (zh) * | 2018-04-23 | 2024-04-26 | 富士胶片株式会社 | 医疗图像处理系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2015011127A (ja) | 2015-01-19 |
WO2014208417A1 (ja) | 2014-12-31 |
CN105339828B (zh) | 2018-05-29 |
EP3015899A1 (en) | 2016-05-04 |
EP3015899A4 (en) | 2017-02-15 |
US20160106299A1 (en) | 2016-04-21 |
JP6304953B2 (ja) | 2018-04-04 |
US10314462B2 (en) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105339828A (zh) | 观察装置 | |
CN108113630B (zh) | 内窥镜系统 | |
US10368728B2 (en) | Endoscope apparatus | |
CN102727158A (zh) | 内窥镜系统以及校准方法 | |
JP4198114B2 (ja) | 撮影装置、画像処理システム | |
CN104981199A (zh) | 光源装置 | |
US8350229B2 (en) | Fluorescence observation apparatus | |
EP2754379B1 (en) | Endoscope system and image display method | |
US20120157768A1 (en) | Endoscope system, processor of endoscope system, and image producing method | |
US20110172492A1 (en) | Medical apparatus and endoscope apparatus | |
CN106388756A (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
JP2007506485A (ja) | カラー画像内視鏡システムに関する装置と方法 | |
CN102331301A (zh) | 牙齿阴影映射 | |
CN109419484A (zh) | 内窥镜系统 | |
US11147438B2 (en) | Endoscope apparatus | |
CN106576141A (zh) | 图像捕获系统、用于图像捕获系统的套件、移动电话、图像捕获系统的使用以及配置颜色匹配光源的方法 | |
CN104434033A (zh) | 近红外血管显像仪 | |
CN106073691A (zh) | 内窥镜用光源装置及内窥镜系统 | |
CN113366366B (zh) | 内窥镜系统 | |
US20210278658A1 (en) | Endoscope light source device, endoscope apparatus, operating method of endoscope light source device, and light amount adjusting method | |
US11419488B2 (en) | Endoscope system | |
US7394541B1 (en) | Ambient light analysis methods, imaging devices, and articles of manufacture | |
Tsuchida et al. | Reproduction of reflective and fluorescent components using eight-band imaging | |
Yonas et al. | Calibrating Raspberry Pi v2. 1 Camera as an Absolute Luminance Meter for Smart Luminaire System Sensing Applications | |
CN101779945A (zh) | 内窥镜图像处理方法及装置以及采用它的内窥镜系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |