CN107079118B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN107079118B CN107079118B CN201680003205.2A CN201680003205A CN107079118B CN 107079118 B CN107079118 B CN 107079118B CN 201680003205 A CN201680003205 A CN 201680003205A CN 107079118 B CN107079118 B CN 107079118B
- Authority
- CN
- China
- Prior art keywords
- signal
- operation mode
- black level
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
摄像装置具有:固体摄像元件,其具备将光电变换元件、传送部、电荷变换部、复位部以及垂直传送线设为单位的多个像素,其中,传送部传送光电变换得到的电荷,电荷变换部将电荷变换为信号,复位部将信号复位;动作模式控制部,其对将复位部和传送部设为关的第一动作模式和将复位部从开变为关并将传送部设为开的第二动作模式进行切换;黑电平校正部,其对在第二动作模式下的图像信号的黑电平进行校正;以及存储器,其保存黑电平的像素信号的值,其中,黑电平校正部使用存储器的黑电平的像素信号的值进行校正。
Description
技术领域
本发明涉及一种使用固体摄像元件进行摄像的摄像装置。
背景技术
近年来,使用了固体摄像元件的摄像装置广泛地使用于包含医疗用内窥镜的情况在内的各种装置。
在被插入体腔内的医疗用内窥镜的情况下,需要减小被插入体腔内的插入部的外径来进行细径化以减轻给予患者的痛苦,需要减小配置于插入部的前端部的固体摄像元件的尺寸。
为了减小在插入部的前端部配置的固体摄像元件的尺寸,考虑将形成光接收部的像素的周边侧的一部分像素以机械方式遮挡,从而形成为不具有用于生成摄像图像上的黑电平的信号的光学黑色像素(OB像素)的有效像素的结构。
通过设为像这样不具有OB像素的固体摄像元件,能够减小在插入部的前端部配置的固体摄像元件的尺寸,但是由于设为不具有OB像素的结构而使摄像图像上的黑电平成为不确定的状态,导致图像整体在监视器显示上变白(变亮)、或变为不自然的黑色(变暗),因此需要用于生成黑电平的信号的电路结构。
例如,作为第一现有例的日本特开2007-019577号公报公开了一种摄像装置,包括:机械快门,其用于取入被摄体光学像;摄像元件,其输出基于经由所述机械快门入射的所述被摄体光学像的图像信号;存储单元,其用于将所述快门的遮光状态时的所述摄像元件的输出保持为暗时输出;以及校正单元,其根据经由所述机械快门取入所述被摄体光学像的实际摄影时的曝光时间和存储在所述存储单元中的暗时输出来估计实际摄影时的噪声成分,从实际摄影时的所述摄像元件的输出中去除估计出的所述噪声成分后输出。
另外,作为第二现有例的日本特开2014-82698号公报公开了一种摄像装置,具有:摄像元件,其能够在一个图像输出期间获取第一摄影图像和第二摄影图像;图像判定单元,其用于根据摄影条件判定是否获取暗阴影校正用图像;图像获取单元,其在所述图像判定单元判定为获取所述暗阴影校正用图像的情况下,代替所述第二摄影图像而获取该暗阴影校正用图像;以及图像校正单元,其使用所述暗阴影校正用图像来对所述第一摄影图像和所述第二摄影图像进行校正。
在上述第一现有例中,视为黑电平因与实际的摄影时间成比例的暗电流而发生变动。也就是说,在该第一现有例中,关于黑电平,仅在接收光的光接收像素或者光电变换像素中,由于与实际的摄影时间成比例地产生的暗电流,而使用估计值来进行校正,该估计值将暗电流所产生的影响设为与摄影时间成比例的校正量。因此,对于在将光接收像素的信号电荷传送的电荷传送部、将该电荷传送部的信号电荷输出的信号输出部产生的与实际的摄影时间不成比例的部分中存在影响黑电平的量的情况,无法高精度地进行校正。另外,第一现有例不能应用于不具有机械快门的摄像装置。
另一方面,上述第二现有例在一个图像输出期间能够获取第一摄影图像和第二摄影图像的摄像元件自身中设置有包含噪声的第一信号读出系统(图3的301、303、305)以及读出将光信号和噪声信号相加得到的信号的第二信号读出系统(图3的302、304、306)的双系统的信号读出系统,采用了在普通的摄像元件中无法实现的结构。因此,期望一种在(仅)具备单系统的信号读出系统的普通的摄像元件中也能够简单地对黑电平进行校正(黑电平不固定的变亮电平的校正)的摄像装置。
本发明是鉴于上述的点而完成的,其目的在于提供一种在使用普通的摄像元件的情况下也能够高精度地对黑电平进行校正的摄像装置。
发明内容
用于解决问题的方案
本发明的一个方式的摄像装置具有:固体摄像元件,其具备将光电变换元件、传送部、电荷变换部、复位部、信号输出部、垂直传送线设为单位像素的多个像素,其中,该光电变换元件进行与光接收量相应的光电变换并蓄积电荷,该传送部传送所述光电变换元件中蓄积的电荷,该电荷变换部将所传送的电荷变换为信号,该复位部将所述电荷变换部的信号复位,该信号输出部输出由所述电荷变换部变换得到的信号,该垂直传送线与所述信号输出部连接;以及信号处理装置,其具备设定部、动作模式控制部以及黑电平校正部,其中,该设定部设定第一动作模式和第二动作模式的动作定时,在该第一动作模式下,将所述复位部设为关状态且将所述传送部设为关状态,将所述电荷变换部的信号电平设为黑电平,将该黑电平的像素信号向所述垂直传送线输出,在该第二动作模式下,在将所述复位部从开状态设为关状态且将所述传送部设为开状态来将所述光电变换元件蓄积的电荷传送到所述电荷变换部之后,将所述电荷变换部的信号作为黑电平未被校正的普通的像素信号,经由所述信号输出部向所述垂直传送线输出,该动作模式控制部按照所述设定部的设定对所述第一动作模式和所述第二动作模式进行切换,该黑电平校正部对在所述第二动作模式下从所述固体摄像元件的输出部输出的由多个所述普通的像素信号构成的图像信号中的黑电平进行校正,其中,所述信号处理装置将在所述第一动作模式下获取到的黑电平的像素信号的值保存到存储器,所述黑电平校正部使用在所述存储器中保存的黑电平的像素信号的值来对在所述第二动作模式下获取的所述图像信号进行校正。
附图说明
图1是表示本发明的第一实施方式的摄像装置的整体结构的图。
图2是表示图1的MOS型摄像元件中的单位像素的结构例的图。
图3是表示MOS型摄像元件的电路结构的图。
图4是表示成像器和成像器控制电路的结构的图。
图5是表示减少了图4中的信号线的条数的情况下的成像器和成像器控制电路的结构的图。
图6是表示图5的成像器的结构的图。
图7是表示第一实施方式的整体处理内容的流程图。
图8A是表示用于生成黑电平的像素信号值的第一动作模式的处理内容的流程图。
图8B是第一动作模式的动作说明的时序图。
图9A是表示成为普通模式的第二动作模式的处理内容的流程图。
图9B是第二动作模式的动作说明的时序图。
图10是表示第一实施方式的变形例的摄像装置的整体结构的图。
图11是表示校正电路的结构例的图。
图12是表示缺陷像素及其周围像素的图。
图13是表示第二动作模式中的基于第一动作模式获取黑电平的数据的处理内容的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式。
(第一实施方式)
如图1所示,本发明的第一实施方式的摄像装置1具有:内窥镜2A,其被插入体腔内;光源装置3,其向以装卸自如的方式连接的内窥镜2A提供照明光;图像信号处理装置4,其针对以装卸自如的方式连接的内窥镜2A进行信号处理;以及作为显示装置的监视器5,其被输入从图像信号处理装置4输出的显示用的图像信号,由此将所述图像信号的图像作为内窥镜图像进行显示。
内窥镜2A具有:细长的插入部6,其被插入体腔内;操作部7,其设置于该插入部6的基端;以及从操作部7延伸出的光导线缆8和信号线缆9。设置于光导线缆8的端部的光源用连接器10以装卸自如的方式连接于光源装置3,在信号线缆9的端部设置的信号用连接器11以装卸自如的方式连接于图像信号处理装置4。此外,也可以设为如下的结构:将光导线缆8和信号线缆9形成为一条,使信号线缆9例如从光源用连接器10延伸出来并将信号线缆9的端部的信号用连接器11与图像信号处理装置4连接。
此外,第一实施方式的摄像装置1除了使用内窥镜2A来构成以外,还能够使用局部结构稍有不同的内窥镜2B来构成。内窥镜2B具有细径的插入部6,但是内窥镜2A具有比内窥镜2B更细径的插入部6。为了使插入部6细径化,相比于内窥镜2B的情况,内窥镜2A减少了在插入部6内穿通的信号线的条数。另外,为了减少信号线的条数,内窥镜2A将信号处理系统的一部分形成为与内窥镜2B不同的结构(参照图4、图5)。除此之外,内窥镜2A与2B的结构相同。此外,在图1中,内窥镜2B的内部结构如果是图1所示的构成水平则是与内窥镜2A相同的结构。
用于传输(引导)照明光的光导12穿通于内窥镜2A的插入部6内,再将该光导12穿通于操作部7、光导线缆8内而到达光源用连接器10的端部。
向该端部入射来自光源装置3的照明光,将利用光导12传输的照明光从被固定于照明窗的光导12的前端面向外部射出,对体腔内的患部14等观察对象部位进行照明,该照明窗设置在插入部6的前端部13。
被照明的观察对象部位通过物镜15而在配置于其成像位置的形成固体摄像元件的MOS型摄像元件16的摄像面形成观察对象部位的光学像,该物镜15安装于前端部13处的与照明窗相邻地设置的观察窗。
MOS型摄像元件16利用配置于摄像面的形成光接收部45(参照图4)的光电变换元件来将成像于摄像面的光学像进行光电变换。在该MOS型摄像元件16附近配置摄像元件控制电路17,由MOS型摄像元件16和摄像元件控制电路17形成MOS型成像器(以下简称成像器)18,其中,该摄像元件控制电路17生成用于驱动MOS型摄像元件16的驱动信号并且进行使MOS型摄像元件16以两个动作模式进行动作的控制。
配置在前端部13内的成像器18经由穿通于插入部6、操作部7、信号线缆9内的多个信号线19来与搭载于设置在信号用连接器11内的观测器基板21的成像器控制电路22连接。此外,并不限定于将观测器基板21设置在信号用连接器11的内部的情况,也可以设为将观测器基板21设置在例如操作部7的内部的结构。另外,也可以将设置在观测器基板21内的成像器控制电路22的一部分设置在图像信号处理装置4的内部、或者将图像信号处理装置4的功能的一部分设置于成像器控制电路22。
成像器控制电路22对成像器18进行控制由此使MOS型摄像元件16以两个动作模式进行动作,并且成像器控制电路22具有存储器23和形成黑电平校正部的校正电路24,该存储器23具有储存(保存)对MOS型摄像元件16的黑电平进行校正的像素信号值(也简称为信号值)的信号值储存部(或者黑电平校正用数据储存部)23a,该校正电路24使用所保存的像素信号值(或者黑电平校正用数据)进行黑电平的校正。
在存储器23中具有ID储存部23b(在图1中略记为ID),该ID储存部23b储存有内置该存储器23的内窥镜2K(K=A或B)固有的识别信息(省略记为ID)。
与信号用连接器11连接的图像信号处理装置4具有通过与成像器控制电路22连接来对从成像器控制电路22输出的图像信号进行信号处理的图像处理电路31、对成像器控制电路22和图像处理电路31进行控制的控制电路32以及对控制电路32进行各种设定、设定的条件等的输入的操作面板33。
控制电路32通过读出ID储存部23b的ID,来进行与ID的内窥镜2A或者2B对应的控制。
此外,为了易于进行内窥镜2A、2B的调整、维护等,设置有对操作面板33进行操作来进行使MOS型摄像元件16以两个动作模式进行动作的定时、条件的设定的设定部33a的功能。也可以在手术操作者等一般的用户使MOS型摄像元件16以两个动作模式进行动作的可能性不存在的情况下,例如仅在输入了制造商侧所设定的特定的认证码时,使设定部33a发挥功能。在以下的说明中,也包含仅由制造商侧的工作人员进行操作的情况在内,而使用用户进行说明。
另外,关于控制电路32,例如在控制电路32的内部具备存储器32a,在该存储器32a中储存从设定部33a等设定的进行两个动作模式的定时、条件的信息。
在本实施方式中,如后述的那样以能够对第一动作模式和第二动作模式进行切换的方式驱动MOS型摄像元件16,其中,该第一动作模式用于输出MOS型摄像元件16中的各像素的黑电平的信号,该第二动作模式用于输出根据各像素接收到的光接收量进行光电变换得到的信号。
而且,控制电路32按照在存储器32a中储存的两个动作模式中的尤其是进行第一动作的定时或者定时条件的信息,来控制MOS型摄像元件16的动作。此外,也可以设为将存储器32a设置在控制电路32的外部的结构。另外,例如当在第二动作模式中从操作面板33输入进行第一动作模式的指示时,控制电路32进行控制使得在第二动作模式中也切换为第一动作模式来使MOS型摄像元件16等进行动作。另外,如后述的那样,在切换MOS型摄像元件16的动作模式、与其动作模式联动的处理等的情况下,控制电路32经由成像器控制电路22、成像器18内的摄像元件控制电路17来进行切换控制。
图像处理电路31将所生成的显示用的图像信号输出到监视器5。另外,图像处理电路31计算从成像器控制电路22输出的图像信号中的一帧图像的平均亮度,将计算出的信号作为调光信号输出到光源装置3,光源装置3根据调光信号来对从光源装置3向光导12入射的照明光的光量进行调整。
此外,还向控制电路32输入从成像器控制电路22输出的图像信号,控制电路32监视输入的图像信号的信号电平的上限值是否为规定的阈值以下,由此作为进行第一动作模式的条件,也可以进行如限制为输入的图像信号的信号电平的上限值为规定的阈值以下的情况那样的控制。
光源装置3具有产生照明光的灯35、对灯35所产生的照明光的光量进行控制的灯控制电路36以及将由灯35产生的照明光会聚而向光导12的成为入射端的端部入射的聚光透镜37。
图2表示MOS型摄像元件16的单位像素U的结构。此外,图2中的右侧表示单位像素的半结构化结构,图2中的左侧表示单位像素的等效电路结构。
如左侧所示,单位像素具有根据入射光的光接收量来进行光电变换的形成光电变换元件的光电二极管Pd、将光电二极管Pd中所蓄积的电荷传送到电荷变换部的形成传送部的传送用晶体管G、将电荷变换为信号的形成电荷变换部的电容器Fd、输出电容器Fd的信号的形成信号输出部的放大器A、将电容器Fd的信号复位的形成复位部的复位用晶体管R。此外,光电二极管Pd的阴极和电容器Fd的一端被连接至接地GND(在图2和图3中省略记为GN)。另外,对形成复位用晶体管R和放大器A的晶体管的漏极施加电源电压Vdd。
对传送用晶体管G的栅极施加传送信号φT,根据传送信号φT的“H”、“L”电平来分别使传送用晶体管G的源极与漏极间为导通、截止。
而且,在传送用晶体管G变为导通的情况下,将光电二极管Pd中蓄积的电荷传送到电容器Fd,将在电容器Fd中蓄积的电荷变换为与电荷量相应的电压值的信号。
另一方面,在使传送用晶体管G截止的情况下,将相当于黑电平的状态的电荷变换为信号,该相当于黑电平的状态的电荷是在不将光电二极管Pd中所蓄积的电荷传送到电容器Fd的状态下在电容器Fd中蓄积的电荷。
另外,通过对复位用晶体管R的栅极施加复位信号φR,使复位用晶体管R的漏极、与电容器Fd以及放大器A的成为输入端的栅极连接的源极之间彼此导通,将电容器Fd的信号和放大器A的输出复位。
此外,在设为多个像素的情况下,用于选择(单位像素的)各放大器A的输出的选择用晶体管(参照图3)与各放大器A的输出端连接。
在图2的右侧,由Si基板上的pn结形成图2的左侧的光电二极管Pd,并且图示了形成传送用晶体管G的传送栅电极Gt、形成电容器Fd的高浓度的杂质区域n+、形成复位用晶体管R的复位用开关SR。
图3表示将多个图2的单位像素U沿着正交的垂直方向和水平方向配置成网格状得到的MOS型摄像元件16的结构。此外,在图3中,简化示出了在垂直方向和水平方向上各配置有两个像素的像素U11、U12、U21、U22的例子。另外,在图3中,通过构成像素Uij(在图3中,i、j为1或2)的光电二极管Pdij等来表示构成图2中的单位像素U的光电二极管Pd等的结构要素。此外,在本实施方式中,物镜15的光学像成像于图3的全部像素,本实施方式中的MOS型摄像元件16是不具有OB像素的、仅由有效像素构成的MOS型摄像元件。
如图3所示,在像素Uij的放大器Aij的输出端设置有用于将放大器Aij的输出信号输出到垂直传送线Lj的(垂直列)选择用晶体管Vij。
另外,MOS型摄像元件16具有:垂直扫描电路41,其产生用于选择像素Uij中的垂直方向的像素列的垂直选择信号φVj;水平扫描电路42,其产生用于选择像素Uij中的水平方向的像素列的水平选择信号φHi;以及复位/传送控制电路(或者复位/传送产生电路)43,其产生复位信号φRj和传送信号φTj。
另外,MOS型摄像元件16设置有用于选择多个垂直传送线L1、L2中的水平方向的一个垂直传送线的(水平列)选择用晶体管Hi以及与选择用晶体管Hi连接的输出放大器Au,根据从水平扫描电路42输出的水平选择信号φHi来对选择用晶体管Hi进行选择,将根据水平选择信号φHi选择出的像素的信号从输出放大器Au输出。此外,在图3中,也可以如虚线所示那样利用移位寄存器RS来构成连接选择用晶体管H1、H2并与输出放大器Au的输入端连接的水平线。
如后述的那样,由MOS型摄像元件16中的多个光电二极管Pdij接收并进行光电变换得到的电荷在形成电荷变换部的电容器Fdij中被变换为与所蓄积的电荷相应的信号,将根据垂直选择信号φVj而选择的垂直方向的像素U1j、U2j的信号分别输出到垂直传送线L1、L2,将根据水平选择信号φH1、φH2而选择的水平方向的像素U1j、U2j的信号分别从输出放大器Au输出。
另外,在本实施方式中,进行控制使得在将传送部设为关的状态下,从MOS型摄像元件16输出黑电平的信号,进行A/D变换后储存到存储器23。在存储器23中储存了黑电平的信号值之后,在将传送部设为开的状态下,从MOS型摄像元件16输出获取到的信号,校正电路24生成图像信号,该图像信号是减去储存在存储器23中的黑电平的信号值而校正了黑电平后的图像信号。
MOS型摄像元件16中的多个光电二极管Pdij形成MOS型摄像元件16的光接收部45(参照图4),垂直扫描电路41、水平扫描电路42以及复位/传送控制电路43形成读出部46(参照图4),该读出部46从各像素读出基于MOS型摄像元件16的光接收部45的光接收的信号,输出放大器Au形成将MOS型摄像元件16的信号输出的输出部47(参照图4)。
利用构成摄像元件控制电路17的定时发生器53来控制形成上述读出部46的垂直扫描电路41、水平扫描电路42以及复位/传送控制电路43的动作。另外,摄像元件控制电路17根据从控制电路32发送的动作模式控制信号MODE等来控制MOS型摄像元件16的动作。
此外,在图3中示出使垂直选择信号φV1开(使垂直选择信号φV2关)并使水平选择信号φH1开(使水平选择信号φH2关)而从输出放大器Au输出像素U11的信号的情形。
图4表示内窥镜2B的情况下的成像器18和成像器控制电路22的结构,图5表示内窥镜2A的情况下的成像器18和成像器控制电路22的结构。
在内窥镜2B中,如图4所示,利用穿通于插入部6内的四条信号线19来连接成像器18与成像器控制电路22。另一方面,在内窥镜2A中,如图5所示,利用穿通于插入部6内的三条信号线19来连接成像器18与成像器控制电路22。此外,除了这些信号线以外,还有分别传输电源电压Vdd和接地GND电位的两条信号线19穿通于插入部6内(在图4、图5中省略图示)。
在图4的内窥镜2B中,成像器控制电路22中的成像器动作控制电路51将用于控制动作模式的动作模式控制信号(或模式控制信号)MODE、同步信号SYNC以及时钟信号CLK分别经由一条信号线19传输到摄像元件控制电路17。另外,从成像器18的MOS型摄像元件16输出的图像信号经由信号线19被传输到成像器动作控制电路51。
摄像元件控制电路17具有对动作模式进行控制的动作模式控制电路52以及生成对MOS型摄像元件16进行控制的定时信号的定时发生器53,从成像器动作控制电路51发送的动作模式控制信号MODE被发送到动作模式控制电路52,从成像器动作控制电路51发送的同步信号SYNC以及时钟信号CLK被发送到定时发生器53。
(控制电路32的控制下的)定时发生器53如图3所示那样对形成读出部46的垂直扫描电路41、水平扫描电路42以及复位/传送控制电路43进行控制(也能够定义为对光接收部45和读出部46进行控制。另外,在图3中在输出放大器Au的前级设置有水平移位寄存器的情况下,定时发生器53也形成为还对输出部47进行控制)。
另外,成像器控制电路22具有在控制电路32的控制下、对成像器18的动作进行控制的成像器动作控制电路51、将从MOS型摄像元件16输出的(模拟的)图像信号(或像素信号)变换为数字的图像信号的A/D变换电路54、对A/D变换电路54的输出信号进行切换的切换开关55、储存选择了切换开关55的接点a的情况下的黑电平的图像信号的信号值的存储器23以及在选择了切换开关55的接点b的情况下对图像信号进行校正的校正电路24。也可以代替图4所示的A/D变换电路54,而使用模拟前端(AFE)以及相关双采样电路(CDS)等。
此外,成像器动作控制电路51根据动作模式控制信号MODE来控制切换开关55。具体地说,成像器动作控制电路51使切换开关55以如下方式进行切换:在第一动作模式的动作期间选择接点a,在第二动作模式的动作期间选择接点b。在存储器23中,由彼此不同的部分存储区域形成上述的信号值储存部23a和储存有ID的ID储存部23b。
与之相对,在图5的内窥镜2A中,成像器控制电路22中的成像器动作控制电路51将用于控制动作模式的动作模式控制信号MODE和同步信号SYNC叠加而经由一条信号线19传输到摄像元件控制电路17。关于其它的信号线19,与图4的情况相同。
在图5的内窥镜2A中,成像器控制电路22构成为在图4的成像器控制电路22中还具有用于将动作模式控制信号MODE与同步信号SYNC叠加(或编码)的叠加电路(或编码器)56。
另外,在图5的内窥镜2A中,代替图4中的摄像元件控制电路17的动作模式控制电路52,而具有进行串行并行变换的串行并行变换电路57以及将编码后的动作模式控制信号MODE和同步信号SYNC解码的解码器58。
图6表示图5的情况下的成像器18的结构。此外,定时发生器53在如图7~图9B中说明的那样切换第一动作模式和第二动作模式来使MOS型摄像元件16进行动作的情况下,不输出传送信号φT而驱动的动作和输出传送信号φT来驱动的动作成为决定性的差异。
换言之,定时发生器53进行控制,使得在第一动作模式下不输出传送信号φT(在图6中,用φToff示意性地表示)而将复位信号φR、垂直选择信号φV、水平选择信号φH输出到读出部46,在第二动作模式下将传送信号φT、复位信号φR、垂直选择信号φV、水平选择信号φH输出到读出部46。
在图4的结构的情况下,定时发生器53的控制内容也与图6所示的情况相同。
本实施方式的摄像装置1的特征在于,具有:形成固体摄像元件的MOS型摄像元件16,其具备将形成光电变换元件的光电二极管Pd(或Pdij)、形成传送部的传送用晶体管G(或Gij)、形成电荷变换部的电容器Fd(或Fdij)、形成复位部的复位用晶体管R(或Rij)、形成信号输出部的放大器A(或Aij)、与所述信号输出部连接的垂直传送线L(或L1、L2)设为单位像素的多个像素,其中,该光电二极管Pd(或Pdij)进行与光接收量相应的光电变换并蓄积电荷,该传送用晶体管G(或Gij)传送所述光电变换元件中蓄积的电荷,该电容器Fd(或Fdij)将所传送的电荷变换为信号,该复位用晶体管R(或Rij)将所述电荷变换部的信号复位,该放大器A(或Aij)输出由所述电荷变换部变换得到的信号;以及形成信号处理装置的图像信号处理装置4和成像器控制电路22,具备设定部33a、形成动作模式控制部的控制电路32(或摄像元件控制电路17)、形成黑电平校正部的校正电路24,其中,该设定部33a设定第一动作模式和第二动作模式的动作定时,该第一动作模式下向所述垂直传送线L输出将所述复位部设为关状态且将所述传送部设为关状态来使所述电荷变换部的信号电平为黑电平而得到的该黑电平的像素信号,该第二动作模式下在将所述复位部从开状态设为关状态且将所述传送部设为开状态来将所述光电变换元件蓄积的电荷传送到所述电荷变换部之后,将所述电荷变换部的信号作为黑电平未被校正的普通的像素信号来经由所述信号输出部向所述垂直传送线L输出,该控制电路32(或摄像元件控制电路17)按照所述设定部33a的设定来切换所述第一动作模式和所述第二动作模式,该校正电路24校正在所述第二动作模式下从形成所述固体摄像元件的输出部的输出放大器Au输出的由多个所述普通的像素信号构成的图像信号中的黑电平。其中,所述信号处理装置将在由所述设定部33a设定的动作定时而在所述第一动作模式下获取到的黑电平的像素信号值保存到存储器23,所述黑电平校正部使用在所述存储器23中保存的黑电平的像素信号值来校正在所述第二动作模式下获取的所述图像信号。
接着,参照图7说明本实施方式的摄像装置1的动作。图7示出表示摄像装置1整体的处理内容的流程图。
手术操作者等用户接通在图像信号处理装置4上连接有内窥镜2A或者2B的摄像装置1的电源,使摄像装置1成为动作状态。
在最初的步骤S1中,用户从操作面板33的设定部33a设定使两个动作模式进行动作的定时、或者使第一动作模式进行动作的定时等。动作模式是只能执行两个动作模式中的一个动作模式的结构,因此当第一动作被设定时,自动地决定(在没有设定第一动作模式的动作期间内的)第二动作模式的设定。在控制电路32内的存储器32a中储存有在默认设定的情况下定时设定为在启动时基于第一动作模式进行动作的信息。
此外,在如上述那样使MOS型摄像元件进行动作的情况下,只能使MOS型摄像元件以一个动作模式进行动作(换言之,无法同时以两个动作模式进行动作),但是能够如后述的那样使MOS型摄像元件以第二动作模式读出多行像素并在该读出的过程中(从第二动作模式切换为第一动作模式)以第一动作模式读出例如1行像素那样地进行动作。
用户可以保持默认设定来使摄像装置1进行动作,除了默认设定以外,也能够由设定部33a设定为在内窥镜检查的过程中使摄像装置1基于第一动作模式进行动作。
此外,在存储器23的信号值储存部23a中,在内窥镜2K出厂时预先储存有成为基准的黑电平的像素信号值。因此,在不进行第一动作模式而使MOS型摄像元件16以第二动作模式进行动作的情况下,也能够使用基准的黑电平的像素信号值来进行第二动作模式的图像信号的黑电平的校正。
在进行第一动作模式的设定之后的接下来的步骤S2中,控制电路32读出存储器23的ID,进行与ID对应的控制。控制电路32例如基于读出的ID判定与图像信号处理装置4连接的内窥镜是2A还是2B,能够进行与判定出的内窥镜2K的种类对应的控制。
在接下来的步骤S3中,控制电路32为了使MOS型摄像元件16进行动作,而根据储存在存储器32a中的信息等判定是否为以第一动作模式进行动作的定时。
在是启动时进行第一动作模式的设定的情况下,在接下来的步骤S4中,控制电路32对成像器控制电路22进行控制以使MOS型摄像元件16以第一动作模式进行动作。此外,也可以设为在启动时通常进行的白平衡调整时同时地进行第一动作模式的设定。在这样的情况下,成像器18的MOS型摄像元件16以第一动作模式进行动作。第一动作模式的情况下的处理成为图8A那样(后述)。
如图4或图5所示,在第一动作模式下从MOS型摄像元件16输出的各像素的相当于黑电平的像素信号(也称为第一图像信号)被输入到成像器控制电路22。在该情况下,切换开关55切换为接点a接通,将输入到成像器控制电路22的黑电平的像素信号进行A/D变换之后,经由切换开关55输入到存储器23。然后,如步骤S5所示,在存储器23的信号值储存部23a中储存黑电平的信号值。
此外,存储器23的信号值储存部23a除了具备将出厂时的(默认的)黑电平的信号值储存的区域以外,例如还具备将在设定为第一动作模式的情况下获取的黑电平的信号值储存的第二信号值储存区域以能够选择性地进行使用。
因此,用户能够进行如下两种情况的选择:使用默认的黑电平的信号值进行黑电平的校正的情况、以及使用在设定为第一动作模式的情况下获取到的黑电平的信号值进行黑电平的校正的情况。在由用户设定为进行第一动作模式的情况下,(自动地)使用通过第一动作模式获取到的黑电平的信号值进行黑电平的校正。此外,在维护时获取到黑电平的情况下,也可以利用获取到的黑电平的信号值来更新默认的黑电平的信号值。通过这样,针对MOS型摄像元件16的黑电平的特性长年变化那样的情况,能够进行在维护时有效地应对该特性变化的默认设定(或更新)。
当将形成MOS型摄像元件16的光接收部45的所有像素(换言之,成为一帧的多个像素)中的黑电平的信号值储存到存储器23中的处理结束时,在接下来的步骤S6中,控制电路32对成像器控制电路22进行控制以使成像器18的MOS型摄像元件16以第二动作模式进行动作。然后,MOS型摄像元件16以第二动作模式进行动作。该情况下的处理成为图9A那样(后述)。
在步骤S3的判定处理中,在判定结果为不是第一动作模式的动作定时的情况下,进入步骤S6的处理。
在步骤S6中,将从以第二动作模式进行动作的MOS型摄像元件16输出的第二图像信号在成像器控制电路22内进行了A/D变换之后,输入到校正电路24。然后,在步骤S7中,校正电路24从所输入的第二图像信号减去存储器23的黑电平的信号值,输出黑电平被校正了的图像信号。
将该图像信号输入到图像处理电路31,在步骤S8中,图像处理电路31对该图像信号进行轮廓校正、γ校正等,生成显示用的图像信号并输出到监视器5。如步骤S9所示,监视器5被输入显示用的图像信号,由此将对应的图像显示为内窥镜图像,并结束图7的处理。此外,如图7中虚线所示的那样在步骤S9的处理之后也可以进行步骤S31~S33的处理(后述)。
接着,参照图8A和图8B说明第一动作模式的情况下的处理。此外,图8A中的步骤S16的处理表示与图7的步骤S5实质相同的处理。
当开始第一动作模式时,在步骤S11中,摄像元件控制电路17的定时发生器53进行控制使得复位/传送控制电路43输出复位信号φR。
图8B表示与图8A的处理对应的(针对图3的结构的情况的)时序图。
复位/传送控制电路43依次输出φR1、φR2作为复位信号φR。在图3的结构的情况下,利用复位信号φR1使像素U11、U12的复位用晶体管R11、R12导通,将电容器Fd11、Fd12以及放大器A11、A12的输出复位。同样地,利用复位信号φR2使像素U21、U22的复位用晶体管R21、R22导通,将电容器Fd21、Fd22以及放大器A21、A22的输出复位。
另外,在步骤S12中,定时发生器53进行控制使得复位/传送控制电路43不输出传送信号φT,从而使传送用晶体管G截止(维持截止的状态)。在图8B中,用虚线表示不输出传送信号φT的情形。
在接下来的步骤S13中,定时发生器53进行控制使得垂直扫描电路41输出垂直选择信号φV。在图8B中表示在垂直扫描电路41依次输出复位信号φR1、φR2之后经过了规定的时间的定时输出垂直选择信号φV1、φV2的情形。
在图3的结构的情况下,根据垂直选择信号φV1,将像素U11的相当于黑电平的状态的放大器A11的信号输出到垂直传送线L1,将放大器A12的信号输出到垂直传送线L2。同样地,根据垂直选择信号φV2,将像素U21的相当于黑电平的状态的放大器A21的信号输出到垂直传送线L1,将放大器A22的信号输出到垂直传送线L2。
在接下来的步骤S14中,定时发生器53进行控制使得在分别输出垂直选择信号φV1、φV2的期间内,水平扫描电路42输出水平选择信号φH。在图8B中表示在输出垂直选择信号φV1的期间内水平扫描电路42依次输出水平选择信号φH1、φH2并且在输出垂直选择信号φV2的期间内水平扫描电路42依次输出水平选择信号φH1、φH2的情形。
通过步骤S14的处理,如步骤S15所示,将各像素Uij的相当于黑电平的像素信号经由输出放大器Au而从MOS型摄像元件16依次输出。在图8B中,将(像素U11、U12、U21、U22中的)黑电平的像素信号Ub11、Ub12、Ub21、Ub22作为(MOS型摄像元件16的)输出信号而从输出放大器Au输出。
在该情况下,存储器23被设定为写模式(在图8B中用W模式表示),如步骤S16所示,在将黑电平的像素信号Ub11、Ub12、Ub21、Ub22进行A/D变换之后,将数字的黑电平的像素信号值与各像素Uij的地址相关联地储存到存储器23中。
通过这样,结束第一动作模式的处理。
接着,参照图9A和图9B说明第二动作模式的情况下的处理。
以下说明的第二动作模式是在图8A中的第一动作模式的处理中将不输出传送信号φT的处理变更为输出传送信号φT的处理,其它的处理为与第一动作模式同样地进行的处理。但是,针对从MOS型摄像元件16输出的输出信号的处理与第一动作模式的处理的情况不同。此外,图9A中的步骤S26表示与图7中的步骤S7的处理大致相同的处理。
当开始第二动作模式时,在步骤S21中,摄像元件控制电路17的定时发生器53进行控制使得复位/传送控制电路43输出复位信号φR。
图9B表示与图9A的处理对应的(针对图3的结构的情况的)时序图。复位/传送控制电路43与图8B所示的同样地依次输出φR1、φR2作为复位信号φR。在图3的结构的情况下,根据复位信号φR1使像素U11、U12的复位用晶体管R11、R12导通,从而将电容器Fd11、Fd12以及放大器A11、A12的输出复位。
同样地,根据复位信号φR2使像素U21、U22的复位用晶体管R21、R22导通,从而将电容器Fd21、Fd22以及放大器A21、A22的输出复位。
另外,在接下来的步骤S22中,定时发生器53进行控制使得复位/传送控制电路43输出传送信号φT,根据传送信号φT使传送用晶体管G导通。在图9B中,在输出复位信号φR1后的规定的时间to之后,输出传送信号φT1,并且在输出复位信号φR2后的规定的时间to之后,输出传送信号φT2。规定的时间to相当于用于各像素拍摄一帧图像的光接收期间。
在图3的结构的情况下,根据传送信号φT1,将由光电二极管Pd11、Pd12根据在规定的光接收时间内接收到的光量所蓄积的电荷传送到电容器Fd11、Fd12,并将该电荷变换为电压信号。另外,根据传送信号φT2,将由光电二极管Pd21、Pd22根据在规定的光接收期间内接收到的光量所蓄积的电荷传送到电容器Fd21、Fd22,并将该电荷变换为电压信号。
在接下来的步骤S23中,定时发生器53进行控制使得垂直扫描电路41输出垂直选择信号φV。
如图9B所示,垂直扫描电路41依次在紧接着传送信号φT1之后输出垂直选择信号φV1、紧接着传送信号φT2之后输出垂直选择信号φV2。
在图3的结构的情况下,根据垂直选择信号φV1,将由像素U11、U12的电容器Fd11、Fd12变换得到的电压信号通过放大器A11、A12放大后分别输出到垂直传送线L1。同样地,根据垂直选择信号φV2,将由像素U21、U22的电容器Fd21、Fd22变换得到的电压信号通过放大器A21、A22放大后输出到垂直传送线L2。
在接下来的步骤S24中,定时发生器53进行控制使得在依次输出垂直选择信号φV1、φV2的期间内,水平扫描电路42输出水平选择信号φH。图9B表示如下的情形:在输出垂直选择信号φV1的期间内,水平扫描电路42输出水平选择信号φH1、φH2,并且在输出垂直选择信号φV2的期间内,水平扫描电路42输出水平选择信号φH1、φH2。
通过步骤S24的处理,如步骤S25所示,将与各像素Uij的光接收量相应的电压的像素信号经由输出放大器Au而从MOS型摄像元件16输出。在图9B中,将(像素U11、U12、U21、U22中的)与光接收量相应的电压的像素信号Ua11、Ua12、Ua21、Ua22作为(MOS型摄像元件16的)输出信号而从输出放大器Au输出。从输出放大器Au输出的输出信号被输入到校正电路24。
在该情况下,存储器23被设定为读模式(在图9B中用R模式表示),从存储器23读出黑电平的像素信号(的信号值)Ub11、Ub12、Ub21、Ub22并输入到校正电路24。
然后,如步骤S26所示,校正电路24将从像素信号Uaij减去黑电平的像素信号(的信号值)Ubij得到的像素信号列作为被校正过的图像信号输出到后级侧的图像处理电路31。
通过这样,结束图9A所示的第二动作模式的处理。
根据像这样进行动作的第一实施方式,在使用只有一个信号读出系统的普通的摄像元件的情况下,也能够简单地高精度地对黑电平进行校正。
另外,在第一实施方式中,存储器23保存(储存)在第一动作模式下从MOS型摄像元件16输出的多个光电变换元件全部的黑电平的信号值,形成黑电平校正部的校正电路24利用存储器23中所保存的黑电平的信号值对构成通过第二动作模式获取的图像信号的全部所述普通的像素信号分别进行校正,因此能够对各像素的每一个进行精度高的黑电平校正。
另外,根据采用了第一实施方式中的内窥镜2A的摄像装置1,设为能够使用共用化的信号线19来传输动作模式控制信号MODE和同步信号SYNC的结构,因此能够使插入部6细径化。
接着,对第一实施方式的变形例进行说明。在第一实施方式中说明了能够使用内窥镜2A或2B构成摄像装置1的情况,与此相对地,在第一实施方式的变形例中,能够选择性地使用内窥镜2A、2B以及2C中的一个来构成摄像装置1。此外,在本变形例中,在使用内窥镜2A或2B的情况下,与第一实施方式相同,因此省略其记载(说明)。
图10表示使用内窥镜2C的情况下的摄像装置1。在图10的摄像装置1中,构成为具备内窥镜2C、光源装置3、图像信号处理装置4以及监视器5,但是也能够将图1所示的内窥镜2A或2B与图像信号处理装置4连接。
内窥镜2C成为例如在内窥镜2A的成像器控制电路22的结构中具备还追加了用于校正像素缺陷的功能的校正电路24′的结构。
另外,该内窥镜2C在内窥镜2A的成像器控制电路22中的存储器23中还具备缺陷像素地址储存部23c,该缺陷像素地址储存部23c用于将表示MOS型摄像元件16中的缺陷像素的二维位置的地址的信息储存在存储器23的部分存储区域。
内窥镜2C例如在出厂时被调查表示搭载于该内窥镜2C的MOS型摄像元件16中的缺陷像素的二维位置的地址,根据调查结果,将缺陷像素的地址的信息储存在设置于被调查的相同的内窥镜2C内的存储器23内的缺陷像素地址储存部23c中。
因而,内窥镜2C的存储器23具备储存黑电平的像素信号值的信号值储存部23a、ID储存部23b以及缺陷像素地址储存部23c。此外,也可以使用与存储器23相独立的存储器来形成缺陷像素地址储存部23c。
在本变形例中,根据例如图11所示那样的结构,校正电路24′对在第二动作模式下输入到校正电路24′的图像信号进行黑电平的校正,并且进行针对缺陷像素的校正。
校正电路24′具有:减法电路61,其输出从在第二动作模式下输入的图像信号中减去从存储器23的黑电平(信号值)储存部23b读出的黑电平的信号值而对黑电平进行校正得到的图像信号;两个帧存储器62a、62b,分别储存从减法电路61输出的一帧的图像信号;存储器控制电路63,其对帧存储器62a、62b的写入、读出进行控制;缺陷像素校正电路64,其进行如下处理:对暂时地储存在帧存储器62a、62b中的图像信号中的缺陷像素进行校正后储存到帧存储器62a、62b中;以及切换电路65,其切换地输出储存在帧存储器62a、62b中的缺陷像素被校正了的图像信号。
存储器控制电路63将被输入的图像信号例如每一帧切换地交替写入到两个帧存储器62a、62b。另外,缺陷像素校正电路64针对被输入到用于进行所输入的图像信号写入的一方的帧存储器中的图像信号,针对从缺陷像素地址储存部23c发送的缺陷像素的地址的像素(的图像信号),使用缺陷像素周围的多个像素的信号值来进行校正。
在进行缺陷像素(的图像信号)的校正的情况下,例如图12所示,利用与缺陷像素相邻的周围的像素。
例如图12所示,在用Pp,q表示地址(p,q)的缺陷像素的情况下,缺陷像素校正电路64使用例如在垂直方向上相邻的像素Pp-1,q和Pp+1,q的信号值的平均值来对缺陷像素Pp,q进行校正,将校正后的信号值储存到帧存储器中的缺陷像素的地址。通过这样,来对各帧中的缺陷像素进行校正,当进入下一帧时,将黑电平和缺陷像素被校正了的图像信号从储存有缺陷像素被校正了的图像信号的帧存储器经由切换电路65而从校正电路24′输出。此外,在对缺陷像素Pp,q进行校正的情况下,不限定于使用在垂直方向上相邻的两个像素Pp-1,q、Pp+1,q的情况,也可以使用在水平方向上相邻的两个像素、缺陷像素Pp,q周围的八个像素进行校正。此外,作为不进行缺陷像素的校正而进行黑电平的校正的校正电路24,也可以设为在图11所示的校正电路24′的结构中删除缺陷像素校正电路64后的结构。另外,在以下的说明中,在应用于内窥镜2A或2B时的情况下,作为校正电路24,假定上述的结构。此外,内窥镜2A或2B内的存储器23只要设为在图11所示的存储器23中不具有缺陷像素地址储存部23c的结构即可。
在本变形例中,如以下说明的那样,在第二动作模式中的多个帧期间中,获取通过第一动作模式得到的黑电平的信号值,能够使用获取到的信号值进行黑电平的校正。通过进行这样的校正,能够应对因进行内窥镜检查时的环境温度发生变化而使黑电平变动那样的情况。此外,以下的说明不仅能够应用于内窥镜2C的情况,还能够应用于内窥镜2A或2B的情况。
也就是说,成为还包括第一实施方式的情况的实施方式。并且,作为补充,当应用于内窥镜2A或2B的情况时,能够应对因进行内窥镜检查时的环境温度发生变化而使黑电平变动那样的情况,在应用于内窥镜2C的情况下,还追加能够对像素缺陷进行校正的效果。
本变形例在例如图7所示的处理中,在步骤S9的处理之后,如虚线所示的步骤S31那样,控制电路32判定在第二动作模式中是否从操作面板33等进行了用于获取通过第一动作模式得到的黑电平的信号值的指示输入。
控制电路32在未进行指示输入的情况下进入步骤S33的处理,在进行了指示输入的情况下,如步骤S32所示,在第二动作模式中进行获取通过第一动作模式得到的黑电平的信号值的处理。然后,更新存储器23的黑电平的信号值。因而,在进行了步骤S32之后使用存储器23中储存的黑电平的信号值进行黑电平的校正的情况下,使用在步骤S32的处理中更新的黑电平的信号值来进行黑电平的校正。
另外,在步骤S32之后的步骤S33中,控制电路32判定是否进行了(内窥镜)检查结束的指示输入,在未进行检查结束的指示输入的情况下,返回例如步骤S6的处理,另一方面,在进行了检查结束的指示输入的情况下,结束图7的处理。
图13表示步骤S32的详细处理。此外,在以下的说明中,设为形成光接收部45的沿着水平方向(或第一方向)和与水平方向正交的垂直方向(或第二方向)分别设置多个像素沿着m、n行(m、n为3以上的自然数)被配置成网格状。
当引用图3的结构时,对应将图3中的两行的像素设为m行、将两列的像素设为n列的情况。
当开始图13的处理时,在步骤S41中,(在控制电路32的控制下进行控制动作的)例如成像器控制电路22内的成像器动作控制电路51进行控制使得定时发生器53将驱动MOS型摄像元件16时的参数i、k设定为初始值i=1、k=1。下面,说明由定时发生器53控制的动作也由成像器动作控制电路51来控制的情况。
图13所示的处理的概要设为,在由设定部33a等以在第二动作模式中进行第一动作模式的方式设定了动作定时的情况下,构成动作模式控制部的成像器动作控制电路51通过第一动作模式读出m行量的像素中的1行量的像素,将读出的1行量的像素的信号作为黑电平的信号值保存(或储存)到存储器23中,并且通过第二动作模式读出m行量的像素的信号,将读出的m行量的像素的信号保存(或储存)到帧存储器62a或62b中,在向帧存储器62a或62b保存(或储存)之前或之后进行黑电平的校正。
另外,形成如下的处理:将通过上述第一动作模式读出的1行量的像素例如从第1行起依次变更直到最后的第m行为止,由此获取光接收部45的所有像素的黑电平的信号值。在获取后,成为仅进行第二动作模式的动作模式,使用通过第一动作模式获取到的黑电平的信号值来对在第二动作模式下获得的图像信号进行校正。
上述步骤S41中的参数i表示读出水平方向的1行量的像素的信号(用Hi表示)时的参数,参数k表示以第一动作模式读出水平方向的1行量的像素的黑电平的信号(用Bk表示)时的参数。
在接下来的步骤S42中,成像器动作控制电路51判定参数i是否等于k。在初始值的情况下,由于参数i(=1)等于k(=1),因此进入接下来的步骤S43的处理。在步骤S43中,成像器动作控制电路51进行控制使得读出部46以第一动作模式读出参数i的信号Bi(=Bk)。也就是说,读出部46(的复位/传送控制电路43)在输出复位信号φR之后,以使传送信号φT关的第一动作模式读出参数i的信号作为黑电平的信号Bi。
如步骤S44所示,依次将从MOS型摄像元件16输出的参数i(=k=1)的黑电平的信号Bi储存(保存)到存储器23的信号值储存部23a的第二信号值储存部(在图11中用23aa表示)中,将1行量的信号值依次储存(保存)到与该1行量的像素地址对应的存储区。在该情况下,成像器动作控制电路51将切换开关55切换为使接点a接通。
在接下来的步骤S45中,成像器动作控制电路51进行控制使得读出部46以第二动作模式读出参数i的信号Hi。也就是说,读出部46(的复位/传送控制电路43)在输出复位信号φR之后,以使传送信号φT开的第二动作模式读出参数i的信号Hi。
如步骤S46所示,将从MOS型摄像元件16输出的参数i(=1)的信号Hi对校正电路24′的帧存储器62a或62b储存1行量的图像信号。在该情况下,成像器动作控制电路51将切换开关55切换为使接点b接通。
在接下来的步骤S47中,成像器动作控制电路51进行参数i是否为最终行m的判定。当前,由于参数i为1,因此判定为参数i不等于m,在步骤S48中进行使参数i增加1的处理(i=i+1)之后,进入步骤S42的处理。在该情况下,参数i变为2。
在步骤S42中,成像器动作控制电路51判定为参数i(=2)不等于k(=1),进入步骤S45的处理。在步骤S45中,成像器动作控制电路51进行控制使得以第二动作模式读出参数i的信号Hi,再与参数i为1的情况同样地进行步骤S46~S8的处理之后,返回步骤S42的处理。
当重复进行这样的处理而参数i等于m时,结束一帧图像的读出,经过步骤S47的判定处理后进入步骤S49的处理。
在步骤S49中,成像器动作控制电路51进行参数k是否等于m的判定,在判定结果为不等于的情况下,在接下来的步骤S50中,成像器动作控制电路51使参数i增加1、使k增加1(k=k+1)之后,返回步骤S42的处理。
在该情况下,在步骤S42中,成像器动作控制电路51判定为参数i(=1)不等于k(=2),进入步骤S45的处理,在进行步骤S45~S48的处理之后返回步骤S42的处理。
在该情况下,由于参数i变为2,因此在步骤S42中判定为参数i等于k(=2)。然后,进行步骤S43、S44的处理,再进行步骤S45~S48的处理,并返回步骤S42的处理。
重复进行这样的处理直到参数k等于m为止。当参数k等于m时,结束将光接收部45的所有像素的黑电平的信号值储存(保存)到存储器23的信号值储存部23a的第二信号值储存部23aa中的处理。
因此,在步骤S49中,在成像器动作控制电路51判定为参数k等于m的情况下,结束图13的处理。
在结束了图13的处理的情况下,成为仅进行第二动作模式的动作模式,使用通过图13的处理而储存到第二信号值储存部23aa中的黑电平的信号值来对第二动作模式的图像信号进行黑电平的校正。
此外,在图13所示的将光接收部45的所有像素的黑电平的信号值储存到第二信号值储存部23aa的处理结束为止的期间,能够在黑电平的校正中使用在该处理结束之前储存于存储器23的信号值储存部23a中的光接收部45的所有像素的黑电平的信号值。并不限定于该情况,例如也可以在存在用户用信号值储存部23aa中的在开始图13的处理之前已经储存的黑电平的信号值的情况下,通过图13的处理来更新旧的黑电平的信号值,使用部分被更新的黑电平的信号值来进行黑电平的校正。
根据像这样进行动作的变形例,在正使用内窥镜2A、2B、或2C的环境温度发生变化而使黑电平发生变化那样的情况下,也能够获取该环境温度下的黑电平的信息,来高精度地校正显示于监视器5的图像的黑电平。另外,在内窥镜2C的情况下,还能够校正像素缺陷。
另外,在图13所示的处理中,相对于在读出光接收部45的所有像素的情况下进行m行量的信号读出的普通的一帧的读出期间T,m+1行量的读出期间成为T×(m+1)/m,因此在m>>1的情况下,通过在m帧期间重复与普通的读出期间T几乎相同的期间,能够获取光接收部45的所有像素的黑电平的信息。然后,在黑电平的信息获取之后,能够使用获取到的黑电平的信息来将画质好的图像显示于监视器5。
此外,关于图13所示的处理,说明了在一帧的读出期间T获取1行量的黑电平的信号值的处理的情况,但是也可以设为例如进行获取两行量、或三行量等多行的黑电平的像素信号值的处理。
此外,也可以变更图13所示的处理。例如也可以在以第一动作模式读出例如第j个1行量的像素作为黑电平的信息的情况下,在第二动作模式下不进行第j个1行量的像素的读出。在该情况下,由于第二动作模式下的第j个1行量的像素缺失,因此也可以用例如与第j个1行相邻的第j-1个和第j+1个这两个1行量的像素的信号值来(对缺失)进行校正,或者用前一帧的第j个1行量的像素来(对缺失)进行校正(图13所示的处理具有不需要这样的校正而能够获取一帧的运动图像的图像的优点)。
另外,在上述的说明中,说明了针对形成光接收部45的所有像素获取黑电平的像素信号值的例子,但是也能够针对各行仅获取一个黑电平的像素信号值。
此外,也可以将包含上述的变形例在内的实施方式部分地组合来构成不同的实施方式。
本申请是将2015年7月22在日本申请的日本特愿2015-145093号作为主张优先权的基础进行申请的,设为上述的公开内容被引用在本申请说明书、权利要求书、附图中。
Claims (7)
1.一种摄像装置,其特征在于,具有:
内窥镜,其插入部的前端部设有固体摄像元件,该固体摄像元件具备将光电变换元件、传送部、电荷变换部、复位部、信号输出部以及垂直传送线设为单位像素的多个像素,其中,该光电变换元件进行与光接收量相应的光电变换并蓄积电荷,该传送部传送所述光电变换元件中蓄积的电荷,该电荷变换部将所传送的电荷变换为信号,该复位部将所述电荷变换部的信号复位,该信号输出部输出由所述电荷变换部变换得到的信号,该垂直传送线与所述信号输出部连接;以及
信号处理装置,其具备设定部、动作模式控制部以及黑电平校正部,其中,该设定部设定第一动作模式和第二动作模式的动作定时,在该第一动作模式下,将所述复位部设为关状态且将所述传送部设为关状态,将所述电荷变换部的信号电平设为黑电平,将该黑电平的像素信号向所述垂直传送线输出,在该第二动作模式下,在将所述复位部从开状态设为关状态且将所述传送部设为开状态来将所述光电变换元件蓄积的电荷传送到所述电荷变换部之后,将所述电荷变换部的信号作为黑电平未被校正的普通的像素信号,经由所述信号输出部向所述垂直传送线输出,该动作模式控制部对所述第一动作模式和所述第二动作模式进行切换,该黑电平校正部对在所述第二动作模式下从所述固体摄像元件的输出部输出的由多个所述普通的像素信号构成的图像信号中的黑电平进行校正,
其中,所述信号处理装置将在所述第一动作模式下获取到的黑电平的像素信号的值保存到存储器,由所述黑电平校正部使用在所述存储器中保存的黑电平的像素信号的值来对在所述第二动作模式下获取的所述图像信号进行校正,
关于被穿通于所述插入部内而用于传输同步信号、动作模式控制信号以及所述图像信号的信号线,所述摄像装置使用共用化的信号线来传输所述同步信号和所述动作模式控制信号,该同步信号用于生成使所述固体摄像元件输出所述图像信号的驱动信号,该动作模式控制信号用于使所述固体摄像元件分别以所述第一动作模式和所述第二动作模式进行动作。
2.根据权利要求1所述的摄像装置,其特征在于,
所述存储器保存在所述第一动作模式下从所述固体摄像元件输出的多个所述光电变换元件全部的黑电平的像素信号的值,
所述黑电平校正部利用在所述存储器中保存的所述黑电平的像素信号的值,对通过所述第二动作模式获取的构成所述图像信号的全部所述普通的像素信号分别进行校正。
3.根据权利要求1所述的摄像装置,其特征在于,
所述信号处理装置具备第二存储器,该第二存储器保存内置于所述内窥镜的所述固体摄像元件中的缺陷像素的地址,
所述信号处理装置还具备缺陷像素校正部,所述缺陷像素校正部在所述第二动作模式下,针对与该缺陷像素的地址对应的所述图像信号,用所述缺陷像素周围的多个像素的像素信号来进行校正。
4.根据权利要求1所述的摄像装置,其特征在于,
所述固体摄像元件将所述多个像素沿着在正交的第一方向和第二方向上分别设置的多个m、n行配置成网格状,
在由所述设定部以在所述第二动作模式中进行所述第一动作模式的方式设定了动作定时的情况下,
所述动作模式控制部进行控制来以所述第一动作模式读出m行量的像素中的1行量的像素并将读出的1行量的像素的信号作为黑电平的信号值保存到存储器中并且以所述第二动作模式读出m行量的像素的信号,并且所述动作模式控制部变更以所述第一动作模式读出时的所述1行而重复进行上述的控制。
5.根据权利要求4所述的摄像装置,其特征在于,
所述动作模式控制部进行控制使得将通过所述第一动作模式而从所述固体摄像元件进行输出的所述1行按每一帧期间依次变更为不同的m行,来在m帧期间重复进行该变更。
6.根据权利要求5所述的摄像装置,其特征在于,
所述信号处理装置具有图像处理电路,该图像处理电路针对在所述第二动作模式下从所述固体摄像元件读出的由所述m行量的像素的信号构成的图像信号,生成用于显示于监视器的显示用图像信号,
在所述动作模式控制部进行控制使得将通过所述第一动作模式而从所述固体摄像元件进行输出的所述1行按每一帧期间依次变更为不同的m行并在m帧期间重复进行的该m帧期间内,所述监视器显示具有m行量的像素的所述显示用图像信号的图像。
7.根据权利要求1所述的摄像装置,其特征在于,
所述信号处理装置内置所述存储器,所述存储器针对设置于该内窥镜的所述固体摄像元件保存在所述第一动作模式下获取到的黑电平的像素信号的值,所述黑电平校正部使用在该存储器中保存的黑电平的像素信号的值进行校正。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015145093 | 2015-07-22 | ||
JP2015-145093 | 2015-07-22 | ||
PCT/JP2016/067816 WO2017013972A1 (ja) | 2015-07-22 | 2016-06-15 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107079118A CN107079118A (zh) | 2017-08-18 |
CN107079118B true CN107079118B (zh) | 2019-12-10 |
Family
ID=57833943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680003205.2A Active CN107079118B (zh) | 2015-07-22 | 2016-06-15 | 摄像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9895047B2 (zh) |
EP (1) | EP3188470A4 (zh) |
JP (1) | JP6076578B1 (zh) |
CN (1) | CN107079118B (zh) |
WO (1) | WO2017013972A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10630919B2 (en) * | 2018-02-05 | 2020-04-21 | Novatek Mircoelectronics Corp. | Image sensing apparatus and black level correction method thereof and computer readable medium |
CN110545388B (zh) * | 2019-08-28 | 2022-04-01 | 上海集成电路研发中心有限公司 | 一种去除图像暗电流的装置和方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3753389B2 (ja) * | 1995-09-12 | 2006-03-08 | オリンパス株式会社 | 固体撮像素子の信号読み出し処理方式 |
JP2007019577A (ja) | 2005-07-05 | 2007-01-25 | Seiko Epson Corp | 固体撮像装置 |
JP2009195602A (ja) | 2008-02-25 | 2009-09-03 | Fujinon Corp | 電子通信システム及び内視鏡システム |
JP5311927B2 (ja) * | 2008-08-27 | 2013-10-09 | キヤノン株式会社 | 撮像装置、撮像方法 |
JP2010056273A (ja) * | 2008-08-28 | 2010-03-11 | Tdk Corp | コイル部品の製造方法 |
JP2010171925A (ja) * | 2008-12-24 | 2010-08-05 | Victor Co Of Japan Ltd | 撮像装置 |
JP2010193042A (ja) * | 2009-02-17 | 2010-09-02 | Hoya Corp | 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム |
JP5032646B2 (ja) * | 2010-11-24 | 2012-09-26 | 株式会社東芝 | 撮像装置、撮像装置の作動方法及び内視鏡装置 |
US9191598B2 (en) * | 2011-08-09 | 2015-11-17 | Altasens, Inc. | Front-end pixel fixed pattern noise correction in imaging arrays having wide dynamic range |
JP5893329B2 (ja) * | 2011-10-14 | 2016-03-23 | オリンパス株式会社 | 撮像装置および内視鏡装置 |
EP2827582A4 (en) * | 2012-03-13 | 2015-11-11 | Olympus Corp | SIGNAL PROCESSING DEVICE FOR SEMICONDUCTOR IMAGE CAPTURE DEVICE, AND SEMICONDUCTOR IMAGE CAPTURE DEVICE |
JP5800747B2 (ja) * | 2012-04-09 | 2015-10-28 | オリンパス株式会社 | 撮像装置 |
JP5148768B2 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社東芝 | 撮像装置、撮像装置の作動方法及び内視鏡装置 |
CN104271027B (zh) * | 2012-06-27 | 2017-06-23 | 奥林巴斯株式会社 | 摄像装置和摄像系统 |
CN104486986B (zh) * | 2012-07-26 | 2018-06-01 | 德普伊辛迪斯制品公司 | 光不足环境中的连续视频 |
JP5875499B2 (ja) | 2012-10-18 | 2016-03-02 | キヤノン株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
JP6089716B2 (ja) * | 2013-01-18 | 2017-03-08 | 株式会社リコー | 光電変換装置と画像読取装置及び画像形成装置 |
AU2014233188A1 (en) * | 2013-03-15 | 2015-11-05 | DePuy Synthes Products, Inc. | Comprehensive fixed pattern noise cancellation |
US9525852B2 (en) * | 2013-08-02 | 2016-12-20 | General Electric Company | Systems and methods for embedded imaging clocking |
CN105473052B (zh) * | 2014-06-23 | 2017-08-08 | 奥林巴斯株式会社 | 摄像装置以及内窥镜装置 |
-
2016
- 2016-06-15 CN CN201680003205.2A patent/CN107079118B/zh active Active
- 2016-06-15 WO PCT/JP2016/067816 patent/WO2017013972A1/ja active Application Filing
- 2016-06-15 EP EP16827536.0A patent/EP3188470A4/en not_active Withdrawn
- 2016-06-15 JP JP2016564347A patent/JP6076578B1/ja active Active
-
2017
- 2017-04-05 US US15/479,838 patent/US9895047B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107079118A (zh) | 2017-08-18 |
JP6076578B1 (ja) | 2017-02-08 |
US20170209023A1 (en) | 2017-07-27 |
EP3188470A1 (en) | 2017-07-05 |
US9895047B2 (en) | 2018-02-20 |
WO2017013972A1 (ja) | 2017-01-26 |
EP3188470A4 (en) | 2018-05-16 |
JPWO2017013972A1 (ja) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2868255B1 (en) | Imaging device and imaging system | |
US9137453B2 (en) | Control apparatus and imaging system | |
US9538108B2 (en) | Endoscope system and pixel correction method | |
JP5942053B1 (ja) | 内視鏡システム | |
WO2013128764A1 (ja) | 医療システム | |
JP5221722B2 (ja) | 撮像装置及び内視鏡装置 | |
JP5932182B1 (ja) | 撮像素子、撮像装置、内視鏡および内視鏡システム | |
JP2013048694A (ja) | 内視鏡装置 | |
EP3157248B1 (en) | Imaging element, imaging device, endoscope, endoscope system, and method for driving imaging element | |
CN107079118B (zh) | 摄像装置 | |
US10735681B2 (en) | Inspection device, image processing device, correction value calculating method, image processing method and computer readable recording medium | |
US9876997B2 (en) | Endoscope | |
JP5404346B2 (ja) | 撮像装置、電子スコープ、及び電子内視鏡システム | |
JP2010088656A (ja) | 内視鏡用プロセッサ装置、内視鏡用プロセッサ装置の電源電圧供給方法、並びに内視鏡システム | |
JP2008017100A (ja) | 固体撮像装置 | |
JP5538067B2 (ja) | 内視鏡システム | |
JP6419983B2 (ja) | 撮像装置、内視鏡および内視鏡システム | |
JP2011087826A (ja) | 撮像装置および電子内視鏡装置 | |
JP5827868B2 (ja) | 電子内視鏡及び固定パターンノイズ除去方法 | |
JP2006279690A (ja) | 撮像装置 | |
JP6312254B2 (ja) | 内視鏡システム及びその作動方法 | |
JP6172738B2 (ja) | 電子内視鏡および電子内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |