CN110121289A - 摄像装置、内窥镜以及内窥镜系统 - Google Patents

摄像装置、内窥镜以及内窥镜系统 Download PDF

Info

Publication number
CN110121289A
CN110121289A CN201780081521.6A CN201780081521A CN110121289A CN 110121289 A CN110121289 A CN 110121289A CN 201780081521 A CN201780081521 A CN 201780081521A CN 110121289 A CN110121289 A CN 110121289A
Authority
CN
China
Prior art keywords
pixel
filter
signal
light
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081521.6A
Other languages
English (en)
Other versions
CN110121289B (zh
Inventor
足立理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110121289A publication Critical patent/CN110121289A/zh
Application granted granted Critical
Publication of CN110121289B publication Critical patent/CN110121289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Endoscopes (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

摄像装置具备：摄像元件(21)，其配置有高感光度像素群(22a)和通常感光度像素群(22b)；控制部(31)，其仅读出高感光度像素群(22a)来形成第一帧信号，读出包括高感光度像素群(22a)和通常感光度像素群(22b)的全部像素来形成第二帧信号，并交替地输出第一帧信号、第二帧信号；驱动控制电路(32)；定时生成电路(23)；以及帧相加电路(35)，其将第一帧信号、第二帧信号进行帧相加处理后作为一个图像信号进行输出。

Description

摄像装置、内窥镜以及内窥镜系统
技术领域
本发明涉及一种摄像装置、内窥镜以及内窥镜系统，特别是涉及一种具备设置有片上滤色器的固体摄像元件的摄像装置。
背景技术
在医疗领域和工业领域等领域中，广泛地使用具备对被检体内部的被摄体进行拍摄的内窥镜、生成被内窥镜拍摄到的被摄体的观察图像的图像处理装置等的内窥镜系统。
另外，关于这种内窥镜系统的内窥镜，以往已知一种例如采用CMOS图像传感器(Complementary Metal Oxide Semiconductor Image Sensor：互补金属氧化物半导体图像传感器)来作为射入被摄体像并输出规定的图像信号的固体摄像元件的例子。
另外，近年来，作为如上述那样的CMOS图像传感器，如日本特开2009-176777号公报所示那样设置有所谓的片上滤色器的图像传感器也是众所周知的。
该片上滤色器是在摄像元件(例如上述的CMOS图像传感器)中的各像素的传感器上部形成的颜色选择用滤波器。通常，例如摄像元件中的CMOS图像传感器等传感器部针对射入的光仅输出黑白的明暗信息，但是通过在该传感器部配置片上滤色器，能够借助该片上滤色器使传感器部中的各像素具有“颜色信息”。
另外，一般来说，片上滤色器由RGB各颜色的原色滤波器构成的例子是众所周知的，但是近年来提出有通过将片上滤色器的一部分设为透明层(所谓的白像素化)来提高作为摄像元件的感光度的技术。并且，还提出有采用青色、品红色、黄色等的所谓补色滤波器作为片上滤色器来提高感光度的技术。
然而，若经由片上滤色器而感光度高的像素和感光度低的像素混合存在于同一像素阵列上，则感光度高的像素先达到饱和，因此存在动态范围变窄的问题。
为了解决这个问题，在日本专利第5526673号说明书中示出了以下一种技术：预先配置感光度不同的两种像素(其中一种为白像素)，在其中的感光度高的像素达到饱和的情况下使用感光度低的像素的信号。
另一方面，在日本专利第5256917号说明书、日本专利第4618342号说明书中示出了以下例子：对像素设计本身进行变更，以使对感光度高的像素使用的光电转换部的饱和电荷数提高来抑制饱和。
然而，在上述的日本专利第5526673号说明书所记载的技术中，有意地抑制了感光度，因此无法将特意入射的光子有效地转换为信号电荷，存在在低照度区域内清晰感降低等问题。
另外，在日本专利第5256917号说明书、日本专利第4618342号说明书所记载的技术中，提高了饱和电荷数，因此已使特定的光源最优化，但是存在以下问题：如果是在动态地改变光源来进行拍摄的内窥镜中采用的摄像元件，则未必能保证在最佳的条件下进行动作。并且，由于需要改变像素设计本身，因此也存在在变更了滤色器或光源的情况下无法进行灵活性的应对的问题。
本发明是鉴于上述的状况而完成的，其目的在于提供一种摄像装置、内窥镜以及内窥镜系统，该摄像装置具备具有滤色器的阵列的固体摄像元件，该固体摄像元件的一部分包含通过提高滤色器的透过率而提高了感光度的高感光度像素，其中，该摄像装置能够有效地使用高感光度像素信号，根据光源来选择性地读出存在饱和的风险的像素，因此实现始终不浪费信号电荷的摄像。
发明内容
用于解决问题的方案
本发明的一个方式的摄像装置具备：摄像元件，其具备滤色器的阵列，并配置有第一像素群和第二像素群，所述第一像素群和所述第二像素群根据该滤色器的特性而具有各不相同的感光度；读出定时控制部，其控制与第一帧相关的第一读出定时和与第二帧相关的第二读出定时，所述第一帧是仅读出所述第一像素群来形成的帧，所述第二帧是读出包括所述第一像素群和所述第二像素群的全部像素来形成的帧；输出控制部，其基于所述读出定时控制部的控制来进行控制，以交替地输出与在所述第一读出定时读出的所述第一帧相关的第一帧信号和与在所述第二读出定时读出的与所述第二帧相关的第二帧信号；以及帧相加电路，其将由所述输出控制部进行控制而输出的所述第一帧信号和所述第二帧信号进行帧相加处理后作为一个图像信号来输出。
本发明的一个方式的内窥镜是所述摄像装置。
本发明的一个方式的内窥镜系统包括所述内窥镜。
附图说明
图1是示出包括本发明的第一实施方式的摄像装置的内窥镜系统的结构的外观立体图。
图2是示出包括第一实施方式的摄像装置的内窥镜系统的电气结构的框图。
图3是示出第一实施方式的摄像装置中的摄像元件的电气结构的电气电路图。
图4是示出第一实施方式的摄像装置的摄像元件中的高感光度像素和通常像素的随时间而增加的光电荷数的推移以及稀疏读出定时和全部像素读出定时的图。
图5是示出在第一实施方式的摄像装置中进行全部像素读出时施加于摄像元件的各控制信号的一例的时序图。
图6是示出在第一实施方式的摄像装置中进行稀疏读出时施加于摄像元件的各控制信号的一例的时序图。
图7是示出本发明的第二实施方式的摄像装置中的摄像元件采用补色系滤色器的情况下的青色、品红色的透过率以及此外的原色系的蓝色和绿色各颜色的透过率的图。
图8是示出在第二实施方式的摄像装置中的摄像元件采用补色系滤色器的情况下光源选择了白色光时的稀疏读出定时和全部像素读出定时的图。
图9是示出在第二实施方式的摄像装置中的摄像元件采用补色系滤色器的情况下光源选择了NBI光时的像素读出定时的图。
图10是示出包括变形例的摄像装置的内窥镜系统的电气结构的框图。
图11是示出包括其它变形例的摄像装置的内窥镜系统的电气结构的框图。
图12是示出包括其它变形例的摄像装置的内窥镜系统的电气结构的框图。
图13是示出包括其它变形例的摄像装置的内窥镜系统的电气结构的框图。
具体实施方式
下面，参照附图来说明本发明的实施方式。
<第一实施方式>
图1是示出包括本发明的第一实施方式的摄像装置的内窥镜系统的结构的外观立体图，图2是示出包括第一实施方式的摄像装置的内窥镜系统的电气结构的框图。
此外，在本实施方式中，作为摄像装置，列举具有固体摄像元件来拍摄被检体内部的被摄体的内窥镜和内窥镜系统为例进行说明。
如图1、图2所示，具有本第一实施方式的摄像装置(内窥镜)的内窥镜系统1具有：内窥镜2，其观察并拍摄被检体；视频处理器3，其与该内窥镜2连接，被输入所述摄像信号来实施规定的图像处理；光源装置4，其供给用于对被检体进行照明的照明光；以及显示装置5，其显示与摄像信号相应的观察图像。
内窥镜2构成为具有：细长的插入部6，其被插入到被检体的体腔内等；硬质的顶端部7，其设置于插入部6的顶端侧；内窥镜操作部8，其配设于插入部6的基端侧，由手术操作者把持来进行操作；以及通用线9，该通用线9的一个端部以从内窥镜操作部8的侧部延伸的方式设置。
在所述通用线9的基端侧设置有连接器10，该连接器10与光源装置4连接。即，从连接器10的前端突出的成为流体管路的连接端部的管头(未图示)和成为照明光的供给端部的导光管头(未图示)装卸自如地连接于光源装置4。
并且，在设置于所述连接器10的侧面的电接触部连接有连接线缆的一端。而且，在该连接线缆的内部例如设置有用于传输来自内窥镜2中的摄像元件21(参照图2)的摄像信号的信号线，另外，连接线缆的另一端的连接器部与视频处理器3连接。
返回图2，内窥镜2具备：照明光学系统29，其配设于插入部6的顶端部7，且配设于从光源装置4延伸设置的光导件41的顶端部；物镜光学系统28，其包括被射入被摄体像的透镜；以及摄像元件21，其配设于物镜光学系统28中的成像面。
在本实施方式中，摄像元件21是由CMOS图像传感器构成的固体摄像元件。另外，摄像元件21具备所谓的片上滤色器的阵列，且配置有根据该滤色器的特性而具有各不相同的感光度的高感光度像素群(第一像素群)和通常感光度像素群(第二像素群)。
另外，如图2所示，摄像元件21除了具备受光部22以外，还具备定时生成电路23、垂直扫描电路24、水平扫描电路25、列电路26以及输出电路27等，在后文中叙述它们的详细结构。
另一方面，视频处理器3具有：控制部31，其对视频处理器3内的各种电路进行控制；驱动控制电路32，其在控制部31的控制下生成用于控制内窥镜2中的所述摄像元件21的驱动信号；图像处理部33，其在控制部31的控制下以在所述摄像元件21中生成并输出的摄像信号为输入，并实施规定的图像处理；以及帧相加电路35，其设置于该图像处理部33，将多个帧信号相加。此外，在后文中详细叙述该帧相加电路35。
在本实施方式中，光源装置4具备：白色光光源，其产生白色光来作为向被摄体照射的照明光；以及窄带观察光光源，其由供所谓的NBI(Narrow Band Imaging；窄带光观察)用的蓝色光和绿色光构成。
另外，由光源装置4中的所述各光源产生的所述照明光作为规定的照明光(所述白色光或窄带光)，经由光导件41从内窥镜2照射出。
<摄像元件21的详细结构>
接着，对本实施方式中的摄像元件21的结构进行说明。
图3是示出第一实施方式的摄像装置中的摄像元件的电气结构的电气电路图。下面，除了参照该图3以外还参照上述的图2来对本实施方式中的摄像元件21进行说明。
如上述那样，在本实施方式中，摄像元件21是由CMOS图像传感器(ComplementaryMetal Oxide Semiconductor Image Sensor)构成的固体摄像元件。另外，在本实施方式中，摄像元件21采用所谓的四晶体管型CMOS图像传感器作为基础，在本实施方式中采用配置有水平双像素共享像素的例子。
如图2、图3所示，摄像元件21具备受光部22。该受光部22具有呈二维矩阵状地排列的多个单位像素(单位单元)101。在此，在本实施方式中，每一个该单位像素101具有多个光电转换元件(光电二极管(PD))以及与该光电转换元件对应的电荷传输晶体管。
具体地说，如上述那样，本实施方式是配置有水平双像素共享像素的方式，每一个单位像素101具有左右两个光电转换元件(光电二极管)以及与所述左右光电二极管分别对应的左右的电荷传输晶体管。
即，在本实施方式中，关于作为单位单元的单位像素101，多个单位像素101的每个单位像素101分别具备能够输出互不相同的“像素输出成分”的左右两个“像素”。
此外，在本实施方式中，“多个单位像素”是指上述的、多个上述“作为单位单元的单位像素101”，另外，在仅记载为“多个像素”时，是以上述多个单位像素101各自具备的左右两个像素中的一个“像素”为单位，后述的“高感光度像素群”和“通常感光度像素群”是指以该一个“像素”为单位来形成的集合体。
另外，在本实施方式中，形成为针对上述的单位像素101所具备的每个上述“像素”，与各个“像素”对应地配设光学特性各不相同的滤色器所得到的所谓的片上滤色器的阵列。此外，在本实施方式中，所述片上滤色器采用补色系和原色系的滤波器。
另外，所述受光部22中的“多个像素”能够分类为根据所述片上滤色器的特性而具有各不相同的感光度的高感光度像素群22a(第一像素群)和通常感光度像素群22b(第二像素群)。
此外，此处的“高感光度像素”是指被假定为鉴于来自光源的照明光的特性和针对每个像素配设的上述片上滤色器的特性而感光度相对变高的像素，在本实施方式中将除此以外的像素定义为“通常像素”。
如上述那样，本实施方式的摄像元件21采用所谓的四晶体管型CMOS图像传感器作为基础，在本实施方式中，采用配置水平双像素共享像素的例子。
如图3所示，在本实施方式中，受光部22构成为针对多个单位像素101的每个单位像素101主要具备左右的光电二极管(PD)(左光电二极管111和右光电二极管112)、称为电荷检测用浮动扩散层(FD；Floating Diffusion(浮动扩散))的电荷转换部113、左右的电荷传输晶体管(左电荷传输晶体管114和右电荷传输晶体管115)、电荷复位晶体管116、放大晶体管117以及行选择开关晶体管118。
另外，针对受光部22中的每列的多个单位像素101，按列配设连接所述放大晶体管117的输出端的垂直传输线119，并将该垂直传输线119与后述的列电路26连接。
所述左光电二极管(PD)111和右光电二极管(PD)112是针对每个单位像素101配设为左右一组的光电转换元件，所述左光电二极管(PD)111和右光电二极管(PD)112均为根据入射光对光进行光电转换来蓄积规定的信号电荷的光电转换部。
左电荷传输晶体管114和右电荷传输晶体管115是针对每个单位像素101与上述左光电二极管111、右光电二极管112分别对应地配设的左右一组的传输栅极晶体管。
即，左电荷传输晶体管114和右电荷传输晶体管115分别与左光电二极管111、右光电二极管112的阴极连接，将在该光电二极管(PD)中蓄积的信号电荷传输到电荷转换部113。
另外，在所述左电荷传输晶体管114和右电荷传输晶体管115的栅极连接有与左像素传输信号φTGL或右像素传输信号φTGR相关的信号线，左像素传输信号φTGL和右像素传输信号φTGR是来自定时生成电路23且从垂直扫描电路24输出的电荷传输脉冲。
而且，通过左像素传输信号φTGL或右像素传输信号φTGR来分别控制左电荷传输晶体管114和右电荷传输晶体管115的导通和截止，当任一传输晶体管导通时，该导通的传输晶体管将在左光电二极管111或右光电二极管112中蓄积的信号电荷传输到电荷转换部113。
此外，在本实施方式中，通过对左像素传输信号φTGL或右像素传输信号φTGR与移位寄存器205的地址指针φSEL(N)取逻辑积所得到的信号来分别驱动左电荷传输晶体管114和右电荷传输晶体管115。
即，在左电荷传输晶体管114的栅极连接垂直扫描电路24中的AND电路201的输出线，向左电荷传输晶体管114的栅极输入对根据行选择信号φSEL按行依次移动移位寄存器的地址指针φSEL(N)与左像素传输信号φTGL取逻辑积所得到的控制信号。
同样地，在右电荷传输晶体管115的栅极连接垂直扫描电路24中的AND电路202的输出线，向右电荷传输晶体管115的栅极输入对根据行选择信号φSEL按行依次移动移位寄存器的地址指针φSEL(N)与右像素传输信号φTGR取逻辑积所得到的控制信号。
电荷转换部(FD)113与作为所述电荷传输部的左电荷传输晶体管114及右电荷传输晶体管115连接，对在所述左光电二极管(PD)111或右光电二极管(PD)112中蓄积的所述信号电荷进行传输。
另外，通过使所述左电荷传输晶体管114或右电荷传输晶体管115导通，来向电荷转换部113传输左光电二极管111或右光电二极管112中的信号电荷，并且该电荷转换部113将该信号电荷转换为电压。
电荷复位晶体管116是执行用于将所述电荷转换部(FD)113复位的复位动作的复位部，该电荷复位晶体管116的一端侧与电源电压VDD连接，另一端侧与电荷转换部113连接。另外，电荷复位晶体管116的栅极连接于与像素复位信号φRST相关的信号线，该像素复位信号φRST是在定时生成电路23中生成并从垂直扫描电路24输出的控制信号。
该电荷复位晶体管116被该像素复位信号φRST进行导通和截止控制，当该电荷复位晶体管116导通时，将在电荷转换部113中蓄积的与左光电二极管111或右光电二极管112相关的信号电荷释放，来将电荷转换部113复位至规定电位。
另外，在本实施方式中，关于电荷复位晶体管116也是，通过对像素复位信号φRST与移位寄存器205的地址指针φSEL(N)取逻辑积所得的信号来驱动该电荷复位晶体管116。
即，在电荷复位晶体管116连接垂直扫描电路24中的AND电路203的输出线，向电荷复位晶体管116输入对根据行选择信号φSEL按行依次移动移位寄存器的地址指针φSEL(N)与像素复位信号φRST取逻辑积所得到的控制信号。
放大晶体管117是对通过所述电荷转换部(FD)113而被转换为电压的信号电荷进行电流放大的晶体管，该放大晶体管117的一端侧经由后述的行选择开关晶体管118而与电源电压VDD连接，另一端侧与垂直传输线119连接，该放大晶体管117与连接于该垂直传输线119的未图示的恒流源一起构成源极跟随器。
另外，在放大晶体管117的栅极连接电荷转换部(FD)113，向该放大晶体管117的栅极输入在电荷转换部113中被检测出并转换为电压的左光电二极管111或右光电二极管112的信号电荷、或者该电荷转换部113中的复位时的电荷，将该电荷放大后向垂直传输线119输出。
行选择开关晶体管118的一端侧与电源电压VDD连接，另一端侧与放大晶体管117连接。另外，行选择开关晶体管118的栅极连接于与从定时生成电路23输出的像素读出信号φX相关的信号线。
另外，行选择开关晶体管118被该像素读出信号φX进行导通和截止控制，通过使行选择开关晶体管118导通来选择规定的“行”，读出所连接的该放大晶体管117的输出信号后向垂直传输线119输出。
此外，在本实施方式中，关于行选择开关晶体管118也与上述的各晶体管同样地，通过对像素读出信号φX与移位寄存器205的地址指针φSEL(N)取逻辑积所得到的信号来驱动。
即，在行选择开关晶体管118连接垂直扫描电路24中的AND电路204的输出线，向行选择开关晶体管118输入对根据行选择信号φSEL按行依次移动移位寄存器的地址指针φSEL(N)与像素读出信号φX取逻辑积所得到的控制信号。
而且，行选择开关晶体管118根据上述的像素读出信号φX来执行读出与被选择的“行”相关的所述放大晶体管117的输出信号的控制。
列电路26具有在与所述放大晶体管117的输出端连接的垂直传输线119上设置的恒流源IBIAS(未图示)。此外，如上述那样，由所述放大晶体管117和该恒流源IBIAS构成源极跟随器，将放大晶体管117的输出信号作为电压信号读出。
概要地说明形成这种结构的摄像元件21的作用。当与光源装置4中产生的规定照明光(在本实施方式中为白色光或NBI光)相关的被摄体的反射光射入到物镜光学系统28时，在受光部22中接收该被摄体的光，左光电二极管111和右光电二极管112对该被摄体的光进行规定的光电转换后蓄积规定的信号电荷。
在此，摄像元件21在由移位寄存器205基于来自定时生成电路23的控制信号(φSEL)选择了读出行之后，在即将在左电荷传输晶体管114、右电荷传输晶体管115中传输之前，基于来自定时生成电路23的控制信号(像素复位信号φRST)使电荷复位晶体管116进行复位动作，来将电荷检测部(FD)113初始化为复位电压。
另外，摄像元件21在规定的定时基于来自定时生成电路23的传输脉冲信号(左像素传输信号φTGL、右像素传输信号φTGR)来对左电荷传输晶体管114或右电荷传输晶体管115进行导通控制，将上述的左光电二极管(PD)111或右光电二极管(PD)112中蓄积的信号电荷传输到电荷检测部(FD)113。
另一方面，摄像元件21在所述传输脉冲信号之前和之后，通过来自定时生成电路23的像素读出信号φX来控制行选择开关晶体管118，在由放大晶体管117和恒流源IBIAS构成的源极跟随器中将电荷检测部(FD)113中的初始化电压和信号电荷传输后的电压作为电压信号读出。
<定时生成电路23、垂直扫描电路24等>
在本实施方式中，定时生成电路23接收来自所述视频处理器3中的驱动控制电路32的各种驱动信号(时钟信号、水平垂直同步信号等)，来生成用于驱动摄像元件21内的各部(例如垂直扫描电路24、水平扫描电路25、列电路26、输出电路27等)的各种驱动信号。
即，定时生成电路23除了生成上述的像素复位信号φRST、像素读出信号φX、左像素传输信号φTGL、右像素传输信号φTGR以外，还生成行选择信号φSEL，并将这些信号送出到垂直扫描电路24。
另外，定时生成电路23根据来自驱动控制电路32的信号，对水平扫描电路25和输出电路27也送出规定的驱动信号。
垂直扫描电路24接收来自定时生成电路23的上述各种信号，向由移位寄存器205按照行选择信号φSEL选择出的行的各单位像素101输出左像素传输信号φTGL、右像素传输信号φTGR、像素读出信号φX、像素复位信号φRST。
水平扫描电路25在驱动控制电路32的控制下将从定时生成电路23送出的列选择信号φCOL按列送出到列电路26。另外，列电路26按列被输入从各放大晶体管117传出到受光部22中的垂直传输线119的输出信号，取得各放大晶体管117在上述的左像素传输信号φTGL或右像素传输信号φTGR的脉冲信号之前的输出信号与在该脉冲信号之后的输出信号的差，并根据来自水平扫描电路25的同步信号，将该差信号按列送出到输出电路27。
输出电路27在基于来自定时生成电路23的控制信号的定时，经由连接线缆向视频处理器3送出从列电路26输出的每列的输出信号。
<关于全部像素读出和稀疏读出>
接着，参照图4～图6对本实施方式的内窥镜系统1中的像素读出作用进行说明。
图4是示出第一实施方式的摄像装置的摄像元件中的高感光度像素和通常像素的随蓄积时间而增加的、被蓄积到光电二极管的光电荷数的推移以及稀疏读出定时和全部像素读出定时的图，图5是示出在第一实施方式的摄像装置中进行全部像素读出时施加于摄像元件的各控制信号的一例的时序图，图6是示出在第一实施方式的摄像装置中进行稀疏读出时施加于摄像元件的各控制信号的一例的时序图。
如图4所示，在本实施方式所采用的摄像元件21中，存在根据针对每“多个像素”配设的片上滤色器的滤波器特性和从光源装置4照射的照明光的特性而感光度相比于通常像素相对变高的“高感光度像素”(参照图2所示的高感光度像素群22a(第一像素群)和通常感光度像素群22b(第二像素群))。
在此，如图4所示，上述高感光度像素的光电荷数有可能在读出摄像元件21的受光部22中的全部像素的定时之前的阶段达到饱和。
本申请发明着眼于这一点，在高感光度像素达到饱和之前的阶段暂时执行像素读出(稀疏读出)，将通过该稀疏读出得到的帧信号与通过全部像素的读出得到的帧信号进行帧相加(如后述那样在视频处理器3的帧相加电路35中执行该帧相加)，由此能够有效地利用在受光部22中接收光而生成的信号。
<全部像素读出工序>
首先，参照图5所示的时序图对本实施方式中的“全部像素读出工序”进行说明。
在本实施方式中，在视频处理器3中的控制部31、驱动控制电路32的控制下，基于从定时生成电路23和垂直扫描电路24输出的控制信号，在与通常的像素读出定时同样地获取一张图(在图4中记载为一帧)的定时读出受光部22中的全部像素的输出(参照图4中的“全部像素读出”)。
关于该“全部像素读出”，如图5所示，首先，在视频处理器3中的控制部31、驱动控制电路32的控制下，在垂直扫描电路24中接收来自定时生成电路23的驱动信号，将N行选择信号φSEL(N)控制为“H”来使N行被选择，并且将像素复位信号φRST控制为“H”来将来自AND电路203的输出信号控制为“H”。
由此，受光部22的N行的电荷复位晶体管116导通，电荷转换部(FD)113被初始化为复位电压。
在该电荷复位晶体管116中的像素复位期间结束后，将来自定时生成电路23的像素读出信号φX控制为“H”，由此，来自AND电路204的信号变为“H”，N行中的各行选择开关晶体管118导通。
在此，通过在将来自定时生成电路23的左像素传输信号φTGL中的脉冲开启之前使行选择开关晶体管118导通，来自放大晶体管117的输出信号经由垂直传输线119被暂时送出到列电路26，并暂时保持在列电路26中。
接下来，在定时生成电路23中将N行的左像素传输信号φTGL控制为“H”，由此，来自垂直扫描电路24中的AND电路201的输出信号变为“H”，水平双像素共享像素中的左电荷传输晶体管114的栅极导通，左光电二极管(PD)111中蓄积的信号电荷被传输到电荷转换部(FD)113。此时，电荷转换部(FD)113检测左光电二极管(PD)111中的信号电荷并将其转换为电压。
在此，在电荷转换部(FD)113中转换为电压的(蓄积的)电荷在放大晶体管117中被进行电流放大，但是此时行选择开关晶体管118处于导通的状态，因此在该放大晶体管117中放大了的基于左光电二极管(PD)111的电荷被送出到垂直传输线119后被输入到列电路26。
在列电路26中，获取放大晶体管117在上述的左像素传输信号φTGL的脉冲之前的输出信号与在该脉冲之后的输出信号的差，如上述那样，根据来自水平扫描电路25的同步信号，向输出电路27按列送出该差信号。
返回图5，在如上述那样读出左像素信号之后，再次在定时生成电路23中将像素复位信号φRST控制为“H”来使来自AND电路203的输出信号变为“H”，使N行的电荷复位晶体管116导通，使电荷转换部(FD)113被初始化为复位电压。
然后，在电荷复位晶体管116中的像素复位期间结束后，这次是在右像素传输信号φTGR中的脉冲开启之前在定时生成电路23中将像素读出信号φX控制为“H”，再次使N行中的各行选择开关晶体管118导通。
在此，与上述同样地，通过在右像素传输信号φTGR中的脉冲开启之前使行选择开关晶体管118导通，来自放大晶体管117的输出信号经由垂直传输线119被暂时送出到列电路26，并暂时保持在列电路26中。
之后，在定时生成电路23中将N行的右像素传输信号φTGR控制为“H”，由此，来自垂直扫描电路24中的AND电路202的输出信号变为“H”，水平双像素共享像素中的右电荷传输晶体管115的栅极导通，右光电二极管112中蓄积的信号电荷被传输到电荷转换部(FD)113。此时，电荷转换部(FD)113检测右光电二极管(PD)112中的信号电荷并将其转换为电压。
另外，与上述同样地，由于行选择开关晶体管118处于导通的状态，因此在该放大晶体管117中放大了的基于右光电二极管(PD)112的电荷被送出到垂直传输线119后被输入到列电路26。
在列电路26中，与上述的左像素信号读出期间同样地获取放大晶体管117在右像素传输信号φTGR的脉冲之前的输出信号与在该脉冲之后的输出信号的差，如上述那样，根据来自水平扫描电路25的同步信号，向输出电路27按列送出该差信号。
接着，垂直扫描电路24接收定时生成电路23的控制信号，取代N行选择信号φSEL(N)而将N+1行选择信号φSEL(N+1)控制为“H”，由此选择N+1行。之后，与上述的N行选择信号φSEL(N)同样地，通过左像素传输信号φTGL或右像素传输信号φTGR来控制N+1行中的左电荷传输晶体管114、右电荷传输晶体管115的导通和截止，由此读出与水平双像素共享像素中的左光电二极管(PD)111和右光电二极管(PD)112相关的左右的像素信号。
在本实施方式的“全部像素读出工序”中，如上述那样针对全部像素进行N行和N+1行中的左右像素(水平双像素共享像素)的读出，将读出全部像素所得到的输出暂时存储到帧存储器(未图示)中。
<稀疏读出工序>
接着，参照图6所示的时序图对本实施方式中的“稀疏读出工序”进行说明。
在本实施方式中，在生成一张图(一帧)时，在除上述的“全部像素读出”的定时以外的其它定时，仅读出高感光度像素群22a(“稀疏读出”)，将通过该“稀疏读出工序”读出的与高感光度像素群22a相关的像素信号暂时存储到帧存储器(未图示)中。
另外，本实施方式的特征在于，交替地执行“全部像素读出工序”和“稀疏读出工序”，并且将与稀疏读出相关的帧信号和通过上述的全部像素读出而读出的帧信号相加来制作一张图(一帧)。
在本实施方式中，作为该“稀疏读出工序”的一例，现在列举受光部22中的偶数行的左像素为“高感光度像素”的例子进行说明。即，在本实施方式中，不限于将偶数行左像素设为“高感光度像素”，在下面说明的例子中，例如也能够应用偶数行的右像素为“高感光度像素”的例子或者奇数行的右像素或左像素为“高感光度像素”的例子。
如图6所示，在本实施方式中的“稀疏读出”中也与所述“全部像素读出工序”同样地，首先，在视频处理器3中的控制部31、驱动控制电路32的控制下，在接收到来自定时生成电路23的控制信号的垂直扫描电路24中，在将N设为奇数的情况下将N行选择信号φSEL(N)控制为“H”来使作为奇数行的N行被选择，并且将像素复位信号φRST控制为“H”来将来自AND电路203的输出信号控制为“H”。
由此，与上述同样地，受光部22的全部单位像素101中的作为奇数行之一的N行的电荷复位晶体管116导通，电荷转换部(FD)113被初始化为复位电压。
之后，在本实施方式的“稀疏读出工序”中也是，在该电荷复位晶体管116中的像素复位期间结束后，将定时生成电路23中的像素读出信号φX控制为“H”，由此使作为奇数行的N行的行选择开关晶体管118导通。
像这样，在奇数行被选择的状态下的“稀疏读出”中，也与所述“全部像素读出工序”同样地使电荷复位晶体管116和行选择开关晶体管118导通。
另一方面，在“稀疏读出工序”中已选择奇数行的状态下，在视频处理器3中的控制部31、驱动控制电路32的控制下进行控制，使得定时生成电路23中的左右像素传输信号中的左像素传输信号φTGL、右像素传输信号φTGR不为“H”。
即，在本实施方式的“稀疏读出工序”中已选择奇数行的状态下，垂直扫描电路24中的AND电路201、AND电路202的输出信号保持“L”不变，因而左右的电荷传输晶体管中的左电荷传输晶体管114、右电荷传输晶体管115不会导通，从而继续进行蓄积。
在此，设为为了抑制配置于线缆顶端部的摄像元件21的消耗电力的变动以使经由线缆(未图示)供给的电源电压稳定，在奇数行选择时将电荷转换部(FD)113初始化为复位电压，并使行选择开关晶体管118导通，但是并不是通过这些动作来进行信号输出，因此也可以省略。
之后，在奇数行的选择期间结束的同时，在视频处理器3中的控制部31、驱动控制电路32的控制下，移位寄存器205接收定时生成电路23的行选择信号φSEL，取代N行选择信号φSEL(N)而将N+1行选择信号φSEL(N+1)设为“H”，来选择作为偶数行之一的N+1行。
并且，在定时生成电路23中，将像素复位信号φRST控制为“H”，来将来自AND电路203的输出信号控制为“H”。
由此，受光部22的全部单位像素101中的作为偶数行之一的N+1行的电荷复位晶体管116导通，电荷转换部(FD)113被初始化为复位电压。
之后，与上述同样地，在电荷复位晶体管116中的像素复位期间结束后，将来自定时生成电路23的像素读出信号φX控制为“H”，由此，来自AND电路204的信号变为“H”，作为偶数行的N+1行中的行选择开关晶体管118导通。
然后，与上述同样地，通过在将来自定时生成电路23的左像素传输信号φTGL中的脉冲开启之前使行选择开关晶体管118导通，来自放大晶体管117的输出信号经由垂直传输线119被暂时送出到列电路26，并暂时保持在列电路26中。
接下来，通过在定时生成电路23中将N+1行的左像素传输信号φTGL控制为“H”，来自垂直扫描电路24中的AND电路201的输出信号变为“H”，作为“偶数行”N+1行的水平双像素共享像素中的左电荷传输晶体管114的栅极导通，在“稀疏读出工序”中，“偶数行”的左光电二极管(PD)111中蓄积的信号电荷被传输到电荷转换部(FD)113。另外，电荷转换部(FD)113检测左光电二极管(PD)111中的信号电荷并将其转换为电压。
在此，在电荷转换部(FD)113中转换为电压的电荷在放大晶体管117中被进行电流放大，但是此时行选择开关晶体管118处于导通的状态，因此与上述同样地，在该放大晶体管117中放大了的基于左光电二极管(PD)111的电荷被送出到垂直传输线119后被输入到列电路26。
在列电路26中，获取放大晶体管117在上述的左像素传输信号φTGL的脉冲之前的输出信号与在该脉冲之后的输出信号的差，如上述那样，根据来自水平扫描电路25的同步信号，向输出电路27按列送出该差信号。
返回图6，在“稀疏读出工序”中，在如上述那样读出“偶数行左像素信号”之后也是再次在定时生成电路23中将像素复位信号φRST控制为“H”来使来自AND电路203的输出信号变为“H”，使偶数行的电荷复位晶体管116导通，使电荷转换部(FD)113被初始化为复位电压。
然而，在“稀疏读出工序”中，在电荷复位晶体管116中的像素复位期间结束后，在视频处理器3中的控制部31、驱动控制电路32的控制下，定时生成电路23不会使右像素传输信号φTGR为“H”，即，来自垂直扫描电路24中的AND电路202的输出信号保持“L”不变，水平双像素共享像素中的右电荷传输晶体管115的栅极不会导通，继续进行蓄积。
像这样，在本实施方式的“稀疏读出工序”中，在视频处理器3中的控制部31、驱动控制电路32的控制下，定时生成电路23仅将左像素传输信号φTGL控制为“H”，仅使左电荷传输晶体管114导通，由此仅读出偶数行的水平双像素共享像素中的左光电二极管(PD)111的像素信号。
即，在本实施方式的“稀疏读出工序”中，此后仅将与偶数行的水平双像素共享像素中的左光电二极管(PD)111相关的像素信号(如上述那样，在本实施方式中将所述的“偶数行左侧像素”设定为“高感光度像素”)从放大晶体管117经由垂直传输线119送出到列电路26。
<帧相加>
在本实施方式的上述的“稀疏读出工序”中，通过视频处理器3中的控制部31、驱动控制电路32来控制定时生成电路23、垂直扫描电路24等，在规定的定时(第一读出定时)读出受光部22中的与“高感光度像素群(第一像素群)”相当的偶数行的水平双像素共享像素中的左侧像素，将读出该“偶数行左侧像素”所得到的输出作为第一帧信号暂时存储到帧存储器(未图示)。
另一方面，在本实施方式的上述的“全部像素读出工序”中，通过视频处理器3中的控制部31、驱动控制电路32来控制定时生成电路23、垂直扫描电路24等，在规定的定时(第二读出定时)读出包括受光部22中的上述“高感光度像素群(第一像素群)”和受光部22中的“通常感光度像素群22b(第二像素群)”的全部像素(即，包括全部的奇数行和偶数行中的左右的像素(水平双像素共享像素)的全部像素)，在视频处理器3的帧相加电路35中将读出该“全部像素”所得到的第二帧信号与所述帧存储器中存储的第一帧信号相加之后，在视频处理器3的图像处理部33中实施与显示装置5相应的图像处理后输出到显示装置5。
此外，所述帧存储器例如可以设置于内窥镜2中的连接器10，或者也可以设置于内窥镜2中的其它部分(例如内窥镜操作部8或摄像元件21的附近)，并且还可以设置于视频处理器3中的图像处理部33等。
在此，上述的控制部31、驱动控制电路32、定时生成电路23、垂直扫描电路24作为控制第二读出定时的读出定时控制部发挥功能。
另外，在本实施方式中，由视频处理器3中的控制部31、驱动控制电路32控制定时生成电路23和垂直扫描电路24等，来交替地执行上述的“全部像素读出工序”和“稀疏读出工序”(参照图4)。即，进行控制以交替地输出与在所述第一读出定时读出的所述第一帧相关的第一帧信号和与在所述第二读出定时读出的所述第二帧相关的第二帧信号。
在此，上述的控制部31、驱动控制电路32、定时生成电路23、垂直扫描电路24作为输出控制部发挥作用，该输出控制部进行控制以交替地输出第一帧信号和第二帧信号。
并且，在本实施方式中，在视频处理器3中的帧相加电路35中对所述第一帧信号与所述第二帧信号进行相加处理来制作与一张图(一帧)相关的图像信号。具体地说，将所述帧存储器中存储的在所述“稀疏读出工序”中读出的与“高感光度像素群：偶数行左侧像素”相关的第一帧信号和在所述“全部像素读出工序”中读出的与“全部像素”相关的第二帧信号进行相加处理。
如以上说明的那样，根据本第一实施方式，能够提供如下一种摄像装置(内窥镜)，该摄像装置(内窥镜)具备具有滤色器的阵列的固体摄像元件，该固体摄像元件的一部分包含通过提高滤色器的透过率而提高了感光度的高感光度像素，其中，该摄像装置(内窥镜)能够有效地使用高感光度像素信号，从而实现始终不浪费信号电荷的摄像。
此外，在本第一实施方式中，如上述那样在“稀疏读出工序”中将受光部22中的偶数行左像素设为“高感光度像素”，但是不限于此，例如也可以将偶数行右像素或者奇数行右像素或奇数行左像素设为“高感光度像素”。
另外，也可以任意地变更或选择高感光度像素。并且，也可以动态地变更高感光度像素(参照第二实施方式)。
<第二实施方式>
接着，对本发明的第二实施方式进行说明。
具有第二实施方式的摄像装置(内窥镜)的内窥镜系统的基本结构与第一实施方式相同，不同点在于能够动态地变更成为在“稀疏读出工序”中执行稀疏读出的对象的像素。
因而，在此仅说明与第一实施方式的差异，省略共同部分的说明。
图7是示出本发明的第二实施方式的摄像装置中的摄像元件除了采用作为补色系滤色器的青色、品红色的滤色器还采用原色系的蓝色和绿色各颜色的滤色器的情况下的片上滤色器透过率的图。另外，图8是示出在第二实施方式的摄像装置中的摄像元件在受光部配设补色系滤色器和原色系滤色器这两方的情况下光源选择了白色光时的稀疏读出定时和全部像素读出定时的图，图9是示出在第二实施方式的摄像装置中的摄像元件在受光部配设补色系滤色器和原色系滤色器这两方的情况下光源选择了NBI光时的像素读出定时的图。
第二实施方式的特征在于，采用将所谓的原色系滤色器与补色系滤色器组合而成的片上滤色器来作为片上滤色器，从而实现高感光度化。
如上述那样，第二实施方式采用将原色系滤色器与补色系滤色器组合而成的片上滤色器，因此发生受光部22中的各像素的感光度根据来自光源装置4的照明光的种类而不同的现象。
即，在由光源装置4产生的照明光为作为通常观察光的“白色光”时，参照图7的示出“各滤波器颜色的透过率”的图可知，受光部22中的青色像素(配设“青”色的滤波器来作为片上滤色器的像素)大致反应为“绿色光”和“蓝色光”，品红色像素(配设“品红”色的滤波器来作为片上滤色器的像素)大致反应为“蓝色光”和“红色光”。
像这样，在本实施方式中，与补色系滤色器对应的像素具有蓝色像素(配设“蓝”色的滤波器来作为片上滤色器的像素)或绿色像素(配设“绿”色的滤波器来作为片上滤色器的像素)的约2倍的感光度。
即，在本实施方式中，在来自光源装置4的照明光为“白色光”的情况下，在“稀疏读出工序”中将“青色像素”和“品红色像素”设为“高感光度像素”来进行稀疏读出处理(参照图8)。
另一方面，在由光源装置4产生的照明光为窄带观察光的NBI光(在本实施方式的光源装置4中设为照射蓝色窄带光和绿色窄带光)时，作为照明光不存在“红色光”，因此，在该情况下，补色系滤波器的品红色像素的感光度与原色系滤波器的蓝色像素的感光度大致相同。
即，在本实施方式中，在来自光源装置4的照明光为“NBI光”的情况下，在“稀疏读出工序”中仅将“青色像素”作为“高感光度像素”进行稀疏读出处理，针对“品红色像素”，作为“通常像素”进行处理(参照图9)。
具体地说，在第二实施方式中，在视频处理器3的控制部31中，通过光源选择控制信号来进行光源装置4的照明光的变更、即白色光与NBI光的类型的变更。
另外，所述控制部31与所述照明光的变更相应地从所述驱动控制电路32向内窥镜2中的定时生成电路23送出光源选择控制信号，以对成为执行稀疏读出的对象的像素进行动态变更。
而且，在本实施方式中，定时生成电路23当从驱动控制电路32接收到光源选择控制信号时，基于该信号进行处理，使得如上述那样对成为在“稀疏读出工序”中作为“高感光度像素”读出的对象的“像素”进行变更。
即，定时生成电路23进行以下处理：在根据来自驱动控制电路32的光源选择控制信号识别出来自光源装置4的照明光为“白色光”的情况下，在“稀疏读出工序”中将“青色像素”和“品红色像素”作为“高感光度像素”进行稀疏读出处理，另一方面，在识别出来自光源装置4的照明光为“NBI光”的情况下，在“稀疏读出工序”中仅将“青色像素”作为“高感光度像素”进行稀疏读出处理，并且将“品红色像素”作为“通常像素”，仅在全部像素读出的定时进行读出处理。
如以上说明的那样，根据第二实施方式也能够与第一实施方式同样地提供一种摄像装置(内窥镜)，其具备具有滤色器的阵列的固体摄像元件，该固体摄像元件的一部分包含高感光度像素，其中，该摄像装置(内窥镜)能够有效地使用高感光度像素信号，并且根据光源选择性地读出存在饱和的风险的像素，因此实现始终不浪费信号电荷的摄像。
<变形例>
上述的各实施方式的内窥镜系统1具备产生作为窄带观察光的NBI光和作为通常观察光的白色光的光源装置4。为了利用通常的白色光获得彩色图像，在摄像元件21配置有片上滤色器。在该片上滤色器为吸收窄带观察光的类型的滤波器的情况下，产生利用窄带观察光进行观察时的图像变暗或者无法获得期望的清晰感等问题。
另一方面，近年来，在像素的微小化取得进展、与伴随像素的微小化的像素间距相对应地提高了透镜的分辨率(清晰感)的情况下，需要减小F值(光圈值)，导致景深变浅。产生为了获得期望的景深而牺牲清晰感等的问题。
因此，在本变形例中，说明以下的摄像装置，其能够消除伴随像素的微小化产生的景深与清晰感的折衷，通过窄带观察光和通常观察光这两方来进行观察。
图10是示出包括变形例的摄像装置的内窥镜系统的电气结构的框图。此外，在图10中，对与图2同样的结构标注相同的附图标记并省略说明。
如图10所示，摄像元件21a所具备的片上滤色器构成为具有主要使绿色光的波长范围透过的G滤波器301、主要使红色光的波长范围透过的R滤波器302、主要使蓝色光的波长范围透过的B滤波器303以及主要使绿色光和蓝色光的波长范围透过的Cy滤波器304。
针对受光部22的各像素配置G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304。具体地说，如图10所示，针对受光部22中的左上方的像素配置有G滤波器301，针对配置有G滤波器301的像素的下侧的像素配置有R滤波器302，针对配置有G滤波器301的像素的右侧的像素配置有B滤波器303，针对配置有R滤波器302的像素的右侧的像素配置有Cy滤波器304。
而且，G滤波器301在上下左右方向上分别以相距两个像素间距的方式配置。同样地，R滤波器302在上下左右方向上分别以相距两个像素间距的方式配置。同样地，B滤波器303在上下左右方向上分别以相距两个像素间距的方式配置。同样地，Cy滤波器304在上下左右方向上分别以相距两个像素间距的方式配置。其结果是，在摄像元件21a所具备的片上滤色器中配置相同数量的G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304。
视频处理器3的图像处理部33在利用使用了蓝色光和绿色光的窄带观察光进行观察时，根据与G滤波器301对应的像素、与B滤波器303对应的像素以及与Cy滤波器304对应的像素进行颜色分离来生成图像信号。另一方面，视频处理器3的图像处理部33在利用使用了白色光的通常观察光进行观察时，根据与G滤波器301对应的像素、与R滤波器302对应的像素、与B滤波器303对应的像素以及与Cy滤波器304对应的像素进行颜色分离来生成图像信号。
一般的摄像元件具备将G滤波器、R滤波器、B滤波器按拜耳阵列的图案配置而成的片上滤色器。在拜耳阵列中，生成亮度信号的G滤波器呈交错格状地配置，因此为了有效利用摄像元件的分辨率，对物镜光学系统的透镜要求像素间距的倍的透镜分辨率。
与此相对地，本变形例的摄像元件21a具备除了G滤波器301、R滤波器302以及B滤波器303以外还呈网格状地排列有生成亮度信号的Cy滤波器304的片上滤色器。因此，为了有效利用摄像元件21a的分辨率，物镜光学系统28的透镜只要具有像素间距的2倍的透镜分辨率即可。
并且，Cy滤波器304针对窄带观察光中主要使用的蓝色光和绿色光这两方具有感光度，因此能够抑制利用窄带观察光进行观察时的分辨率劣化。
其结果是，具备本变形例的摄像元件21a的摄像装置(内窥镜2)能够消除伴随像素的微小化而产生的景深与清晰感的折衷，能够利用窄带观察光和通常观察光这两方来进行观察。
此外，摄像元件21a所具备的片上滤色器的G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304的配置不限定于图10的配置。
图11、图12以及图13是示出包括其它变形例的摄像装置的内窥镜系统的电气结构的框图。此外，在图11-图13中，对与图10同样的结构标注相同的附图标记并省略说明。
如图11所示，摄像元件21b所具备的片上滤色器与图10的摄像元件21a同样地构成为具有G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304。图11所示的摄像元件21b相对于图10的摄像元件21a变更了B滤波器303和Cy滤波器304的配置。
具体地说，针对受光部22中的左上方的像素配置有G滤波器301，针对配置有G滤波器301的像素的下侧的像素配置有R滤波器302，针对配置有G滤波器301的像素的右侧的像素配置有Cy滤波器304，针对配置有R滤波器302的像素的右侧的像素配置有B滤波器303。而且，G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304在上下左右方向上分别以相距两个像素间距的方式配置。其它结构与图10的摄像元件21a相同。
另外，图12所示的摄像元件21c相对于图10的摄像元件21a变更了R滤波器302和B滤波器303的配置。
具体地说，针对受光部22中的左上方的像素配置有G滤波器301，针对配置有G滤波器301的像素的下侧的像素配置有B滤波器303，针对配置有G滤波器301的像素的右侧的像素配置有R滤波器302，针对配置有B滤波器303的像素的右侧的像素配置有Cy滤波器304。而且，G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304在上下左右方向上分别以相距两个像素间距的方式配置。其它结构与图10的摄像元件21a相同。
另外，图13所示的摄像元件21d相对于图10的摄像元件21a变更了R滤波器302、B滤波器303以及Cy滤波器304的配置。
具体地说，针对受光部22中的左上方的像素配置有G滤波器301，针对配置有G滤波器301的像素的下侧的像素配置有Cy滤波器304，针对配置有G滤波器301的像素的右侧的像素配置有R滤波器302，针对配置有Cy滤波器304的像素的右侧的像素配置有B滤波器303。而且，G滤波器301、R滤波器302、B滤波器303以及Cy滤波器304在上下左右方向上分别以相距两个像素间距的方式配置。其它结构与图10的摄像元件21a相同。
根据具备这些摄像元件21b、21c以及21d的摄像装置(内窥镜2)，能够与具备摄像元件21a的摄像装置同样地消除伴随像素的微小化而产生的景深与清晰感的折衷，能够利用窄带观察光和通常观察光这两方来进行观察。
本发明不限定于上述的实施方式，在不改变本发明的主旨的范围内能够进行各种变更、改变等。
本申请是将2016年12月28日在日本申请的特愿2016-256916号作为主张优先权的基础提出申请的，上述的公开内容被引用到本申请说明书、权利要求书中。

Claims (14)

1.一种摄像装置，其特征在于，具备：
摄像元件，其具备滤色器的阵列，并配置有第一像素群和第二像素群，所述第一像素群和所述第二像素群根据该滤色器的特性而具有各不相同的感光度；
读出定时控制部，其控制与第一帧相关的第一读出定时以及与第二帧相关的第二读出定时，所述第一帧是仅读出所述第一像素群来形成的帧，所述第二帧是读出包括所述第一像素群和所述第二像素群的全部像素来形成的帧；
输出控制部，其基于所述读出定时控制部的控制来进行控制，以交替地输出与在所述第一读出定时读出的所述第一帧相关的第一帧信号和与在所述第二读出定时读出的所述第二帧相关的第二帧信号；以及
帧相加电路，其对由所述输出控制部进行控制而输出的所述第一帧信号和所述第二帧信号进行帧相加处理后作为一个图像信号来输出。
2.根据权利要求1所述的摄像装置，其特征在于，
所述读出定时控制部根据规定的控制信号任意变更作为所述第一帧被读出的所述第一像素群的构成。
3.根据权利要求2所述的摄像装置，其特征在于，
所述规定的控制信号是与光源选择控制信号同步的信号，所述光源选择控制信号是与能够产生用于向被摄体照射的多种照明光的光源相关的用于选择该照明光的类型的信号。
4.根据权利要求3所述的摄像装置，其特征在于，
所述滤色器的阵列至少包括补色系滤色器的阵列，并且，在所述光源能够产生白色光照明光和由一种或多种单色光构成的窄带观察光照明光中的任一个来作为所述照明光的情况下，在选择所述白色光照明光来作为所述照明光的情况下和选择所述窄带观察光照明光来作为所述照明光的情况下，所述读出定时控制部能够根据与所述光源选择控制信号同步的规定的所述控制信号变更在所述第一帧读出的所述第一像素群的对象像素并选择该对象像素。
5.根据权利要求4所述的摄像装置，其特征在于，
在所述白色光照明光被选择为所述照明光的情况下，所述读出定时控制部将青色像素和品红色像素选择为在所述第一帧读出的所述第一像素群的对象像素，在所述窄带观察光照明光被选择为所述照明光的情况下，所述读出定时控制部仅将青色像素选择为在所述第一帧读出的所述第一像素群的对象像素。
6.根据权利要求1所述的摄像装置，其特征在于，
所述摄像元件配置有水平双像素共享像素。
7.根据权利要求1所述的摄像装置，其特征在于，
所述读出定时控制部根据与从能够产生用于向被摄体照射的多种照明光的光源照射的该照明光相关的波长来控制所述摄像元件的读出定时，将根据来自所述光源的所述照明光而感光度变高的像素选择为所述第一像素群。
8.根据权利要求1所述的摄像装置，其特征在于，
所述摄像元件所具备的滤色器具有使绿色光的波长范围透过的G滤波器、使红色光的波长范围透过的R滤波器、使蓝色光的波长范围透过的B滤波器以及使绿色光和蓝色光的波长范围透过的Cy滤波器，
所述G滤波器、所述R滤波器、所述B滤波器以及所述Cy滤波器在上下左右方向上分别以相距两个像素间距的方式配置。
9.根据权利要求8所述的摄像装置，其特征在于，
针对所述摄像元件的受光部中的规定的像素配置所述G滤波器，
针对位于配置有所述G滤波器的所述规定的像素的下侧位置的像素配置所述R滤波器，
针对位于配置有所述G滤波器的所述规定的像素的右侧位置的像素配置所述B滤波器，
针对位于配置有所述R滤波器的像素的右侧位置的像素配置所述Cy滤波器。
10.根据权利要求8所述的摄像装置，其特征在于，
针对所述摄像元件的受光部中的规定的像素配置所述G滤波器，
针对位于配置有所述G滤波器的所述规定的像素的下侧位置的像素配置所述R滤波器，
针对位于配置有所述G滤波器的像素的右侧位置的像素配置所述Cy滤波器，
针对位于配置有所述R滤波器的所述规定的像素的右侧位置的像素配置所述B滤波器。
11.根据权利要求8所述的摄像装置，其特征在于，
针对所述摄像元件的受光部中的规定的像素配置所述G滤波器，
针对位于配置有所述G滤波器的所述规定的像素的下侧位置的像素配置所述B滤波器，
针对位于配置有所述G滤波器的所述规定的像素的右侧位置的像素配置所述R滤波器，
针对位于配置有所述B滤波器的像素的右侧位置的像素配置所述Cy滤波器。
12.根据权利要求8所述的摄像装置，其特征在于，
针对所述摄像元件的受光部中的规定的像素配置所述G滤波器，
针对位于配置有所述G滤波器的所述规定的像素的下侧位置的像素配置所述Cy滤波器，
针对位于配置有所述G滤波器的所述规定的像素的右侧位置的像素配置所述R滤波器，
针对位于配置有所述Cy滤波器的像素的右侧位置的像素配置所述B滤波器。
13.一种内窥镜，其特征在于，
根据权利要求1所述的摄像装置为内窥镜。
14.一种内窥镜系统，其特征在于，
包括根据权利要求13所述的内窥镜。
CN201780081521.6A 2016-12-28 2017-09-28 摄像装置、内窥镜以及内窥镜系统 Active CN110121289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016256916 2016-12-28
JP2016-256916 2016-12-28
PCT/JP2017/035160 WO2018123174A1 (ja) 2016-12-28 2017-09-28 撮像装置、内視鏡および内視鏡システム

Publications (2)

Publication Number Publication Date
CN110121289A true CN110121289A (zh) 2019-08-13
CN110121289B CN110121289B (zh) 2022-02-08

Family

ID=62707136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081521.6A Active CN110121289B (zh) 2016-12-28 2017-09-28 摄像装置、内窥镜以及内窥镜系统

Country Status (4)

Country Link
US (1) US20190307320A1 (zh)
JP (1) JP6589071B2 (zh)
CN (1) CN110121289B (zh)
WO (1) WO2018123174A1 (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3246239A1 (de) * 1981-12-14 1983-06-16 Fuji Photo Film Co., Ltd., Minami-Ashigara, Kanagawa Endoskop-system mit einer festkoerper-abbildungseinrichtung
JP2003079570A (ja) * 2001-09-13 2003-03-18 Olympus Optical Co Ltd 内視鏡装置
US20070040906A1 (en) * 2005-08-18 2007-02-22 Pentax Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
JP2008227581A (ja) * 2007-03-08 2008-09-25 Sony Corp 撮像方法および撮像装置並びに駆動装置
CN102640036A (zh) * 2009-07-10 2012-08-15 Isee3D有限公司 生成三维图像信息的方法和装置
CN102894948A (zh) * 2011-07-25 2013-01-30 富士胶片株式会社 内窥镜系统及其控制方法
CN103262522A (zh) * 2010-12-14 2013-08-21 奥林巴斯医疗株式会社 摄像装置
US20130300837A1 (en) * 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
CN104025581A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 摄像装置
CN104780825A (zh) * 2013-05-29 2015-07-15 奥林巴斯株式会社 内窥镜系统
CN105229787A (zh) * 2014-04-15 2016-01-06 索尼公司 焦点检测装置和电子设备
CN105228503A (zh) * 2013-03-15 2016-01-06 奥利弗医疗公司 最小化内窥镜应用中图像传感器输入/输出和导体的数量
CN105874718A (zh) * 2014-09-03 2016-08-17 奥林巴斯株式会社 解码装置、摄像系统、解码方法、编解码方法以及解码程序
CN107072476A (zh) * 2014-11-20 2017-08-18 奥林巴斯株式会社 观察装置
CN107113386A (zh) * 2015-10-02 2017-08-29 奥林巴斯株式会社 摄像元件和内窥镜

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58103432A (ja) * 1981-12-14 1983-06-20 富士写真フイルム株式会社 固体撮像素子を用いた内視鏡装置
DE3246239A1 (de) * 1981-12-14 1983-06-16 Fuji Photo Film Co., Ltd., Minami-Ashigara, Kanagawa Endoskop-system mit einer festkoerper-abbildungseinrichtung
JP2003079570A (ja) * 2001-09-13 2003-03-18 Olympus Optical Co Ltd 内視鏡装置
US20070040906A1 (en) * 2005-08-18 2007-02-22 Pentax Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
JP2008227581A (ja) * 2007-03-08 2008-09-25 Sony Corp 撮像方法および撮像装置並びに駆動装置
CN102640036A (zh) * 2009-07-10 2012-08-15 Isee3D有限公司 生成三维图像信息的方法和装置
CN103262522A (zh) * 2010-12-14 2013-08-21 奥林巴斯医疗株式会社 摄像装置
CN102894948A (zh) * 2011-07-25 2013-01-30 富士胶片株式会社 内窥镜系统及其控制方法
CN104025581A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 摄像装置
US20130300837A1 (en) * 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
CN105228503A (zh) * 2013-03-15 2016-01-06 奥利弗医疗公司 最小化内窥镜应用中图像传感器输入/输出和导体的数量
CN104780825A (zh) * 2013-05-29 2015-07-15 奥林巴斯株式会社 内窥镜系统
CN105229787A (zh) * 2014-04-15 2016-01-06 索尼公司 焦点检测装置和电子设备
CN105874718A (zh) * 2014-09-03 2016-08-17 奥林巴斯株式会社 解码装置、摄像系统、解码方法、编解码方法以及解码程序
CN107072476A (zh) * 2014-11-20 2017-08-18 奥林巴斯株式会社 观察装置
CN107113386A (zh) * 2015-10-02 2017-08-29 奥林巴斯株式会社 摄像元件和内窥镜

Also Published As

Publication number Publication date
WO2018123174A1 (ja) 2018-07-05
CN110121289B (zh) 2022-02-08
JP6589071B2 (ja) 2019-10-09
US20190307320A1 (en) 2019-10-10
JPWO2018123174A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP7264187B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US20210361152A1 (en) Continuous video in a light deficient environment
KR101312846B1 (ko) 촬상 장치, 카메라 시스템 및 그 구동 방법
CN104718745B (zh) 摄像元件和摄像装置
CN105210363B (zh) 固体摄像器件、固体摄像器件的驱动方法和电子设备
CN102098456B (zh) 可扩大动态范围的固体摄像装置
US7952623B2 (en) Solid state imaging device and image pickup apparatus
CN105120171B (zh) 摄像设备及其控制方法
KR102083292B1 (ko) 이미지 센서, 이미징 장치, 이동 단말기 및 이미징 방법
CN102859995B (zh) 成像装置和驱动固态成像器件的方法
US10136108B2 (en) Imaging device
US20080036856A1 (en) Imaging apparatus and endoscope apparatus using the same
JP2012059845A (ja) 撮像素子及び撮像装置
TWI567963B (zh) 在彩色濾波器陣列上之光學隔離柵格
CN107534760B (zh) 摄像装置
CN106331662A (zh) 一种图像撷取装置及图像撷取方法
CN109257534A (zh) 摄像元件、摄像装置、记录介质、摄像方法
JP2006352466A (ja) 撮像装置
CN105934947B (zh) 固体摄像装置和摄像方法
CN110121289A (zh) 摄像装置、内窥镜以及内窥镜系统
CN102948152B (zh) 成像设备和成像方法
JP2014170944A (ja) 撮像素子及び撮像装置
JP2022192062A (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant