CN107249429A - 增益调整装置、增益调整程序、内窥镜以及内窥镜装置 - Google Patents

增益调整装置、增益调整程序、内窥镜以及内窥镜装置 Download PDF

Info

Publication number
CN107249429A
CN107249429A CN201680011094.XA CN201680011094A CN107249429A CN 107249429 A CN107249429 A CN 107249429A CN 201680011094 A CN201680011094 A CN 201680011094A CN 107249429 A CN107249429 A CN 107249429A
Authority
CN
China
Prior art keywords
gain
analog
endoscope
photographed images
photographing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680011094.XA
Other languages
English (en)
Other versions
CN107249429B (zh
Inventor
松井泰宪
山下真司
田边让
松野悠大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107249429A publication Critical patent/CN107249429A/zh
Application granted granted Critical
Publication of CN107249429B publication Critical patent/CN107249429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

增益调整装置具备：模拟总增益计算部，其使用来自用于将模拟处理部的输出转换为数字信号的模拟数字转换电路的摄像图像，来计算从设置于内窥镜的插入部的摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的模拟增益的总和，其中，所述模拟处理部用于传输来自所述摄像元件的摄像信号并将该摄像信号放大；以及调整增益计算部，其求出从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的增益的总和的目标值与所述模拟增益的总和之差来作为调整增益，输出所述调整增益的信息以进行对所述内窥镜的模拟增益的调整。

Description

增益调整装置、增益调整程序、内窥镜以及内窥镜装置
技术领域
本发明涉及一种能够对模拟增益的偏差进行调整来实现高图像品质化的增益调整装置、增益调整程序、内窥镜以及内窥镜装置。
背景技术
近年，使用了CCD、CMOS传感器等摄像元件的摄像装置在各种领域得到利用。例如，在医疗领域中，作为在使用了诊断、处置器具的治疗等中所使用的内窥镜装置，有时采用使用了摄像元件的电子内窥镜装置。电子内窥镜在前端侧具有细长的插入部，在插入部的前端设置有摄像元件。另外，在内窥镜的基端侧设置有用于与视频处理器连接的连接器。由内窥镜获得到的摄像信号经由连接器而向视频处理器供给，在视频处理器中生成内窥镜图像。
近年，视频处理器的图像处理逐渐被数字化，摄像元件的输出被转换为数字信号后在图像处理中使用。在该情况下，由摄像元件进行的光电转换输出的输出水平比较小，因此模拟的摄像元件输出信号在被充分放大之后，被提供给模拟/数字转换器来转换为数字信号。由此，在视频处理器中，能够生成亮度充分的内窥镜图像而显示易于观察的内窥镜图像。
在日本特开2008-93174号公报中，公开了一种对AGC(Automatic Gain Control：自动增益控制)电路的增益进行调整以使图像的亮度变为适当的亮度的内窥镜装置。
另外，在内窥镜中，设置于插入部前端的摄像元件的输出信号通过线缆而向内置于插入部基端侧的连接器部的电基板(以下为连接器部内基板)电传输。用于对摄像元件输出信号进行电传输的线缆的长度比较长，使摄像元件输出信号衰减得比较大。因此，需要在摄像元件的输出信号向安装于连接器部内基板的模拟/数字转换器供给之前的期间，以比较大的增益对摄像元件输出信号进行放大。
然而，由于需要以大的增益对摄像元件输出信号进行放大，因此存在由于摄像元件的输出信号水平的个体差偏差、线缆的衰减量的个体差偏差、放大器的放大率的个体差偏差等的影响而图像品质易于劣化这样的问题。特别是，近年，随着摄像元件的小型化而摄像元件输出信号水平变小，并且由于线缆的细径化而线缆传输时的衰减率变大，由于模拟放大器的负载变大且增益的偏差的影响而图像品质的劣化变得显著化。
本发明的目的在于，提供一种能够消除模拟增益的偏差来使图像品质提高的增益调整装置、增益调整程序、内窥镜以及内窥镜装置。
发明内容
用于解决问题的方案
本发明的一个方式所涉及的增益调整装置具备：模拟总增益计算部，其使用来自用于将模拟处理部的输出转换为数字信号的模拟数字转换电路的摄像图像，来计算从设置于内窥镜的插入部的摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的模拟增益的总和，其中，所述模拟处理部用于传输来自所述摄像元件的摄像信号并将该摄像信号放大；以及调整增益计算部，其求出从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的增益的总和的目标值与所述模拟增益的总和之差来作为调整增益，输出所述调整增益的信息以进行对所述内窥镜的模拟增益的调整。
另外，本发明的一个方式所涉及的内窥镜具备：记录部，其用于记录来自所述增益调整装置的所述调整增益的信息；以及数字放大器，其基于所述调整增益的信息来对所述模拟数字转换电路的输出附加所述调整增益。
另外，本发明的另一个方式所涉及的内窥镜具备：记录部，其用于记录来自所述增益调整装置的所述调整增益的信息；以及模拟增益控制部，其基于所述调整增益的信息来对所述模拟处理部的增益进行控制以对所述模拟增益的总和附加所述调整增益。
另外，本发明的一个方式所涉及的内窥镜装置具备：所述内窥镜；以及视频处理器，其被提供所述内窥镜的输出来实施规定的图像处理，所述视频处理器具有所述增益调整装置。
另外，本发明的一个方式所涉及的增益调整程序使计算机执行以下步骤：使用来自用于将模拟处理部的输出转换为数字信号的模拟数字转换电路的摄像图像中的亮时的基于设置于内窥镜的插入部的摄像元件的输出的所述摄像图像和暗时的基于所述摄像元件的输出的所述摄像图像，来计算从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的模拟增益的总和，其中，所述模拟处理部用于传输来自所述摄像元件的摄像信号并将该摄像信号放大；以及求出从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的增益的总和的目标值与所述模拟增益的总和之差来作为调整增益，输出所述调整增益的信息以进行对所述内窥镜的模拟增益的调整。
附图说明
图1是示出本发明的第一实施方式所涉及的包含内置增益调整装置的内窥镜的内窥镜装置的框图。
图2是示出存在于摄像元件至A/D转换器之间的模拟增益的发生源的说明图。
图3是在横轴取增益发生源的各级且在纵轴取增益来示出图2的各模拟增益的偏差的曲线图。
图4是用于对由校正值计算部40进行的浅黑校正和增益调整进行说明的流程图。
图5是用于说明由增益校正部36进行的增益调整的曲线图。
具体实施方式
下面，参照附图来详细地说明本发明的实施方式。
(第一实施方式)
图1是示出本发明的第一实施方式所涉及的包含内置增益调整装置的内窥镜的内窥镜装置的框图。
首先，参照图2和图3，来对在摄像元件的光电转换输出提供到模拟/数字转换器(A/D转换器)之前的期间以模拟的方式生成的增益(模拟增益)的偏差进行说明。图2是示出存在于摄像元件至A/D转换器之间的模拟增益的发生源的说明图，图3是在横轴取增益发生源的各级且在纵轴取增益来示出图2的各模拟增益的偏差的曲线图。
内窥镜在内窥镜前端的插入部前端配置摄像元件，摄像元件输出信号(摄像信号)通过线缆向内窥镜基端侧传输。例如，在连接于内窥镜基端侧的通用线缆的连接器内、或者通过连接器而与内窥镜连接的视频处理器内，设置有用于将通过线缆传输来的模拟摄像信号转换为数字信号的A/D转换器。
在图2中，示出了设模拟增益的发生源为浮动扩散部1、成像器内置放大器2、线缆3、前置放大器4以及可变放大器5(以下也将它们简称为模拟放大器)的情况的例子。
在图2中，摄像元件具有光电二极管PD。光电二极管PD通过光电转换而产生电子。该电子在浮动扩散部1中被转换为电压信号。设为将该浮动扩散部1中的增益称为转换增益Gc。另外，摄像元件也有时内置有成像器内置放大器2。设为将该成像器内置放大器2的增益称为成像器内部增益Gn。摄像信号通过线缆3传输。设为将该线缆3的电阻(线缆电阻)、终端电阻以及匹配电阻的增益(衰减)称为线缆增益Gk。一般来说，例如在向基板内所配置的A/D转换器6供给通过线缆3传输的摄像信号之前，利用基板内的前置放大器4和可变放大器5来将该摄像信号放大。前置放大器4对摄像信号施加前置增益Gp以向基板内的电路供给所需的水平的S/N良好的信号，可变放大器5对摄像信号施加可变增益Gv以将摄像信号设定为与A/D转换器的输入范围相应的水平。
关于转换增益Gc和成像器内部增益Gn(以下将这两者合在一起称为成像器增益Gi)，即使是同一标准的摄像元件，例如也与处理相应地每个摄像元件具有偏差。另外，关于线缆增益Gk也如此，即使是同一直径、同一线长的同一结构的线缆，例如也由于阻抗的偏差等而每个线缆具有偏差。并且，关于前置增益Gp和可变增益Gv也如此，在通过模拟方式构成基板内的这些放大器的情况下，即使是同一标准的放大器，每个放大器也具有偏差。
图3示出这些增益的偏差。图3的实线示出各增益的设计值。当将浮动扩散部1的输入时间点的增益设为基准时，成像器增益Gi和线缆增益Gk是负的值，光电转换输出在供给到前置放大器4之前的期间发生衰减。摄像信号通过前置放大器4和可变放大器5被放大后向A/D转换器6输入。A/D转换器6的输入时间点的增益(目标值)变为正的值GD。该值GD是设计值，实际上增益的值会产生偏差。
图3的虚线示出各模拟放大器中的增益在正的方向上产生了偏差的情况下的增益的变化，图3的单点划线示出各模拟放大器中的增益在负的方向上产生了偏差的情况下的增益的变化。如图3所示，偏差按各级相加，在A/D转换器6的输入时间点被假定为增益的偏差的最大值为GH，最小值为GL。
在设计上，图3的各增益的总和，即包括摄像元件的增益在内的、直到光电转换输出被进行A/D转换为止的期间被提供的模拟增益的总和(以下称为模拟总增益)为GD。在按照该设定值(目标值)GD来设计后级的电路的情况下，如果模拟总增益向最小值GL侧产生偏差，则获得的图像变暗。相反地，如果模拟总增益向最大值GH侧产生偏差，则获得的图像变亮，另一方面，S/N劣化。
另外，摄像元件需要在输出相对于曝光量线性地发生变化的范围(线性区域)内使用。而且，在摄像信号为线性区域的最大值的情况下，如果将增益设定为放大后的摄像信号占满A/D转换器的输入范围，则能够有效地使用摄像元件输出。在该情况下，如果假定为模拟总增益向最大值GH侧产生偏差后对模拟放大器的增益进行设定，则在影像中不会出现超过了线性区域的区域，另一方面，对线性区域分配的范围变小而图像品质发生劣化。相反地，如果假定为模拟总增益向最小值GL侧产生偏差后对模拟放大器的增益进行设定，则输出水平在线性区域的最大值侧的规定区域超过A/D转换器的输入范围，产生在影像中出现相对于光量的摄像信号在每个像素中以非线性被获得的区域这种不光滑的固定模式噪声(饱和粗糙)，从而图像发生劣化。
也就是说，在模拟总增益向最小值GL侧产生偏差的情况下，图像变暗，并且当假定发生如上情况来进行增益设定时，图像品质也发生劣化。相反地，在增益向最大值GH侧产生偏差的情况下，S/N发生劣化，并且当假定发生如上情况来进行增益设定时，动态范围变小而图像品质发生劣化。
这样，由于模拟总增益相对于设计值产生偏差而产生图像品质发生劣化等的问题。在摄像元件的尺寸比较大、摄像信号水平比较大的情况下，作为模拟总增益所需的增益比较小即可，与之相应的偏差也小，因此即使在模拟总增益相对于设计值产生偏差情况下，图像品质的劣化也不显著，问题较小。
然而，由于小型化而摄像元件的尺寸变小且摄像信号水平变小，并且当由于线缆的细径化而传输时的负的增益增加时，作为模拟总增益所需的增益变大，与之相应的偏差也变大。因此，上述的问题变得显著化。
因此，在本实施方式中，计算从摄像元件的光电转换输出至摄像信号的数字转换之间的各模拟放大器的模拟总增益，基于计算结果，根据个体差进行增益调整以使发生了偏差的增益返回到设计值GD。即，通过使模拟总增益与基于增益调整的增益(以下称为调整增益)之和的增益(以下称为总增益)同设计值GD一致，不管是否小型化、细径化等，均使图像品质得到提高。此外，既可以对A/D转换前的模拟信号附加调整增益，也可以对A/D转换后的数字信号附加调整增益。
在图1中，内窥镜装置1由内窥镜10和视频处理器50构成。在内窥镜10中例如由CCD(Charge-coupled Device：电荷耦合元件)等构成的摄像元件11例如设置于内窥镜插入部前端。从未图示的光源照射的照明光的被摄体反射光经由设置于插入部前端的未图示的光学系统而入射到摄像元件11。通过光学系统使来自被摄体的光学像在摄像元件11的摄像面成像。摄像元件11对入射到各像素的光进行光电转换。通过光电转换而获得到的电信号经由图2的浮动扩散1和成像器内置放大器2而作为摄像信号输出。
来自摄像元件11的摄像信号通过线缆3向内窥镜基端侧传输。线缆3贯通于内窥镜10内和未图示的通用线缆内，摄像信号向例如设置在通用线缆的连接器内的基板13传输。通过连接器连接于视频处理器50，搭载于基板13的电路与视频处理器40电连接。
在基板13内，构成有前置放大器4、AFE(模拟前端(analog front end))15以及FPGA(Field Programmable Gate Array：现场可编程门阵列)16。前置放大器4通过前置增益Gp将摄像信号放大后向AFE 15输出。
来自前置放大器4的摄像信号被提供给AFE 15内的CDS(Correlation DoubleSampling：相关双采样)放大器21。CDS放大器21对输入来的模拟信号进行相关双采样处理，附加规定的增益后向AGC电路22输出。AGC电路22对CDS放大器21的输出附加规定的增益后向A/D转换器6输出。图2的可变放大器5由这些CDS放大器21和AGC电路22构成。
CDS放大器21的增益和AGC电路22的增益由设定部24设定。CDS放大器21的增益和AGC电路22的增益是可变的，这些电路的增益之和相当于图2的可变增益Gv。该可变增益Gv被设定为用于将AGC电路22的输出信号设定为与A/D转换器6的输入范围相应的水平的值。
A/D转换器6将输入来的摄像信号转换为数字信号后输出。来自A/D转换器6的数字摄像信号(摄像图像)被供给到FPGA 16。在FPGA 16中，构成有影像处理部30、定时发生器(TG)48以及驱动信号生成部49。TG 30生成包含用于驱动FPGA 16的各部所需的时钟等的各种信号并向影像处理部30和驱动信号生成部49输出。驱动信号生成部49被提供TG 30的输出信号，生成使摄像元件11动作所需的时钟和各种驱动信号后向摄像元件11供给。
向FPGA 16的浅黑校正部35提供来自A/D转换器6的摄像信号。浅黑校正部35被从后述的浅黑校正值计算部41提供浅黑校正值，使用浅黑校正值来对摄像信号的黑色水平进行校正，从而去除影像的偏置分量。浅黑校正部35的输出信号被提供给增益校正部36。
在本实施方式中，增益校正部36包括数字放大器，被从后述的增益校正值记录部45提供调整增益GB，对输入来的摄像信号附加调整增益GB。即，增益校正部36进行用于使摄像信号的总增益与设计值(目标值)GD一致的增益调整。增益校正部36的输出被供给到数字增益部37。数字增益部37对输入来的摄像信号附加规定的增益后向影像输出部38输出。影像输出部38通过对输入来的摄像信号实施规定的影像处理来生成影像信号后向视频处理器50输出。
在本实施方式中，调整增益GB由校正值计算部40计算。校正值计算部40包括浅黑校正值计算部41、存储部42以及调整增益计算部43。作为存储部的存储部42被依次提供来自A/D转换器6的摄像信号(摄像图像)并存储。浅黑校正值计算部41被从A/D转换器6和存储部42提供摄像图像，通过后述的方法来计算浅黑校正时所使用的影像的偏置分量，作为浅黑校正值而向浅黑校正部35提供。
调整增益计算部43被提供浅黑校正值计算部41的输出信号和存储部42的输出信号，通过后述的方法来计算调整增益GB，向增益校正值记录部45输出计算结果。增益校正值记录部45也可以例如包括快闪存储器等非易失性存储器，记录被提供的调整增益GB并且向增益校正部36输出被提供的调整增益GB。
此外，在影像处理部30设置有参数记录部32。参数记录部32记录用于决定CDS放大器21和AGC电路22的可变增益Gv的参数。参数设定部31读取记录于参数记录部32的参数，来求出可变增益Gv，向AFE 15的设定部24输出用于设定可变增益Gv的设定值。设定部24被提供用于设定可变增益Gv的设定值，基于该设定值来分别设定CDS放大器21的增益和AGC电路22的增益。
(模拟总增益的计算方法)
当前，将在摄像元件11中通过光电转换而产生的信号的平均电子数量设为Nsig。信号的电子数量的平均值μ是以如下述(1)所示对平均电子数量Nsig乘以增益值G所得到的值来获得的。
Nsig×G＝μ…(1)
在Nsig中混入暗时噪声和光散粒噪声。暗时噪声是不管有无向摄像元件的入射光量都发生的水平比较固定的噪声，光散粒噪声是随着向摄像元件的入射光量而水平发生变动的噪声。即，由于光散粒噪声而产生的信号输出标准偏差σ按照泊松分布，从而下述(2)式的关系成立。
Nsig1/2×G＝σ
Nsig×G2＝σ2…(2)
根据上述(2)式，下述(3)式成立。
μ×G＝σ2
G＝σ2/μ…(3)
即使设为对摄像元件输出依次附加增益，上述(3)式的关系也不发生变化。因而，利用上述(3)式求出模拟总增益。但是，上述(3)式成立的只是光散粒噪声，需要考虑暗时噪声分量。因此，在计算上述(3)式中的标准偏差σ方面，由于暗时不包含光散粒噪声，因此在通过从包含光散粒噪声的亮时的标准偏差σlight减去暗时的标准偏差σdark来去除暗时噪声分量之后，进行上述(3)式的运算。
σ2＝σlight2-σdark2…(4)
这样，为了去除暗时噪声分量，针对亮时和暗时各自至少需要与两帧相应的摄像信号。例如，由于纵行分量所发生的偏置分量等而发生固定模式噪声。为了去除该固定模式噪声，只要在两帧之间进行相减运算即可。从以上内容来看，在本实施方式中，使用亮时的两帧和暗时的两帧的总计四帧的摄像图像来计算模拟总增益。
校正值计算部40使存储部42存储与亮时两帧、暗时两帧总计四帧对应的摄像信号。浅黑校正值计算部41根据暗时的两帧之差的平均值求出影像的偏置量，来作为浅黑校正值而向浅黑校正部35和调整增益计算部43输出。调整增益计算部43使用亮时和暗时的总计四帧的摄像信号来求出亮时的光散粒噪声和信号分量的平均值，利用上述(3)式计算模拟总增益。调整增益计算部43将计算出的模拟总增益与设为目标的总增益(设计值)GD之差计算为调整增益GB。
接着，参照图4和图5来对这样构成的实施方式的动作进行说明。图4是用于对由校正值计算部40进行的浅黑校正和增益调整进行说明的流程图。
在本实施方式中，由增益调整装置进行的调整增益的计算只要例如在内窥镜10的工场发货时实施即可。如上所述，使用亮时的两帧和暗时的两帧的摄像图像以进行调整增益的计算。在图4的步骤S1中，安装亮时被摄体以获取亮时的两帧的摄像图像。作为亮时被摄体，也可以例如使用安装于内窥镜插入部的前端的白平衡调整用的白帽。在接下来的步骤S2中，获取多个帧的摄像图像。例如，通过连续地对两帧的摄像图像进行摄影来获取亮时的两帧的摄像图像。另外，在通过对计算出的调整增益进行平均化来提高计算精度的情况下，也可以多次获取亮时的两帧的摄像图像。
由摄像元件11获取到的多个帧的摄像信号经由线缆3而向基板10的前置放大器4供给。摄像信号被前置放大器4放大后向AFE 15提供。AFE 15的CDS放大器21和AGC电路22按照设定部24的设定值来将输入来的摄像信号放大后向A/D转换器6输出。摄像元件11的亮时的光电转换输出在被施加了成像器增益Gi、线缆增益Gk、前置增益Gp以及可变增益Gv之后向A/D转换器6供给。
A/D转换器6将输入来的摄像信号转换为数字信号后向FPGA 16内的影像处理部30输出。数字摄像信号被提供给浅黑校正部35以及校正值计算部40的浅黑校正值计算部41和存储部42。
调整增益计算部43例如求出连续的两帧的图像之间的差(步骤S3)。通过该差运算，来去除拍摄到的亮时的图像所包含的固定模式噪声。调整增益计算部43计算差结果的图像(差图像)的方差值σ21(步骤S5)。从差图像去除了固定模式噪声，但是仍然还包含包括暗电流噪声和光散粒噪声在内的随机噪声。方差值σ21是受到暗电流噪声的影响的光散粒噪声的方差值。
另外，调整增益计算部43在步骤S4中计算亮时拍摄到的多个帧的图像的平均值。通过该平均化来去除包括暗电流噪声和光散粒噪声在内的随机噪声。这样，通过步骤S4的平均化处理，来求出亮时图像的信号水平μ1。
接着，安装暗时被摄体以获取暗时的两帧的图像(步骤S6)。例如，对内窥镜前端的摄像元件11的入射面进行遮光来进行拍摄。在接下来的步骤S7中，获取多个帧的图像。例如，通过连续地对两帧的图像进行摄影，来获取暗时的两帧的图像。另外，在通过使计算出的调整增益平均化来提高计算精度的情况下，也可以多次获取暗时的两帧的图像。
由摄像元件11获取到的多个帧的摄像信号经由线缆3、前置放大器4、CDS放大器21以及AGC电路22而向A/D转换器6供给。这样，摄像元件11的暗时的光电转换输出在被施加了成像器增益Gi、线缆增益Gk、前置增益Gp以及可变增益Gv之后，向A/D转换器6供给。
A/D转换器6将输入来的摄像信号转换为数字信号。该数字摄像信号被提供给浅黑校正部35以及校正值计算部40的浅黑校正值计算部41和存储部42。调整增益计算部43例如求出连续的两帧的图像之间的差(步骤S8)。该差结果是去除了固定模式噪声的暗时的图像。调整增益计算部43在步骤S10中计算差结果的图像(差图像)的方差值σ22。方差值σ22是光散粒噪声的水平为0的暗电流噪声的方差值。此外，也可以在模拟总增益的计算时不使用方差值而使用标准偏差。
另外，浅黑校正值计算部41和调整增益计算部43在步骤S9中计算暗时所拍摄到的多个帧的图像的平均值。暗电流噪声通过该平均化而被去除。这样，通过步骤S9的平均化处理来求出暗时图像的信号水平μ2。该信号水平μ2以后在浅黑校正值计算部41和调整增益计算部43这两方中使用，也可以在某一方的计算部中求出后提供给另一方。
此外，步骤S9的平均化处理获得暗时的图像的信号水平、即影像的偏置量。浅黑校正值计算部41根据通过暗时图像的平均化处理求出的信号水平μ2求出浅黑水平。例如，浅黑校正值计算部41也可以将信号水平μ2直接用作偏置量。
浅黑校正值计算部41也可以多次根据两帧的图像来求出浅黑水平，使求出的浅黑水平平均化，以提高浅黑校正精度(步骤S22)。浅黑校正值计算部41计算用于对求出的浅黑水平进行校正的浅黑水平校正值后向浅黑校正部35输出(步骤S23)。在实际的摄像时，浅黑校正部35使用浅黑水平校正值来对输入来的图像的浅黑水平进行校正并输出。
另一方面，调整增益计算部43在步骤S11中计算模拟总增益。即，调整增益计算部43通过从在步骤S5中求出的亮时的方差值σ21减去在步骤S10中求出的暗时的方差值σ22，来获得去除了暗电流噪声的影响的光散粒噪声的方差值σ2。另外，调整增益计算部43通过从在步骤S4中求出的亮时的图像平均值μ1减去在步骤S9中求出的暗时的图像平均值μ2，来获得亮时的图像的平均值μ。调整增益计算部43根据求出的方差值σ2和平均值μ来基于上述(3)式求出模拟总增益。
调整增益计算部43也可以多次根据四帧的图像求出模拟总增益，使求出的模拟总增益平均化，以提高增益偏差的校正精度(步骤S12)。调整增益计算部43将求出的模拟总增益与设为目标的总增益(设计值)GD之差计算为调整增益GB(步骤S13)。调整增益计算部43向增益校正值记录部45提供求出的调整增益GB来使其记录该调整增益GB。
这样，在工场发货时，用于对摄像元件11、线缆3、前置放大器4、CDS放大器21以及AGC电路22的各增益的偏差进行校正的调整增益GB保存于校正值记录部45。此外，摄像元件11、线缆3和基板13存在多种组合，但是一般来说，不会由用户从内窥镜10更换摄像元件11、线缆3，而是在工场进行它们的更换。因而，增益校正值记录部45不需要记录与摄像元件11、线缆、基板13的多个组合对应的多个调整增益GB，只要在工场发货时只记录求出的调整增益GB即可。
在实际使用时，浅黑校正部35的输出经由增益校正部36而向数字增益部37供给。通过增益校正值记录部45设定调整增益GB，增益校正部36对浅黑校正部35的输出施加调整增益GB后输出。增益校正部36包括数字放大器，能够进行准确的增益调整。
图5是用于说明由增益校正部36进行的增益调整的曲线图。图5在横轴取用于进行放大的放大器的各级且在纵轴取增益来通过与图3同样的标记方法示出增益调整的结果。在图5中，实线示出模拟总增益按照增益的设计值而发生的变化，虚线示出得到最大的模拟总增益GH的情况下的变化，单点划线示出得到最小的模拟总增益GL的情况下的变化，双点划线(粗线)示出基于实际的增益偏差和调整结果的总增益的变化。
在图5的例子中，调整增益计算部43计算模拟总增益的值GA。调整增益计算部43从设为目标的增益GD减去GA来计算调整增益GB。该调整增益GB记录于增益校正值记录部45。增益校正部36对输入来的摄像信号附加由增益校正值记录部45设定的调整增益GB后输出。这样，对在A/D转换前对光电转换输出施加的模拟总增益GA，在A/D转换后附加调整增益GB，总增益变为目标值GD。
这样，在本实施方式中，基于亮时的光散粒噪声和信号的平均值，来计算从光电转换输出至A/D转换之前附加的模拟总增益，基于计算结果来进行增益调整以使总增益与设计值一致。这样，对模拟增益的偏差进行校正，能够使总增益与设为目标的设计值一致，因此能够获得S/N良好的亮度充分的图像。另外，不考虑模拟增益的偏差，就能够进行使摄像信号的线性区域与A/D转换器的输入水平一致的增益设计，因此能够进行有效地使用A/D转换器的动态范围的增益设计，能够获得图像品质的劣化少的亮度充分的图像。由此，即使在由于小型化而摄像信号水平变小并且由于线缆的细径化而传输时的负的增益增加的情况下，也能够抵消增益的偏差，能够实现高图像品质化。
此外，在上述实施方式中，对如下的例子进行了说明：计算A/D转换前的模拟总增益，在A/D转换后基于由数字放大器计算出的模拟总增益进行增益调整，但是也可以在A/D转换前使用模拟放大器来进行增益调整。在该情况下，即使在模拟放大器中设定调整增益，由于模拟放大器的偏差而调整增益也会产生偏差，因此需要进行反馈校正来使总增益与目标值一致。
另外，在上述实施方式中，通过对模拟总增益追加调整增益，来控制为总增益与目标值一致，但是也可以通过对提供模拟总增益的增益发生源的增益进行调整，来使总增益＝模拟总增益与目标值一致。例如，也可以设为对AFE电路内的AGC电路的增益进行调整。在该情况下，只要(模拟总增益-增益调整前的AGC电路的增益+增益调整后的AGC电路的增益)＝总增益与目标值一致即可。
另外，上述实施方式中的增益调整装置包括校正值计算部40、增益校正值记录部45以及增益校正部36。在本实施方式中，对增益调整装置内置于内窥镜10的例子进行了说明。但是，例如只要在内窥镜的工场发货时将调整增益的信息保存于增益校正值记录部45即可，不需要将校正值计算部40内置于内窥镜。即，在内窥镜内，只要仅内置增益校正值记录部45和增益校正部36即可。
并且，如上所述，在设为由模拟放大器附加调整增益的结构的情况下，也能够省略增益校正部36。在该情况下，例如也可以由参数设定部31基于参数记录部32和增益校正值记录部45的信息来求出向设定部24提供的信息。
因而，增益调整装置不需要内置在内窥镜内，例如如果能够使摄像信号从内窥镜输出，则也可以将增益调整装置设置于视频处理器内、内窥镜装置的外部。
并且，在上述实施方式中，对如下的例子进行了说明：使存储部42存储亮时的摄像图像和暗时的摄像图像，求出上述的方差等统计值。但是，在作为摄像元件而使用了固定模式噪声足够小的元件的情况下，或者在将计算的模拟总增益的值作为大致的近似值来求解这样的情况下，图像的平均值的相关关系高，因此有通过使用一帧之前的图像的平均值来求出方差、标准偏差的可能性。因此，即使在省略了存储部42的情况下，也能够通过取入从摄像图像获得的方差、标准偏差等统计值来在调整增益计算部43中计算模拟总增益。另外，也可以设置用于存储这种统计值的存储器。
另外，关于由增益调整装置进行的调整增益的计算处理，也能够通过使计算机执行描述了调整增益的计算处理的程序来利用软件处理获得。
本发明并不仅限定于上述实施方式，在实施阶段，在不脱离其主旨的范围内能够对构成要素进行变形并使其具体化。另外，通过将上述实施方式所公开的多个构成要素适当地组合，能够形成各种发明。例如，也可以删除实施方式所示的所有构成要素中的几个构成要素。
本申请基于在2016年1月12日向日本申请的特愿2016-003899号主张优先权，在本申请说明书、权利要求书中引用上述的公开内容。

Claims (10)

1.一种增益调整装置，其特征在于，具备：
模拟总增益计算部，其使用来自用于将模拟处理部的输出转换为数字信号的模拟数字转换电路的摄像图像，来计算从设置于内窥镜的插入部的摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的模拟增益的总和，其中，所述模拟处理部用于传输来自所述摄像元件的摄像信号并将该摄像信号放大；以及
调整增益计算部，其求出从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的增益的总和的目标值与所述模拟增益的总和之差来作为调整增益，输出所述调整增益的信息以进行对所述内窥镜的模拟增益的调整。
2.根据权利要求1所述的增益调整装置，其特征在于，
还具备存储部，该存储部取入来自所述模拟数字转换电路的摄像图像，
所述模拟总增益计算部使用存储于所述存储部的摄像图像中的亮时的基于所述摄像元件的输出的所述摄像图像和暗时的基于所述摄像元件的输出的所述摄像图像，来计算所述模拟增益的总和。
3.根据权利要求1或2所述的增益调整装置，其特征在于，
所述模拟总增益计算部基于所述亮时的摄像图像的统计值和所述暗时的摄像图像的统计值来求出所述摄像元件的光散粒噪声，基于所述亮时的摄像图像的平均值和所述暗时的摄像图像的平均值来求出亮时的所述摄像图像的水平，基于求出的光散粒噪声和摄像图像的水平来计算所述模拟总增益。
4.根据权利要求3所述的增益调整装置，其特征在于，
所述统计值是标准偏差或方差。
5.根据权利要求2至4中的任一项所述的增益调整装置，其特征在于，
所述存储部存储所述亮时的两帧以上的摄像图像和所述暗时的两帧以上的摄像图像，
所述模拟总增益计算部利用所述亮时的两帧以上的摄像图像之间的差来去除固定模式噪声，利用所述暗时的两帧以上的摄像图像之间的差来去除固定模式噪声。
6.一种内窥镜，其特征在于，具备：
记录部，其用于记录来自根据权利要求1至5中的任一项所述的增益调整装置的所述调整增益的信息；以及
数字放大器，其基于所述调整增益的信息来对所述模拟数字转换电路的输出附加所述调整增益。
7.一种内窥镜，其特征在于，具备：
记录部，其用于记录来自根据权利要求1至5中的任一项所述的增益调整装置的所述调整增益的信息；以及
模拟增益控制部，其基于所述调整增益的信息来对所述模拟处理部的增益进行控制以对所述模拟增益的总和附加所述调整增益。
8.根据权利要求6或7所述的内窥镜，其特征在于，
内置有根据权利要求1至5中的任一项所述的增益调整装置。
9.一种内窥镜装置，其特征在于，具备：
根据权利要求6或7所述的内窥镜；以及
视频处理器，其被提供所述内窥镜的输出来实施规定的图像处理，
所述视频处理器具有根据权利要求1至5中的任一项所述的增益调整装置。
10.一种增益调整程序，使计算机执行以下步骤：
使用来自用于将模拟处理部的输出转换为数字信号的模拟数字转换电路的摄像图像中的亮时的基于设置于内窥镜的插入部的摄像元件的输出的所述摄像图像和暗时的基于所述摄像元件的输出的所述摄像图像，来计算从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的模拟增益的总和，其中，所述模拟处理部用于传输来自所述摄像元件的摄像信号并将该摄像信号放大；以及
求出从所述摄像元件的光电转换输出至所述模拟数字转换电路的输入的期间的增益的总和的目标值与所述模拟增益的总和之差来作为调整增益，输出所述调整增益的信息以进行对所述内窥镜的模拟增益的调整。
CN201680011094.XA 2016-01-12 2016-10-06 增益调整装置、记录介质、内窥镜以及内窥镜装置 Active CN107249429B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016003899 2016-01-12
JP2016-003899 2016-01-12
PCT/JP2016/079792 WO2017122397A1 (ja) 2016-01-12 2016-10-06 ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置

Publications (2)

Publication Number Publication Date
CN107249429A true CN107249429A (zh) 2017-10-13
CN107249429B CN107249429B (zh) 2019-03-08

Family

ID=59311146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011094.XA Active CN107249429B (zh) 2016-01-12 2016-10-06 增益调整装置、记录介质、内窥镜以及内窥镜装置

Country Status (4)

Country Link
US (1) US10484626B2 (zh)
EP (1) EP3245936A4 (zh)
CN (1) CN107249429B (zh)
WO (1) WO2017122397A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064432A (zh) * 2018-08-24 2018-12-21 烟台艾睿光电科技有限公司 一种非制冷红外机芯组件最大对比度的控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673274A (en) * 1984-09-18 1987-06-16 Matsushita Electric Industrial Co., Ltd. Automatic focusing apparatus for camera
CN1731831A (zh) * 2004-08-05 2006-02-08 三洋电机株式会社 摄像装置及摄像元件的控制电路
CN101141572A (zh) * 2006-09-07 2008-03-12 索尼株式会社 图像数据处理装置、图像数据处理方法和成像系统
JP2008093174A (ja) * 2006-10-11 2008-04-24 Olympus Medical Systems Corp 内視鏡装置
US20090027516A1 (en) * 2007-07-23 2009-01-29 Canon Kabushiki Kaisha Image sensing apparatus and method of controlling the same
US20090256934A1 (en) * 2007-10-29 2009-10-15 Olympus Medical Systems Corp. Image pickup system
CN102695009A (zh) * 2012-05-29 2012-09-26 昆山锐芯微电子有限公司 图像传感器的增益转换映射方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475874B2 (ja) * 2002-02-27 2010-06-09 Ｈｏｙａ株式会社 電子内視鏡装置のプロセッサ
US20030160865A1 (en) 2002-02-27 2003-08-28 Pentax Corporation Electronic endoscope apparatus including video-processor
CN102970914A (zh) * 2010-08-02 2013-03-13 奥林巴斯医疗株式会社 内窥镜系统
JP5782064B2 (ja) 2013-04-15 2015-09-24 富士フイルム株式会社 内視鏡システム
JP6427975B2 (ja) 2014-06-16 2018-11-28 株式会社ニコン 電子機器、および制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673274A (en) * 1984-09-18 1987-06-16 Matsushita Electric Industrial Co., Ltd. Automatic focusing apparatus for camera
CN1731831A (zh) * 2004-08-05 2006-02-08 三洋电机株式会社 摄像装置及摄像元件的控制电路
CN101141572A (zh) * 2006-09-07 2008-03-12 索尼株式会社 图像数据处理装置、图像数据处理方法和成像系统
JP2008093174A (ja) * 2006-10-11 2008-04-24 Olympus Medical Systems Corp 内視鏡装置
US20090027516A1 (en) * 2007-07-23 2009-01-29 Canon Kabushiki Kaisha Image sensing apparatus and method of controlling the same
US20090256934A1 (en) * 2007-10-29 2009-10-15 Olympus Medical Systems Corp. Image pickup system
CN102695009A (zh) * 2012-05-29 2012-09-26 昆山锐芯微电子有限公司 图像传感器的增益转换映射方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064432A (zh) * 2018-08-24 2018-12-21 烟台艾睿光电科技有限公司 一种非制冷红外机芯组件最大对比度的控制方法及装置
CN109064432B (zh) * 2018-08-24 2020-09-11 烟台艾睿光电科技有限公司 一种非制冷红外机芯组件最大对比度的控制方法及装置

Also Published As

Publication number Publication date
EP3245936A1 (en) 2017-11-22
US10484626B2 (en) 2019-11-19
US20170374301A1 (en) 2017-12-28
CN107249429B (zh) 2019-03-08
WO2017122397A1 (ja) 2017-07-20
EP3245936A4 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
JP5312246B2 (ja) 撮像装置及び制御方法
CN107607982B (zh) 基于探测器响应特性的成像系统校准方法及成像校正方法
US5038369A (en) X-ray fluoroscopic apparatus
CN104486987A (zh) 具有最小面积单片式cmos图像传感器的相机系统
JP2012070993A (ja) 内視鏡システム
CN101889869B (zh) 摄像设备及其控制方法
US20090278963A1 (en) Apparatus and method for column fixed pattern noise (FPN) correction
EP0812506A1 (en) X-ray examination apparatus including an image pick-up apparatus with a correction unit
WO2010010620A1 (ja) 光または放射線撮像装置
CN108141551B (zh) 检查装置、图像处理装置、校正值计算方法、图像处理方法以及存储介质
WO1996019893A1 (en) Composing an image from sub-images
JP5244164B2 (ja) 内視鏡装置
CN107249429B (zh) 增益调整装置、记录介质、内窥镜以及内窥镜装置
JPH10210369A (ja) 画像読取方法及び装置
JP5489739B2 (ja) 信号処理装置、撮像装置、及び信号処理方法
JP2007215868A (ja) 放射線画像取得装置及び方法
CN107079119B (zh) 内窥镜以及内窥镜系统
CN113570523B (zh) 针对光学图像的相对辐射校正系数自动生成和外推方法
US7050099B2 (en) Solid-state image pickup apparatus
CN111383280A (zh) 一种空间遥感tdiccd相机非均匀性校正方法及装置
CN114240801A (zh) 一种遥感图像非均匀校正方法
CN110807812B (zh) 一种基于先验噪声模型的数字图像传感器系统误差标定方法
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
JP2011009834A (ja) 撮像装置及び撮像方法
KR100923128B1 (ko) 확률적 노출시간 조정에 의한 위성 광학 망원경의 센서보정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant