CN107529975B - 光源控制装置、光源控制方法和成像系统 - Google Patents

光源控制装置、光源控制方法和成像系统 Download PDF

Info

Publication number
CN107529975B
CN107529975B CN201680026465.1A CN201680026465A CN107529975B CN 107529975 B CN107529975 B CN 107529975B CN 201680026465 A CN201680026465 A CN 201680026465A CN 107529975 B CN107529975 B CN 107529975B
Authority
CN
China
Prior art keywords
light source
narrow
image
luminance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680026465.1A
Other languages
English (en)
Other versions
CN107529975A (zh
Inventor
一木洋
白木寿一
中村幸弘
深沢健太郎
宫井岳志
山口健太
菊地大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107529975A publication Critical patent/CN107529975A/zh
Application granted granted Critical
Publication of CN107529975B publication Critical patent/CN107529975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Abstract

[问题]使用单板型成像元件以有效地利用成像元件的动态范围，以便检测红色分量(R)、绿色分量(G)和蓝色分量(B)的颜色信息，并且从而改进所获取的图像的质量。[解决方案]一种光源控制装置，设置有：光源控制单元，该光源控制单元使多个窄带光源以时分方式发射光，该多个窄带光源包括至少红色光源、绿色光源和蓝色光源；以及光量设置单元，该光量设置单元基于图像信息设置窄带光源中的每个窄带光源的输出，该图像信息由捕获由从窄带光源发射的光照亮的对象的反射图像的单色单板型成像元件逐帧顺序地检测。

Description

光源控制装置、光源控制方法和成像系统
技术领域
本公开涉及光源控制装置、控制光源的方法和图像捕获系统。
背景技术
在图像捕获系统(诸如内窥镜图像捕获装置)中，近来已经采用以拜耳结构(Bayerstructure)为范例的单板图像传感器以满足装置小型化和减少插入到身体中的插入部分的直径的需求。单板图像传感器的更有利之处在于：与采用用于将光按照光谱分散成红色分量(R)、绿色分量(G)和蓝色分量(B)的棱镜的三板图像传感器或三个图像传感器相比，单板图像传感器尺寸更小。
以时分方式使与图像捕获定时同步地发射不同光谱的照明光的类型的光源装置，已知是采用这样的单板图像传感器的内窥镜图像捕获装置。在一个示例中，专利文献1公开图像捕获装置，该图像捕获装置通过与滚动快门图像传感器的图像捕获定时同步地在多个类型的照明光之间切换，来使用帧顺序方法进行图像捕获。
引用列表
专利文献
专利文献1：WO 2013/146311
发明内容
技术问题
然而，在专利文献1中公开的图像捕获装置没有设计成根据由图像捕获获得的结果来控制光源的输出。因此，在检测红色分量(R)、绿色分量(G)和蓝色分量(B)的颜色信息时，未能有效使用图像传感器的动态范围。如果每种颜色的颜色信息能够通过有效地利用图像传感器的动态范围来检测，则可以进一步改进所获取的图像的质量。
鉴于此，本公开提供了一种新颖的和改进的光源控制装置、控制光源的方法以及图像捕获系统，其通过检测红色分量(R)、绿色分量(G)和蓝色分量(B)的每条颜色信息以在使用单板图像传感器的同时有效地利用图像传感器的动态范围，而能够改进所获取的图像的质量。
问题的解决方案
根据本公开，提供了一种光源控制装置，包括：光源控制单元，被配置成使包括至少红色光源、绿色光源和蓝色光源的多个窄带光源以时分方式发射光；以及光量设置单元，被配置成基于图像信息设置窄带光源中的每个窄带光源的输出，该图像信息由被配置成捕获被从窄带光源发射的光照亮的对象的反射图像的单色单板图像传感器逐帧顺序地检测。
另外，根据本公开，提供了一种控制光源的方法，该方法包括：使包括至少红色光源、绿色光源和蓝色光源的多个窄带光源以时分方式发射光的步骤；由单色单板图像传感器捕获被从窄带光源中的每个窄带光源发射的光照亮的对象的反射图像的步骤；以及基于由单板图像传感器检测的图像信息，设置窄带光源中的每个窄带光源的输出的步骤。
另外，根据本公开，提供了一种图像捕获系统，包括：多个窄带光源，该多个窄带光源包括至少红色光源、绿色光源和蓝色光源；光源控制单元，该光源控制单元被配置成使多个窄带光源以时分方式发射光；单色单板图像传感器，该单色单板图像传感器被配置成捕获被从窄带光源发射的光照亮的对象的反射图像；光量设置单元，该光量设置单元被配置成基于由单板图像传感器检测的图像信息设置窄带光源中的每个窄带光源的输出；以及图像生成单元，该图像生成单元被配置成基于在窄带光源中的每个窄带光源发光时捕获的多条图像信息，生成彩色图像。
本发明的有利效果
根据如上所述的本公开，通过检测红色分量(R)、绿色分量(G)和蓝色分量(B)的每条颜色信息以在使用单板图像传感器的同时有效地利用图像传感器的动态范围，可以改进所获取的图像的质量。注意，上述效果不必是限制性的。具有或代替上面的效果，可实现在本说明书中描述的效果中的任一个或可从本说明书领会的其它效果。
附图说明
[图1]是示出根据本公开的实施方式的内窥镜图像捕获装置的示意图。
[图2]是示出根据本实施方式的内窥镜图像捕获装置的镜筒的示意图。
[图3]是示出根据本实施方式的内窥镜图像捕获装置的总体配置的框图。
[图4]是示出根据本实施方式的控制内窥镜图像捕获装置的处理的流程图。
[图5]是示出以描述定时信号和光量的图。
[图6]是示出根据本实施方式的获取颜色信息的确定的流程图。
[图7]是示出以描述亮度值直方图的图。
[图8]是示出以描述图像传感器对光的波长的灵敏度的图。
[图9]是示出以描述在评价测光期间计算控制亮度的方法的图。
[图10]是示出以描述在中心加权平均测光期间计算控制亮度的方法的图。
[图11]是示出以描述在局部测光期间计算控制亮度的方法的图。
[图12]是示出以描述三板图像传感器的图。
[图13]是示出以描述具有拜耳结构的单板图像传感器的去马赛克处理的图。
[图14]是示出以描述由于现有技术中的白平衡处理引起的噪声增加的图。
具体实施方式
在下文中，将参考附图详细描述本公开的(多个)优选实施方式。在本说明书和附图中，用相同附图标记指代基本上具有相同功能和结构的结构元件，并且省略这些结构元件的重复的解释。
描述将按以下次序给出。
<1.背景技术的详细描述>
<2.图像捕获系统>
(2.1.总体配置)
(2.2.光源装置)
(2.3.图像传感器)
(2.4.图像捕获处理装置)
(2.5.光源控制装置)
<3.控制图像捕获系统的处理>
另外，在本说明书中，“发射的光”是指从每个窄带光源发射的光，并且“照明光”是指从光源装置发射的光。
<1.背景技术的详细描述>
现在详细描述本公开的背景技术。近年来，在以内窥镜图像捕获装置为范例的手术图像捕获装置中，彩色图像分辨率已经从高清改变为4K，并且已经改进了患病部位的可视性。另一方面，在用于腹腔、消化器官等的内窥镜诊断或手术的内窥镜图像捕获装置中，实现插入身体中的一部分的直径的减小，以减轻患者的负担并且改进对手术工具的操纵。所获取的彩色图像的分辨率的改进随着被插入到身体中的一部分的直径的减小而受损，并且因此期望同时满足这些需求。另一方面，为了减少内窥镜图像捕获装置的尺寸和直径的目的，用于内窥镜图像捕获装置的图像传感器从三板型改换为单板型。
图12是示出三板图像传感器10的配置的示例的示意图。三板图像传感器10被配置成包括三个二向棱镜11a、11b和11c以及三个图像传感器13a、13b和13c。在该三板图像传感器10中，入射光分别通过二向棱镜11a、11b和11c，按照光谱分成红色分量(R)、绿色分量(G)和蓝色分量(B)，并且三个图像传感器13a、13b和13c中的每个分别接收每个颜色分量的光。在该三板图像传感器10中，虽然在二向棱镜11a、11b和11c处存在光量损失，但是可以为每个像素获取红色分量(R)、绿色分量(G)和蓝色分量(B)的颜色信息，这导致相对最佳的图像质量。
图13是示出以描述具有拜耳结构的单板图像传感器的概要的图。在以拜耳结构为范例的单板图像传感器中，为每个像素布置R、G和B的相应滤色器20R、20G和20B。在所示示例中，在行和列中每隔一个像素布置绿色滤光器20G，并且对于剩余的像素每隔一行布置红色滤光器20R和蓝色滤光器20B。
在该单板图像传感器中，可以为每个像素仅检测红、绿和蓝中的一条颜色信息，因此被称为去马赛克的内插处理允许基于周围像素的颜色信息预测每个像素中丢失的颜色信息，并且允许合成整个像素区域的图像。此外，虽然具有拜耳结构的单板图像传感器由于二向棱镜(像三板图像传感器)而没有光量损失，但是光量损失可能发生在滤色器20R、20G和20B处。因此，虽然单板图像传感器从小型化的角度来看是有利的，但是单板图像传感器的图像质量趋于低于三板图像传感器的图像质量。
在这点上，内窥镜图像捕获装置的示例包括刚性内窥镜器件和柔性内窥镜器件。刚性内窥镜器件由细长的光学系统和图像传感器组成，细长的光学系统主要用于腹部内窥镜手术并且被称为刚性内窥镜，并且图像传感器设置在医生的手附近。另一方面，柔性内窥镜器件主要用于胃肠检查或手术，并且具有通常放置在内窥镜的尖端处的图像传感器。在刚性内窥镜器件中，刚性内窥镜的部分狭窄，所以其光学分辨率受限。在柔性内窥镜器件中，图像传感器的尺寸受限，所以其分辨率受限。在刚性内窥镜器件和柔性内窥镜器件中的任一个内，通常使用具有拜耳结构的单板图像传感器。
如上所述，在刚性内窥镜器件和柔性内窥镜器件中的任一个内，可使用图像传感器获取的图像的分辨率受光学系统或图像传感器的尺寸限制。此外，在具有拜耳结构的单板图像传感器的情况下，通过去马赛克处理对颜色信息进行内插，所以分辨率趋于进一步劣化。
另外，在三板图像传感器或具有拜耳结构的单板图像传感器中的任一个内一次捕获红色分量(R)、绿色分量(G)和蓝色分量(B)的颜色信息的情况下，针对每个颜色分量在相同曝光条件下进行图像捕获，但是针对每个颜色分量未能在最佳曝光条件下进行图像捕获。另一方面，在手术图像的情况下，根据对象，在反射图像的颜色分量中容易看到具体趋势。在手术图像中，通常红色分量(R)和绿色分量(G)的光量大，并且蓝色分量(B)的光量小。此外，内窥镜图像捕获装置的配置在使用三板图像传感器或具有拜耳结构的单板图像传感器时，可能使红色分量(R)的图像质量的损失增加。
因此，当捕获手术的状态时，参考趋于使所捕获的图像中光量变大的绿色分量(G)进行调光。在该情况下，通过在图像捕获之后的图像处理放大红色分量(R)和蓝色分量(B)的亮度并且通过将该亮度增加到与绿色分量(G)相同的光量水平，来维持白平衡。换句话说，红色分量(R)和蓝色分量(B)可仅具有绿色分量(G)的约1/2到1/3的动态范围。因此，图像传感器的动态范围未能有效地用于红色分量(R)、绿色分量(G)和蓝色分量(B)的每个颜色信息。可以说该情况类似于以下情况：通过在进行图像捕获时保持每种颜色的光源的输出恒定，而使每个光源以时分方式发射光。
另一方面，在内窥镜图像捕获装置被认为用作手术器件的情况下，为了减少照明光自身的热生成或减少对内脏的负担(诸如由于照明光引起的干燥和燃烧)的目的，期望使照明光的光量尽可能弱。然而，和绿色分量(G)不同，如上所述，红色分量(R)和蓝色分量(B)通过图像处理放大其亮度而被处理，因此噪声趋于显著，并且难以减少整个照明光的光量。特别地，不期望通过增加整个照明光的光量而放大在手术图像中重要的红色分量(R)的噪声。
图14是示出以描述红色分量(R)或蓝色分量(B)的噪声趋于显著的图。在图14中，在左边的直方图示出白色对象的反射图像中的光的亮度值直方图，并且在中央的直方图示出在由图像传感器进行图像捕获时的光的红色分量(R)、绿色分量(G)和蓝色分量(B)中的每个的亮度值直方图。此外，在图14中，在右边的直方图示出通过将指示峰值的亮度值近似为白色对象的亮度值直方图的波长，在调整白平衡之后的红色分量(R)、绿色分量(G)和蓝色分量(B)中的每个的亮度值直方图。
如在图14中示出的，在白平衡调整之前的红色分量(R)、绿色分量(G)和蓝色分量(B)中的每个的亮度值直方图示出类似的噪声分量。另一方面，在放大红色分量(R)和蓝色分量(B)的亮度且进行白平衡调整之后的亮度值直方图中，红色分量(R)和蓝色分量(B)的噪声分量被放大。以此方式，红色分量(R)和蓝色分量(B)的噪声分量趋于显著，因此有必要防止整个照明光的光量降低。
如上所述，在图像捕获系统(诸如现有技术中的内窥镜图像捕获装置)中，需要满足包括改进彩色图像分辨率、有效使用图像传感器的动态范围以及减少所获取的图像中的噪声的要求。提供根据本公开的光源控制装置、控制光源的方法和图像捕获系统以满足这些要求。
<2.图像捕获系统>
(2.1.总体配置)
现在描述根据本公开的第一实施方式的图像捕获系统的示意性配置。图1是根据本实施方式的充当图像捕获系统的内窥镜图像捕获装置100的示意图。图2是示出以描述在内窥镜110的尖端处的镜筒部130的图。内窥镜图像捕获装置100被配置成包括内窥镜110、光源装置200、图像捕获处理装置300和显示装置400。在以下描述中的内窥镜图像捕获装置100选取为具有可被插入到身体中的一部分的柔性内窥镜器件的示例，但是可被插入到身体中的该部分可以是不具有柔性的刚性内窥镜器件。
内窥镜110被配置成包括细长的小直径插入部126、操作部114和作为电缆的通用线122。通用线122经由连接器123连接到光源装置200。光源装置200将用于照亮身体内部的照明光供应到内窥镜110。照明光通过通用线122和插入部126被供应到插入部126的尖端处的镜筒部130。从通用线122到插入部126的尖端处的镜筒部130设置有光导(未示出)(诸如光纤)，并且照明光被引导到镜筒部130。插入部126具有柔性。
镜筒部130被配置成包括照明透镜142、物镜146、透镜清洁喷嘴150、治疗工具插入通道138(通过治疗工具插入通道138装配治疗工具134)、以及图像传感器160。从光源装置200发射的照明光通过照明透镜142照亮身体的内部。物镜146被设计以使得物镜146的焦点在镜筒部130前方预定距离。物镜146可被配置成包括变焦机构和自动对焦机构。由图像传感器160经由物镜146检测施加有照明光的对象的反射图像。透镜清洁喷嘴150排出水或空气以用于清洁物镜146。
而且，在内窥镜图像捕获装置100中，光源装置200配备有从内窥镜110的插入部126的尖端处的镜筒部130排出水或空气的空气/水供应功能(未示出)。
操作部114设置有用于进行弯曲插入部126的尖端的操作的角度旋钮或用于内窥镜功能的操作开关。通过操作角度旋钮使包括镜筒部130的插入部126的尖端弯曲。这改变图像捕获位置的角度或照明方向。卷绕线缆124从连接器123延伸，并且卷绕线缆124的尖端经由连接器等连接到图像捕获处理装置300。通过图像捕获处理装置300处理由图像传感器160中的图像捕获获得的图像信息，并且结果被输出到显示装置400。显示装置400根据来自图像捕获处理装置300的输入信号显示所捕获的图像和其它信息。
图3是示出图1中示出的内窥镜图像捕获装置100的配置的框图。内窥镜图像捕获装置100被配置成包括光源装置200、图像捕获处理装置300和显示装置400。从光源装置200发射的照明光通过光纤136和照明透镜(未示出)照亮对象。此外，图像传感器160捕获所照亮的对象的反射图像，并且将图像信息输出到图像捕获处理装置300。下面参考图3详细描述根据本实施方式的内窥镜图像捕获装置100。
(2.2.光源装置)
光源装置200被配置成包括光耦合器212、多个窄带光源、多个驱动单元和光源控制单元220。光源装置200被配置成包括第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir。这些窄带光源是发射对应于特定波段的光的光源，并且包括至少红色光源、绿色光源和蓝色光源。在本实施方式中，除了红色光源(R)、绿色光源(G)和蓝色光源(B)之外，还提供红外光源(Ir)。将基于以下假设：第一窄带光源204G是绿色光源、第二窄带光源204B是蓝色光源、第三窄带光源204R是红色光源，以及第四窄带光源204Ir是红外光源，给出以下描述。
在一个示例中，第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir由半导体激光器组成。在一个示例中，第一窄带光源204G还可由半导体激光器激发的固态激光器组成。每个窄带光源的输出是电可控的。窄带光源的数量不受限。
光耦合器212是使用二向色镜等配置的光多路复用器。光耦合器212捆绑第三窄带光源204R、第一窄带光源204G、第二窄带光源204B和第四窄带光源204Ir发射的光，并且通过将其用作照明光而将捆绑的光引导到光纤136。被引导到光纤136的照明光透射到在柔性镜的尖端处的镜筒部以照亮目标部位。
另外，光源装置200被配置成包括第一驱动单元208a、第二驱动单元208b、第三驱动单元208c和第四驱动单元208d。这些驱动单元可分别是用于驱动第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir的驱动电路。这些驱动单元基于来自光源控制单元220的驱动命令，控制窄带光源的驱动电流。
光源控制单元220根据来自图像捕获处理装置300的定时生成单元310的定时信号，将驱动命令输出到第一驱动单元208a、第二驱动单元208b、第三驱动单元208c和第四驱动单元208d。这允许第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir以时分方式发射光。
另外，光源控制单元220根据存储在图像捕获处理装置300中的存储单元350内的光量表354中设置的光量信号，控制窄带光源中的每个窄带光源的光量。在一个示例中，光量信号可以是每个窄带光源的输出的控制目标值。在一个示例中，光源控制单元220被配置成包括微处理器，并且光源控制单元通过执行存储在存储器单元(未示出)中的软件程序而进行上述处理。
(2.3.图像传感器)
在一个示例中，图像传感器160可以是固态图像传感器，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。图像传感器160经由物镜146捕获用照明光照亮的对象的反射图像。图像传感器160具有设置在物镜146的图像形成位置处的光接收部，并且图像传感器160捕获对象的反射图像。在本实施方式中，对应于单色成像器的单板图像传感器160被用作图像传感器160。
图像传感器160根据来自定时生成单元310的定时信号，捕获来自所照亮的对象的反射图像。具体地，定时生成单元310使第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir以时分方式发射光，并且图像传感器160针对窄带光源的每个发光时段捕获反射图像。这允许进行通过RGBIr帧顺序方法的图像捕获。图像传感器160将所捕获的反射图像进行光电转换以生成图像信息，并且将所生成的图像信息输出到图像捕获处理装置300。
(2.4.图像捕获处理装置)
图像捕获处理装置300被配置成包括定时生成单元310、光量设置单元320、图像生成单元330、直方图生成单元340、存储单元350和图像存储器370。图像捕获处理装置300基于图像信息进行控制处理，该图像信息从设置在内窥镜110的镜筒部130中的图像传感器160输出。
存储单元350是用于存储各种数据的装置。在一个示例中，存储单元350被配置成包括ROM、RAM、存储装置、可移除记录介质等中的一些。存储装置可以是磁性存储装置(诸如硬盘驱动器(HDD))、半导体存储装置、光学存储装置或磁光存储装置。此外，可移除记录介质可以是CD或DVD。
定时生成单元310生成指示使哪个窄带光源发射光的定时信号，并且将该定时信号输出到光源装置200的光源控制单元220。此外，定时生成单元310将定时信号输出到光量设置单元320、图像生成单元330和图像传感器160。利用该配置，允许光源装置200根据定时信号使多个窄带光源以时分方式发射光，并且允许图像传感器160对于从每个窄带光源发射的光使用帧顺序方法进行图像捕获。定时生成单元310通过执行存储在存储单元350中的软件程序，进行上述处理。
直方图生成单元340基于从图像传感器160输出的图像信息，生成每个捕获的图像的亮度值直方图。关于所生成的亮度值直方图的信息被输出到光量设置单元320。直方图生成单元340通过执行存储在存储单元350中的软件程序，进行上述处理。
光量设置单元320基于关于由直方图生成单元340生成的亮度值直方图的信息和存储在存储单元350中的动态范围(DR)参考亮度358的信息，确定将从每个窄带光源发射的光量。来自定时生成单元310的定时信号被输入到光量设置单元320，因此光量设置单元320能够识别出当从窄带光源发射的光照亮时获得哪个亮度值直方图，并且为窄带光源中的每个窄带光源调整光量。所确定的光量存储在存储单元350的光量表354中，作为被设置用于每个窄带光源的新输出的值(控制目标值)。光量设置单元320通过执行存储在存储单元350中的软件程序，进行上述处理。
图像存储器370存储由图像传感器160捕获的图像信息。图像存储器370顺序地存储从图像传感器160输出的图像信息，并且顺序地删除超过必要数量的旧信息。如上所述，图像传感器160是单色图像传感器，因此所存储的信息是与照明光的颜色无关的单色图像的信息。图像存储器370由半导体存储器(诸如RAM)或可移除存储介质(诸如HDD)组成。图像存储器370可以是与存储单元350集成的部件。
图像生成单元330根据从定时生成单元310输出的定时信号进行操作。图像生成单元330读取关于存储在图像存储器370中的必要数量的单色图像的信息，并且将该信息转换成彩色图像。在这种情况下，图像生成单元330根据存储在存储单元350中的白平衡(WB)参考值信息362，进行白平衡处理。图像生成单元330使显示装置400显示所生成的彩色图像。图像生成单元330通过执行存储在存储单元350中的软件程序，进行上述处理。
存储单元350存储关于光量表354、DR参考亮度358和WB参考值信息362中的每个的信息。光量表354是当使每个窄带光源发射光时与光量的设置有关的控制目标值，并且基于通过光量设置单元320中的计算获得的结果而更新。DR参考亮度358是基于图像传感器160的动态范围设置的值，并且在一个示例中，在使动态范围从0到1.0归一化的情况下，DR参考亮度可被设置为对应于0.9的值。对于对应于RGBIr的所有窄带光源，该DR参考亮度358可以是相同的值，或可根据观察目标等基于期望的彩色图像为每种颜色设置DR参考亮度358。
另外，WB参考值信息362用于设置校正值，在进行基于获取的每种颜色光的图像信息生成的彩色图像的白平衡时使用该校正值。在本实施方式中，光量校正系数L和灵敏度校正系数S被存储为WB参考值信息362。光量校正系数L可被设置为控制目标值(在使每个窄带光源在某个处理循环时发射光的情况下使用该控制目标值)与每个窄带光源的预设控制参考值的比例。根据将被获得的彩色图像适当设置每个窄带光源的控制参考值。此外，可提前将灵敏度校正系数S设置为图像传感器160的对从每个窄带光源发射的每种颜色的光的相对灵敏度(0到1.0)的倒数。
(2.5.光源控制装置)
而且，在本实施方式的内窥镜图像捕获装置100中，与光源装置200的控制相关的功能部件可以是根据本公开的光源控制装置的部件。换句话说，根据本公开的光源控制装置被配置成包括至少光源控制单元220和光量设置单元320。然而，其它部件(即，定时生成单元310或存储单元350的所有或一些部件)可以是光源控制装置的部件。
<3.图像捕获系统的控制处理>
上面描述了根据本实施方式的充当图像捕获系统的内窥镜图像捕获装置100的总体配置的示例。接下来，参考图4中示出的流程图描述根据本实施方式的通过内窥镜图像捕获装置100中的光源装置200和图像捕获处理装置300的控制处理的示例。
首先，在步骤S10中，光源控制单元220获取定时信息。定时信息包括关于使哪个窄带光源发射光的信息和关于窄带光源的光量的信息。基于从定时生成单元310输出的定时信号获取关于使哪个窄带光源发射光的信息。此外，光源控制单元220读取存储在存储单元350中的光量表354，并且获取关于窄带光源的控制目标值的信息。
这里，图5是示出以描述作为定时信息示出的每个窄带光源的定时信号和光量的图。在图5中，横轴表示时间。图5中的阴影矩形区域指示使第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir发射光的定时及其光量。换句话说，矩形区域的水平宽度指示发光时段，并且矩形区域的高度指示光量。在使每个窄带光源发射光的情况下的光量对应于存储在存储单元350的光量表354中的控制目标值。
在处理循环#n和#n+1中的每个时，由定时生成单元310顺序生成的定时信号St0到St3分别对应于第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir的定时信号。在处理循环#n和#n+1中的每个内，当根据定时信号St0到St3的每个窄带光源的发光完成时，进行白平衡处理，并且更新由显示装置400的显示。在一个示例中，基于之前的处理循环#n-1和#n中获得的图像捕获结果，调整在处理循环#n和#n+1中的每个内的相应窄带光源的光量。
在图5的示例中，在处理循环#n中，所有窄带光源以相同的光量顺序地发射光，并且进行白平衡，因此调整在后续处理循环#n+1处的每个窄带光源的光量。换句话说，在处理循环#n+1中的每个矩形区域的高度与在紧接在前的处理循环#n中的每个矩形区域的高度不同。在这种情况下，针对每个窄带光源调整了光量，因此处理循环#n+1中的矩形区域的高度对于每个窄带光源是不同的。
再次参考图4，在步骤S10中，光源控制单元220获取关于使哪个窄带光源发射光以及使发射多少光量的信息，然后，在步骤S14中，确定关于图像生成单元330生成彩色图像所需的RGBIr的所有颜色的信息是否是可用的。这里，获取关于RGBIr的四种颜色的信息是单个处理循环，并且确定关于RGBIr的所有颜色的信息是否是可用的。
图6是示出在步骤S14中进行的确定处理的示例的流程图。在步骤S54中，光源控制单元220确定是否获取关于对应于第一窄带光源204G的绿光(G)的信息。在一个示例中，光源控制单元220可以基于在本处理循环中第一窄带光源204G的发光是否完成进行确定。此外，光源控制单元220可以基于存储在存储单元350中的光量表354中的第一窄带光源204G的控制目标值是否被更新，进行确定。
如果尚未获取关于绿光(G)的信息(在S54中为否)，则在步骤S58中，光源控制单元220设置第一窄带光源204G，使得第一窄带光源204发射光。另一方面，如果已经获取关于绿光(G)的信息(在S54中为是)，则在步骤S62中，光源控制单元220确定是否需要关于对应于第二窄带光源204B的蓝光(B)的信息。在一个示例中，光源控制单元220可基于在本处理循环中第二窄带光源204B的发光是否完成，进行确定。此外，光源控制单元220可基于存储在存储单元350的光量表354中的第二窄带光源204B的控制目标值是否被更新，进行确定。
如果尚未获取关于蓝光(B)的信息(在S62中为否)，则在步骤S66中，光源控制单元220设置第二窄带光源204B，使得第二窄带光源204B发射光。另一方面，如果已经获取关于蓝光(B)的信息(在S62中为是)，则在步骤S70中，光源控制单元220确定是否获取关于对应于第三窄带光源204R的红光(R)的信息。在一个示例中，光源控制单元220可基于在本处理循环中第三窄带光源204R的发光是否完成，进行确定。此外，光源控制单元220可基于存储在存储单元350中的光量表354中的第三窄带光源204R的控制目标值是否被更新，进行确定。
如果尚未获取关于红光(R)的信息(在S70中为否)，则在步骤S74中，光源控制单元220设置第三窄带光源204R，使得第三窄带光源204R发射光。另一方面，如果已经获取关于红光(R)的信息(在S70中为是)，则在步骤S78中，光源控制单元220确定是否获取关于对应于第四窄带光源204Ir的红外光(Ir)的信息。在一个示例中，光源控制单元220可基于在本处理循环中第四窄带光源204Ir的发光是否完成，进行确定。此外，光源控制单元220可基于存储在存储单元350中的光量表354中的第四窄带光源204Ir的控制目标值是否被更新，进行确定。
如果尚未获取关于红外光(Ir)的信息(在S78中为否)，则在步骤S82中，光源控制单元220设置第四窄带光源204Ir，使得第四窄带光源204Ir发射光。另一方面，如果已经获取关于红外光(Ir)的信息(在S78中为是)，则在步骤S86中，光源控制单元220确定关于所有颜色的信息是可用的。
再次参考图4，除关于RGBIr的所有颜色的信息可用的情况之外(在S14中为否)，光源控制单元220使窄带光源中的一个窄带光源发射光，并且在步骤S18中开始照明。在这种情况下，光源控制单元220基于步骤S10中获取的定时信息，将驱动命令输出到与步骤S14中设置的窄带光源相对应的驱动单元，并且使窄带光源在预定时间段内以预定光量发射光。此外，除关于RGBIr的所有颜色的信息可用的情况之外(在S14中为否)，图像生成单元330不更新彩色图像。
接下来，在步骤S22中，图像传感器160根据从定时生成单元310输出的定时信号St0到St3，捕获对象的反射图像。这里，由图像传感器160的图像捕获与旨在发射光的窄带光源的发光定时同步进行。在该情况下的光圈或快门速度可提前设置为适当的值。在本实施方式的控制处理中，调整每个窄带光源的光量，使得可有效利用图像传感器160的动态范围。因此，只要不存在对象的重大改变，就可实现通过有效利用图像传感器160的动态范围而获得的图像捕获结果。
图像传感器160将关于捕获的图像的信息输出到图像捕获处理装置300。输出到图像捕获处理装置300的图像信息被存储在图像存储器370中。在这种情况下，根据需要，图像信息从最早存储的图像信息被顺序地删除，并且用新的图像信息代替。这允许图像存储器370存储必要条数的图像信息。所存储的图像信息用于由图像生成单元330生成彩色图像。因此，在图像存储器370中针对每个窄带光源存储至少最近捕获的图像信息。
接下来，在步骤S26中，直方图生成单元340基于由图像传感器160捕获的图像信息，生成所捕获的图像的亮度值直方图。此外，直方图生成单元340基于所生成的亮度值直方图，计算此时被使发射光的窄带光源的控制亮度。该直方图生成单元340针对由图像传感器160捕获的窄带光源的每条图像信息生成亮度值直方图，并且计算窄带光源的控制亮度。下面描述基于亮度值直方图确定窄带光源的控制亮度的具体示例。
图7是示出以描述某个窄带光源的亮度值直方图和控制亮度的图。这里，通过使图像传感器的动态范围在0与1之间归一化，而获得亮度或亮度值。在一个示例中，在图像传感器160具有12位动态范围的情况下，1.0的亮度值对应于图像传感器160的像素值4095。在一个示例中，在通过对亮度值直方图中的各个亮度值的频率进行积分获得的总和被设置为100(％)的情况下，控制亮度可以是这样的亮度值，其中通过对来自更小亮度值的每个亮度值的频率进行积分获得的值成为预定比率。
虽然在其处面积变成100％的亮度值指示所捕获的像素的最大值，但是在实际图像捕获结果中，可出现由于直接反射引起的高亮度值，或者也可出现由于图像传感器160以像素为单位的故障引起的异常值。因此，优选的是，在确定控制亮度的情况下的面积的比率优选为小于100％的值。具体地，面积的比率优选地被设置为95％以上且小于100％的值。此外，可以针对每个窄带光源设置面积的比率。在图7中，在亮度值直方图的整个面积被设置为100(％)的情况下，将其处具有更小亮度值的面积为95(％)的亮度值定义为控制亮度。
接下来，在步骤S30中，光量设置单元320计算此时被使发射光的窄带光源的输出值(控制目标值)。在本实施方式中，光量设置单元320通过使用由直方图生成单元340计算的当前控制亮度，根据存储在存储单元350中的DR参考亮度358，确定此时被使发射光的窄带光源的光量的增加/减小比率。在一个示例中，可通过下面的公式(1)确定某一窄带光源的光量的增加/减小比率。
光量的增加/减小比率＝(DR参考亮度-当前控制亮度)/当前控制亮度
...(1)
然后，光量设置单元320将增加/减小比率与窄带光源的当前控制目标值进行积分，并且因此将结果设置为窄带光源的新控制目标值。这允许与后续处理循环中获取的每种颜色相对应的图像信息的亮度均匀，并且因此可以减少每种颜色的噪声的变化。在这种情况下，在确定新控制目标值的情况下，可添加预定时间常数。这使得可以防止因窄带光源的光量的剧变而引起的闪烁现象。
接下来，在步骤S34中，光量设置单元320根据所计算的新控制目标值，更新存储在存储单元350中的光量表354中的此时被使发射光的窄带光源的控制目标值。这允许在后续处理循环中调整从窄带光源发射的光的光量。
重复上面描述的步骤S18到S34中的计算处理中的每个，直到在步骤S14的确定中确定关于RGBIr的所有颜色的信息是可用的。换句话说，以第一窄带光源204G、第二窄带光源204B、第三窄带光源204R和第四窄带光源204Ir的次序，针对每个处理循环进行步骤S14到步骤S34的计算处理。
然后，在步骤S14中，当关于RGBIr的所有颜色的信息可用(在S14中为是)时，在步骤S42中，图像生成单元330执行在本处理循环中获取的图像信息的白平衡处理。在一个示例中，图像生成单元330从图像存储器370读取存储在本处理循环中的与RGBIr相对应的四条图像信息，并且通过以下公式(2)调整从四条图像信息生成的彩色图像的白平衡。
[数学1]
Figure GDA0001459469660000171
L：光量校正系数
S：灵敏度校正系数
[数学2]
Figure GDA0001459469660000172
在本实施方式中，图像生成单元330将光量校正系数L和灵敏度校正系数S相对于由图像捕获装置160捕获的每种颜色的照明光的图像信息的亮度进行积分，并且使每条图像信息的亮度的增益对齐。
在一个示例中，光量校正系数L(Lr、Lg、Lb和Lir)可被获得作为提前适当设置的参考控制值与设置在光量表354中的每个窄带光源的当前控制目标值的比率。光量校正系数L的积分允许在获取每条图像信息时，根据窄带光源的光量反向地校正图像信息的亮度，并且显然使得每个窄带光源的控制亮度恒定。
灵敏度校正系数S(Sr、Sg、Sb和Sir)为用于消除图像传感器160具有的取决于光的波长的灵敏度差异的系数。在预定灵敏度为100％的情况下，可作为图像传感器160对每个光的波长的灵敏度的倒数，获得灵敏度校正系数。灵敏度校正系数S的积分允许消除由于图像传感器160的灵敏度差异引起的亮度差异，并且允许校正图像信息，就好像用每种颜色的光照亮的图像是用彼此相等的灵敏度来捕获的。
图8是示出以描述图像传感器160的灵敏度根据光的波长的差异的图。横轴表示波长，并且纵轴表示由图像传感器的相对灵敏度。在本实施方式中，虽然使用对应于单色相机的单板图像传感器160，但是这种图像传感器160具有如图8中示出的光谱灵敏度特性。在图8中示出的示例中，对红光(R)的相对灵敏度是0.98，对绿光(G)的相对灵敏度是0.99，对蓝光(B)的相对灵敏度是0.8，并且对红外光(Ir)的相对灵敏度是0.82。在该情况下，灵敏度校正系数S(Sr、Sg、Sb和Sir)可分别设置为(1/0.98、1/0/99、1/0.8和1/0.82)。
在步骤S42中，图像生成单元330执行四条图像信息的白平衡处理，并且然后，在步骤S46中，图像生成单元330基于这四条图像信息生成彩色图像，并且在显示装置400上显示该彩色图像。这允许显示通过有效地利用图像传感器160的动态范围获得的且噪声减少的彩色图像。在这种情况下，可进行线性矩阵处理以改变彩色再现范围，或改变总体色调。
在更新显示之后，在步骤S38中，定时生成单元310确定是否终止控制处理。在一个示例中，在进行停止控制处理的操作或在捕获静态图像的模式(在S38中为是)的情况下，由光源装置200和图像捕获处理装置300进行的控制处理被终止。另一方面，在没有终止控制处理(在S38中为否)的情况下，通过重复上述过程，图像捕获结果被显示为运动图像。
如上所述，根据本实施方式的内窥镜图像捕获装置100，调整每个窄带光源的控制目标值，使得通过照亮每个窄带光源的发射的光而获得的图像的亮度，接近根据图像传感器160的动态范围设置的DR参考亮度。因此，在获取对应于每种颜色的图像信息时，可以有效地利用图像传感器160的动态范围。因此，内窥镜图像捕获装置100可以通过使用对应于单色相机的单板图像传感器160来实现与三板图像传感器的分辨率等同的分辨率。以该方式，根据本实施方式的内窥镜图像捕获装置100可以改进基于每条图像信息而生成的彩色图像的质量，这导致丰富的彩色信息的再现。
另外，根据本实施方式的内窥镜图像捕获装置100可使用单板图像传感器160获得高分辨率彩色图像，并且因此，可以实现与现有技术中的内窥镜图像捕获装置相比尺寸和直径更小的装置。
另外，在根据本实施方式的内窥镜图像捕获装置100中，考虑到如上所述的DR参考亮度，来调整每个窄带光源的控制目标值。因此，可以使每个窄带光源以可有效利用图像拾取装置160的动态范围的最小必需光量，发射光。
另外，在根据本实施方式的内窥镜图像捕获装置100中，考虑到DR控制亮度，来调整每个窄带光源的控制目标值。因此，可以捕获针对每种颜色具有均匀噪声特性的图像，而不会使在RGBIr的特定颜色的图像中的噪声显著。
另外，根据本实施方式的内窥镜图像捕获装置100通过使用预定光量校正系数L，来校正与由图像传感器160获取的每种颜色相对应的图像信息，并且进行白平衡处理。因此，可以获取各个图像信息，就好像以相同光量照亮窄带光源的光量。
还有，根据本实施方式的内窥镜图像捕获装置100使用预定灵敏度校正系数S，来校正与由图像传感器160获取的每种颜色相对应的图像信息，并且进行白平衡处理。因此，可以获取各条图像信息，就好像以彼此等同的灵敏度捕获对应于每种颜色的各条图像信息。因此，可以进一步改进所获得的彩色图像的质量。
上面已经参考附图描述本公开的(多个)优选实施方式，然而本公开不限于上面的示例。本领域技术人员可在所附权利要求书的范围内找到各种更改和修改，并且应当理解，这些更改和修改将自然地落入本公开的技术范围。
在一个示例中，在上述实施方式中，虽然使用由图像传感器160获取的整个屏幕的亮度值直方图来控制窄带光源，但是本公开不限于该示例。在图像捕获系统中，可通过使用经由捕获所获取的屏幕的一部分而获得的结果，通过专注于观察目标的更值得注意的部分，来控制窄带光源的光量。
具体地，在上面的实施方式中，当亮度值直方图的整个面积为100(％)时，在其处更小亮度值的面积是95(％)的亮度值被设置为控制亮度。另一方面，在一个示例中，如图9中示出的，在进行评价测光(划分测光)(其中，划分屏幕并测量整体亮度，并且基于该亮度调整光量)的情况下，在用于测光的像素P处检测的亮度的平均值可用作控制亮度。
另外，如图10中示出的，在进行中心加权平均测光(其中，在对整个屏幕的测光求平均时重点考虑屏幕的中心)的情况下，每个像素P的亮度可被设置为控制亮度，这是通过对作为中心的屏幕的中心部分加权和求平均获得的结果。还有，如图11中示出的，在进行针对屏幕的特定部分进行测光的局部测光(点测光)的情况下，在用于测光的一个或多个像素Pa处检测的亮度的平均值可用作控制亮度。
如上所述，即使在基于通过捕获由图像传感器160获取的屏幕的一部分获得的结果来确定控制亮度的情况下，可以实现上述实施方式的效果，这导致取决于观察目标的期望的彩色图像的质量的改进。
另外，在上面的实施方式中，在将图像传感器160的动态范围从0到1.0归一化的情况下，DR参考亮度358被设置为对应于0.9的亮度，但是可将DR参考亮度适当改变为适当值。另外，在使用设置的DR参考亮度358而设置的每个窄带光源的新控制目标值超过窄带光源的可控范围的情况下，DR参考亮度358可以预定比率或预定宽度改变为更小的值。
另外，进行上面实施方式中描述的光源装置200和图像捕获处理装置300的每个控制处理的功能部件或存储单元的布置仅是示例，并且每个功能部件或存储单元可设置在其他装置上。此外，光源装置200和图像捕获处理装置300可被配置为单个装置。
另外，在本说明书中描述的效果仅是说明性或示例性的效果，而非限制性的。也就是说，具有或代替上面的效果，根据本公开的技术可实现从本说明书的描述中对于本领域技术人员显而易见的其它效果。
额外地，还可如下配置本技术。
(1)
一种光源控制装置，包括：
光源控制单元，该光源控制单元被配置成使包括至少红色光源、绿色光源和蓝色光源的多个窄带光源以时分方式发射光；以及
光量设置单元，该光量设置单元被配置成基于图像信息设置窄带光源中的每个窄带光源的输出，该图像信息由被配置成捕获由从窄带光源发射的光照亮的对象的反射图像的单色单板图像传感器逐帧顺序地检测。
(2)
根据(1)的光源控制装置，进一步包括：
直方图生成单元，该直方图生成单元被配置成基于由单板图像传感器逐帧顺序检测的每条图像信息，在从窄带光源中的每个窄带光源发射的光照亮的对象的反射图像中，生成亮度值直方图。
(3)
根据(2)的光源控制装置，
其中，光量设置单元针对窄带光源中的每个窄带光源基于当前控制亮度和预定参考亮度来设置输出，当前控制亮度基于亮度值直方图来获得。
(4)
根据(3)的光源控制装置，
其中，光量设置单元基于当前控制亮度与预定参考亮度之差，增加或减小输出。
(5)
根据(3)或(4)的光源控制装置，
其中，基于单板图像传感器的动态范围设置参考亮度。
(6)
根据(3)至(5)中任一个的光源控制装置，
其中，在窄带光源的新设置的输出超过可控范围的情况下，参考亮度被改变为更小的值。
(7)
根据(3)至(6)中任一个的光源控制装置，
其中，光量设置单元针对窄带光源中的每个窄带光源更新存储在存储单元中的输出的控制目标值。
(8)
根据(3)至(7)中任一个的光源控制装置，
其中，光量设置单元设置输出以使得所有窄带光源的控制亮度接近相同的参考亮度。
(9)
根据(3)至(7)中任一个的光源控制装置，
其中，为窄带光源中的每个窄带光源设置参考亮度。
(10)
一种控制光源的方法，方法包括：
使包括至少红色光源、绿色光源和蓝色光源的多个窄带光源以时分方式发射光；
由单色单板图像传感器捕获由从窄带光源中的每个窄带光源发射的光照亮的对象的反射图像；以及
基于由单板图像传感器检测的图像信息，设置窄带光源中的每个窄带光源的输出。
(11)
一种图像捕获系统，包括：
多个窄带光源，该多个窄带光源包括至少红色光源、绿色光源和蓝色光源；
光源控制单元，该光源控制单元被配置成使多个窄带光源以时分方式发射光；
单色单板图像传感器，该单色单板图像传感器被配置成捕获由从窄带光源发射的光照亮的对象的反射图像；
光量设置单元，该光量设置单元被配置成基于由单板图像传感器检测的图像信息，设置窄带光源中的每个窄带光源的输出；以及
图像生成单元，该图像生成单元被配置成基于在窄带光源中的每个窄带光源发光时捕获的多条图像信息，生成彩色图像。
(12)
根据(11)的图像捕获系统，
其中，图像生成单元通过基于预定参考输出与图像捕获期间窄带光源中的每个窄带光源的输出的比率，调整每条图像信息的亮度的增益，来进行白平衡处理。
(13)
根据(11)或(12)的图像捕获系统，
其中，图像生成单元通过基于单板图像传感器对从窄带光源中的每个窄带光源发射的光的灵敏度，调整每条图像信息的亮度的增益，来进行白平衡处理。
(14)
根据(13)的图像捕获系统，
其中，图像生成单元通过对灵敏度的倒数进行积分来调整图像信息的亮度的增益。
(15)
根据(11)至(14)中任一个的图像捕获系统，
其中，图像捕获系统是内窥镜图像捕获装置。
(16)
根据(11)至(15)中任一个的图像捕获系统，
其中，多个窄带光源进一步包括红外光源。
参考符号列表
100 内窥镜图像捕获装置(图像捕获系统)
160 图像传感器
200 光源装置
204G 第一窄带光源
204B 第二窄带光源
204R 第三窄带光源
204Ir 第四窄带光源
208a 第一驱动单元
208b 第二驱动单元
208c 第三驱动单元
208d 第四驱动单元
220 光源控制单元
300 图像捕获处理装置
310 定时生成单元
320 光量设置单元
330 图像生成单元
340 直方图生成单元
350 存储单元
370 图像存储器
400 显示装置。

Claims (11)

1.一种光源控制装置，包括：
光源控制单元，被配置成使包括至少红色光源、绿色光源和蓝色光源的多个窄带光源以时分方式发射光；以及
光量设置单元，被配置成针对所述窄带光源中的每个窄带光源，基于当前的控制亮度和预定的参考亮度通过下式来确定所述窄带光源的光量的增加/减小比率：
所述光量的增加/减小比率＝(预定的所述参考亮度-当前的所述控制亮度)/当前的所述控制亮度
直方图生成单元，被配置成基于由单色单板图像传感器逐帧顺序地检测的每条图像信息，在从所述窄带光源中的每个窄带光源发射的光照亮的对象的反射图像中生成亮度值直方图，
其中，所述图像信息由被配置成捕获由从所述窄带光源发射的光照亮的所述对象的所述反射图像的所述单色单板图像传感器逐帧顺序地检测，
并且其中，所述参考亮度基于所述单色单板图像传感器的动态范围来设置，当前的所述控制亮度是所述亮度值直方图中的这样的亮度值：通过对来自更小亮度值的每个亮度值的频率进行积分而获得的值与所述亮度值直方图中的各个亮度值的频率进行积分获得的总和之比等于预定比率。
2.根据权利要求1所述的光源控制装置，
其中，在所述窄带光源的新设置的输出超过可控范围的情况下，所述参考亮度被改变为更小的值。
3.根据权利要求1所述的光源控制装置，
其中，所述光量设置单元针对所述窄带光源中的每个窄带光源更新存储在存储单元中的所述光量的输出的控制目标值。
4.根据权利要求1所述的光源控制装置，
其中，所述光量设置单元设置所述光量的输出以使得所有窄带光源的所述控制亮度接近相同的参考亮度。
5.根据权利要求1所述的光源控制装置，
其中，为所述窄带光源中的每个窄带光源设置所述参考亮度。
6.一种图像捕获系统，包括：
多个窄带光源，包括至少红色光源、绿色光源和蓝色光源；
光源控制单元，被配置成使多个所述窄带光源以时分方式发射光；
单色单板图像传感器，被配置成捕获由从所述窄带光源发射的光照亮的对象的反射图像；
光量设置单元，被配置成针对所述窄带光源中的每个窄带光源，基于当前的控制亮度和预定的参考亮度通过下式来确定所述窄带光源的光量的增加/减小比率：
所述光量的增加/减小比率＝(预定的所述参考亮度-当前的所述控制亮度)/当前的所述控制亮度
直方图生成单元，被配置成基于由所述单色单板图像传感器逐帧顺序地检测的每条图像信息，在从所述窄带光源中的每个窄带光源发射的光照亮的所述对象的反射图像中生成亮度值直方图；以及
图像生成单元，被配置成基于在所述窄带光源中的每个窄带光源发光时捕获的多条所述图像信息，生成彩色图像，
其中，所述参考亮度基于所述单色单板图像传感器的动态范围来设置，当前的所述控制亮度是所述亮度值直方图中的这样的亮度值：通过对来自更小亮度值的每个亮度值的频率进行积分而获得的值与所述亮度值直方图中的各个亮度值的频率进行积分获得的总和之比等于预定比率。
7.根据权利要求6所述的图像捕获系统，
其中，所述图像生成单元通过基于预定的参考输出与图像捕获期间所述窄带光源中的每个窄带光源的输出的比率，调整每条所述图像信息的亮度的增益，来进行白平衡处理。
8.根据权利要求6所述的图像捕获系统，
其中，所述图像生成单元通过基于所述单色单板图像传感器对从所述窄带光源中的每个窄带光源发射的光的灵敏度，调整每条所述图像信息的亮度的增益，来进行白平衡处理。
9.根据权利要求8所述的图像捕获系统，
其中，所述图像生成单元通过对所述灵敏度的倒数进行积分来调整所述图像信息的所述亮度的增益。
10.根据权利要求6所述的图像捕获系统，
其中，所述图像捕获系统是内窥镜图像捕获装置。
11.根据权利要求6所述的图像捕获系统，
其中，多个所述窄带光源进一步包括红外光源。
CN201680026465.1A 2015-05-15 2016-03-08 光源控制装置、光源控制方法和成像系统 Active CN107529975B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-100199 2015-05-15
JP2015100199 2015-05-15
PCT/JP2016/057110 WO2016185763A1 (ja) 2015-05-15 2016-03-08 光源制御装置及び光源制御方法並びに撮像システム

Publications (2)

Publication Number Publication Date
CN107529975A CN107529975A (zh) 2018-01-02
CN107529975B true CN107529975B (zh) 2020-07-10

Family

ID=57319856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026465.1A Active CN107529975B (zh) 2015-05-15 2016-03-08 光源控制装置、光源控制方法和成像系统

Country Status (4)

Country Link
US (1) US10397489B2 (zh)
JP (1) JPWO2016185763A1 (zh)
CN (1) CN107529975B (zh)
WO (1) WO2016185763A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157918A (ja) * 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
JP7159333B2 (ja) 2018-09-28 2022-10-24 オリンパス株式会社 分光分析装置
JP7374598B2 (ja) * 2019-03-15 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 光源装置、医療用観察システム、照明方法およびプログラム
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11284784B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
CN111010499A (zh) * 2019-11-26 2020-04-14 杭州上池科技有限公司 一种利用时分复用单色相机彩色成像的内窥镜系统及方法
CN111260768B (zh) * 2020-02-07 2022-04-26 腾讯科技（深圳）有限公司 图片处理方法和装置、存储介质及电子装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5834761A (en) * 1996-03-22 1998-11-10 Sharp Kabushiki Kaisah Image input apparatus having a spatial filter controller
JP4231147B2 (ja) * 1998-04-17 2009-02-25 Ｈｏｙａ株式会社 内視鏡用光源装置及びその調光方法
JP4694051B2 (ja) * 2000-07-11 2011-06-01 Ｈｏｙａ株式会社 電子内視鏡
JP2002112960A (ja) * 2000-10-11 2002-04-16 Asahi Optical Co Ltd 電子内視鏡装置
US6812846B2 (en) * 2001-09-28 2004-11-02 Koninklijke Philips Electronics N.V. Spill detector based on machine-imaging
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
BRPI0609099A2 (pt) * 2005-05-12 2010-02-17 Olympus Medical Systems Corp aparelho de observação biológica
US20070027362A1 (en) * 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
US8078265B2 (en) * 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP4504339B2 (ja) 2006-09-22 2010-07-14 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4796556B2 (ja) * 2007-08-30 2011-10-19 富士フイルム株式会社 撮影装置
JP4504412B2 (ja) * 2007-11-28 2010-07-14 アキュートロジック株式会社 画像処理装置及び画像処理方法
JP2009240531A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 撮影装置
CN102713717B (zh) * 2010-05-20 2014-07-02 奥林巴斯医疗株式会社 内窥镜物镜单元及内窥镜
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置
JP5431294B2 (ja) * 2010-11-16 2014-03-05 富士フイルム株式会社 内視鏡装置
WO2013146014A1 (ja) * 2012-03-29 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP6071508B2 (ja) 2012-12-10 2017-02-01 Hoya株式会社 電子内視鏡システム
JP6137892B2 (ja) 2013-03-22 2017-05-31 オリンパス株式会社 撮像システム
JP5654167B1 (ja) * 2013-07-03 2015-01-14 富士フイルム株式会社 内視鏡システム及びその作動方法
CN105407789B (zh) 2013-08-01 2017-07-14 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
JP6053653B2 (ja) * 2013-09-27 2016-12-27 富士フイルム株式会社 内視鏡装置
JP6086602B2 (ja) 2013-09-27 2017-03-01 富士フイルム株式会社 内視鏡装置
JP5855619B2 (ja) * 2013-09-30 2016-02-09 富士フイルム株式会社 キャリブレーション方法及び内視鏡システム

Also Published As

Publication number Publication date
US10397489B2 (en) 2019-08-27
WO2016185763A1 (ja) 2016-11-24
US20180139370A1 (en) 2018-05-17
JPWO2016185763A1 (ja) 2018-03-01
CN107529975A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
CN107529975B (zh) 光源控制装置、光源控制方法和成像系统
JP5355799B2 (ja) 内視鏡装置および内視鏡装置の作動方法
US9029755B2 (en) Imaging system with illumination controller to variably control illumination light
US9498153B2 (en) Endoscope apparatus and shake correction processing method
JP5534997B2 (ja) 電子内視鏡システム
US7029437B2 (en) Electronic endoscope apparatus
US9894258B2 (en) Image pickup apparatus, and operation method of image pickup apparatus
WO2012033200A1 (ja) 撮像装置
US20130307951A1 (en) Imaging apparatus
JP6072374B2 (ja) 観察装置
US10958852B2 (en) Imaging apparatus and control method having a plurality of synchronized light source devices
JP2009131324A (ja) フィールドシーケンシャル撮像表示システム
JPH0690900A (ja) 電子内視鏡装置
US20190380567A1 (en) Electronic endoscope device
JP2012085790A (ja) 内視鏡装置
US10462440B2 (en) Image processing apparatus
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP2000197604A (ja) 内視鏡装置
JP5856943B2 (ja) 撮像システム
JP2002263064A (ja) 内視鏡用自動調光装置およびそれを含む電子内視鏡装置のプロセッサ
JP2005124755A (ja) 内視鏡用画像処理装置
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP4439245B2 (ja) 電子内視鏡装置
JP4503931B2 (ja) 電子内視鏡装置
JP2020168164A (ja) 内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant