CN103371795B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103371795B
CN103371795B CN201310125535.7A CN201310125535A CN103371795B CN 103371795 B CN103371795 B CN 103371795B CN 201310125535 A CN201310125535 A CN 201310125535A CN 103371795 B CN103371795 B CN 103371795B
Authority
CN
China
Prior art keywords
illumination
image
optical mode
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310125535.7A
Other languages
English (en)
Other versions
CN103371795A (zh
Inventor
林恒生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103371795A publication Critical patent/CN103371795A/zh
Application granted granted Critical
Publication of CN103371795B publication Critical patent/CN103371795B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

本发明涉及图像处理装置和图像处理方法。该图像处理装置包括：图像分离单元、校正照明计算单元和输出控制器。该图像分离单元被配置为从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明中拍摄的图像。该校正照明计算单元被配置为基于在图像分离单元中分离的图像来计算在提供相应于对象的照明的校正光模式下的照明强度分布。该输出控制器被配置为基于在校正照明计算单元中计算的照明强度分布来进行照明光的输出控制。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及对摄像时的照明光进行具有与对象对应的高空间分辨率的光分布控制的图像处理装置和图像处理方法。
背景技术
以前，为了观察配管或体腔的内部而广泛使用例如内窥镜的摄像装置。柔性内窥镜装置和刚性内窥镜装置被用作内窥镜装置。柔性内窥镜装置包括插入到弯曲的配管或体腔中以观察其内部的柔性插入单元。刚性内窥镜装置包括朝向目标部分的直线地插入弯曲的配管或体腔中以观察其内部的刚性插入单元。
柔性内窥镜装置的示例包括光学内窥镜装置和电子内窥镜装置。光学内窥镜装置将在其前端的透镜系统中拍摄的光学图像通过光纤发射到目镜。电子内窥镜装置包括在其前端的透镜系统和摄像器件并且在摄像器件中将在透镜系统中拍摄的图像转换为电子信号从而将电子信号发射到外部监测器。刚性内窥镜装置将光学图像通过中继光学系统发射到目镜，该中继光学系统通过连接来自刚性内窥镜装置的前端的透镜系统组成。与柔性内窥镜装置的情况类似，刚性内窥镜装置的示例也包括在摄像器件中将在透镜系统中拍摄的图像转换为电子信号从而将电子信号发射到外部监测器的电子内窥镜装置。
为了在例如该内窥镜装置中获得外围部分和中心部分容易可见的图像，日本专利申请公开第HEI05-130973号公开了以下技术。来自氙气灯的照明光由聚光透镜聚集在光导的入射端。此外，光圈设置在光导的入射端和聚光透镜之间，从而控制进来的照明光的量。此外，通过沿着光轴的聚光透镜的移动来控制提供到体腔中的照明光的分布。同时，控制光圈来提供恒定量的光。
发明内容
附带地，在通过沿着光轴的聚光透镜的移动来控制照明光的分布的情况下，难以进行具有高空间分辨率的光分布控制。例如，在日本专利申请公开第HEI05-130973中，当输入照明光从而聚焦在光导的入射端上时，大量的照明光输入到光导的中心部分。因此，光分布特性在中心部分较强地出现。此外，当输入照明光从而聚焦在光导的入射端后面时，照明光均匀地输入。因此，光分布的特性在外围和中心部分变的均匀。然而，难以调整中心或外围部分的仅某些部分的照明强度。
鉴于此，希望提供能够对摄像时的照明光进行具有与对象对应的高空间分辨率的光分布控制的图像处理装置和图像处理方法。
根据本公开的第一实施方式，提供了一种图像处理装置，该图像处理装置包括：图像分离单元，被配置为从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明中拍摄的图像；校正照明计算单元，被配置为基于在图像分离单元中分离的图像来计算在提供相应于对象的照明的校正光模式下的照明强度分布；以及输出控制器，被配置为基于在校正照明计算单元中计算的照明强度分布来进行照明光的输出控制。
在本公开的实施方式中，图像分离单元从在摄像单元中生成的拍摄图像分离在照明强度分布被设定为预定空间分布（例如，具有均匀的照明强度的空间分布）的测量光模式的照明中拍摄的图像。在图像的分离中，在拍摄图像以画面为单位（例如以帧为单位）生成的情况下，从以帧为单位的拍摄图像分离在测量光模式的照明中拍摄的帧图像。根据照明光的空间分辨率在分离的图像上进行分辨率转换处理，并且由校正照明计算单元基于在分辨率转换处理之后获得的图像来计算在提供相应于对象的照明的校正光模式下的照明强度分布。在照明强度分布的计算中，在分离的图像上进行颜色分离处理，并且因此可以基于各个颜色成分的图像来计算校正光模式下的照明强度分布。输出控制器计算单元基于所计算的照明强度来进行对照明光的输出控制。
此外，图像分离单元进行内插从而基于在校正光模式的照明中拍摄的图像生成在校正光模式的照明中拍摄的并且与在测量光模式的照明中拍摄的图像的期间相对应的图像。例如，图像分离单元通过基于在校正光模式的照明中拍摄的帧图像的内插来生成在校正光模式的照明中拍摄的并且与在测量光模式的照明中拍摄的图像的期间相对应的图像。摄像单元、图像分离单元、校正照明计算单元和输出控制器由操作控制器彼此同步地操作。此外，光路控制器允许将来自对象的光导向摄像单元的光路引导光用作照明光的光路。
被配置为输出照明光的照明单元基于来自输出控制器的控制信号对从光源输出的照明光进行空间光调制，并且将在校正光模式下输出的照明光的照明强度分布设定为在校正照明计算单元中计算出的分布。此外，照明单元可以基于来自输出控制器的控制信号驱动发光器件，并且将在校正光模式下输出的照明光的照明强度分布设定为在校正照明计算单元中计算出的分布。
可以基于距在距离测量单元中测量出的至对象的距离、通过使用多视点拍摄图像估计的至对象的距离以及对象的三维结构分析的结果来计算照明强度分布。此外，用于生成拍摄图像的摄像光学系统和用于发出照明光的照明光学系统彼此同步地进行变焦操作（zoom operation）。
根据本公开的第二实施方式，提供了一种图像处理方法，该图像处理方法包括：从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明中拍摄的图像；基于所分离的图像，计算在提供相应于对象的照明的校正光模式下的照明强度分布；以及基于所计算出的照明强度分布来进行照明光的输出控制。
根据本公开，从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明中拍摄的图像。基于所分离的图像，计算在提供相应于对象的照明的校正光模式下的照明强度分布，并且基于所计算出的照明强度分布来进行在校正光模式下的照明光的输出控制。因此，在校正光模式下，进行具有与对象对应的高空间分辨率的光分布控制并且在校正光模式的照明中进行摄像操作，结果是可以获得不产生曝光过度的过亮（blown-uphighlights）、曝光不足的阴影（blocked-up shadows）等的拍摄图像。
本公开的这些和其他的目标、特征和优点将通过对以下如附图中所示的其最佳模式实施方式的详细描述而变得显而易见。
附图说明
图1A到图1C各自是示出了摄像装置的外观的示例的示图；
图2是示出了摄像装置的配置示例的示图；
图3是示出了摄像装置的操作的流程图；
图4是照明强度计算/输出控制的流程图；
图5A到图5G是示出了摄像装置的操作的时间图；
图6A和图6B分别是示出了由现有技术中的照明生成的拍摄图像的示例和由根据本公开的实施方式的校正光模式下的照明生成的拍摄图像的示例的示图；
图7是示出了变形例1的配置的示图；
图8是示出了变形例2的配置的示图；
图9是示出了变形例3的配置的示图；
图10是示出了变形例3的摄像装置的操作的流程图；
图11是示出了变形例4的配置的示图；
图12是示出了变形例5的配置的示图；
图13是示出了变形例5的摄像装置的操作的流程图；
图14A到图14I是示出了变形例5的摄像装置的操作的时间图；
图15是示出了变形例6的配置的示图；以及
图16A到图16C是各自示出了照明光的光路的变形例的示图。
具体实施方式
在下文中，将描述用于实现本公开的实施方式。应注意，该描述按照以下顺序给出。
1.摄像装置的外观
2.摄像装置的配置
3.摄像装置的操作
4.变形例1
5.变形例2
6.变形例3
7.变形例4
8.变形例5
9.变形例6
10.变形例7
（1.摄像装置的外观）
图1A到图1C各自示出了包括根据本公开的实施方式的图像处理装置（例如，内窥镜装置）的摄像装置的外观的示例。图1A示出了刚性内窥镜装置的外观。图1B示出了柔性内窥镜装置的外观。图1C示出了胶囊内窥镜装置的内部配置。
刚性内窥镜装置包括插入单元11a、操作单元12和摄像单元22。插入单元11a插入到观察目标中。操作单元12由用户掌握。插入单元11a包括图像引导轴和照明引导纤维。从在以后描述的光源单元发出的光经由照明引导纤维和设置在插入单元11a前端的摄像透镜施加至观察目标。来自观察目标的光经由摄像透镜和图像引导轴内的中继透镜进入摄像单元22。
与在刚性内窥镜装置中相似，柔性内窥镜装置也包括插入单元11b、操作单元12和摄像单元22。插入单元11b插入到观察目标中。操作单元12由用户掌握。柔性内窥镜装置的插入单元11b是柔性的并且包括在插入单元11b前端的摄像光学系统21和摄像单元22。
胶囊内窥镜装置包括例如在外壳13中的摄像光学系统21、摄像单元22、照明控制器30和照明单元40。胶囊内窥镜装置还包括无线通信单元81、电源单元82等。无线通信单元81用于发射例如处理后的图像信号。
（2.摄像装置的配置）
图2示出了例如内窥镜装置的摄像装置的配置示例。摄像装置10包括摄像光学系统21、摄像单元22、照明控制器30、照明单元40、系统控制器50等。此外，照明控制器30包括图像分离单元31、校正照明计算单元38和输出控制器39。
摄像光学系统21由用于在对象上聚焦的透镜单元组成。
摄像单元22由诸如CCD（电荷耦合器件）图像传感器和CMOS（互补金属氧化物半导体）图像传感器的摄像器件组成并且生成与对象的光学图像对应的图像信号。此外，摄像单元22基于从系统控制器50提供的同步信号与照明控制器30和照明单元40同步从而进行摄像操作。此外，摄像单元22可以对在摄像单元22中生成的图像信号进行各种处理，使得可以以极好的图像质量来显示或记录拍摄图像。在这种情况下，摄像单元22进行白平衡调整处理、颜色校正处理和边缘增强处理等。摄像单元22将拍摄图像的图像信号输出到照明控制器30的图像分离单元31。
图像分离单元31基于来自以后描述的输出控制器39的照明模式信号以画面为单位例如在帧切换的位置分割拍摄图像的图像信号。在照明模式信号表示照明被设定为校正光模式的情况下，图像分离单元31将在校正光模式的照明中拍摄的图像的图像信号输出到例如显示装置91或图像记录装置92。此外，在照明模式信号表示照明被设定为测量光模式的情况下，图像分离单元31将在测量光模式的照明中拍摄的图像的图像信号输出到校正照明计算单元38。此外，在照明被设定为测量光模式的时期，图像分离单元31使用在校正光模式的照明中拍摄的图像的图像信号来进行内插处理。图像分离单元31进行内插处理以生成与在校正光模式的照明中拍摄的图像对应的图像的图像信号，并且随后将该图像信号输出到例如显示装置91或图像记录装置92。
校正照明计算单元38基于在测量光模式的照明中拍摄的图像的图像信号来计算在校正光模式下的照明光的照明强度分布。在测量光模式下，从照明单元40输出具有均匀的照明强度分布的照明光，这将在以后描述。在测量光模式的该照明中拍摄的图像中，具有高反射率的对象部分具有高亮度，而具有低反射率的对象部分具有低亮度。因此，校正照明计算单元38计算在校正光模式下的照明光的照明强度分布，使得即使具有高反射率的对象部分和具有低反射率的对象部分在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。校正照明计算单元38进行例如在以下表达式（1）中所示的计算，从而计算照明强度分布。应注意，“k”是表达式（1）中的常数。
照明强度=k（1/对象的亮度）…（1）
附带地，在以后描述的照明单元40具有例如低于拍摄图像的空间分辨率的情况下，即使对拍摄图像的各个像素位置计算照明强度，也难以输出与所计算的照明强度的分布相对应的照明光。鉴于此，图像分离单元31进行对在测量光模式的照明中拍摄的图像的分辨率转换处理，并且计算在与照明单元40的空间分辨率相对应的分辨率的照明强度分布，由此来减少计算量。例如，校正照明计算单元38对来自图像分离单元31的拍摄图像的图像信号进行作为分辨率转换处理的低通滤波处理，并且基于分辨率减小的图像来计算照明强度分布。
输出控制器39基于来自系统控制器50的控制信号来将照明模式切换到测量光模式或校正光模式。此外，输出控制器39生成表示照明模式被设定为测量光模式和校正光模式照明模式中的哪一个的照明模式信号，并且将照明模式信号输出到图像分离单元31。此外，输出控制器39基于在校正照明计算单元38中的照明强度分布的计算结果来生成照明控制信号并且将照明控制信号输出到照明单元40。因此，输出控制器39控制在校正光模式下的照明光的照明强度。此外，在测量光模式下，输出控制器39生成用于输出具有均匀的照明强度分布的照明光的照明控制信号并且将照明控制信号输出到照明单元40。
照明单元40包括光源41、空间光调制单元42、光导45以及照明光学系统46。
光源41由诸如氙气灯、白色LED（发光二极管）和使用GaN半导体激光的高亮度白光源的发光器件组成。光源41将从发光器件输出的照明光输出到空间光调制单元42。
空间光调制单元42由诸如透过型液晶面板、反射型液晶面板（LCOS（硅上液晶））和DMD（数字微镜器件）的光调制器件组成。空间光调制单元42基于来自输出控制器39的照明控制信号来控制在光调制器件中的照明光的发射或反射从而调整照明强度。例如，在照明模式是测量光模式的情况下，空间光调制单元42设定照明光的均匀的照明强度分布。此外，在照明模式是校正光模式的情况下，空间光调制单元42设定照明光的照明强度分布，这在校正照明计算单元38中计算。
在空间光调制单元42中调整了照明强度的照明光经由光导45提供到照明光学系统46。照明光学系统46将经由光导45提供的照明光施加到对象。
摄像单元22、照明控制器30和照明单元40由系统控制器50彼此同步地操作。具体地，系统控制器50与帧切换定时同步地切换照明模式，使得在测量光模式的照明中拍摄的图像和在校正光模式的照明中拍摄的图像不在一个帧中混合。应注意，系统控制器50可以替代输出控制器39从测量光模式和校正光模式中选择各个帧的照明模式。此外，系统控制器50（包括在以后描述的变形例）对应于在权利要求书中的操作控制器。
（3.摄像装置的操作）
图3是示出了摄像装置的操作的流程图。在步骤ST1中，摄像装置10进行摄像操作。摄像装置10拍摄对象的图像、生成移动图像，并前进至步骤ST2。
在步骤ST2中，摄像装置10进行图像分离处理。摄像装置10将在测量光模式的照明中拍摄的图像的帧与在校正光模式的照明中拍摄的图像的帧分离，随后前进至步骤ST3。
在步骤ST3中，摄像装置10进行照明强度计算/输出控制。图4是示出了照明强度计算/输出控制的流程图。在步骤ST51中，摄像装置10进行低通滤波处理。摄像装置10对在测量光模式的照明中拍摄的图像进行低通滤波处理使得能够在与照明单元40的空间分辨率相对应的分辨率计算照明强度分布。然后，摄像装置10前进至步骤ST52。
在步骤ST52中，摄像装置10进行校正照明计算。摄像装置10基于经过低通滤波处理的图像信号来计算在校正光模式下的照明光的照明强度分布。摄像装置10计算照明强度分布，使得即使具有高反射率的对象部分、具有低反射率的对象部分等在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。然后，摄像装置10前进至步骤ST53。
在步骤ST53中，摄像装置10控制光源的亮度。摄像装置10控制光源41的发光操作使得从光源41发出的照明光可以具有预定的光强。然后，摄像装置10前进至步骤ST54。
在步骤ST54中，摄像装置10控制照明光的输出。在照明模式被设定为测量光模式的情况下，摄像装置10控制照明光的输出使得照明强度分布是均匀的。此外，在照明模式被设定为校正光模式的情况下，摄像装置10控制照明光的输出使得照明光具有在步骤ST52中计算的照明强度分布，并且回到图3的步骤ST3。
当在步骤ST3中进行照明强度计算/输出控制并且处理前进至步骤ST4时，摄像装置10进行内插处理。摄像装置10通过内插处理等生成与在校正光模式的照明中拍摄的图像相当的图像的图像信号。基于在校正光模式的照明中拍摄的图像的图像信号对在测量光模式下提供照明的时期生成该图像信号。此外，摄像装置10将在校正光模式的照明中拍摄的图像的图像信号和在设定为测量光模式的时期由内插处理等生成的拍摄图像的图像信号输出到显示装置91、图像记录装置92等。
图5A到图5G是各自示出了摄像装置的操作的时间图。图5A示出了照明模式。图5B示出了在摄像操作中的帧。图5C示出了提供到图像分离单元31的图像信号的帧。图5D示出了从图像分离单元31输出的图像信号的帧。图5E示出了提供到校正照明计算单元38的图像信号的帧。图5F示出了照明强度分布的计算结果。图5G示出了照明控制信号。
基于来自输出控制器39的照明控制信号，例如，照明单元40在仅一个帧期间提供测量光模式下的照明，然后在随后的三个帧期间提供校正光模式下的照明。此外，当在校正光模式的照明完成时，再次只在一个帧期间提供在测量光模式的照明。此后，以相同的方式来切换照明模式。
例如，如图5A中所示在摄像装置10在第一帧FR1中将照明模式设定为测量光模式（LM）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT-LM”从输出控制器39输出到照明单元40。应注意，信号“CT-LM”是用于从照明单元40输出测量光模式下的照明光的信号。此外，摄像单元22对在测量光模式下被照明的对象进行摄像操作P1。
如图5A中所示，在摄像装置10在第二帧FR2中将照明模式设定为校正光模式（LC）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT-L0”从输出控制器39输出到照明单元40。在这种情况下，未完成计算在校正光模式下的照明光的照明强度分布，因此输出控制器39输出照明强度是初始值的信号“CT-L0”。摄像单元22对在校正光模式下被照明的对象进行摄像操作P2。此外，如图5C中所示，摄像单元22将在摄像操作P1中生成的图像信号“D1-LM”提供到图像分离单元31。这里，从摄像单元22提供的图像信号是在对测量光模式下被照明的对象摄像时获得的图像信号。因此，如图5E中所示，图像分离单元31将图像信号“D1-LM”提供到校正照明计算单元38从而基于图像信号“D1-LM”来计算照明强度分布。
如图5A中所示，在摄像装置10在第三帧FR3中将照明模式设定为校正光模式（LC）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT1”从输出控制器39输出到照明单元40。这里，假定校正照明计算单元38基于图像信号“D1-LM”来计算在校正光模式下的照明强度分布并且如图5F中所示获得了计算结果“VM1”。在这种情况下，输出控制器39基于计算结果“VM1”生成信号“CT1”，并且将信号“CT1”输出到照明单元40。因此，当对在校正光模式下被照明的对象进行摄像操作P3时，摄像单元22可以获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，如图5C中所示，摄像单元22将在摄像操作P2中生成的图像信号“D2-LC”输出到图像分离单元31。因为从摄像单元22提供的图像信号是在对校正光模式下被照明的对象摄像时获得的图像信号，所以图像分离单元31将图像信号“D2-LC”输出到显示装置91或图像记录装置92。
此后，如图5A中所示，在摄像装置10在第五帧FR5中将照明模式设定为测量光模式（LM）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT-LM”从输出控制器39输出到照明单元40。此外，摄像单元22对在测量光模式下照明的对象进行摄像操作P5。
如图5A中所示，在摄像装置10在第六帧FR6中将照明模式设定为校正光模式（LC）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT1”从输出控制器39输出到照明单元40。此外如图5C中所示，在帧FR6中，摄像单元22将在摄像操作P5中生成的图像信号“D5-LM”输出到图像分离单元31。这里，从摄像单元22提供的图像信号是在对测量光模式下被照明的对象摄像时获得的图像信号。因此，图像分离单元31将图像信号“D5-LM”提供到校正照明计算单元38并且基于如图5E中所示的图像信号“D5-LM”来计算照明强度分布。此外，在提供到图像分离单元31的图像信号是在对测量光模式下被照明的对象摄像获得的图像信号的情况下，不存在输出到显示装置91或图像记录装置92的图像信号。因此，图像分离单元31使用在对测量光模式下被照明的对象摄像时获得的图像信号来进行内插处理等，并且在帧IR6的期间将所生成的图像信号输出到显示装置91或图像记录装置92。
多种方法可以用于内插处理。例如，在第一内插处理方法中，重复使用前一帧的图像信号。例如，在帧FR6的期间也输出图像信号“D4-LC”。在第二内插处理方法中，从多个之前的帧计算各块的运动向量，并将所计算出的运动向量用于生成运动补偿图像。例如，图像信号“D3-LC”和图像信号“D4-LC”用于计算运动向量，通过使用所计算出的运动向量来对图像信号“D4-LC”进行运动补偿并且生成与帧FR6相对应的运动补偿图像的图像信号。在帧FR6的期间输出所生成的图像信号。在第三内插处理方法中，从之前和将来的帧计算相应块的运动向量，并且所计算出的运动向量用于生成运动补偿图像。例如，图像信号“D4-LC”和图像信号“D6-LC”用于计算运动向量，所计算出的运动向量用于进行图像信号“D4-LC”或图像信号“D6-LC”的运动补偿并且在帧FR6的期间输出运动补偿图像的图像信号。应注意，在第三内插处理方法中，从过去和将来的帧生成运动补偿图像，使得可以进行高度准确的内插处理。然而，因为使用了将来帧的图像信号，所以输出到显示装置91或图像记录装置92的图像信号有大的延迟。应注意，内插处理方法不限于上述方法，还可以使用其他方法。
如图5A中所示，例如在摄像装置10在第七帧FR7中将照明模式设定为校正光模式（LC）的情况下，如图5G中所示，摄像装置10将用作照明控制信号的信号“CT5”从输出控制器39输出到照明单元40。这里，假定校正照明计算单元38基于图像信号“D5-LM”和计算结果“VM5”来计算照明强度分布并且获得了如图5F中所示的计算结果“VM5”。在这种情况下，输出控制器39基于计算结果“VM5”生成信号“CT5”，并且将信号“CT5”输出到照明单元40。因此，当对在校正光模式下被照明的对象进行摄像操作P7时，摄像单元22可以获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，如图5C中所示，摄像单元22将在摄像操作P6中生成的图像信号“D6-LC”输出到图像分离单元31。因为从摄像单元22提供的图像信号是在对校正光模式下被照明的对象摄像时获得的图像信号，所以图像分离单元31将图像信号“D6-LC”输出到显示装置91或图像记录装置92。
摄像装置10进行如上所述的处理并且将不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像输出到显示装置91或图像记录装置92。
图6A和图6B分别示出了由现有技术中的照明生成的拍摄图像的示例和由根据本公开的实施方式的校正光模式下的照明生成的拍摄图像的示例。例如，在如图6A中所示的由现有技术中的照明生成的拍摄图像中，在某些情况下具有高反射率的对象部分存在曝光过度的过亮并且具有低反射率的对象部分存在曝光不足的阴影。此外，存在具有高反射率的对象部分被照明光加热的情况。然而当进行以上处理时，在校正光模式下的照明中，具有高反射率的对象部分的照明强度减少并且具有低反射率的对象部分的照明强度增加。因此，如图6B中所示，在具有高反射率的对象部分中不产生曝光过度的过亮，并且在具有低反射率的对象部分中不产生曝光不足的阴影。因此，可以获得极好的图像。
如上所述，摄像装置10基于在测量光模式的照明中拍摄的图像辨别具有高反射率的对象部分和具有低反射率的对象部分。此外在校正光模式下，摄像装置10调整照明强度使得具有高反射率的对象部分的照明强度减少并且具有低反射率的对象部分的照明强度增加。因此，即使在摄像范围中有具有高反射率的对象部分、具有低反射率的对象部分等，摄像装置10也可以将在测量光模式的照明中拍摄的图像提供为不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。
此外，摄像装置10周期性地进行在测量光模式下的摄像操作，并且基于由测量光模式下的摄像操作生成的图像信号来计算在校正光模式下的照明强度分布。因此，即使在摄像期间对象移动或对象状态改变的情况下，在校正光模式下的照明强度分布也随着对象的移动或其状态的变化而自动地调整。因此，无论对象如何变化，摄像装置10都可以容易地获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，摄像装置10可以防止对象由于例如照明光而发热。此外，在照明单元40具有比拍摄图像更低的空间分辨率的情况下，摄像装置10计算在与照明单元40的空间分辨率相对应的分辨率下的照明强度分布。因此，可以减少用于照明强度分布的计算量，结果实现功耗的减少并且减少由于在照明控制器30中的计算操作的发热。
（4.变形例1）
附带地，根据上述实施方式的照明单元给出了在空间光调制单元中调制从光源发出的照明光并且根据对象的反射率来调整照明强度的配置示例。然而，如果照明单元由发光器件组成，则照明单元的配置可以简化，这是因为光源和空间光调制单元不必彼此分离。
在变形例1中，将描述照明单元由发光器件组成的情况。图7示出了变形例1的配置。变形例1的照明单元40包括发光器件单元43、光导45和照明光学系统46。
发光器件单元43由诸如OLED（有机发光二极管）的发光器件组成。发光器件单元43基于来自输出控制器39的照明控制信号调整待发出的照明光的照明强度。例如，在照明模式是测量光模式的情况下，发光器件单元43将照明光的照明强度分布设定为均匀的。此外，在照明模式是校正光模式的情况下，发光器件单元43将照明光的照明强度分布设定为在校正照明计算单元38中计算出的分布。
从发光器件单元43发出的照明光经由光导45提供到照明光学系统46。照明光学系统46以经由光导45提供的照明光来照射对象。
以这种方式，如果发光器件用于照明，则可以使该照明单元的配置比由光源和空间光调制单元组成的照明单元更简单。此外，在发光器件用作空间光调制单元以调整透射比和照明强度的情况下，由于不发射的光的吸收而在空间光调制单元中发热。因此，例如必须将空间光调制单元设置到主体外部的位置。然而，使用光转换效率好的发光器件可减少照明单元的发热量。因此，照明单元可以设置在主体中，并且可以增强摄像装置10的配置的自由度。
（5.变形例2）
变形例2示出了校正照明计算单元的另一配置的示例。图8示出了变形例2的配置。在变形例2中的校正照明计算单元38包括颜色分离单元381、红光校正照明计算单元382R、绿光校正照明计算单元382G、蓝光校正照明计算单元382B和计算结果综合单元383。
颜色分离单元381对从图像分离单元31提供的图像信号进行颜色分离处理并且生成例如红色、绿色和蓝色的颜色成分信号。颜色分离单元381将所生成的红色成分信号输出到红光校正照明计算单元382R。此外，颜色分离单元381将所生成的绿色成分信号输出到绿光校正照明计算单元382G并且将所生成的蓝色成分信号输出到蓝光校正照明计算单元382B。
红光校正照明计算单元382R基于红色成分信号来进行校正照明计算并且将计算结果输出到计算结果综合单元383。绿光校正照明计算单元382G基于绿色成分信号来进行校正照明计算并且将计算结果输出到计算结果综合单元383。蓝光校正照明计算单元382B基于蓝色成分信号来进行校正照明计算并且将计算结果输出到计算结果综合单元383。
计算结果综合单元383基于红光校正照明计算单元382R、绿光校正照明计算单元382G和蓝光校正照明计算单元382B的计算结果来计算对于各个颜色成分不产生饱和或阴影的照明强度分布，从而将计算结果输出到输出控制器39。
以这种方式，校正照明计算单元38计算对于各个颜色成分的照明强度分布。因此，在变形例2的摄像装置中，可以将照明光调整为具有最佳的照明强度，使得在待观察的对象的希望的颜色中不引起颜色饱和或偏色。
（6.变形例3）
变形例3示出了通过使用距离信息（表示到位于摄像范围中的各个对象的距离）来在校正照明计算单元38中计算照明强度分布的情况。
图9示出了变形例3的配置。变形例3的摄像装置10包括摄像光学系统21、摄像单元22、照明控制器30、照明单元40和系统控制器50。此外，照明控制器30包括图像分离单元31、距离测量单元32、校正照明计算单元38和输出控制器39。
摄像光学系统21由用于在对象上聚焦的透镜单元组成。
摄像单元22由诸如CCD（电荷耦合器件）图像传感器和CMOS（互补金属氧化物半导体）图像传感器的摄像器件组成并且生成与对象的光学图像对应的图像信号。此外，摄像单元22基于从系统控制器50提供的同步信号来与照明单元40同步从而进行摄像操作。此外，摄像单元22对所生成的图像信号进行各种处理。
图像分离单元31基于来自输出控制器39的照明模式信号以画面为单位例如在帧切换的位置分割拍摄图像的图像信号。在照明模式信号表示照明被设定为校正光模式的情况下，图像分离单元31将在校正光模式的照明中拍摄的图像的图像信号输出到例如显示装置91或图像记录装置92。此外，在照明模式信号表示照明被设定为测量光模式的情况下，图像分离单元31将在测量光模式的照明中拍摄的图像的图像信号输出到校正照明计算单元38。此外，图像分离单元31在照明被设定为测量光模式的时期中使用在校正光模式的照明中拍摄的图像的图像信号进行内插处理。图像分离单元31进行内插处理以生成与在校正光模式的照明中拍摄的图像对应的图像的图像信号，然后将该图像信号输出到例如显示装置91或图像记录装置92。
距离测量单元32计算到位于摄像范围中的对象部分的距离。距离测量单元32计算到摄像范围中的多个位置的对象的距离。例如，距离测量单元32在使用TOF（飞行时间）摄像机的情况下以红外线来照射对象并且基于在反射的红外线入射到摄像机上之前花费的时间来计算距离。此外，包括距离测量像素的摄像器件可以用作摄像单元22从而通过使用距离测量像素的信号来计算距离。距离测量单元32将距离的测量结果输出到校正照明计算单元38。
校正照明计算单元38基于来自距离测量单元32的测量结果和在测量光模式的照明下拍摄的图像的图像信号来计算在校正光模式下的照明光的照明强度分布。在测量光模式下，从照明单元40输出具有均匀的照明强度分布的照明光。在测量光模式的该照明下拍摄的图像中，具有高反射率的对象部分或近的对象部分具有高亮度，而具有低反射率的对象部分或远的对象部分具有低亮度。因此，校正照明计算单元38计算在校正光模式下的照明光的照明强度分布，使得即使具有不同反射率的对象部分和具有不同距离的对象部分在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。校正照明计算单元38进行例如在表达式（1）中所示的计算，从而计算照明强度分布。
已知对象的亮度与距离的平方成反比，因此校正照明计算单元38基于距离的测量结果来调整照明强度。例如，校正照明计算单元38在测量光模式的情况下进行表达式（2）中所示的计算并且以根据到对象的距离计算出的照明强度以一致的照明强度分布来照明。此外，校正照明计算单元38在校正光模式的情况下进行表达式（3）中所示的计算，从而计算考虑了距离的照明强度。应注意“k”是常数。
照明强度=k（距离的平方）…（2）
照明强度=k（1/对象的亮度）（距离的平方）…（3）
此外，校正照明计算单元38可以不使用测量光模式而只基于测量的距离来计算照明强度。在这种情况下，表达式（4）用于计算。应注意，“kc”是校正光模式下的常数。
照明强度=kc（距离的平方）…（4）
输出控制器39基于来自系统控制器50的控制信号来将照明模式切换到测量光模式或校正光模式。此外，输出控制器39生成表示照明模式被设定为测量光模式和校正光模式中的哪一个的照明模式信号，并且将照明模式信号输出到图像分离单元31。此外，输出控制器39基于在校正照明计算单元38中的照明强度分布的计算结果来生成照明控制信号并且将照明控制信号输出到照明单元40。因此，输出控制器39控制在校正光模式下的照明光的照明强度。此外，在测量光模式下，输出控制器39生成用于输出具有均匀的照明强度分布的照明光的照明控制信号并且将照明控制信号输出到照明单元40。
照明单元40包括光源41、空间光调制单元42、光导45以及照明光学系统46。照明单元40在空间光调制单元42中基于来自输出控制器39的照明控制信号来调制从光源41发出的照明光，并且经由光导45和照明光学系统46以调整了照明强度的照明光照射对象。
摄像单元22、照明控制器30和照明单元40由系统控制器50彼此同步地操作。具体地，系统控制器50与帧切换定时同步地切换照明模式，使得在测量光模式的照明中拍摄的图像和在校正光模式的照明中拍摄的图像不在一个帧中混合。应注意，系统控制器50可以代替输出控制器39从测量光模式和校正光模式中选择各个帧的照明模式。
图10是示出了变形例3的摄像装置的操作的流程图。在步骤ST11中，摄像装置10进行摄像操作。摄像装置10拍摄对象的图像、生成移动图像，然后前进至步骤ST12。
在步骤ST12中，摄像装置10进行图像分离处理。摄像装置10将在测量光模式的照明下拍摄的图像的帧与在校正光模式的照明下拍摄的图像的帧分离，随后前进至步骤ST13。
在步骤ST13中，摄像装置10测量距离。摄像装置10测量至对象的距离，前进至步骤ST14。
在步骤ST14中，摄像装置10进行照明强度计算/输出控制。摄像装置10进行图4中所示的流程图的处理以计算照明强度分布。然后，摄像装置10进行照明光输出控制从而设定所计算出的照明强度分布。然后，摄像装置10前进至步骤ST15。
在步骤ST15中，摄像装置10进行内插处理。摄像装置10通过使用在校正光模式的照明下拍摄的图像的图像信号来进行内插处理，于是对在测量光模式下提供照明的时期生成与在校正光模式的照明中拍摄的图像相当（相似）的图像的图像信号。此外，摄像装置10将在校正光模式的照明中拍摄的图像的图像信号和在设定为测量光模式的时期中由内插处理等生成的拍摄图像的图像信号输出到显示装置91、图像记录装置92等。
以这种方式，校正照明计算单元38考虑到至对象的距离来计算照明强度分布。因此，可以将照明光调整为对于在附近位置的对象和在远处位置的对象都具有最佳的照明强度。
（7.变形例4）
变形例4示出了将多视点摄像机用作摄像单元22来进行所谓的被动测量（passivemeasurement），并且不使用距离测量单元32的情况下估计到对象的距离的情况。应注意，以下将描述将立体摄像机用作多视点摄像机的情况。
图11示出了变形例4的配置。变形例4的摄像装置10包括摄像光学系统21、摄像单元22、照明控制器30、照明单元40和系统控制器50。此外，照明控制器30包括图像分离单元31、距离估计单元33、校正照明计算单元38和输出控制器39。
摄像光学系统21由用于在对象上聚焦的透镜单元组成。应注意，透镜单元包括右眼单元和左眼单元。
摄像单元22由生成右眼图像的图像信号的摄像器件和生成左眼图像的图像信号的摄像器件组成。摄像装置的示例包括CCD（电荷耦合器件）图像传感器和CMOS（互补金属氧化物半导体）图像传感器。此外，摄像单元22基于从系统控制器50提供的同步信号来与照明单元40同步从而进行摄像操作。此外，摄像单元22对所生成的图像信号进行各种处理。
图像分离单元31基于来自输出控制器39的照明模式信号以画面为单位例如在帧切换的位置分割拍摄图像的图像信号。在照明模式信号表示照明被设定为校正光模式的情况下，图像分离单元31将在校正光模式的照明中拍摄的图像的图像信号输出到例如显示装置91或图像记录装置92。输出的图像信号可以只是右眼图像的图像信号或左眼图像的图像信号，或可以是右眼图像的图像信号和左眼图像的图像信号两者。此外，在照明模式信号表示照明被设定为测量光模式的情况下，图像分离单元31将在测量光模式的照明中拍摄的图像的图像信号输出到距离估计单元33。图像分离单元31将右眼图像的图像信号和左眼图像的图像信号输出到距离估计单元33以作为在测量光模式的照明中拍摄的图像的图像信号。此外，图像分离单元31将右眼图像的图像信号和左眼图像的图像信号之一或两者输出到校正照明计算单元38。此外，图像分离单元31在照明被设定为测量光模式的时期中使用在校正光模式的照明中拍摄的图像的图像信号来进行内插处理。图像分离单元31进行内插处理以生成与在校正光模式的照明中拍摄的图像相当的图像的图像信号，并且随后将该图像信号输出到例如显示装置91或图像记录装置92。
距离估计单元33通过例如被动立体测量来估计到对象的距离。距离估计单元33使用右眼图像的图像信号和左眼图像的图像信号来计算视差量。此外，距离估计单元33基于基线长度和视差量通过三角测量来估计到对象的距离。基线长度是在右眼图像的摄像单元和左眼图像的摄像单元之间的间隔。
校正照明计算单元38基于来自距离估计单元33的距离估计结果和在测量光模式的照明下拍摄的图像的图像信号来计算在校正光模式下的照明光的照明强度分布。在测量光模式下，从照明单元40输出具有均匀的照明强度分布的照明光。在测量光模式的该照明中拍摄的图像中，具有高反射率的对象部分或近的对象部分具有高亮度，而具有低反射率的对象部分或远的对象部分具有低亮度。因此，校正照明计算单元38计算在校正光模式下的照明光的照明强度分布，使得即使具有不同反射率的对象部分和具有不同距离的对象部分在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。如变形例3中一样，校正照明计算单元38考虑到至对象的距离来调整照明强度。
输出控制器39基于来自系统控制器50的控制信号来将照明模式切换到测量光模式或校正光模式。此外，输出控制器39生成表示照明模式被设定为测量光模式和校正光模式中的哪一个的照明模式信号，并且将照明模式信号输出到图像分离单元31。此外，输出控制器39基于在校正照明计算单元38中的照明强度分布的计算结果来生成照明控制信号并且将照明控制信号输出到照明单元40。因此，输出控制器39控制在校正光模式下的照明光的照明强度。此外，在测量光模式下，输出控制器39生成用于输出具有均匀的照明强度分布的照明光的照明控制信号并且将照明控制信号输出到照明单元40。
照明单元40包括光源41、空间光调制单元42、光导45以及照明光学系统46。照明单元40在空间光调制单元42中基于来自输出控制器39的照明控制信号来调制从光源41发出的照明光，并且经由光导45和照明光学系统46以调整了照明强度的照明光照射对象。
摄像单元22、照明控制器30和照明单元40由系统控制器50彼此同步地操作。具体地，系统控制器50与帧切换定时同步地切换照明模式，使得在测量光模式的照明下拍摄的图像和在校正光模式的照明下拍摄的图像不在一个帧中混合。应注意，系统控制器50可以代替输出控制器39从测量光模式和校正光模式中选择各个帧的照明模式。
以这种方式，校正照明计算单元38考虑到至对象的距离来计算照明强度分布。因此，可以将照明光调整为对于在附近位置的对象和在远处位置的对象都具有最佳的照明强度。此外，将立体摄像机用作摄像单元22允许显示装置91立体地显示对象。此外，立体摄像机的使用允许去除距离测量单元32并且考虑到至对象的距离而调整照明强度使得不产生曝光过度的过亮、曝光不足的阴影等。
（8.变形例5）
变形例5示出了通过所谓的光切断（light-section）法对对象进行三维结构分析并且基于分析结果来调整照明强度的情况。应注意，在光切断法中，以狭缝光（slit light）照射物体来进行三维结构分析。
图12示出了变形例5的配置。变形例5的摄像装置10包括摄像光学系统21、摄像单元22、照明控制器30、照明单元40和系统控制器50。此外，照明控制器30包括图像分离单元31、三维结构分析单元34、样式（pattern）生成单元35、校正照明计算单元38和输出控制器39。
摄像光学系统21由用于在对象上聚焦的透镜单元组成。
摄像单元22由诸如CCD（电荷耦合器件）图像传感器和CMOS（互补金属氧化物半导体）图像传感器的摄像器件组成并且生成与对象的光学图像对应的图像信号。此外，摄像单元22基于从系统控制器50提供的同步信号来与照明单元40同步从而进行摄像操作。此外，摄像单元22对所生成的图像信号进行各种处理。
图像分离单元31基于来自输出控制器39的照明模式信号以画面为单位例如在帧切换的位置分割拍摄图像的图像信号。在照明模式信号表示照明被设定为校正光模式的情况下，图像分离单元31将在校正光模式的照明中拍摄的图像的图像信号输出到例如显示装置91或图像记录装置92。此外，在照明模式信号表示照明被设定为测量光模式的情况下，图像分离单元31将在测量光模式的照明中拍摄的图像的图像信号输出到校正照明计算单元38。此外，在照明模式信号表示照明被设定为三维测量光模式的情况下，图像分离单元31将在三维测量光模式的照明中拍摄的图像的图像信号输出到三维结构分析单元34。在三维测量光模式下，照明单元40以狭缝光进行照射和扫描（例如，水平移动）。此外，图像分离单元31在照明被设定为测量光模式的时期中使用在校正光模式的照明中拍摄的图像的图像信号来进行内插处理。图像分离单元31进行内插处理以生成与在校正光模式的照明中拍摄的图像相当的图像的图像信号，然后将该图像信号输出到例如显示装置91或图像记录装置92。
三维结构分析单元34基于从图像分离单元31提供的图像信号来判定以狭缝光照射的部分的形状。此外，通过判定在狭缝光的各个扫描位置的以狭缝光照射的部分的形状来分析对象的三维结构。三维结构分析单元34将分析结果输出到校正照明计算单元38。
样式生成单元35生成作为三维测量样式的样式信号，通过该样式信号用来自照明单元40的狭缝光进行照射和扫描（例如，水平移动）。然后，样式生成单元35将样式信号输出到输出控制器39。
校正照明计算单元38基于来自三维结构分析单元34的分析结果和在测量光模式的照明中拍摄的图像的图像信号来计算在校正光模式下的照明光的照明强度分布。在测量光模式下，从照明单元40输出具有均匀的照明强度分布的照明光。在测量光模式的该照明中拍摄的图像中，具有高反射率的对象部分或近的对象部分具有高亮度，而具有低反射率的对象部分或远的对象部分具有低亮度。因此，校正照明计算单元38计算在校正光模式下的照明光的照明强度分布，使得即使具有不同反射率的对象部分和具有不同距离的对象部分在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。如变形例3和变形例4一样，校正照明计算单元38考虑到至对象的距离来调整照明强度。
输出控制器39基于来自系统控制器50的控制信号来将照明模式切换到测量光模式、校正光模式或三维测量光模式。此外，输出控制器39生成表示照明模式被设定为测量光模式、校正光模式和三维测量光模式中的哪一个的照明模式信号，并且将照明模式信号输出到图像分离单元31。此外，输出控制器39基于在校正照明计算单元38中的照明强度分布的计算结果来生成照明控制信号并且将照明控制信号输出到照明单元40。因此，输出控制器39控制在校正光模式下的照明光的照明强度。此外，在测量光模式下，输出控制器39生成用于输出具有均匀的照明强度分布的照明光的照明控制信号并且将照明控制信号输出到照明单元40。此外，在三维测量光模式下，输出控制器39基于来自样式生成单元35的样式信号生成照明控制信号并且将照明控制信号输出到照明单元40。
照明单元40包括光源41、空间光调制单元42、光导45以及照明光学系统46。照明单元40在空间光调制单元42中基于来自输出控制器39的照明控制信号来调制从光源41发出的照明光，并且经由光导45和照明光学系统46以调整了照明强度的照明光照射对象。
摄像单元22、照明控制器30和照明单元40由系统控制器50彼此同步地操作。具体地，系统控制器50与帧切换定时同步地切换照明模式，使得在测量光模式的照明下拍摄的图像、在校正光模式的照明下拍摄的图像和在三维测量光模式的照明下拍摄的图像不在一个帧中混合。应注意，系统控制器50可以替代输出控制器39从测量光模式、校正光模式和三维测量光模式中选择各个帧的照明模式。
图13是示出了在变形例5中的摄像装置的操作的流程图。在步骤ST21中，摄像装置10进行摄像操作。摄像装置10拍摄对象的图像、生成移动图像，然后前进至步骤ST22。
在步骤ST22中，摄像装置10进行图像分离处理。摄像装置10将在测量光模式的照明下拍摄的图像的帧与在校正光模式的照明下拍摄的图像的帧分离。此外，将在三维校正光模式的照明下拍摄的图像的帧与其他帧分离，随后前进至步骤ST23。
在步骤ST23中，摄像装置10生成三维测量照明样式。摄像装置10生成样式信号以用于发出用于扫描的狭缝光，随后前进至步骤ST24。
在步骤ST24中，摄像装置10进行三维结构分析。摄像装置10判定以狭缝光照射的部分的形状。此外，通过判定在狭缝光的各个扫描位置的以狭缝光照射的部分的形状，摄像装置10分析对象的三维结构，然后前进至步骤ST25。
在步骤ST25中，摄像装置10进行照明强度计算/输出控制。摄像装置10进行图4中示出的流程图的处理。摄像装置10计算照明强度分布、进行照明光输出控制以获得所计算的照明强度分布，然后前进至步骤ST26。
在步骤ST26中，摄像装置10使用在校正光模式的照明下拍摄的图像的图像信号来进行内插处理。摄像装置10对在测量光模式和三维测量光模式下提供照明的时期通过内插处理生成与在校正光模式的照明中拍摄的图像相当的图像的图像信号。此外，摄像装置10将在校正光模式的照明中拍摄的图像的图像信号和在设定为测量光模式和三维测量光模式的时期中由内插处理生成的拍摄图像的图像信号输出到显示装置91、图像记录装置92等。
图14A到图14I是各自示出了在变形例5中的摄像装置的操作的时间图。图14A示出了照明模式。图14B示出了摄像操作中的帧。图14C示出了提供到图像分离单元31的图像信号的帧。图14D示出了从图像分离单元31输出的图像信号的帧。图14E示出了提供到校正照明计算单元38的图像信号的帧。图14F示出了提供到三维结构分析单元34的图像信号的帧。图14G示出了三维结构的分析结果。图14H示出了照明强度分布的计算结果。图14I示出了照明控制信号。
基于来自输出控制器39的照明控制信号，例如，照明单元40只在一个帧期间中提供测量光模式下的照明，然后在随后的三个帧期间中提供校正光模式下的照明。此外，当在校正光模式下的照明完成时，只在一个帧期间中提供在三维测量光模式下的照明。此外，当在三维校正光模式下的照明完成时，再次只在一个帧期间中提供在测量光模式下的照明。此后，以相同的方式来切换照明模式。
例如，如图14A中所示，在摄像装置10在第一帧FR1中将照明模式设定为测量光模式（LM）的情况下，如图14I中所示，摄像装置10从输出控制器39将作为照明控制信号的信号“CT-LM”输出到照明单元40。应注意，信号“CT-LM”是用于从照明单元40输出测量光模式下的照明光的信号。此外，摄像单元22对在测量光模式下照明的对象进行摄像操作P1。
如图14A中所示，在摄像装置10在第二帧FR2中将照明模式设定为校正光模式（LC）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT-”从输出控制器39输出到照明单元40。在这种情况下，在校正光模式下的照明光的照明强度分布没有完成计算，因此输出控制器39输出照明强度是初始值的信号“CT-L0”。摄像单元22对在校正光模式下被照明的对象进行摄像操作P2。此外，如图14C中所示，摄像单元22将在摄像操作P1中生成的图像信号“D1-LM”提供到图像分离单元31。这里，从摄像单元22提供的图像信号是在对测量光模式下被照明的对象摄像时获得的图像信号。因此，如图14E中所示，图像分离单元31将图像信号“D1-LM”提供到校正照明计算单元38从而基于图像信号“D1-LM”来计算照明强度分布。
如图14A中所示，在摄像装置10在第三帧FR3中将照明模式设定为校正光模式（LC）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT1”从输出控制器39输出到照明单元40。这里，假定校正照明计算单元38基于图像信号“D1-LM”来计算在校正光模式下的照明强度分布并且获得了如图14H中所示的计算结果“VM1”。在这种情况下，输出控制器39基于计算结果“VM1”生成信号“CT1”，并且将信号“CT1”输出到照明单元40。因此，当对在校正光模式下被照明的对象进行摄像操作P3时，摄像单元22可以获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，如图14C中所示，摄像单元22将在摄像操作P2中生成的图像信号“D2-LC”输出到图像分离单元31。因为从摄像单元22提供的图像信号是在对校正光模式下被照明的对象摄像时获得的图像信号，所以图像分离单元31将图像信号“D2-LC”输出到显示装置91或图像记录装置92。
此后，如图14A中所示，在摄像装置10在第五帧FR5中将照明模式设定为三维测量光模式（3DLM）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT-3d”从输出控制器39输出到照明单元40。此外，摄像单元22对在三维测量光模式下照明的对象进行摄像操作P5。应注意，信号“CT-3d”是用于从照明单元40输出三维测量光模式下的照明光的信号。
如图14A中所示，在摄像装置10在第六帧FR6中将照明模式设定为校正光模式（LC）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT1”从输出控制器39输出到照明单元40。此外，在帧FR6中，如图14C中所示，摄像单元22将在摄像操作P5中生成的图像信号“D5-3d”输出到图像分离单元31。从摄像单元22提供的图像信号是在对三维测量光模式下被照明的对象摄像时获得的图像信号。因此，图像分离单元31如图14F中所示地将图像信号“D5-3d”提供到三维结构分析单元34并且分析三维结构。此外，在提供到图像分离单元31的图像信号是在对测量光模式或三维测量光模式下被照明的对象摄像获得的图像信号的情况下，不存在输出到显示装置91或图像记录装置92的图像信号。因此，图像分离单元31使用在对测量光模式下被照明的对象摄像时获得的图像信号来进行内插处理，并且在帧FR6的期间将所生成的图像信号输出到显示装置91或图像记录装置92中。在内插处理中，使用上述第一到第三内插处理方法或其他内插处理方法。
如图14A中所示，在摄像装置10在第七帧FR7中将照明模式设定为校正光模式（LC）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT5-3d”从输出控制器39输出到照明单元40。这里，假定三维结构分析单元34获得了如图14G中所示的分析结果“ME-3d”。此外，假定校正照明计算单元38基于分析结果“ME-3d”来计算照明强度分布并且随后获得了如图14F中所示的计算结果“VM5-3d”。在这种情况下，输出控制器39基于计算结果“VM5-3d”生成信号“CT5-3d”，并且将信号“CT5-3d”输出到照明单元40。当摄像单元22对在校正光模式下被照明的对象进行摄像操作P7时，以考虑了三维结构的照明强度分布提供照明。因此，摄像单元22可以获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，如图14C中所示，摄像单元22将在摄像操作P6中生成的图像信号“D6-LC”输出到图像分离单元31。因为从摄像单元22提供的图像信号是在对校正光模式下被照明的对象摄像时获得的图像信号，所以图像分离单元31将图像信号“D6-LC”输出到显示装置91或图像记录装置92。
如图14A中所示，在摄像装置10在第八帧FR8中将照明模式设定为校正光模式（LC）的情况下，如图14I中所示，摄像装置10将用作照明控制信号的信号“CT5-3d”从输出控制器39输出到照明单元40。当摄像单元22对在校正光模式下被照明的对象进行摄像操作P8时，以考虑了三维结构的照明强度分布提供照明。因此，摄像单元22可以获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，如图14C中所示，摄像单元22将在摄像操作P7中生成的图像信号“D7-LC”输出到图像分离单元31。因为从摄像单元22提供的图像信号是在对校正光模式下被照明的对象摄像时获得的图像信号，所以图像分离单元31将图像信号“D7-LC”输出到显示装置91或图像记录装置92。
如上所述，摄像装置10基于在三维测量光模式的照明下拍摄的图像来分析对象的三维结构。此外在校正光模式下，摄像装置10调整照明强度使得近的对象部分的照明强度减少并且远的对象部分的照明强度增加。因此，摄像装置10可以设定测量光模式中的照明强度分布以对应于对象的三维结构。因此，在测量光模式的照明下拍摄的图像可以提供为不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像。此外，摄像装置10周期性地进行在三维测量光模式下的摄像操作，并且基于由三维测量光模式下的摄像操作生成的图像信号来计算在校正光模式下的照明强度分布。因此，即使在摄像期间对象移动或对象状态改变的情况下，在校正光模式下的照明强度分布也随着对象的三维结构变化而自动地调整。因此，摄像装置10可以容易地获得不产生曝光过度的过亮、曝光不足的阴影等的极好的拍摄图像而不管对象的变化。此外摄像装置10可以防止例如对象由于照明光而发热。
（9.变形例6）
变形例6示出了摄像光学系统21和照明光学系统46各自提供有变焦功能的情况。图15示出了变形例6的配置。变形例6的摄像装置10包括摄像光学系统21、摄像单元22、照明控制器30、照明单元40和系统控制器50。此外，照明控制器30包括图像分离单元31、校正照明计算单元38和输出控制器39。
摄像光学系统21由用于在对象上聚焦的透镜单元组成。在变形例6的摄像光学系统21中使用了变焦透镜。基于以后描述的来自系统控制器50的变焦控制信号来驱动变焦透镜，由此进行变焦操作。
摄像单元22由诸如CCD（电荷耦合器件）图像传感器和CMOS（互补金属氧化物半导体）图像传感器的摄像器件组成并且生成与对象的光学图像对应的图像信号。此外，摄像单元22基于从系统控制器50提供的同步信号来与照明单元40同步从而进行摄像操作。此外，摄像单元22对所生成的图像信号进行各种处理。
图像分离单元31基于来自输出控制器39的照明模式信号以画面为单位例如在帧切换的位置分割拍摄图像的图像信号。在照明模式信号表示照明被设定为校正光模式的情况下，图像分离单元31将在校正光模式的照明中拍摄的图像的图像信号输出到例如显示装置91或图像记录装置92。此外，在照明模式信号表示照明被设定为测量光模式的情况下，图像分离单元31将在测量光模式的照明下拍摄的图像的图像信号输出到校正照明计算单元38。此外，图像分离单元31在照明被设定为测量光模式的时期中使用在校正光模式的照明中拍摄的图像的图像信号来进行内插处理。图像分离单元31进行内插处理以生成与在校正光模式的照明下拍摄的图像相当的图像的图像信号，随后将该图像信号输出到例如显示装置91或图像记录装置92。
校正照明计算单元38基于在测量光模式的照明下拍摄的图像的图像信号来计算在校正光模式下的照明光的照明强度分布。在测量光模式下，从照明单元40输出具有均匀的照明强度分布的照明光。在测量光模式的该照明中拍摄的图像中，具有高反射率的对象部分或近的对象部分具有高亮度，而具有低反射率的对象部分或方的对象部分具有低亮度。因此，校正照明计算单元38计算在校正光模式下的照明光的照明强度分布，使得即使具有不同反射率的对象部分和具有不同距离的对象部分在摄像范围中混合，也可以获得不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。
输出控制器39基于来自系统控制器50的控制信号来将照明模式切换到测量光模式或校正光模式。此外，输出控制器39生成表示照明模式被设定为测量光模式和校正光模式中的哪一个的照明模式信号，并且将照明模式信号输出到图像分离单元31。此外，输出控制器39基于在校正照明计算单元38中的照明强度分布的计算结果来生成照明控制信号并且将照明控制信号输出到照明单元40。因此，输出控制器39控制在校正光模式下的照明光的照明强度。此外，在测量光模式下，输出控制器39生成用于输出具有均匀的照明强度分布的照明光的照明控制信号并且将照明控制信号输出到照明单元40。
照明单元40包括光源41、空间光调制单元42、光导45和照明光学系统46。照明单元40基于来自输出控制器39的照明控制信号在空间光调制单元42中调制从光源41发出的照明光并且经由光导45和照明光学系统46以调整了照明强度的照明光来照射对象。此外，照明光学系统46设置有变焦功能并且基于来自系统控制器50的变焦控制信号来进行照明光的变焦操作。
摄像单元22、照明控制器30和照明单元40由系统控制器50彼此同步地操作。具体地，系统控制器50与帧切换定时同步地切换照明模式，使得在测量光模式的照明中拍摄的图像和在校正光模式的照明中拍摄的图像不在一个帧中混合。应注意，系统控制器50可以替代输出控制器39从测量光模式和校正光模式中选择各个帧的照明模式。此外，系统控制器50根据用户等的操作来生成变焦控制信号并且将变焦控制信号输出到摄像光学系统21和照明光学系统46。因此，摄像光学系统21和照明光学系统46彼此同步地操作。
以这种方式，摄像光学系统21的变焦操作和照明光学系统46的变焦操作彼此同步地进行。因此，即使在摄像光学系统21中进行变焦操作，也可以同时进行照明单元40的操作从而不产生曝光过度的过亮或曝光不足的阴影。
（10.变形例7）
变形例7是如图16A到图16C所示的照明光的光路的变形例。图16A示出了刚性内窥镜装置，图16B示出了柔性内窥镜装置，而图16C示出了胶囊内窥镜装置。
在刚性内窥镜装置的情况下，从照明单元40发出的照明光通过反射镜71进入分束器72。分束器72经由在插入单元11a的图像引导轴内的中继透镜或摄像光学系统将从照明单元40发出的照明光发射到对象。此外，分束器72经由摄像光学系统和在插入单元11a的图像引导轴内的中继透镜将从观察目标提供的光发射到摄像单元22。
以与刚性内窥镜装置相同的方式，在柔性内窥镜装置中从照明单元40发出的照明光通过反射镜71进入分束器72。分束器72将从照明单元40发出的照明光发射到柔性插入单元11b的光导。此外，分束器72将从观察目标提供的光经由摄像光学系统和光导发射到摄像单元22。
胶囊内窥镜装置包括例如在外壳13中的摄像光学系统21、摄像单元22、照明控制器30和照明单元40。此外，胶囊内窥镜装置还包括无线通信单元81、电源单元82等。无线通信单元81用于发射例如处理后的图像信号。从照明单元40发出的照明光通过反射镜71进入分束器72。分束器72将从照明单元40发出的照明光经由摄像光学系统21发射到对象。此外，分束器72将从观察目标提供的光经由摄像光学系统21发射到摄像单元22。
以这种方式，反射镜71和分束器72用作光路控制器，并且将来自对象的光引导到摄像单元22的光路也用作照明光的光路。因此，可以使插入单元或胶囊内窥镜装置的配置比分开地提供照明光的光路的情况更简单。
至此，使用实施方式和一些变形例描述了本公开。然而，本公开不限于实施方式和这些变形例并且可以通过组合上述实施方式和变形例来实现。此外，在说明书中描述的一系列处理可以由硬件、软件或硬件和软件的组合配置来执行。在由软件执行处理的情况下，记录处理顺序的程序安装在计算机内置专用硬件中的存储器中并且随后执行。可选地，该程序可以安装在能够执行各种处理的通用计算机中并且随后执行。
例如，程序可以预先记录在用作记录介质的硬盘或ROM（只读存储器）中。可选地，程序可以临时或永久地存储（记录）在软盘、CD-ROM（光盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘和半导体存储卡等可移除记录介质中。该可移除记录介质可以提供为所谓的软件包。
此外，程序可以从可移除记录介质安装在计算机中以及从下载站点以无线或有线的方式经由诸如LAN（局域网）或因特网的网络传输到计算机。计算机接收以这种方式传输的程序并且将该程序安装在诸如硬盘的内置记录介质中。
本公开不应当被解释为限于上述实施方式。实施方式以示例的形式来公开本公开，并且在不偏离本公开的要旨的条件下，本领域中的技术人员显然可以修改或替代这些实施方式。换言之，为了确定本公开的要旨，应当考虑权利要求书部分。
应注意，根据本公开的实施方式的图像处理装置可以进行以下配置。
（1）一种图像处理装置，包括：
图像分离单元，被配置为从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明中拍摄的图像；
校正照明计算单元，被配置为基于在所述图像分离单元中分离的图像来计算在提供相应于对象的照明的校正光模式下的照明强度分布；以及
输出控制器，被配置为基于在所述校正照明计算单元中计算的所述照明强度分布来进行照明光的输出控制。
（2）根据（1）所述的图像处理装置，其中，
在所述测量光模式下的预定空间分布包括均匀照明强度的空间分布。
（3）根据（1）或（2）所述的图像处理装置，其中，
所述校正照明计算单元被配置为根据所述照明光的空间分辨率对所述图像进行分辨率转换处理并且基于在所述分辨率转换处理之后获得的图像来计算照明强度分布。
（4）根据（1）到（3）中任一项所述的图像处理装置，其中，
所述校正照明计算单元被配置为对在所述图像分离单元中分离的图像进行颜色分离处理并且基于各个颜色成分的图像来计算在所述校正光模式下的照明强度分布。
（5）根据（1）到（4）中任一项所述的图像处理装置，其中，
所述图像分离单元被配置为使用在所述校正光模式的照明中拍摄的图像来进行内插并且生成在所述校正光模式的照明中拍摄的并且与在所述测量光模式的照明中拍摄的所述图像的周期对应的图像。
（6）根据（1）到（5）中任一项所述的图像处理装置，包括：
摄像单元，被配置为生成所述拍摄图像；以及
操作控制器，被配置为彼此同步地操作所述图像分离单元、所述校正照明计算单元和所述输出控制器。
（7）根据（1）到（6）中任一项所述的图像处理装置，还包括光路控制器，所述光路控制器被配置为使用将来自所述对象的光导向所述摄像单元的光路作为所述照明光的光路。
（8）根据（1）到（7）中任一项所述的图像处理装置，还包括照明单元，所述照明单元被配置为输出所述照明光，基于来自所述输出控制器的控制信号来对从光源输出的所述照明光进行空间光调制，并且将在所述校正光模式下输出的所述照明光的照明强度分布设定为在所述校正照明计算单元中计算出的分布。
（9）根据（1）到（7）中任一项所述的图像处理装置，还包括：照明单元，所述照明单元被配置为输出所述照明光，基于来自所述输出控制器的控制信号来驱动发光器件，并且将在所述校正光模式下的所述照明光的照明强度分布设定为在所述校正照明计算单元中计算出的分布。
（10）根据（1）到（9）中任一项所述的图像处理装置，还包括距离测量单元，所述距离测量单元被配置为测量从所述拍摄图像上的各点到所述对象的距离，其中，
所述校正照明计算单元被配置为基于在所述距离测量单元中测量的距离、或者所述测量的距离和在所述图像分离单元中分离的图像两者来计算在所述校正光模式下的照明强度分布。
（11）根据（1）到（9）中任一项所述的图像处理装置，还包括：
摄像单元，被配置为生成作为所述拍摄图像的多视点拍摄图像；以及
距离估计单元，被配置为通过使用所述多视点拍摄图像来估计所述拍摄图像上的各点到所述对象的距离，其中，
所述校正照明计算单元被配置为基于在所述距离估计单元中估计的距离、或者所估计的距离和在所述图像分离单元中分离的图像两者来计算在所述校正光模式下的照明强度分布。
（12）根据（1）到（9）中任一项所述的图像处理装置，还包括：
样式生成单元，被配置为在进行所述对象的三维结构分析的三维测量光模式下生成照明光样式；以及
三维结构分析单元，被配置为基于在所述三维测量光模式的照明中拍摄的图像进行所述对象的三维结构分析，其中，
所述图像分离单元，被配置为分离在所述三维测量光模式的照明中拍摄的图像并且将所述图像输出到所述三维结构分析单元，以及
所述校正照明计算单元被配置为基于所述三维结构分析单元的分析结果来计算在所述校正光模式下的照明强度分布。
（13）根据（1）到（12）中任一项所述的图像处理装置，还包括：
摄像光学系统，用于生成所述拍摄图像；以及
照明光学系统，用于发出所述照明光，其中，
所述摄像光学系统和所述照明光学系统彼此同步地进行变焦操作。
在根据本公开的实施方式的所述图像处理装置和所述图像处理方法中，从拍摄图像分离在照明强度分布设定为预定空间分布的测量光模式的照明下拍摄的图像。基于分离出的图像，计算在提供相应于对象的照明的校正光模式下的照明强度分布，并且基于所计算出的照明强度分布来进行在校正光模式下的照明光的输出控制。因此，在校正光模式的照明中拍摄的图像提供为在进行了对应于对象的高空间分辨率的光分布控制的照明下拍摄的图像。因此，例如可以生成其中不产生曝光过度的过亮、曝光不足的阴影等的拍摄图像。因此，根据本公开的实施方式的图像处理装置和图像处理方法适用于内窥镜装置、纤维镜等。
本公开包含的主题涉及2012年4月18日向日本专利局提交的日本在先专利申请JP2012-094660号中公开的内容，将其全部内容通过引用结合于此。
本领域中的技术人员应当理解，在所附权利要求及其等同方案的范围内可以根据设计需求和其他因素而出现各种变形、组合、子组合和修改。

Claims (13)

1.一种图像处理装置，包括：
图像分离单元，被配置为从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明下拍摄的图像；
校正照明计算单元，被配置为基于在所述图像分离单元中分离的图像来计算校正光模式下的照明强度分布，在所述校正光模式下提供相应于对象的照明；以及
输出控制器，被配置为基于在所述校正照明计算单元中计算出的照明强度分布来进行照明光的输出控制，
其中，所述校正照明计算单元被配置为根据所述照明光的空间分辨率对所述图像进行分辨率转换处理并且基于在所述分辨率转换处理之后获得的图像来计算所述照明强度分布。
2.根据权利要求1所述的图像处理装置，其中，
在所述测量光模式下的预定空间分布包括均匀照明强度的空间分布。
3.根据权利要求1所述的图像处理装置，其中，
所述校正照明计算单元被配置为对在所述图像分离单元中分离的图像进行颜色分离处理并且基于每个颜色成分的图像来计算所述校正光模式下的照明强度分布。
4.根据权利要求1所述的图像处理装置，其中，
所述图像分离单元被配置为使用在所述校正光模式的照明下拍摄的图像来进行内插并且生成对应于在所述测量光模式的照明下拍摄的图像的期间的且在所述校正光模式的照明下拍摄的图像。
5.根据权利要求1所述的图像处理装置，还包括：
摄像单元，被配置为生成所述拍摄图像；以及
操作控制器，被配置为彼此同步地操作所述图像分离单元、所述校正照明计算单元和所述输出控制器。
6.根据权利要求5所述的图像处理装置，还包括光路控制器，被配置为使用将来自所述对象的光导向所述摄像单元的光路作为所述照明光的光路。
7.根据权利要求1所述的图像处理装置，还包括：照明单元，被配置为输出所述照明光，基于来自所述输出控制器的控制信号来对从光源输出的所述照明光进行空间光调制，并且将在所述校正光模式下输出的所述照明光的照明强度分布设定为在所述校正照明计算单元中计算出的分布。
8.根据权利要求1所述的图像处理装置，还包括：照明单元，被配置为输出所述照明光，基于来自所述输出控制器的控制信号来驱动发光器件，并且将在所述校正光模式下输出的所述照明光的照明强度分布设定为在所述校正照明计算单元中计算出的分布。
9.根据权利要求1所述的图像处理装置，还包括：距离测量单元，被配置为测量至在所述拍摄图像上的各位置的对象的距离，其中，
所述校正照明计算单元被配置为基于在所述距离测量单元中测量的距离、或者基于所测量的距离和在所述图像分离单元中分离的图像来计算所述校正光模式下的照明强度分布。
10.根据权利要求1所述的图像处理装置，还包括：
摄像单元，被配置为生成作为所述拍摄图像的多视点拍摄图像；以及
距离估计单元，被配置为通过使用所述多视点拍摄图像来估计至在所述拍摄图像上的各位置的对象的距离，其中，
所述校正照明计算单元被配置为基于在所述距离估计单元中估计的距离、或基于所估计的距离和在所述图像分离单元中分离的图像来计算所述校正光模式下的照明强度分布。
11.根据权利要求1所述的图像处理装置，还包括：
样式生成单元，被配置为在进行所述对象的三维结构分析的三维测量光模式下生成照明光样式；以及
三维结构分析单元，被配置为基于在所述三维测量光模式的照明下拍摄的图像进行所述对象的三维结构分析，其中，
所述图像分离单元，被配置为分离在所述三维测量光模式的照明下拍摄的图像并且将所述图像输出到所述三维结构分析单元，以及
所述校正照明计算单元被配置为基于所述三维结构分析单元的分析结果来计算所述校正光模式下的照明强度分布。
12.根据权利要求1所述的图像处理装置，还包括：
摄像光学系统，用于生成所述拍摄图像；以及
照明光学系统，用于发出所述照明光，其中，
所述摄像光学系统和所述照明光学系统彼此同步地进行变焦操作。
13.一种图像处理方法，包括：
从拍摄图像分离在照明强度分布被设定为预定空间分布的测量光模式的照明下拍摄的图像；
基于所分离的图像来计算在提供相应于对象的照明的校正光模式中的照明强度分布；以及
基于所计算出的照明强度分布来进行照明光的输出控制，
其中，根据所述照明光的空间分辨率对所述图像进行分辨率转换处理并且基于在所述分辨率转换处理之后获得的图像来计算所述照明强度分布。
CN201310125535.7A 2012-04-18 2013-04-11 图像处理装置和图像处理方法 Expired - Fee Related CN103371795B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-094660 2012-04-18
JP2012094660A JP6089436B2 (ja) 2012-04-18 2012-04-18 画像処理装置と画像処理装置の作動方法および撮像装置

Publications (2)

Publication Number Publication Date
CN103371795A CN103371795A (zh) 2013-10-30
CN103371795B true CN103371795B (zh) 2016-09-21

Family

ID=49379754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310125535.7A Expired - Fee Related CN103371795B (zh) 2012-04-18 2013-04-11 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US20130278738A1 (zh)
JP (1) JP6089436B2 (zh)
CN (1) CN103371795B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266302B2 (ja) * 2013-10-25 2018-01-24 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
DE102013225156A1 (de) * 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
JP6129731B2 (ja) * 2013-12-24 2017-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
EP3220800B1 (en) * 2015-03-26 2022-06-01 Steris Instrument Management Services, Inc. Endoscopic illuminating and imaging systems and methods
CN106572786B (zh) * 2015-03-30 2018-12-18 奥林巴斯株式会社 胶囊型内窥镜系统以及磁场产生装置
JP6561571B2 (ja) 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
CN106333637B (zh) * 2015-07-07 2019-02-22 宏达国际电子股份有限公司 医疗检测装置及其控制方法
JP6551048B2 (ja) * 2015-08-24 2019-07-31 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2018033783A (ja) * 2016-09-01 2018-03-08 オリンパス株式会社 内視鏡プロセッサ
GB201702162D0 (en) * 2017-02-09 2017-03-29 Nordson Corp Bond test apparatus and bond test cartridge with integrated illumination system
JP2018143400A (ja) * 2017-03-03 2018-09-20 ソニー株式会社 画像処理装置および方法、並びに内視鏡システム
US20190239729A1 (en) * 2018-02-05 2019-08-08 Nucleus Dynamics Pte Ltd Remote monitoring of a region of interest
JP7093409B2 (ja) * 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
WO2020188969A1 (ja) * 2019-03-19 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
JP7426248B2 (ja) * 2020-01-29 2024-02-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4621284A (en) * 1984-06-09 1986-11-04 Olympus Optical Co., Ltd. Measuring endoscope
CN1561639A (zh) * 2001-07-26 2005-01-05 吉温成象有限公司 一种用于在体内成像设备中控制照明或成像器增益的装置和方法
CN101505651A (zh) * 2006-08-24 2009-08-12 奥林巴斯医疗株式会社 内窥镜装置
CN101801255A (zh) * 2007-09-19 2010-08-11 奥林巴斯医疗株式会社 生物体内图像获取装置、生物体内图像接收装置以及生物体内图像获取系统
CN102215737A (zh) * 2008-11-17 2011-10-12 奥林巴斯株式会社 图像处理系统、该图像处理系统的摄像装置、接收装置以及图像显示装置
CN102370452A (zh) * 2011-10-13 2012-03-14 深圳市理邦精密仪器股份有限公司 一种电子阴道镜光源亮度自动调节的方法及装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3432393C2 (de) * 1983-09-05 1986-06-19 Olympus Optical Co., Ltd., Tokio/Tokyo Automatische Abblendvorrichtung für ein Endoskop
JPS6053921A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 液晶フイルタを用いた内視鏡用自動調光装置
JP3096326B2 (ja) * 1991-09-12 2000-10-10 オリンパス光学工業株式会社 内視鏡装置
JPH07275192A (ja) * 1994-04-14 1995-10-24 Toshiba Corp 内視鏡装置
JP3370912B2 (ja) * 1997-11-14 2003-01-27 松下電器産業株式会社 撮像装置
JP2000193896A (ja) * 1998-12-28 2000-07-14 Asahi Optical Co Ltd 内視鏡の光量制御装置
JP2001235686A (ja) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd 内視鏡装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
JP2001281559A (ja) * 2000-03-31 2001-10-10 Olympus Optical Co Ltd 内視鏡装置
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US6864473B2 (en) * 2000-12-07 2005-03-08 The United States Of America As Represented By The United States National Aeronautics And Space Administration Dynamic optical filtration
JP4278086B2 (ja) * 2003-02-24 2009-06-10 Ｈｏｙａ株式会社 走査型共焦点プローブ
JP2004274637A (ja) * 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
US7544163B2 (en) * 2003-09-26 2009-06-09 Tidal Photonics, Inc. Apparatus and methods relating to expanded dynamic range imaging endoscope systems
JP2005160815A (ja) * 2003-12-03 2005-06-23 Olympus Corp 光イメージング装置
JP5214853B2 (ja) * 2006-03-03 2013-06-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2007264196A (ja) * 2006-03-28 2007-10-11 Fujifilm Corp ストロボ制御装置及び方法
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP4868976B2 (ja) * 2006-08-18 2012-02-01 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8027533B2 (en) * 2007-03-19 2011-09-27 Sti Medical Systems, Llc Method of automated image color calibration
JP5534288B2 (ja) * 2008-04-02 2014-06-25 富士フイルム株式会社 信号処理装置、信号処理装置の作動方法、およびプログラム
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
CN101771800A (zh) * 2008-12-31 2010-07-07 中芯国际集成电路制造(上海)有限公司 Cmos图像传感器及其成像方法
JP4642157B2 (ja) * 2009-03-24 2011-03-02 オリンパスメディカルシステムズ株式会社 蛍光観察装置
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
JP5325725B2 (ja) * 2009-09-24 2013-10-23 富士フイルム株式会社 内視鏡装置
JP2011156339A (ja) * 2010-01-08 2011-08-18 Fujifilm Corp 医療機器及び内視鏡装置
WO2011099363A1 (ja) * 2010-02-10 2011-08-18 オリンパス株式会社 蛍光内視鏡装置
JP4977923B2 (ja) * 2010-03-03 2012-07-18 日本電気株式会社 アクティブ型車両視界補助装置及び車両視界補助方法
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
EP2537456B1 (en) * 2010-06-25 2014-12-03 Olympus Medical Systems Corp. Endoscope device
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
US8570406B2 (en) * 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP5663331B2 (ja) * 2011-01-31 2015-02-04 オリンパス株式会社 制御装置、内視鏡装置、絞り制御方法及びプログラム
WO2012133431A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡装置、内視鏡キャップ及び分析方法
JP5485215B2 (ja) * 2011-04-01 2014-05-07 富士フイルム株式会社 内視鏡装置
JP5811491B2 (ja) * 2011-04-12 2015-11-11 株式会社ニコン 顕微鏡及びそのプログラム
US9041825B2 (en) * 2011-10-12 2015-05-26 Olympus Corporation Image processing apparatus
JP2013252185A (ja) * 2012-06-05 2013-12-19 Canon Inc 内視鏡及び内視鏡装置
JP6025470B2 (ja) * 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4621284A (en) * 1984-06-09 1986-11-04 Olympus Optical Co., Ltd. Measuring endoscope
CN1561639A (zh) * 2001-07-26 2005-01-05 吉温成象有限公司 一种用于在体内成像设备中控制照明或成像器增益的装置和方法
CN101505651A (zh) * 2006-08-24 2009-08-12 奥林巴斯医疗株式会社 内窥镜装置
CN101801255A (zh) * 2007-09-19 2010-08-11 奥林巴斯医疗株式会社 生物体内图像获取装置、生物体内图像接收装置以及生物体内图像获取系统
CN102215737A (zh) * 2008-11-17 2011-10-12 奥林巴斯株式会社 图像处理系统、该图像处理系统的摄像装置、接收装置以及图像显示装置
CN102370452A (zh) * 2011-10-13 2012-03-14 深圳市理邦精密仪器股份有限公司 一种电子阴道镜光源亮度自动调节的方法及装置

Also Published As

Publication number Publication date
JP6089436B2 (ja) 2017-03-08
JP2013220254A (ja) 2013-10-28
CN103371795A (zh) 2013-10-30
US20130278738A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
CN103371795B (zh) 图像处理装置和图像处理方法
EP3614171B1 (en) Image processing method, computer-readable storage medium, and electronic apparatus
JP5108093B2 (ja) 撮像装置及び撮像方法
JP5224319B2 (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
CN110567371B (zh) 用于3d信息采集的光照控制系统
CN109831660A (zh) 深度图像获取方法、深度图像获取模组及电子设备
CN104717422B (zh) 显示设备以及显示方法
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
WO2013058085A1 (ja) ステレオ撮像装置
CN103543575A (zh) 图像获取装置与其光源辅助拍摄方法
CN108156369A (zh) 图像处理方法和装置
CN110169042A (zh) 用于使相机闪光与传感器消隐同步的方法和设备
US20040252223A1 (en) Image pickup device, image pickup system and image pickup method
JP2007017503A (ja) 撮影装置
JP5444651B2 (ja) カメラ装置、その撮影方法と撮影制御プログラム
JP6460133B2 (ja) 画像処理装置と画像処理装置の作動方法および撮像装置
US9232196B2 (en) Image capturing apparatus and endoscope system
CN109561817A (zh) 电子内窥镜系统
JP2016015017A (ja) 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
JP2007005966A (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
JP7363892B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
JP2007280102A (ja) 撮影システム、画像合成装置、および画像合成プログラム
JP5227883B2 (ja) 合成映像生成システム、照明制御装置及びプログラム
WO2021142711A1 (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921