CN103748873B - 摄像装置及阴影校正方法 - Google Patents

摄像装置及阴影校正方法 Download PDF

Info

Publication number
CN103748873B
CN103748873B CN201280040309.2A CN201280040309A CN103748873B CN 103748873 B CN103748873 B CN 103748873B CN 201280040309 A CN201280040309 A CN 201280040309A CN 103748873 B CN103748873 B CN 103748873B
Authority
CN
China
Prior art keywords
mentioned
image
correction coefficient
pixel
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280040309.2A
Other languages
English (en)
Other versions
CN103748873A (zh
Inventor
河合智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103748873A publication Critical patent/CN103748873A/zh
Application granted granted Critical
Publication of CN103748873B publication Critical patent/CN103748873B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明能够切实地校正因光瞳分割造成的阴影,并且容易获得与二维图像相比阴影差较少的立体图像。具有:摄像元件(16),具有对通过了单一摄影光学系统(12)的不同区域的光束分别进行光电转换的第一像素组及第二像素组,能够生成由第一像素组的输出值构成的第一图像及由上述第二像素组的输出值构成的第二图像,该摄像元件(16)内置有像素加算单元,该像素加算单元通过将上述第一像素组的像素值和上述第二像素组的像素值相加而能够生成二维图像;及图像处理部(24),通过对上述第一及第二像素组的输出值计算存储器48中存储的校正系数,使上述第一图像的阴影形状及上述第二图像的阴影形状与上述二维图像的阴影形状一致。

Description

摄像装置及阴影校正方法
技术领域
本发明涉及能够切实地校正因光瞳分割造成的阴影并且能够容易获得与二维图像相比阴影差较少的立体图像的摄像装置及阴影校正方法。
背景技术
专利文献1中公开了一种通过光瞳分割方式获得立体图像的摄像装置。该摄像元件通过光学快门改变摄影镜头的光瞳大小,并通过摄像元件拍摄被摄体,从而取得多个视点图像。
专利文献2中公开了一种通过光瞳分割的相位差检测方式进行焦点检测的焦点检测装置。该焦点检测装置公开了如下构成:具有像素排列成二维状且错开了微透镜的光轴和像素(光电转换元件)的中心而成的摄像元件,并通过在光瞳错开的彼此的像素间进行加算运算,使不处于对焦状态时的模糊图像平滑。
专利文献3是一种通过光瞳分割型的相位差检测方式能够进行焦点检测的摄像装置,公开了进行普通像素用、焦点检测像素的A图像用及B图像用的三种阴影校正的构成。
专利文献4是一种通过光瞳分割型的相位差检测方式能够进行焦点检测的摄像装置,记载了为提高SN比而通过同一像素组内的2个像素平均像素值这一情况。
专利文献1:日本特开平10-42314号公报
专利文献2:日本特开2008-299184号公报
专利文献3:日本特开2009-244858号公报
专利文献4:日本特开2011-17800号公报
发明内容
发明要解决的问题
但是,在专利文献1中记载的、通过光瞳分割方式取得立体图像的摄像装置中,本发明人发现了以下问题:由于为了能够进行立体摄影而在左右相反方向上控制被摄体光的入射角,因此在来自透镜的主光线角度在成像位置上改变的透镜中,在右视点图像和左视点图像中产生特性极度不同的阴影。
并且,本发明人发现:通过在立体图像和二维图像中减少阴影差,能够以高画质进行立体图像的摄影(立体摄影)及二维图像的摄影(二维摄影)这两者。
本发明鉴于上述情况而作出,其目的在于提供能够切实地校正因光瞳分割造成的阴影并且能够容易获得与二维图像相比阴影差较少的立体图像的摄像装置及阴影校正方法。
用于解决问题的方法
为了实现上述目的,本发明提供一种摄像装置,其特征在于具备:单一的摄影光学系统;摄像元件,具有对通过了摄影光学系统的不同区域的光束分别进行光电转换的第一像素组及第二像素组,能够生成由第一像素组的输出值构成的第一图像及由第二像素组的输出值构成的第二图像;及阴影校正单元,通过对第一及第二像素组的输出值计算校正系数,使由第一像素组的输出值构成的第一图像的阴影形状及由第二像素组的输出值构成的第二图像的阴影形状与将第一像素组的输出值和第二像素组的输出值相加而获得的加算图像的阴影形状匹配。
根据本发明,能够生成由第一图像及第二图像构成的立体图像及将第一像素组的像素值和第二像素组的像素值相加而生成的加算图像(二维图像),通过使构成立体图像的第一图像及第二图像各自的阴影形状与加算图像的阴影形状匹配,能够切实地校正因光瞳分割造成的阴影,并且能够容易获得与二维图像相比阴影差较少的立体图像。
并且,在本发明的一个实施方式中优选为,具有存储校正系数的校正系数存储单元,阴影校正单元对第一及第二像素组的输出值计算校正系数存储单元中存储的校正系数。
而且,在本发明的一个实施方式中优选为,具有:像素加算单元,设于摄像元件内,对第一像素组的像素值和第二像素组的像素值进行模拟相加,并输出加算图像;驱动单元,是驱动摄像元件的驱动单元,对摄像元件进行:未模拟相加而生成第一及第二图像的第一驱动和通过模拟相加而生成加算图像的第二驱动;控制单元,是控制立体摄像和二维摄像的控制单元,立体摄像通过由驱动单元以第一驱动来驱动摄像元件而拍摄被摄体来取得第一及第二图像,二维摄像通过由驱动单元以第二驱动来驱动摄像元件而拍摄被摄体来取得加算图像,在以立体摄像拍摄被摄体时,使二维摄像与立体摄像同时进行;及校正系数计算单元,基于第一及第二图像和加算图像算出校正系数,并存储于校正系数存储单元。此外,模拟相加是指A/D转换前的相加,优选是电荷、电压信号及电流信号中的任一个的加法运算。
而且,在本发明的一个实施方式中优选为,具有:像素加算单元,对从摄像元件输出的第一像素组的像素值和第二像素组的像素值进行数字相加,并输出加算图像;驱动单元,驱动摄像元件;控制单元,进行通过由驱动单元驱动摄像元件而拍摄被摄体来取得第一及第二图像的立体摄像;及校正系数计算单元,基于第一及第二图像和加算图像算出校正系数,并存储于校正系数存储单元。此外,数字加算是指A/D转换后的相加,优选是数字的像素值的相加。
并且,在本发明的一个实施方式中优选为,控制单元在为了由校正系数计算单元计算出校正系数而使二维摄像与立体摄像同时进行时,与立体摄像相比,以曝光不足进行二维摄像。
并且,在本发明的一个实施方式中优选为,控制单元使二维摄像的曝光时间短于立体摄像的曝光时间。
并且,在本发明的一个实施方式中优选为,控制单元在二维摄像时,使用中性滤光片而拍摄被摄体。
而且,在本发明的一个实施方式中优选为,控制单元在二维摄像时,与立体摄像相比降低增益。
而且,在本发明的一个实施方式中优选为,校正系数计算单元将第一图像、第二图像及加算图像分别划分为多个区域,对应划分出的各区域,计算第一及第二图像中的各像素组的输出值与加算图像中的像素加算单元的输出值之比,将划分出的各区域的比作为校正系数。
并且,在本发明的一个实施方式中优选为,校正系数计算单元从第一像素组的输出值减去像素加算单元的输出值而求出第一减算结果,并进行以下的规格化:以对该第一减算结果为最大值的图像区域中的第一像素组的输出值的校正系数作为基准而使对除此以外的图像区域中的第一像素组的输出值的校正系数大于基准,并且,从第二像素组的输出值减去像素加算单元的输出值而求出第二减算结果,并进行以下的规格化:以对该第二减算结果为最大值的图像区域中的第二像素组的输出值的校正系数作为基准而使对除此以外的图像区域中的第二像素组的输出值的校正系数大于基准。
并且,在本发明的一个实施方式中优选为,校正系数计算单元从第一像素组的输出值减去像素加算单元的输出值而求出第一减算结果,且从第二像素组的输出值减去像素加算单元的输出值而求出第二减算结果,并进行以下的规格化:以全部图像区域的第一减算结果及第二减算结果中最大值的第一减算结果或第二减算结果所对应的校正系数作为基准而使除此以外的校正系数大于基准。
并且,在本发明的一个实施方式中优选为,校正系数存储单元存储:用于使第一图像的阴影形状与加算图像的阴影形状匹配的第一校正系数、用于使第二图像的阴影形状与加算图像的阴影形状匹配的第二校正系数及用于校正加算图像的阴影形状的第三校正系数,阴影校正单元对第一图像的像素值计算出第一校正系数后计算第三校正系数,并且对第二图像的像素值计算出第二校正系数后计算第三校正系数。
而且,在本发明的一个实施方式中优选为,校正系数存储单元存储:用于使第一图像的阴影形状与加算图像的阴影形状匹配的第一校正系数、用于使第二图像的阴影形状与加算图像的阴影形状匹配的第二校正系数及用于校正加算图像的阴影形状的第三校正系数,校正系数存储单元将第一校正系数乘以第三校正系数而取得第四校正系数,且将第二校正系数乘以第三校正系数而取得第五校正系数,对第一图像计算第四校正系数,且对第二图像计算第五校正系数。
而且,在本发明的一个实施方式中优选为,摄像元件的第一及第二像素组由分别具备R(红)、G(绿)、B(蓝)滤色器的多个像素构成,像素加算单元对应R、G、B各色将同色像素的像素值相加。
并且,在本发明的一个实施方式中优选为,校正系数存储单元对应R、G、B各色存储校正系数。
并且,在本发明的一个实施方式中优选为,第二像素组由两个以上的像素组构成。
并且,为了实现上述目的,本发明提供一种阴影校正方法,校正由摄像装置生成的图像的阴影,该摄像装置具有:单一的摄影光学系统;及摄像元件,具有对通过了摄影光学系统的不同区域的光束分别进行光电转换的第一像素组及第二像素组,该阴影校正方法的特征在于,对第一及第二像素组的输出值计算校正系数,从而使由第一像素组的输出值构成的第一图像的阴影形状及由第二像素组的输出值构成的第二图像的阴影形状与将第一像素组的像素值和第二像素组的像素值相加而获得的加算图像的阴影形状匹配。
发明效果
根据本发明,能够切实地校正因光瞳分割造成的阴影,并且能够容易获得与二维图像相比阴影差较少的立体图像。
附图说明
图1是摄像装置的一例的框图。
图2是表示摄像元件的一例的要部详情的构成图。
图3是用于说明立体摄像的原理的示意图。
图4A是表示现有像素的要部放大图,图4B是本发明中的像素的要部放大图。
图5(A)是用于说明第一像素组中的阴影校正的说明图,(B)是用于说明第二像素组中的阴影校正的说明图。
图6是用于说明摄像元件的像素加算功能的说明图。
图7是示意性地表示摄像元件中内置的像素加算单元的一例的示意图。
图8是表示阴影校正处理的第一实施例的流程的流程图。
图9是表示A面图像及B面图像的一例的图。
图10是表示A面用阴影校正表格及B面用阴影校正表格的一例的图。
图11是表示C面用阴影校正表格的一例的图。
图12是表示阴影校正处理的第二实施例的流程的流程图。
图13是表示阴影校正系数的计算处理的一例的流程的流程图。
图14A~C是表示A面阴影校正表格、C面图像的阴影形状及A面图像的阴影形状各自的一例的图。
图15是用于说明使C面图像曝光不足的说明图。
图16是表示缩短C面图像的曝光时间时的例子的时序图。
图17是表示使用中性滤光片(ND滤光片)时的例子的时序图。
图18是表示降低C面图像的增益时的例子的时序图。
图19是表示A面图像及C面图像的水平方向上的阴影形状的一例的图表。
图20是表示A面阴影校正的校正增益形状的一例的图表。
图21是表示A面图像、B面图像及C面图像的水平方向上的阴影形状的一例的图表。
图22是表示A面阴影校正及B面阴影校正的校正增益形状的一例的图表。
图23是表示RGB各色中的灵敏度的例子的图表。
图24是表示按RGB区别的阴影校正增益的表格的图。
图25是局部表示具有4个像素组的摄像元件的一例的图。
图26是用于说明4个像素加算的说明图。
具体实施方式
以下,根据附图详细说明本发明的实施方式。
图1是表示本发明涉及的摄像装置的一例的整体构成的框图。
摄像装置10构成为包括:具有摄影镜头12及光圈14的单一的摄影光学系统15;经由摄影光学系统15拍摄被摄体的摄像元件16;机械快门17,能够切断摄影光学系统11和摄像元件16之间而对摄像元件16进行遮光;A/D转换器20,将从摄像元件16输出的图像(像素信号)从模拟转换为数字;图像处理部24,对从A/D转换器20输出的图像进行各种图像处理;编码器28,将由图像处理部24进行图像处理后的图像能够在显示部30输出地进行编码;显示部30,显示由编码器28编码后的图像;作为驱动单元的设备控制部32,驱动摄影光学系统15、摄像元件16及机械快门17;操作部38,接收来自用户的指示输入;CPU40,控制摄像装置10的各部;及也作为校正系数存储单元的存储器48,存储图像及各种信息。此外,在本构成的摄像装置10中,CPU40相当于下述的控制单元及校正系数计算单元,且是阴影校正单元的一个构成要素,但也可以独立设置与各单元或单元的一部分对应的CPU。
此外,摄像元件16也可以是与A/D转换器20形成一体的摄像元件。在这种情况下,以下说明的A/D转换器是指摄像元件16内的A/D转换功能。
图2(A)~(C)是表示摄像元件16的一例的一部分的构成图。图2(A)表示蜂窝排列的第一像素组(也称为“A面像素组”)及第二像素组(也称为“B面像素组”),图2(B)仅表示第一像素组,图2(C)仅表示第二像素组。
如图2(A)~(C)所示,本示例的摄像元件16分别具有排列成矩阵状的垂直方向(附图的y轴方向)的奇数行的第一像素(也称为“A面像素”)和垂直方向的偶数行的第二像素(也称为“B面像素”),能够将在第一像素组、第二像素组中分别进行光电转换后的各像素信号分别作为第一视点图像(也称为“A面图像”)、第二视点图像(也称为“B面图像”)独立地读出。
如图2所示,在摄像元件16的奇数行(1、3、5……)中,在分别具有R(红)、G(绿)、G(蓝)的滤色器的像素中,GRGR……的像素排列的水平行和BGBG……的像素排列的水平行交替设置。另一方面,偶数行(2、4、6……)的像素与奇数行一样,GRGR……的像素排列的水平行和BGBG……的像素排列的水平行交替设置,并且对于奇数行的像素,像素彼此在各行方向上错开二分之一的像素间距而配置。
图3是表示摄影镜头12、光圈14及摄像元件16的第一像素PDa、第二像素PDb的各1个像素的示意图。图4A~C是图3的要部放大图。
图4A表示现有摄像元件的像素(光电二极管)及其周边。以往,通过了摄影镜头12的射出光瞳的光束经由微透镜L不受限制(遮挡)地入射到光电二极管PD。
图4B及C表示本发明中的摄像元件的一例的像素及其周边。在摄像元件16的各光电二极管PD上形成遮光部件16A,通过该遮光部件16A,在本例中,各光电二极管PD的受光面的左半部分或右半部分被遮光。通过改变遮光部件16A的端部相对于图中的微透镜L的光轴lc的偏位量而形成遮光部件16A,即,通过改变遮光部件16的面积(遮光量),能够改变光束相对于各光电二极管PD的入射角度及各光电二极管PD的受光量。换言之,通过改变遮光部件16A的开口16B的面积(开口面积),能够改变光束相对于各光电二极管PD的入射角度及各光电二极管PD的受光量。
上述构成的摄像元件16构成为,在第一像素和第二像素中,通过遮光部件16A限制光束的区域(右半部分、左半部分)不同。
并且,不限于此,也可以不设置遮光部件16A,而使微透镜L和光电二极管PD相对地在左右方向上错开,通过该错开的方向来限制入射到光电二极管PD的光束。也可以通过对2个像素(第一像素和第二像素)设置1个微透镜来限制入射到各像素的光束。
如图3所示,在第一像素PDa和第二像素PDb中,通过遮光部件16A限制光束(遮光)的遮光区域不同。即,遮光部件16A具有作为光瞳分割部件的功能,在通过了摄影镜头12的射出光瞳的光束中,使通过了射出光瞳两半中的一半的光束入射到第一像素PDa,使通过了射出光瞳两半中的另一半的光束入射到第二像素PDb。
另外,在图3中,示意性地描绘了通过了射出光瞳的右半部分的光束入射到第一像素PDa、通过了射出光瞳的左半部分的光束入射到第二像素PDb的情况,但实际上,关于通过了射出光瞳的任一半(右半部分、左半部分)的光束是否入射到第一像素PDa(或第二像素PDb),取决于微透镜L、遮光部件16A及光电二极管PD(像素)的构造。
并且,在本实施方式中,以在水平方向(图3中的x轴方向)上进行光瞳分割的情况为例进行说明,但本发明不限于此,也可以在垂直方向上进行光瞳分割,或在水平方向及垂直方向两个方向上进行光瞳分割。
返回到图1,摄像元件16中蓄积的信号电荷(像素值)基于从设备控制部32施加的读出信号,作为与信号电荷对应的电压信号被读出。从摄像元件16读出的电压信号被施加到A/D转换器20。A/D转换器20将依次输入的像素信号转换为数字的像素信号并输出。此外,在本示例中,各像素的R、G、B信号(R、G、B各色的图像信号)在摄像元件16内通过模拟而放大后,向A/D转换器20输出。也可以在摄像元件16和A/D转换器20之间设置模拟信号处理部,由该模拟信号处理部进行放大等处理。
图像处理部24对经由A/D转换器20输入的数字的图像信号进行阴影校正处理、偏移处理、白平衡校正处理、YC处理等预定的信号处理。
在此,如图2(B)及(C)所示,从摄像元件16的奇数行的第一像素读出的信号作为一个视点图像(A面图像)的像素值被处理,从偶数行的第二像素读出的信号作为另一个视点图像(B面图像)的像素值被处理。
由图像处理部24处理后的A面图像及B面图像被输入到存储器48。从存储器48读出的图像在视频编码器28中被编码,经由驱动器29输出到设于相机背面的立体显示用的显示部30,由此使立体或二维的被摄体图像显示于显示部30的显示画面上。
本示例的显示部30是能够将立体图像(第一视点图像及第二视点图像)通过视差屏障分别作为具有预定的指向性的指向性图像显示的立体显示单元,但不限于此,也可以是使用柱面透镜的装置,或者通过使用偏光眼镜、液晶快门眼镜等专用眼镜而能够分别观察各视点图像的装置。
并且,当存在操作部38的快门按钮(也称为“摄影按钮”)的第一阶段的按下(半按)时,CPU40开始AF控制及AE控制,经由设备控制部32进行使摄影镜头12内的聚焦镜头移动到对焦位置的控制。
由CPU40进行AE控制及AF控制,当存在快门按钮的第二阶段的按下(全按)时,与该按下响应,从A/D转换器20输出的第一像素及第二像素所对应的A面图像(第一视点图像)及B面图像(第二视点图像)的2张图像数据被输入到存储器48并被存储。
存储器48中存储的2张图像数据由图像处理部24适当读出,在此进行包括阴影校正在内的预定的信号处理。阴影校正后的图像数据再次被存储于存储器48。
如上所述,摄像元件16对应R(红)、G(绿)、B(蓝)各色具有多个像素,并且对通过了摄影镜头12的射出光瞳的不同区域(例如右半部分及左半部分)的光束分别进行光电转换,从而取得多个视点图像。
接着,说明本实施方式的阴影校正单元(CPU40及图像处理部24)中的阴影校正。在多个视点图像(A面图像、B面图像)之间,沿着光瞳分割方向(在本实施方式中是左右方向)的阴影校正量不同,并且对应R、G、B各色沿着光瞳分割方向的阴影校正量也不同。
图5(A)及(B)分别是用于说明第一像素组及第二像素组中的R、G、B像素的受光量的说明图。在图5(A)所示的第一像素组中,在图5(B)的第二像素组中,与中心部R1相比,周边部(R2、R3、R4、R5)的各像素的受光量均变小。并且,在图5(A)所示的第一像素组中,在光瞳分割方向X(左右方向)上,与附图中的左端侧相比,右端侧的受光量变小。并且,在图5(B)所示的第二像素组中,在光瞳分割方向X(左右方向)上,与附图中的右端侧相比,左端侧的受光量变小。
本实施方式的阴影校正单元对应R、G、B各色,对于从第一像素组的各像素输出的像素信号(A面图像),在光瞳分割的左右方向(水平方向)上,与附图中左端侧的周边部R2相比,在附图中右端侧的周边部R3加强阴影校正,对于从第二像素组的各像素输出的像素信号(B面图像),在光瞳分割的左右方向上,与附图中左端侧的周边部R2相比,在附图中右端侧的周边部R3减弱阴影校正(与R3相比,在R2加强阴影校正)。
并且,本实施方式的阴影校正单元还具有以下功能:对于各视点图像(第一视点图像及第二视点图像),以与摄影镜头12的光轴对应的中心点为基准,随着从各视点图像的中心离开而加强同心圆状的阴影校正。但在本发明中,也存在不进行该阴影校正的情况。
本实施方式的阴影校正单元对第一像素组(A面像素组)的输出值及第二像素组(B面像素组)的输出值计算存储器48中存储的A面阴影校正表格及B面阴影校正表格的校正系数,从而使由第一像素组的输出值构成的A面图像的阴影形状及由第二像素组的输出值构成的B面图像的阴影形状与由像素加算单元的输出值构成的C面图像(加算图像)的阴影形状匹配(A面阴影校正及B面阴影校正)。
并且,本示例的本实施方式的阴影校正单元对摄像元件16内的像素加算单元的输出值计算存储器48中存储的C面阴影校正表格的校正系数,从而校正C面图像(加算图像)的阴影形状(C面阴影校正)。并且,本示例的图像处理部24在执行了上述独立的阴影校正(A面阴影校正及B面阴影校正)后,对A面图像的像素值及B面图像的像素值计算存储器48中存储的C面阴影校正表格的校正系数,从而进一步校正A面图像及B面图像的阴影形状(AB面阴影校正)。以下,也将这些C面阴影校正及AB面阴影校正称为“共通的阴影校正”。
此外,图像上的光瞳分割方向与实际空间上的光瞳分割方向(即将摄影镜头12的光瞳被分割的区域彼此连接的方向)对应。在本实施方式中,将光瞳分割为左半部分和右半部分,因此光瞳分割方向是左右方向(X方向)。如图3所示,在使摄影镜头12的光轴中心不弯曲而径直朝向摄像元件16时,摄像元件16中的光瞳分割方向是左右方向(X方向)。但在所谓弯曲光学系统中,不言而喻,摄影镜头12中的光瞳分割方向是沿着弯曲的光路投影到摄像元件16的受光面的方向。
图6是用于说明摄像元件16的像素加算功能的说明图。本示例的摄像元件16内置像素加算单元,该像素加算单元通过将A面像素组的像素值和B面像素组的像素值相加来生成C面像素(加算图像)。该像素加算单元将A面像素组的像素值和B面像素组的像素值模拟相加。此外,模拟相加是指A/D转换前的相加,是电荷、电压信号及电流信号中的任一个的加法运算。如图6所示,通过彼此相邻的“R”像素和“R”像素加算像素值,通过彼此相邻的“G”像素和“G”像素加算像素值,通过彼此相邻的“B”像素和“B”像素加算像素值。
图7是为了说明模拟的像素加算的一例而示意性地表示摄像元件16中内置的像素加算单元的一例的图。在图7中,本示例的摄像元件16具有放大器AMP,第一开关SWa是对是否将第一像素PDa的蓄积电荷(模拟的像素值)输入到放大器AMP进行切换的开关设备,第二开关SWb是对是否将第二像素PDb的蓄积电荷(模拟的像素值)输入到放大器AMP进行切换的开关设备。在二维摄像时,将两个开关SWa及SWb同时接通,将第一像素PDa的蓄积电荷和第二像素PDb的蓄积电荷输入到放大器AMP,从而使像素相加且放大后的像素信号(模拟的像素加算值)向A/D转换器20输出。在立体摄像时,通过将第一SWa接通且将第二SWb断开,仅第一像素PDa的蓄积电荷输入到放大器AMP,放大后的像素信号(模拟的第一像素值)向A/D转换器20输出,通过将第一SWa断开且将第二SWb接通,仅第二像素PDb的蓄积电荷输入到放大器AMP,放大后的像素信号(模拟的第二像素值)向A/D转换器20输出。在本示例中,包括放大器AMP在内地构成像素加算单元。
此外,图7表示在电荷状态下加算的示例,但本发明不限于此。在图7的构成中,在立体摄像时无法同时读出第一像素PDa和第二像素PDb,但不言而喻也可以是能够同时读出第一像素PDa和第二像素PDb的构成。并且,本发明的像素加算不限于在蓄积电荷的状态下进行像素加算的情况,也可以在电压状态下进行像素加算。例如,在由放大器放大后的像素值的电压之间进行加算。并且,不限于通过模拟的信号处理进行像素加算的情况,也可以通过数字的信号处理进行像素加算。
如本示例的像素加算单元19(SWa、SWb、AMP)所示,在以模拟的像素值进行相加时,与以数字的像素值进行像素加算时相比,具有可获得高精度的像素加算值的优点。
图8是表示阴影校正处理的第一实施例的流程的流程图。本处理由CPU40按照程序来执行。
本处理表示立体摄像时的阴影校正处理。该处理由CPU40按照程序来实行。
在本示例中,由设备控制部32控制摄像元件16,由摄像元件16立体拍摄被摄体。
首先,取得A面图像(第一图像)(步骤S102)。图9的左侧表示A面图像的一例。
接着,从存储器48取得A面阴影校正表格(步骤S104)。图10的上侧表示A面阴影校正表格的一例。
接着,基于A面阴影校正表格,使A面图像的阴影形状与C面图像的阴影形状一致(步骤S106)。
接着,将阴影校正后的A面图像保存到存储器48中(步骤S108)。
接着,取得从摄像元件16输出的B面图像(第二图像)(步骤S110)。图9的右侧表示B面图像的一例。
接着,从存储器取得B面阴影校正表格(步骤S112)。图10的下侧表示B面阴影校正表格的一例。
接着,基于B面阴影校正表格,使B面图像的阴影形状接近C面图像的阴影形状(步骤S114)。接近是指相同或相似的形状。
接着,将阴影校正后的B面图像保存到存储器48中(步骤S116)。
接着,取得A面图像(步骤S118)。
接着,取得B面图像(步骤S120)。
接着,基于C面阴影校正表格校正A面图像的阴影,并且校正B面图像的阴影(步骤S122)。C面阴影校正表格的一例如图11所示。
在本示例中,对A面图像的各像素值乘以A面阴影校正表格的校正增益(第一校正系数)后,乘以C面阴影校正表格的校正增益(第三校正系数)。并且,对B面图像的各像素值乘以B面阴影校正表格的校正增益(第二校正系数)后,乘以C面阴影校正表格的校正增益(第三校正系数)。
并且,CPU40(校正系数计算单元)将A面图像、B面图像及C面图像分别划分为多个区域,对应划分的各区域,算出A面图像及B面图像中的各像素组的输出值与C面图像中的图像处理部24(像素加算单元)的输出值之比,将划分的各区域的比作为校正系数存储于存储器48中。
图12是表示阴影校正处理的第二实施例的流程的流程图。本处理由CPU40按照程序来执行。在本示例中,由设备控制部32控制摄像元件16,由摄像元件16立体拍摄被摄体。
首先,从存储器48取得A面阴影校正表格(步骤S202)。A面阴影校正表格的一例如图10上侧所示。
接着,从存储器48取得C面阴影校正表格(步骤S204)。
接着,对A面阴影校正表格的校正增益(第一校正系数)乘以C面阴影校正表格的校正增益(第三校正系数)(步骤S206)。
接着,从存储器48取得B面阴影校正表格(步骤S208)。B面阴影校正表格的一例如图10下侧所示。
接着,从存储器48取得C面阴影校正表格(步骤S210)。
接着,对B面阴影校正表格的校正增益(第二校正系数)乘以C面阴影校正表格的校正增益(第三校正系数)(步骤S212)。
接着,取得A面图像(第一图像)(步骤S214)。
接着,从存储器48取得A面阴影校正表格(步骤S216)。
接着,基于A面阴影校正表格,校正A面图像的阴影(步骤S218)。
接着,将阴影校正后的A面图像保存到存储器48中(步骤S220)。
接着,取得B面图像(第二图像)(步骤S222)。
接着,从存储器48取得B面阴影校正表格(步骤S224)。
接着,基于B面阴影校正表格,校正B面图像的阴影(步骤S226)。
接着,将阴影校正后的B面图像保存到存储器48中(步骤S228)。
在本示例中,对A面阴影校正表格的校正增益(第一校正系数)乘以C面阴影校正表格的校正增益(第三校正系数),取得新的A面阴影校正表格的校正增益(第四校正系数),并且对B面阴影校正表格的校正增益(第二校正系数)乘以C面阴影校正表格的校正增益(第三校正系数),取得新的B面阴影校正表格的校正增益(第五校正系数)。并且,对取得的A面图像(第一图像)乘以新的A面阴影校正表格的校正增益(第四校正系数),并对取得的B面图像(第二图像)乘以新的B面阴影校正表格的校正增益(第五校正系数)。
如上所述,摄像装置10具有:单一的摄影光学系统15;摄像元件16,具有对通过了摄影光学系统15的不同区域的光束分别进行光电转换的第一像素组及第二像素组,能够生成由第一像素组的输出值构成的A面图像(第一图像)及由第二像素组的输出值构成的B面图像(第二图像);像素加算单元19,通过将第一像素组的像素值和第二像素组的像素值相加,能够生成C面图像(加算图像);存储器48,是存储相对于第一像素组及第二像素组的输出值的校正系数的存储器,存储用于使由第一像素组的输出值构成的A面图像的阴影形状及由第二像素组的输出值构成的B面图像的阴影形状与由像素加算单元19的输出值构成的C面图像(加算图像)的阴影形状匹配的校正系数;及阴影校正单元(CPU40及图像处理部24),通过对第一像素组及第二像素组的输出值计算存储器48中存储的校正系数,使由第一像素组的输出值构成的A面图像的阴影形状及由第二像素组的输出值构成的B面图像的阴影形状与由像素加算单元19的输出值构成的C面图像(加算图像)的阴影形状匹配。本示例的像素加算单元设于摄像元件16内,对第一像素组及第二像素组的输出值模拟相加。并且,本示例的摄像装置10具有:设备控制部32,是驱动摄像元件16的设备控制部32,对摄像元件16进行:不加算像素值而生成A面图像及B面图像的第一驱动和进行像素加算单元的像素值加算而生成C面图像(加算图像)的第二驱动;及CPU40,是控制立体摄像和二维摄像的CPU,上述立体摄像通过由设备控制部32以第一驱动来驱动摄像元件16而拍摄被摄体来取得A面图像及B面图像,上述二维摄像通过由设备控制部32以第二驱动来驱动摄像元件16而拍摄被摄体来取得C面图像(加算图像),在以立体摄像拍摄被摄体时,使二维摄像在与立体摄像相同的摄影条件下同时进行。该CPU40作为基于A面图像及B面图像和C面图像(加算图像)算出校正系数并存储于存储器48中的校正系数计算单元而发挥功能。
图13是表示阴影校正系数的计算处理的一例的流程的流程图。本处理通过CPU40的控制按照程序来执行。
此外,在本示例中,在立体摄影模式及二维摄影模式中,立体摄影模式由操作部38预先选择。例如,通过立体/二维摄影模式切换按钮来切换摄影模式。
首先,判定操作部38的摄影按钮(快门按钮)是否被接通(步骤S302)。
当摄影按钮被接通时,进行AB面被摄体摄像(立体摄像)(步骤S304),将A面图像及B面图像保存到存储器48中(步骤S306),接着,使进行A面及B面的像素加算的C面被摄体摄像(二维摄像)在与AB面被摄体摄像(立体摄像)相同的摄影条件下来进行(步骤S308),将C面图像保存到存储器48中(步骤S310)。在此,相同的摄影条件至少包括光圈14的光圈值及摄影镜头12的变焦位置。这是因为,当这些摄影条件改变时,成为阴影特性的分布改变的重要因素。曝光时间等存在以曝光不足进行二维摄像而在立体摄像和二维摄像中不同的方式。在后文中论述该方式。通过设备控制部32以立体摄像驱动摄像元件16并拍摄被摄体,从而取得A面图像及B面图像,并且,通过设备控制部32以二维摄像驱动摄像元件16并拍摄被摄体,从而取得C面图像。
接着,基于A面图像和C面图像算出A面阴影校正表格的校正增益(校正系数)(步骤S312),基于B面图像和C面图像算出B面阴影校正表格的校正增益(校正系数)(步骤S314)。
这样一来,在立体拍摄被摄体时,算出阴影校正的校正系数并存储于存储器48中,从而无需事先算出校正系数并存储于存储器48中。在事先准备校正系数的方式中,根据变焦位置、光圈值不同,阴影特性发生变化,因此需要根据多种摄影条件来准备大量的校正系数,但在本示例中,在摄影时进行校正系数的计算(测定),因此无需准备大量的校正系数。并且,即使在摄影光学系统15是更换式的情况下,也无需准备与各种摄影光学系统(更换镜头)对应的校正系数。
图14A表示A面阴影校正表格的一例。本示例是将图像在水平方向及垂直方向上分为8×8个、共计64个区域(区域)的情况。图中的x、y是分别满足0≤x<8、0≤y<8的整数。当将对(x,y)区域的A面图像的像素值的增益(校正系数)设为gain_A(x,y)、将图14B所示的A面的输出(由C面图像的像素值表示的A面像素组的输出值)设为Signal_A(x,y)、将图14C所示的C面的输出(由C面图像的像素值表示的像素加算单元的输出值)设为Signal_C(x,y)时,gain_A(x,y)如下式所示。
gain_A(x,y)=Signal_C(x,y)/Signal_A(x,y)
如将通过该式算出的gain_A乘以通过立体摄像获得的A面图像的像素值,则能够使A面图像的阴影形状与C面图像的阴影形状相等。
即,校正系数计算部将A面图像及C面图像分别划分为多个区域,对应划分的各区域,将A面图像中的A面像素组的输出值与C面图像中的像素加算的输出值之比作为A面图像的校正增益(gain_A)来计算。同样地,将B面图像及C面图像分别划分为多个区域,按照划分的各区域,将B面图像中的B面像素组的输出值与C面图像中的像素加算的输出值之比作为B面图像的校正增益(gain_B)来计算。
此外,也可以对该示例中列举的64个区域的校正增益进行插值,求出各像素的校正增益,作为实际相乘的增益。插值能够通过线形插值、样条插值等进行。
CPU40如图15(A)及图15(B)所示,在为了计算校正增益而使二维摄像与立体摄像同时进行时,与立体摄像(A面、B面图像的取得)相比,以曝光不足进行二维摄像(C面图像的取得)。
在图15(A)所示的A面图像及B面图像中,山顶部分存在饱和的情况,因此在该部分有可能无法正确地算出校正增益。因此,如图15(B)所示,降低曝光进行摄影,算出适当的校正增益。即,在进行像素加算的二维摄影中,以与立体摄影时相比曝光不足的方式,基于与曝光不足对应的曝光值进行摄像。
图16是表示使二维摄像的曝光时间小于立体摄像的曝光时间时的时序图。
如图16所示,首先,CPU40打开机械快门17,以适当的曝光时间进行A面及B面的像素组的曝光。接着,CPU40关闭机械快门17,进行A面及B面的像素组的蓄积电荷(像素值)的读出。在A面及B面的像素组的像素值的读出结束后,CPU40立刻打开机械快门17,以比适当的曝光时间(A面及B面的像素组的曝光时间)短的曝光时间进行C面的曝光。接着,CPU40关闭机械快门17,进行C面像素组的蓄积电荷的读出。即,CPU40进行摄像元件16内的像素加算单元的输出值的取得。
图17表示二维摄像时使用中性滤光片拍摄被摄体时的时序图。中性滤光片在图1内省略了图示,其在摄影光学系统15和摄像元件16之间(或摄影光学系统15的内部)设成通过设备控制部32的控制能够插入及拔出。
以下,仅说明与图16所示的情况的不同点。如图17所示,在无中性滤光片的状态下进行A面及B面的像素组的曝光,在刚结束了A面及B面的像素组的像素值的读出后,CPU40将中性滤光片插入到摄影光学系统15和摄像元件16之间(或摄影光学系统15的内部)。并且,CPU40打开机械快门17,在有中性滤光片的状态下进行C面的曝光。
图18表示二维摄像时与立体摄像相比降低放大增益时的时序图。
以下,仅说明与图16所示的情况的不同点。如图18所示,CPU40在二维摄像(C面曝光及C面读出)时,降低放大增益,拍摄被摄体。放大可以在任意处进行,例如在摄像元件16的内部进行。也可以在摄像元件16和A/D转换器20之间设置放大器,通过该放大器来进行。
接着,使用图19及图20说明校正系数的规格化的第一实施例。
在第一实施例中,CPU40(校正系数计算单元)从第一像素组的输出值SA(A面输出值)减去像素加算单元的输出值SC(C面输出值),求出SA-SC。SA-SC是带有正负符号的值。在图19中,附有三角形标记的Xma的位置是SA-SC在整个图像区域中变为最大值的位置。CPU40进行以下的规格化:以对整个图像区域中SA-SC变为最大值的图像区域中的A面图像的像素值的校正增益(校正系数)设为“1”而使对除此之外的图像区域中的A面像素的校正增益比“1”大。在图20中,在Xma的位置,校正增益=1,在除此之外的位置,校正增益>1。
同样地,CPU40从第二像素组(B面像素组)的输出值SB(B面输出值)减去像素加算单元的输出值SC(C面输出值),求出SB-SC。SB-SC是带有正负符号的值。CPU40进行以下的规格化:以对整个图像区域中SB-SC变为最大值的图像区域中的B面图像的像素值的校正增益(校正系数)设为“1”而使对除此之外的图像区域中的B面像素的校正增益比“1”大。
在图19所示的阴影形状的情况下,如图20所示,当将最低的校正增益设为“1”时,不再乘以负的校正增益,因此能够防止信号输出饱和时因阴影校正而不输出白色的现象。
接着,使用图21及图22说明校正系数的规格化的第二实施例。
在第二实施例中,CPU40(校正系数计算单元)从第一像素组的输出值SA(A面输出值)减去像素加算单元的输出值SC(C面输出值),求出SA-SC,并且从第二像素组的输出值SB(B面输出值)减去像素加算单元的输出值SC(C面输出值),求出SB-SC。SA-SC及SB-SC是带有正负符号的值。在图19中,附有三角形标记△的Xmab的位置是整个图像区域的SA-SC及SB-SC中SA-SC或SB-SC变为最大值的位置。CPU40进行以下的规格化:以整个图像区域的第一减算结果SA-SC及第二减算结果SB-SC中最大值(SA-SC或SB-SC)所对应的图像区域中的校正系数即对最大值所对应的图像(在本示例中是B面图像)的校正系数设为“1”而使除此之外的校正系数比“1”大。在图22中,在Xmab的位置,相对于B面输出值的校正增益=1,除此之外校正增益>1。
在图21所示的阴影形状时,如图22所示,当将最低的校正增益设为“1”时,不再乘以负的校正增益,因此能够防止信号输出饱和时因阴影校正而不输出白色的现象。而且,在本示例中,A面及B面的亮度一致。
摄像元件16的第一像素组及第二像素组由分别具有R(红)、G(绿)、B(蓝)滤色器的多个像素构成,像素加算单元对应R、G、B各色加算同色像素的像素值。
图23表示RGB的分光特性例。如图23所示,通过使用RGB的原色滤光片,能够取得全彩的立体图像。
存储器48如图24所示,对应R、G、B各色存储校正系数。图24所示的阴影校正表格具有A面R用、A面G用、A面B用、B面R用、B面G用、B面B用的各自的校正系数表格。
以上,以具有2个像素组的2个视点的摄像元件16为例进行了说明,也可以是取得4个视点以上的相位差图像的摄像元件。上述各阴影校正处理也能够适用于4个视点以上的相位差图像。
图25是表示4个视点的摄像元件16的构成例的图。
如图25所示,摄像元件16的受光面上配置有:红、蓝或绿的滤色器;与该滤色器对应的像素A、B、C、D的4个视点的像素组;及相对于该4个像素组的微透镜ML。由滤色器、4个像素组、微透镜构成的受光单位排列成拜耳型。
拜耳排列为如下构成:在摄像元件16的半导体基板表面部形成为正方栅格状的上述4个像素组上排列红色(R,r)、绿色(G,g)、蓝色(B,b)三原色系的滤色器时,将交替排列红色与绿色的各滤光片而成的行和交替排列绿色与蓝色的各滤光片而成的行在列方向上交替设置。
在图25中,XY平面是摄像元件16的受光面,X是行方向,Y方向是列方向。从摄影者观察,像素A/C位于左侧,像素B/D位于右侧。Z是镜头12的光轴方向,以朝向被摄体的方向(在该附图中是从纸面表面朝向背面的方向)为正的方向。以下,将从像素A、B、C、D读出的图像数据分别称为A面的图像数据、B面的图像数据、C面的图像数据、D面的图像数据。
拜耳排列为如下构成:在摄像元件16的半导体基板表面部形成为正方栅格状的上述4个像素组上排列红色(R,r)、绿色(G,g)、蓝色(B,b)三原色系的滤色器时,将交替排列红色与绿色的各滤光片而成的行和交替排列绿色与蓝色的各滤光片而成的行在列方向上交替设置。
4个视点的情况的校正处理如下进行。即,如图26所示,取得A面~D面的图像数据,全部合成A面~D面的图像数据,从而获得加算图像X。
在4个像素组(A~D面像素组)的情况下,像素加算单元对应4个像素间彼此对应的4个像素的各组合来加算像素值,从而生成1张加算图像X。存储器48存储用于使由A~D面像素组的各像素组的输出值构成的各视点图像(A~D面图像的各个图像)的阴影形状与由像素加算单元的输出值构成的加算图像X的阴影形状匹配的校正系数。CPU40作为阴影校正单元,通过对各像素组(A~D面像素组的各个像素组)的输出值计算存储器48中存储的校正系数,使由各像素组(A~D面像素组的各个像素组)的输出值构成的各视点图像(A~D面图像)的阴影形状与由像素加算单元的输出值构成的加算图像X的阴影形状匹配。
此外,以在摄像元件16内进行像素值的加算(像素加算)的情况为例进行了说明,但本发明不限于此。也可以进行通过A/D转换器20从模拟转换为数字的A面图像及B面图像的像素加算(也称为“图像加算”)。
说明在摄像元件16之外进行像素加算时的阴影校正。在图1中,CPU40通过设备控制部32驱动摄像元件16并拍摄被摄体。即,在摄像元件16进行取得A面图像及B面图像的立体摄像。从摄像元件16输出的A面图像及B面图像被输入到图像处理部24。图像处理部24加算A面图像的数字像素值和B面图像的数字像素值,生成C面图像(加算图像)。CPU40基于从摄像元件16输出的A面图像及B面图像和C面图像,算出校正系数,并存储于存储器48中。基于A面图像及B面图像和C面图像的校正系数的计算与在摄像元件16内进行像素加算时相同,在此省略说明。
说明在摄像元件16之外进行像素加算时的校正系数的计算。在图1中,CPU40基于从摄像元件16输出的A面图像及B面图像和从输入了A面图像及B面图像的图像处理部24中输出的C面图像(加算图像),算出校正系数,并将该校正系数存储于存储器48中。基于A面图像及B面图像和C面图像的校正系数的计算详情与在摄像元件16外进行像素加算时相同,在此省略说明。
并且,以摄像元件16由两个像素组构成并进行两个像素组的像素加算的情况为例进行了说明,但本发明不限于此。例如如图25所示,也可以使用具有4个像素组的摄像元件16,将4个像素组的像素值相加。
本说明书公开了一种摄像装置,其特征在于具有:单一的摄影光学系统;摄像元件,具有对通过了摄影光学系统的不同区域的光束分别进行光电转换的多个像素组,能够生成由多个像素组各自的输出值构成的多个视点图像;像素加算单元,对应多个图像组之间彼此对应的多个像素的各组合来加算像素值,从而能够生成一张加算图像;校正系数存储单元,是存储对各像素组的输出值的校正系数的校正系数存储单元,存储用于使由各像素组的输出值构成的各视点图像的阴影形状与由像素加算单元的输出值构成的加算图像的阴影形状匹配的校正系数;及阴影校正单元,通过对各像素组的输出值计算校正系数存储单元中存储的校正系数,使由各像素组的输出值构成的各视点图像的阴影形状与由像素加算单元的输出值构成的加算图像的阴影形状匹配。
阴影调整能够通过出厂时、白壁摄影时或每次摄影时拍摄两张来实施。
此外,本发明不限于在本说明书中说明的示例、附图中图示的示例,在不脱离本发明主旨的范围内,不言而喻可以进行各种设计变更、改良。
附图标记说明
10  摄像装置
12  摄影镜头
14  光圈
15  摄影光学系统
16  摄像元件
20  A/D转换器(在附图中记载为AD转换器)
24  图像处理部
28  编码器
32  设备控制部
38  操作部
48  存储器

Claims (17)

1.一种摄像装置,其特征在于具备:
单一的摄影光学系统;
摄像元件,具有对通过了上述摄影光学系统的不同区域的光束分别进行光电转换的第一像素组和第二像素组,并生成由上述第一像素组的输出值构成的第一图像和由上述第二像素组的输出值构成的第二图像;及
阴影校正单元,使对上述第一像素组的输出值进行了校正的第一图像的阴影形状和对上述第二像素组的输出值进行了校正的第二图像的阴影形状与将上述第一像素组的输出值和上述第二像素组的输出值相加而获得的加算图像的阴影形状匹配。
2.根据权利要求1所述的摄像装置,其特征在于,
上述阴影校正单元能够对上述第一像素组和第二像素组的输出值计算校正系数,
上述摄像装置具备存储上述校正系数的校正系数存储单元,
上述阴影校正单元利用存储于上述校正系数存储单元的上述校正系数对上述第一像素组和第二像素组的输出值进行校正。
3.根据权利要求2所述的摄像装置,其特征在于,具备:
像素加算单元,设于上述摄像元件内,对上述第一像素组的像素值和上述第二像素组的像素值进行模拟相加,并输出上述加算图像;
驱动单元,是驱动上述摄像元件的驱动单元,对上述摄像元件进行:不进行模拟相加而生成上述第一图像和第二图像的第一驱动和通过模拟相加而生成上述加算图像的第二驱动;及
控制单元,是控制立体摄像和二维摄像的控制单元,上述立体摄像通过由上述驱动单元以上述第一驱动来驱动上述摄像元件而拍摄被摄体来取得上述第一图像和第二图像,上述二维摄像通过由上述驱动单元以上述第二驱动来驱动上述摄像元件而拍摄被摄体来取得上述加算图像,在以上述立体摄像拍摄被摄体的情况下,上述控制装置使上述二维摄像与上述立体摄像同时进行,
上述阴影校正单元具备校正系数计算单元,该校正系数计算单元基于上述第一图像及第二图像和上述加算图像而算出上述校正系数,并使上述校正系数存储于上述校正系数存储单元。
4.根据权利要求2所述的摄像装置,其特征在于,具有:
像素加算单元,对从上述摄像元件输出的上述第一像素组的像素值和上述第二像素组的像素值进行数字相加,并输出上述加算图像;
驱动单元,驱动上述摄像元件;及
控制单元,进行通过由上述驱动单元驱动上述摄像元件而拍摄被摄体来取得上述第一图像及第二图像的立体摄像,
上述阴影校正单元具备校正系数计算单元,该校正系数计算单元基于上述第一图像及第二图像和上述加算图像而算出上述校正系数,并使上述校正系数存储于上述校正系数存储单元。
5.根据权利要求3所述的摄像装置,其特征在于,
上述控制单元在为了求出将上述第一像素组的输出值和上述第二像素组的输出值相加而获得的加算图像的阴影形状而使上述二维摄像与上述立体摄像同时进行时,与上述立体摄像相比,降低上述二维摄像的曝光。
6.根据权利要求5所述的摄像装置,其特征在于,
上述控制单元使上述二维摄像的曝光时间短于上述立体摄像的曝光时间。
7.根据权利要求5所述的摄像装置,其特征在于,
上述控制单元在上述二维摄像时使用中性滤光片而拍摄被摄体。
8.根据权利要求5所述的摄像装置,其特征在于,
上述控制单元在上述二维摄像时,与上述立体摄像相比降低增益。
9.根据权利要求3所述的摄像装置,其特征在于,
上述校正系数被设为,将上述第一图像、第二图像及上述加算图像分别划分为多个区域,对划分出的每个区域,算出上述第一图像和第二图像中的上述各像素组的输出值与上述加算图像中的上述像素加算单元的输出值之比,将上述划分出的每个区域的比作为上述校正系数。
10.根据权利要求3所述的摄像装置,其特征在于,
上述校正系数被设为,从上述第一像素组的输出值减去上述像素加算单元的输出值而求出第一减算结果,以对该第一减算结果为最大值的图像区域中的上述第一像素组的输出值的校正系数作为基准而使对除此以外的图像区域中的上述第一像素组的输出值的校正系数大于上述基准,并且,从上述第二像素组的输出值减去上述像素加算单元的输出值而求出第二减算结果,以对该第二减算结果为最大值的图像区域中的上述第二像素组的输出值的校正系数作为上述基准而使对除此以外的图像区域中的上述第二像素组的输出值的校正系数大于上述基准。
11.根据权利要求3所述的摄像装置,其特征在于,
上述校正系数被设为,从上述第一像素组的输出值减去上述像素加算单元的输出值而求出第一减算结果,且从上述第二像素组的输出值减去上述像素加算单元的输出值而求出第二减算结果,并进行以下的规格化:以全部图像区域的第一减算结果和第二减算结果中最大值的第一减算结果或第二减算结果所对应的校正系数作为基准而使除此以外的校正系数大于上述基准。
12.根据权利要求2所述的摄像装置,其特征在于,
上述校正系数存储单元存储:用于使上述第一图像的阴影形状与上述加算图像的阴影形状匹配的第一校正系数、用于使上述第二图像的阴影形状与上述加算图像的阴影形状匹配的第二校正系数及用于校正上述加算图像的阴影形状的第三校正系数,
上述阴影校正单元对上述第一图像的像素值计算出上述第一校正系数后计算上述第三校正系数,并且对上述第二图像的像素值计算出上述第二校正系数后计算上述第三校正系数。
13.根据权利要求2所述的摄像装置,其特征在于,
上述校正系数存储单元存储:用于使上述第一图像的阴影形状与上述加算图像的阴影形状匹配的第一校正系数、用于使上述第二图像的阴影形状与上述加算图像的阴影形状匹配的第二校正系数及用于校正上述加算图像的阴影形状的第三校正系数,
上述校正系数存储单元将上述第一校正系数乘以上述第三校正系数而取得第四校正系数,且将上述第二校正系数乘以上述第三校正系数而取得第五校正系数,对上述第一图像计算第四校正系数,且对上述第二图像计算第五校正系数。
14.根据权利要求1所述的摄像装置,其特征在于,
上述摄像元件的上述第一像素组和第二像素组由分别具备R(红)、G(绿)、B(蓝)滤色器的多个像素构成,
上述像素加算单元对应R、G、B各色将同色像素的像素值相加。
15.根据权利要求14所述的摄像装置,其特征在于,
上述校正系数存储单元对应R、G、B各色存储校正系数。
16.根据权利要求1或2所述的摄像装置,其特征在于,
上述第二像素组由两个以上的像素组构成。
17.一种阴影校正方法,校正由摄像装置生成的图像的阴影,该摄像装置具备:单一的摄影光学系统;及摄像元件,具有对通过了上述摄影光学系统的不同区域的光束分别进行光电转换的第一像素组和第二像素组,
上述阴影校正方法的特征在于,
利用校正系数对上述第一像素值和第二像素组的输出值进行校正,从而使由上述第一像素组的输出值构成的上述第一图像的阴影形状及由上述第二像素组的输出值构成的上述第二图像的阴影形状与将上述第一像素组的像素值和上述第二像素组的像素值相加而获得的加算图像的阴影形状匹配。
CN201280040309.2A 2011-08-19 2012-07-18 摄像装置及阴影校正方法 Expired - Fee Related CN103748873B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011179829 2011-08-19
JP2011-179829 2011-08-19
PCT/JP2012/068173 WO2013027513A1 (ja) 2011-08-19 2012-07-18 撮像装置及びシェーディング補正方法

Publications (2)

Publication Number Publication Date
CN103748873A CN103748873A (zh) 2014-04-23
CN103748873B true CN103748873B (zh) 2015-04-29

Family

ID=47746264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280040309.2A Expired - Fee Related CN103748873B (zh) 2011-08-19 2012-07-18 摄像装置及阴影校正方法

Country Status (5)

Country Link
US (1) US9549166B2 (zh)
EP (1) EP2747429B1 (zh)
JP (2) JP5499224B2 (zh)
CN (1) CN103748873B (zh)
WO (1) WO2013027513A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5395273B2 (ja) * 2010-09-08 2014-01-22 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
WO2014156202A1 (ja) * 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6253272B2 (ja) * 2013-06-18 2017-12-27 キヤノン株式会社 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
JP6196832B2 (ja) 2013-07-25 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP6033454B2 (ja) * 2013-09-27 2016-11-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6476630B2 (ja) * 2014-07-30 2019-03-06 株式会社ニコン 撮像装置
JP6587380B2 (ja) * 2014-09-12 2019-10-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
EP3261328B1 (en) 2016-06-03 2021-10-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
JP6735621B2 (ja) * 2016-07-21 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、プログラム並びに撮像装置
KR20200036062A (ko) * 2016-09-21 2020-04-06 아사히 인텍크 가부시키가이샤 카테터 및 벌룬 카테터
JP7153425B2 (ja) * 2017-01-23 2022-10-14 セイコーエプソン株式会社 スキャナー、スキャンプログラムおよびスキャンデータの生産方法
JP7050432B2 (ja) 2017-07-05 2022-04-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP2000349976A (ja) * 1999-03-26 2000-12-15 Canon Inc 画像入力装置及びその制御方法及び記憶媒体
JP2002131623A (ja) * 2000-10-24 2002-05-09 Canon Inc 撮像装置及び撮像システム
JP2006105771A (ja) * 2004-10-05 2006-04-20 Canon Inc 撮像装置および地形図作成装置
JP2007279512A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 立体カメラ及び立体撮像素子
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP2008299184A (ja) * 2007-06-01 2008-12-11 Nikon Corp 撮像装置および焦点検出装置
JP5225151B2 (ja) 2008-03-11 2013-07-03 キヤノン株式会社 撮像装置及び画像処理方法
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
US8957928B2 (en) * 2010-06-04 2015-02-17 Ricoh Company, Ltd. Image forming apparatus

Also Published As

Publication number Publication date
EP2747429A4 (en) 2015-07-08
JPWO2013027513A1 (ja) 2015-03-19
JP5499224B2 (ja) 2014-05-21
EP2747429B1 (en) 2016-11-02
JP2014147080A (ja) 2014-08-14
US20140204178A1 (en) 2014-07-24
CN103748873A (zh) 2014-04-23
WO2013027513A1 (ja) 2013-02-28
EP2747429A1 (en) 2014-06-25
US9549166B2 (en) 2017-01-17

Similar Documents

Publication Publication Date Title
CN103748873B (zh) 摄像装置及阴影校正方法
CN104041020B (zh) 彩色摄像元件
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
CN103444183B (zh) 彩色摄像元件及摄像装置
CN102870422B (zh) 成像设备、成像设备主体以及阴影校正方法
EP2747410B1 (en) Imaging apparatus
CN105917641A (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN102461174A (zh) 具有四个通道的滤色器阵列图案
CN102917235A (zh) 图像处理装置、图像处理方法和程序
CN103460703B (zh) 彩色摄像元件及摄像装置
CN103460704B (zh) 彩色摄像元件及摄像装置
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
CN105230000A (zh) 摄像元件、摄像装置以及图像处理装置
CN104322061A (zh) 图像处理装置、摄像装置及图像处理程序
CN107960120A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
JP5507761B2 (ja) 撮像装置
CN104641276A (zh) 摄像装置及信号处理方法
CN104025580A (zh) 彩色摄像元件及摄像装置
WO2013027507A1 (ja) 撮像装置
CN103430552B (zh) 摄像装置
CN105359519A (zh) 摄像装置
CN103460702B (zh) 彩色摄像元件及摄像装置
CN103843319A (zh) 摄像元件及摄像装置
CN104011575B (zh) 摄像装置及摄像装置的控制方法
JP2015186189A (ja) 撮像装置およびその制御方法ならびに画像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150429

Termination date: 20210718