CN102883176A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102883176A
CN102883176A CN2012102379757A CN201210237975A CN102883176A CN 102883176 A CN102883176 A CN 102883176A CN 2012102379757 A CN2012102379757 A CN 2012102379757A CN 201210237975 A CN201210237975 A CN 201210237975A CN 102883176 A CN102883176 A CN 102883176A
Authority
CN
China
Prior art keywords
pixel
image
unit
polarized regions
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102379757A
Other languages
English (en)
Other versions
CN102883176B (zh
Inventor
保坂肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102883176A publication Critical patent/CN102883176A/zh
Application granted granted Critical
Publication of CN102883176B publication Critical patent/CN102883176B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

公开了图像处理装置、图像处理方法和程序。提供了一种图像处理装置，包括具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域的第一偏振单元、包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的全透过光的全透过区域的第二偏振单元、成像元件、以及对成像元件的输出信号执行信号处理的图像处理单元。图像处理单元执行校正处理以生成二维图像并且执行二维图像的图像转换以生成用于三维图像显示的左眼图像和右眼图像。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及图像处理装置、图像处理方法和程序。更具体而言，本公开涉及执行用于生成要立体观看(三维观看)的三维图像(3D图像)的处理的图像处理装置、图像处理方法和程序。
背景技术
可作为具有深度的三维图像观看的立体图像(三维图像)是由作为来自不同视点的图像的左眼用图像和右眼用图像这两个图像的组合构成的。为了获得来自两个视点的图像，也就是双眼视差图像，两个成像装置被布置在左侧和右侧、相互离开，并且捕捉图像。
一对捕捉的立体图像是利用包括由左侧成像装置捕捉并由左眼观察的左眼用图像和由右侧成像装置捕捉并由右眼观察的右眼用图像的一对图像构成的。
利用包括左眼用图像和右眼用图像的该对图像构成的该对立体图像被显示在显示装置上，该显示装置能够分离左眼用图像和右眼用图像以由观察者的左眼和右眼观看，以使得观察者能够将图像识别为三维图像。
然而，当利用两个相机拍摄来自两个视点的图像时，应当执行对这两个相机的精确同步控制，同步控制是非常困难的，并且对会聚角的准确控制是非常困难的。
在日本专利申请公布No.6-054991中公开了一种三维拍摄装置，其中组合了被偏振得成为正交关系的偏振滤光器(polarization filter)以促进对透镜系统的调整以便执行三维拍摄，并且共享了光学系统。
在日本专利申请公布No.2004-309868中公开了一种利用包括两个透镜和一个成像单元的成像装置执行三维拍摄的方法。日本专利申请公布No.2004-309868中公开的该成像装置把被布置得相互分离与人类视差相应的间隔的(a)透镜和水平成分偏振滤光器的组合构成和(b)透镜和垂直成分偏振滤光器的组合构成设定到离CCD的成像表面预定距离的位置并且利用(a)和(b)这两个组合构成来获取左眼用图像和右眼用图像。
发明内容
根据日本专利申请公布No.6-054991中公开的技术，通过重叠两个偏振滤光器的输出并且形成单个光路来共享透镜系统。
然而，还应当提供一偏振滤光器来在随后的步骤中提取左眼用图像和右眼用图像，应当再次分割光路，并且应当使光入射在每个偏振滤光器上。因此，在透镜系统中产生光损失并且难以减小装置的大小。
根据日本专利申请早期公布No.2004-309868中公开的技术，因为应当提供两组透镜和偏振滤光器，所以装置变得复杂并且装置的大小增大。
本公开是鉴于上述情况而作出的并且提供了对由一个成像装置拍摄的图像执行处理并且生成作为三维图像观察的图像的图像处理装置、图像处理方法和程序。
本公开提供了用于生成要应用到三维图像显示的图像的对二维图像执行插值处理的图像处理装置、图像处理方法和程序。
根据本公开的第一实施例，提供了一种图像处理装置，其包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元使第一偏振单元的透过光入射，并且包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的透过光的全透过区域；成像元件，该成像元件接收第二偏振单元的透过光；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。图像处理单元包括：视差检测单元，该视差检测单元应用基于第二偏振单元的第三偏振区域的透过光的图像和基于第二偏振单元的第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的输入图像执行校正处理并且生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
在根据本公开的实施例的图像处理装置中，图像校正单元包括：亮度校正单元，该亮度校正单元执行亮度校正以将作为与第二偏振单元的第三偏振区域和第四偏振区域相对应的像素的偏振区域像素(PL像素)和偏振区域像素邻近像素(PL像素邻近像素)的亮度与对应于全透过区域的全透过区域像素(N像素)的亮度相匹配；反射检测单元，该反射检测单元以偏振区域像素(PL像素)为单位生成反射信息，该反射信息是关于在每个像素值中是否包括反射光成分的判定信息；梯度检测单元，该梯度检测单元以偏振区域像素(PL像素)为单位生成与周边像素的多个方向的像素值变化率相对应的梯度信息；以及插补处理单元，该插补处理单元根据反射信息和梯度信息选择参考像素，应用所选参考像素的像素值并且执行偏振区域像素(PL像素)的像素值插补处理。
在根据本公开的实施例的图像处理装置中，插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的像素作为参考像素来执行插补处理。
在根据本公开的实施例的图像处理装置中，插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素来执行插补处理。
在根据本公开的实施例的图像处理装置中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明存在反射时，插补处理单元基于梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
在根据本公开的实施例的图像处理装置中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，插补处理单元基于梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)或者偏振区域像素(PL像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
在根据本公开的实施例的图像处理装置中，在对于在第一偏振单元被从光路中去除的状态中拍摄的2D模式的拍摄图像的插补处理中，插补处理单元在成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，在不执行偏振区域像素(PL像素)的插补处理的情况下，输出亮度经亮度校正单元校正的像素值。
在根据本公开的实施例的图像处理装置中，亮度校正单元计算对应于成为亮度校正对象的偏振区域像素(PL像素)和偏振区域像素邻近像素(PL像素邻近像素)与周围的全透过区域像素(N像素)的亮度比率的增益，将亮度校正对象像素乘以计算出的增益，并且执行亮度校正。
在根据本公开的实施例的图像处理装置中，反射检测单元检测与第二偏振单元的第三偏振区域的位置相对应的成像元件的像素值和与第二偏振单元的第四偏振区域的位置相对应的成像元件的像素值的差异，并且基于该差异生成作为关于在偏振区域像素(PL像素)的像素值中是否包括反射光成分的判定信息的反射信息。
在根据本公开的实施例的图像处理装置中，图像校正单元以形成来自成像元件的输出图像的像素为单位设定表明像素属性的索引并且确定根据该索引的处理。
在根据本公开的实施例的图像处理装置中，索引包括表明像素位置的坐标属性、表明视点位置的视点属性和表明像素颜色的颜色属性。
根据本公开的第二实施例，提供了一种在图像处理装置中执行的图像处理方法，该图像处理装置包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元使第一偏振单元的透过光入射，并且包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的透过光的全透过区域；成像元件，该成像元件接收第二偏振单元的透过光；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理，其中，图像处理单元执行：视差检测处理，用于应用基于第二偏振单元的第三偏振区域的透过光的图像和基于第二偏振单元的第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；图像校正处理，用于对来自成像元件的输入图像执行校正处理并且生成二维图像；以及视差图像生成处理，用于应用由视差检测处理生成的视差信息，执行对由图像校正处理生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
根据本公开的第三实施例，提供了一种用于使得图像处理装置执行图像处理的程序，该图像处理装置包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元使第一偏振单元的透过光入射，并且包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的透过光的全透过区域；成像元件，该成像元件接收第二偏振单元的透过光；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理，其中，该程序使得图像处理单元执行：视差检测处理，用于应用基于第二偏振单元的第三偏振区域的透过光的图像和基于第二偏振单元的第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；图像校正处理，用于对来自成像元件的输入图像执行校正处理并且生成二维图像；以及视差图像生成处理，用于应用由视差检测处理生成的视差信息，执行对由图像校正处理生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
根据本公开的程序被记录在记录介质中并且被提供到能够执行各种程序代码的信息处理装置或计算机系统。通过由信息处理装置或计算机系统上的程序执行单元执行程序，实现与该程序相应的处理。
从结合实施例和附图理解的以下描述中将更清楚本公开的其他目的、特征和优点。在本公开中，系统具有多个装置的逻辑集合构成，并且每个装置可不设在同一壳体中。
根据上述本公开的实施例，提供了执行用于生成要应用到三维图像显示的图像的二维图像的插补处理的构成。
例如，根据本公开的图像处理装置包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的全透过光的全透过区域；成像元件；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。在此构成中，图像处理单元对于来自成像元件的输入图像执行应用了反射光的存在与否或者梯度信息的校正处理，并且生成二维图像。图像处理单元应用基于第三偏振区域和第四偏振区域的每个透过光生成的视差信息，执行二维图像的图像转换，并且生成用于三维图像显示的左眼图像和右眼图像。
利用此构成，通过基于反射光或梯度信息的插补处理可以生成具有小误差的二维图像，并且通过基于具有高质量的二维图像的2D3D转换处理可以生成用于高清晰度三维图像显示的左眼图像和右眼图像。
附图说明
图1的(A)至(C)是图示出根据本公开的图像处理装置的整体构成的示图；
图2是图示出第二偏振单元和成像元件的构成示例的示图；
图3是图示出第二偏振单元的构成示例的示图；
图4是图示出第二偏振单元和成像元件的构成示例的示图；
图5是图示出根据本公开的图像处理装置的图像处理单元的构成示例的示图；
图6是图示出偏振像素插补处理单元的处理示例的示图；
图7的(A)和(B)是图示出成像装置中的2D模式和3D模式的切换构成的示图；
图8是图示出根据本公开的图像处理装置的图像处理单元的构成示例的示图；
图9是图示出根据本公开的图像处理装置的图像处理单元的图像校正单元的构成示例的示图；
图10是图示出图像校正单元执行的处理的序列的示例的流程图；
图11是图示出图像校正单元100的输入图像(Raw图像)的示例和用于判定图像的每个像素的属性的索引的设定示例的示图；
图12是图示示出像素属性的索引的构成的示图；
图13是图示X坐标属性(X索引)[xidx(x)]和Y坐标属性(Y索引)[yidx(y)]的每个索引的设定示例的示图；
图14是图示出亮度校正单元执行的亮度校正处理的具体示例的示图；
图15是图示出梯度检测单元执行的梯度检测处理的具体示例的示图；
图16是图示出反射检测单元执行的反射检测处理的具体示例的示图；
图17是图示出反射检测单元执行的反射检测处理的具体示例的示图；
图18是图示出反射检测单元执行的反射检测处理的具体示例的示图；
图19是图示出反射检测单元执行的反射检测处理的具体示例的示图；
图20是图示出反射检测单元执行的反射检测处理的具体示例的示图；
图21是图示出插补处理单元执行的插补处理的具体示例的流程图；
图22是图示出插补处理单元执行的插补处理的具体示例的流程图；
图23是图示出图像校正单元执行的处理的序列的示例的流程图；
图24是图示出插补处理单元执行的插补处理的具体示例的流程图；
图25是图示出插补处理单元执行的插补处理的具体示例的流程图；
图26是图示出插补处理单元执行的插补处理的具体示例的流程图；
图27是图示出插补处理单元执行的插补处理的具体示例的流程图；
图28是图示出图像校正单元执行的处理的序列的示例的流程图；
图29是图示出亮度校正单元执行的亮度校正处理的具体示例的流程图；
图30是图示出亮度校正单元执行的亮度校正处理的具体示例的示图；
图31是图示出图像校正单元100的输入图像(Raw图像)的示例和用于判定图像的每个像素的属性的索引的设定示例的示图；并且
图32是图示示出像素属性的索引的构成的示图。
具体实施方式
以下，将参考附图详细描述本公开的图像处理装置、图像处理方法和程序。将按以下所述顺序进行接下来的描述。
1.根据本公开的图像处理装置的基本构成和处理示例
2.插补处理的具体处理示例
2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例
2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1
2-(3).对于在3D图像拍摄模式中拍摄的图像的插补处理示例2
2-(4).对于在3D图像拍摄模式中拍摄的图像的插补处理示例3
3.对根据本公开的构成的总结
[1.根据本公开的图像处理装置的基本构成和处理示例]
首先，将描述根据本公开的图像处理装置的基本构成和处理示例。
图1的(A)至(C)图示了作为图像处理装置的示例的成像装置的构成。
与拍摄对象相对应的入射光通过图1的(A)中所示的成像装置10的拍摄透镜11输入。
通过拍摄透镜11输入的入射光通过第一偏振单元12、光圈13、图像形成透镜14和第二偏振单元15被输入到成像元件16。
图1的(A)是从上侧看的成像装置(相机)10的视图，即顶视图。如图1的(A)的左下的成像装置10和拍摄者20的示意图以及XYZ坐标轴所示，图1的(A)的成像装置的构成图是从上侧看的成像装置(相机)10的示图。
如图1的(A)的中央附近的垂直虚线(X轴)所示，图1的(A)的上侧成为从拍摄者来看的右(R)侧并且图1的(A)的下侧成为从拍摄者来看的左(L)侧。
成像元件16是诸如CCD和CMOS之类的光电转换元件并且生成与对象光相应的电信号并将该电信号输出到图像处理单元17。
图像处理单元17根据预定的算法执行信号处理并且将作为处理结果的图像数据存储在存储单元18中。
图像处理单元17的构成和处理将在下文中详细描述。
在图1的(A)所示的构成中，第一偏振单元12具有图1的(B)中所示的构成并且第二偏振单元15具有图1的(C)中所示的构成。
如图1的(B)中所示，第一偏振单元12被分割成左部分和右部分这两个部分。在第一偏振单元12中，构成了不同的偏振区域，即形成在左半的区域中的垂直偏振区域12V和形成在右半的区域中的水平偏振区域12H。偏振区域是利用偏振滤光器构成的。
垂直偏振区域12V仅让垂直方向的偏振光通过并且通过了垂直偏振区域12V的光成为垂直方向的偏振光。
水平偏振区域12H仅让水平方向的偏振光通过并且通过了水平偏振区域12H的光成为水平方向的偏振光。
图1的(B)中所示的重心点31是垂直偏振区域12V的重心位置。垂直偏振区域12V的透过光相当于利用重心点31作为视点观察到的图像。
类似地，图1的(B)中所示的重心点32是水平偏振区域12H的重心位置。水平偏振区域12H的透过光相当于利用重心点32作为视点观察到的图像。
即，利用作为垂直偏振区域12V的重心位置的重心点31作为视点观察到的图像对应于作为从左眼的观察图像的左眼视点图像(L图像)，并且利用作为水平偏振区域12H的重心位置的重心点32作为视点观察到的图像对应于作为从右眼的观察图像的右眼视点图像(R图像)。
这样，透过第一偏振单元12的图像成为了通过将两个不同的左右视点图像作为垂直偏振光和水平偏振光透过而获得的图像。
两个不同的视点图像的光，即相当于左眼用图像的L图像(垂直偏振光)和相当于右眼用图像的R图像(水平偏振光)的光，通过图像形成透镜14到达第二偏振单元15。
在以下描述中，将“右眼用图像”简称为“右眼图像”，并且将“左眼用图像”简称为“左眼图像”。
第二偏振单元15具有图1的(C)中所示的构成。
如图1的(C)中所示，第二偏振单元15具有如下构成：其中，从上侧起顺次重复设定了包括水平偏振区域15H、垂直偏振区域15V和全透过(非偏振)区域15A在内的三种区域。
水平偏振区域15H选择性地透过水平方向的偏振光以使得成像元件16仅对水平偏振光成像。
垂直偏振区域15V选择性地透过垂直方向的偏振光以使得成像元件16仅对垂直偏振光成像。
全透过(非偏振)区域15A透过水平方向的偏振光和垂直方向的偏振光两者以使得成像元件16对其入射光成像。
对第二偏振单元15设定的每个偏振区域是利用线栅偏振器构成的。每个偏振区域是具有按小间隔布置细线(例如铝(al)线)的构成并且实现与线布置方向相应的偏振特性的偏振元件。
图2图示了第二偏振单元15和接收第二偏振单元15的透过光的成像元件16重叠的状态。
成像元件16是具有RGB布置(拜耳布置)的成像元件。
图2中所示的构成示例是如下示例：其中，以成像元件的两条线为单位相邻设定垂直偏振区域15V和水平偏振区域15H，并且以十二条线为单位设定全透过(非偏振)区域15A。即，在成像元件16的垂直方向(Y方向)上重复设定了如下三种区域：(a)两条线的垂直偏振区域15V，(b)两条线的水平偏振区域15H，以及(c)十二条线的全透过(非偏振)区域15A。
水平偏振区域15H选择性地透过水平方向的偏振光，即仅透过与透过图1的(B)中所示的水平偏振区域12H的右眼图像相当的R图像(水平偏振光)，并且使得成像元件16对右眼图像(R图像)成像。
垂直偏振区域15V选择性地透过垂直方向的偏振光，即仅透过与透过图1的(B)中所示的垂直偏振区域12V的左眼图像相当的L图像(垂直偏振光)，并且使得成像元件16对左眼图像(L图像)成像。
全透过(非偏振)区域15A透过与透过图1的(B)中所示的水平偏振区域12H的右眼图像相当的R图像(水平偏振光)和与透过图1的(B)中所示的垂直偏振区域12V的左眼图像相当的L图像(垂直偏振光)两者。这些图像成为与从中心点33看的图像相对应的图像，中心点33是图1的(B)中所示的重心点31和重心点32的中心位置。即，这些图像成为与不具有由于偏振引起的视点偏离的普通单眼相机拍摄的普通图像相同的图像。
图2中所示的构成示例是第二偏振单元15的构成示例并且是以成像元件的两条线为单位相邻设定垂直偏振区域15V和水平偏振区域15H并且以十二条线为单位设定全透过(非偏振)区域15A的示例。
可以使用其他构成作为第二偏振单元15的构成。
例如，如图3中所示，垂直偏振区域15V和水平偏振区域15H可被设定为矩形区域并且可被交替布置。
图4是图示出图3中所示的第二偏振单元和具有RGB布置的成像元件16重叠的状态的示图。
图4中所示的示例是如下构成：其中，在垂直方向(Y方向)上重复布置了以包括2×2的四个像素的矩形区域为单位设定并交替布置垂直偏振区域15V和水平偏振区域15H的两行的区域和十四行的全透过(非偏振)区域15A。
在此构成中，利用包括2×2的四个像素的矩形区域构成的水平偏振区域15H选择性地仅透过水平方向的偏振光，即与透过图1的(B)中所示的水平偏振区域12H的右眼图像相当的R图像(水平偏振光)，并且使得成像元件16对右眼图像(R图像)成像。
利用包括2×2的四个像素的矩形区域构成的垂直偏振区域15V选择性地仅透过垂直方向的偏振光，即与透过图1的(B)中所示的垂直偏振区域12V的左眼图像相当的L图像(垂直偏振光)，并且使得成像元件16对左眼图像(L图像)成像。
全透过(非偏振)区域15A透过与透过图1的(B)中所示的水平偏振区域12H的右眼图像相当的R图像(水平偏振光)和与透过图1的(B)中所示的垂直偏振区域12V的左眼图像相当的L图像(垂直偏振光)两者。这些图像成为与从中心点33看的图像相对应的图像，中心点33是图1的(B)中所示的重心点31和重心点32的中心位置。即，这些图像成为与不具有由于偏振引起的视点偏离的从中心点33观察的普通图像相同的图像。
图5是图示出图1的(A)中所示的图像处理单元17的详细构成的示图。
成像元件16被分割成(a)垂直偏振区域、(b)水平偏振区域以及(c)全透过(非偏振)区域这三种区域，并且将与每个区域相对应的信号输入到图像处理单元17，如参考图2至4所述。
在以下描述中，成像元件16中与(a)垂直偏振区域和(b)水平偏振区域相对应的像素被称为偏振(PL)像素。
与全透过(非偏振)区域相对应的像素被称为非偏振(N)像素。
成像元件16的输出包括PL像素输出(＝与垂直偏振区域和水平偏振区域相对应的像素的输出)和N像素输出(＝与全透过(非偏振)区域相对应的像素的输出)。
在此情况下，将描述当PL像素输出和N像素输出被从参考图3和4描述的具有第二偏振单元15和成像元件16的组合构成的成像元件16输出到图像处理单元17时的处理示例。
即，如参考图4所述，成像元件16具有如下构成：其中，在垂直方向(Y方向)上重复布置了以包括2×2的四个像素的矩形区域为单位交替布置了垂直偏振区域15V和水平偏振区域15H的两行的区域和十四行的全透过(非偏振)区域15A。
在图像处理单元17的偏振像素分离单元51中，对从图5中所示的成像元件16输出的像素信号执行偏振区域像素(PL像素)和非偏振区域像素(N像素)的每个区域的像素输出的分离处理。
由偏振像素分离单元51的分离处理分离出的N像素信号(非偏振像素信号)61被输入到图像校正单元52。
图像校正单元52对在N像素信号(非偏振像素信号)61中缺失的偏振区域亦即PL像素区域的像素执行像素插补处理。具体而言，图像校正单元52用于参考上方和下方N像素的像素值计算PL像素区域的像素值并且设定该像素值的插补处理。
通过利用像素插补处理设定像素值缺失的所有PL像素区域的像素值来生成与输入图像具有相同像素数目的插补图像(2D-Raw图像)62。插补图像(2D-Raw图像)62是其中向每个像素设定RGB中的任何一个的像素值的图像。
由图像校正单元52生成的插补图像(2D-Raw图像)62成为其中向形成成像元件16的所有像素设定了N像素信号(非偏振像素信号)的图像。该图像是与从图1的(B)中所示的第一偏振单元12的中心点33观察的图像相当的一个二维(2D)Raw图像。
由图像校正单元52生成的插补图像(2D-Raw图像)62被输入到去马赛克处理单元53。
去马赛克处理单元53对插补图像(2D-Raw图像)62执行去马赛克处理和其他相机信号处理并且将插补图像转换成普通2D图像。
去马赛克处理是用于向所有像素位置设定所有颜色信号例如RGB的各颜色的像素值的处理并且是在一般相机中执行的处理。
由去马赛克处理单元53生成的2D-RGB图像63被输入到视差图像生成单元56。
同时，作为由偏振像素分离单元51的分离处理生成的一个分离信号的PL像素信号(偏振像素信号)65成为只具有偏振区域像素(PL像素)的像素值而没有非偏振区域像素(N像素)的像素值的像素信号。
PL像素信号(偏振像素信号)65被输入到偏振像素插补处理单元54。
如参考图4所述，上述处理示例是如下构成，其中，在垂直方向(Y方向)上重复布置了以包括2×2的四个像素的矩形区域为单位交替布置了垂直偏振区域15V和水平偏振区域15H的两行的区域和十四行的全透过(非偏振)区域15A。
因此，通过偏振像素分离单元51的分离处理生成的PL像素信号(偏振像素信号)65成为了如下图像：其中，在垂直方向上每隔14行设定以包括2×2的四个像素的矩形区域为单位交替布置了垂直偏振区域15V和水平偏振区域15H的两行的区域。
偏振像素插补处理单元54只选择以包括2×2的四个像素的矩形区域为单位交替布置了垂直偏振区域15V和水平偏振区域15H的两行的区域作为处理对象并且对PL像素区域执行图6中所示的处理。
即，偏振像素插补处理单元54对PL像素信号(偏振像素信号)65中包括的PL像素区域生成左眼图像信号(垂直偏振图像信号)66a和右眼图像信号(水平偏振图像信号)66b的每个图像，其中对左眼图像信号(垂直偏振图像信号)66a设定了与垂直偏振区域15V相对应的像素值，并且对右眼图像信号(水平偏振图像信号)66b设定了与水平偏振区域15H相对应的像素值。
图6中所示的左眼图像信号(垂直偏振图像信号)66a是通过用于复位(去除)PL像素信号(偏振像素信号)65中包括的PL像素区域的水平偏振像素区域的像素值并且利用周边垂直偏振像素的像素值来设定被复位的像素的像素值的像素值插补处理生成的。
类似地，图6中所示的右眼图像信号(水平偏振图像信号)66b是通过用于复位(去除)PL像素信号(偏振像素信号)65中包括的PL像素区域的水平偏振像素区域的像素值并且利用周边水平偏振像素的像素值来设定被复位的像素的像素值的像素值插补处理生成的。
结果，被设定了左眼图像信号(垂直偏振图像信号)66a中包括的像素值的图像成为从图1的(B)中所示的第一偏振单元12的左重心点31看的图像，即与左眼图像相对应的图像。
类似地，被设定了右眼图像信号(水平偏振图像信号)66b中包括的像素值的图像成为从图1的(B)中所示的第一偏振单元12的右重心点32看的图像，即与右眼图像相对应的图像。
这样，偏振像素插补处理单元54对于PL像素信号(偏振像素信号)65中包括的PL像素区域插补在左眼图像和右眼图像的每一个的水平方向上缺失的信息并且生成具有与输入图像相同的水平像素数目的左眼图像信号(垂直偏振图像信号)66a和右眼图像信号(水平偏振图像信号)66b。
由偏振像素插补处理单元54生成的图像被输入到视差检测单元55。
视差检测单元55对于图6中所示的具有与输入图像相同的水平像素数目的左眼图像信号(垂直偏振图像信号)66a和右眼图像信号(水平偏振图像信号)66b的两个图像，利用块匹配处理比较对应的像素，计算对象偏离量，并且检测对象距离作为视差信息。
即，视差检测单元55通过块匹配处理检测左眼图像和右眼图像的像素之间的偏离并且计算与偏离量相应的对象距离。
视差检测单元55生成具有与每个像素相对应的对象距离信息的深度图67并且输出该深度图。
深度图67是具有关于形成图像的每个像素的对象距离信息的数据。例如，深度图67被构成为被设定了与对象距离相应的亮度值的图像。
具体而言，具有短对象距离(接近相机)的区域具有高亮度，并且具有长对象距离(远离相机)的区域具有低亮度。视差检测单元55生成被设定了像素值的深度图并且将深度图输出到视差图像生成单元56。
如图6中所示，由偏振像素插补处理单元54生成的左眼图像信号(垂直偏振图像信号)66a和右眼图像信号(水平偏振图像信号)66b的图像对于输入图像的N像素(非偏振像素)区域不具有图像信号。然而，视差检测单元55计算对于不具有像素值的N像素(非偏振像素)，计算被设定了基于左眼图像信号(垂直偏振图像信号)66a的插补像素值的左眼图像和被设定了基于右眼图像信号(水平偏振图像信号)66b的插补像素值的右眼图像，并且通过图像之间的匹配处理来计算与所有像素相对应的距离信息。
可以使用线性插补处理作为像素值插补处理。
视差图像生成单元56利用作为从去马赛克处理单元53输出的二维图像的2D-RGB图像63和从视差检测单元55输出的与视差信息相对应的深度图67来生成左眼图像(L图像)71和右眼图像(R图像)72这两个图像。
即，视差图像生成单元56对于2D-RGB图像63基于与视差信息相对应的深度图67执行用于设定与对象距离相应的视差的图像转换处理，生成左眼图像(L图像)71和右眼图像(R图像)72，并且输出左眼图像和右眼图像。
视差图像生成单元56执行的图像转换处理是用于通过基于一个二维图像(2D图像)的图像转换生成可应用到三维图像显示的左眼图像(L图像)71和右眼图像(R图像)72并且输出左眼图像和右眼图像的处理，并且一般被称为2D3D转换处理。
作为用于通过基于一个二维图像(2D图像)的图像转换生成可应用到三维图像显示的左眼图像(L图像)71和右眼图像(R图像)72的2D3D转换处理，建议了各种处理。在视差图像生成单元56中，执行应用现有方法的2D3D转换处理。
具体而言，视差图像生成单元56利用从视差检测单元55输出的与视差信息相对应的深度图67对2D-RGB图像63执行与视差相应的图像偏移处理，并且生成左眼图像(L图像)71和右眼图像(R图像)72这两个图像。
例如，可以执行使用申请人的在前日本专利申请No.2009-283080中描述的构成的2D3D转换。
这样，视差图像生成单元56对于从去马赛克处理单元53输入的2D-RGB图像63执行利用从视差检测单元55输入的深度图67执行与对象距离相应的视差设定的2D3D转换处理，生成被应用到3D图像显示的左眼图像(L图像)71和右眼图像(R图像)72，并且通过图像输出单元57输出左眼图像和右眼图像。
如上所述，图5中所示的图像处理单元17获取根据布置在成像元件16上的偏振器获取的来自不同视点的图像，即左眼图像和右眼图像，并且基于这些图像生成与视差信息相对应的深度图。
图像处理单元17利用未布置偏振器的像素获取普通2D图像并且通过根据其信息的图像处理来输出被应用到3D图像显示的高清晰度左眼图像和右眼图像。
在上述实施例中，参考图1的(A)至(C)描述的第一偏振单元12具有水平偏振区域设定在右侧并且垂直偏振区域设定在左侧的构成。然而，可以颠倒该设定。
除了水平偏振光和垂直偏振光的组合以外，也可应用具有两个不同偏振方向的偏振区域(例如透过倾斜方向的偏振光的偏振区域)的任何组合。
第二偏振单元15应当被设定到具有与对第一偏振单元12设定的偏振区域相同的组合的偏振区域，以对应于第一偏振单元12的偏振区域的设定。
[2.插补处理的具体处理示例]
上述图5的图像处理单元17的图像校正单元52还执行用于输入从偏振像素分离单元51输入的包括全透过像素的N像素(非偏振像素)信号61并且通过插补处理设定未包括在N像素信号(非偏振像素)信号61中的PL像素(偏振像素)区域的像素值的处理。
如图7A和7B中所示，成像装置10具有如下构成：其中，拍摄图像的模式可被切换到拍摄2D图像的2D模式和拍摄可应用到3D图像显示的左眼图像和右眼图像的3D模式。
如图7A和7B中所示，在3D模式中向光路上设定第一偏振单元12，并且在2D模式中从光路中去除第一偏振单元12。
当在3D模式中拍摄图像时，如上所述在PL像素(偏振像素)中拍摄以下图像。
在垂直偏振像素中拍摄左眼图像(从图1的(B)的重心点31看的图像)并且在水平偏振像素中拍摄右眼图像(从图1的(B)的重心点32看的图像)。在作为全透过像素的N像素(非偏振像素)中，拍摄从透镜的中央看的图像(从图1的(B)的中心点33看的图像)。
同时，在图7B中所示的2D模式的设定中，因为第一偏振单元12未在光路上，所以入射在成像元件16上的光仅由第二偏振单元15控制。
在此情况下，在与PL像素(偏振像素)相对应的垂直偏振像素和水平偏振像素和与N像素(非偏振像素)相对应的全透过像素的全部中，拍摄从透镜的中央看的图像(从图1的(B)的中心点33看的图像)。
然而，与PL像素(偏振像素)相对应的垂直偏振像素和水平偏振像素的入射光量由于偏振处理而变得小于N像素(非偏振像素)的入射光量。即，亮度减小，这在3D模式下的拍摄处理中也是同样的。
以上参考图5所述的图像校正单元52执行用于仅输入从偏振像素分离单元51输入的包括全透过像素的N像素(非偏振像素)信号61并且通过插补处理设定未包括在N像素(非偏振像素)信号61中的PL像素(偏振像素)区域的像素值的处理。
在下述实施例中，如图8中所示，图像校正单元100从偏振像素分离单元51接收全像素信号81。
即，图像校正单元100接收由全透过像素构成的N像素(非偏振像素)信号和PL像素(偏振像素)信号。
图8中所示的图像校正单元100接收成像元件生成的所有信号并且生成插补图像(2D-Raw图像)62。
以下，将顺次描述图像校正单元52执行的具体处理的多个示例。将顺次描述以下处理样态。
(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例
(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1
(3).对于在3D图像拍摄模式中拍摄的图像的插补处理示例2
(4).对于在3D图像拍摄模式中拍摄的图像的插补处理示例3
[2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例]
首先，将描述对于在成像装置中拍摄2D图像的2D图像拍摄模式中拍摄的图像的插补处理示例。
图8中所示的图像校正单元100的详细构成在图9中图示。
如图9中所示，图像校正单元100包括亮度校正单元101、梯度检测单元102、反射检测单元103和插补处理单元104。
如上所述，图像校正单元100从图8中所示的偏振像素分离单元51接收全像素信号81。
即，图像校正单元100接收由全透过像素构成的N像素(非偏振像素)信号和PL像素(偏振像素)信号。
图像校正单元100的亮度校正单元101首先校正全像素信号81中包括的PL像素和PL像素邻近像素的亮度。
如上所述，在PL像素(偏振像素)中，入射光量受到由第二偏振单元15进行的偏振处理的限制并且像素值(亮度)与作为全透过像素的N像素(非偏振像素)相比减小。
在邻近PL像素的N像素中，与所有周边像素都是N像素的N像素相比，亮度减小。这是因为在邻近PL像素的N像素中，从邻近像素(PL像素)泄漏的光减小。
因此，亮度校正单元101校正全像素信号81中包括的PL像素和PL像素邻近像素的亮度。例如，亮度校正单元101执行亮度校正以将偏振区域像素(PL像素)和邻近偏振区域像素的像素(邻近PL像素的像素)的亮度与对应于全透过区域的全透过区域像素(N像素)的亮度相匹配。
具体处理示例将在下文中描述。
由亮度校正单元101生成的亮度校正图像121被输出到梯度检测单元102、反射检测单元103和插补处理单元104。
梯度检测单元102接收由亮度校正单元101生成的亮度校正图像121，并且对于作为插补对象像素的每个PL像素，基于该PL像素周围的N像素区域的像素值，执行对像素值的梯度方向的检测。
即，梯度检测单元102以偏振区域像素(PL像素)为单位生成与周边像素的多个方向的像素值变化率相对应的梯度信息。此处理是与边缘检测相同的处理。像素的变化率是作为四个方向的梯度系数计算的，所述四个方向的梯度系数是水平梯度系数Hgrad、垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad。
包括这些梯度系数的梯度信息122被输入到插补处理单元104。
反射检测单元103接收由亮度校正单元101生成的亮度校正图像121，并且对于每个PL像素判定是否包括反射光成分。
特定的偏振光，在此示例中为垂直偏振光或水平偏振光，被选择性地入射在PL像素(偏振像素)上。
例如，在从水面或玻璃反射的光中，特定方向的偏振光成分强烈地显现。如果该反射光被包括在拍摄的图像中，则引起偏离，其中PL像素的水平偏振像素和垂直偏振像素的像素值之中的一者可增大并且另一者可减小。
反射检测单元103判定在拍摄的图像中是否包括反射光。该判定处理的具体示例将在下文中描述。
由反射检测单元103检测到的反射信息123被输入到插补处理单元104。
插补处理单元104接收由亮度校正单元101生成的亮度校正图像121、由梯度检测单元102生成的梯度信息122和由反射检测单元103检测到的反射信息123。
插补处理单元104执行作为对PL像素区域的像素值的校正处理的像素插补处理。当插补处理单元104执行插补处理时，插补处理单元104使用由梯度检测单元102生成的梯度信息122和由反射检测单元103检测到的反射信息123并且执行与根据该信息确定的插补样态相应的插补处理。
具体处理示例将在下文中描述。
作为插补处理的结果，生成作为图8中所示的图像校正单元100的输出的2D-Raw图像62。
图10是图示由图像校正单元100执行的处理的序列的流程图。
将描述每个步骤的处理。
在步骤S101中，图像校正单元100接收在2D模式中(未设定第一偏振单元)拍摄的图像S(Raw图像)。
接下来，在步骤S102中，图像校正单元100通过对PL像素区域和PL像素周边区域的亮度校正处理来生成亮度校正图像T。
此处理是由图9中所示的亮度校正单元101执行的处理。
接下来，在步骤S103中，图像校正单元100基于亮度校正图像T检测图像梯度(边缘方向)。
此处理是由图9中所示的梯度检测单元102执行的处理。
接下来，在步骤S104中，图像校正单元100基于亮度校正图像检测是否存在反射光。
此处理是由图9中所示的反射检测单元103执行的处理。
在步骤S105中，对于判定未检测到反射光的像素(PL像素)，图像校正单元100按原样输出经亮度校正的像素值。
同时，在步骤S105中，对于判定检测到反射光的像素(PL像素)，图像校正单元100在步骤S106中执行校正处理，具体而言是利用周边N像素作为参考像素的插补处理。
步骤S106中的插补处理是通过根据由梯度检测单元102生成的梯度信息之中的垂直方向、右上斜方向和右下斜方向这三个方向的梯度信息确定参考像素的设定方向来执行的。具体而言，选择梯度较小也就是像素值变化较小的特定方向的N像素作为参考像素，并且执行使用该特定方向的像素值的插补处理，例如线性插补处理。
将参考图11来描述由图像校正单元100执行的处理的具体示例。
图11是图示出图像校正单元100的输入图像(Raw图像)的示例和用于判定图像的每个像素的属性的索引的设定示例的示图。
图11中所示的图像具有与以上参考图4所述的相同的构成。即，在垂直方向(Y方向)上重复布置了以包括2×2的四个像素的矩形区域为单位设定并交替布置垂直偏振区域15V和水平偏振区域15H的两行的PL像素(偏振像素)区域和作为十四行的全透过像素的N像素(非偏振像素)区域15A。
当设定3D模式时，在垂直偏振区域15V中拍摄作为来自左视点的图像的左眼图像，并且在水平偏振区域15H中拍摄作为来自右视点的图像的石眼图像。
在2D模式中，在偏振区域15V和15H两者中都拍摄来自与N像素(非偏振像素)区域15A相同视点的图像，即来自作为透镜中心的视点的图像。
如图11中所示，对每个像素设定X方向索引(X坐标属性)和Y方向索引(Y坐标属性)。
在X方向索引[xidx(x)]中，对应于每个像素设定0至3中的任何一个。
在Y方向索引[yidx(y)]中，对应于每个像素设定0至5中的任何一个。
像素的属性是基于索引的值来判定的。例如，yidx(y)＝0，5表明N像素不邻近PL像素，yidx(y)＝1，4表明N像素邻近PL像素，并且yidx(y)＝2，3表明PL像素。
表明像素属性的索引的构成在图12中图示。
如图12中所示，表明像素属性的索引的种类如下。
(1)X坐标属性(X索引)[xidx(x)]
(2)Y坐标属性(Y索引)[yidx(y)]
(3)视点属性(视点索引)[ep(x，y)]
(4)颜色属性(颜色索引)[color(x，y)]
每个属性(索引)的值与标识信息之间的对应关系如下。
(1)X坐标属性(X索引)[xidx(x)]
xidx(x)＝0，1：左眼像素或包括左眼像素的列的非偏振(全透过)像素
xidx(x)＝2，3：右眼像素或包括右眼像素的列的非偏振(全透过)像素
(2)Y坐标属性(Y索引)[yidx(y)]
yidx(y)＝0，5：远离偏振像素(PL像素)的非偏振(全透过)像素
yidx(y)＝1，4：邻近偏振像素(PL像素)的非偏振(全透过)像素
yidx(y)＝2，3：偏振像素(PL像素)
(3)视点属性(视点索引)[ep(x，y)]
ex(x，y)＝0：全透过像素(非偏振像素)
ex(x，y)＝-1：左眼像素(垂直偏振像素)
ex(x，y)＝+1：右眼像素(水平偏振像素)
(4)颜色属性(颜色索引)[color(x，y)]
color(x，y)＝0：红(R)像素
color(x，y)＝1：绿(G)像素
color(x，y)＝2：蓝(B)像素
图像校正单元100对应于输入处理对象图像的像素设定索引并且执行基于索引信息的处理。
图13是图示出(1)X坐标属性(X索引)[xidx(x)]和(2)Y坐标属性(Y索引)[yidx(y)]的每个索引的设定示例的示图。
图13图示出将图像的左上端的像素的坐标(xbase，ybase)设定为基准坐标并且基于与基准点的相对位置来执行设定的示例。
当图像校正单元100对于输入处理对象图像的像素执行处理时，图像校正单元100判定对像素设定的索引(属性)、确定处理样态并且顺次执行处理。
接下来，将参考图14描述在图9中所示的图像校正单元100的每个结构元件中执行的处理的具体示例。
(亮度校正单元101的处理的具体示例)
首先，将参考图14来描述图9中所示的亮度校正单元101执行的亮度校正处理的具体示例。
该处理对应于图10的流程图中的步骤S102的处理。
如上所述，亮度校正单元101从图8中所示的偏振像素分离单元51接收全像素信号81。
即，亮度校正单元101接收由全透过像素和PL像素(偏振像素)信号配置的N信号(非偏振)像素。
亮度校正单元101校正全像素信号81中包括的PL像素和PL像素邻近像素的亮度。如上所述，在PL像素(偏振像素)中，入射光量受到由第二偏振单元15进行的偏振处理的限制并且像素值(亮度)与作为全透过像素的N像素(非偏振像素)相比减小。
在邻近PL像素的N像素中，与所有周边像素都是N像素的N像素相比，亮度减小。这是因为在邻近PL像素的N像素中，从邻近像素(PL像素)泄漏的光减小。
因此，亮度校正单元101校正全像素信号81中包括的PL像素和PL像素邻近像素的亮度。
图14是图示由亮度校正单元101执行的亮度校正的序列的流程和亮度校正处理的具体示例的示图。
将描述该流程的每个步骤的处理。
首先，在步骤S121中，亮度校正单元101顺次选择成为亮度校正对象的PL像素和PL像素邻近像素。
如图14的下侧所示(参考图)，成为亮度校正对象的PL像素和PL像素邻近像素是具有Y坐标索引yidx(y)＝1至4的像素。
对在步骤S121中选择的每个像素顺次执行步骤S122的处理和随后的处理。
在步骤S122中，亮度校正单元101选择位于所选像素的同一列的上下侧、具有相同颜色并且不邻近PL像素的全透过(非偏振)像素作为参考像素并且获取参考像素的像素值。
例如，在图14(参考图)中，当具有Y坐标索引yidx(y)＝1，2的像素被选择为校正对象像素时，即当包括在图14的校正对象区域141中的像素被选择时，从图14中所示的参考像素区域142和参考像素区域143中选择参考像素。
当具有Y坐标索引yidx(y)＝3，4的像素被选择为校正对象像素时，即当包括在图14的校正对象区域151中的像素被选择时，从图14中所示的参考像素区域152和参考像素区域153中选择参考像素。
从上下参考区域中逐一选择位于所选像素的同一列的上下侧、具有相同颜色并且不邻近PL像素的全透过(非偏振)像素并且获取其像素值。
接下来，在步骤S123中，亮度校正单元101基于上下两个参考像素的像素值计算通过将与距离相应的权重与校正对象像素相乘而获得的加权平均值[VVLerp]。
在步骤S124中，亮度校正单元101基于加权平均值[VVLerp]和校正对象像素的像素值[S(x，y)]计算增益G(x，y)。
该增益是根据以下式子计算的。
G(x，y)＝(VVLerp)/(S(x，y))
最后，在步骤S125中，亮度校正单元101将校正对象像素的像素值[S(x，y)]与增益G(x，y)相乘并且计算亮度校正像素值。
亮度校正单元101对PL像素和PL像素邻近像素执行处理，校正亮度，将所获得的值设定为PL像素和PL像素邻近像素的像素值，并且生成亮度校正图像T。
(梯度检测单元102的处理的具体示例)
接下来，将参考图15来描述图9中所示的梯度检测单元102执行的梯度检测处理的具体示例。
此处理对应于图10的流程图中的步骤S103的处理。
如上所述，梯度检测单元102接收由亮度校正单元101生成的亮度校正图像121，并且对于作为插补对象像素的每个PL像素，基于PL像素周围的N像素区域的像素值，检测像素值的梯度方向。此处理是与边缘检测相同的处理。像素的变化率是作为四个方向的梯度系数计算的，所述四个方向的梯度系数包括：水平梯度系数Hgrad、垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad。
将描述该流程的每个步骤的处理。
首先，在步骤S151中，梯度检测单元102从成为插补处理对象的PL像素中顺次选择处理对象像素。
接下来，梯度检测单元102对所选像素顺次执行步骤S152的处理。
在步骤S152中，梯度检测单元102选择位于所选像素周围的上下侧并且具有相同颜色的全透过(非偏振)像素作为参考像素并且执行基于参考像素的像素值的梯度检测处理。
具体而言，梯度检测单元102利用N像素区域的参考像素的像素值来计算四个方向的梯度系数，包括水平梯度系数Hgrad、垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad。
如图15的下侧所示(参考图)，图示了垂直梯度系数Hgrad的计算示例。
所选像素是位于PL像素区域中的G像素161。所选像素是xidx(x)＝3并且yidx(y)＝2的G像素161。
当计算对于作为所选像素的G像素161的垂直梯度系数时，执行以下处理。
基于作为所选像素的左邻列的xidx＝2的N像素区域的上下两个G像素计算亮度差。
基于与所选像素同一列的xidx(x)＝3的N像素区域的上下两个G像素计算亮度差。
基于作为所选像素的右邻列的xidx＝0的N像素区域的上下两个G像素计算亮度差。
计算三个亮度差，设定与和所选像素(G像素161)的距离相应的权重，将三个亮度差相加，并且计算垂直梯度系数Vgrad。
通过根据每个方向改变参考像素的组合来计算水平梯度系数Hgrad、垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这些梯度系数。
这样，在步骤S152中，选择位于所选像素周围的上下侧并且具有相同颜色的全透过(非偏振)像素作为参考像素并且执行基于参考像素的像素值的梯度检测处理。
(反射检测单元103的处理的具体示例)
接下来，将参考图16来描述图9中所示的反射检测单元103执行的反射检测处理的具体示例。
此处理对应于图10的流程图中的步骤S104的处理。
如上所述，反射检测单元103接收由亮度校正单元101生成的亮度校正图像121并且对于每个PL像素判定是否包括反射光。
将描述该流程的每个步骤的处理。
首先，在步骤S161中，反射检测单元103从成为插补处理对象的PL像素中顺次选择处理对象像素。
接下来，反射检测单元103对于所选像素顺次执行步骤S162的处理。
在步骤S162中，反射检测单元103执行基于所选像素的行的水平方向的周边像素(PL像素)的像素值的反射检测处理。具体而言，反射检测单元103执行反射检测滤波器的应用处理。
如上所述，特定的偏振光，在此示例中为垂直偏振光或水平偏振光，被选择性地入射在PL像素(偏振像素)上。
例如，在从水面或玻璃反射的光中，特定方向的偏振光成分强烈地显现。如果该反射光被包括在拍摄的图像中，则引起偏离，其中PL像素的水平偏振像素和垂直偏振像素的像素值之中的一者可增大并且另一者可减小。
如图16中所示(参考图)，当在垂直偏振区域和水平偏振区域中产生由于偏振引起的亮度差(像素值的差)时，可以判定包括反射光。
利用反射检测滤波器来检测基于偏振的亮度的偏离的存在与否。
将参考图17至20来描述具体示例。
使用反射检测滤波器的反射检测处理是根据以下处理序列执行的：a.计算参数Href(x，y)(参考图17)，b.计算参数Hnoref(x，y)(参考图18)，c.计算参数ref(x，y)和noref(x，y)(参考图19)，以及d.确定反射存在判定结果refDetect(x，y)(参考图20)。
首先，将参考图17来描述a.计算参数Href(x，y)的处理。
作为反射检测滤波器，使用图17中所示的设定的两个滤波器。即，使用以下系数被设定为与x方向上的七个像素相乘的系数的两个滤波器。
滤波器0：+1，-2，-3，+4，+3，-2，-1
滤波器1：-1，-2，+3，+4，-3，-2，+1
应用其中设定了上述系数的两种滤波器。
如图17中所示，当计算参数Href(x，y)时，被选择作为反射检测处理对象的PL像素的所选像素如图17的(a1)中所示在xidx(x)＝0，2的情况下通过滤波器1来计算参数Href(x，y)。
图17的(a1)图示了当所选像素是由虚线圈所示的R像素时的滤波器应用处理。
在此情况下，将R像素的像素值、三个左侧像素和三个右侧像素乘以滤波器1的每个系数，将像素值相加，并且计算参数Href(x，y)。
此外，被选择作为反射检测处理对象的PL像素的所选像素如图17的(a2)中所示在xidx(x)＝1，3的情况下通过滤波器0来计算参数Href(x，y)。
图17的(a2)图示了当所选像素是由虚线圈所示的G像素时的滤波器应用处理。
在此情况下，将G像素的像素值、三个左侧像素和三个右侧像素乘以滤波器0的每个系数，将像素值相加，并且计算参数Href(x，y)。
接下来，将参考图18来描述b.计算参数Hnoref(x，y)的处理。
作为反射检测滤波器，应用与参考图17描述的滤波器相同的滤波器。即，使用以下系数被设定为与x方向上的七个像素相乘的系数的两个滤波器。
滤波器0：+1，-2，-3，+4，+3，-2，-1
滤波器1：-1，-2，+3，+4，-3，-2，+1
应用其中设定了上述系数的两种滤波器。
当执行图18中所示的b.计算参数Hnoref(x，y)的处理时，执行与参考图17描述的参数Href(x，y)的计算处理的滤波器应用样态相反的滤波器应用处理。
即，如图18中所示，当计算参数Hnoref(x，y)时，被选择作为反射检测处理对象的PL像素的所选像素如图18的(b1)中所示在xidx(x)＝0，2的情况下通过滤波器0来计算参数Hnoref(x，y)。
图18的(b1)图示了当所选像素是由虚线圈所示的R像素时的滤波器应用处理。
在此情况下，将R像素的像素值、三个左侧像素和三个右侧像素乘以滤波器0的每个系数，将像素值相加，并且计算参数Hnoref(x，y)。
此外，被选择作为反射检测处理对象的PL像素的所选像素如图18的(b2)中所示在xidx(x)＝1，3的情况下通过滤波器1来计算参数Hnoref(x，y)。
图18的(b2)图示了当所选像素是由虚线圈所示的G像素时的滤波器应用处理。
在此情况下，将G像素的像素值、三个左侧像素和三个右侧像素乘以滤波器1的每个系数，将像素值相加，并且计算参数Hnoref(x，y)。
接下来，将参考图19来描述c.计算参数ref(x，y)和noref(x，y)的处理。
通过以下式子来计算参数ref(x，y)和noref(x，y)。
在yidx(y)＝2的情况下，ref(x，y)＝Href(x，y)+H(ref(x，y+1)并且noref(x，y)＝Hnoref(x，y)+Hnoref(x，y+1)
在yidx(y)＝3的情况下，ref(x，y)＝Href(x，y-1)+H(ref(x，y))并且noref(x，y)＝Hnoref(x，y-1)+Hnoref(x，y)
图19(参考图)图示了在yidx(y)＝2的情况下ref(x，y)＝Href(x，y)+H(ref(x，y+1))的计算处理示例。
计算PL像素的两行中的Hef的值的加和并且计算ref(x，y)。
接下来，将参考图20来描述d.反射存在判定结果refDetect(x，y)的确定处理。
d.反射存在判定结果refDetect(x，y)的确定处理是作为基于参考图19描述的参数ref(x，y)和noref(x，y)的判定处理来执行的。
具体而言，如图20中所示，当ref(x，y)≤noref(x，y)、ref(x，y)≤noref(x，y+2)、ref(x，y)≤ref(x，y+2)、ref(x，y)≤noref(x，y-2)和ref(x，y)≤noref(x，y-2)中的任何一个的条件式成立时，refDetect(x，y)＝假，即判定在像素中没有反射。
当这些条件式都不成立时，refDetect(x，y)＝真，即判定在像素中有反射。
图9中所示的反射检测单元103对于每个PL像素执行参考图17至20描述的处理并且对于PL像素判定是否包括反射光。反射检测单元103生成与PL像素相对应的反射光存在信息作为图9中所示的反射信息123并将该信息输出到插补处理单元104。
(插补处理单元104的处理的具体示例)
接下来，将参考图21和22来描述图9中所示的插补处理单元104执行的插补处理的具体示例。
此处理对应于图10的流程图中的步骤S106的处理。
如参考图9所述，插补处理单元104接收由亮度校正单元101生成的亮度校正图像121、由梯度检测单元102生成的梯度信息122以及由反射检测单元103检测到的反射信息123。
插补处理单元104执行作为对PL像素区域的像素值的校正处理的像素插补处理。当插补处理单元104执行插补处理时，插补处理单元104使用由梯度检测单元102生成的梯度信息122和由反射检测单元103检测到的反射信息123并且执行与根据该信息确定的插补样态相应的插补处理。
作为插补处理的结果，生成图8中所示的作为图像校正单元100的输出的2D-Raw图像62。
图21和22是图示出插补处理单元104执行的插补处理的序列的流程图。
将描述图21和22中所示的流程图的每个步骤的处理。
首先，在步骤S171中，插补处理单元104从成为插补处理对象的PL像素中顺次选择处理对象像素。
接下来，插补处理单元104顺次执行步骤S172的处理和随后的处理。
在步骤S172中，插补处理单元104执行对与被选择为插补处理对象的一个PL像素相对应的反射信息也就是由图9中所示的反射检测单元103生成的反射信息123的分析处理。
具体而言，插补处理单元104判定在被选择为插补处理对象的一个PL像素的像素值中是否包括反射光。
在S173中，当判定在所选像素中包括反射光时，处理前进到步骤S174。
在步骤S173中，当判定在所选像素中不包括反射光时，处理结束，而不执行插补处理。在此情况下，对于不包括反射光的PL像素，输出亮度经亮度校正单元101校正的PL像素。
同时，在步骤S173中，当判定在所选像素中包括反射光时，处理前进到步骤S174并且执行应用N像素作为参考像素的插补处理。
在步骤S174中，插补处理单元104执行对与被选择为插补处理对象的一个PL像素相对应的梯度信息也就是由梯度检测单元102生成的梯度信息122的分析处理。具体而言，插补处理单元104执行对由梯度检测单元102生成的梯度信息122中包括的垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较处理。插补处理单元104比较梯度系数并且选择具有高相关性的方向(Dir)。
梯度系数大的方向是像素值的变化率高的方向。
插补处理单元104比较三个梯度系数并且选择梯度系数最小的方向作为具有高相关性的方向(Dir)。
具有高相关性的方向(Dir)相当于像素值的变化率小的方向，即边缘方向。
接下来，在步骤S175中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较来判定右上斜梯度系数Agrad是否最小并且右上斜方向的相关性是否最高。
在步骤S175中，当判定右上斜方向的相关性最高时，处理前进到步骤S177。
在其他情况下，处理前进到步骤S176。
当在步骤S175中判定右上斜方向的相关性最高并且处理前进到步骤S177时，在步骤S177中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右上斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右上斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
同时，在步骤S175中，当判定右上斜方向的相关性不是最高时，处理前进到步骤S176。在步骤S176中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较来判定右下斜梯度系数Dgrad是否最小并且右下斜方向的相关性是否最高。
在步骤S176中，当判定右下斜方向的相关性最高时，处理前进到步骤S178。
在其他情况下，处理前进到步骤S179。
当在步骤S176中判定右下斜方向的相关性最高并且处理前进到步骤S178时，在步骤S178中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右下斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右下斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
在步骤S176中，当判定右上斜方向的相关性不是最高时，处理前进到步骤S179。
在步骤S179中，插补处理单元104对于所选的插补对象像素(PL像素)，利用垂直方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的垂直方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
已描述了对于在2D图像拍摄模式中拍摄的图像的插补处理示例。
为了总结插补处理，可以总结图8和9中所示的图像校正单元100执行的处理如下。
(a)利用与不邻近PL像素的N像素相同的亮度级别校正PL像素和邻近PL像素的像素的亮度
(b)检测与成为插补处理对象的每个PL像素相对应的梯度信息
(c)检测关于在成为插补处理对象的每个PL像素中是否包括反射光的反射信息
(d)当成为插补处理对象的PL像素包括反射光时，输出如下PL像素：在该PL像素中，执行了亮度校正以及利用从垂直方向、右上斜方向和右下斜方向这三个方向中选择的具有高相关性的方向的N像素作为参考像素的插补处理
(e)当成为插补处理对象的PL像素不包括反射光时，输出其中执行了亮度校正的PL像素
图像校正单元100通过该处理生成插补图像，即8中所示的插补图像(2D-Raw图像)62。
[2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1]
接下来，将描述对于在3D图像拍摄模式中拍摄的图像的插补处理示例1。
如以上参考图7所述，成像装置10具有如下构成：其中，图像的拍摄模式可被切换到拍摄2D图像的2D模式和可应用到三维图像的显示的拍摄左眼图像和右眼图像的3D图像。
如图7的(A)和(B)中所示，在3D模式中第一偏振单元12被设定到光路中，而在2D模式中，第一偏振单元12被从光路中去除。
当在3D模式中拍摄图像时，在PL像素(偏振像素)中拍摄以下图像，如上所述。
在垂直偏振像素中拍摄左眼图像(从图1的(B)的重心点31看的图像)并且在水平偏振像素中拍摄右眼图像(从图1的(B)的重心点32看的图像)。在作为全透过像素的N像素(非偏振像素)中，拍摄从透镜中央看的图像(从图1的(B)的中心点33看的图像)。
以下要描述的插补处理示例是对于在3D模式中拍摄的图像在图像校正单元100中执行的插补处理的示例。
在此实施例中，成像装置的整体构成与图1的(A)至(C)中所示的构成相同并且图像处理单元17的构成与图8中所示的构成相同。
图像处理单元17的图像校正单元100的构成与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中描述的图9中所示的构成相同。
如图9中所示，图像校正单元100包括亮度校正单元101、梯度检测单元102、反射检测单元103和插补处理单元104。
如上所述，图像校正单元100从图8中所示的偏振像素分离单元51接收全像素信号81。
即，图像校正单元100接收由全透过像素构成的N像素(非偏振像素)信号和PL像素(偏振像素)信号。
在此实施例中，图像校正单元100的亮度校正单元101、梯度检测单元102和反射检测单元103执行的处理成为与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中描述的处理相同的处理。
即，(a)亮度校正单元101执行用于利用与不邻近PL像素的N像素相同的亮度级别来校正PL像素和邻近PL像素的像素的亮度的亮度校正处理。
(b)梯度检测单元102执行对与成为插补处理对象的每个PL像素相对应的梯度信息的检测。
(c)反射检测单元103执行对关于在成为插补处理对象的每个PL像素中是否包括反射光的反射信息的检测。
上述处理成为与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中描述的处理相同的处理。
插补处理单元104中的处理成为与已经描述的处理(参考图20和21描述的处理)不同的处理。
图23是图示出根据此实施例的图像校正单元100执行的处理的序列的流程图。
在步骤S201中，图像校正单元100接收在3D模式中(设定第一偏振单元)拍摄的图像S(Raw图像)。
以下要描述的步骤S202至S205的处理成为与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中参考图10描述的步骤S102至S105的处理相同的处理。
即，在步骤S202中，图像校正单元100通过对PL像素区域和PL像素周边区域的亮度校正处理来生成亮度校正图像T。
此处理是由图9中所示的亮度校正单元101执行的处理。
接下来，在步骤S203中，图像校正单元100基于亮度校正图像T检测图像梯度(边缘方向)。
此处理是由图9中所示的梯度检测单元102执行的处理。
接下来，在步骤S204中，图像校正单元100基于亮度校正图像检测是否存在反射光。
此处理是由图9中所示的反射检测单元103执行的处理。
在步骤S205中，对于判定检测到反射光的像素(PL像素)，图像校正单元100在步骤S206中执行校正处理，具体而言是使用周边N像素作为参考像素的插补处理。
步骤S206中的插补处理是通过根据由梯度检测单元102生成的梯度信息之中的垂直方向、右上斜方向和右下斜方向这三个方向的梯度信息确定参考像素的设定方向来执行的。具体而言，选择梯度较小也就是像素值变化较小的特定方向的N像素作为参考像素，并且执行使用该特定方向的像素值的插补处理，例如线性插补处理。
此处理成为与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中参考图10描述的步骤S106的处理相同的处理。
在步骤S205中，对于判定未检测到反射光的像素(PL像素)，图像校正单元100在步骤S207中执行校正处理，具体而言是使用周边N像素作为参考像素的插补处理。
步骤S207中的插补处理是通过根据由梯度检测单元102生成的梯度信息之中的垂直方向、右上斜方向、右下斜方向和水平方向这四个方向的梯度信息确定参考像素的设定方向来执行的。具体而言，选择梯度较小也就是像素值变化较小的特定方向的N像素作为参考像素，并且执行使用该特定方向的像素值的插补处理，例如线性插补处理。
在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中参考图10描述的处理中，在不对未检测到反射光的PL像素执行插补处理的情况下，亮度经校正的像素被用作输出像素。
然而，在此实施例中，对于未检测到反射光的PL像素，根据梯度信息确定参考像素并且执行使用参考像素的像素值的插补处理。
这一点与先前处理示例不同。
即，插补处理单元104中执行的插补处理样态是不同的。
将参考图24至26中描述的流程图来描述插补处理单元104执行的插补处理。
如参考图9所述，插补处理单元104接收由亮度校正单元101生成的亮度校正图像121、由梯度检测单元102生成的梯度信息122以及由反射检测单元103检测到的反射信息123。
插补处理单元104执行作为对PL像素区域的像素值的校正处理的像素插补处理。当插补处理单元104执行插补处理时，插补处理单元104使用由梯度检测单元102生成的梯度信息122和由反射检测单元103检测到的反射信息123并且执行与根据该信息确定的插补样态相应的插补处理。
作为插补处理的结果，生成图8中所示的作为图像校正单元100的输出的2D-Raw图像62。
将描述图24至26中所示的流程图的每个步骤的处理。
首先，在步骤S221中，插补处理单元104从成为插补处理对象的PL像素中顺次选择处理对象像素。
接下来，对于所选像素顺次执行步骤S222的处理和随后的处理。
在步骤S222中，插补处理单元104执行对与被选择为插补处理对象的一个PL像素相对应的反射信息也就是由图9中所示的反射检测单元103生成的反射信息123的分析处理。
具体而言，插补处理单元104判定在被选择为插补处理对象的一个PL像素的像素值中是否包括反射光。
在S223中，当判定在所选像素中包括反射光时，处理前进到步骤S224。
在步骤S223中，当判定在所选像素中不包括反射光时，处理前进到步骤S241。
当判定在所选像素中包括反射光时步骤S224和随后步骤的插补处理成为与已经在“2-(1).对于在2D图像拍摄模式中拍摄的图像的插补处理示例”中参考图21和22描述的处理相同的处理。
即，在步骤S223中，当判定在所选像素中包括反射光时，处理前进到步骤S224并且插补处理单元104执行对与被选择为插补处理对象的一个PL像素相对应的梯度信息也就是由梯度检测单元102生成的梯度信息122的分析处理。具体而言，插补处理单元104执行对由梯度检测单元102生成的梯度信息122中包括的垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较处理。插补处理单元104比较梯度系数并且选择具有高相关性的方向(Dir)。
梯度系数大的方向是像素值的变化率高的方向。
插补处理单元104比较三个梯度系数并且选择梯度系数最小的方向作为具有高相关性的方向(Dir)。
具有高相关性的方向(Dir)相当于像素值的变化率小的方向，即所谓的边缘方向。
接下来，在步骤S225中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较来判定右上斜梯度系数Agrad是否最小并且右上斜方向的相关性是否最高。
在步骤S225中，当判定右上斜方向的相关性最高时，处理前进到步骤S227。
在其他情况下，处理前进到步骤S226。
当在步骤S225中判定右上斜方向的相关性最高并且处理前进到步骤S227时，在步骤S227中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右上斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右上斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
同时，在步骤S225中，当判定右上斜方向的相关性不是最高时，处理前进到步骤S226。在步骤S226中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad和右下斜梯度系数Dgrad这三个梯度系数的比较来判定右下斜梯度系数Dgrad是否最小并且右下斜方向的相关性是否最高。
在步骤S226中，当判定右下斜方向的相关性最高时，处理前进到步骤S228。
在其他情况下，处理前进到步骤S229。
当在步骤S226中判定右下斜方向的相关性最高并且处理前进到步骤S228时，在步骤S228中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右下斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右下斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
在步骤S226中，当判定右下斜方向的相关性不是最高时，处理前进到步骤S229。
在步骤S229中，插补处理单元104对于所选的插补对象像素(PL像素)，利用垂直方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的垂直方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
接下来，将描述当在图24中所示的步骤S223中判定在作为插补对象像素的PL像素中不包括反射光并且处理前进到步骤S241时的处理。
此处理对应于图23中所示的流程的步骤S207的处理，即，当判定在插补对象像素的PL像素中不包括反射光时的插补处理。
在图24中所示的流程的步骤S241中，插补处理单元104执行对与被选择为插补处理对象的一个PL像素相对应的梯度信息也就是由梯度检测单元102生成的梯度信息122的分析处理。具体而言，插补处理单元104执行对由梯度检测单元102生成的梯度信息122中包括的垂直梯度系数Vgrad、右上斜梯度系数Agrad、右下斜梯度系数Dgrad和水平梯度系数Hgrad这四个梯度系数的比较处理。插补处理单元104比较梯度系数并且选择具有高相关性的方向(Dir)。
梯度系数大的方向是像素值的变化率高的方向。
插补处理单元104比较四个梯度系数并且选择梯度系数最小的方向作为具有高相关性的方向(Dir)。
具有高相关性的方向(Dir)相当于像素值的变化率小的方向，即所谓的边缘方向。
接下来，在图26中所示的步骤S242中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad、右下斜梯度系数Dgrad和水平梯度系数Hgrad这四个梯度系数的比较来判定右上斜梯度系数Agrad是否最小并且右上斜方向的相关性是否最高。
在步骤S242中，当判定右上斜方向的相关性最高时，处理前进到步骤S251。
在其他情况下，处理前进到步骤S243。
当在步骤S242中判定右上斜方向的相关性最高并且处理前进到步骤S251时，在步骤S251中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右上斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右上斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
同时，在步骤S242中，当判定右上斜方向的相关性不是最高时，处理前进到步骤S243。
在步骤S243中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad、右下斜梯度系数Dgrad和水平梯度系数Hgrad这四个梯度系数的比较来判定右下斜梯度系数Dgrad是否最小并且右下斜方向的相关性是否最高。
在步骤S243中，当判定右下斜方向的相关性最高时，处理前进到步骤S252。
在其他情况下，处理前进到步骤S244。
当在步骤S243中判定右下斜方向的相关性最高并且处理前进到步骤S252时，在步骤S252中，插补处理单元104对于所选的插补对象像素(PL像素)，利用右下斜方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的右下斜方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
在步骤S243中，当判定右下斜方向的相关性不是最高时，处理前进到步骤S244。在步骤S244中，插补处理单元104基于对垂直梯度系数Vgrad、右上斜梯度系数Agrad、右下斜梯度系数Dgrad和水平梯度系数Hgrad这四个梯度系数的比较来判定垂直梯度系数Vgrad是否最小并且垂直方向的相关性是否最高。
在步骤S244中，当判定垂直方向的相关性最高时，处理前进到步骤S253。
在其他情况下，处理前进到步骤S254。
当在步骤S244中判定垂直方向的相关性最高并且处理前进到步骤S253时，在步骤S253中，插补处理单元104对于所选的插补对象像素(PL像素)，利用垂直方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的像素并且至少是最接近插补对象像素(PL像素)的N像素(非偏振像素)。
具体而言，插补处理单元104选择沿着所选插补对象像素(PL像素)的垂直方向的线的PL像素区域的上侧N像素区域和下侧N像素区域中的具有相同颜色的两个或更多个像素作为参考像素，并且执行应用参考像素的像素值的线性插补处理。
在步骤S244中，当判定垂直方向的相关性不是最高时，处理前进到步骤S254。即，这是判定水平方向的相关性最高的情况。
在步骤S254中，插补处理单元104对于所选的插补对象像素(PL像素)，利用水平方向的参考像素执行插补处理。被选择为参考像素的像素是与所选的插补对象像素(PL像素)具有相同颜色的PL像素。
将参考图27来描述水平方向的插补处理的具体示例。
图27图示了通过线性插补计算成为插补对象像素的PL像素的插补像素值Lerp(x，y)的式子和应用到线性插补的线性滤波器的示例。
通过以下式子来计算成为插补对象像素的PL像素(x，y)的插补像素值Lerp(x，y)。
Lerp(x，y)＝((x+2，y)+2(x，y)+(x-2，y))/4
此式子是通过将插补对象像素的像素值和位于插补对象像素的左侧和右侧、最接近插补对象像素并具有相同颜色的像素的像素值在设定1∶2∶1的权重之后相加来计算插补像素值的式子。
从图27的滤波器设定示例可以看出，当执行垂直偏振区域的G像素的插补处理时，使用左侧和右侧水平偏振区域的G像素的像素值作为参考像素的像素值。
即，在此处理示例中，当执行PL像素的水平方向的插补时，在左眼像素的插补的情况下执行使用右眼像素作为参考像素的插补，并且在右眼像素的插补的情况下执行使用左眼像素作为参考像素的插补。
当不包括反射光并且水平方向的像素值的变化率低于其他方向的像素值的变化率时并且判定水平方向的相关性高时，执行水平方向的插补。
因为不包括反射光并且判定具有不同偏振方向的像素之间的像素值的差异较小，所以即使当利用不同偏振方向的像素作为参考像素执行处理时，不正确地设定像素值的可能性也较低。
已描述了对于在3D图像拍摄模式中拍摄的图像的插补处理示例1。
为了总结插补处理，可以总结图8和9中所示的图像校正单元100执行的处理如下。
(a)利用与不邻近PL像素的N像素相同的亮度级别校正PL像素和邻近PL像素的像素的亮度
(b)检测与成为插补处理对象的每个PL像素相对应的梯度信息
(c)检测关于在成为插补处理对象的每个PL像素中是否包括反射光的反射信息
(d)当成为插补处理对象的PL像素包括反射光时，输出如下PL像素：在该PL像素中，执行了亮度校正以及利用从垂直方向、右上斜方向和右下斜方向这三个方向中选择的具有高相关性的方向的N像素作为参考像素的插补处理
(e)当成为插补处理对象的PL像素不包括反射光时，输出如下PL像素：在该PL像素中，执行了亮度校正以及利用从垂直方向、右上斜方向、右下斜方向和水平方向这四个方向中选择的具有高相关性的方向的N像素作为参考像素的插补处理
图像校正单元100通过该处理生成插补图像，即8中所示的插补图像(2D-Raw图像)62。
[2-(3).对于在3D图像拍摄模式中拍摄的图像的插补处理示例2]
接下来，将描述对于在3D图像拍摄模式中拍摄的图像的插补处理示例2。
以下要描述的插补处理示例是对于在3D模式中拍摄的图像在图像校正单元100中执行的插补处理的示例。
在此实施例中，成像装置的整体构成与图1的(A)至(C)中所示的构成相同并且图像处理单元17的构成与图8中所示的构成相同。
图像处理单元17的图像校正单元100的构成与图9中所示的构成相同。
如图9中所示，图像校正单元100包括亮度校正单元101、梯度检测单元102、反射检测单元103和插补处理单元104。
如上所述，图像校正单元100从图8中所示的偏振像素分离单元51接收全像素信号81。
即，图像校正单元100接收由全透过像素构成的N像素(非偏振像素)信号和PL像素(偏振像素)信号。
在此实施例中，只有以上所述的“2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1”中的图像校正单元100的亮度校正单元101的处理变化了。其他处理，也就是梯度检测单元102、反射检测单元103和插补处理单元104的每一个的处理，是与已经在“2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1”中描述的处理相同的处理。
图28是图示出根据此实施例的图像校正单元100执行的处理的序列的流程图。
在步骤S301中，图像校正单元100接收在3D模式中(设定第一偏振单元)拍摄的图像S(Raw图像)。
在步骤S302中，图像校正单元100通过对PL像素区域和PL像素周边区域的亮度校正处理来生成亮度校正图像T。
在此处理示例中，亮度校正处理成为与已经在“2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1”中描述的处理不同的处理。
其他处理，也就是步骤S303至S307的处理，成为与已经作为“2-(2).对于在3D图像拍摄模式中拍摄的图像的插补处理示例1”的处理描述的图23中所示的流程的步骤S203至S207的处理相同的处理。
将参考图29和30来描述此处理示例中的步骤S302的亮度校正处理的详细构成。
图29中所示的流程图是图示出图28中所示的流程的步骤S302的亮度校正处理的详细序列的流程图。
将描述每个步骤的处理。
首先，在步骤S321中，图9中所示的图像校正单元100的亮度校正单元101选择成为亮度校正对象的PL像素和PL像素邻近像素之一。
在此处理示例中，亮度校正对象像素是PL像素和PL像素邻近像素，与上述处理示例类似。
在步骤S322中，亮度校正单元101从被选择为亮度校正对象的像素(x，y)的周边区域中选择具有相同颜色和相同邻近像素设定条件的像素作为参考像素。
将参考图30来描述像素选择的具体示例。
图30图示出当PL像素区域中的G像素301被选择为亮度校正对象像素时的参考像素311至316的示例。
参考像素311至316是与被选择为亮度校正对象的G像素301具有相同颜色和相同邻近像素设定条件的像素。
参考像素311至316全都是G像素的垂直偏振像素并且是八个周边像素的设定相同的像素。
这些像素被选择为参考像素。
接下来，在步骤S323中，对于每个所选的参考像素，计算基于像素值与上下两个N像素的差异(比率)的增益(PGain)。用于计算增益(PGain)的处理是与已经参考图14(参考图)描述的用于计算增益的处理相同的处理。
在已经参考图14描述的处理中，只计算了与一个插补对象像素相对应的增益。然而，在此处理示例中，计算与包括插补对象像素和位于插补对象像素周围的具有相同条件的六个参考像素在内的总共七个像素相对应的七个增益(PGain)。
接下来，在步骤S324中，根据在步骤S323中计算出的与包括插补对象像素和位于插补对象像素周围的具有相同条件的六个参考像素在内的总共七个像素相对应的七个增益(PGain)，计算中央值(中值)。
该中央值被用作适应性增益(AGain)。
最后，在步骤S325中，将校正对象像素的像素值[S(x，y)]乘以适应性增益(AGain)并且计算亮度校正像素值。
对于所有PL像素和PL像素邻近像素执行此处理，执行亮度校正，将所获得的值设定为PL像素和PL像素邻近像素的像素值，并且生成亮度校正图像T。
在此处理示例中，当校正PL像素和PL像素邻近像素的亮度时，通过参考校正对象像素和位于校正对象像素周围的具有相同条件的多个像素来计算与参考像素和周边N像素的像素值比率(亮度比率)相应的增益，并且最终计算这多个增益的中央值作为应用到插补像素的亮度校正的增益。
通过此处理，即使当在插补像素或插补像素周围的N像素中产生误差时，也能够执行减小了误差的影响的亮度校正。
[2-(4).对于在3D图像拍摄模式中拍摄的图像的插补处理示例3]
接下来，将描述对于在3D图像拍摄模式中拍摄的图像的插补处理示例3。
在对于在3D图像拍摄模式中拍摄的图像的插补处理示例中，即对于在3D图像拍摄模式中拍摄的图像的插补处理示例1和对于在3D图像拍摄模式中拍摄的图像的插补处理示例2中，执行了对于当第二偏振单元15的设定是参考图11描述的区域设定时拍摄的图像的处理。
即，在垂直方向(Y方向)上重复布置了以包括2×2的四个像素的矩形区域为单位设定并交替布置垂直偏振区域15V和水平偏振区域15H的两行的PL像素(偏振像素)区域和作为十四行的全透过像素的N像素(非偏振像素)区域15A。
根据本公开的图像处理装置可被应用到被设定了该偏振区域的图像和被设定了另一偏振区域的图像。
例如，可以使用图31中所示的构成作为该偏振区域的设定。
即，在垂直方向(Y方向)上重复布置了以包括4×4的十六个像素的矩形区域为单位设定并交替布置垂直偏振区域15V和水平偏振区域15H的四行的PL像素(偏振像素)区域和作为二十八行的全透过像素的N像素(非偏振像素)区域15A。
例如，图8和9中所示的图像校正单元100可向具有以上设定的偏振区域的拍摄图像应用与上述处理示例相同的处理并且执行PL像素的插补处理。
具体而言，执行以下处理。
(a)利用与不邻近PL像素的N像素相同的亮度级别校正PL像素和邻近PL像素的像素的亮度，
(b)检测与成为插补处理对象的每个PL像素相对应的梯度信息，
(c)检测关于在成为插补处理对象的每个PL像素中是否包括反射光的反射信息，
(d)当成为插补处理对象的PL像素包括反射光时，输出如下PL像素：在该PL像素中，执行了亮度校正以及利用从垂直方向、右上斜方向和右下斜方向这三个方向中选择的具有高相关性的方向的N像素作为参考像素的插补处理，
(e)当成为插补处理对象的PL像素不包括反射光时，输出如下PL像素：在该PL像素中，执行了亮度校正以及利用从垂直方向、右上斜方向、右下斜方向和水平方向这四个方向中选择的具有高相关性的方向的N像素作为参考像素的插补处理。
图像校正单元100通过该处理生成插补图像，即图8中所示的插补图像(2D-Raw图像)62。
然而，如图31中所示，根据偏振区域的设定改变来改变用于判定像素的属性的索引(xidx(x)、yidx(y))。
图32图示了表明像素属性的索引的设定示例。
如图32中所示，表明像素属性的索引的种类如下。
(1)X坐标属性(X索引)[xidx(x)]
(2)Y坐标属性(Y索引)[yidx(y)]
(3)视点属性(视点索引)[ep(x，y)]
(4)颜色属性(颜色索引)[color(x，y)]
每个属性(索引)的值与标识信息之间的对应关系如下。
(1)X坐标属性(X索引)[xidx(x)]
xidx(x)＝0，1，2，3：左眼像素或包括左眼像素的列的非偏振(全透过)像素
xidx(x)＝4，5，6，7：右眼像素或包括右眼像素的列的非偏振(全透过)像素
(2)Y坐标属性(Y索引)[yidx(y)]
yidx(y)＝0，7：远离偏振像素(PL像素)的非偏振(全透过)像素
yidx(y)＝1，6：邻近偏振像素(PL像素)的非偏振(全透过)像素
yidx(y)＝2，3，4，5：偏振像素(PL像素)
(3)视点属性(视点索引)[ep(x，y)]
ex(x，y)＝0：全透过像素(非偏振像素)
ex(x，y)＝-1：左眼像素(垂直偏振像素)
ex(x，y)＝+1：右眼像素(水平偏振像素)
(4)颜色属性(颜色索引)[color(x，y)]
color(x，y)＝0：红(R)像素
color(x，y)＝1：绿(G)像素
color(x，y)＝2：蓝(B)像素
图像校正单元100对应于输入处理对象图像的像素设定索引并且执行基于索引信息的处理。
图像校正单元100判定与根据偏振区域的设定而设定的索引相应的像素属性，执行上述(a)至(e)的每个处理，并且执行PL像素和PL像素邻近像素的插补处理。在此处理中，即使当偏振区域的设定样态被以各种形式改变时，基本处理也是相同的。然而，应当根据像素布置适当地改变参考像素的像素位置或在滤波器处理中应用的滤波器。
在图9中所示的图像校正单元100中的插补处理单元104执行的插补处理中，参考像素的方向是根据梯度信息和反射光的存在与否来选择的。
当存在反射光时，选择除了水平方向(即应用PL像素作为参考像素)以外的方向之中的具有最高相关性的方向作为参考像素方向。
当不存在反射光时，选择包括水平方向在内的方向之中的具有最高相关性的方向作为参考像素方向。
在上述实施例中，将垂直方向、水平方向、右上斜方向和右下斜方向这四个方向设定为梯度检测方向。
然而，可以只将垂直方向和水平方向设定为梯度检测方向并且可基于反射信息和梯度信息从这两个方向中选择参考方向。
[3.对本公开的构成的总结]
已参考具体实施例描述了本公开的构成。然而，本领域技术人员将会清楚，在不脱离本公开的范围的情况下，可以作出各种修改和替换。因此，应当理解，以上实施例在所有方面都不是限制性的。本公开的范围由所附权利要求限定。
此外，本技术也可如下构成。
(1)一种图像处理装置，包括：
第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；
第二偏振单元，该第二偏振单元使所述第一偏振单元的透过光入射，并且包括仅透过所述第一偏振区域的透过光的第三偏振区域、仅透过所述第二偏振区域的透过光的第四偏振区域以及透过所述第一偏振区域和所述第二偏振区域的透过光的全透过区域；
成像元件，该成像元件接收所述第二偏振单元的透过光；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述图像处理单元包括：
视差检测单元，该视差检测单元应用基于所述第二偏振单元的所述第三偏振区域的透过光的图像和基于所述第二偏振单元的所述第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的输入图像执行校正处理并且生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
(2)根据(1)所述的图像处理装置，
其中，所述图像校正单元包括：
亮度校正单元，该亮度校正单元执行亮度校正以将作为与所述第二偏振单元的所述第三偏振区域和所述第四偏振区域相对应的像素的偏振区域像素(PL像素)和偏振区域像素邻近像素(PL像素邻近像素)的亮度与对应于所述全透过区域的全透过区域像素(N像素)的亮度相匹配；
反射检测单元，该反射检测单元以偏振区域像素(PL像素)为单位生成反射信息，该反射信息是关于在每个像素值中是否包括反射光成分的判定信息；
梯度检测单元，该梯度检测单元以偏振区域像素(PL像素)为单位生成与周边像素的多个方向的像素值变化率相对应的梯度信息；以及
插补处理单元，该插补处理单元根据所述反射信息和所述梯度信息选择参考像素，应用所选参考像素的像素值并且执行偏振区域像素(PL像素)的像素值插补处理。
(3)根据(1)或(2)所述的图像处理装置，
其中，所述插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的像素作为参考像素来执行插补处理。
(4)根据(1)至(3)的任何一项所述的图像处理装置，
其中，所述插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素来执行插补处理。
(5)根据(1)至(4)的任何一项所述的图像处理装置，
其中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明存在反射时，所述插补处理单元基于所述梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
(6)根据(1)至(5)的任何一项所述的图像处理装置，
其中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，所述插补处理单元基于所述梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)或者偏振区域像素(PL像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
(7)根据(1)至(6)的任何一项所述的图像处理装置，
其中，在对于在所述第一偏振单元被从光路中去除的状态中拍摄的2D模式的拍摄图像的插补处理中，所述插补处理单元在成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，在不执行偏振区域像素(PL像素)的插补处理的情况下，输出亮度经所述亮度校正单元校正的像素值。
(8)根据(1)至(7)的任何一项所述的图像处理装置，
其中，所述亮度校正单元计算对应于与成为亮度校正对象的偏振区域像素(PL像素)或偏振区域像素邻近像素(PL像素邻近像素)周围的全透过区域像素(N像素)的亮度比率的增益，将亮度校正对象像素乘以计算出的增益，并且执行亮度校正。
(9)根据(1)至(8)的任何一项所述的图像处理装置，
其中，所述反射检测单元检测与所述第二偏振单元的所述第三偏振区域的位置相对应的成像元件的像素值和与所述第二偏振单元的所述第四偏振区域的位置相对应的成像元件的像素值的差异，并且基于该差异生成作为关于在所述偏振区域像素(PL像素)的像素值中是否包括反射光成分的判定信息的反射信息。
(10)根据(1)至(9)的任何一项所述的图像处理装置，
其中，所述图像校正单元以形成来自所述成像元件的输出图像的像素为单位设定表明像素属性的索引并且确定根据该索引的处理。
(11)根据(1)至(10)的任何一项所述的图像处理装置，
其中，所述索引包括表明像素位置的坐标属性、表明视点位置的视点属性和表明像素颜色的颜色属性。
在该装置中执行的处理的方法和用于执行该处理的程序被包括在本公开的构成中。
本公开中描述的一系列处理可用硬件、软件或硬件和软件的组合来执行。当该一系列处理被用软件来执行时，具有记录的处理序列的程序可被安装在嵌入于专用硬件中的计算机中的存储器中并可被执行，或者可被安装在能够执行各种处理的通用计算机中并可被执行。例如，该程序可被预先记录在记录介质中。该程序可被从记录介质安装到计算机或者该程序可通过诸如局域网(LAN)和因特网之类的网络被接收并可被安装在诸如嵌入式硬盘之类的记录介质中。
本公开中描述的各种处理可根据所描述的顺序按时间执行或者可根据执行处理的装置的处理能力或者根据需要并行或单独执行。在本公开中，系统具有多个装置的逻辑集合构成，并且每个装置可不设在同一壳体中。
如上所述，根据本公开的实施例，提供了执行用于生成要应用到三维图像显示的图像的二维图像的插补处理的构成。
例如，根据本公开的图像处理装置包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的全透过光的全透过区域；成像元件；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。在此构成中，图像处理单元对于来自成像元件的输入图像执行应用了反射光的存在与否或者梯度信息的校正处理，并且生成二维图像。图像处理单元应用基于第三偏振区域和第四偏振区域的每个透过光生成的视差信息，执行二维图像的图像转换，并且生成用于三维图像显示的左眼图像和右眼图像。
利用此构成，通过基于反射光或梯度信息的插补处理可以生成具有小误差的二维图像，并且通过基于具有高质量的二维图像的2D3D转换处理可以生成用于高清晰度三维图像显示的左眼图像和右眼图像。
本公开包含与2011年7月11日向日本专利局提交的日本优先权专利申请JP 2011-152885中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (13)

1.一种图像处理装置，包括：
第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；
第二偏振单元，该第二偏振单元使所述第一偏振单元的透过光入射，并且包括仅透过所述第一偏振区域的透过光的第三偏振区域、仅透过所述第二偏振区域的透过光的第四偏振区域以及透过所述第一偏振区域和所述第二偏振区域的透过光的全透过区域；
成像元件，该成像元件接收所述第二偏振单元的透过光；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述图像处理单元包括：
视差检测单元，该视差检测单元应用基于所述第二偏振单元的所述第三偏振区域的透过光的图像和基于所述第二偏振单元的所述第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的输入图像执行校正处理并且生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
2.根据权利要求1所述的图像处理装置，
其中，所述图像校正单元包括：
亮度校正单元，该亮度校正单元执行亮度校正以将作为与所述第二偏振单元的所述第三偏振区域和所述第四偏振区域相对应的像素的偏振区域像素(PL像素)和偏振区域像素邻近像素(PL像素邻近像素)的亮度与对应于所述全透过区域的全透过区域像素(N像素)的亮度相匹配；
反射检测单元，该反射检测单元以偏振区域像素(PL像素)为单位生成反射信息，该反射信息是关于在每个像素值中是否包括反射光成分的判定信息；
梯度检测单元，该梯度检测单元以偏振区域像素(PL像素)为单位生成与周边像素的多个方向的像素值变化率相对应的梯度信息；以及
插补处理单元，该插补处理单元根据所述反射信息和所述梯度信息选择参考像素，应用所选参考像素的像素值并且执行偏振区域像素(PL像素)的像素值插补处理。
3.根据权利要求2所述的图像处理装置，
其中，所述插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的像素作为参考像素来执行插补处理。
4.根据权利要求2所述的图像处理装置，
其中，所述插补处理单元基于成为插补处理对象的非偏振区域像素(N像素)的梯度信息来判定梯度小的具有高相关性的方向，并且利用具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素来执行插补处理。
5.根据权利要求2所述的图像处理装置，
其中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明存在反射时，所述插补处理单元基于所述梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
6.根据权利要求2所述的图像处理装置，
其中，当成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，所述插补处理单元基于所述梯度信息选择具有高相关性的方向上的非偏振区域像素(N像素)或者偏振区域像素(PL像素)作为参考像素，并且执行应用了所选参考像素的插补处理。
7.根据权利要求2所述的图像处理装置，
其中，在对于在所述第一偏振单元被从光路中去除的状态中拍摄的2D模式的拍摄图像的插补处理中，所述插补处理单元在成为插补处理对象的偏振区域像素(PL像素)的反射信息表明不存在反射时，在不执行偏振区域像素(PL像素)的插补处理的情况下，输出亮度经所述亮度校正单元校正的像素值。
8.根据权利要求2所述的图像处理装置，
其中，所述亮度校正单元计算对应于成为亮度校正对象的偏振区域像素(PL像素)或偏振区域像素邻近像素(PL像素邻近像素)与周围的全透过区域像素(N像素)的亮度比率的增益，将亮度校正对象像素乘以计算出的增益，并且执行亮度校正。
9.根据权利要求2所述的图像处理装置，
其中，所述反射检测单元检测与所述第二偏振单元的所述第三偏振区域的位置相对应的成像元件的像素值和与所述第二偏振单元的所述第四偏振区域的位置相对应的成像元件的像素值的差异，并且基于该差异生成作为关于在所述偏振区域像素(PL像素)的像素值中是否包括反射光成分的判定信息的反射信息。
10.根据权利要求1所述的图像处理装置，
其中，所述图像校正单元以形成来自所述成像元件的输出图像的像素为单位设定表明像素属性的索引并且确定根据该索引的处理。
11.根据权利要求10所述的图像处理装置，
其中，所述索引包括表明像素位置的坐标属性、表明视点位置的视点属性和表明像素颜色的颜色属性。
12.一种由图像处理装置执行的图像处理方法，
其中，所述图像处理装置包括：
第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；
第二偏振单元，该第二偏振单元使所述第一偏振单元的透过光入射，并且包括仅透过所述第一偏振区域的透过光的第三偏振区域、仅透过所述第二偏振区域的透过光的第四偏振区域以及透过所述第一偏振区域和所述第二偏振区域的透过光的全透过区域；
成像元件，该成像元件接收所述第二偏振单元的透过光；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述图像处理单元执行：
视差检测处理，用于应用基于所述第二偏振单元的所述第三偏振区域的透过光的图像和基于所述第二偏振单元的所述第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；
图像校正处理，用于对来自所述成像元件的输入图像执行校正处理并且生成二维图像；以及
视差图像生成处理，用于应用由所述视差检测处理生成的视差信息，执行对由所述图像校正处理生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
13.一种用于使得图像处理装置执行图像处理的程序，
其中，所述图像处理装置包括：
第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；
第二偏振单元，该第二偏振单元使所述第一偏振单元的透过光入射，并且包括仅透过所述第一偏振区域的透过光的第三偏振区域、仅透过所述第二偏振区域的透过光的第四偏振区域以及透过所述第一偏振区域和所述第二偏振区域的透过光的全透过区域；
成像元件，该成像元件接收所述第二偏振单元的透过光；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述程序使得所述图像处理单元执行：
视差检测处理，用于应用基于所述第二偏振单元的所述第三偏振区域的透过光的图像和基于所述第二偏振单元的所述第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；
图像校正处理，用于对来自所述成像元件的输入图像执行校正处理并且生成二维图像；以及
视差图像生成处理，用于应用由所述视差检测处理生成的视差信息，执行对由所述图像校正处理生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。
CN201210237975.7A 2011-07-11 2012-07-04 图像处理装置、图像处理方法 Expired - Fee Related CN102883176B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-152885 2011-07-11
JP2011152885A JP5899684B2 (ja) 2011-07-11 2011-07-11 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102883176A true CN102883176A (zh) 2013-01-16
CN102883176B CN102883176B (zh) 2016-02-10

Family

ID=47484290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210237975.7A Expired - Fee Related CN102883176B (zh) 2011-07-11 2012-07-04 图像处理装置、图像处理方法

Country Status (3)

Country Link
US (2) US9083957B2 (zh)
JP (1) JP5899684B2 (zh)
CN (1) CN102883176B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587454A (zh) * 2017-09-29 2019-04-05 佳能株式会社 成像装置、成像系统、移动物体和电路芯片
CN115265786A (zh) * 2022-09-30 2022-11-01 长春理工大学 一种自动调节曝光值的强光偏振探测装置及其探测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5899684B2 (ja) 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014116656A (ja) * 2012-12-06 2014-06-26 Samsung R&D Institute Japan Co Ltd 撮像装置、撮像方法及びプログラム
US9113088B2 (en) * 2012-12-06 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for photographing an image using light from multiple light sources
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
JP6417666B2 (ja) * 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
CN103581657B (zh) * 2013-11-01 2017-01-04 深圳超多维光电子有限公司 一种2d/3d显示的方法和装置
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP6415093B2 (ja) 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6415094B2 (ja) * 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP6334358B2 (ja) * 2014-10-08 2018-05-30 エルジー ディスプレイ カンパニー リミテッド 画像信号処理装置およびビット拡張演算処理方法
CN104539935B (zh) * 2015-01-19 2017-05-31 北京京东方多媒体科技有限公司 图像亮度的调节方法及调节装置、显示装置
US10003783B2 (en) * 2016-02-26 2018-06-19 Infineon Technologies Ag Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
DE112017005244T5 (de) * 2016-10-17 2019-07-11 Sony Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
US12101583B2 (en) 2018-06-05 2024-09-24 Sony Corporation Information generation device, information generation method and program
JP7325949B2 (ja) * 2018-11-22 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CA3142038A1 (en) * 2019-05-28 2020-12-03 Abhijith PUNNAPPURATH System and method for reflection removal using dual-pixel sensor
CN112485915B (zh) * 2021-01-11 2024-05-10 深圳博瑞联三维技术有限公司 基于阶梯渐变节距偏振阵列的双视3d显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2000112019A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子３眼カメラ装置
US20020054208A1 (en) * 1999-02-25 2002-05-09 Envision Advanced Medical Systems Ltd. Optical device
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654991B2 (ja) 1987-08-25 1994-07-20 シャープ株式会社 立体撮影装置
JP3005474B2 (ja) * 1996-08-07 2000-01-31 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
JP2003241075A (ja) * 2002-02-22 2003-08-27 Canon Inc カメラシステム、カメラおよび撮影レンズ装置
JP2004309868A (ja) 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
CN101044507B (zh) * 2005-09-01 2010-08-18 松下电器产业株式会社 图像处理方法以及图像处理装置
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
KR20100018449A (ko) * 2008-08-06 2010-02-17 삼성전자주식회사 입체 이미지 센서의 픽셀 어레이
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8964072B2 (en) * 2010-02-25 2015-02-24 Vorotec Ltd. Light filter with varying polarization angles and processing algorithm
JP5899684B2 (ja) 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2000112019A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子３眼カメラ装置
US20020054208A1 (en) * 1999-02-25 2002-05-09 Envision Advanced Medical Systems Ltd. Optical device
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587454A (zh) * 2017-09-29 2019-04-05 佳能株式会社 成像装置、成像系统、移动物体和电路芯片
CN109587454B (zh) * 2017-09-29 2022-03-04 佳能株式会社 成像装置、成像系统、移动物体和电路芯片
CN115265786A (zh) * 2022-09-30 2022-11-01 长春理工大学 一种自动调节曝光值的强光偏振探测装置及其探测方法

Also Published As

Publication number Publication date
JP5899684B2 (ja) 2016-04-06
JP2013021481A (ja) 2013-01-31
US9538163B2 (en) 2017-01-03
US20150312551A1 (en) 2015-10-29
US9083957B2 (en) 2015-07-14
US20130016189A1 (en) 2013-01-17
CN102883176B (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN102883176B (zh) 图像处理装置、图像处理方法
CN102917235B (zh) 图像处理装置和图像处理方法
US20210352258A1 (en) Imaging apparatus and image sensor array
CN103493484B (zh) 成像装置和成像方法
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
CN103988504B (zh) 用于子像素渲染的图像处理设备和方法
CN104041020B (zh) 彩色摄像元件
EP2741504B1 (en) Image processing device
CN103370943B (zh) 成像装置和成像方法
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
CN103033940A (zh) 成像装置和成像方法
JP2011101366A (ja) アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
CN102164293A (zh) 图像处理装置、图像处理方法、图像处理程序和成像装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN111225135B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN102385168A (zh) 将像素矩阵划分为子组的立体成像方法和系统
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
WO2013080697A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN103444183A (zh) 彩色摄像元件、摄像装置及摄像程序
US20140098201A1 (en) Image processing apparatus and method for performing image rendering based on orientation of display
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5982907B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI462569B (zh) 三維影像攝相機及其相關控制方法
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160210

Termination date: 20200704

CF01 Termination of patent right due to non-payment of annual fee