CN102917235A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102917235A
CN102917235A CN2012102700945A CN201210270094A CN102917235A CN 102917235 A CN102917235 A CN 102917235A CN 2012102700945 A CN2012102700945 A CN 2012102700945A CN 201210270094 A CN201210270094 A CN 201210270094A CN 102917235 A CN102917235 A CN 102917235A
Authority
CN
China
Prior art keywords
image
unit
polarisation
zone
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102700945A
Other languages
English (en)
Other versions
CN102917235B (zh
Inventor
小林诚司
伊藤厚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201610239453.9A priority Critical patent/CN105872525B/zh
Publication of CN102917235A publication Critical patent/CN102917235A/zh
Application granted granted Critical
Publication of CN102917235B publication Critical patent/CN102917235B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

公开了图像处理装置、图像处理方法和程序。提供了拍摄与从不同视点观察的图像相对应的多个视点图像的成像元件和分离成像元件的输出信号、获取与从不同视点观察的图像相对应的多个视点图像并基于所获取的多个视点图像生成用于三维图像显示的左眼图像和右眼图像的图像处理单元。图像处理单元基于从成像元件获得的多个视点图像生成视差信息并通过利用所生成的视差信息的2D3D转换处理生成用于三维图像显示的左眼图像和右眼图像。利用此配置，基于一个拍摄图像获取多个视点图像并生成用于三维图像显示的图像。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及图像处理装置、图像处理方法和程序。更具体而言，本公开涉及执行用于生成要立体观看(三维观看)的三维图像(3D图像)的处理的图像处理装置、图像处理方法和程序。
背景技术
可被作为具有深度的三维图像观看的立体图像(三维图像)由左眼用图像和右眼用图像这两个图像的组合配置而成，其中左眼用图像和右眼用图像是来自不同视点的图像。为了获得来自两个视点的图像，也就是双眼视差图像(binocular parallax image)，两个成像装置被布置在左侧和右侧，相互分开，并且捕捉图像。
所捕捉的一对立体图像是利用包括由左侧成像装置捕捉并由左眼观察的左眼用图像和由右侧成像装置捕捉并由右眼观察的右眼用图像的一对图像配置而成的。
利用包括左眼用图像和右眼用图像的该对图像配置而成的该对立体图像被显示在能够分离左眼用图像和右眼用图像以由观察者的左眼和右眼观看的显示装置上，以使得观察者可将图像认知为三维图像。
然而，当来自两个视点的图像被利用两个相机来拍摄时，应当执行对这两个相机的精确同步控制，同步控制是非常困难的，并且对会聚角的准确控制是非常困难的。
在专利文献1中公开了一种三维拍摄装置，其中被偏光成为正交关系的偏光滤波器被组合以促进对镜头系统的调整以便执行三维拍摄，并且光学系统被共享。
在专利文献2中公开了用包括两个镜头和一个成像单元的成像装置执行三维拍摄的方法。专利文献2中公开的成像装置将被布置成相隔与人类视差相应的间隔的(a)镜头和水平成分偏光滤波器的组合配置和(b)镜头和垂直成分偏光滤波器的组合配置设定到与CCD的成像面相隔预定距离的位置，并且利用(a)和(b)这两个组合配置获取左眼用图像和右眼用图像。
专利文献1：JP平6-054991
专利文献2：JP2004-309868
发明内容
根据平6-054991号日本专利申请公布中公开的技术，通过重叠两个偏光滤波器的输出并形成单个光路来共享镜头系统。
然而，应当进一步设置偏光滤波器来在随后的步骤中提取左眼用图像和右眼用图像，应当再次分割光路，并且光应当入射到每个偏光滤波器上。由于此原因，在镜头系统中产生光损失并且难以减小装置的大小。
根据专利文献2中公开的技术，因为应当设置两组镜头和偏光滤波器，所以装置变得复杂并且装置的大小增大。
本公开是鉴于例如上述情况而作出的。本公开的目标是提供一种对由一个成像装置捕捉的图像执行处理的、用于生成能够被作为三维图像观看的图像的图像处理装置、图像处理方法和程序。
根据本公开的第一实施例，提供了一种图像处理装置，包括：成像元件；入射光控制单元，该入射光控制单元执行入射光控制以使得成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。入射光控制单元具有用以获取左眼视点图像、右眼视点图像和中央视点图像这三个视点图像的入射光控制配置，并且图像处理单元包括：视差检测单元，该视差检测单元应用左眼视点图像和右眼视点图像这两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的中央视点图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
入射光控制单元包括：第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及第二偏光单元，该第二偏光单元使第一偏光单元的透过光入射，并且包括仅透过第一偏光区域的透过光的第三偏光区域、仅透过第二偏光区域的透过光的第四偏光区域以及透过第一偏光区域和第二偏光区域的透过光的全透过区域，并且图像处理单元包括：视差检测单元，该视差检测单元应用基于第二偏光单元的第三偏光区域的透过光的图像和基于第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的输入图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
入射光控制单元具有微透镜阵列，在该微透镜阵列中微透镜被布置在成像元件的区域的一部分上，并且图像处理单元包括：视差检测单元，该视差检测单元应用从来自与微透镜布置区域相对应的形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从来自与微透镜未设定区域相对应的形成成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
入射光控制单元包括：微透镜阵列，在该微透镜阵列中微透镜被布置在成像元件的区域的一部分上；以及遮光膜，该遮光膜被设定到微透镜的布置区域并且遮蔽对成像元件的入射光的一部分，并且图像处理单元包括：视差检测单元，该视差检测单元应用从来自与微透镜和遮光膜的布置区域相对应的形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从与微透镜和遮光膜的未设定区域相对应的形成成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
成像元件包括：用以获取用以生成反映了对象距离的视差信息的两个不同视点图像的左/右视点图像获取区域；以及用以生成从一个视点拍摄的图像的中央视点图像获取区域。
左/右视点图像获取区域是利用一种颜色的像素配置而成的，并且图像处理单元具有应用从利用一种颜色的像素配置而成的左/右视点图像获取区域的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息的视差检测单元。
图像处理处理单元应用从来自形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了图像的对象距离信息的深度地图(depthmap)作为反映了对象距离的视差信息，并且通过应用了深度地图的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像。
图像处理单元包括：视差检测单元，该视差检测单元应用从成像元件获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从成像元件获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
视差图像生成单元对于由图像校正单元生成的二维图像，执行用于通过应用了视差信息的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
图像处理单元执行的2D3D转换处理是用于对第一视点图像执行根据对象距离的图像偏移处理并生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
根据本公开的第二实施例，提供了一种图像处理装置，包括：成像元件；入射光控制单元，该入射光控制单元执行入射光控制以使得成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。入射光控制单元包括：第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及第二偏光单元，该第二偏光单元使第一偏光单元的透过光入射，并且包括仅透过第一偏光区域的透过光的第三偏光区域和仅透过第二偏光区域的透过光的第四偏光区域，并且图像处理单元执行用于对基于第二偏光单元的第三偏光区域的透过光的图像和基于第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像的欠缺像素区域设定像素值的插补(interpolation)处理，并且生成用于三维图像显示的左眼图像和右眼图像。
第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
根据本公开的第三实施例，提供了一种在图像处理装置中执行图像处理的图像处理方法，包括：图像处理单元通过对来自成像元件的输出信号的分离处理将来自该成像元件的该输出信号分离成与从不同视点观察的图像相对应的多个视点图像；图像处理单元应用通过分离步骤中的分离处理获得的两个不同视点图像并生成反映了对象距离的视差信息；图像处理单元对来自成像元件的输入图像执行校正处理并生成二维图像；以及图像处理单元应用在视差检测步骤中生成的视差信息，执行对在图像校正步骤中生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
根据本公开的第四实施例，提供了一种用于使得图像处理装置执行图像处理的程序。该程序使得图像处理单元：通过对来自成像元件的输出信号的分离处理将来自该成像元件的该输出信号分离成与从不同视点观察的图像相对应的多个视点图像；应用通过分离步骤中的分离处理获得的两个不同视点图像并生成反映了对象距离的视差信息；对来自成像元件的输入图像执行校正处理并生成二维图像；以及应用在视差检测步骤中生成的视差信息，执行对在图像校正步骤中生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
根据本公开的程序被记录在记录介质中并被提供到能够执行各种程序代码的信息处理装置或计算机系统。通过由信息处理装置或计算机系统上的程序执行单元执行该程序，实现了与该程序相应的处理。
从以下结合实施例和附图的描述中将更清楚本公开的其他目的、特征和优点。在本公开中，系统具有多个装置的逻辑集合配置，并且每个装置可不设在同一壳体中。
如上所述，根据本公开的一个实施例，可基于一个拍摄图像获取多个视点图像并可生成用于三维图像显示的图像。
具体而言，成像元件拍摄与从不同视点观察的图像相对应的多个视点图像，并且图像处理单元分离成像元件的输出信号，获取与从不同视点观察的图像相对应的多个视点图像，并且基于所获取的多个视点图像生成用于三维图像显示的左眼图像和右眼图像。图像处理单元基于从成像元件获得的多个视点图像生成视差信息并且通过利用所生成的视差信息的2D3D转换处理生成用于三维图像显示的左眼图像和右眼图像。利用此配置，实现了基于一个拍摄图像获取多个视点图像并生成用于三维图像显示的图像的配置。
附图说明
图1是示出图像处理装置的实施例的整体配置的图；
图2是示出第二偏光单元和成像元件的配置示例的图；
图3是示出第二偏光单元的配置示例的图；
图4是示出第二偏光单元和成像元件的配置示例的图；
图5是示出第二偏光单元的配置示例的图；
图6是示出第二偏光单元和成像元件的配置示例的图；
图7是示出图像处理装置的图像处理单元的配置示例的图；
图8是示出右眼图像插补处理单元的处理示例的图；
图9是示出图像处理装置的图像处理单元的配置示例的图；
图10是示出左/右视点图像插补处理单元的处理示例的图；
图11是示出左/右视点图像插补处理单元的处理示例的图；
图12是示出视差检测单元的处理示例的图；
图13是示出视差图像生成单元的配置示例的图；
图14是示出增益控制单元的实施例的配置的框图；
图15是示出在增益系数计算单元中执行的确定增益系数的方法的示例的图；
图16是示出用于在增益控制单元中控制差分信号的幅度值的处理的示例的图；
图17是示出在非线性转换单元中执行的非线性转换处理的示例的图；
图18是示出在图像合成单元中执行的图像合成处理的图；
图19是示出在图像合成单元中执行的图像合成处理的图；
图20是示出图像处理装置的实施例的整体配置的图；
图21是示出成像元件的配置、微透镜阵列的布置配置和用于获取左/右视点图像的处理的图；
图22是示出成像元件的配置、微透镜阵列的布置配置和用于获取左/右视点图像的处理的图；
图23是示出图像处理装置的实施例的整体配置的图；
图24是示出成像元件的配置、微透镜阵列的布置配置和用于获取左/右视点图像的处理的图；并且
图25是示出成像元件的配置、微透镜阵列的布置配置和用于获取左/右视点图像的处理的图。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。
以下，将参考附图详细描述本公开的图像处理装置、图像处理方法和程序。接下来的描述将按如下顺序进行。
1.图像处理装置的配置和处理的概要
2.全栅格(full grid)型第二偏光单元的应用配置中的图像处理
3.插补栅格(interpolation grid)型第二偏光单元的应用配置中的图像处理
4.利用微透镜的多个视点图像的获取配置的示例
5.利用微透镜和遮光膜的多个视点图像的获取配置的示例
6.对本公开的配置的总结
[1.图像处理装置的配置和处理的概要]
将参考图1的(A)至(C)来描述本公开的图像处理装置的配置和处理的概要。图1的(A)至(C)是示出作为图像处理装置的示例的成像装置的配置的图。
在图1的(A)中所示的成像装置10中，与拍摄对象相对应的入射光通过拍摄透镜11输入。
通过拍摄透镜11入射的光通过第一偏光单元12、光圈13、图像形成透镜14和第二偏光单元15输入到成像元件16。
图1的(A)是从上侧看的成像装置(相机)10的图，即顶视图。如图1的(A)的左下的连同XYZ坐标轴的成像装置10和拍摄者20的示意图中所示，图1的(A)的成像装置的配置图是从上侧看的成像装置(相机)10的图。
如图1的(A)的中央附近的垂直虚线(X轴)所示，图1的(A)的上侧成为从拍摄者看的右(R)侧，并且图1的(A)的下侧成为从拍摄者看的左(L)侧。
成像元件16是诸如CCD和CMOS之类的光电转换元件并且根据对象光生成电信号并将电信号输出到图像处理单元17。
图像处理单元17根据预定算法执行信号处理并将作为处理结果的图像数据存储在存储单元18中。
下文中将详细描述图像处理单元17的配置和处理。
在图1的(A)中所示的配置中，第一偏光单元12具有图1的(B)中所示的配置，并且第二偏光单元15具有图1的(C)中所示的配置。
第一偏光单元12如图1的(B)中所示被分割成左右部分这两个部分。在第一偏光单元12中，配置而成了在左半的区域中形成的垂直偏光区域12V和在右半的区域中形成的水平偏光区域12H这些不同偏光区域。偏光区域是利用偏光滤波器配置而成的。
垂直偏光区域12V仅让垂直方向的偏振光通过，并且通过了垂直偏光区域12V的光成为垂直方向的偏振光。
水平偏光区域12H仅让水平方向的偏振光通过，并且通过了水平偏光区域12H的光成为水平方向的偏振光。
图1的(B)中所示的重心点31是垂直偏光区域12V的重心的位置。垂直偏光区域12V的透过光对应于利用重心点31作为视点观察到的图像。
同样地，图1的(B)中所示的重心点32是水平偏光区域12H的重心的位置。水平偏光区域12H的透过光对应于利用重心点32作为视点观察到的图像。
也就是说，利用是垂直偏光区域12V的重心位置的重心点31作为视点观察到的图像对应于作为从左眼的观察图像的左眼视点图像(L图像)，并且利用是水平偏光区域12H的重心位置的重心点32作为视点观察到的图像对应于作为从右眼的观察图像的右眼视点图像(R图像)。
这样，透过第一偏光单元12的图像成为了通过使两个不同的左右视点图像分别作为垂直偏振光和水平偏振光透过而获得的图像。
两个不同视点图像的光，也就是与左眼用图像相对应的L图像(垂直偏振光)和与右眼用图像相对应的R图像(水平偏振光)的光通过图像形成透镜14到达第二偏光单元15。
在以下描述中，“右眼用图像”被简称为“右眼图像”，并且“左眼用图像”被简称为“左眼图像”。
第二偏光单元15具有图1的(C)中所示的配置。
如图1的(C)中所示，第二偏光单元15具有如下配置：其中，从上侧起顺次反复设定了包括水平偏光区域15H、垂直偏光区域15V和全透过(非偏光)区域15A在内的三种区域。
水平偏光区域15H选择性地透过水平方向的偏振光以使得成像元件16仅对水平偏振光成像。
垂直偏光区域15V选择性地透过垂直方向的偏振光以使得成像元件16仅对垂直偏振光成像。
全透过(非偏光)区域15A透过水平方向的偏振光和垂直方向的偏振光两者以使得成像元件16对其入射光成像。
对第二偏光单元15设定的每个偏光区域是利用线栅(wire grid)偏光器配置而成的。每个偏光区域是一偏光元件，该偏光元件具有其中以小间隔布置微细的线(例如铝(Al)线)的配置并且根据线布置方向实现偏光特性。
图2示出了第二偏光单元15和接收第二偏光单元15的透过光的成像元件16重叠的状态。
成像元件16是具有RGB布置(拜耳布置)的成像元件。
图2中所示的配置示例是这样的示例：其中，以成像元件的两条线(line)为单位邻近设定对第二偏光单元15设定的垂直偏光区域15V和水平偏光区域15H，并且以十二条线为单位设定全透过(非偏光)区域15A。也就是说，在成像元件16的垂直方向(Y方向)上反复设定三种区域：(a)两条线的垂直偏光区域15V，(b)两条线的水平偏光区域15H，以及(c)十二条线的全透过(非偏光)区域15A。
水平偏光区域15H选择性地透过水平方向的偏振光，也就是透过了图1的(B)中所示的水平偏光区域12H的与右眼图像相对应的R图像(水平偏振光)，并且使得成像元件16对右眼图像(R图像)成像。
垂直偏光区域15V选择性地透过垂直方向的偏振光，也就是透过了图1的(B)中所示的垂直偏光区域12V的与左眼图像相对应的L图像(垂直偏振光)，并且使得成像元件16对左眼图像(L图像)成像。
全透过(非偏光)区域15A使透过了图1的(B)中所示的水平偏光区域12H的与右眼图像相对应的R图像(水平偏振光)和透过了图1的(B)中所示的垂直偏光区域12V的与左眼图像相对应的L图像(垂直偏振光)两者都透过。这些图像成为与从中心点33观看的图像相对应的图像，中心点33是图1的(B)中所示的重心点31和重心点32的中心位置。也就是说，这些图像成为与利用普通单眼相机拍摄的不具有由偏光引起的视点的偏离的普通图像相同的图像。
图2中所示的配置示例是第二偏光单元15的配置示例并且是以成像元件的两条线为单位邻近设定垂直偏光区域15V和水平偏光区域15H并且以十二条线为单位设定全透过(非偏光)区域15A的示例。
可以使用其他配置作为第二偏光单元15的配置。
例如，如图3中所示，垂直偏光区域15V和水平偏光区域15H可被设定成矩形区域并且可被交替布置。
图4是示出图3中所示的第二偏光单元和具有RGB布置的成像元件16重叠的状态的图。
图4中所示的示例是如下配置：在垂直方向(Y方向)上反复布置了其中以包括2×2的四个像素的矩形区域为单位设定并交替布置垂直偏光区域15V和水平偏光区域15H的两行区域和十四行的全透过(非偏光)区域15A。
在此配置中，利用包括2×2的四个像素的矩形区域配置而成的水平偏光区域15H选择性地仅透过水平方向的偏振光，也就是透过了图1的(B)中所示的水平偏光区域12H的与右眼图像相对应的R图像(水平偏振光)，并且使得成像元件16对右眼图像(R图像)成像。
利用包括2×2的四个像素的矩形区域配置而成的垂直偏光区域15V选择性地仅透过垂直方向的偏振光，也就是透过了图1的(B)中所示的垂直偏光区域12V的与左眼图像相对应的L图像(垂直偏振光)，并且使得成像元件16对左眼图像(L图像)成像。
全透过(非偏光)区域15A使透过了图1的(B)中所示的水平偏光区域12H的与右眼图像相对应的R图像(水平偏振光)和透过了图1的(B)中所示的垂直偏光区域12V的与左眼图像相对应的L图像(垂直偏振光)两者都透过。这些图像成为与从中心点33观看的图像相对应的图像，中心点33是图1的(B)中所示的重心点31和重心点32的中心位置。也就是说，这些图像成为与从中心点33观察的不具有由偏光引起的视点的偏离的普通图像相同的图像。
作为第二偏光单元15的另一配置，如图5中所示，可以按一行至多行为单位设定水平偏光区域15H和垂直偏光区域15V中的每一个，而不设定全透过(非偏光)区域，并且可交替布置水平偏光区域15H和垂直偏光区域15V。
图6是示出图5中所示的第二偏光单元和具有RGB布置的成像元件16重叠的状态的图。
在图6中所示的示例中，以两行区域为单位设定水平偏光区域15H和垂直偏光区域15V中的每一个，并且交替布置水平偏光区域15H和垂直偏光区域15V。
也就是说，在垂直方向(Y方向)上反复布置以两行为单位设定的水平偏光区域15H和垂直偏光区域15V。
在此配置中，两行水平偏光区域15H选择性地仅透过水平方向的偏振光，也就是透过了图1的(B)中所示的水平偏光区域12H的与右眼图像相对应的R图像(水平偏振光)，并且使得成像元件16对右眼图像(R图像)成像。
两行垂直偏光区域15V选择性地仅透过垂直方向的偏振光，也就是透过了图1的(B)中所示的垂直偏光区域12V的与左眼图像相对应的L图像(垂直偏振光)，并且使得成像元件16对左眼图像(L图像)成像。
在此配置中，因为没有设定全透过(非偏光)区域15A，所以没有获得从作为图1的(B)中所示的重心点31和重心点32的中心位置的中心点33观看的图像。
这样，第二偏光单元15可以有各种配置。在图1的(A)中所示的成像装置10的图像处理单元17中，根据第二偏光单元15的配置执行不同的处理。
以下，将描述根据第二偏光单元15的配置的多个图像处理示例。
[2.全栅格型第二偏光单元的应用配置中的图像处理]
首先，将描述全栅格型第二偏光单元的应用配置中的图像处理。
在全栅格型第二偏光单元中，对设定到图1的(A)中所示的成像元件16的前面的整个第二偏光单元15设定用于偏光的线栅。也就是说，应用参考图5和图6描述的第二偏光单元15。
对于成像元件的所有像素位置，对第二偏光单元15设定用于水平偏光或垂直偏光的线栅。当使用全栅格型第二偏光单元时，不设定全透过(非偏光)区域。
因此，在应用全栅格型第二偏光单元的配置中，在成像元件16中只成像了左眼图像(L图像)和右眼图像(R图像)这两个不同视点图像。
在参考图5和图6描述的配置，也就是以两行为单位设定水平偏光区域15H和垂直偏光区域15V中的每一个的配置中，在成像元件16中以两行为单位成像了右眼图像(R图像)[＝水平偏光区域15H的透过图像]和左眼图像(L图像)[垂直偏光区域15V的透过图像]中的每一个。
将参考图7来描述在向图1的(A)中所示的成像装置10应用全栅格型第二偏光单元15的配置中图像处理单元17的配置和处理。
图7是示出图1中所示的图像处理单元17的详细配置的图。
在应用全栅格型第二偏光单元15的配置中，在成像元件16中只成像了与左眼图像(L图像)和右眼图像(R图像)相对应的两个视点图像。
在以下描述中，成像元件16中的与(a)垂直偏光区域和(b)水平偏光区域相对应的像素被称为偏光(PL)像素。与全透过(非偏光)区域相对应的像素被称为非偏光(N)像素。
在此实施例中，应用了全栅格型第二偏光单元15，并且成像元件16的输出是仅利用PL像素输出(＝与垂直偏光区域和水平偏光区域相对应的像素的输出)配置而成的。
对于作为来自图7中所示的成像元件16的输出的PL像素，在图像处理单元17的像素分离单元51中执行分离处理，用于将PL像素信号分离成两个视点图像，即右眼图像(R图像)信号61[＝水平偏光区域15H的透过图像信号]和左眼图像(L图像)信号62[＝垂直偏光区域15V的透过图像信号]。
也就是说，如参考图6所述，当水平偏光区域15H和垂直偏光区域15V中的每一个被以两行为单位设定时，像素分离单元51执行用于将PL像素信号分离成仅由以两行为单位设定的水平偏光区域15H配置而成的图像信号和仅由以两行为单位设定的垂直偏光区域15V配置而成的图像信号的处理。
通过像素分离单元51的分离处理分离出的每个信号被输入到随后的插补处理单元。
仅由水平偏光区域15H的图像信号配置而成的右眼图像(R图像)信号61被输入到右眼图像(R图像)插补处理单元52。
仅由垂直偏光区域15V的图像信号配置而成的左眼图像(L图像)信号62被输入到左眼图像(L图像)插补处理单元54。
右眼图像(R图像)插补处理单元52对于从像素分离单元51输入的右眼图像(R图像)信号61中不包括的像素信号，也就是与垂直偏光区域15V相对应的像素的像素值，利用其中对右眼图像信号成像的水平偏光区域15H的图像信号，执行插补处理，生成其中右眼图像(R图像)被设定到所有像素的插补图像63(2D原始(2D-Raw)(R)图像)，并且输出插补图像63。
同时，左眼图像(L图像)插补处理单元54对于从像素分离单元51输入的左眼图像(L图像)信号62中不包括的像素信号，也就是与水平偏光区域15H相对应的像素的像素值，利用其中对左眼图像信号成像的垂直偏光区域15V的图像信号，执行插补处理，生成其中左眼图像(L图像)被设定到所有像素的插补图像64(2D原始(L)图像)，并且输出插补图像64。
原始图像是向像素位置设定关于一种颜色的信息(例如R、G和B中的任何一种的颜色信息)的图像。颜色是由对成像元件设定的滤色器的设定决定的颜色。
对原始图像执行随后步骤的去马赛克(demosaicking)处理，即用于向像素位置设定所有像素值(例如R、G和B的像素值)的去马赛克处理，并且生成可输出到显示装置的颜色图像。
将参考图8的(a)和(b)描述右眼图像(R图像)插补处理单元52执行的插补处理的示例。图8的(a)和(b)分别示出了从像素分离单元51输入的右眼图像(R图像)信号61和由右眼图像(R图像)插补处理单元52生成的插补图像63(2D原始(R)图像)。
如图8的(a)中所示，从像素分离单元51输入的右眼图像(R图像)信号61仅由与水平偏光区域15H的图像信号相对应的右眼图像信号配置而成，而没有设定与垂直偏光区域15V相对应的像素的像素值。
右眼图像(R图像)插补处理单元52通过插补处理来设定其中没有设定像素值的与垂直偏光区域15V相对应的像素的像素值。
也就是说，右眼图像(R图像)插补处理单元52执行其中对右眼图像成像的水平偏光区域15H的透过图像信号的插补处理，生成对所有像素设定右眼图像(R图像)信号的图8的(b)中所示的插补图像63(2D原始(R)图像)，并且输出插补图像63。
具体而言，右眼图像(R图像)插补处理单元52通过执行应用垂直方向上的像素的像素值的线性插补处理来计算未设定像素值的像素区域的像素值，并且设定该像素值。
当执行插补处理时，右眼图像(R图像)插补处理单元52可以考虑到像素值的每个方向上的变化率，也就是边缘方向，执行用于将变化率较小的方向上的像素的像素值的权重设定得较大的方向选择型插补处理。
右眼图像(R图像)插补处理单元52生成的插补图像63(2D原始(R)图像)成为了利用图1的(B)中所示的第一偏光单元12的右半圆的重心点32也就是水平偏光区域12H的重心位置作为视点位置来拍摄的原始图像，也就是与从右视点观看的右眼图像(R图像)相对应的原始图像。
同时，图7中所示的左眼图像(L图像)插补处理单元54对于从像素分离单元51输入的左眼图像(L图像)信号62中不包括的像素信号，利用其中对左眼图像信号成像的垂直偏光区域15V的图像信号，执行插补处理，生成其中左眼图像(L图像)被设定到所有像素的插补图像64(2D原始(L)图像)，并且输出插补图像64。
插补图像64(2D原始(L)图像)成为了利用图1的(B)中所示的第一偏光单元12的左半圆的重心点31也就是垂直偏光区域12V的重心位置作为视点位置来拍摄的原始图像，也就是与从左视点观看的左眼图像(L图像)相对应的原始图像。
通过两个插补处理单元的插补处理，也就是包括右眼图像(R图像)插补处理单元52的插补处理和左眼图像(L图像)插补处理单元54的插补处理的插补处理，生成包括与右眼图像(R图像)相对应的插补图像63(2D原始(R)图像)和与左眼图像(L图像)相对应的插补图像64(2D原始(L)图像)的与两个视点相对应的原始图像。
这两个原始图像是对成像元件16的所有像素位置设定了像素值的二维(2D)原始图像。
插补处理单元52和54生成的插补图像63(2D原始图像)63和64分别被输入到去马赛克处理单元53和54。
右眼图像(R图像)插补处理单元52生成的插补图像63(2D原始(R)图像)被输入到去马赛克处理单元53。
左眼图像(L图像)插补处理单元54生成的插补图像64(2D原始(L)图像)被输入到去马赛克处理单元54。
去马赛克处理单元53执行对与从右视点观察的右眼图像相对应的插补图像(2D原始(R)图像)63的去马赛克处理和其他相机信号处理，并且生成可被输出到显示单元并对应于从右视点观察的图像的二维图像。
如上所述，去马赛克处理是用于向所有像素位置设定所有颜色信号(例如R、G和B的颜色的像素值)的处理，并且是一般相机中执行的处理。
同时，去马赛克处理单元54执行对与从左视点观察的左眼图像相对应的插补图像(2D原始(L)图像)64的去马赛克处理和其他相机信号处理，并且生成可被输出到显示单元并对应于从左视点观察的图像的二维图像。
去马赛克处理单元53和54生成的两个不同视点的图像通过图像输出单元56被输出作为要应用到三维(3D)图像显示的两个不同视点的图像，也就是左眼图像(L图像)71和右眼图像(R图像)72。
如上所述，图7中所示的图像处理单元17获取根据成像元件16上布置的偏光器以像素为单位获取的不同视点的图像，也就是右眼图像和左眼图像。
通过基于图像的插补处理，生成向所有像素位置设定与从左视点观察的图像相对应的像素值的左眼图像和向所有像素位置设定与从右视点观察的图像相对应的像素值的右眼图像。
通过该处理，基于一个拍摄图像输出了应用于3D图像显示的高清晰度左眼图像和右眼图像。
在上述实施例中，参考图1的(A)至(C)描述的第一偏光单元12具有水平偏光区域被设定到右侧并且垂直偏光区域被设定到左侧的配置。然而，可执行相反的设定。
除了水平偏光和垂直偏光的组合以外，还可应用具有两个不同偏光方向的偏光区域(例如使斜方向的偏振光透过的偏光区域)的任何组合。
第二偏光单元15应当设定具有与对第一偏光单元12设定的偏光区域相同的组合的偏光区域，以对应于第一偏光单元12的偏光区域的设定。
[3.插补栅格型第二偏光单元的应用配置中的图像处理]
接下来，将描述插补栅格型第二偏光单元的应用配置中的图像处理。
在插补栅格型第二偏光单元中，对设定到图1的(A)中所示的成像元件16的前面的第二偏光单元15的一部分设定用于偏光的线栅。也就是说，设定水平偏光区域15H和垂直偏光区域15V，并且设定其中未设定充当偏光元件的线栅的全透过(非偏光)区域15A。
具体而言，如参考图1的(C)和图2所述，以行为单位设定水平偏光区域15H和垂直偏光区域15V，并且设定其中未设定充当偏光元件的线栅的全透过(非偏光)区域15A。
如参考图3和图4所述，设定矩形的水平偏光区域15H和垂直偏光区域15V并且设定其中未设定充当偏光元件的线栅的全透过(非偏光)区域15A。
可设定除图1的(C)、图2、图3和图4的配置以外的配置作为插补栅格型第二偏光单元的配置。
具有偏光区域和非偏光区域的偏光单元被定义为插补栅格型偏光单元。
也就是说，插补栅格型第二偏光单元15被分割成(a)垂直偏光区域、(b)水平偏光区域和(c)全透过(非偏光)区域这三种区域，并且将与三种区域相对应的信号输入到图像处理单元17。
在以下描述中，与成像元件16中的(a)垂直偏光区域和(b)水平偏光区域相对应的像素被称为偏光(PL)像素。与(c)全透过(非偏光)区域相对应的像素被称为非偏光(N)像素。
成像元件16的输出包括PL像素输出(＝与垂直偏光区域和水平偏光区域相对应的像素的输出)和N像素输出(＝与全透过(非偏光)区域相对应的像素的输出)。
在此情况下，将描述当PL像素输出和N像素输出被从具有参考图3和图4描述的第二偏光单元15和成像元件16的组合配置的成像元件16输出到图像处理单元17时的处理示例。
也就是说，成像元件16如参考图4所述具有在垂直方向(Y方向)上反复布置了其中以包括2×2的四个像素的矩形区域为单位交替布置垂直偏光区域15V和水平偏光区域15H的两行区域和十四行的全透过(非偏光)区域15A的配置。
将参考图9描述当对图1的(A)中所示的成像装置10应用插补栅格型第二偏光单元15时图像处理单元17的配置和处理。
图9是示出图1中所示的图像处理单元17的详细配置的图。
在此实施例中，从图9中所示的成像元件16输出的信号包括三种像素信号，即包括2×2的四个像素的垂直偏光区域15V的像素信号(＝偏光区域像素(PL像素)信号)，包括2×2的四个像素的水平偏光区域15H的像素信号(＝偏光区域像素(PL像素)信号)，和全透过(非偏光)区域15A的像素信号(＝非偏光区域像素(N像素)信号)。
对于从成像元件16输出的信号，在图像处理单元17的像素分离单元151中执行用于将该信号分离成偏光区域像素(PL像素)和非偏光区域像素(N像素)的两个输出的分离处理。
通过偏光像素分离单元151的分离处理分离出的N像素信号(非偏光像素信号)161被输入到中央视点图像插补处理单元152。
中央视点图像插补处理单元152执行对于N像素信号(非偏光像素信号)161中缺失的像素区域也就是PL像素区域的像素的像素插补处理。具体而言，图像校正单元152执行用于参考上方和下方N像素的像素值计算PL像素区域的像素值并设定该像素值的插补处理。
通过利用像素插补处理设定像素值缺失的所有PL像素区域的像素值，生成具有与输入图像相同的像素数目的插补图像(2D原始图像)162。插补图像(2D原始图像)162是对每个像素设定了RGB中的任何一个的像素值的图像。
中央视点图像插补处理单元152生成的插补图像(2D原始图像)162成为对形成成像元件16的所有像素设定了N像素信号(非偏光像素信号)的图像。该图像是与从图1的(B)中所示的第一偏光单元12的中心点33观察的图像相对应的一个二维(2D)原始图像。
中央视点图像插补处理单元152生成的插补图像(2D原始图像)162被输入到去马赛克处理单元153。
去马赛克处理单元153对插补图像(2D原始图像)162执行去马赛克处理和其他相机信号处理，并将插补图像转换成普通2D图像。
去马赛克处理是对所有像素位置设定所有颜色信号(例如RGB的各个颜色的像素值)的处理，并且是在一般相机中执行的处理。
去马赛克处理单元153生成的2D-RGB图像163被输入到视差图像生成单元156。
同时，作为通过偏光像素分离单元151的分离处理生成的一个分离信号的PL像素信号(偏光像素信号)165成为仅具有偏光区域像素(PL像素)的像素值而没有非偏光区域像素(N像素)的像素值的像素信号。
PL像素信号(偏光像素信号)165被输入到左/右视点图像插补处理单元154。
以上描述的处理示例是如参考图4所述的在垂直方向(Y方向)上反复布置了其中以包括2×2的四个像素的矩形区域为单位交替布置垂直偏光区域15V和水平偏光区域15H的两行区域和十四行的全透过(非偏光)区域15A的配置。
因此，通过偏光像素分离单元151的分离处理生成的PL像素信号(偏光像素信号)165成为如下图像：在该图像中，每14行在垂直方向上设定其中以包括2×2的四个像素的矩形区域为单位交替布置垂直偏光区域15V和水平偏光区域15H的两行区域。
左/右视点图像插补处理单元154只选择以包括2×2的四个像素的矩形区域为单位交替布置垂直偏光区域15V和水平偏光区域15H的两行的区域(PL像素区域)作为处理对象，并且利用所选择的PL像素生成用于在下一步的视差检测单元155中生成深度地图167的视差图像，也就是与从左眼视点观察的图像相对应的左眼图像信号(垂直偏光图像信号)和与从右眼视点观察的图像相对应的右眼图像信号(水平偏光图像信号)的视差图像166。
将参考图10描述左/右视点图像插补处理单元154中用于生成视差图像的处理的示例。
如图10中所示，左/右视点图像插补处理单元154对于PL像素信号(偏光像素信号)165中包括的PL像素区域，生成其中对所有像素设定与垂直偏光区域15V相对应的像素值的左眼图像信号(垂直偏光图像信号)166a和其中对所有像素设定与水平偏光区域15H相对应的像素值的右眼图像信号(水平偏光图像信号)166b的每个图像。
图10中所示的左眼图像信号(垂直偏光图像信号)166a是通过用于复位(去除)PL像素信号(偏光像素信号)165中包括的PL像素区域的水平偏光像素区域的像素值并利用周边垂直偏光像素的像素值来设定被复位的像素的像素值的像素值插补处理生成的。
同样地，图10中所示的右眼图像信号(水平偏光图像信号)166b是通过用于复位(去除)PL像素信号(偏光像素信号)165中包括的PL像素区域的垂直光像素区域的像素值并利用周边水平偏光像素的像素值来设定被复位的像素的像素值的像素值插补处理生成的。
结果，被设定了左眼图像信号(垂直偏光图像信号)166a中包括的像素值的图像成为了从图1的(B)中所示的第一偏光单元12的左侧重心点31观看的图像，也就是与左眼图像相对应的图像。
同样地，被设定了右眼图像信号(水平偏光图像信号)166b中包括的像素值的图像成为了从图1的(B)中所示的第一偏光单元12的右侧重心点32观看的图像，也就是与右眼图像相对应的图像。
这样，左/右视点图像插补处理单元154对于PL像素信号(偏光像素信号)165中包括的PL像素区域插补左眼图像和右眼图像中的每一个的水平方向上缺失的信息，并且生成与输入图像具有相同的水平像素数的左眼图像信号(垂直偏光图像信号)166a和右眼图像信号(水平偏光图像信号)166b。
左/右视点图像插补处理单元154生成的图像被输入到视差检测单元155。
视差检测单元155对于图10中所示的与输入图像具有相同水平像素数的左眼图像信号(垂直偏光图像信号)166a和右眼图像信号(水平偏光图像信号)166b这两个图像利用块匹配处理比较对应像素，计算对象偏离量，并且检测作为视差信息的对象距离。
也就是说，视差检测单元155通过块匹配处理检测左眼图像和右眼图像的像素之间的偏离，并且根据偏离量计算对象距离。
视差检测单元155生成具有与每个像素相对应的对象距离信息的深度地图167并且输出该深度地图。
深度地图167是具有针对形成图像的每个像素的对象距离信息的数据。例如，深度地图167被配置为被设定了与对象距离相应的亮度值的图像。
具体而言，具有短对象距离(靠近相机)的区域具有高亮度，并且具有长对象距离(远离相机)的区域具有低亮度。视差检测单元155生成被设定了像素值的深度地图并将该深度地图输出到视差图像生成单元156。
左/右视点图像插补处理单元154生成的左眼图像信号(垂直偏光图像信号)166a和右眼图像信号(水平偏光图像信号)166b的图像对于输入图像的N像素(非偏光像素)区域不具有图像信号，如图10中所示。然而，视差检测单元155对于不具有像素值的N像素(非偏光像素)，计算被设定了基于左眼图像信号(垂直偏光图像信号)166a的插补像素值的左眼图像和被设定了基于右眼图像信号(水平偏光图像信号)166b的插补像素值的右眼图像，并且通过这些图像之间的匹配处理来计算与所有像素相对应的距离信息。
可以使用线性插补处理作为像素值插补处理。
左/右视点图像插补处理单元154生成的视差图像(LR图像)仅用于在下一步的视差检测单元155中生成深度地图167，并且可以获得PL像素区域的视差。
图10中所示的各视点的图像，也就是左眼图像信号(垂直偏光图像信号)166a和右眼图像信号(水平偏光图像信号)166b的图像，成为其中设定了R、G和B的每个信号的图像。然而，可仅利用像素分离单元151输出的PL像素信号(偏光像素信号)165中包括的G像素生成作为视差图像的L图像和R图像。
将参考图11的(a)和(b)描述用于仅利用G像素生成视差图像的处理的示例。
用于仅利用G像素生成视差图像的处理包括图11的(a)和(b)中所示的两个插补处理步骤，即(a)插补处理步骤1＝偏光区域中的G像素插补处理，以及(b)插补处理步骤2＝用于设定水平方向的G像素线(行)的处理。
图11的(a)示出了(a)插补处理步骤1＝偏光区域中的G像素插补处理的处理。
图11的(a)和(b)示出了用于生成左眼图像信号(垂直偏光图像信号)的处理的示例。也就是说，该处理是用于基于由像素分离单元151生成的PL像素信号165中包括的左眼图像信号(垂直偏光图像信号)对成像元件16的全像素区域设定与左眼图像信号相对应的G像素的处理。
如以上参考图3和图4所述，以2×2像素区域的形式反复设定了作为左眼图像信号的垂直偏光区域15V和作为右眼图像信号的水平偏光区域15H。
图11的(a)只示出了偏光区域的两行，并且示出了其中交替设定与2×2像素的左眼图像信号相对应的垂直偏光区域15V和与2×2像素的右眼图像信号相对应的水平偏光区域15H的区域。
首先，清除与右眼图像相对应的水平偏光区域15H的像素值并且设定基于与左眼图像信号相对应的垂直偏光区域15V中的G像素的像素值的插补像素值。
例如，图11的(a)中所示的G14和G23是通过插补处理生成的G像素。
G14的像素值G14是像以下式子中那样利用同一行的左侧和右侧的与左眼图像信号相对应的两个垂直偏光区域15V中的与该G像素最邻近的G像素的像素值(G12和G16)来计算的。
G14＝(1/2)(G12+G16)
同样地，G23的像素值G23是像以下式子中那样利用同一行的左侧和右侧的两个垂直偏光区域15V中的与该G像素最邻近的G像素的像素值(G21和G25)来计算的。
G23＝(1/2)(G21+G25)
这样，当生成左眼图像时，对于与右眼图像相对应的水平偏光区域15H的G像素设定位置，执行基于左侧和右侧的与左眼图像相对应的垂直偏光区域15V的G像素值的线性插补处理。
通过该处理，对于两行的偏光像素区域的每一列设定了与左眼图像相对应的一个G像素的像素值。
用于对一行的线设定对每列设定的一个G像素的处理是图11的(b)中所示的处理。也就是说，该处理是(b)插补处理步骤2＝用于设定水平方向的G像素线(行)的处理。
图11的(b)示出了两种方法(第一方法和第二方法)作为插补处理步骤2的处理的示例。
(b1)第一方法是用于在一行上布置在图11的(a)中所示的步骤1中对每列设定的一个G像素值的处理。
偏光区域是以两行为单位设定的。然而，对于垂直的两行，偏光区域可被设定为一行的G像素线。
(b2)第二方法是利用在图11的(a)中所示的步骤1中对每列设定的一个G像素值的两个邻近G像素值计算一个新的G像素值并且设定一行的G像素线的处理。
例如，如图11的(b)中所示，(b2)中所示的新G像素的像素值G1是像式G1＝(1/2)(G21+G12)中这样计算的。
同样地，像素值G2、G3、G4、……是利用在图11的(a)中所示的步骤S1中设定的两个邻近G像素值来计算的。
通过执行第一方法和第二方法中的任何一种的插补处理步骤S2，在与偏光区域相对应的行的像素中，与左眼视点图像相对应的G像素的设定完成。
图11的(a)和(b)示出了用于生成左眼图像信号(垂直偏光图像信号)的处理的示例。然而，用于生成右眼图像信号(水平偏光图像信号)的处理可包括执行利用右眼图像信号(水平偏光图像信号)执行设定垂直偏光区域15V作为插补对象区域的插补处理。通过该插补处理，可对偏光区域的每行设定与右眼视点图像相对应的G像素。
这样，左/右视点图像插补处理单元154可生成两个插补图像，即对偏光区域设定左眼图像的G像素值的插补图像和对偏光区域设定右眼图像的G像素值的插补图像，并将这两个插补图像提供给视差检测单元155。
视差检测单元155输入作为仅包括G像素的视差图像的两个插补图像并且生成深度地图167。
将参考图12描述此处理。
以上参考图11的(a)和(b)描述的左/右视点图像插补处理单元154执行的插补图像生成处理中生成的插补图像是对偏光区域设定左眼图像的G像素值的插补图像和对偏光区域设定右眼图像的G像素值的插补图像。
视差检测单元155通过应用插补图像计算与偏光区域的每个像素相对应的视差并计算与视差相对应的对象距离(D：深度)。
接下来，仅利用偏光区域的深度信息执行用于估计非偏光区域的深度的深度插补处理。图12是示出深度信息插补处理的示例的图。
如图12中所示，利用对偏光区域设定的深度D1和D2来计算并设定与非偏光区域的每个像素相对应的深度。
在图12的示例中，对一行设定偏光区域并且对七行设定非偏光区域以简化描述。D1和D2中的每一个是对于任何列与偏光区域的像素相对应的深度信息。
D1和D2是利用由左/右视点图像插补处理单元154生成的包括对偏光区域设定左眼图像的G像素值的插补图像和对偏光区域设定右眼图像的G像素值的插补图像在内的插补图像计算的深度信息。
视差检测单元155基于该深度信息估计与非偏光区域的每个像素相对应的深度，并设定该深度。图12示出了用于计算基于与任何列上的偏光区域的两个像素相对应的深度D1和D2计算出的同一列的九个深度信息(D’1至D’9)的处理的示例。具体而言，视差检测单元155执行以下计算处理。
D’1＝D1
D’2＝(7/8)D1+(1/8)D2
D’3＝(6/8)D1+(2/8)D2
.        .
.        .
D’8＝(1/8)D1+(7/8)D2
D’9＝D2
这样，视差检测单元155利用深度D1和D2执行扩大处理，设定与离深度D1和D2的距离相应的权重，并且生成估计每个像素的深度的深度地图。
如上所述生成的深度地图167被提供给视差图像生成单元156。
在图12的示例中，对一行设定偏光区域并且对七行设定非偏光区域以简化描述，并且执行扩大处理。然而，如参考图10所述，当对两行设定偏光区域时，对于偏光区域生成一行的深度地图，如以上参考图11的(a)和(b)所述。因为深度地图对于偏光区域的两行虚拟地成为了中央行的深度地图，所以与图12的描述类似，对偏光区域的两行和非偏光区域的k行设定与距离相应的权重，并且生成估计了每个像素的深度的深度地图。
如上所述，各种处理可被应用作为左/右视点图像插补处理单元154中的用于视差信息计算的插补图像生成处理和视差检测单元155中的深度地图167的生成处理。
接下来，将描述在视差图像生成单元156中执行的处理。
视差图像生成单元156利用从去马赛克处理单元153输出的作为二维图像的2D-RGB图像163和从视差检测单元155输出的与视差信息相对应的深度地图167，生成左眼图像(L图像)171和右眼图像(R图像)172这两个图像。
也就是说，视差图像生成单元156执行用于基于与视差信息相对应的深度地图167对于2D-RGB图像163设定与对象距离相应的视差的图像转换处理，生成左眼图像(L图像)171和右眼图像(R图像)172，并且输出左眼图像和右眼图像。
在视差图像生成单元156中执行的图像转换处理是通过基于一个二维图像(2D图像)的图像转换生成可应用到三维图像显示的左眼图像(L图像)171和右眼图像(R图像)172并输出左眼图像和右眼图像的处理，并且一般被称为2D3D转换处理。
下面将描述在视差图像生成单元156中执行的2D3D转换处理的示例。提议了各种处理作为2D3D转换处理。视差图像生成单元156的处理不限于下面要描述的处理，视差图像生成单元156可执行应用了其他现有方法的2D3D转换处理。
将描述在视差图像生成单元156中执行的2D3D转换处理的一个具体示例。
视差图像生成单元156通过利用深度地图167的2D3D转换处理，根据从去马赛克处理单元153输入的一个图像也就是2D-RGB图像163，生成可应用到三维图像显示的右眼图像和左眼图像。
视差图像生成单元156生成其中设定了与从深度地图获得的像素区域单位的对象距离信息相应的视差(偏移量)的右眼图像和左眼图像，并通过图像输出单元157输出右眼图像和左眼图像。
图13是示出视差图像生成单元156的实施例的配置的框图。
视差图像生成单元156执行用于提取输入图像信号的空间特征量并通过对所提取的特征量执行不同的强调处理来生成新视点图像的处理。视差图像生成单元156包括差分器181、增益控制单元182、非线性转换单元183和图像合成单元184。
差分器181从输入到视差图像生成单元156的视频数据中提取亮度信号并且对该亮度信号生成差分信号(H)。具体而言，差分器181在水平方向上输入图像的亮度信号，并且生成通过对输入的亮度信号执行线性差分而获得的信号。线性差分处理是利用三个水平方向抽头的线性差分滤波器执行的。
在该实施例中，亮度信号被用作处理数据。然而，取代亮度信号，颜色信号(RGB)可被用作处理数据。
增益控制单元182根据预定的规则将从差分器181输出的差分信号(H)乘以系数(增益系数)，控制差分信号的幅度值，并且生成作为差分信号的校正信号的经校正差分信号(H’)。
非线性转换单元183以非线性方式转换从增益控制单元182输出的经校正差分信号(H’)，并将该差分信号作为视差强调信号(E’)输出到图像合成单元184。
图像合成单元184执行如下处理：通过应用形成与处理对象图像相对应的视频数据的每个帧图像和从该帧图像生成的空间特征量，也就是亮度信号的经校正差分信号(H’)或者通过以非线性方式转换经校正差分信号而生成的视点强调信号(E’)，来生成新视点图像。
如图13中的虚线所示，非线性转换单元183的转换处理可被省略，并且经增益控制单元182校正的经校正差分信号(H’)可被直接输入到图像合成单元184，并且图像合成单元184可应用经校正差分信号并生成新视点图像。
接下来，将描述增益控制单元182执行的处理。
图14是示出增益控制单元182的实施例的配置的框图。增益控制单元182基于以相同方式输入的深度信息来控制输入差分信号的幅度值。在下文要描述的实施例中，深度信息是以对于输入差分信号的每个像素具有一个深度值的深度地图的形式输入的。深度信息是从由视差检测单元155生成的深度地图167获取的信息。
增益系数计算单元191利用输入的针对每个像素的深度信息，输出针对相应像素的增益系数。
乘法处理单元192执行用于对输入差分信号的每个像素将从增益系数计算单元191输出的针对每个像素的增益系数乘以差分信号(H)的幅度值的乘法处理。结果，乘法处理单元192输出其中幅度值被进行了增益控制的经校正差分信号(H’)。
图15示出了在增益系数计算单元191中要执行的确定增益系数的方法的示例。水平轴示出作为输入信号的深度信息。垂直轴示出增益系数计算单元191中的增益系数的输出。
增益系数计算单元191按照预设函数f(x)转换输入深度信息(In)并输出增益系数(Out)。
此时，对于函数f(x)，可使用各种设定。
作为函数f(x)的示例，使用由公式f(x)＝A×x(A是常数)表示的线性函数。A是预设的常数并且可被设定到各种值。
增益系数计算单元191中的转换函数不限于线性函数，也可执行非线性转换。
对于深度信息，输入与差分信号的每个像素相应的值，并且输出与每个像素相应的增益系数。
图15是示出增益系数计算单元的输入值(深度信息)和输出值(增益系数)的对应示例的图。图15示出了与三个输入值(深度信息)相对应的三个输出值(增益系数)的示例。
假定输入值(深度信息)的示例是D1、D2和D3，并且深度值对应于三个像素。深度是与从观察者(用户)或相机到对象的距离相对应的值。
深度(＝对象距离)按D1＜D2＜D3的顺序从前侧到内侧(远离用户或相机)变深。图15中的深度信息In＝0的位置是当所生成的图像被显示在三维显示装置上时在显示画面上观看的点。
此时，输出值(增益系数)的示例是G1、G2和G3，它们是通过分别将D1、D2和D3的值输入到图15的函数f(x)而获得的值。
如在此示例中所述，增益系数计算单元191输出与差分信号的每个像素相应的增益系数。
图16的(a)至(d)示出了在增益控制单元182中控制差分信号的幅度值的处理的示例。
图16的(a)至(d)分别示出了输入信号、差分信号、深度信息和经校正差分信号的示例。
图16的(a)示出了输入图像信号的示例。
图16的(b)示出了通过对图16的(a)的输入图像信号执行差分处理而获得的图像。
图16的(c)示出了与图16的(a)的输入图像信号相对应的深度信息，并且示出了向图像的三个分割区域赋予深度值的情况。
在此情况下，从上侧起顺次向示出图16的(c)的深度信息的图像信号赋予图15中定义的深度信息D3、D2和D1(D1＜D2＜D3)的值。
此时，根据图15中描述的深度和增益值的关系，与图16的(b)的差分信号的每个像素相乘的增益值从图像的上侧起顺次成为G3、G2和G1(G1＜G2＜G3)。
图16的(d)的经校正差分信号是通过将基于图16的(c)的深度信息的增益值与图16的(b)的差分信号的每个像素相乘而获得的处理结果的示例。
在图16的(d)的经校正差分信号中，在画面的上侧(远区域)乘以大增益值，并且在画面的下侧(近区域)乘以小增益值。
结果，差分信号的幅度值在画面的上侧(远区域)增大，并且差分信号的幅度值在画面的下侧(近区域)减小。
执行2D3D转换处理的视差图像生成单元156利用具有与距离相应的不同幅度的差分信号生成新视点图像并输出新视点图像。
接下来，将描述非线性转换单元183执行的处理。非线性转换单元183生成通过以非线性方式转换从增益控制单元182输出的被根据距离进行增益控制的经校正差分信号(H’)而获得的视差强调信号(E’)，并将视差强调信号(E’)输出到图像合成单元184。
图17示出了在非线性转换单元183中执行的非线性转换处理的示例。水平轴示出了从增益控制单元182输出的被根据距离进行增益控制(校正)的差分信号，其是(亮度)经校正差分信号。垂直轴示出了在非线性转换单元183中执行非线性转换处理后的输出。非线性转换单元183通过预先定义的函数f(x)转换输入的经校正差分信号(In)且输出视差强调信号(Out)。也就是说，Out＝f(In)。此时，在函数f(x)中，可使用各种设定。作为函数f(x)的示例，使用由公式f(x)＝xγ表示的指数函数。γ是预设的系数并且可被设定到各种值。
非线性转换单元183中的转换系数不限于指数函数，可执行线性转换。
图像合成单元184执行用于合成从非线性转换单元183输出的视差强调信号和输入到视差图像生成单元156的2D图像并生成新视点图像的处理。
如图13中的虚线所示，可省略非线性转换单元183的转换处理，并且通过由增益控制单元182对差分器181生成的差分信号执行根据距离的增益控制而获得的经校正差分信号(H’)可被间接输入到图像合成单元184。在此情况下，图像合成单元184执行用于应用被根据深度(对象距离)进行了增益控制的经校正差分信号(H’)并生成新视点图像的处理。
接下来，将描述图像合成单元184的处理。
图像合成单元184执行如下处理：应用从处理对象图像生成的空间特征量，也就是亮度信号的差分信号，或者通过以非线性方式转换差分信号而生成的视差强调信号，并且生成新视点图像。
图18的(a)至图19的(e)示出了在图像合成单元184中执行的图像合成处理的概念。
图18的(a)至(e)和图19的(a)至(e)分别对于具有大距离的图像区域(具有大深度的图像区域)和具有小距离的图像区域(具有小深度的图像区域)，从上侧起顺次示出了输入信号(S)、差分信号(H)、经校正(经增益控制)的差分信号(H’)、右眼图像信号和左眼图像信号。
如果联系图16的(c)的深度信息进行描述，则图18的(a)至(e)是示出对于图16的(c)的图像上部的距离较大(＝D3)的图像区域(深度较大的图像区域)的处理示例的图。同时，图19的(a)至(e)是示出对于图16的(c)的图像下部的距离较小(＝D1)的图像区域(深度较小的图像区域)的处理示例的图。
首先，将描述图18的(a)至(e)中所示的具有大距离的图像区域(具有大深度的图像区域)中的处理示例。
在图18的(a)的输入信号(S)中，示出了视频数据的任何帧的任何水平线的亮度变化。示出了一条线，其中在中央部存在具有高亮度的高亮度区域。在从线位置(x1)到线位置(x2)的区域A中，亮度逐渐增大，在从线位置(x2)到线位置(x3)的区域中，存在维持高亮度水平的高亮度部分，并且在从线位置(x3)到线位置(x4)的区域B中，亮度逐渐减小。
图18的(b)的差分信号(H)是图18的(a)的输入信号的差分结果。差分信号是在图13中所示的视差图像生成单元156的差分器181中生成的信号。
如图18的(a)至(e)中所示，差分器181生成的差分信号(H)在图18的(a)的输入信号(S)的亮度增大的区域A中取正值，并且在图18的(a)的输入信号(S)的亮度减小的区域B中取负值。
图18的(c)的经校正(经增益控制)的差分信号(H’)是在图13中所示的视差图像生成单元156的增益控制单元182中生成的信号，并且是通过基于深度信息对图18的(b)的差分信号进行校正(增益控制)而获得的信号。图18的(a)至(e)中所示的示例是距离较大(例如图15和图16的(c)的D3)的图像区域(具有大深度的图像区域)中的处理示例。如参考图15至图16的(d)所述，执行按照大增益(G3)的校正处理并且以更大的幅度校正差分信号的幅度。
图18的(c)的虚线示出了未校正的信号(＝图18的(b)的差分信号(H))，并且图18的(c)的实线示出了根据距离校正了的差分信号(H’)。这样，通过根据距离的增益控制，以大幅度校正经校正差分信号(H’)的幅度。
图18的(d)的右眼图像信号和图18的(e)的左眼图像信号是由图13中所示的图像合成单元184生成的信号。
当从去马赛克处理单元153输入到图9中所示的视差图像生成单元156的2D图像是图18的(a)中所示的输入图像时，图18的(d)的右眼图像信号是通过将输入图像向右侧偏移来生成的。通过将输入图像向左侧偏移，生成图18的(e)的左眼图像信号。
具体而言，图18的(d)的右眼图像信号或图18的(e)的左眼图像信号是通过合成图18的(a)的输入信号(S)和作为通过在非线性转换单元183中对图18的(c)的经校正(经增益控制)的差分信号(H’)执行非线性转换而获得的结果(非线性转换单元183的输出)的视差强调信号(E’)来生成的。
如图18的(d)中所示，当合成按大增益(G3)校正的经校正差分信号(H’)时，与合成未校正的差分信号(H)时相比，生成具有较大的右偏移量的图像信号。同样地，在图18的(e)中，生成具有较大的左偏移量的图像信号。
接下来，将描述图19的(a)至(e)中所示的具有小距离的图像区域(具有小深度的图像区域)中的处理示例。
图19的(a)至(e)示出了对于图16的(c)的图像下部的距离较小(＝D1)的图像区域(具有小深度的图像区域)的处理示例。
图19的(a)的输入信号和图19的(b)的差分信号是与图18的(a)的输入信号和图18的(b)的差分信号相同的信号。图19的(b)的差分信号(H)是图19的(a)的输入信号(S)的差分结果。差分信号是在图13中所示的差分器181中生成的信号。如图19的(a)至(e)中所示，差分器181生成的差分信号在图19的(a)的输入信号(S)的亮度增大的区域A中取正值，并且在图19的(a)的输入信号(S)的亮度减小的区域B中取负值。
图19的(c)中所示的经校正(经增益控制)的差分信号(H’)是在图13中所示的增益控制单元182中生成的信号，并且是通过基于深度信息对图19的(b)的差分信号进行校正(增益控制)而获得的信号。
图19的(a)至(e)中所示的示例是距离较小(例如图15和图16的(c)的D1)的图像区域(具有小深度的图像区域)中的处理示例。如参考图15至图16的(d)所述，按照小增益(G1)以小幅度来校正差分信号的幅度。
图19的(c)的虚线示出了未校正的信号(＝图19的(b)的差分信号(H))，并且图19的(c)的实线示出了根据距离而校正的差分信号。这样，通过根据距离的增益控制，以小幅度校正经校正差分信号的幅度。
图19的(d)的右眼图像信号和图19的(e)的左眼图像信号是由图13中所示的图像合成单元184生成的信号。图像合成单元184合成图19的(a)的输入信号(S)和作为通过在非线性转换单元183中对图19的(c)的经校正(经增益控制)的差分信号(H’)执行非线性转换而获得的结果(非线性转换单元183的输出)的视差强调信号(E’)，并生成图19的(d)的右眼图像信号或图19的(e)的左眼图像信号。
例如，当从去马赛克处理单元153输入到图9中所示的视差图像生成单元156的2D图像是图19的(a)中所示的输入图像时，图19的(d)的右眼图像信号是通过将输入图像向右侧偏移来生成的。
通过将输入图像向左侧偏移，生成图19的(e)的左眼图像信号。
如图19的(d)中所示，当合成按小增益(G1)校正的经校正差分信号(H’)时，与合成未校正的差分信号(H)时相比，生成具有较小的右偏移量的图像信号。同样地，在图19的(e)中，生成具有较小的左偏移量的图像信号。
这样，当视差图像生成单元156生成被认知为在比显示画面更靠内的方向上的图像时，视差图像生成单元156在距离＝大的情况下生成具有大幅度的经校正差分信号并在距离＝小的情况下生成具有小幅度的经校正差分信号(参见图18的(c)和图19的(c))，合成经校正差分信号(或作为其非线性转换结果的视差强调信号)和图18的(a)和图19的(a)的输入信号，并且生成与从与输入图像的视点不同的视点观察的图像相对应的图18的(d)和图19的(d)的右眼图像信号或图18的(e)和图19的(e)的左眼图像信号。
将利用公式来描述用于生成图18的(d)和图19的(d)的右眼图像信号和图18的(e)和图19的(e)的左眼图像信号的处理。
与图18的(a)和图19的(a)的输入信号相对应的视频数据的亮度水平被设定为(S)，并且图18的(b)和图19的(b)的差分信号的信号水平被设定为(H)。
与增益控制单元182中的差分信号的校正结果相对应的经校正差分信号的信号水平被设定为(H’)。
当生成经校正差分信号(H’)时，与图18的(b)和图19的(b)的差分信号(H)相乘的增益值(G)是基于深度信息(D)根据预设的函数来确定的。
在图18的(a)至(e)中所示的大距离的情况下的增益值被设定为G3，并且在图19的(a)至(e)中所示的小距离的情况下的增益值被设定为G1。
在图18的(a)至图19的(e)中所示的示例中，假定G3＞1＞G1的关系。
如果图18的(c)和图19的(c)的经校正差分信号的信号水平由(H’)表示，信号被利用增益值G3和G1来校正，则(H’)可由以下公式表示。
在图18的(a)至(e)中所示的大距离的情况下的经校正差分信号(H’)中的由公式H’＝G3×H计算出的信号的水平和在图19的(a)至(e)中所示的小距离的情况下的经校正差分信号(H’)中的由公式H’＝G1×H计算出的信号的水平成为图18的(c)和图19的(c)的经校正差分信号的信号水平(H’)。
在图18的(c)的大距离的情况下，如果比较实线所示的经校正差分信号(H’)和虚线所示的未校正差分信号(＝图18的(b))，则实线所示的经校正差分信号(H’)的幅度变得大于虚线所示的未校正差分信号的幅度。
同时，在图19的(c)的小距离的情况下，如果比较实线所示的经校正差分信号(H’)和虚线所示的未校正差分信号(＝图19的(b))，则实线所示的经校正差分信号(H’)的幅度变得小于虚线所示的未校正差分信号的幅度。
这是因为图18的(c)和图19的(c)中所示的经校正差分信号是通过乘以不同的增益值来生成的。
也就是说，对于视差检测单元155输出的深度地图中的深度信息的值较大(与相机的距离较大)的像素，将图18的(b)的差分信号乘以大增益值，校正差分信号，并且生成图18的(c)中所示的经校正差分信号。
同时，对于视差检测单元155输出的深度地图中的深度信息的值较小(与相机的距离较小)的像素，将图19的(b)的差分信号乘以小增益值，校正差分信号，并且生成图19的(c)中所示的经校正差分信号。
对于图18的(c)和图19的(c)中所示的经校正差分信号，在非线性转换单元183中根据以上参考图11描述的设定执行非线性转换处理，并且生成视差强调信号(E’)。
图像合成单元184输入与图18的(a)和图19的(a)的输入信号相对应的视频数据(S)和通过对图18的(c)和图19的(c)的经校正差分信号(H’)执行非线性转换而获得的视差强调信号(E’)，并且根据以下式子生成右眼图像信号(Right)和左眼图像信号(Left)。
Right＝S-E’
Left＝S+E’
所获得的信号是图18的(d)和图19的(d)中的实线所示的右眼图像信号和图18的(e)和图19的(e)中所示的左眼图像信号。
同时，图18的(d)和(e)和图19的(d)和(e)中的虚线所示的信号相当于通过应用未校正的差分信号而不是图18的(c)和图19的(c)的经校正差分信号，也就是图18的(b)和图19的(b)的差分信号(H)，并且利用通过对差分信号执行非线性转换而获得的视差强调信号(E)，来生成的右眼图像信号和左眼图像信号。也就是说，Right＝S-E并且Left＝S+E。
如果比较图18的(d)和图19的(d)的右眼图像信号和图18的(e)和图19的(e)的左眼图像信号中显示的实线和虚线，则在图18的(a)至(e)中所示的大距离的情况下，在图18的(d)的右眼图像信号和图18的(e)的左眼图像信号两者中，实线(经校正差分信号)的边缘部分(信号的变化部分)都比虚线(未校正差分信号)的边缘部分更陡峭，并且信号的偏移量变得大于图18的(a)的输入信号的偏移量。
同时，在图19的(a)至(e)中所示的小距离的情况下，在图19的(d)的右眼图像信号和图19的(e)的左眼图像信号两者中，实线(经校正差分信号)的边缘部分都比虚线(未校正差分信号)的边缘部分更平缓，并且信号的偏移量变得小于图19的(a)的输入信号的偏移量。
这样，视差图像生成单元156对于从去马赛克处理单元153输入的2D-RGB图像163，利用从视差检测单元155输入的深度地图167，执行用于根据对象距离执行视差设定的2D3D转换处理，生成被应用到3D图像显示的左眼图像(L图像)171和右眼图像(R图像)172，并且通过图像输出单元157输出左眼图像和右眼图像。
如上所述，图9中所示的图像处理单元17获取根据布置在成像元件16上的偏光器获取的不同视点的图像，也就是左眼图像和右眼图像，并且基于这些图像生成相当于视差信息的深度地图。
图像处理单元17利用未布置偏光器的像素获取普通2D图像，并且通过根据这些信息的图像处理来输出被应用到3D图像显示的高清晰度左眼图像和右眼图像。
在上述实施例中，参考图1的(A)至(C)描述的第一偏光单元12具有水平偏光区域被设定到右侧并且垂直偏光区域被设定到左侧的配置。然而，可以颠倒该设定。
除了水平偏光和垂直偏光的组合以外，也可以应用具有两个不同偏光方向的偏光区域(例如透过斜方向的偏振光的偏光区域)的任何组合。
第二偏光单元15应当设定与对第一偏光单元12设定的偏光区域具有相同组合的偏光区域，以对应于第一偏光单元12的偏光区域的设定。
[4.利用微透镜的多个视点图像的获取配置的示例]
在上述配置中，图1的(A)至(C)中所示的第二偏光单元15的偏光区域是利用线栅偏光器配置而成的。线栅偏光器是具有以小间隔布置微细的线(例如铝(Al)线)的配置并且实现与线布置方向相应的偏光特性的偏光元件。
与从左视点观察的图像相对应的左眼图像和与从右视点观察的图像相对应的右眼图像是利用与线布置方向相应的偏光特性来获取的，并且从中央视点观察的图像是在未布置线栅的非偏光区域中获取的。
除了使用线栅的配置以外，也可使用获取从不同视点观察的图像的配置。
例如，利用在成像元件的前面布置微透镜的配置，可从不同视点获取图像。
上述本公开的图像处理可作为对于利用微透镜拍摄的图像的处理而执行。
将参考图20描述利用微透镜来拍摄从不同视点观察的图像的配置。
图20是示出根据此实施例的成像装置300的整体配置的图。
在图20中所示的成像装置300中，用相同的标号表示与参考图1的(A)描述的成像装置10的结构元件相同的结构元件。
与拍摄对象相对应的入射光通过拍摄透镜11输入。通过拍摄透镜11入射的光通过光圈13、图像形成透镜14和微透镜阵列301输入到成像元件16。
图20是从上侧看的成像装置(相机)300的图，即顶视图。连同XYZ坐标轴的成像装置300和拍摄者20的示意图在图20的左下示出。
如图20的中央附近的垂直虚线(X轴)所示，图20的上侧成为从拍摄者看的右(R)侧，并且图20的下侧成为从拍摄者看的左(L)侧。
成像元件16是诸如CCD和CMOS之类的光电转换元件并且根据对象光生成电信号并将电信号输出到图像处理单元17。
图像处理单元17根据预定算法执行信号处理并将作为处理结果的图像数据存储在存储单元18中。
图像处理单元17的配置和处理与以上参考图7至19描述的配置和处理相同。
图20中所示的成像装置300与参考图1的(A)至(C)描述的成像装置10的不同在于，没有使用作为参考图1的(A)至(C)描述的成像装置10的结构元件的第一偏光单元12和第二偏光单元15，并且布置了微透镜阵列301。
图20中所示的成像装置300利用微透镜阵列301从不同视点对图像成像。
图21的(a)至(c)是示出成像元件16和微透镜阵列301的具体配置示例和从不同视点对图像的拍摄配置的图。
图21的(a)示出了对具有拜耳布置的成像元件设定的微透镜阵列301的配置示例。在图21的(a)中，横方向是水平方向，即x方向，并且纵方向是垂直方向，即y方向。
微透镜311被布置在左/右视点图像获取区域312上。在与拜耳布置的一个单元相对应的2×2像素上布置一个微透镜311。
与上述实施例中的偏光区域也就是线栅布置区域类似，布置微透镜311的区域是获取作为左眼视点的图像的左眼图像和作为右眼视点的图像的右眼图像的区域。
未布置微透镜的区域对应于上述实施例中的非偏光区域，并且成为获取中央视点的普通图像的中央视点图像获取区域313。
对应于拜耳布置的一个单元，即2×2像素，布置一个微透镜311。2×2像素的放大视图是图21的(b)中所示的微透镜布置单位的平面图。
对于四个RGGB像素布置一个微透镜。
在图21的(b)中所示的四个RGGB像素之中，右侧的G和B像素成为与左眼视点的图像相对应的左眼图像获取像素321。左侧的R和G像素成为与右眼视点的图像相对应的右眼图像获取像素322。
在图21的(c)中所示的微透镜布置单位的截面图中，示出了通过微透镜入射的光的路径。图21的(c)对应于图21的(b)中所示的线AB的截面配置。
如图21的(c)中所示，左眼视点图像通过微透镜331和滤色器332的B区域输入到与形成成像元件16的B像素相对应的光电二极管333。
同时，右眼视点图像通过微透镜331和滤色器332的G区域输入到与形成成像元件16的G像素相对应的光电二极管333。
这样，在布置了微透镜的2×2像素之中的右侧两个像素中拍摄与左视点的图像相对应的左眼图像，并且在布置了微透镜的2×2像素之中的左侧两个像素中拍摄与右视点的图像相对应的右眼图像。
也就是说，在图21的(a)中所示的左/右视点图像获取区域312中，以布置了微透镜311的四个像素为单位拍摄左眼图像和右眼图像。
例如，参考图9描述的图像处理单元17的像素分离单元151将图21的(a)中所示的左/右视点图像获取区域312的像素值信息输出到左/右视点图像插补处理单元154，并且将中央视点图像获取区域313的像素值信息输出到中央视点图像插补处理单元152。
然后，执行与以上所述处理相同的处理。
也就是说，生成基于左/右视点图像获取区域312的像素值信息的深度地图，并且通过对由基于中央视点图像获取区域313的像素值信息的插补处理生成的2D原始图像应用深度地图的2D-3D转换处理来生成可应用到三维图像显示的左眼图像和右眼图像。
在左/右视点图像插补处理单元154中，根据以上参考图11描述的处理，可以仅利用左/右视点图像获取区域312的G像素生成每个视点的图像。
如图21的(b)中所示，在微透镜布置单位中存在两个G像素来获取从不同视点拍摄的图像。G像素相当于右像素和左像素，并且一条线的左图像和右图像可从水平方向上布置的G像素生成。
如图21的(c)中所示，微透镜311在光学上被设计成使得，当光通过布置在下部的滤色器332透过到作为光接收单元的光电二极管333时，只有偏向光轴中心的方向的光通过。利用微透镜对对象图像的相位的检测在2010-204294号日本专利申请早期公布中描述。
图21的(a)至(c)中所示的像素布置可通过在拜耳布置上布置微透镜阵列来实现。在根据以上参考图11描述的处理仅利用G像素生成每个视点的图像的配置中，左/右视点图像获取区域312中的除G像素以外的B像素或R像素不被使用。
当检测视差时存在不必要的R像素和B像素时，深度地图的垂直方向的分辨率劣化。为了解决此问题，可只在左/右视点图像获取区域312中布置G像素，如图22的(a)至(c)中所示。
如图22的(a)中所示，布置有微透镜311的整个左/右视点图像获取区域312是仅利用G像素配置而成的。左/右视点图像获取区域的滤色器是利用仅透过绿波长的滤色器配置而成的。
利用此配置，在布置有微透镜的两条线的左/右视点图像获取区域312中，在所有像素中交替拍摄左眼图像和右眼图像的G像素值。结果，可生成高精度的左眼图像和右眼图像并且可生成高精度的视差信息。
取代G像素，可布置透过从红到蓝的可见光的所有波长的白像素(W像素)，并且可执行基于W像素的视差图像的生成和深度地图的生成。
[5.利用微透镜和遮光膜的多个视点图像的获取配置的示例]
接下来，将描述利用微透镜和遮光膜的多个视点图像的获取配置的示例。
图23是示出根据此实施例的成像装置500的整体配置的图。
在图23中所示的成像装置500中，用相同的标号表示与参考图1的(A)描述的成像装置10的结构元件相同的结构元件。
与拍摄对象相对应的入射光通过拍摄透镜11输入。
通过拍摄透镜11入射的光通过光圈13、图像形成透镜14、微透镜阵列501和遮光膜502输入到成像元件16。
图23是从上侧看的成像装置(相机)500的图，即顶视图。连同XYZ坐标轴的成像装置500和拍摄者20的示意图在图23的左下示出。
如图23的中央附近的垂直虚线(X轴)所示，图23的上侧成为从拍摄者看的右(R)侧，并且图23的下侧成为从拍摄者看的左(L)侧。
成像元件16是诸如CCD和CMOS之类的光电转换元件并且根据对象光生成电信号并将电信号输出到图像处理单元17。
图像处理单元17根据预定算法执行信号处理并将作为处理结果的图像数据存储在存储单元18中。
图像处理单元17的配置和处理与以上参考图7至19描述的配置和处理相同。
图23中所示的成像装置500与参考图1的(A)至(C)描述的成像装置10的不同在于，没有使用作为参考图1的(A)至(C)描述的成像装置10的结构元件的第一偏光单元12和第二偏光单元15，并且布置了微透镜阵列501和遮光膜502。
图23中所示的成像装置500利用微透镜阵列501遮光膜502从不同视点对图像成像。
图24的(a)至(c)是示出成像元件16、微透镜阵列501和遮光膜502的具体配置示例和从不同视点对图像的拍摄配置的图。
图24的(a)示出了对具有拜耳布置的成像元件设定的微透镜阵列501和遮光膜502的配置示例。在图24的(a)中，横方向是水平方向，即x方向，并且纵方向是垂直方向，即y方向。
微透镜511被布置在左/右视点图像获取区域521上。在拜耳布置的每个像素上布置一个微透镜511。
遮光膜512被布置在左/右视点图像获取区域521上。遮光膜512被配置为在每个像素的区域的一部分中遮蔽光，并且在该区域的一部分中透过光。
与线栅布置区域类似，布置有微透镜511和遮光膜512的区域是实施例中描述的偏光区域，也就是获取作为左眼视点的图像的左眼图像和作为右眼视点的图像的右眼图像的区域。
未布置微透镜511和遮光膜512的区域对应于上述实施例中的非偏光区域，并且成为获取中央视点的普通图像的中央视点图像获取区域522。
图24的(b)是左/右视点图像获取区域521的2×2像素的放大视图。
每个微透镜511是对应于每个像素布置的。对于四个RGGB像素布置四个微透镜。
在图24的(b)中所示的四个RGGB像素之中，右侧的G和B像素成为与左眼视点的图像相对应的左眼图像获取像素531。左侧的R和G像素成为与右眼视点的图像相对应的右眼图像获取像素532。
在图24的(c)中所示的截面图中，示出了通过微透镜和遮光膜入射的光的路径。图24的(c)对应于图24的(b)中所示的线AB的截面配置。
如图24的(c)中所示，在左眼视点图像中，只有通过了微透镜541和滤色器542的B区域并且通过了除遮光膜543的遮光区域以外的透过区域的光入射在与形成成像元件16的B像素相对应的光电二极管333上。
同时，在右眼视点图像中，只有通过了微透镜541和滤色器542的G区域并且通过了除遮光膜543的遮光区域以外的透过区域的光入射在与形成成像元件16的G像素相对应的光电二极管333上。
这样，在布置了微透镜和遮光膜的左/右视点图像获取区域521的2×2像素之中的右侧两个像素中拍摄与左视点的图像相对应的左眼图像，并且在布置了微透镜和遮光膜的2×2像素之中的左侧两个像素中拍摄与右视点的图像相对应的右眼图像。
也就是说，在图24的(a)中所示的左/右视点图像获取区域521中，以布置了微透镜511和遮光膜512的四个像素为单位拍摄左眼图像和右眼图像。
例如，参考图9描述的图像处理单元17的像素分离单元151将图24的(a)中所示的左/右视点图像获取区域521的像素值信息输出到左/右视点图像插补处理单元154，并且将中央视点图像获取区域522的像素值信息输出到中央视点图像插补处理单元152。
然后，执行与以上所述处理相同的处理。
也就是说，生成基于左/右视点图像获取区域521的像素值信息的深度地图，并且通过对由基于中央视点图像获取区域522的像素值信息的插补处理生成的2D原始图像应用深度地图的2D-3D转换处理来生成可应用到三维图像显示的左眼图像和右眼图像。
在左/右视点图像插补处理单元154中，根据以上参考图11描述的处理，可以仅利用左/右视点图像获取区域521的G像素生成每个视点的图像。
如图24的(b)中所示，在左/右视点图像获取区域521的2×2像素中存在两个G像素来获取从不同视点拍摄的图像。G像素相当于右像素和左像素，并且一条线的左图像和右图像可从水平方向上布置的G像素生成。
利用遮光膜对对象图像的相位的检测在2009-192605号日本专利申请早期公布中描述。
图24的(a)至(c)中所示的像素布置可通过在拜耳布置上布置微透镜阵列和遮光膜来实现。在根据以上参考图11描述的处理仅利用G像素生成每个视点的图像的配置中，左/右视点图像获取区域521中的除G像素以外的B像素或R像素不被使用。
当检测视差时存在不必要的R像素和B像素时，深度地图的垂直方向的分辨率劣化。为了解决此问题，可只在左/右视点图像获取区域521中布置G像素，如图25的(a)至(c)中所示。
如图25的(a)中所示，布置有微透镜511和遮光膜512的整个左/右视点图像获取区域521是仅利用G像素配置而成的。左/右视点图像获取区域的滤色器是利用仅透过绿波长的滤色器配置而成的。
利用此配置，在布置有微透镜的两条线的左/右视点图像获取区域521中，在所有像素中交替拍摄左眼图像和右眼图像的G像素值。结果，可生成高精度的左眼图像和右眼图像并且可生成高精度的视差信息。
取代G像素，可布置透过从红到蓝的可见光的所有波长的白像素(W像素)，并且可执行基于W像素的视差图像的生成和深度地图的生成。
[6.对本公开的配置的总结]
已参考特定实施例描述了本公开的配置。然而，本领域技术人员将清楚，在不脱离本公开的范围的情况下，可作出各种修改和替换。因此，应当理解，上述实施例在所有方面都不是限制性的。本公开的范围由所附权利要求限定。
此外，本技术也可如下配置而成。
(1)一种图像处理装置，包括：
成像元件；
入射光控制单元，该入射光控制单元执行入射光控制以使得所述成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述入射光控制单元具有用以获取左眼视点图像、右眼视点图像和中央视点图像这三个视点图像的入射光控制配置，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用所述左眼视点图像和所述右眼视点图像这两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的中央视点图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(2)根据(1)所述的图像处理装置，
其中，所述入射光控制单元包括：
第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及
第二偏光单元，该第二偏光单元使所述第一偏光单元的透过光入射，并且包括仅透过所述第一偏光区域的透过光的第三偏光区域、仅透过所述第二偏光区域的透过光的第四偏光区域以及透过所述第一偏光区域和所述第二偏光区域的透过光的全透过区域，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用基于所述第二偏光单元的第三偏光区域的透过光的图像和基于所述第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的输入图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(3)根据(1)或(2)所述的图像处理装置，
其中，所述第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
(4)根据(1)所述的图像处理装置，
其中，所述入射光控制单元具有微透镜阵列，在该微透镜阵列中微透镜被布置在所述成像元件的区域的一部分上，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用从来自与微透镜布置区域相对应的形成所述成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从来自与微透镜未设定区域相对应的形成所述成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(5)根据(1)所述的图像处理装置，
其中，所述入射光控制单元包括：
微透镜阵列，在该微透镜阵列中微透镜被布置在所述成像元件的区域的一部分上；以及
遮光膜，该遮光膜被设定到所述微透镜的布置区域并且遮蔽对所述成像元件的入射光的一部分，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用从来自与微透镜和遮光膜的布置区域相对应的形成所述成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从与微透镜和遮光膜的未设定区域相对应的形成所述成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(6)根据(1)至(5)的任何一项所述的图像处理装置，
其中，所述成像元件包括：
用以获取用以生成反映了对象距离的视差信息的两个不同视点图像的左/右视点图像获取区域；以及
用以生成从一个视点拍摄的图像的中央视点图像获取区域。
(7)根据(1)至(6)的任何一项所述的图像处理装置，
其中，所述左/右视点图像获取区域是利用一种颜色的像素配置而成的，并且
所述图像处理单元具有应用从利用一种颜色的像素配置而成的左/右视点图像获取区域的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息的视差检测单元。
(8)根据(1)至(7)的任何一项所述的图像处理装置，
其中，所述图像处理处理单元应用从来自形成所述成像元件的像素的输出信号获得的两个不同视点图像并生成反映了图像的对象距离信息的深度地图作为反映了对象距离的视差信息，并且通过应用了所述深度地图的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像。
(9)根据(1)至(8)的任何一项所述的图像处理装置，
其中，所述图像处理单元包括：
视差检测单元，该视差检测单元应用从所述成像元件获得的两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从所述成像元件获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(10)根据(9)所述的图像处理装置，
其中，所述视差图像生成单元对于由所述图像校正单元生成的二维图像，执行用于通过应用了所述视差信息的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
(11)根据(10)所述的图像处理装置，
其中，所述图像处理单元执行的所述2D3D转换处理是用于对第一视点图像执行根据对象距离的图像偏移处理并生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
(12)一种图像处理装置，包括：
成像元件；
入射光控制单元，该入射光控制单元执行入射光控制以使得所述成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述入射光控制单元包括：
第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及
第二偏光单元，该第二偏光单元使所述第一偏光单元的透过光入射，并且包括仅透过所述第一偏光区域的透过光的第三偏光区域和仅透过所述第二偏光区域的透过光的第四偏光区域，并且
所述图像处理单元执行用于对基于所述第二偏光单元的第三偏光区域的透过光的图像和基于所述第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像的欠缺像素区域设定像素值的插补处理，并且生成用于三维图像显示的左眼图像和右眼图像。
(13)根据(12)所述的图像处理装置，
其中所述第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
在装置中执行处理的方法和用于执行处理的程序被包括在本公开的配置中。
本公开中描述的一系列处理可用硬件、软件或硬件和软件的组合来执行。当用软件来执行该系列处理时，具有记录的处理序列的程序可被安装在嵌入于专用硬件中的计算机中的存储器中并可被执行，或者可被安装在可执行各种处理的通用计算机中并可被执行。例如，程序可被预先记录在记录介质中。程序可被从记录介质安装到计算机，或者程序可通过诸如局域网(LAN)和因特网之类的网络被接收并被安装在诸如嵌入式硬盘之类的记录介质中。
本公开中描述的各种处理可根据所描述的顺序按时序执行，或者可根据执行处理的装置的处理能力或根据需要并行或单独执行。在本公开中，系统具有多个装置的逻辑集合配置并且每个装置可不设在同一壳体中。
如上所述，根据本公开的一个实施例，可基于一个拍摄图像获取多个视点图像并可生成用于三维图像显示的图像。
具体而言，成像元件拍摄与从不同视点观察的图像相对应的多个视点图像，并且图像处理单元分离成像元件的输出信号，获取与从不同视点观察的图像相对应的多个视点图像，并且基于所获取的多个视点图像生成用于三维图像显示的左眼图像和右眼图像。图像处理单元基于从成像元件获得的多个视点图像生成视差信息并且通过利用所生成的视差信息的2D3D转换处理生成用于三维图像显示的左眼图像和右眼图像。利用此配置，实现了基于一个拍摄图像获取多个视点图像并生成用于三维图像显示的图像的配置。
本公开包含与2011年8月4日向日本专利局提交的日本优先权专利申请JP 2011-171039中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (15)

1.一种图像处理装置，包括：
成像元件；
入射光控制单元，该入射光控制单元执行入射光控制以使得所述成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述入射光控制单元具有用以获取左眼视点图像、右眼视点图像和中央视点图像这三个视点图像的入射光控制配置，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用所述左眼视点图像和所述右眼视点图像这两个不同视点图像，并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的中央视点图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
2.根据权利要求1所述的图像处理装置，
其中，所述入射光控制单元包括：
第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及
第二偏光单元，该第二偏光单元使所述第一偏光单元的透过光入射，并且包括仅透过所述第一偏光区域的透过光的第三偏光区域、仅透过所述第二偏光区域的透过光的第四偏光区域以及透过所述第一偏光区域和所述第二偏光区域的透过光的全透过区域，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用基于所述第二偏光单元的第三偏光区域的透过光的图像和基于所述第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像，并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对来自所述成像元件的输入图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
3.根据权利要求2所述的图像处理装置，
其中，所述第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
4.根据权利要求1所述的图像处理装置，
其中，所述入射光控制单元具有微透镜阵列，在该微透镜阵列中微透镜被布置在所述成像元件的区域的一部分上，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用从来自与微透镜布置区域相对应的形成所述成像元件的像素的输出信号获得的两个不同视点图像，并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从来自与微透镜未设定区域相对应的形成所述成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
5.根据权利要求1所述的图像处理装置，
其中，所述入射光控制单元包括：
微透镜阵列，在该微透镜阵列中微透镜被布置在所述成像元件的区域的一部分上；以及
遮光膜，该遮光膜被设定到所述微透镜的布置区域并且遮蔽对所述成像元件的入射光的一部分，并且
所述图像处理单元包括：
视差检测单元，该视差检测单元应用从来自与微透镜和遮光膜的布置区域相对应的形成所述成像元件的像素的输出信号获得的两个不同视点图像，并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从与微透镜和遮光膜的未设定区域相对应的形成所述成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
6.根据权利要求1所述的图像处理装置，
其中，所述成像元件包括：
用以获取用以生成反映了对象距离的视差信息的两个不同视点图像的左/右视点图像获取区域；以及
用以生成从一个视点拍摄的图像的中央视点图像获取区域。
7.根据权利要求6所述的图像处理装置，
其中，所述左/右视点图像获取区域是利用一种颜色的像素配置而成的，并且
所述图像处理单元具有应用从利用一种颜色的像素配置而成的左/右视点图像获取区域的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息的视差检测单元。
8.根据权利要求1所述的图像处理装置，
其中，所述图像处理处理单元应用从来自形成所述成像元件的像素的输出信号获得的两个不同视点图像并生成反映了图像的对象距离信息的深度地图作为反映了对象距离的视差信息，并且通过应用了所述深度地图的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像。
9.根据权利要求1所述的图像处理装置，
其中，所述图像处理单元包括：
视差检测单元，该视差检测单元应用从所述成像元件获得的两个不同视点图像并生成反映了对象距离的视差信息；
图像校正单元，该图像校正单元对从所述成像元件获得的图像执行校正处理并生成二维图像；以及
视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
10.根据权利要求9所述的图像处理装置，
其中，所述视差图像生成单元对于由所述图像校正单元生成的二维图像，执行用于通过应用了所述视差信息的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
11.根据权利要求10所述的图像处理装置，
其中，所述图像处理单元执行的所述2D3D转换处理是用于对第一视点图像执行根据对象距离的图像偏移处理并生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。
12.一种图像处理装置，包括：
成像元件；
入射光控制单元，该入射光控制单元执行入射光控制以使得所述成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及
图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，
其中，所述入射光控制单元包括：
第一偏光单元，该第一偏光单元具有透过不同偏振光的第一偏光区域和第二偏光区域；以及
第二偏光单元，该第二偏光单元使所述第一偏光单元的透过光入射，并且包括仅透过所述第一偏光区域的透过光的第三偏光区域和仅透过所述第二偏光区域的透过光的第四偏光区域，并且
所述图像处理单元执行用于对基于所述第二偏光单元的第三偏光区域的透过光的图像和基于所述第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像的欠缺像素区域设定像素值的插补处理，并且生成用于三维图像显示的左眼图像和右眼图像。
13.根据权利要求12所述的图像处理装置，
其中所述第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。
14.一种在图像处理装置中执行图像处理的图像处理方法，包括：
图像处理单元通过对来自成像元件的输出信号的分离处理将来自该成像元件的该输出信号分离成与从不同视点观察的图像相对应的多个视点图像；
所述图像处理单元应用通过分离步骤中的分离处理获得的两个不同视点图像并生成反映了对象距离的视差信息；
所述图像处理单元对来自所述成像元件的输入图像执行校正处理并生成二维图像；以及
所述图像处理单元应用在视差检测步骤中生成的视差信息，执行对在图像校正步骤中生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
15.一种用于使得图像处理装置执行图像处理的程序，
其中，所述程序使得图像处理单元：
通过对来自成像元件的输出信号的分离处理将来自该成像元件的该输出信号分离成与从不同视点观察的图像相对应的多个视点图像；
应用通过分离步骤中的分离处理获得的两个不同视点图像并生成反映了对象距离的视差信息；
对来自所述成像元件的输入图像执行校正处理并生成二维图像；以及
应用在视差检测步骤中生成的视差信息，执行对在图像校正步骤中生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。
CN201210270094.5A 2011-08-04 2012-07-30 图像处理装置和图像处理方法 Expired - Fee Related CN102917235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610239453.9A CN105872525B (zh) 2011-08-04 2012-07-30 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-171039 2011-08-04
JP2011171039A JP5982751B2 (ja) 2011-08-04 2011-08-04 画像処理装置、および画像処理方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610239453.9A Division CN105872525B (zh) 2011-08-04 2012-07-30 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN102917235A true CN102917235A (zh) 2013-02-06
CN102917235B CN102917235B (zh) 2016-05-18

Family

ID=47615444

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610239453.9A Expired - Fee Related CN105872525B (zh) 2011-08-04 2012-07-30 图像处理装置和图像处理方法
CN201210270094.5A Expired - Fee Related CN102917235B (zh) 2011-08-04 2012-07-30 图像处理装置和图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610239453.9A Expired - Fee Related CN105872525B (zh) 2011-08-04 2012-07-30 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (3) US8982190B2 (zh)
JP (1) JP5982751B2 (zh)
CN (2) CN105872525B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238133A (zh) * 2014-09-19 2014-12-24 西安中科晶像光电科技有限公司 一种基于偏振3d的立体桌面显示系统
CN104967769A (zh) * 2015-07-16 2015-10-07 深圳中安高科电子有限公司 一种车底扫描系统和方法
CN105191300A (zh) * 2013-03-21 2015-12-23 松下知识产权经营株式会社 图像处理方法以及图像处理装置
CN105223756A (zh) * 2015-10-06 2016-01-06 瑞声光电科技(常州)有限公司 阵列式镜头模组
CN112526801A (zh) * 2019-09-03 2021-03-19 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
JP6182396B2 (ja) * 2013-08-30 2017-08-16 日立オートモティブシステムズ株式会社 撮像装置
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP6481375B2 (ja) 2014-02-27 2019-03-13 株式会社リコー 情報処理システム、情報処理方法、プログラム、および情報処理装置
USD817353S1 (en) * 2014-03-07 2018-05-08 Sony Corporation Display panel or screen with an icon
US9762895B1 (en) * 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
KR102470377B1 (ko) * 2015-12-31 2022-11-23 엘지디스플레이 주식회사 개인 몰입형 기기의 표시장치
US10003783B2 (en) * 2016-02-26 2018-06-19 Infineon Technologies Ag Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
EP3423858B1 (en) * 2016-02-29 2023-12-06 nLIGHT, Inc. 3d imaging system and method
US20170289529A1 (en) * 2016-03-29 2017-10-05 Google Inc. Anaglyph head mounted display
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
JP7040447B2 (ja) * 2016-08-24 2022-03-23 ソニーグループ株式会社 画像処理装置および情報生成装置と情報生成方法
CN110463194B (zh) * 2017-03-27 2022-01-25 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
CN109509146B (zh) 2017-09-15 2023-03-24 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
US20210235060A1 (en) * 2018-05-18 2021-07-29 Sony Corporation Solid-state imaging device, information processing device, information processing method, and calibration method
US11252362B2 (en) * 2018-08-31 2022-02-15 Sony Semiconductor Solutions Corporation Imaging element, imaging device, and imaging method
JP7325949B2 (ja) * 2018-11-22 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
USD912684S1 (en) * 2019-03-25 2021-03-09 Warsaw Orthopedic, Inc. Display screen with graphical user interface for medical treatment and/or diagnostics
USD923639S1 (en) * 2019-03-25 2021-06-29 Warsaw Orthopedic, Inc. Display screen with graphical user interface for medical treatment and/or diagnostics
US11765470B2 (en) 2020-10-26 2023-09-19 Samsung Electronics Co., Ltd. Pixel array including evenly arranged phase detection pixels and image sensor including the pixel array

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000112019A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子３眼カメラ装置
US20020054208A1 (en) * 1999-02-25 2002-05-09 Envision Advanced Medical Systems Ltd. Optical device
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654991B2 (ja) 1987-08-25 1994-07-20 シャープ株式会社 立体撮影装置
GB2284958A (en) * 1993-12-14 1995-06-21 Sharp Kk Laser 3D printer produces autostereoscopic print
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP4003129B2 (ja) 2003-01-22 2007-11-07 ソニー株式会社 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法
JP2004309868A (ja) * 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
ATE480105T1 (de) * 2004-05-26 2010-09-15 Tibor Balogh Verfahren und vorrichtung zur erzeugung von 3d- bildern
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
JP2008107583A (ja) * 2006-10-26 2008-05-08 Sony Corp ３次元画像表示装置及びその表示方法
CA2723627C (en) * 2008-05-12 2017-01-24 Dong-Qing Zhang System and method for measuring potential eyestrain of stereoscopic motion pictures
US7964840B2 (en) * 2008-06-19 2011-06-21 Omnivision Technologies, Inc. High dynamic range image sensor including polarizer and microlens
JP2010064531A (ja) * 2008-09-08 2010-03-25 Toyota Central R&D Labs Inc 白線検出装置
JP5238429B2 (ja) * 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
US8203598B2 (en) * 2009-06-08 2012-06-19 Sony Corporation Method and apparatus for capturing three-dimensional stereoscopic images
US20100321476A1 (en) * 2009-06-18 2010-12-23 Sony Corporation Camera for capturing three-dimensional images
EP2452228A4 (en) * 2009-07-10 2015-06-03 Front Street Invest Man Inc As Manager For Front Street Diversified Income Class METHOD AND APPARATUS FOR GENERATING THREE DIMENSIONAL IMAGE INFORMATION USING A SINGLE D IMAGING COURSE
US9036004B2 (en) * 2010-01-05 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image capture device
JP2011145343A (ja) * 2010-01-12 2011-07-28 Sony Corp 鏡筒装置及び立体撮像装置
JP5421829B2 (ja) * 2010-03-18 2014-02-19 富士フイルム株式会社 撮像装置
JP2011239241A (ja) * 2010-05-11 2011-11-24 Panasonic Corp ３次元撮像装置
JP5742281B2 (ja) * 2011-02-17 2015-07-01 ソニー株式会社 撮像装置、画像処理方法およびプログラム
JP2012203274A (ja) * 2011-03-28 2012-10-22 Sony Corp 撮像装置および電子機器
US20120320164A1 (en) * 2011-06-16 2012-12-20 Lenny Lipton Stereoscopic camera with polarizing apertures
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
JP2013089981A (ja) 2011-10-13 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9177983B2 (en) * 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
EP2814238A1 (en) 2012-02-09 2014-12-17 Sony Corporation Image processing device and image processing method
JPWO2013128765A1 (ja) 2012-02-27 2015-07-30 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
CA2861212A1 (en) 2012-03-07 2013-09-12 Sony Corporation Image processing device and method, and program
JP5953916B2 (ja) 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000112019A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子３眼カメラ装置
US20020054208A1 (en) * 1999-02-25 2002-05-09 Envision Advanced Medical Systems Ltd. Optical device
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105191300A (zh) * 2013-03-21 2015-12-23 松下知识产权经营株式会社 图像处理方法以及图像处理装置
CN105191300B (zh) * 2013-03-21 2017-08-08 松下知识产权经营株式会社 图像处理方法以及图像处理装置
CN104238133A (zh) * 2014-09-19 2014-12-24 西安中科晶像光电科技有限公司 一种基于偏振3d的立体桌面显示系统
CN104967769A (zh) * 2015-07-16 2015-10-07 深圳中安高科电子有限公司 一种车底扫描系统和方法
CN105223756A (zh) * 2015-10-06 2016-01-06 瑞声光电科技(常州)有限公司 阵列式镜头模组
CN105223756B (zh) * 2015-10-06 2018-03-09 瑞声光电科技(常州)有限公司 阵列式镜头模组
CN112526801A (zh) * 2019-09-03 2021-03-19 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Also Published As

Publication number Publication date
US20150301351A1 (en) 2015-10-22
CN102917235B (zh) 2016-05-18
US9798155B2 (en) 2017-10-24
CN105872525A (zh) 2016-08-17
US9118904B2 (en) 2015-08-25
US20150156476A1 (en) 2015-06-04
JP2013038503A (ja) 2013-02-21
US20130033575A1 (en) 2013-02-07
JP5982751B2 (ja) 2016-08-31
CN105872525B (zh) 2018-01-12
US8982190B2 (en) 2015-03-17

Similar Documents

Publication Publication Date Title
CN102917235B (zh) 图像处理装置和图像处理方法
CN103493484B (zh) 成像装置和成像方法
JP5515396B2 (ja) 撮像装置
JP5224124B2 (ja) 撮像装置
JP4706882B2 (ja) 撮像装置
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
US9341935B2 (en) Image capturing device
EP2133726B1 (en) Multi-image capture system with improved depth image resolution
CN103688536B (zh) 图像处理装置、图像处理方法
EP2741504B1 (en) Image processing device
CN102883176A (zh) 图像处理装置、图像处理方法和程序
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
TW201537950A (zh) 利用光場相機產生立體影像的方法及光場相機
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
JP3088852B2 (ja) ３次元画像入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

CF01 Termination of patent right due to non-payment of annual fee