CN107251539A - 成像装置、图像处理装置和图像处理方法 - Google Patents

成像装置、图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN107251539A
CN107251539A CN201580076615.5A CN201580076615A CN107251539A CN 107251539 A CN107251539 A CN 107251539A CN 201580076615 A CN201580076615 A CN 201580076615A CN 107251539 A CN107251539 A CN 107251539A
Authority
CN
China
Prior art keywords
imaging unit
unit
map
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580076615.5A
Other languages
English (en)
Other versions
CN107251539B (zh
Inventor
平泽康孝
近藤雄飞
陆颖
中谷文香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107251539A publication Critical patent/CN107251539A/zh
Application granted granted Critical
Publication of CN107251539B publication Critical patent/CN107251539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/26—Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

包括不具有偏振特性的像素的第三成像单元23设置在第一成像单元21和第二成像单元22之间，第一成像单元21和第二成像单元22均通过设置在多个偏振方向中的每个具有偏振特性的像素而配置。深度图生成单元51通过使用由第一成像单元21生成的第一图像和由第二成像单元22生成的第二图像执行匹配处理，生成来自第一成像单元的视点的深度图。法线贴图生成单元52基于第一图像的偏振状态而生成法线贴图。图整合单元对深度图和法线贴图执行整合处理，以生成具有较高精度的深度图。视点转换单元将由图整合单元55生成的整合图转换为来自第三成像单元23的视点的图。可以生成图像质量和亮度没有下降的图像以及与该图像对应的较高精度的深度图。

Description

成像装置、图像处理装置和图像处理方法
技术领域
本技术涉及一种成像装置、图像处理装置以及图像处理方法，并且能够生成抑制图像质量和亮度劣化的图像和具有高精度的深度图。
背景技术
近年来，由于3D打印机的价格降低和其他原因，期望容易获取三维形状的手段。
获取对象的三维形状的手段包括主动(active)方法和被动(passive)方法。主动方法例如用光照射对象，并且基于来自对象的反射光而获取三维形状。从功耗或部件成本的角度来看，这不是容易的方法。与主动方法相反，被动方法在不用光照射对象的情况下获取三维形状。相比于主动方法，这是更容易的方法。例如，被动方法包括通过使用立体摄像装置来得到图像之间的对应关系而生成深度图的方法，以及通过获取多个方向的偏振图像来生成法线贴图(normal map)的方法。
在被动方法中，已知的缺点是使用立体摄像装置的方法不能获取对象的平坦部分的深度。同时，在使用多个方向的偏振图像的方法中，已知可以获取对象的相对表面形状，但不能获取绝对距离。此外，在使用多个方向的偏振图像的方法中，已知对象的法线的方位角具有180度的模糊度。因此，在专利文献1中，通过在安装到立体摄像装置的各个摄像装置的固态成像元件的每个像素处布置具有不同偏振方向的起偏器，可以同时执行通过立体摄像装置获取深度图并且通过偏振成像获取法线贴图。此外，专利文献1描述了参照深度图使得能够解决法线贴图的180度的模糊度以及使得能够获取绝对距离。
引用列表
专利文献
专利文献1：国际公开第2009-147814号
发明内容
本发明要解决的问题
同时，在布置在固态成像元件的每个像素处的起偏器中存在四个偏振方向的情况下，特定方向的偏振图像的像素数减少到原始固态成像元件的像素数的四分之一，因此图像质量不利地劣化。此外，由于起偏器附接至每个像素，所以到达固态成像元件的光量减小，因此获取的图像变暗，但是仍可以执行测距。
因此，本技术的目的在于提供一种能够生成图像质量和亮度不会劣化的图像以及具有高精度的深度图的成像装置、图像处理装置和图像处理方法。
问题的解决方案
本技术的第一方面是一种成像装置，包括：第一成像单元和第二成像单元，第一成像单元和第二成像单元包括针对多个偏振方向中的每个具有偏振特性的像素；以及第三成像单元，第三成像单元包括不具有偏振特性的像素并且置于第一成像单元和第二成像单元之间。
在本技术中，第一成像单元和第二成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，以及第三成像单元包括不具有偏振特性的像素并且置于第一成像单元和第二成像单元之间。第一成像单元、第二成像单元以及第三成像单元在竖直方向和水平方向上匹配。第三成像单元的光轴位置位于连接第一成像单元和第二成像单元的光轴位置的线上。此外，例如，第一成像单元、第二成像单元以及第三成像单元被设置成使得其入射光瞳位于与其光轴方向垂直的同一条线上。
在将第一成像单元和第二成像单元设置于适配器的情况下，进一步将位置调节机构设置于适配器和第三成像单元之一，适配器例如以可附接且可拆卸的方式附接至第三成像单元，位置调节机构用于使第一成像单元和第二成像单元的竖直方向和水平方向与第三成像单元的竖直方向和水平方向匹配。还包括通信单元，使得第一成像单元和第二成像单元能够与使用第一图像和第二图像的主体单元进行通信。此外，第三成像单元具有比第一成像单元和第二成像单元的像素更多的像素。
本技术的第二方面是一种图像处理装置，包括：
图整合(integrating)单元，用于生成通过对深度图和法线贴图进行整合处理而获得的整合深度图，其中，该深度图是使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像而生成的，该法线贴图基于由第一成像单元生成的第一图像的偏振状态，第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，第二成像单元具有等同于第一成像单元的配置的配置；以及
视点转换单元，用于将由图整合单元所生成的整合深度图转换为第三成像单元的视点的图，第三成像单元置于第一成像单元和第二成像单元之间并且包括不具有偏振特性的像素。
此外，第三方面是一种图像处理装置，包括：
深度图生成单元，用于通过使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像来执行匹配处理，生成第一成像单元的视点的深度图，第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，第二成像单元具有等同于第一成像单元的配置的配置；
法线贴图生成单元，用于基于由第一成像单元生成的第一图像的偏振状态而生成法线贴图；
图整合单元，用于通过对由深度图生成单元所生成的深度图和由法线贴图生成单元所生成的法线贴图进行整合处理而生成整合图；以及
视点转换单元，用于将由图整合单元生成的整合图或者由深度图生成单元所生成的深度图和由法线贴图生成单元所生成的法线贴图转换为第三成像单元的视点的图，第三成像单元置于第一成像单元和第二成像单元之间并且包括不具有偏振特性的像素。
在本技术中，使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像来执行匹配处理，由此生成第一成像单元的视点的深度图，其中，第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，第二成像单元具有等同于第一成像单元的配置的配置。此外，基于由第一成像单元生成的第一图像的偏振状态(例如基于具有三个或更多个偏振方向的第一图像的亮度)而生成法线贴图。
对由深度图生成单元生成的深度图和由法线贴图生成单元生成的法线贴图进行整合处理，以根据深度图中表示的深度值和基于法线贴图而确定的对象的表面形状来计算深度图中未表示的深度值。因此，生成精度高于或等于由深度图生成单元生成的深度图的精度的深度图。
此外，执行视点转换处理以将由图整合单元生成的深度图或者由深度图生成单元生成的深度图和由法线贴图生成单元生成的法线贴图转换为第三成像单元的视点的图，从而生成第三成像单元的视点的、具有高精度的深度图，其中，第三成像单元包括不具有偏振特性的像素。
还包括用于将深度图转换为具有大量像素的图的图转换单元。在第三成像单元具有比第一成像单元和第二成像单元的像素更多的像素的情况下，图转换单元在整合处理之后将第三成像单元的视点的深度图转换为与由第三成像单元生成的图像的分辨率对应的深度图。此外，在第一图像和第二图像是彩色的情况下，从第一图像分离或提取反射分量，并且基于分离或提取后的图像的偏振状态而生成法线贴图。可替选地，第一图像和第二图像可以是黑白的。
本技术的第四方面是一种图像处理方法，包括以下步骤：
由图整合单元生成通过对深度图和法线贴图进行整合处理而获得的整合深度图，其中，该深度图是使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像而生成的，该法线贴图基于由第一成像单元生成的第一图像的偏振状态，第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，第二成像单元具有等同于第一成像单元的配置的配置；以及
由视点转换单元将所生成的整合深度图转换为第三成像单元的视点的图，第三成像单元置于第一成像单元和第二成像单元之间并且包括不具有偏振特性的像素。
本发明的效果
根据本技术，包括：包括针对多个偏振方向中的每个具有偏振特性的像素的第一成像单元和第二成像单元；以及包括不具有偏振特性的像素并且置于第一成像单元和第二成像单元之间的第三成像单元。此外，通过使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像进行匹配处理，生成第一成像单元的视点的深度图，其中，第二成像单元具有等同于第一成像单元的配置的配置。此外，基于由第一成像单元生成的第一图像的偏振状态而生成法线贴图。然后，通过对所生成的深度图和法线贴图进行整合处理来生成高精度的深度图。此后，将整合处理之后的深度图或者整合处理之前的深度图和法线贴图转换为第三成像单元的视点的图，其中，第三成像单元置于第一成像单元和第二成像单元之间。因此，可以生成图像质量和亮度不会劣化的图像以及与该图像对应的高精度深度图。注意，本文描述的效果仅仅是示例，因此不是限制性的。另外，还可以包括附加的效果。
附图说明
图1是示出成像装置的配置的框图。
图2是示出第一成像单元、第二成像单元以及第三成像单元之间的位置关系的图。
图3是用于说明第三成像单元置于第一成像单元与第二成像单元之间的情况与第三成像单元设置在外侧的情况之间的差别的图。
图4是示意性地示出第一成像单元、第二成像单元以及第三成像单元的理想布置的图。
图5是用于说明第一成像单元、第二成像单元以及第三成像单元的光轴方向不同的情况的图。
图6是例示使用在其透镜单元处包括光阑的成像单元的情况下的布置的图。
图7是例示第一成像单元、第二成像单元以及第三成像单元的具体布置的图。
图8是例示第一成像单元、第二成像单元以及第三成像单元的其他具体布置的图。
图9是示出第一成像单元和第二成像单元经由适配器附接至第三成像单元的透镜单元的情况的图。
图10是例示在第一成像单元和第二成像单元中使用的起偏器的配置的图。
图11是例示在第三成像单元中使用的滤色器的像素布置的图。
图12是示出图像处理单元的第一实施方式的配置的图。
图13是用于说明到对象的距离的计算的图。
图14是用于说明偏振图像的亮度变化的图。
图15是例示亮度与偏振角之间的关系(在漫反射的情况下)的图。
图16是例示偏振度与天顶角之间的关系(在漫反射的情况下)的图。
图17是用于说明对图的整合处理的图。
图18是用于说明视点转换的图。
图19是示出第一实施方式的处理操作的流程图。
图20是示出生成深度图的操作的流程图。
图21是示出图像处理单元的第二实施方式的配置的图。
图22是示出第二实施方式的操作的流程图。
图23是示出图像处理单元的第三实施方式的配置的图。
图24是示出成像单元与法向矢量的坐标系之间的关系的图。
图25是示出第三实施方式的操作的流程图。
图26是例示第一成像单元和第二成像单元的另外的配置的图。
图27是用于说明色度计算的图。
图28是用于说明使用HSV空间去除镜面反射分量的处理的图。
图29是示出亮度与偏振角之间的关系(在镜面反射的情况下)的图。
图30是示出偏振度与天顶角之间的关系(在漫反射的情况下)的图。
图31是例示车辆控制系统的示意性配置的框图。
图32是示出成像装置的安装的示例的图。
具体实施方式
下面将描述实现本技术的实施方式。注意，将以下面的顺序给出说明。
1.关于成像装置
2.成像单元的布置和配置
3.图像处理单元的配置和操作
3-1.第一实施方式的配置和操作
3-2.第二实施方式的配置和操作
3-3.第三实施方式的配置和操作
4.成像单元和图像处理单元的其他实施方式
5.示例性应用
<1.关于成像装置>
图1是示出本技术的成像装置的配置的框图。成像装置10包括第一成像单元21、第二成像单元22、第三成像单元23以及图像处理单元50。第一成像单元21和第二成像单元22包括针对多个偏振方向中的每个具有偏振特性的像素，生成偏振图像的图像信号，并且将其输出至图像处理单元50。第三成像单元23包括不具有偏振特性的像素，生成非偏振图像的图像信号，并且将其输出至图像处理单元50。图像处理单元50根据由第一成像单元21和第二成像单元22生成的偏振图像而生成深度图。图像处理单元50进一步将所生成的深度图转换为与由第三成像单元23生成的非偏振图像对应的深度图。图像处理单元50可以与第一成像单元21、第二成像单元22以及第三成像单元23一体地设置，或者可替选地，可以与第一成像单元21、第二成像单元22以及第三成像单元23分开设置。
<2.成像单元的布置和配置>
图2是示出第一成像单元、第二成像单元以及第三成像单元之间的位置关系的图。注意，图2的(a)是示出从上侧方向观看的视图，并且图2的(b)的是示出从正面方向观看的视图。
没有布置起偏器的第三成像单元23置于布置有起偏器的第一成像单元21和第二成像单元23之间。第一成像单元21、第二成像单元22以及第三成像单元23在竖直方向和水平方向上是匹配的。例如，第三成像单元的光轴位置位于连接第一成像单元和第二成像单元的光轴位置的线上。
图3是用于说明第三成像单元置于第一成像单元与第二成像单元之间的情况与第三成像单元设置在外侧的情况之间的差别的图。当如图3的(a)所示的那样，第三成像单元23相对于第一成像单元21和第二成像单元22设置在外侧时，可以由第三成像单元23进行成像的区域AR3对应于第一成像单元21和第二成像单元22的捕获图像中的对象M的阴影。因此，在如稍后描述的那样执行如下视点转换时，区域AR3的深度值变为无效：该视点转换将来自第一成像单元21的视点的深度图转换为来自第三成像单元23的视点的深度图。然而，当如图3的(b)所示的那样，第三成像单元23置于第一成像单元21和第二成像单元22之间时，可以由第三成像单元23进行成像的区域可以由第一成像单元21和第二成像单元22中之一进行成像。因此，第一成像单元21和第二成像单元21的视角和其他参数被设置成使得：当由第三成像单元23对期望的对象进行成像时，第三成像单元23的成像范围可以由第一成像单元21和第二成像单元22中之一进行成像。以这样的方式来布置第一成像单元、第二成像单元以及第三成像单元，使得能够根据由第一成像单元21或第二成像单元生成的偏振图像来计算由第三成像单元23所成像的区域的深度值。因此，如稍后描述的那样，可以以更高的精度生成期望对象的深度图。此外，通过将第三成像单元置于第一成像单元和第二成像单元之间，可以将遮蔽(occlusion)的发生抑制到最小程度。
图4是示意性地示出第一成像单元、第二成像单元以及第三成像单元的理想布置的图。注意，为了简化描述，假设成像单元是针孔摄像装置。此外，通过针孔并且垂直于固态成像元件的成像表面的轴被认为是成像单元的光轴。
优选的是，第一成像单元21、第二成像单元22以及第三成像单元23被布置成使得成像单元的中心位置(针孔位置)在垂直于各个成像单元的光轴的同一直线上对准。
此外，如果成像单元的中心位置布置在同一直线上，即使在第一成像单元、第二成像单元以及第三成像单元的光轴方向不同时，也可以生成与光轴方向相互匹配的情况下的图像等效的图像。在图5的(a)中，例示了第一成像单元、第二成像单元以及第三成像单元的光轴方向不同的情况。在这种情况下，将第一成像单元21的光轴方向与第三成像单元23的光轴方向之间的角度差用作旋转角度，并且将第一成像单元21的中心位置用作参考，来执行几何转换。进一步地，将第二成像单元21的光轴方向和第三成像单元23的光轴方向之间的角度差用作旋转角度，并且将第二成像单元21的中心位置用作参考，来执行几何转换。通过执行这样的处理，如图5的(b)所示的那样，实现到在下述状态下所捕获的图像的转换：在该状态下，第一成像单元21、第二成像单元22以及第三成像单元23的光轴平行，并且各个成像单元的中心位置在垂直于光轴的同一直线上对准。
图6是例示使用在其透镜单元处包括光阑的成像单元的情况下的布置的图。在图6的(a)中，透镜单元201设置有光阑202，并且光阑202的入射侧形成入射光瞳。在第一成像单元21、第二成像单元22以及第三成像单元23中包括这样的透镜单元的情况下，第一成像单元21、第二成像单元22以及第三成像单元23被布置成使得入射光瞳的位置彼此匹配，如图6的(b)所示的那样。
图7是例示第一成像单元、第二成像单元以及第三成像单元的具体布置的图。第三成像单元23由透镜单元231、固态成像元件(未示出)以及其它部件构成。透镜单元231的前表面的左侧(右侧)设置有第一成像单元21，而前表面的右侧(左侧)设置有第二成像单元22。通过这种方式，将成像单元设置在透镜单元231的前表面的右侧和左侧，得到图2所示的第一成像单元、第二成像单元以及第三成像单元的位置关系。
图8是例示第一成像单元、第二成像单元以及第三成像单元的其他具体布置的图。第三成像单元23由透镜单元231、固态成像元件(未示出)以及其它部件构成。在该示例中，适配器31可附接至透镜单元231并且可从透镜单元231拆卸，并且第一成像单元21和第二成像单元22以突出的方式设置于适配器31的侧面。此外，第一成像单元21和第二成像单元22被布置成使得当适配器31安装到透镜单元231时，第一成像单元、第二成像单元以及第三成像单元具有图2所示的位置关系。
适配器31由例如用于将透镜单元231固定到适配器31的固定环和相对于固定环在固定环的圆周方向上以可旋转方式保持的可移动环构成。可移动环在基于可移动环的旋转轴线的对角位置处，固定有第一成像单元21和第二成像单元22。
图9是示出第一成像单元和第二成像单元经由适配器附接至第三成像单元的透镜单元的情况的图。在对透镜单元231进行操作的情况下，当附接至透镜单元231的适配器31绕透镜单元231的光轴旋转时，第一成像单元21和第二成像单元22的竖直方向和水平方向可以不同于第三成像单元23的竖直方向和水平方向，如图9的(a)所示的那样。因此，由第一成像单元21和第二成像单元22生成的图像可能不利地相对于由第三成像单元23生成的图像倾斜。因此，如图9的(b)所示，例如，将位置调节机构33设置于适配器31，并且使可移动环旋转，以使得即使在适配器31旋转时，也能保持第一成像单元21和第二成像单元22的竖直方向和水平方向与第三成像单元23的竖直方向和水平方向匹配的状态。位置调节机构33包括例如如下部件：在固定环的圆周方向上驱动可移动环的驱动单元；检测透镜单元231与可移动环之间的位置关系的位置检测传感器；以及其他部件。驱动单元基于位置检测传感器的检测结果而驱动可移动环，以维持第一成像单元21和第二成像单元22的竖直方向和水平方向与第三成像单元23的竖直方向和水平方向匹配的状态。使用这种适配器使得第三成像单元能够使用现有的透镜。
如图8所示，设置有第一成像单元21和第二成像单元22的适配器31还设置有通信单元35，该通信单元35执行第一成像单元21和第二成像单元22与主体单元之间的通信，该主体单元使用由第一成像单元生成的图像和由第二成像单元生成的图像。通信单元35与例如包括在主体单元40中的通信单元45进行通信，并且将由第一成像单元21和第二成像单元22生成的偏振图像的图像信号提供给包括在主体单元40中的图像处理单元。注意，通信单元45可以包括在第三成像单元23中，而不限于包括在主体单元40中。在这种情况下，第一成像单元21和第二成像单元22经由第三成像单元23与图像处理单元进行通信。此外，不必限制通信单元35和通信单元45的通信方法，并且可以是符合Wi-Fi标准、蓝牙(注册商标)标准或其他标准的任何通信方法。
接下来，将描述第一成像单元、第二成像单元以及第三成像单元的配置。第一成像单元、第二成像单元以及第三成像单元由诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的固态成像元件构成。第一成像单元和第二成像单元还包括起偏器。如稍后描述的，包括针对多个偏振方向中的每个具有偏振特性的像素，以使得能够根据偏振图像计算表示偏振方向和亮度变化之间的关系的偏振模型公式。
图10是例示在第一成像单元和第二成像单元中使用的起偏器的配置的图。在第一成像单元21中使用的起偏器211和在第二成像单元22中使用的起偏器221被配置为使得可以在2×2像素的单位区域中获得四个不同的偏振方向的像素值。注意，在图10中，偏振方向由阴影线的方向表示。在第一成像单元和第二成像单元中使用的固态成像元件没有设置滤色器，因此第一成像单元和第二成像单元生成非彩色的偏振图像(黑白偏振图像)的图像信号，并且将其输出至图像处理单元50。
图11是例示在第三成像单元中使用的滤色器的像素布置的图。在第三成像单元中使用的固态成像元件设置有滤色器235。例如，将红色像素(R)、绿色像素(G)以及蓝色像素(B)布置成拜耳(Bayer)阵列。第三成像单元生成三原色的非偏振图像的图像信号，并且将其输出至图像处理单元50。此外，第三成像单元的像素数可以与第一成像单元和第二成像单元的像素数相等，或者可以高于第一成像单元和第二成像单元的像素数。
<3.图像处理单元的配置和操作>
图像处理单元执行根据由第一成像单元和第二成像单元生成的偏振图像而生成深度图的处理。图像处理单元进一步执行将所生成的深度图转换成与由第三成像单元生成的非偏振图像对应的深度图的处理。
<3.1第一实施方式的配置和操作>
图12是示出图像处理单元的第一实施方式的配置的图。成像装置10的图像处理单元50包括深度图生成单元51、法线贴图生成单元52、图整合单元55以及整合图视点转换单元56。
深度图生成单元51基于由第一成像单元21生成的偏振图像和由具有与第一成像单元21的视点位置不同的视点位置的第二成像单元22生成的偏振图像而执行立体匹配处理，从而生成存储了针对每个像素的深度值的深度图。深度图生成单元51将所生成的深度图输出至图整合单元55。
深度图生成单元51根据从第一成像单元21和第二成像单元22提供的偏振图像中的每个，生成用于匹配处理的匹配图像。如上所述，从第一成像单元21和第二成像单元22提供的偏振图像具有多个偏振方向，因此在同一位置处的对象的图像可以具有不同的偏振方向。因此，深度图生成单元51生成匹配图像，使得可以在不受偏振方向的差异影响的情况下执行匹配处理。例如，深度图生成单元51对从第一成像单元21和第二成像单元22提供的偏振图像中的每个进行滤波处理，并且生成非偏振图像。在使用图10所示的起偏器的情况下，深度图生成单元51对2像素×2像素进行平均滤波处理，计算四个偏振方向的像素值的平均值，从而生成非偏振图像的像素值。深度图生成单元51使用通过对从第一成像单元21和第二成像单元22提供的偏振图像进行滤波处理而获得的非偏振图像作为匹配图像。可替选地，深度图生成单元51可以对通过对从第一成像单元21和第二成像单元22提供的偏振图像进行滤波处理而获得的非偏振图像执行边缘提取处理，并且使用所获得的每个经边缘提取的图像作为匹配图像。在使用这样的经边缘提取的图像作为匹配图像的情况下，深度图生成单元51可以在不受亮度水平的差异影响的情况下执行匹配处理。
深度图生成单元51进一步使用匹配图像执行匹配处理。作为匹配方法，可以使用任何方法，诸如基于区域的匹配、基于特征的匹配或模板匹配。深度图生成单元51执行匹配处理，并且基于相应的像素位置的移位量而计算从每个像素位置到对象的距离(以下称为“深度值”)。图13是用于说明到对象的距离的计算的图。注意，图13是例示第一成像单元21和第二成像单元22以相同姿态布置左侧和右侧的情况的图。这里，左侧的成像单元被视为基准成像单元，而右侧的成像单元被视为参考成像单元。此外，成像单元的基部位置之间的间隔(基础长度)被表示为“LB”，并且成像单元的焦距被表示为“f”。在这种情况下，当参考成像单元中的对象的位置XR相对于基准成像单元中的对象的位置XL移位“Ld”时，可以基于数学式(1)而计算到对象的距离“Zp”。
[数学式1]
深度图生成单元51通过将针对捕获图像所计算出的距离(深度值)与该捕获图像的像素相关联来生成深度图，其中该捕获图像的法线贴图由法线贴图生成单元52生成。例如，在法线贴图生成单元52使用由第一成像单元21生成的偏振图像来生成法线贴图的情况下，深度图生成单元51生成来自第一成像单元21的视点的深度图，并且将其输出至图整合单元55。
法线贴图生成单元52根据具有不同偏振方向的多个方向的偏振图像生成法线贴图。注意，法线贴图的法线信息是如下信息：根据该信息，可以通过对法线信息进行整合来获取对象的表面形状。对象的表面形状包括相对值，但不包括与到对象的距离有关的信息。
法线贴图生成单元52基于从第一成像单元21提供的具有多个偏振方向的偏振图像而生成法线贴图。图14是用于说明偏振图像的亮度变化的图。如图14所示，使用光源LT照射对象OB，并且由成像单元CM、经由偏振板PL对对象OB进行成像。在这种情况下，已知在由成像单元CM生成的偏振图像中，对象OB的亮度根据偏振板PL的旋转而变化。这里，将在偏振板PL旋转时的最高亮度表示为“Idmax”，而将最低亮度表示为“Idmin”。此外，假设在二维坐标中的x轴和y轴作为偏振板PL的平面方向，在偏振板PL旋转时，相对于xy平面上的x轴的角度被称为偏振角υpol。偏振板PL的周期为180度，因此当旋转了180度时，其返回到原始偏振状态。
图15是例示亮度与偏振角之间的关系(在漫反射的情况下)的图。将观察到最大亮度Idmax时的偏振角υpol定义为方位角φd。当进行这样的定义时，表示在偏振板PL旋转时观察到的亮度Idpol的变化(即，由于偏振角的差异而发生的预定亮度变化)的偏振模型公式可以表示为数学式(2)。
[数学式2]
在数学式(2)中，在生成偏振图像时，偏振角υpol是明确的。最大亮度Idmax、最小亮度dImin和方位角φd是变量。因此，由于存在三个变量，所以法线贴图生成单元52使用具有三个或更多个偏振方向的偏振图像的亮度来对由数学式(2)表示的函数进行拟合，从而基于表示亮度和偏振角之间的关系的偏振模型公式而确定亮度变为最大时的方位角φd。
此外，以极坐标系来表示对象表面法线。法线信息包括方位角φd和天顶角θd。注意，天顶角θd是从z轴朝向法线形成的角，并且方位角φd是在y轴方向上相对于x轴形成的角。这里，通过还使用通过使偏振板PL旋转而获得的最小亮度Idmin和最大亮度Idmax进行数学式(3)的计算，计算偏振度ρd。
[数学式3]
根据菲涅尔(Fresnel)公式，已知偏振度与天顶角之间的关系(在漫反射的情况下)具有例如图16所示的特性。根据图16所示的特性，可以基于偏振度ρd而确定天顶角θd。注意，图16所示的特性是示例，并且特性根据对象的折射率而变化。
法线贴图生成单元52基于具有三个或更多个偏振方向的偏振图像，根据该偏振图像的偏振方向和亮度，获得亮度与偏振角之间的关系，从而确定亮度变为最大时的方位角φd。法线贴图生成单元52进一步使用根据亮度与偏振角之间的关系而获得的最大亮度和最小亮度来计算偏振度ρd，并且基于表示偏振度与天顶角之间的关系的特性曲线来确定与所计算出的偏振度ρd对应的天顶角θd。通过这种方式，法线贴图生成单元52通过基于具有三个或更多个偏振方向的偏振图像，针对每个像素位置获得对象的法线信息(方位角φd和天顶角θd)来生成法线贴图。法线贴图生成单元52将所生成的法线贴图输出至图整合单元55。
此外，第一成像单元和第二成像单元被配置为使得可以在没有滤色器的情况下，在2×2像素的单位区域中获得四个不同偏振方向的像素值，因此生成非彩色的偏振图像。因此，相比于设置滤色器的情况，可以获得具有高空间分辨率和较高灵敏度的偏振图像，并且可以将具有更高精度的法线贴图输出到图整合单元55。注意，法线贴图是使用由图12中的第一成像单元21生成的偏振图像而生成的；然而，法线贴图可以使用由第二成像单元21生成的偏振图像来生成。在这种情况下，如上所述的那样，深度图生成单元51生成来自第二成像单元22的视点的深度图，并且将其输出至图整合单元55。
图整合单元55对由深度图生成单元51生成的深度图和由法线贴图生成单元52生成的法线贴图进行整合处理，并且生成精度高于或等于由深度图生成单元51生成的深度图的精度的深度图。例如，在没有在深度图中获取到深度值的情况下，图整合单元55基于在法线贴图中表示的对象的表面形状和在深度图中表示的深度值，使用获得其深度值的像素作为起点，来追踪(trace)对象的表面形状。图整合单元55通过追踪表面形状来计算与未获得其深度值的像素对应的深度值。此外，图整合单元55通过将估计的深度值包括在从深度图生成单元51提供的深度图中，生成精度高于或等于从深度图生成单元51提供的深度图的精度的深度图。图整合单元55将整合处理之后的深度图输出至整合图视点转换单元56。
图17是用于说明对图的整合处理的图。注意，为了简化描述，例如，将描述对一条线的整合处理。假设：如图17的(a)所示的那样，由第一成像单元21和第二成像单元22对对象OB进行成像，由深度图生成单元51获得如图17的(b)所示的深度图，并且由法线贴图生成单元52获得如图17的(c)所示的法线贴图。还假设：例如，在深度图中，左端的像素的深度值为“2(米)”，并且表示为“x”的其他像素中没有存储深度值。图整合单元55基于法线贴图而估计对象OB的表面形状。这里，可以基于像素的法线方向，将左端起的第二像素确定为与从对应于左端的像素的对象表面接近第一成像单元21和第二成像单元22的倾斜表面对应。因此，图整合单元55通过使用左端的像素作为起点来追踪对象OB的表面形状，估计左端起的第二个像素的深度值，并且得到例如“1.5(米)”。图整合单元55进一步将估计的深度值存储在深度图中。这里，可以基于像素的法线方向，将左端起的第三像素确定为与面向第一成像单元21和第二成像单元22的表面对应。因此，图整合单元55通过使用左端的像素作为起点追踪对象OB的表面形状，估计左端起的第三像素的深度值，并且得到例如“1(米)”。图整合单元55进一步将估计的深度值存储在深度图中。这里，可以将左端起的第四像素确定为与从对应于左端起的第三像素的对象表面后退远离第一成像单元21和第二成像单元22的倾斜表面对应。因此，图整合单元55通过使用左端的像素作为起点追踪对象OB的表面形状，估计左端起的第四像素的深度值，并且得到例如“1.5(米)”。图整合单元55进一步将估计的深度值存储在深度图中。以类似的方式估计左端起的第五像素的深度值，并且将例如“2(米)”存储在深度图中。
通过这种方式，图整合单元55执行对深度图和法线贴图的整合处理，并且通过使用保持在深度图中的深度值作为起点基于法线贴图追踪表面形状来估计深度值。因此，即使在图17的(b)所示的由深度图生成单元51生成的深度图中缺少一部分深度值时，图整合单元55也可以补足缺失的深度值。因此，可以生成图17的(d)所示的、精度高于图17的(b)所示的深度图的精度的深度图。
整合图视点转换单元56对从图整合单元55提供的整合之后的深度图执行视点转换。从图整合单元55提供的深度图表示与由第一成像单元21(或第二成像单元22)生成的图像的每个像素对应的深度值，但是不对应于由第三成像单元23生成的图像。因此，整合图视点转换单元56执行视点转换，以将从图整合单元55提供的整合之后的深度图转换为来自第三成像单元23的视点的深度图。
图18是用于说明视点转换的图。例如，与由第一成像单元21生成的图像的像素(u，v)对应的深度被表示为“d”。此外，第一成像单元21的焦距被表示为“f”。
将第一成像单元21的中心视为世界坐标系W中的原点，在世界坐标系W中像素(u，v)所对应的点PA的位置(X，Y，Z)可以根据数学式(4)至(6)来计算。
X＝u*d/f…(4)
Y＝v*d/f…(5)
Z＝d…(6)
这里，第三成像单元23相对于第一成像单元21的旋转被定义为旋转矩阵RM，并且第三成像单元23相对于第一成像单元21的平移被定义为平移矢量t。此外，第三成像单元23的焦距被表示为“f”。在这种情况下，可以使用基于数学式(7)获得的(X'，Y'，Z')，根据数学式(8)和(9)，计算点PA在第三成像单元23的图像平面上投影的像素(u'，v')。因此，像素(u'，v')提供与像素(u，v)对应的深度“d”。
[数学式4]
u’＝X’*f’/Z’…(8)
v’＝Y’*f’/Z’…(9)
通过对所有像素执行上述计算，可以将来自第一成像单元21的视点的深度图转换为来自第三成像单元23的视点的深度图。
注意，第一成像单元21和第三成像单元23被安装成具有预定的旋转量和平移量。可替选地，可以使用例如Zhengyou Zhang,“A Flexible New Technique for CameraCalibration,”IEEE Trans.Pattern Anal.Mach.Intell.(PAMI),22(11):1330-1334,2000和其他文献中公开的方法，在安装第一成像单元21和第三成像单元23之后获取旋转量和平移量。
此外，图像处理单元50可以将所生成的深度图与第三图像相关联(例如，作为第三图像的属性信息或其他信息)，并且将其与第三图像一起存储在存储介质中或输出至外部装置或其他装置。
图19是示出第一实施方式的处理操作的流程图。图像处理单元50在步骤ST1中获取第一图像。图像处理单元50获取由第一成像单元21生成的具有多个偏振方向的偏振图像作为第一图像。图像处理单元50进一步在步骤ST2中获取第二图像。图像处理单元50获取由第二成像单元22生成的具有多个偏振方向的偏振图像作为第二图像。图像处理单元50在步骤ST3中获取第三图像。图像处理单元50获取由第三成像单元23生成的非偏振图像作为第三图像。
图像处理单元50在步骤ST4中生成深度图。图20是示出生成深度图的操作的流程图。图像处理单元50的深度图生成单元51在步骤ST11中根据第一图像生成非偏振图像。深度图生成单元51例如对第一图像进行平均滤波处理或其他处理以消除第一图像与第二图像之间的亮度水平差异，并且生成非偏振图像。然后流程进行到步骤ST12。
图像处理单元50的深度图生成单元51在步骤ST12中根据第二图像生成非偏振图像。如上所述的那样，深度图生成单元51例如对第二图像进行平均滤波处理或其他处理以消除第一图像与第二图像之间的亮度水平差异，并且生成非偏振图像。然后流程进行到步骤ST13。
图像处理单元50的深度图生成单元51在步骤ST13中执行匹配处理。深度图生成单元51使用在步骤ST11和ST12中生成的非偏振图像来执行匹配处理。此外，在匹配处理中，即使在使用通过对非偏振图像执行边缘提取处理而获得的图像时，也不会受到亮度水平差异的影响。深度图生成单元51基于匹配处理的结果而生成表示第一图像的每个像素的深度值的深度图，然后流程进行到图19中的步骤ST5。
图像处理单元50在步骤ST5中生成法线贴图。图像处理单元50的法线贴图生成单元52使用第一图像来确定针对每个像素的方位角φd和天顶角θd，并且生成法线贴图。然后流程进行到步骤ST6。
图像处理单元50在步骤ST6中对图执行整合处理。图像处理单元50的图整合单元55基于在深度图中表示的深度值和在法线贴图中表示的对象的表面形状，通过使用获得其深度值的像素作为起点追踪表面形状，估计与未获得其深度值的像素对应的深度值。此外，图整合单元55通过将估计的深度值包括在深度图中，生成精度高于或等于在步骤ST4中生成的深度图的精度的深度图。然后流程进行到步骤ST7。
图像处理单元50在步骤ST7中执行视点转换处理。图像处理单元50的整合图视点转换单元56将在步骤ST6中生成的、来自第一图像的视点的高精度深度图转换成来自第三图像的视点的深度图。
根据上述第一实施方式，即使对于在匹配处理中难以获取其深度值的对象区域，也可以使用基于具有多个偏振方向的偏振图像生成的法线贴图来估计深度值。因此，可以生成精度高于或等于由深度图生成单元25生成的深度图的精度的深度图，即，存储了针对对象区域的每个像素的深度值的深度图。
进一步执行视点转换，例如将来自第一图像的视点的高精度深度图转换为来自第三图像的视点的深度图。因此，可以生成图像质量和亮度不会由于设置起偏器而劣化的第三图像以及与第三图像对应的高精度深度图。
<3-2.第二实施方式的配置和操作>
接下来，将描述下述情况：使用具有比第一成像单元或第二成像单元的像素数更多的像素数的固态成像元件作为第三成像单元，以便能够生成高分辨率的捕获图像。
图21是示出图像处理单元的第二实施方式的配置的图。成像装置10的图像处理单元50包括深度图生成单元51、法线贴图生成单元52、图整合单元55、整合图视点转换单元56以及上采样单元57。深度图生成单元51、法线贴图生成单元52、图整合单元55以及整合图视点转换单元56执行与上述第一实施方式的处理类似的处理。
深度图生成单元51基于由第一成像单元21生成的偏振图像和由具有与第一成像单元21的视点位置不同的视点位置的第二成像单元22生成的偏振图像而执行立体匹配处理，从而生成存储了针对每个像素的深度值的深度图。深度图生成单元51将所生成的深度图输出到图整合单元55。
法线贴图生成单元52根据具有不同偏振方向的多个方向的偏振图像而生成法线贴图。例如，根据由第一成像单元21生成的偏振图像而生成法线贴图，并且将其输出至图整合单元55。
图整合单元55对由深度图生成单元51生成的深度图和由法线贴图生成单元52生成的法线贴图进行整合处理，并且生成精度高于或等于由深度图生成单元51生成的深度图的精度的深度图。图整合单元55将整合之后的深度图输出至整合图视点转换单元56。
整合图视点转换单元56对从图整合单元55提供的深度图执行视点转换，并且将例如从图整合单元55提供的来自第一成像单元21的视点的深度图转换为来自第三成像单元23的视点的深度图。整合图视点转换单元56将视点转换之后的深度图输出至上采样单元57。
上采样单元57对从整合图视点转换单元56提供的深度图执行上采样处理，并且生成下述深度图：该深度图具有与由第三成像单元23生成的具有高像素数的捕获图像对应的分辨率。上采样单元57例如使用在“Johannes Kopf and Michael F.Cohen and DaniLischinski and Matt Uyttendaele，“Joint Bilateral Upsampling,”ACM Transactionson Graphics(Proceedings of SIGGRAPH 2007)”中公开的方法，使用具有较多像素数的第三图像作为引导，对具有比第三图像的像素数少的像素数的深度图进行上采样，并且生成表示针对第三图像的每个像素的深度值的深度图。可替选地，上采样单元57可以使用另外的方法，例如使用双线性滤波器的上采样方法，从而生成具有与第三图像对应的像素数的深度图。
注意，图像处理单元50可以将所生成的深度图与具有比第一图像或第二图像的像素数更多的像素数的第三图像相关联(例如，作为第三图像的属性信息或其他信息)，并且将其与第三图像一起存储在存储介质中或者输出至外部装置或其他装置。
图22是示出第二实施方式的操作的流程图。图像处理单元50在步骤ST21中获取第一图像。图像处理单元50获取由第一成像单元21生成的具有多个偏振方向的偏振图像作为第一图像。图像处理单元50进一步在步骤ST22中获取第二图像。图像处理单元50获取由第二成像单元22生成的具有多个偏振方向的偏振图像作为第二图像。图像处理单元50在步骤ST23中获取第三图像。图像处理单元50获取由第三成像单元23生成的非偏振图像作为第三图像。
图像处理单元50在步骤ST24中生成深度图。与图19中的步骤ST4类似地，图像处理单元50的深度图生成单元51根据第一图像和第二图像而生成与第一图像对应的深度图。然后流程进行到步骤ST25。
图像处理单元50在步骤ST25中生成法线贴图。与图19中的步骤ST5类似地，图像处理单元50的法线贴图生成单元52使用第一图像来确定针对每个像素的方位角φd和天顶角θd，并且生成法线贴图。然后流程进行到步骤ST26。
图像处理单元50在步骤ST26中对图执行整合处理。与图19中的步骤ST6类似地，图像处理单元50的图整合单元55生成精度高于步骤ST24中生成的深度图的精度的深度图。然后流程进行到步骤ST27。
图像处理单元50在步骤ST27中执行视点转换处理。与图19中的步骤ST7类似地，图像处理单元50的整合图视点转换单元56将在步骤ST26中生成的来自第一图像的视点的高精度深度图转换为来自第三图像的视点的深度图。然后流程进行到步骤ST28。
图像处理单元50在步骤ST28中执行上采样处理。图像处理单元50的上采样单元57对从整合图视点转换单元56提供的深度图进行上采样处理，并且生成与由第三成像单元生成的捕获图像对应的深度图。
根据上述第二实施方式，即使对于在匹配处理中难以获取其深度值的对象区域，也可以使用基于具有多个偏振方向的偏振图像而生成的法线贴图来估计深度值。因此，与第一实施方式类似地，可以生成精度高于或等于由深度图生成单元51生成的深度图的精度的深度图，即，存储了针对对象区域的每个像素的深度值的深度图。进一步执行视点转换，例如将来自第一图像的视点的高精度深度图转换为来自第三图像的视点的深度图，因此，可以生成与第三图像对应的高精度深度图。
在第二实施方式中，进一步对视点转换之后的深度图执行上采样处理，并且生成表示针对具有高像素数的第三图像的每个像素的深度值的深度图。因此，可以生成具有高像素数并且图像质量和亮度不会由于设置起偏器而劣化的第三图像、以及具有与第三图像对应的像素数的高精度的深度图。
同时，当像素尺寸由于较高的像素数而减小时，获取具有更好的图像质量的偏振图像会变得困难，并且不能容易地以低成本配置起偏器。然而，在第二实施方式中，可以在不在第一成像单元和第二成像单元中使用诸如第三成像单元的具有高像素数的固态成像元件的情况下，生成具有与第三图像对应的像素数的高精度的深度图，因此，可以以合理的价格提供成像装置。
<3-3.第三实施方式的配置和操作>
在上述第一实施方式和第二实施方式中，对图整合之后的深度图执行视点转换；然而，还可以在图整合之前执行视点转换。接下来，将作为第三实施方式而对在图整合之前执行视点转换的情况进行描述。
图23是示出图像处理单元的第三实施方式的配置的图。成像装置10的图像处理单元50包括深度图生成单元51、法线贴图生成单元52、深度图视点转换单元53、法线贴图视点转换单元54以及图整合单元55。深度图生成单元51、法线贴图生成单元52以及图整合单元55执行与上述第一实施方式的处理类似的处理。
深度图生成单元51基于由第一成像单元21生成的偏振图像和由具有与第一成像单元21的视点位置不同的视点位置的第二成像单元22生成的偏振图像来执行立体匹配处理。深度图生成单元51通过执行立体匹配处理而生成存储了第一成像单元21的视点的每个像素的深度值的深度图，并且将其输出至深度图视点转换单元53和法线贴图视点转换单元54。
法线贴图生成单元52根据具有不同偏振方向的多个方向的偏振图像而生成法线贴图。例如，根据由第一成像单元21生成的偏振图像而生成法线贴图，并且将其输出至深度图视点转换单元53和法线贴图视点转换单元54。
深度图视点转换单元53执行与上述整合图视点转换单元56的处理类似的处理，并且将从深度图生成单元51提供的来自第一成像单元21的视点的深度图转换为来自第三成像单元23的视点的深度图。整合图视点转换单元56将视点转换之后的深度图输出至图整合单元55。
法线贴图视点转换单元54将例如从法线贴图生成单元52提供的来自第一成像单元21的视点的法线贴图转换为来自第三成像单元23的视点的法线贴图。
图24是示出成像单元与法向矢量的坐标系之间的关系的图。这里，当将成像单元21的光轴方向视为z轴方向，将横向方向(例如水平方向)视为x轴方向，并且表示法线方向的法向矢量N被表示为如数学式(10)那样时，方位角φd、天顶角θd和法向矢量这些分量具有数学式(11)和(12)所表示的关系。
[数学式5]
N＝[Nx,Ny,Nz]T…(10)
θd＝arccosNz…(11)(11)
因此，法线贴图视点转换单元54基于数学式(13)对法向矢量执行视点转换。这里，旋转矩阵RM等效于数学式(7)。
[数学式6]
法线贴图视点转换单元54还计算来自第一成像单元21的视点的法线贴图中的经过了法向矢量的视点转换的像素对应于来自第三成像单元23的视点的法线贴图中的哪个像素位置。例如，在将第一成像单元21的中心视为世界坐标系W中的原点时，将与世界坐标系中的点PA对应的像素(u，v)表示为位置(X，Y，Z)，法线贴图视点转换单元54使用旋转矩阵和像素(u，v)的深度值，计算位置(X，Y，Z)处的点PA被投影的、第三成像单元23的法线贴图上的像素(u'，v')的位置。
法线贴图视点转换单元54对来自第一成像单元21的视点的法线贴图的每个像素执行这样的法向矢量的视点转换以及在第三成像单元23的法线贴图上的相应像素位置的计算。因此，通过法线贴图视点转换单元54将来自第一成像单元21的视点的法线贴图转换为来自第三成像单元23的视点的法线贴图。注意，根据由深度图生成单元51生成的深度图而获取像素(u，v)的深度值。
法线贴图视点转换单元54根据视点转换之后的法向矢量，生成表示视点转换之后的方位角和天顶角的法线贴图，并且将其输出至图整合单元55。
图整合单元55对由深度图视点转换单元53转换成来自第三成像单元23的视点的深度图和由法线贴图视点转换单元54转换成来自第三成像单元23的视点的法线贴图进行整合处理。图整合单元55通过对图执行整合处理，生成精度高于或等于由深度图视点转换单元53生成的来自第三成像单元23的视点的深度图的精度的深度图。
图25是示出第三实施方式的操作的流程图。图像处理单元50在步骤ST31获取第一图像。图像处理单元50获取由第一成像单元21生成的具有多个偏振方向的偏振图像作为第一图像。图像处理单元50进一步在步骤ST32中获取第二图像。图像处理单元50获取由第二成像单元22生成的具有多个偏振方向的偏振图像作为第二图像。图像处理单元50在步骤ST33获取第三图像。图像处理单元50获取由第三成像单元23生成的非偏振图像作为第三图像。
图像处理单元50在步骤ST34中生成深度图。与图19中的步骤ST4类似地，图像处理单元50的深度图生成单元51根据第一图像和第二图像生成与第一图像对应的深度图。然后流程进行到步骤ST36。
图像处理单元50在步骤ST35中生成法线贴图。与图19中的步骤ST5类似地，图像处理单元50的法线贴图生成单元52使用第一图像确定针对每个像素的方位角φd和天顶角θd，并且生成法线贴图。然后流程进行到步骤ST37。
图像处理单元50在步骤ST36中执行深度图视点转换处理。与图19中的步骤ST7类似地，图像处理单元50的深度图视点转换单元53将在步骤ST34中生成的来自第一图像的视点的深度图转换为来自第三图像的视点的深度图。然后流程进行到步骤ST38。
图像处理单元50在步骤ST37中执行法线贴图视点转换处理。图像处理单元50的法线贴图视点转换单元54基于深度图中表示的深度值，将在步骤ST35中生成的法线贴图从来自第一图像的视点的法线贴图转换为来自第三图像的视点的法线贴图。然后流程进行到步骤ST38。
图像处理单元50在步骤ST38中对图执行整合处理。与图19中的步骤ST6类似地，图像处理单元50的图整合单元55使用在步骤ST37中生成的法线贴图，生成精度高于步骤ST36中生成的深度图的精度的深度图。
根据上述第三实施方式，即使对于在匹配处理中难以获取其深度值的对象区域，也可以使用基于具有多个偏振方向的偏振图像而生成的法线贴图来估计深度值。因此，与第一实施方式类似地，可以生成精度高于或等于由深度图生成单元51生成的深度图的精度的深度图，即存储了针对对象区域的每个像素的深度值的深度图。进一步进行视点转换，例如将来自第一图像的视点的深度图和法线贴图转换为来自第三图像的视点的深度图和法线贴图，然后对其进行整合。因此，可以生成来自第三图像的视点的高精度深度图。
<4.成像单元和图像处理单元的其他实施方式>
同时，在上述实施方式中，已经描述了使用图10所示的起偏器来生成非彩色的偏振图像的情况；然而，通过第一成像单元和第二成像单元来生成彩色的偏振图像，使得能够在考虑对象的反射分量的情况下生成法线贴图。
图26是例示第一成像单元和第二成像单元的另外的配置的图。注意，第一成像单元和第二成像单元具有等效配置。在成像单元21(22)中，将具有相同偏振方向的多个像素视为相同偏振像素块，并且在相同偏振像素块中包括各个颜色的像素。成像单元21(22)生成偏振图像。例如，如图26的(a)所示，在成像单元21(22)中，将具有相同偏振方向的2×2像素单位作为相同偏振像素块。此外，成像单元21(22)使用如下起偏器：在该起偏器中，在列方向和行方向上，以重复的方式包括由具有不同偏振方向的四个相同偏振像素块构成的4×4像素的偏振模式单位块。注意，偏振方向由图26的(a)中的阴影线的方向表示。
例如，如图26的(b)所示的那样，在成像单元21(22)的滤色器中，颜色阵列是包括红色像素R、绿色像素G和蓝色像素B的、尺寸为2×2像素的拜耳阵列。同时，将由红色像素、绿色像素和蓝色像素构成的4×4像素的像素块视为颜色模式单位像素块。如图26的(c)所示的那样，在成像单元21中，颜色模式单位块在列方向和行方向中的每个上，相对于偏振图案单位块具有一个像素的位置差。因此，一个相同偏振像素块包括一个红色像素R、一个蓝色像素B和两个绿色像素G。此外，具有同一颜色的2×2像素的像素块包括四个偏振方向的像素。
例如，法线贴图生成单元52从偏振图像中去除镜面反射分量，以减轻镜面反射的影响。镜面反射的发生是由成像场景中的主导光源引起的。此外，当成像单元21(22)执行白平衡调节时，根据白平衡调节中的照明颜色来调节增益，因此认为生成镜面反射的照明的颜色是非彩色的。在这种情况下，表示照明颜色的RGB值是相同的值，因此获得使得能够去除镜面反射分量的色度。法线贴图生成单元52基于数学式(14)，根据已进行白平衡校正的偏振图像，获得针对每个相同偏振像素块(即针对如图27所示的点标记的每个位置)的色度I'υpol。法线贴图生成单元52使用红色像素的像素值Rυpol、绿色图像的像素值Gυpol和蓝色像素的像素值Bυpol来对每个相同偏振像素块执行这样的处理，并且生成仅包括漫反射分量的偏振图像，该偏振图像是去除了镜面反射分量的图像。注意，在如图27的(b)所示的那样通过拜耳阵列配置颜色阵列的情况下，例如，作为两个绿色像素的像素值Gυ1和Gv2的平均值而获得绿色像素的像素值Gυpol。
[数学式7]
此外，法线贴图生成单元52例如在假设光源为白色的情况下，生成去除了可归因于光源的镜面反射分量的偏振图像。为了去除镜面反射分量，可以使用文献“D.Miyazaki,R.Tan,K.Hara,and K.Ikeuchi.Polarization-based inverse rendering from a singleview.Proceedings of International Conference on Computer Vision,pages 982-987,2003”中公开的方法。就是说，基于数学式(15)将颜色空间从RGB空间转换为M空间，并且基于数学式(16)生成去除了镜面反射分量的图像。通过基于数学式(17)将去除了镜面反射分量的图像从M空间返回到RGB空间，可以生成去除了镜面反射分量的偏振图像。
[数学式8]
此外，法线贴图生成单元52可以使用文献“Tomoaki Higo,Daisuke Miyazaki,Katsushi Ikeuchi.Kenkyu-Hokoku 2006-CVIM-155.2006/9/9.Realtime Removal ofSpecular Reflection Component Based on Dichromatic Reflection Model,Information Processing Society of Japan”中描述的方法来去除镜面反射分量。在这种方法中，在向HSV空间投影时，在一个色相(hue)空间中利用如下事实：在漫反射分量中，饱和度与亮度成比例关系。图28是用于说明使用HSV空间去除镜面反射分量的处理的图。法线贴图生成单元52使用图28的(a)所示的从RGB空间转换来的HSV空间，绘制如图28的(b)所示的针对每个色相的饱和度与亮度之间的关系。法线贴图生成单元52进一步将如下分量作为镜面反射分量而去除：该分量的亮度比如图28的(c)所示的那样所近似的直线LA高出预定量以上。
法线贴图生成单元52根据去除了镜面反射的偏振图像(即仅表示漫反射分量的偏振图像)而生成法线信息。
法线贴图生成单元52还可以生成包括镜面反射分量的法线贴图。图29是示出亮度与偏振角之间的关系(在镜面反射的情况)的图。注意，出于对比目的，图29的(a)是示出镜面反射中的亮度与偏振角之间的关系的图，并且在图29的(b)中示出了漫反射中的亮度与偏振角之间的关系。
在镜面反射的情况下，将观察到最小亮度Ismin时的偏振角υpol定义为方位角φs。在进行了这样的定义的情况下，表示在偏振板PL如图14所示地那样旋转时所观察到的亮度Ispol(即由于偏振角的差异而发生的预定亮度变化)的偏振模型公式，可以表示为数学式(18)。
[数学式9]
在数学式(18)中，在生成偏振图像时，偏振角υpol是明确的。最大亮度Ismax、最小亮度Ismin和方位角φs是变量。因此，由于存在三个变量，所以法线贴图生成单元52使用具有三个或更多个偏振方向的偏振图像的亮度来对由数学式(18)表示的函数进行拟合，从而基于表示亮度和偏振角之间的关系的函数而确定亮度变为最小时的方位角φs。
此外，以极坐标系表示对象表面法线。法线信息包括方位角φs和天顶角θs。注意，天顶角θs是从z轴朝向法线形成的角，并且方位角φs是在y轴方向上相对于x轴形成的角。这里，也可以通过使用通过旋转偏振版PL而获得的最小亮度Ismin和最大亮度Ismax执行数学式(19)的计算，计算偏振度ρs。
[数学式10]
已知偏振度与天顶角之间的关系(在镜面反射的情况下)具有图30所示的特性。可以根据图30所示的特性，基于偏振度ρs而确定一个或两个天顶角。注意，图30所示的特性是示例，并且特性根据对象的折射率而变化。此外，图30中例示了确定两个天顶角θs1和θs2的情况。
法线贴图生成单元52进一步对根据漫反射分量而计算出的方位角φd和天顶角θd以及根据镜面反射分量而计算出的方位角φs和天顶角θs进行整合，并且生成表示整合之后的方位角φds和天顶角θds的法线贴图。作为整合处理，法线贴图生成单元52例如将获取的方位角和天顶角中的每个进行平均。具体地，基于数学式(20)进行整合处理，并且生成方位角φds。此外，存在在法线贴图生成单元52中确定两个天顶角θs的情况，因此基于数学式(21)和(22)进行整合处理，并且生成天顶角θds。
[数学式11]
其中，
其中，
法线贴图生成单元52还可以根据漫反射和镜面反射中哪一个处于主导地位，利用加权对根据漫反射分量而计算出的方位角φd和天顶角θd以及根据镜面反射分量而计算出的方位角φs和天顶角度θs进行整合。对于加权，例如，使用亮度的幅度，并且选择具有较大幅度的一方。此外，使用拟合误差，并且选择具有较小误差的一方来进行整合处理。拟合误差是在对由数学式(2)或(18)表示的函数进行拟合的情况下的函数值与偏振图像的亮度之间的差异。例如，使用针对每个偏振方向的函数值与亮度之间的误差的整合值或平均值。
在使用亮度的幅度进行整合处理的情况下，法线贴图生成单元52通过计算针对每个反射分量的亮度的幅度并且选择具有较大幅度的一方来对方位角和天顶角进行整合。此外，对于镜面反射分量，可以确定两个天顶角，从而选择更接近于所获得的针对漫反射分量的天顶角的天顶角。数学式(23)是漫反射中的幅度Ad的计算式。数学式(24)是镜面反射中的幅度As的计算式。
Ad＝|dmax-|dmin…(23)(23)
As＝｜smax-|smin…(24)
法线贴图生成单元52如数学式(25)所表示地那样，通过使用漫反射分量中的幅度和镜面反射分量中的幅度进行加权而执行整合处理，并且生成方位角φds。法线贴图生成单元52还如数学式(26)和(27)所表示地那样，通过使用漫反射分量中的幅度和镜面反射分量中的幅度进行加权而进行整合，并且生成天顶角θds。
[数学式12]
其中，
其中，
此外，法线贴图生成单元52可以选择根据漫反射分量的偏振图像而生成的法线信息和根据镜面反射分量的偏振图像而生成的法线信息中之一，作为法线信息的整合。这里，法线信息整合单元38从漫反射和镜面反射中选择占主导地位的反射的法线信息。法线信息整合单元38通过将由偏振角差异引起的亮度变化较大的反射视为占主导地位，从漫反射分量的幅度Ad和镜面反射分量的幅度As中选择具有较大幅度的分量的法线信息。此外，法线信息整合单元38通过将由偏振角差异引起的相对于预定亮度变化的误差较小的反射视为占主导地位，从漫反射分量的拟合误差和镜面反射分量的拟合误差中选择具有较小误差的分量的法线信息。可替选地，法线信息整合单元38可以确定与周围的法线信息的误差，并且选择具有较小误差的法线信息。另外可替选地，法线信息整合单元38可以通过组合这些方法来选择法线信息，或者也可以通过组合另外的方法来选择法线信息。此外，在选择镜面反射分量的法线信息并且如上所述的那样确定两个天顶角θs1和θs2的情况下，法线信息整合单元38从天顶角θs1和θs2中选择如下天顶角：该天顶角相对于由漫反射分量的法线信息表示的天顶角θd的角差异较小。就是说，通过使用彩色的偏振图像，可以在考虑反射分量的情况下生成精确的法线贴图。
例如，在没有发生镜面反射的成像环境的情况下或者在生成具有高空间分辨率的法线贴图的情况下，以这种方式配置的成像装置可以通过使用黑白的偏振图像来生成精确的法线贴图。此外，例如，在易于发生镜面反射的成像环境(诸如，晴天时的室外)的情况下，可以通过使用彩色的偏振图像、在考虑反射分量的情况下执行处理，生成精确的法线贴图。
注意，上述流程图示出的处理不限于按各个步骤的顺序执行处理的顺序处理，而是可以通过流水线处理或并行处理来执行。此外，滤色器不限于三原色的滤色器，而是可以使用互补色的滤色器。
<5.示例性应用>
接下来，将描述成像装置和图像处理装置(图像处理方法)的示例性应用。图31是例示使用本技术的成像装置和图像处理装置的车辆控制系统的示意性配置的框图。车辆控制系统90包括经由通信网络920连接的多个控制单元或检测单元。在图31所示的示例中，车辆控制系统90包括驱动系统控制单元931、车体系统控制单元932、电池控制单元933、外部信息检测单元934、无线通信单元935以及整合控制单元940。通信网络920可以是例如符合期望标准的车载通信网络，例如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。此外，整合控制单元940与输入单元951、音频输出单元952和显示单元953连接。
每个控制单元包括根据各种程序执行计算处理的微型计算机、存储由微型计算机执行的程序或用于各种计算的参数的存储单元以及驱动要控制的各种类型的装置的驱动电路。
驱动系统控制单元931根据各种程序控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元931起到如下装置的作用：用于生成车辆的驱动力的驱动力生成装置(诸如内燃机或驱动电机)，用于将驱动力传递到车轮的驱动力传递机构，以及用于调节车辆的转向角度的转向机构。驱动系统控制单元931还可以起到诸如用于生成车辆的制动力的制动装置的控制装置的作用，或者起到诸如防抱死制动系统(ABS)或电子稳定性控制系统(ESC)的控制装置的作用。
驱动系统控制单元931与车辆状态检测单元9311连接。车辆状态检测单元9311包括如下中至少之一：用于检测车体的轴向旋转运动的角速度的陀螺仪传感器，用于检测车辆的加速度的加速度传感器，以及用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角度、引擎速度或行驶速度的传感器。驱动系统控制单元931使用从车辆状态检测单元9311输入的信号进行计算处理，并且控制内燃机、驱动电机、电动转向装置或制动装置。
车体系统控制单元932根据各种程序来控制安装到车体的各种装置的操作。例如，车体系统控制单元932起到无钥匙进入系统、智能钥匙系统、自动窗装置或各种类型的灯(诸如，前灯、后灯、制动灯、指示灯或雾灯)的控制装置的作用。在这种情况下，可以向车体系统控制单元932输入从替代钥匙的便携式装置发送的无线电波的信号或各种开关的信号。车体系统控制单元932接收这样的无线电波或信号的输入，并且控制车辆的门锁装置、自动窗装置、灯装置或其他装置。
电池控制单元933根据各种程序来控制作为驱动电机的电源的二次电池9331。例如，可以向电池控制单元933输入来自包括二次电池9331的电池装置的信息，诸如电池温度、电池输出电压或电池的剩余容量。电池控制单元933使用这些信号来执行计算处理，并且执行对二次电池9331的温度调节控制或者对包括在电池装置中的冷却装置或其他装置的控制。
外部信息检测单元934检测安装有车辆控制系统90的车辆的外部信息。外部信息检测单元934使用本技术的成像装置和图像处理装置。
图32是示出成像装置的安装的示例的图。例如，包括成像单元21、22和23的成像装置20安装在车辆80的前鼻翼、侧镜、后保险杠、后门以及车辆内部的前玻璃的上部中至少一个位置处。设置在前鼻翼处的成像装置20-A和设置在车辆内部的前玻璃的上部的成像装置20-B主要获取车辆80前方的图像。设置在侧镜的成像装置20-C和20-D主要获取车辆80的侧方的图像。设置在后保险杠或后门的成像装置20-E主要获取车辆80的后方的图像。注意，图32是示出各个成像装置20-A至20-E的示例性成像范围的图。成像范围AR-a表示设置在前鼻翼的成像装置20-A的成像范围。成像范围AR-c和AR-d分别表示设置在侧镜的成像装置20-C和20-D的成像范围。成像范围AR-e表示设置在后保险杠或后门的成像装置20-E的成像范围。
返回参照图31，外部信息检测单元934对车辆的周围区域进行成像，并且获取偏振图像和非偏振图像。外部信息检测单元934进一步根据所获取的偏振图像生成可用于车辆控制的信息，例如与非偏振图像对应的、具有高精度的深度图。
无线通信单元935经由诸如专用短距离通信(DSRC)(注册商标)的无线通信网络与对车辆外部(诸如，其他车辆或道路环境)进行控制的控制中心进行通信，并且将接收到的信息输出至整合控制单元940。此外，无线通信单元935可以将由外部信息检测单元934获取的信息传送至另外的车辆、控制中心或其他实体。注意，无线通信单元935可以经由诸如无线LAN的无线通信网络或者用于蜂窝电话的无线通信网络(诸如，3G、LTE和4G)的无线通信网络与控制中心进行通信。无线通信单元935还可以通过接收全球导航卫星系统(GNSS)的信号来执行测距，并且将测距结果输出至整合控制单元940。
整合控制单元940与输入单元951、音频输出单元952和显示单元953连接。输入单元951由可被乘客操作以进行输入的装置实现，诸如触摸面板、按钮、麦克风、开关或操纵杆。输入单元951基于由乘客或其他人输入的信息而生成输入信号，并且将其输出至整合控制单元940。
音频输出单元952通过输出基于来自整合控制单元940的音频信号的音频，以听觉方式向车辆的乘客通知信息。显示单元953通过显示基于来自整合控制单元940的图像信号的图像，以视觉方式向车辆的乘客通知信息。
整合控制单元940包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)或其他部件。只读存储器(ROM)存储由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储诸如各种参数、计算结果或传感器值的信息。CPU执行存储在ROM中的各种程序，并且根据如下信号和信息来对车辆控制系统90中的操作进行整体控制：来自输入单元951的输入信号，通过经由通信网络920与每个控制单元、外部信息检测单元和无线通信单元进行通信而获取的信息，以及存储在RAM中的信息。整合控制单元940还生成表示要以听觉方式向车辆的乘客进行通知的信息的音频信号，并且将其输出至音频输出单元952。整合控制单元940还生成以视觉方式通知信息的图像信号，并且将其输出至显示单元953。整合控制单元940还使用无线通信单元935与存在于车辆外部的各种装置(诸如其他车辆或控制中心)进行通信。整合控制单元940还基于存储在ROM或RAM中的图信息以及从无线通信单元935获取的测距结果，执行对车辆的驾驶辅助。
注意，在图31所示的示例中，经由通信网络920连接的至少两个控制单元可以集成为一个控制单元。可替选地，每个控制单元可以包括多个控制单元。另外可替选地，车辆控制系统90可以包括未示出的另外的控制单元。此外，在上述描述中，由任一个控制单元执行的功能的一部分或全部可以由另外的控制单元执行。就是说，可以由任何控制单元执行预定的计算处理，只要经由通信网络920执行信息的发送和接收即可。
在这样的车辆控制系统中，可以通过使用本技术的成像装置和图像处理装置，获得其中图像质量或亮度的劣化得到抑制的周围图像和与周围图像对应的具有高精度的深度图。因此，使用其中图像质量或亮度的劣化得到抑制的周围图像和与周围图像对应的深度图，使得能够例如准确识别对象，以及建立能够基于对象识别的结果而进行安全驾驶的车辆控制系统。
同时，本文描述的一系列处理可以通过硬件、软件或其组合配置来执行。在通过软件执行处理的情况下，将存储处理序列的程序安装在并入专用硬件中的计算机的存储器中，由此执行该程序。可替选地，可以将程序安装在能够执行各种处理的通用计算机中，由此执行该程序。
例如，程序可以预先存储在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。可替选地，程序可以暂时地或永久地存储在可拆卸存储介质中，例如，软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡。这样的可拆卸存储介质可以被提供为所谓的封装软件。
可替选地，程序可以从可存储介质安装在计算机中，或者可以经由诸如局域网(LAN)或因特网的网络、以无线或有线方式从下载站点传送至计算机。计算机可以接收以这种方式传送的程序，并且将该程序安装在存储介质(诸如，并入的硬盘)中。
此外，本技术不应被解释为限于上述技术的实施方式。本技术的实施方式以实例的形式公开了本技术，因此清楚的是，本领域技术人员可以在不脱离本技术的原理的范围内修改或替换实施方式。就是说，为了确定本技术的原理，要考虑权利要求书。
注意，本技术的成像装置也可以配置如下。
(1)一种成像装置，包括：
第一成像单元和第二成像单元，包括针对多个偏振方向中的每个具有偏振特性的像素；以及
第三成像单元，包括不具有偏振特性的像素并且置于所述第一成像单元和所述第二成像单元之间。
(2)根据(1)所述的成像装置，其中
所述第一成像单元、所述第二成像单元和所述第三成像单元在竖直方向和水平方向上匹配，以及
所述第三成像单元的光轴位置位于连接所述第一成像单元和所述第二成像单元的光轴位置的线上。
(3)根据(1)或(2)所述的成像装置，
其中，所述第一成像单元、所述第二成像单元和所述第三成像单元被设置成使得其光轴方向彼此平行。
(4)根据(1)至(3)中任一项所述的成像装置，
其中，所述第一成像单元、所述第二成像单元和所述第三成像单元被设置成使得其入射光瞳位于与其光轴方向垂直的同一条线上。
(5)根据(1)至(4)中任一项所述的成像装置，
其中，所述第三成像单元具有比所述第一成像单元和所述第二成像单元的像素更多的像素数。
(6)根据(1)至(5)中任一项所述的成像装置，
其中，所述第一成像单元和所述第二成像单元通过被固定在所述第三成像单元的两侧来设置。
(7)根据(1)至(6)中任一项所述的成像装置，
其中，所述第一成像单元和所述第二成像单元被设置于适配器，所述适配器以可附接且可拆卸的方式附接至所述第三成像单元；以及
在所述适配器和所述第三成像单元中之一设置位置调节机构，所述位置调节机构用于使所述第一成像单元和所述第二成像单元的竖直方向和水平方向与所述第三成像单元的竖直方向和水平方向匹配。
(8)根据(7)所述的成像装置，还包括：
通信单元，用于执行所述第一成像单元和所述第二成像单元与主体单元之间的通信，所述主体单元使用由所述第一成像单元生成的图像和由所述第二成像单元生成的图像。
可替选地，本技术的图像处理装置也可以配置如下。
(1)一种图像处理装置，包括：
深度图生成单元，用于通过使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像执行匹配处理，生成来自所述第一成像单元的视点的深度图，所述第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，所述第二成像单元具有等同于所述第一成像单元的配置的配置；
法线贴图生成单元，用于基于由所述第一成像单元生成的所述第一图像的偏振状态而生成法线贴图；
图整合单元，用于通过对由所述深度图生成单元所生成的深度图和由所述法线贴图生成单元所生成的法线贴图执行整合处理而生成整合图，以及
视点转换单元，用于将由所述图整合单元生成的所述整合图或者由所述深度图生成单元所生成的所述深度图和由所述法线贴图生成单元所生成的所述法线贴图转换为来自第三成像单元的视点的图，所述第三成像单元置于所述第一成像单元和所述第二成像单元之间并且包括不具有偏振特性的像素。
(2)根据(1)所述的图像处理装置，
其中，所述视点转换单元将由所述深度图生成单元所生成的所述深度图和由所述法线贴图生成单元所生成的所述法线贴图转换为来自所述第三成像单元的视点的图。
(3)根据(1)或(2)所述的图像处理装置，
其中，所述法线贴图生成单元基于具有三个或更多个偏振方向的所述第一图像的亮度而生成所述法线贴图。
(4)根据(1)至(3)中任一项所述的图像处理装置，
其中，所述图整合单元根据在所述深度图中表示的深度值和基于所述法线贴图而确定的表面形状，计算在所述深度图中未表示的深度值。
(5)根据(1)至(4)中任一项所述的图像处理装置，还包括：
图转换单元，用于将所述深度图转换为具有大量像素的图，
其中，所述第三成像单元具有比所述第一成像单元和所述第二成像单元的像素更多的像素，以及
所述图转换单元将在整合处理之后的来自所述第三成像单元的视点的深度图转换为与由所述第三成像单元生成的图像对应的深度图。
(6)根据(1)至(5)中任一项所述的图像处理装置，
其中，所述第一图像和所述第二图像是彩色的，以及
所述法线贴图生成单元从所述第一图像分离或提取反射分量，并且基于分离或提取后的图像的偏振状态而生成法线贴图。
(7)根据(1)至(5)中任一项所述的图像处理装置，
其中，所述第一图像和所述第二图像是黑白的。
工业适用性
在本技术的成像装置、图像处理装置和图像处理方法中，包括：第一成像单元和第二成像单元，该第一成像单元和第二成像单元包括针对多个偏振方向中的每个具有偏振特性的像素；以及第三成像单元，该第三成像单元包括不具有偏振特性的像素并且置于第一成像单元和第二成像单元之间。此外，通过使用由第一成像单元生成的第一图像和由具有等同于第一成像单元的配置的配置的第二成像单元生成的第二图像进行匹配处理，生成来自第一成像单元的视点的深度图。此外，基于由第一成像单元生成的第一图像的偏振状态而生成法线贴图。然后通过对所生成的深度图和法线贴图进行整合处理来生成具有较高精度的深度图。此后，将整合处理之后的深度图或者整合处理之前的深度图和法线贴图转换为来自第三成像单元的视点的图，第三成像单元置于第一成像单元和第二成像单元之间。因此，可以生成图像质量和亮度不会劣化的图像以及与该图像对应的具有高精度的深度图。因此，本技术适合于获取对象的三维形状的装置。
附图标记列表
10 成像装置
21,22,23 成像单元
25 深度图生成单元
31 适配器
33 位置调节机构
35,45 通信单元
40 主体单元
50 图像处理单元
51 深度图生成单元
52 法线贴图生成单元
53 深度图视点转换单元
54 法线贴图视点转换单元
55 图整合单元
56 整合图视点转换单元
57 上采样单元
201,231 透镜单元
202 光阑
211 起偏器
235 滤色器

Claims (17)

1.一种成像装置，包括:
第一成像单元，包括针对多个偏振方向中的每个具有偏振特性的像素；
第二成像单元，包括针对多个偏振方向中的每个具有偏振特性的像素；以及
第三成像单元，包括不具有偏振特性的像素并且置于所述第一成像单元和所述第二成像单元之间。
2.根据权利要求1所述的成像装置，
其中，所述第一成像单元、所述第二成像单元和所述第三成像单元在竖直方向和水平方向上匹配，以及
所述第三成像单元的光轴位置位于连接所述第一成像单元和所述第二成像单元的光轴位置的线上。
3.根据权利要求1所述的成像装置，
其中，所述第一成像单元、所述第二成像单元和所述第三成像单元被设置成使得其光轴方向彼此平行。
4.根据权利要求1所述的成像装置，
其中，所述第一成像单元、所述第二成像单元和所述第三成像单元被设置成使得其入射光瞳位于与其光轴方向垂直的同一条线上。
5.根据权利要求1所述的成像装置，
其中，所述第三成像单元具有比所述第一成像单元和所述第二成像单元的像素更多的像素。
6.根据权利要求1所述的成像装置，
其中，所述第一成像单元和所述第二成像单元通过被固定在所述第三成像单元的两侧来设置。
7.根据权利要求1所述的成像装置，
其中，所述第一成像单元和所述第二成像单元被设置于适配器，所述适配器以可附接且可拆卸的方式附接至所述第三成像单元；
在所述适配器和所述第三成像单元中之一设置位置调节机构，所述位置调节机构用于使所述第一成像单元和所述第二成像单元的竖直方向和水平方向与所述第三成像单元的竖直方向和水平方向匹配。
8.根据权利要求7所述的成像装置，还包括：
通信单元，用于执行所述第一成像单元和所述第二成像单元与主体单元之间的通信，所述主体单元使用由所述第一成像单元生成的图像和由所述第二成像单元生成的图像。
9.一种图像处理装置，包括：
图整合单元，用于生成通过对深度图和法线贴图进行整合处理而获得的整合深度图，其中，所述深度图是使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像而生成的，所述法线贴图基于由所述第一成像单元生成的所述第一图像的偏振状态，所述第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，所述第二成像单元具有等同于所述第一成像单元的配置的配置；以及
视点转换单元，用于将由所述图整合单元生成的所述整合深度图转换为来自第三成像单元的视点的图，所述第三成像单元置于所述第一成像单元和所述第二成像单元之间并且包括不具有偏振特性的像素。
10.一种图像处理装置，包括：
深度图生成单元，用于通过使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像来执行匹配处理，生成来自所述第一成像单元的视点的深度图，所述第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，所述第二成像单元具有等同于所述第一成像单元的配置的配置；
法线贴图生成单元，用于基于由所述第一成像单元生成的所述第一图像的偏振状态而生成法线贴图；
图整合单元，用于通过对由所述深度图生成单元所生成的深度图和由所述法线贴图生成单元所生成的法线贴图执行整合处理而生成整合图；以及
视点转换单元，用于将由所述图整合单元生成的所述整合图或者由所述深度图生成单元所生成的所述深度图和由所述法线贴图生成单元所生成的所述法线贴图转换为来自第三成像单元的视点的图，所述第三成像单元置于所述第一成像单元和所述第二成像单元之间并且包括不具有偏振特性的像素。
11.根据权利要求10所述的图像处理装置，
其中，所述视点转换单元将由所述深度图生成单元所生成的所述深度图和由所述法线贴图生成单元所生成的所述法线贴图转换为来自所述第三成像单元的视点的图。
12.根据权利要求10所述的图像处理装置，
其中，所述法线贴图生成单元基于具有三个或更多个偏振方向的所述第一图像的亮度而生成所述法线贴图。
13.根据权利要求10所述的图像处理装置，
其中，所述图整合单元根据在所述深度图中表示的深度值和基于所述法线贴图而确定的表面形状，计算在所述深度图中未表示的深度值。
14.根据权利要求10所述的图像处理装置，还包括：
图转换单元，用于将所述深度图转换为具有大量像素的图，
其中，所述第三成像单元具有比所述第一成像单元和所述第二成像单元的像素更多的像素，以及
所述图转换单元将在所述整合处理之后来自所述第三成像单元的视点的深度图转换为与由所述第三成像单元生成的图像对应的深度图。
15.根据权利要求10所述的图像处理装置，
其中，所述第一图像和所述第二图像是彩色的，以及
所述法线贴图生成单元从所述第一图像分离或提取反射分量，并且基于分离或提取后的图像的偏振状态而生成所述法线贴图。
16.根据权利要求10所述的图像处理装置，
其中，所述第一图像和所述第二图像是黑白的。
17.一种图像处理方法，包括以下步骤：
由图整合单元生成通过对深度图和法线贴图进行整合处理而获得的整合深度图，其中，所述深度图是使用由第一成像单元生成的第一图像和由第二成像单元生成的第二图像而生成的，所述法线贴图基于由所述第一成像单元生成的所述第一图像的偏振状态，所述第一成像单元包括针对多个偏振方向中的每个具有偏振特性的像素，所述第二成像单元具有等同于所述第一成像单元的配置的配置；以及
由视点转换单元将所生成的整合深度图转换为来自第三成像单元的视点的图，所述第三成像单元置于所述第一成像单元和所述第二成像单元之间并且包括不具有偏振特性的像素。
CN201580076615.5A 2015-02-27 2015-12-08 成像装置、图像处理装置和图像处理方法 Active CN107251539B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015038165 2015-02-27
JP2015-038165 2015-02-27
PCT/JP2015/084401 WO2016136086A1 (ja) 2015-02-27 2015-12-08 撮像装置と画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN107251539A true CN107251539A (zh) 2017-10-13
CN107251539B CN107251539B (zh) 2020-10-16

Family

ID=56789150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580076615.5A Active CN107251539B (zh) 2015-02-27 2015-12-08 成像装置、图像处理装置和图像处理方法

Country Status (4)

Country Link
US (2) US10798367B2 (zh)
JP (1) JP6708199B2 (zh)
CN (1) CN107251539B (zh)
WO (1) WO2016136086A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062170B2 (en) 2017-02-15 2021-07-13 Sony Corporation Information processing apparatus, information processing method, and imaging apparatus
CN113747142A (zh) * 2021-08-16 2021-12-03 合肥芯福传感器技术有限公司 被动式单光子成像3d摄像机及摄像方法
CN114746717A (zh) * 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
CN114930800A (zh) * 2020-01-09 2022-08-19 索尼集团公司 图像处理装置、图像处理方法和成像装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139211B (zh) * 2015-09-29 2021-01-15 索尼公司 用于测量的装置和方法以及程序
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
JP6878908B2 (ja) * 2017-01-23 2021-06-02 セイコーエプソン株式会社 エンコーダー、ロボットおよびプリンター
JP7044107B2 (ja) * 2017-05-11 2022-03-30 ソニーグループ株式会社 光センサ、及び、電子機器
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
JP6892603B2 (ja) * 2017-12-07 2021-06-23 富士通株式会社 距離計測装置、距離計測方法および距離計測プログラム
US20210150744A1 (en) * 2017-12-20 2021-05-20 Olympus Corporation System and method for hybrid depth estimation
CN112204364A (zh) * 2018-06-05 2021-01-08 索尼公司 信息生成装置、信息生成方法和程序
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
US11336883B2 (en) * 2019-07-23 2022-05-17 Northwestern University Method and system for three-dimensional surface measurement with a mobile device
CN110619285B (zh) * 2019-08-29 2022-02-11 福建天晴数码有限公司 人体骨骼关键点提取方法及计算机可读存储介质
WO2021192814A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 情報処理装置と情報処理方法および情報処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344954A (zh) * 2000-09-21 2002-04-17 三星电子株式会社 投影型显像装置
CN101821769A (zh) * 2007-10-15 2010-09-01 日本电信电话株式会社 图像生成方法、装置、其程序以及记录有程序的记录介质
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
CN102356628A (zh) * 2009-12-08 2012-02-15 松下电器产业株式会社 图像处理装置
CN102598671A (zh) * 2009-06-26 2012-07-18 皇家飞利浦电子股份有限公司 多视图自动立体显示装置
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
CN104350732A (zh) * 2012-05-28 2015-02-11 株式会社尼康 摄像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8466960B2 (en) * 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
JP2012143363A (ja) * 2011-01-11 2012-08-02 Panasonic Corp 画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344954A (zh) * 2000-09-21 2002-04-17 三星电子株式会社 投影型显像装置
CN101821769A (zh) * 2007-10-15 2010-09-01 日本电信电话株式会社 图像生成方法、装置、其程序以及记录有程序的记录介质
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
CN102598671A (zh) * 2009-06-26 2012-07-18 皇家飞利浦电子股份有限公司 多视图自动立体显示装置
CN102356628A (zh) * 2009-12-08 2012-02-15 松下电器产业株式会社 图像处理装置
CN104350732A (zh) * 2012-05-28 2015-02-11 株式会社尼康 摄像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062170B2 (en) 2017-02-15 2021-07-13 Sony Corporation Information processing apparatus, information processing method, and imaging apparatus
CN114746717A (zh) * 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
US12099148B2 (en) 2019-10-07 2024-09-24 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization
CN114930800A (zh) * 2020-01-09 2022-08-19 索尼集团公司 图像处理装置、图像处理方法和成像装置
CN114930800B (zh) * 2020-01-09 2024-05-28 索尼集团公司 图像处理装置、图像处理方法和成像装置
CN113747142A (zh) * 2021-08-16 2021-12-03 合肥芯福传感器技术有限公司 被动式单光子成像3d摄像机及摄像方法

Also Published As

Publication number Publication date
US11405603B2 (en) 2022-08-02
WO2016136086A1 (ja) 2016-09-01
CN107251539B (zh) 2020-10-16
JPWO2016136086A1 (ja) 2017-12-07
JP6708199B2 (ja) 2020-06-10
US20200359005A1 (en) 2020-11-12
US20170366802A1 (en) 2017-12-21
US10798367B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
CN107251539B (zh) 成像装置、图像处理装置和图像处理方法
US10362280B2 (en) Image processing apparatus, image processing method, and image pickup element for separating or extracting reflection component
US10574972B2 (en) Image processing device, image processing method, and imaging device
US10460422B2 (en) Image processing device and image processing method
US10848727B2 (en) Image processing device, information generation device, and information generation method
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
US9438888B2 (en) Systems and methods for stereo imaging with camera arrays
US20170223339A1 (en) Image processing apparatus and image processing method
JP2011007794A (ja) デュアルステレオカメラを備えた距離測定装置
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
WO2016109068A1 (en) Method and system of sub-pixel accuracy 3d measurement using multiple images
JP5406151B2 (ja) ３次元撮像装置
US20210235060A1 (en) Solid-state imaging device, information processing device, information processing method, and calibration method
WO2007129563A1 (ja) 測距用画像選択機能を有する測距装置
US20230410464A1 (en) Image processing device, image processing method, and program
US20230239580A1 (en) Image processing apparatus, image processing method, and program
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
US20230316708A1 (en) Signal processing device, signal processing method, and program
JP2023157660A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant