CN104487803A - 立体相机 - Google Patents

Abstract

一种获得相对于拍摄对象具有视差的图像的立体相机，包括：偏振组合器，将偏振方向在垂直方向上不同并且形成具有视差的两个图像的左光和右光的光路组合成一个；成像器，捕捉具有至少两个偏振分量的图像；以及光学部件，将所组合的左光和右光聚焦在成像器上。

Description

立体相机

技术领域

本发明涉及一种获得相对于拍摄对象具有视差的图像的立体相机。

背景技术

常规地，已经开发出具有对司机的车辆的速度调整功能的司机支持系统，其测量在司机的车辆与在司机的车辆前面的车辆之间的距离，并维持该距离，诸如ACC(自适应巡航控制)。作为用于测量到前面的车辆的距离的技术，立体相机常规上是已知的。立体相机通过分析由两个成像器拍到的相对于拍摄对象具有视差的图像，来计算拍摄对象的位置信息。作为这样的立体相机，在日本专利申请公开号2010-243463、美国专利号7061532和日本专利申请公开号S62-217790中公开的立体相机是已知的。关于在日本专利申请公开号2010-243463和美国专利号7061532中公开的立体相机，形成经由左和右镜头组的光学部件获得的两个图像的光入射到偏振滤光器上，所以对每一个都获得两个偏振分量的光。所获得的两个偏振分量的光的每个入射到与成像部分的图像传感器中的光接收元件的布置对应地布置的偏振器区域上，并且由与两个偏振分量的光的偏振方向对应的光接收元件来接收。根据由每个光接收元件所接收的两个偏振分量的光形成的图像，产生视差图像，并且基于视差图像，测量到拍摄对象的距离。关于在日本专利申请公开号S62-217790中公开的立体相机，已经提出如下系统，其中被划分成区域的偏振器被合并到图像传感器上，并且通过给入射到镜头上的每个不同角度分配形成对应的左和右图像的光来对立体图像进行成像。

发明内容

为了利用在日本专利申请公开号2010-243463和美国专利7061532中公开的立体相机来通过左和右图像之间的视差精确地测量到拍摄对象的距离，对应的左和右图像被近似地彼此对应达0.1像素的精度。如此，有必要对应通过左和右成像系统拍到的相同图像的像素的对应位置。因此，为了距离测量，必不可少的是拍摄图表等，并且基于图表等的图像来校准包括镜头的个体变化或左和右成像器的位置的变形。

然而，在日本专利申请公开号2010-243463和美国专利7061532中公开的立体相机中，使用左和右独立镜头组的光学部件。因此，如果在左和右光学部件之间仅存在温度差，则左和右光学部件的变形彼此不同。结果，在左和右成像器的对应像素中，若干像素的位置误差可能发生。另外，常常使用金属安装部件来固定左和右成像器之间的位置，并且线性膨胀系数相比于玻璃一般极大。因此，由于周围温度的改变，左和右成像器的安装位置之间的关系被轻易移位，并且在左和右成像器中，若干像素的位置误差可能发生在彼此对应的像素中。这样的问题还发生在日本专利申请公开号S62-217790中公开的结构中，并且在利用反射镜合并两个光束的结构中，不可能精确地重叠入射到镜头上的对应的来自右边的光和来自左边的光的入射角度。即，不可能完美地合并来自右边的光和来自左边的光。因此，同样地，在镜头等的变形由于温度而被改变的情况中，左边和右边的对应像素被移位。为了校正这样由于周围温度改变而导致的误差，有必要按照需要执行包括光学部件的变形的校正和左和右成像器的安装位置的校正的校准，因此，存在装置自身昂贵的问题。

本发明的目的是以低成本提供不受由于温度改变而导致的镜头的变形的改变和成像器的安装部件的安装位置的改变影响的立体相机。

为了实现本发明的目的，本发明的实施例提供获得相对于拍摄对象具有视差的图像的立体相机，包括偏振组合器，将偏振方向在垂直方向上不同并且形成具有视差的两个图像的左光和右光的光路组合成一个；成像器，捕捉具有至少两个偏振分量的图像；以及光学部件，将所组合的左光和右光聚焦在成像器上。

附图说明

图1A和图1B均为示出示例1的立体相机的结构的示意图。

图2A和2B均为示出从拍摄对象通过棱镜的光路厚度，并且被镜头聚焦在图像传感器上的光的光路的示例的示图。

图3是示出示例2的立体相机的结构的示图。

图4是示出示例2的立体相机的结构的示图。

图5是示出立体相机被安装在车辆上的示例的示图。

图6是示出示例2的修改的示例1的结构的示图。

图7是示出示例2的修改的示例2的结构的示图。

图8是示出示例3的立体相机的结构的示意图。

图9是示出示例4的立体相机的结构的示意图。

图10是示出维持正交棱镜和棱镜之间的间隙的状态的示意图。

图11A和11B均是示出示例4的立体相机的结构的示意图。

图12是光圈被布置在成像镜头内部的情况中的示意图。

图13是示出示例5的立体相机的结构的示意图。

图14是示出示例6的立体相机的结构的示意图。

图15是示出示例7的立体相机的结构的示意图。

图16是示出示例8的立体相机的结构的示意图。

图17是示出示例9的立体相机的结构的示意图。

图18是示出示例10的立体相机的结构的示意图。

图19是说明校准的示意图。

图20是示出偏振选择型正交棱镜的结构的示例的示意性透视图。

图21是示出偏振选择型正交棱镜的结构的示意性平面图。

图22是示出入射到正交棱镜上的光的光路的状态的示意性平面图。

图23是示出入射到正交棱镜上的光的光路的状态的示意性平面图。

图24是示出由线栅结构形成的偏振器薄膜的显微镜照片的示图。

图25是示出正交棱镜的制造过程的示例的示意性过程图。

图26是示出正交棱镜的制造过程的示例的示意性过程图。

图27是示出正交棱镜的制造过程的示例的示意性过程图。

图28是示出修改的示例1的正交棱镜的示意性平面图。

图29是示出修改的示例2的正交棱镜的结构的示意性平面图。

图30是示出修改的示例2的正交棱镜的光路的状态的示意性平面图。

图31是示出修改的示例2的正交棱镜的光路的状态的示意性平面图。

图32是示出修改的示例3的正交棱镜的结构的示意性平面图。

图33A是示出修改的示例4的正交棱镜的结构的示意性平面图。图33B和33C均是示出入射到修改的示例4的正交棱镜上的光的光路的状态的示意性平面图。

图34A、34B和34C均为示出正交棱镜的结构的示例的示图。

图35是光学滤光器和图像传感器之间的位置关系的示图。

图36是光学滤光器和图像传感器之间的位置关系的截面示图。

图37A和37B均为示出单色传感器中的图像处理器的结构的框图。

图38A和38B均为示出RCCC/彩色传感器中的图像处理器的结构的框图。

图39是说明偏振分离处理的示图。

图40是说明在正交棱镜中的棱镜之间的间隙的示图。

图41A和41B均为说明填充图像上的间隙的处理的示图。

图42A和42B均为说明彩色滤光器和偏振滤光器的布置的示图。

图43是说明横向色像差校正和变形校正的原理的示图。

图44是说明实际由图像传感器成像的位置的示图。

图45A和45B的每个分别是说明横向色像差和变形的校正的示图。

图46A和46B的每个分别是说明子像素估计值与等角线性拟合和抛物线拟合中的差之间的关系的特性曲线图。

具体实施方式

下文中，将说明根据本发明的实施例的立体相机的结构。

图1A和图1B均为示出根据实施例的示例1的立体相机的结构的示意图。在图1A和1B的每个中所示的立体相机100包括作为偏振组合器的偏振组合模块101、作为光学部件的镜头102、滤光器103和图像传感器104。滤光器103和图像传感器104充当成像器。偏振组合模块101包括偏振分束器101-1、偏振滤光器101-2和反射镜101-3。在图1A和1B的每个中所示的立体相机100利用偏振分束器101-1和偏振滤光器101-2组合形成两个具有视差的图像的光(来自左边和右边的光)的两条光路，并且经由一个镜头102通过一个图像传感器104将图像成像。即，两条光路在镜头102前面被完全组合，并且仅通过一个镜头。因此，即使镜头的特性由于温度、镜头移位的位置或传感器移位的位置而改变，也仅会导致两个图像同样地移位，因此可以完全消除任何影响。因而，可以实现极其环境抵抗的(environmentally-resistant)立体相机。另外，因为需要仅仅一个镜头和一个传感器，所以它不贵。此外，在图像传感器和镜头之间的位置关系改变的情况中，左和右图像同样地移位，因此原理上可以消除任何影响。在图1A和1B中的每个中的滤光器是每个像素具有偏振器的滤光器。然而，在图1A和1B的每个中所示的结构中，在来自左边和右边的光的光路中，光路长度差发生。因此，例如，需要通过两个图像之间的视差中的像素匹配处理补偿发生的光路长度差的处理，并且在图1A和1B的每个中所示的结构是不现实的。

另外，在此结构中，因为来自拍摄对象的左边和右边的光的每个的距离不同，所以通过镜头的在相同位置处的来自左边和右边的光的光路不彼此对应。因此，由于温度特性，存在左图像和右图像之间的位置关系移位的问题。在三维拍照/显示系统供人眼观看的情况中，对于这样的结构没有问题，并且它不是其中需要高度精确的左图像和右图像的匹配的测量距离的距离测量计算的目的。然而，在执行距离测量计算的情况中，如上所述，有必要以0.1像素的精度近似地对应于左像素和右像素的每个。因此，在这个结构中，在温度改变等的情况中，所测量的距离中的误差变大。

接下来，将说明通过棱镜(作为偏振组合器的偏振组合模块)的光路厚度引起的来自拍摄对象的光路的改变。在图2A和图2B的每个中所示的示例是光的光路从拍摄对象111通过棱镜的光路厚度，并且被镜头113聚焦以在图像传感器114上形成图像的示例。如图2A中所示，来自拍摄对象111的来自左边和右边的光通过相同的棱镜112。并且在棱镜112的光路厚度如图2A中所示的情况中，来自左边和右边的光具有通过镜头113的相同的光路，因此可以消除任何干扰的影响。然而，如图2B中所示，在棱镜112的光路厚度比图2A中所示的更厚的情况中，通过镜头113的光的光路如图2B中的虚线中所示地移位。图2B中的实线示出图2A中所示的光的光路。这里，例如，在来自拍摄对象111的来自左边和右边的光的每个的距离不同，并且通过镜头113的在相同位置处的来自左边和右边的光的光路不彼此对应的情况中，来自右边的光处于图2A中所示的状态，并且来自左边的光处于图2B中所示的状态。因此，不可能消除诸如温度等的干扰的影响。

图3和图4均是示出根据本实施例的示例2的立体相机的结构的示图。如图4中所示，在立体相机200中，图像传感器202被嵌入在基底201上，并且光学滤光器203以紧密接触的方式被布置在图像传感器202上。经由成像镜头204获得拍摄对象的信息。在成像镜头204前面，布置偏振选择型正交棱镜205。另外，分别在偏振选择型正交棱镜205的侧面206、207上在左边和右边相邻地提供两个三棱镜208、209。

在立体相机200中，作为光学滤光器203，包括以像素为单位提取P偏振信息和S偏振信息的区域划分型偏振滤光器。在成像镜头204前面，布置偏振选择型正交棱镜205，并且两个棱镜208、209被布置为相邻于正交棱镜205。棱镜208、209具有在Y轴方向上偏振和反射来自+(正)Z方向的光的总反射面。偏振选择型正交棱镜205在侧面210的方向上偏振和反射从-(负)Y方向入射到侧面206上的S偏振分量的光，以及从+(正)Y方向入射到侧面207上的P偏振分量的光。因此，可以提取在-(负)Y方向上的S偏振光以及在+(正)Y方向上的P偏振光。

在图3和图4的每个中所示的立体相机200不同于在图1中所示的立体相机100，并且能够同时获得在+(正)Z方向上的P偏振光和S偏振光。另外，如从图4中清楚的是，因为在左边和右边提供的棱镜208、209的光束有效范围之间存在某一距离，所以可以由其中光路彼此对应的P偏振光和S偏振光形成的图像形成视差图像。因此，根据本实施例的立体相机被构造为能够获得到拍摄对象的距离信息的立体相机。与并行布置两组单个图像传感器和单个镜头的常规立体相机相比，需要仅仅一组成像镜头和图像传感器，因此可以减少成本。另外，在常规立体相机中，由于支持镜头之间的间隙的外壳(housing)的热膨胀导致的基线长度改变而引起的距离测量上的误差等发生。然而，在本立体相机中，包括一个成像镜头，并且与支持部件自身对应的棱镜自身相对于金属具有小的热膨胀系数，因此，可以抑制由于基线长度的改变而引起的距离测量上的影响。

注意到，不但如同填充有诸如玻璃的介质的棱镜等的结构，还有如稍后描述的，通过以正交形状布置的反射镜和偏振片的简单组合可以产生类似的结构。在那种情况中，必要的是镜头的视角不被变窄，并且每个反射镜在与棱镜的情况中相同的角度接收光。因而，作为偏振组合器的偏振组合模块变得极大。因此，关于小型化，重要的是使用从接近于在特别长的距离处的拍摄对象的镜面到接下来的镜面填充具有高折射率的介质的结构。

例如，根据本实施例的立体相机可以用于确认在车辆前面的区域，如图5中所示。用于确认车辆前面的区域的设备包括被放置在车辆的前窗内部、后视镜周围的立体相机301，以及基于来自立体相机301的信息向司机发布警告或者执行车辆的控制的信号处理器302。作为向司机发布警告的方法，利用扬声器通过声音等来通知障碍物信息。作为对车辆的控制，在存在障碍物的情况中，降低车辆的速度。利用本实施例的立体相机，不但可以获得车辆前面的图像信息，而且可以获得到前面的车辆或行人的距离信息，并且在存在障碍物的情况中，对司机执行预警等，并且可以确保安全驾驶。

注意到在根据本实施例的立体相机被放置在车辆中的情况中，透过前窗的玻璃来拍摄在车辆外部的拍摄对象。在那种情况中，从左边和右边的对应部分，前窗的变形、不平均的厚度、曲率等不同，并且存在没有合适地执行由来自左边和右边的光形成的图像的匹配的情况。为了消除以上，优选的是仅将图像传感器和镜头部分放置在车辆中，并且将正交棱镜放置在玻璃的外部。因而，来自左边和右边的光通过前窗的相同部分，并且以相同的方式接收前窗的影响，因此，可以总是执行由来自左边和右边的光形成的图像的匹配，而不考虑前窗的条件。

另外，将根据本实施例的立体相机与通过显示相对于人类左眼和右眼不同的图像来向人眼展示三维图像的显示设备(诸如TV、电影放映机等)组合。结果，可以构造执行三维图像获取和显示的三维图像获取和显示系统。人眼对左图像和右图像之间的旋转、尺寸、垂直方向上的移位、图片质量等的差异敏感。因此，在具有两个镜头的常规立体相机中，在改变缩放或聚焦的情况中，需要复杂的操作技术来一起操作左镜头和右镜头，并且不允许它们之间的光轴、图像的尺寸和焦点的移位发生。另一方面，在根据本发明的实施例的结构中，形成具有视差的两个图像的光入射到单个镜头上，因此，如果改变单个镜头的缩放或聚焦，相同的改变被整体反映在由人类左眼和右眼观看的图像中。因此，可以通过在左边和右边具有两种不同的光学特性而抑制发生的光轴、图像的尺寸和焦点的移位，并且获得自然的立体图像。在光学系统中的缩放等可改变的情况中，根据本发明的实施例的结构非常有用，因为两个镜头的特征的精确校正极其困难。

另外，因为没有使用入射光的角度被棱镜的折射率变浅的现象，所以光学布局变得稍微更大；然而，可以应用在图6中所示的示例2的修改的示例1的结构，其中将在图4中所示的结构中的棱镜208、209改变为反射镜211、212。在图7中所示的示例2的修改的示例2中，作为被布置在中间的正交棱镜205，不但可以使用棱镜形状的棱镜，而且可以使用被布置为正交形状的偏振片250-1、250-2的组合(图7中的偏振选择型正交片250)。在那种情况中，同样地没有使用入射光的角度被棱镜的折射率变浅的现象，因此光学布局变得稍微更大；然而，因为使用的玻璃材料的量小，所以可以减少成本。可以使用棱镜被布置在左边和右边，并且偏振选择型正交片被布置在中间部分的结构。

接着，将说明示例3的立体相机。

图8是示出示例3的立体相机的结构的示意图。图8中所示的立体相机200在偏振选择型正交棱镜205上面和下面具有传感器单元。例如，图像传感器214是彩色图像传感器，并且图像传感器202是单色图像传感器。或者，图像传感器214是高分辨率单色图像传感器，而图像传感器202是低分辨率彩色图像传感器。假定颜色信息的空间分辨率高于亮度信息的空间分辨率，并且一般不需要距离信息，则使用一组确保高距离测量性能的高灵敏度和高分辨率的单色图像传感器，和灵敏度低于单色图像传感器的低分辨率彩色图像传感器。因此，可以同时获得从亮场景到暗场景的高距离测量性能和颜色信息。另外，在这种情况中，光轴在左边和右边对应，因此，易于执行校准。

接着，将说明示例4的立体相机。

图9是示出示例4的立体相机的结构的示意图。在图9中所示的立体相机200具有雨滴检测功能。LED红外光的光源220被投射到挡风玻璃221上，并且经由滤光器223仅通过增加到传感器的上表面上的所投射的光的波长的光，通过看其反射光来检测附着在挡风玻璃221上的雨滴。因为整个挡风玻璃用作检测区域，所以可以执行高灵敏度的雨滴检测。为了提高精度，检测区域大是重要的；然而，通过使用图9的上部，可以在整个图像平面上执行检测而不干扰立体相机。另外，为了执行检测，仅需要在整个图像平面中的反射光的光量总和，因此，不总是需要使用用于检测的图像传感器，并且不需要用于雨滴检测的镜头的分辨率。因此，对于使用一个PD(光电检测器)222、简单镜头(例如，单镜头)224等的结构没有问题。

这里，将说明立体相机的固定。

正交棱镜205和棱镜208、209的每个之间的间隙可以使用粘合剂来固定。为了对应左边和右边的光束，在需要调整棱镜的角度的情况中，存在在正交棱镜205和棱镜208、209的每个之间有轻微间隙的情况。在那种情况中，如图10中所示，优选的是以支持正交棱镜205和棱镜208、209的每个之间的间隙的支持部件230来固定正交棱镜205和棱镜208、209的每个。在支持部件230是金属的情况中，金属的热膨胀系数相比于主要构成棱镜208、209的玻璃极其大。因此，优选的是尽可能短的支持部件230来填充空隙，如图10中所示。另外，如果可能，同样地如果支持组件230由小的热膨胀系数的玻璃制成，则可以改善对抗温度的环境抵抗特性。

接着，将说明示例5的立体相机。

图11A和图11B均是示出示例5的立体相机的结构的示意图。在示例5中，代替使用在示例1至4中使用的偏振选择型正交棱镜或偏振选择型偏振片，使用PBS(偏振分束器)薄膜和镜面(反射面)。这是使得可以解决示例1中在来自左边和右边的光的光路中发生光路长度差的问题的结构。在示例5中的结构中，来自左边和右边的光的光路长度(左边的光被称为光L，并且右边的光被称为光R)近似相同。因此，与普通立体相机一样，在视差计算的情况中通过仅仅在横向上搜索像素可以获得视差。另外，此结构不同于使用正交棱镜的结构，并且因为使用一个PBS和反射镜，在图像平面的中间的缺陷部分(间隙)不存在，并且不需要稍后描述的填充间隙的操作。光R(一光)被镜面(反射面)233反射，并且进一步，光R的P偏振光被偏振分束器薄膜231反射。光L(另一光)被镜面232、234的每个反射，并且光L的S偏振光被透射通过偏振分束器薄膜231。P偏振光和S偏振光被组合，并且入射到成像镜头204上，并且被成像为图像传感器202上的图像。光L和光R的光路长度上具有彼此相同的差。这里，使用多层薄膜的偏振分束器薄膜231，或者线栅偏振器可以被使用；然而，优选的是使用在宽范围中相对于入射角和入射波长具有稳定性能的线栅偏振器。

另外，在示例5中，为了使得光学系统更小，将在视角中间的光束和偏振分束器薄膜和镜面之间的角度α设置为大于45度。图11A示出将在视角中间的光束和光被反射到其上或被透射通过偏振分束器薄膜的镜面之间的角度α设置为52度的情况。同样地，图11B示出将角度α设置为45度的情况。在图11B中将角度α设置为45度的情况中，相比于图11A中将角度α设置为52度的情况，在视角末端的光束在图中的水平方向上广泛地散布。为了覆盖在水平方向上广泛地散布的光束，棱镜的尺寸变得更大。即，通过将在视角中间的光束与偏振分束器薄膜和镜面之间的角度α设置为大于45度，可以使得棱镜的尺寸更小。角度α的上限值是90度。然而，在角度α的上限值是90度的情况中，棱镜的尺寸变得比角度α是45度的情况中更大。因此，最优值取决于镜头的视角。此外，如图11A中所示，光圈235被放置于更接近棱镜；然而，在图12中，光圈235被放置在成像镜头204内部。在图12中的光圈235的放置情况中，相对于棱镜，光束已经取决于视角而散布，并且棱镜的尺寸相比于在图11A中的光圈235的放置情况中的棱镜变得更大。优选的是成像镜头的光圈的位置是位于前面比成像镜头更接近棱镜的前光圈的位置。

另外，偏振分束器薄膜231即使在反射P偏振光的模式中也轻微反射S偏振光，因此，偏振分束器薄膜231不总是完美地工作。因此，存在在来自左边和右边的光中发生串扰的情况。在那种情况中，如图13中所示，可以通过提供偏振器241、241来减少串扰，分别在左边和右边的从拍摄对象到偏振分束器薄膜231的光路中，偏振器241、241的偏振方向彼此垂直。

另外，在以上结构中，在来自左边和右边的光中偏振不同，因此，在来自拍摄对象的光中存在偏振特性的情况中，除了视差之外，甚至还获得偏振特性的差异作为来自左边和右边的光的差异。获得甚至来自拍摄对象的光的偏振特性是有利的；然而，关于测量距离的视差计算，这可能导致误差。因此，通过应用以下结构，可以获得在左边和右边的来自拍摄对象的在相同方向上偏振的光，并且改善距离测量精度。

图14是示出示例6的立体相机的结构的示意图。在图14中，在拍摄对象和偏振分束器薄膜231之间，以其中来自拍摄对象的一光的偏振方向与来自拍摄对象的另一光的偏振方向彼此对应的角度提供一个半波片242。因此，可以获得在与来自左边和右边的光相同方向上偏振的光。注意到在图14中，偏振器241、241仅被提供来减少串扰，其可以被省略。

图15是示出示例7的立体相机的结构的示意图。在如图14中所示的具有半波片242的结构中，来自拍摄对象的在某一方向上偏振的光被成像；然而，代替半波片242，在拍摄对象和偏振分束器薄膜231之间，分别在左边和右边提供两个四分之一波片243、243。因而，圆偏振光在左边和右边被成像，并且不取决于偏振方向的光被成像。注意到在图15中，偏振器241、241仅被提供来减少串扰，其可以被省略。

图16是示出示例8的立体相机的结构的示意图。在图16中，用其中光弹性系数大并且双折射随机发生的诸如聚碳酸酯等的材料来代替棱镜208、209的一部分(阴影部分)的材料。这使得可以随机地偏振入射光，并且将左边和右边的不取决于偏振方向的光成像。

注意到以上示例6至8中的结构不限于示例5中的结构，并且甚至在其它示例的结构中，也可以使用半波片、四分之一波片或光弹性系数大并且双折射随机发生的材料。

图17是示出示例9的立体相机的结构的示意图。在图17中，与示例5的不同是代替偏振分束器薄膜231，使用半镀银镜244，并且分别在左边和右边提供在从拍摄对象到半镀银镜244的光路中偏振方向彼此垂直的偏振器241、241。在示例9的结构中，与示例1至8相比，由图像传感器接收的光量被减半；然而，不需要昂贵的偏振分束器薄膜，因此，可以便宜地构造它。

图18是示出示例10的立体相机的结构的示意图。偏振分束器薄膜趋向于使光的长波长范围的特性恶化。因此，在示例10中，除了示例9的结构，在图像传感器和成像镜头之间，提供红外截止滤光器245，并且可以减少在光R和光L之间发生的串扰。注意到红外截止滤光器245的放置位置不限于图18中所示的位置，并且可以将红外截止滤光器放置在拍摄对象和图像传感器之间。另外，为了随同(along with)偏振分束器薄膜调整光R和光L的透射光量，可以在光R和光L的光路的任何之一中提供中性密度滤光器。

接着，将说明使用对齐标记来将来自左边和右边的光的位置对应的示例。

在此结构中，作为由入射到镜头上的对应光束使用的标记，如图19中所示，在光路中的正交棱镜205或棱镜208、209上，优选的是提供某种对齐标记240。对齐标记240可以是某种印记，或者可以被涂色；然而，在传感器上形成图像是优选的，因此，它优选地是具有曲率的标记。通过使用这样的对齐标记240，易于在制造的时候执行校准，另外，在由于某种环境中的改变或者使用中的振动而左边和右边的位置关系被移位的情况中，可以执行检测，并且防止诸如错误地进行制动等的严重事故。

接着，将说明在根据本实施例的立体相机中使用的偏振选择型正交棱镜的结构。

图20是示出偏振选择型正交棱镜的结构的示例的示意性透视图。图21是示出偏振选择型正交棱镜的结构的示意性平面图。如图20中所示，正交棱镜10是其中三棱镜1、2、3、4的顶角14、24、34、44被放置为面对彼此，并且面对的三棱镜1、2、3、4彼此粘附并固定的棱镜。在面对的三棱镜1、2、3、4之间，分别将上述线栅偏振片夹到中间。从而提供三棱镜，因此可以减小偏振片的像差。

如图21中所示，正交棱镜10的平面形状是近似正方形。正交棱镜10包括四个三棱镜1、2、3、4、四个线栅偏振片5、6、7、8和粘合层9，其中四个三棱镜1、2、3、4是近似等腰直角三棱镜并且由玻璃等制成。在通过将四个三棱镜1、2、3、4面对彼此并且与彼此分离而形成的间隙中，分别形成粘合剂的粘合层9和偏振片5、6、7、8。

三棱镜1包括三个侧面11、12、13和顶角14，其中侧面12、13相互处于近似直角，并且以近似等腰直角三棱镜形成。三棱镜2包括三个侧面21、22、23和顶角24，其中侧面22、23相互处于近似直角，并且以近似等腰直角三棱镜形成。三棱镜3包括三个侧面31、32、33和顶角34，其中侧面32、33相互处于近似直角，并且以近似等腰直角三棱镜形成。三棱镜4包括三个侧面41、42、43和顶角44，其中侧面42、43相互处于近似直角，并且以近似等腰直角三棱镜形成。放置三棱镜1、2、3、4使得顶角14、24、34、44彼此面对。

偏振片5包括平面基底51、偏振器层52和填充层(未示出)。在平面基底51上形成偏振器层52，并且偏振器层52被覆盖有填充层。针对从图中的±(正或负)X方向前进的光，偏振片5反射具有在Y方向上的偏振方向的光，并且透射具有在Z方向上的偏振方向的光。偏振片6包括平面基底61、偏振器层62和填充层(未示出)。在平面基底61上形成偏振器层62，并且偏振器层62被覆盖有填充层。针对从图中的±(正或负)X方向前进的光，偏振片6反射具有在Y方向上的偏振方向的光，并且透射具有在Z方向上的偏振方向的光。偏振片7包括平面基底71、偏振器层72和填充层(未示出)。在平面基底71上形成偏振器层72，并且偏振器层72被覆盖有填充层。针对从图中的±(正或负)X方向前进的光，偏振片7反射具有在Y方向上的偏振方向的光，并且透射具有在Z方向上的偏振方向的光。偏振片8包括平面基底81、偏振器层82和填充层(未示出)。在平面基底81上形成偏振器层82，并且偏振器层82被覆盖有填充层。针对从图中的±(正或负)X方向前进的光，偏振片8反射具有在Y方向上的偏振方向的光，并且透射具有在Z方向上的偏振方向的光。

另外，放置偏振片5使得偏振器层52面对三棱镜2的侧面23背对平面基底51。使用粘合剂来粘结未示出的填充层的表面与侧面23的表面之间的间隙。放置偏振片6使得偏振器层62面对三棱镜2的侧面22背对平面基底61。使用粘合剂来粘结未示出的填充层的表面与侧面22的表面之间的间隙。放置偏振片7使得偏振器层72面对三棱镜4的侧面43背对平面基底71。使用粘合剂来粘结未示出的填充层的表面与侧面43的表面之间的间隙。放置偏振片8使得偏振器层82面对三棱镜4的侧面42背对平面基底81。使用粘合剂来粘结未示出的填充层的表面与侧面42的表面之间的间隙。

使用粘合剂来粘结平面基底51和三棱镜1的侧面12之间的间隙。使用粘合剂来粘结平面基底61和三棱镜3的侧面33之间的间隙。使用粘合剂来粘结平面基底71和三棱镜3的侧面32之间的间隙。使用粘合剂来粘结平面基底81和三棱镜1的侧面13之间的间隙。

在三棱镜1、2、3、4和偏振片5、6、7、8彼此分离的间隙处形成粘合层9。形成粘合层9使得一起执行粘合剂的固化操作，并且四个三棱镜和四个偏振片被粘结和固定。使用在透光性、玻璃粘合性和精度上优异的粘合剂(例如紫外线固化粘合剂等)作为粘合剂。

接着，通过使用图22和23，将说明入射到正交棱镜上的光的光路。

如图22中所示，根据偏振方向，从三棱镜4的侧面41入射的光的光路I1、I2被分别划分成在+(正)Y方向上的光路和在-(负)Y方向上的光路。在入射到三棱镜4的侧面41上的光的光路I1中，具有在Y轴方向上的偏振方向的P偏振分量的光被偏振片7的偏振器层72反射，并且被透射通过偏振片8的偏振器层82并且在-(负)Y方向上前进。另一方面，在入射到三棱镜4的侧面41上的光的光路I1中，具有在Z轴方向上的偏振方向的S偏振分量的光被透射通过偏振片7的偏振器层72，并且被偏振片6的偏振器层62反射，并且在+(正)Y方向上前进。在入射到三棱镜4的侧面41上的光的光路I2中，S偏振分量的光被偏振片8的偏振器层82反射，并且被透射通过偏振片7的偏振器层72，并且在+(正)Y方向上前进。另一方面，在入射到三棱镜4的侧面41上的光的光路I2中，P偏振分量的光被透射通过偏振片8的偏振器层82，并且被偏振片5的偏振器层52反射，并且在-(负)Y方向上前进。

如图23中所示，根据偏振方向，从三棱镜2的侧面21入射的光的光路I3、I4被分别划分成在+(正)Y方向上的光路和在-(负)Y方向上的光路。在入射到三棱镜2的侧面21上的光的光路I3中，S偏振分量的光被偏振片6的偏振器层62反射，并且在-(负)Y方向上前进。另一方面，在入射到三棱镜2的侧面21上的光的光路I3中，P偏振分量的光被透射通过偏振片6的偏振器层62，并且被偏振片7的偏振器层72反射，并且在+(正)Y方向上前进。在入射到三棱镜2的侧面21上的光的光路I4中，P偏振分量的光被偏振片5的偏振器层52反射，并且被透射通过偏振片6的偏振器层62，并且在+(正)Y方向上前进。另一方面，在入射到三棱镜2的侧面21上的光的光路I4中，S偏振分量的光被透射通过偏振片5的偏振器层52，并且被偏振片8的偏振器82反射，并且在-(负)Y方向上前进。

这里，偏振片5、6、7、8的每个需要是如下偏振片，其透射具有特定偏振方向的偏振分量的光，并且反射具有与所述具有特定偏振方向的偏振分量的光垂直的偏振方向的偏振分量的光。在此示例中，使用偏振片，使得分别在平面基底51、61、71、81上形成偏振器层52、62、72、82。作为偏振器，可以使用线栅结构等。作为偏振片5、6、7、8的平面基底51、61、71、81的材料，可以使用透射在所利用的范围(例如，可见光范围和红外范围)中的光的透明材料，例如，玻璃、蓝宝石、水晶等。在此示例中，优选的是使用玻璃、石英玻璃(折射率1.46)或Tempax玻璃(折射率1.51)，特别地，其成本低并且耐久。另外，材料不限于玻璃，并且也可以使用塑料。更优选的是使用薄膜型塑料，因为可以通过使用薄膜塑料来使棱镜之间的间隙变窄。

接着，将说明偏振器层。偏振片5、6、7、8的偏振器层52、62、72、82的每个具有通过线栅结构形成的偏振器薄膜，并且其表面是波纹表面。线栅结构是将由诸如铝等的金属制成并且在特定方向上延伸的金属线(电导线)布置在特定的间距(pitch)处的结构。当具有在凹槽方向上的偏振方向的光被入射到图24中所示的偏振器薄膜上时，光被反射，而当具有在垂直于凹槽的方向上的偏振方向的光被入射到图24中所示的偏振器薄膜上时，光被透射。通过使得线栅结构的线的间距充分小于(例如，小于或等于1/2)入射光的波长范围(例如，从400nm到800nm的可见光的波长范围)，获得以下效果。即，平行于金属线的纵向而振动的电场矢量分量的光被最多地反射，而在垂直于金属线的纵向的方向上振动的电场矢量分量的光被最多地透射，因此，可以使用它作为产生单偏振层的偏振器层。在线栅结构的偏振器层中，一般，当金属线的截面积增加时，消光比增加，另外，当金属线的间距等于或大于预定宽度时，透光率降低。另外，当垂直于金属线的纵向的截面形状处于锥形时，透光度和偏振度的波长色散在宽范围中很小，并且显示高消光比特性。

以线栅结构形成偏振器层导致以下效果。即，可以通过使用广泛公知的半导体制造工艺来形成线栅结构。具体地，在沉淀铝薄膜之后，执行图案形成(patterning)，并且通过金属蚀刻法等形成线栅的子波长浮雕结构。另外，因为线栅结构由诸如铝、钛等的金属材料制成，还有以下优点：优异的耐热性，并且适合于用在倾于高温的环境中。线栅结构是亚微细粒结构，因此，优选的是考虑到诸如组装(assembling)等的处理而被保护。

在如本示例中与单独的部件(棱镜等)的紧密接触粘结的情况中，优选的是被平行放置，并且优选的是填料被形成为扁平(flattened)层。填料被填充在偏振器层的金属线之间的凹入部分中。作为填料，具有低于或等于平面基底的折射率的折射率的无机材料可以被合适地使用。形成填料从而在偏振器层的金属线部分的层叠方向上覆盖上表面。作为填料的材料，有必要使用将偏振器层的波纹表面变平并且不干扰偏振器层的功能的材料，因此，优选的是使用没有偏振功能的材料。另外，作为填料的材料，优选的是使用具有极其接近空气的折射率(折射率＝1)的低折射率的材料。作为填料的特定材料，例如，优选的是形成多孔陶瓷材料使得微孔被分散在陶瓷中。具体地，可以使用多孔硅石(SiO₂)、多孔氟化镁(MgF)、多孔氧化铝(Al₂O₃)等。

此外，通过陶瓷中孔的数量或尺寸(多孔程度)来定义低折射率程度。在平面基底的主要成分由水晶或玻璃制成的情况中，可以合适地使用多孔硅石(n＝1.22至1.26)。作为填料的形成方法，例如，SOG(Spin On Glass，旋涂玻璃)方法可以被合适地使用，虽然它不限于此。具体地，形成填料使得在平面基底上形成的偏振器层上旋涂硅烷醇((Si(OH)₄)溶解于酒精中的溶剂，然后溶剂成分通过热处理而挥发，并且硅烷醇自身执行脱水聚合反应。偏振器层是子波长尺寸的线栅结构，因此机械强度弱，并且金属线可能被细微外力损坏。期望放置本示例中的偏振片从而与三棱镜紧密接触，因此，存在偏振片和三棱镜在制造过程中接触的可能性。

在本示例中，因为在偏振器层的层叠方向的上表面被填料覆盖，所以可以抑制线栅结构在与三棱镜接触的情况中被损坏的情形。另外，如在本示例中，用填料填充偏振器层的线栅结构中的金属线之间的凹入部分可以防止异物进入凹入部分。

接着，将说明偏振选择型正交棱镜的制造过程。图25至27的每个是示出正交棱镜的制造过程的示例的示意性过程图。图25示出三棱镜的制造过程。图28示出偏振片的放置过程。图29示出三棱镜的放置过程。如图25中所示，在三棱镜的制造过程中，首先，制造三棱镜1、2、3、4。例如，形成近似等腰直角三棱镜1使得三个侧面11、12、13的两个侧面12、13近似彼此垂直。同样地，制造三棱镜2、3、4。另外，如上所述，制造偏振片5、6、7、8。并且，如图26中所示，在放置过程中，例如，在偏振片5、6、7、8的偏振器层52、62、72、82侧的表面上分别涂上并且放置粘合剂991、992、993、994。然后，偏振片5、6被分别放置在三棱镜2的侧面22、23上，并且偏振片7、8被分别放置在三棱镜4的侧面42、43上。作为粘合剂991、992、993、994的每个，使用在透光性、玻璃粘合性和精度上优异的粘合剂，例如，紫外线固化粘合剂等。

接着，如图27中所示，在放置过程中，确定三棱镜1、2、3、4的放置使得顶角14、24、34、44彼此面对。在三棱镜1、3的侧面上涂上粘合剂995至998。

接着，在固化操作过程中，例如执行紫外线照射，并且一起执行粘合剂991至998的固化操作，因此，在相等的固化操作条件下形成粘合层，并且三棱镜1、2、3、4和偏振片5、6、7、8被彼此粘结和固定。从而形成图20中所示的方柱形状的正交棱镜。注意到作为在粘结和固化之前的三棱镜和偏振片，使用在Z轴方向上延伸的长三棱镜和偏振片，因此，仅执行一次放置和粘结和固化的过程，然后，仅需要切削过程。

接着，将说明修改的示例1的正交棱镜。

正交棱镜不仅限于以上结构，而且可以是如图28中所示的修改的示例1的结构。与图20和21中所示的正交棱镜的结构的不同是排除三棱镜3。在仅仅三棱镜1和三棱镜2的光路以及三棱镜1和三棱镜4的光路被用作光学系统，并且经由三棱镜3的光路不被使用的情况中，可以排除三棱镜3。

接着，将说明修改的示例2的正交棱镜。

图29是示出修改的示例2的正交棱镜的结构的示意性平面图。形成修改的示例2的正交棱镜，使得在正交棱镜10的三棱镜2的侧面21和正交棱镜10的三棱镜4的侧面41上，分别经由粘合剂99的粘合层9粘结三棱镜311和三棱镜312。三棱镜311包括侧面321、322、323和顶角324，其中侧面321、322彼此近似垂直，并且被形成为近似等腰直角三棱镜。三棱镜312包括侧面331、332、333和顶角334，其中侧面331、332彼此近似垂直，并且被形成为近似等腰直角三棱镜。

接着，通过使用图30和31，将说明入射到修改的示例2的正交棱镜上的光的光路。

如图30中所示，根据偏振方向，入射到三棱镜312的侧面333上的光的光路I1、I2分别被划分为在+(正)Y方向上的光路和在-(负)Y方向上的光路。在入射到三棱镜312的侧面333上的光的光路I1中，P偏振分量的光被反射面332反射，其光路被改变90度，被偏振片7的偏振器层72反射，并且在-(负)Y方向上前进。另一方面，在入射到三棱镜312的侧面333上的光的光路I1中，S偏振分量的光被反射面332反射，其光路被改变90度，被透射通过偏振片7的偏振器层72，被偏振片6的偏振器层62反射，并且在+(正)Y方向上前进。在入射到三棱镜312的侧面333上的光的光路I2中，S偏振分量的光被反射面332反射，其光路被改变90度，被偏振片8的偏振器层82反射，并且在+(正)Y方向上前进。另一方面，在入射到三棱镜312的侧面333上的光的光路I2中，P偏振分量的光被反射面332反射，其光路被改变90度，被透射通过偏振片8的偏振器层82，被偏振片5的偏振器层52反射，并且在-(负)Y方向上前进。

如图31中所示，根据偏振方向，入射到三棱镜311的侧面323上的光的光路I3、I4被分别划分成在+(正)Y方向上的光路和在-(负)Y方向上的光路。在入射到三棱镜311的侧面323上的光的光路I3中，S偏振分量的光被反射面322反射，其光路被改变90度，被偏振片6的偏振器层62反射，并且在-(负)Y方向上前进。另一方面，在入射到三棱镜311的侧面323上的光的光路I3中，S偏振分量的光被反射面322反射，其光路被改变90度，被透射通过偏振片6的偏振器层62，并且被偏振片7的偏振器层72反射，并且在+(正)Y方向上前进。在入射到三棱镜311的侧面323上的光的光路I4中，P偏振分量的光被反射面322反射，其光路被改变90度，被偏振片5的偏振器层52反射，并且在+(正)Y方向上前进。另一方面，在入射到三棱镜311的侧面323上的光的光路I4中，S偏振分量的光被反射面322反射，其光路被改变90度，被透射通过偏振片5的偏振器层52，并且被偏振片8的偏振器82反射，并且在-(负)Y方向上前进。

接着，将说明修改的示例3的正交棱镜。

正交棱镜不限于以上结构，并且可以是在图32中所示的修改的示例3的结构。与图30中所示的正交棱镜的结构的不同是不粘结三棱镜312，并且使用将三棱镜312的功能并入到三棱镜4中的四边形棱镜，另外，不粘结三棱镜311，并且使用将三棱镜311的功能并入到三棱镜2中的四边形棱镜。形成四边形棱镜410的侧面415和四边形棱镜420的侧面425以便平行于三棱镜1的侧面11。因此，可以省略粘结过程并且抑制由于粘结导致的移位，因此可以抑制作为光路的改变。结果，可以实现减少成本。

接着，将说明修改的示例4的正交棱镜。

正交棱镜不限于以上结构，并且可以是在图33A中所示的修改的示例4的结构。与图25中所示的正交棱镜的结构的不同是四边形棱镜410的侧面415和四边形棱镜420的侧面425不平行于三棱镜1的侧面11。使用这样的结构，可以应付入射到侧面415和侧面425上的光的各种角度的光路。在图33B和33C的每个中，示出入射到修改的示例4的正交棱镜上的光的光路。

这里，正交棱镜的结构不限于正方形的结构(图34A)，而是可以是如图34B或34C中所示的梯形形状。使用这样的结构，不限于偏振在垂直方向上的光路的棱镜，并且可以形成用于各种偏振角度的正交棱镜。

接着，将说明用于偏振分离的SWS(子波长结构)滤光器。

图35是示出光学滤光器和图像传感器之间的位置关系的对应的示图。图36是图35的截面示图。在光学滤光器400中，滤光器基底401是经由成像镜头透射入射到偏振滤光器层402上的入射光的透明基底。在滤光器基底401的图像传感器500侧的表面上，形成偏振滤光器层402。另外，形成填充层403从而覆盖偏振滤光器层402。入射到光学滤光器400上的光的透射通过偏振滤光器层402的光被入射到图像传感器500的像素区域上。在偏振滤光器层402上，区域划分地形成与图像传感器500的每个像素的尺寸对应的每个偏振器。P偏振分量透射区域和S偏振分量透射区域被形成为偏振器。在图36中，S偏振分量透射区域和P偏振分量透射区域可以是条带图案。这里，设想单色传感器作为图像传感器；然而，它可以是彩色传感器。在形成偏振滤光器层402的区域中，P偏振分量区域和S偏振分量区域的每个的图像被图像传感器500捕捉，并且，它们作为视差图像通过形成差异图像而用于各种信息检测，如稍后描述。

接着，将说明作为距离测量设备的图像处理器。

图37A和37B的每个是示出作为单色传感器中的距离测量设备的图像处理器的结构的框图。图37A示出整体结构，而图37B示出视差计算处理器的结构。图38A和38B的每个是示出作为RCCC(红色/透明/彩色)传感器中的距离测量设备的图像处理器的结构的框图。图38A示出整体结构，而图38B示出视差计算处理器的结构。在图37A中，来自图像传感器的图像被输入到偏振分离处理器701，并且被偏振分离处理器701划分成偏振图像1和偏振图像2。如图39中所示，在偏振分离处理器701中，从整个输入图像中每个像素单元地提取S偏振分量的像素，并且形成S图像。这是偏振图像1。另一方面，从整个输入图像中提取P偏振分量的像素，并且形成P图像。这是偏振图像2。

注意到在实际相对于被原样输出的图像执行视差计算的情况中，在S偏振图像和P偏振图像中的对应位置在垂直方向上被移位1像素，因此，存在在边沿等上发生误差的情况。因此，在偏振分离处理器701中，通过在之间内插像素，优选的是输出相对于全部像素具有对应的S像素和P像素的图像。例如，在图39中，在存在与P像素对应的S像素欠缺的部分的情况中，存在使得将(S1+S2)/2分配作为那个部分中的S像素的值的方法。同样地，针对P像素，可以通过使用上面和下面的对应P像素来执行内插。结果，相对于全部像素，可以输出具有对应S像素和P像素的图像作为输出图像。

这里，存在在图40中所示的正交棱镜中的棱镜之间的间隙导致在图像平面的中心附近不显示图像的区域的情况。因此，需要填充空隙的处理。如图41A中所示，图中在右边的图像被向左移位，并且如图41B中所示，间隙被填充。由于个体差异，不显示图像的区域是无规律的，因此，优选的是对于每个个体情况准备关于哪个部分要被填充的参数。优选的是在图37A和38A中作为坐标变换器的坐标变换处理器703之后执行。因为如果它在坐标变换处理器703之前被执行，则在坐标变换中需要非连续点，因此，难以实施。

接着，将说明由图38A中所示的坐标变换处理器706执行的颜色图像和亮度图像的计算处理。

在使用具有彩色滤光器和S偏振/P偏振的偏振滤光器的图像传感器的情况中，仅提取P偏振的像素，并且为了转变为像素的用于人眼的简单平均或视亮度，通过以下表达式计算加权平均，并且计算亮度值。在图42A中所示的布置中布置彩色滤光器，并且在图42B中所示的布置中布置偏振滤光器的情况中，通过以下表达式计算亮度。

在最简单的方式中，使用下面的简单和。

Y＝R11+G21+B22

或者，在尽可能接近地将亮度值对应到用于人眼的视亮度的情况中，使用以下表达式。

Y＝0.299*R11+0.587*G21+0.114*B22

(Y是亮度信号)

在RGB颜色系统中，通过RGB的像素值，通过以下表达式产生色差信号。

Cr＝0.500*R11-0.419*G21-0.081*B22

Cb＝-0.169*R11-0.332*G21+0.500*B22

(Cr，Cb是色差信号)

接着，将说明由图37A所示的串扰消除处理器702执行的串扰消除。理想地，左边和右边图像被形成在传感器上作为P偏振和S偏振，并且左边和右边图像被传感器上的偏振滤光器完全分离。然而，实际上，由于正交棱镜的偏振器的特性，即使在仅S偏振光被认为被反射的情况中，不但S偏振光而且P偏振光也被部分反射，反之亦然。另外，被放置在传感器上的线栅结构的偏振器没有被对应地放置在传感器的像素上，并且实际上在传感器的像素的位置和偏振器的位置之间发生轻微移位。因此，弱左图像与右图像重叠，并且弱右图像与左图像重叠。在下文中这被称为串扰。通过以下表达式的计算可以消除在所获得的左和右图像中的串扰。

S＝Sin-cc*Pin…(1)

P＝Pin-cc*Sin…(2)

Scrosstalkcancel＝S*(1+cc)/(1-cc^2)…(3)

Pcrosstalkcancel＝P*(1+cc)/(1-cc^2)…(4)

注意在以上表达式(1)至(4)中，cc：串扰消除系数，Sin和Pin：输入信号，并且Scrosstalkcancel和Pcrosstalkcancel：其中串扰被消除的S和P分量信号。

因为存在串扰量取决于图像平面上的位置而不同的情况，优选的是拥有根据图像平面上的位置的cc的量的表。

下面说明以上表达式的基础。

在每个像素中，由于串扰，以下信号被输入。

Sin＝(1-c)*Sori+c*Pori…(5)

Pin＝(1-c)*Pori+c*Sori…(6)

注意在以上表达式(5)和(6)中，c：串扰量，Sori和Pori：其中没有串扰的真实的输入信号。

当表达式(5)代入表达式(1)时，

S＝(1-c)*Sori+c*Pori-cc*Pin…(7)

并且进一步，当表达式(6)代入表达式(7)中时，

S＝(1-c)*Sori+c*Pori-cc*((1-c)*Pori+c*Sori)

＝(1-c)*Sori+c*Pori-cc*Pori+cc*c*Pori-cc*c*Sori

＝(1-c-cc*c)*Sori+(c-cc+cc*c)*Pori

这里，当c＝cc/(1+cc)时，

S＝(1-cc/(1+cc)-cc^2/(1+cc))*Sori

＝(1-cc^2)/(1+cc)*Sori

相反，当求解Sori时，获得Sori＝S*(1+cc)/(1-cc^2)，这与表达式(3)相同。

接着，将说明由图37A和38A的每个中所示的坐标变换处理器703执行的坐标变换处理。

为了获得更高的距离测量性能，需要校正镜头的变形的校正处理，并且通过坐标变换处理来执行校正镜头的变形。变形校正量的参数可以是镜头设计值，或者可以个别地执行参数的校准。并且，在被放置在镜头前面的组合棱镜自身中也存在制造误差，因此，为了校正它，优选的是在坐标变换处理中同时执行在一般立体相机中执行的外部参数的校正。

首先，作为坐标变换处理的特定示例，将说明横向色像差校正和变形校正的原理。在单色传感器的情况中，仅执行变形校正，并且在彩色传感器的情况中，除了变形校正之外，优选的是还执行横向色像差校正。如图43中示意性地所示，在利用具有横向色像差和变形的光学系统来执行拍摄的情况中，由于变形，在位于作为原始位置的图中右上方的由参考标号1表示的位置(像素)处的像素数据被从原始位置移位。另外，由于横向色像素，像素数据的RGB颜色分量(R颜色分量、G颜色分量和B颜色分量)的每个被不同地移位，并且如图44中所示，由图像传感器实际捕捉的RGB颜色分量的每个位于由参考标号2(R)、3(G)和4(B)的每个所表示的位置处。在横向色像差校正和变形校正中，如图45A和45B中所示，位于由参考标号2(R)、3(G)和4(B)的每个表示的位置(像素)处的像素数据的每个RGB颜色分量被复制在作为原始位置的由参考标号1表示的位置(像素)处。即，执行坐标变换。这里，由参考标号2、3和4表示的位置的每个是坐标变换的源坐标，并且由参考标号1表示的位置是坐标变换的目的坐标。从光学系统设计数据，变形的大小和横向色像差的大小是已知的，因此，可以计算每个RGB颜色分量相对于原始位置的位置移位。并且基于位置的坐标数据，准备多项表达式和表，并且基于这样的信息，校正变形和横向色像差。

接着，将说明由图37A和38A的每个中的视差计算处理器704执行的视差计算处理。

关于块匹配处理，存在如下述的各种方法；然而，在本发明的实施例中，在左边和右边图像中发生基于对象的反射光自身的偏振比的亮度差，因此，优选的是在块中执行规范化的方法。因而，消除基于反射光自身的偏振比的亮度差，并且可以仅使用用于视差计算的图案。具体地，优选的是使用以下方法的以“Z”开始的方法，诸如ZSAD、ZSSD和ZNCC。

(1)SAD(绝对差的和)

SAD是通过直接减去亮度值来执行图像之间的匹配的方法。在SAD中，计算工作量小。

$R_{\mathrm{SAD}}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}|I(i,j)-T(i,j)|...\left(8\right)$

(2)SSD(平方差的和)

SSD是以与SAD相同的方式通过直接减去亮度值来执行图像之间的匹配的方法。然而，不同于SAD，采用平方值作为误差量。

$r_{\mathrm{SSD}}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(i,j)-T(i,j))}^2...\left(9\right)$

(3)ZSAD(绝对差的零平均和)

ZSAD是从SAD的表达式中减去每个块的平均值的方法。

$R_{\mathrm{ZSAD}}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}|(I(i,j)-\stackrel{\‾}{I})-(T(i,j)-\stackrel{\‾}{T})|...\left(10\right)$

(4)ZSSD(平方差的零平均和)

ZSSD是从SSD的表达式中减去每个块的平均值的方法。

NCC(规范化的互相关)

NCC是规范化的互相关，并且具有不易受亮度和对比度影响的特性。

$R_{\mathrm{ZSSD}}=\frac{\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}I(i,j)T(i,j)}{\sqrt{\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}I{(i,j)}^2\×\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}T{(i,j)}^2}}...\left(12\right)$

(5)ZNCC(零平均规范化的互相关)

ZNCC是从NCC中减去每个块的平均值的方法。

$R_{\mathrm{ZNCC}}=\frac{\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\left((I(i,j)-\stackrel{\‾}{I})(T(i,j)-\stackrel{\‾}{T})\right)}{\sqrt{\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(i,j)-\stackrel{\‾}{I})}^2\×\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(T(i,j)-\stackrel{\‾}{T})}^2}}...\left(13\right)$

接着，将说明由图37B和38B中所示的子像素估计处理器704-2执行的子像素估计处理。

为了执行高度精确的视差计算，通过图46A和46B中所示的等角线性拟合和抛物线拟合，执行子像素估计处理，该子像素估计处理执行等于或小于一个像素的像素的匹配。

在等角线性拟合中，如下估计子像素估计值。

通过等角线性拟合的子像素估计值

$\hat{d}=\left\{\begin{array}{cc}\frac{1}{2}\frac{R\left(1\right)-R(-1)}{R\left(0\right)-R(-1)}& R\left(1\right)<R(-1)\\ \frac{1}{2}\frac{R\left(1\right)-R(-1)}{R\left(0\right)-R\left(1\right)}& R\left(1\right)\&GreaterEqual;R(-1)\end{array}\right....\left(14\right)$

R(d)＝相异度(dissimilarity)函数

在抛物线拟合中，如下估计子像素估计值。

通过抛物线拟合的子像素估计

$\hat{d}=\frac{R(-1)-R\left(1\right)}{2R(-1)-4R\left(0\right)+2R\left(1\right)}...\left(15\right)$

接着，将说明偏振计算处理。

作为在执行匹配的区域中提取差的方法，在通过视差计算执行块匹配之后，计算执行匹配的块之间的S偏振分量和P偏振分量之间的比率(差)。在此方法中，在匹配成功的情况中，获得好的结果；然而，在S偏振分量和P偏振分量被大大地移位地部分中，存在匹配不成功并且没有获得结果的可能性。另一方面，作为提取匹配不成功的部分的方法，存在关于通过视差计算根本不匹配的像素部分输出误差的方法。即，检测超过视差计算的搜索区域，或者P偏振分量的S偏振分量之间的比率大大地不同的部分。P偏振分量和S偏振分量之间的差越大，检测到的匹配不成功的部分越多，因此，此方法在块匹配不成功的情况中有效。由以上方法提取的偏振信息可以用于路尽头(路面)检测，或者路面上的结冰部分的检测。

本发明提供以下方面。

(1)

一种获得相对于拍摄对象具有视差的图像的立体相机，包括：偏振组合器，将偏振方向在垂直方向上不同并且形成具有视差的两个图像的左光和右光的光路组合成一个；成像器，捕捉具有至少两个偏振分量的图像；以及光学部件，将所组合的左光和右光聚焦在成像器上。

(2)

根据(1)的立体相机，包括：距离测量设备，其形成具有视差的两个图像并且通过按每个偏振分量地划分由成像器捕捉的图像而基于两个形成的图像之间的视差来计算到拍摄对象的距离。

(3)

根据(1)的立体相机，其中偏振组合器将左光和右光的光路中的光路长度调整为彼此近似相同。

(4)

根据(3)的立体相机，其中偏振组合器包括偏振分束器和反射镜。

(5)

根据(4)的立体相机，其中偏振组合器包括偏振器。

(6)

根据(5)的立体相机，其中偏振组合器包括偏振左光和右光的任何一个的半波片。

(7)

根据(5)的立体相机，其中偏振组合器包括两个分别偏振左光和右光的四分之一波片。

(8)

根据(6)的立体相机，其中在偏振组合器和光学部件之间，放置调整入射到光学部件上的光量的光圈。

(9)

根据(8)的立体相机，其中偏振分束器包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

(10)

根据(3)的立体相机，其中偏振组合器包括正交棱镜。

(11)

根据(10)的立体相机，其中正交棱镜包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

(12)

根据(11)的立体相机，其中在彼此面对的正交棱镜的侧面上，分别在左边和右边相邻地提供三棱镜、四边形棱镜或反射镜。

(13)

根据(12)的立体相机，包括坐标变换器，其相对于具有视差的两个图像的至少一个执行坐标变换处理。

(14)

根据(1)的立体相机，其中偏振组合器包括半反射镜和偏振器。

(15)

根据(14)的立体相机，其中在拍摄对象和成像器之间，提供红外截止滤光器。

根据本发明的实施例，组合形成具有视差的两个图像的左光和右光的光路，并且经由光学部件将所组合的光聚焦到成像器上。因此，在光学部件的变形由于温度改变而改变的情况中，光学部件的变形分别以相同的方式影响形成具有视差的两个图像的光。在成像器的安装位置由于温度改变而被移位的情况中，通过安装位置的移位，形成具有视差的两个图像的光分别以相同的方式在成像器的光接收表面上改变。结果，例如，由于温度改变而导致的光学部件的变形和成像器的安装位置的移位对到拍摄对象的距离计算具有很小的影响。因而，没必要执行包括以下操作的校准：由于温度改变而导致的光学部件的变形的校正和成像器的安装位置的移位的校正。因此，可以以低成本提供不受由于温度改变而导致的镜头的变形的改变和成像器的安装位置的改变的影响的立体相机。

虽然本发明已经就示范性实施例被描述，但是它不限于此。应该理解，在不脱离由所附权利要求限定的本发明的范围的情况下，本领域技术人员可以在所描述的实施例中进行改变。

相关申请的交叉引用

本申请基于2012年7月23日提交的日本专利申请号2012-162344、2012年9月27日提交的2012-2141673和2013年3月15日提交的2013-052721，并且要求它们的优先权，在此通过引用将其公开的全部内容合并于此。

权利要求书(按照条约第19条的修改)

1.一种获得相对于拍摄对象具有视差的图像的立体相机，包括：

偏振组合器，将偏振方向在垂直方向上不同并且形成具有视差的两个图像的左光和右光的光路组合成一个；

成像器，捕捉具有至少两个偏振分量的图像；以及

光学部件，将所组合的左光和右光聚焦在成像器上，

其中在偏振组合器和光学部件之间，放置调整入射到光学部件上的光量的光圈。

2.根据权利要求1所述的立体相机，包括：

距离测量设备，其形成具有视差的两个图像并且通过按每个偏振分量地划分由成像器捕捉的图像而基于两个形成的图像之间的视差来计算到拍摄对象的距离。

3.根据权利要求1所述的立体相机，其中偏振组合器将左光和右光的光路中的光路长度调整为彼此近似相同。

4.根据权利要求3所述的立体相机，其中偏振组合器包括偏振分束器和反射镜。

5.根据权利要求4所述的立体相机，其中偏振组合器包括偏振器。

6.根据权利要求5所述的立体相机，其中偏振组合器包括偏振左光和右光的任何一个的半波片。

7.根据权利要求5所述的立体相机，其中偏振组合器包括两个分别偏振左光和右光的四分之一波片。

8.根据权利要求4所述的立体相机，其中偏振分束器包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

9.根据权利要求3所述的立体相机，其中偏振组合器包括正交棱镜。

10.要据权利要求9所述的立体相机，其中正交棱镜包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

11.根据权利要求10所述的立体相机，其中在彼此面对的正交棱镜的侧面上，分别在左边和右边相邻地提供三棱镜、四边形棱镜或反射镜。

12.根据权利要求11所述的立体相机，包括坐标变换器，其相对于具有视差的两个图像的至少一个执行坐标变换处理。

13.根据权利要求1所述的立体相机，其中偏振组合器包括半反射镜和偏振器。

14.根据权利要求13所述的立体相机，其中在拍摄对象和成像器之间，提供红外截止滤光器。

Claims (15)

1.一种获得相对于拍摄对象具有视差的图像的立体相机，包括：

偏振组合器，将偏振方向在垂直方向上不同并且形成具有视差的两个图像的左光和右光的光路组合成一个；

成像器，捕捉具有至少两个偏振分量的图像；以及

光学部件，将所组合的左光和右光聚焦在成像器上。

2.根据权利要求1所述的立体相机，包括：

距离测量设备，其形成具有视差的两个图像并且通过按每个偏振分量地划分由成像器捕捉的图像而基于两个形成的图像之间的视差来计算到拍摄对象的距离。

3.根据权利要求1所述的立体相机，其中偏振组合器将左光和右光的光路中的光路长度调整为彼此近似相同。

4.根据权利要求3所述的立体相机，其中偏振组合器包括偏振分束器和反射镜。

5.根据权利要求4所述的立体相机，其中偏振组合器包括偏振器。

6.根据权利要求5所述的立体相机，其中偏振组合器包括偏振左光和右光的任何一个的半波片。

7.根据权利要求5所述的立体相机，其中偏振组合器包括两个分别偏振左光和右光的四分之一波片。

8.根据权利要求6所述的立体相机，其中在偏振组合器和光学部件之间，放置调整入射到光学部件上的光量的光圈。

9.根据权利要求8所述的立体相机，其中偏振分束器包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

10.根据权利要求3所述的立体相机，其中偏振组合器包括正交棱镜。

11.要据权利要求10所述的立体相机，其中正交棱镜包括具有其上形成线栅结构的偏振器薄膜的表面的偏振片。

12.根据权利要求11所述的立体相机，其中在彼此面对的正交棱镜的侧面上，分别在左边和右边相邻地提供三棱镜、四边形棱镜或反射镜。

13.根据权利要求12所述的立体相机，包括坐标变换器，其相对于具有视差的两个图像的至少一个执行坐标变换处理。

14.根据权利要求1所述的立体相机，其中偏振组合器包括半反射镜和偏振器。

15.根据权利要求14所述的立体相机，其中在拍摄对象和成像器之间，提供红外截止滤光器。