CN101449574A - 摄像装置和半导体电路元件 - Google Patents

Abstract

本发明提供摄像装置和半导体电路元件，该摄像装置包括：分别至少包括一个透镜的多个透镜部；在多个透镜部中一对一地对应设置、并分别具有相对于对应的透镜部的光轴方向大致垂直的受光面的多个摄像区域；接受由这些摄像区域生成的摄像信号的输入的摄像信号输入部(133)；决定从上述摄像区域向摄像信号输入部(133)传送的摄像信号的传送范围的传送范围决定部(144)；驱动上述摄像区域，使得向摄像信号输入部(133)传送与通过传送范围决定部(144)决定的传送范围相对应的摄像信号的摄像区域驱动部(132)；和根据传送到摄像信号输入部(133)的摄像信号运算视差的视差运算部(142)，其中传送范围决定部(144)构成为，能够切换将在上述多个摄像区域中的至少2个摄像区域中生成的摄像信号决定为传送范围的第一动作模式、和将与第一动作模式不同的摄像信号决定为传送范围的第二动作模式。

Description

摄像装置和半导体电路元件

技术领域

本发明涉及能够计测距离的摄像装置和在该摄像装置中使用的半导体电路元件。

背景技术

作为现有的摄像装置，有专利文献1的摄像装置。图53是专利文献1的摄像装置的分解立体图。摄像装置901包括光圈构件902、光学透镜阵列903、光学滤光片906、摄像单元907。在该摄像装置901中，由具有4个开口部902—1、902—2、902—3、902—4的光圈构件902、具有4个透镜903—1、903—2、903—3、903—4的光学透镜阵列903构成4个摄像光学系统，通过各系统的光线分别在摄像单元907上的4个像素群907—1、907—2、907—3、907—4上成像。由CCD传感器等形成的摄像单元907与驱动电路908和信号处理电路909一同形成在半导体基板910上。

信号处理电路909通过驱动电路908顺序读出摄像单元907的像素信息，并作为像素信号输入，根据各像素信号运算各像素群(907—1、907—2、907—3、907—4)中的视差的值，根据该视差计算距离。

专利文献1：日本特开2003—143459号公报

发明内容

如上所述，在专利文献1中记载的现有的摄像装置中，信号处理电路909使用驱动电路908读出摄像单元907上的4个像素群907—1、907—2、907—3、907—4的全部像素信息，并运算视差。因此，需要将全部像素信息从摄像单元907传送到信号处理电路909的传送时间，与该传送时间相对应地在高速化方面存在界限。即，视差运算的间隔不能比该传送时间短。

此外，作为摄像单元907，在使用了滚动快门(rolling shutter)方式的CMOS传感器的情况下，通过像素群907—1、907—2、907—3、907—4进行拍摄的时刻不同。在被摄体的动作较快时，在视差运算中使用的摄像信号不同，因此所求出的视差的精度降低。

本发明是鉴于上述问题完成的，目的是提供能够进行高速、高精度的视差运算的摄像装置和在该摄像装置中使用的半导体电路元件。即，目的是提供一种摄像装置和半导体电路元件，其通过缩短摄像信号的传送时间，能够进行高速的视差运算，即使被摄体的动作很快，也能够进行高精度的视差运算。

为了解决上述的课题，本发明的摄像装置包括：分别至少包括一个透镜的多个透镜部；在上述多个透镜部中一对一地对应设置、分别具有相对于所对应的上述透镜部的光轴方向大致垂直的受光面的多个摄像区域；接受由上述摄像区域生成的摄像信号的输入的摄像信号输入部；决定从上述摄像区域向上述摄像信号输入部传送的摄像信号的传送范围的传送范围决定部；驱动上述摄像区域，使得向上述摄像信号输入部传送与由上述传送范围决定部所决定的传送范围相对应的摄像信号的摄像区域驱动部；和根据传送到上述摄像信号输入部的摄像信号运算视差的视差运算部，上述传送范围决定部构成为，能够切换将在上述多个摄像区域中的至少两个摄像区域中生成的摄像信号决定为上述传送范围的第一动作模式、和将与第一动作模式不同的摄像信号决定为上述传送范围的第二动作模式。

在总是传送在摄像区域的整个区域中生成的摄像信号的情况下，因为传送时间为较长的时间，所以难以进行高速的视差运算。于是，如上所述，通过适当地切换第一动作模式和第二动作模式，仅传送需要传送的范围的摄像信号即可，因此能够进行高速的视差运算。

在上述发明的摄像装置中，上述传送范围决定部还可以构成为，能够切换将在上述摄像区域的大致整个区域中生成的摄像信号作为上述传送范围的第一动作模式、和将在上述摄像区域的大致一半的区域中生成的摄像信号作为上述传送范围的第二动作模式。

此外，在上述发明的摄像装置中，可以使上述大致一半的区域为上述摄像区域中传送顺序较早的大致一半的区域，如果是4个摄像区域2行2列排列的情况，则也可以使上述大致一半的区域为位于对角位置的2个上述摄像区域。

此外，在上述发明的摄像装置中，也可以是，上述摄像区域被分割为隔行扫描的多个场，上述传送范围决定部构成为，能够切换将在上述摄像区域的大致整个区域中生成的摄像信号作为上述传送范围的第一动作模式、和将上述摄像区域的一场大小的摄像信号作为上述传送范围的第二动作模式。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以根据与被摄体有关的信息，切换上述第一动作模式和上述第二动作模式。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在判断为在视差的运算中需要高速性的情况下，从上述第一动作模式向上述第二动作模式切换。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在判断为在视差的运算中需要高精度的情况下，从上述第二动作模式向上述第一动作模式切换。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在上述第一动作模式和上述第二动作模式的任一个中，均将在上述多个摄像区域中的一部分的摄像区域中生成的摄像信号决定为上述传送范围。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在上述第一动作模式和上述第二动作模式的至少任一个中，将在对动作的被摄体进行摄像的摄像区域中生成的摄像信号决定为上述传送范围。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，根据上述被摄体的动作速度，切换上述第一动作模式和上述第二动作模式。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在上述被摄体的动作快速时，切换为将在多数摄像区域中生成的摄像信号决定为上述传送范围的动作模式；在上述被摄体的动作缓慢时，切换为将在少数摄像区域中生成的摄像信号决定为上述传送范围的动作模式。

此外，在上述发明的摄像装置中，上述传送范围决定部也可以构成为，在上述第一动作模式和上述第二动作模式的至少任一个中，使与上述传送范围的摄像信号有关的像素数大致一定。

此外，在上述发明的摄像装置中，也可以是，上述摄像区域以对包括相当于路面的区域的区域进行摄像的方式构成，上述传送范围决定部构成为，在上述第一动作模式和上述第二动作模式的至少任一个中，将与相当于上述路面的区域以外的区域有关的摄像信号作为上述传送范围。

此外，在上述发明的摄像装置中，也可以是，上述摄像区域以对包括相当于人的面部的区域的区域进行摄像的方式构成，上述传送范围决定部构成为，在上述第一动作模式和上述第二动作模式的至少任一个中，将与相当于上述人的面部的区域有关的摄像信号作为上述传送范围。

此外，在上述发明的摄像装置中，上述多个摄像区域中的至少2个摄像区域也可以构成为，通过反复交替地向上述摄像信号输入部传送生成的摄像信号的一部分，将所生成的全部摄像信号向上述摄像信号输入部传送。

进而，上述发明的摄像装置还可以包括根据由上述视差运算部得到的视差，运算到达被摄体的距离的距离运算部。

此外，本发明的半导体电路元件是在摄像装置中使用的半导体电路元件，该摄像装置包括：分别至少包括一个透镜的多个透镜部；在上述多个透镜部中一对一地对应设置、分别具有相对于所对应的上述透镜部的光轴方向大致垂直的受光面的多个摄像区域，该半导体电路元件的特征在于，包括：接受由上述摄像区域生成的摄像信号的输入的摄像信号输入部；决定从上述摄像区域向上述摄像信号输入部传送的摄像信号的传送范围的传送范围决定部；驱动上述摄像区域，使得向上述摄像信号输入部传送与由上述传送范围决定部所决定的传送范围相对应的摄像信号的摄像元件驱动部；和根据传送到上述摄像信号输入部的摄像信号运算视差的视差运算部，上述传送范围决定部构成为，能够切换将在上述多个摄像区域中的至少两个摄像区域中生成的摄像信号决定为上述传送范围的第一动作模式、和将与第一动作模式不同的摄像信号决定为上述传送范围的第二动作模式。

附图说明

图1是表示本发明的实施方式1的摄像装置的结构的截面图。

图2是表示本发明的实施方式1的摄像装置的透镜的结构的平面图。

图3A是表示本发明的实施方式1的摄像装置的电路部的结构的平面图。

图3B是表示本发明的实施方式1的摄像装置的摄像元件的结构的平面图。

图4是本发明的实施方式1的照相机模块的彩色滤光片的特性图。

图5是用于说明在本发明的实施方式1的摄像装置中，处于无限远的物体像的位置的图。

图6是用于说明在本发明的实施方式1的摄像装置中，位于有限距离的位置的物体像的位置的图。

图7是表示本发明的实施方式1的摄像装置的结构的框图。

图8是用于说明本发明的实施方式1的摄像装置的摄像信号的截取位置的图。

图9是表示本发明的实施方式1的摄像装置的摄像信号的传送的时序图。

图10A是表示本发明的实施方式1的摄像装置的动作的流程图。

图10B是表示本发明的实施方式1的摄像装置的动作的变形例的流程图。

图11A是表示本发明的实施方式1的摄像装置的运算部的动作的流程图。

图11B是表示本发明的实施方式1的摄像装置的运算部的动作的变形例的流程图。

图12是表示本发明的实施方式1的摄像装置的视差运算的动作的流程图。

图13是表示本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算的动作的流程图。

图14是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第一摄像信号的分割块和运算顺序的图。

图15是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第二摄像信号的分割块和运算顺序的图。

图16是说明在本发明的实施方式1的摄像装置中，在利用第一摄像信号和第二摄像信号时的视差运算中的视差评价值的运算区域的图。

图17是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号时的视差运算中的视差与视差评价值的关系的图。

图18是说明在本发明的实施方式1的摄像装置中，在利用第一摄像信号和第二摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。

图19是说明本发明的实施方式1的摄像装置的变形的场图像的图。

图20是表示本发明的实施方式1的摄像装置的变形的摄像信号的传送的时序图。

图21是表示本发明的实施方式2的摄像装置的结构的截面图。

图22是表示本发明的实施方式2的摄像装置的电路部的结构的平面图。

图23是本发明的实施方式2的照相机模块的彩色滤光片的特性图。

图24是表示本发明的实施方式2的摄像装置的结构的框图。

图25是用于说明本发明的实施方式2的摄像装置的摄像信号的截取位置的图。

图26是表示本发明的实施方式2的摄像装置的摄像信号的传送的时序图。

图27是表示本发明的实施方式2的摄像装置的动作的流程图。

图28是表示本发明的实施方式2的摄像装置的运算部的动作的流程图。

图29是表示本发明的实施方式2的摄像装置的视差运算的动作的流程图。

图30是表示本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算的动作的流程图。

图31是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算中的第二摄像信号的分割块和运算顺序的图。

图32是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算中的第三摄像信号的分割块和运算顺序的图。

图33是说明在本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号时的视差运算中的视差评价值的运算区域的图。

图34是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。

图35是表示本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号的视差运算的动作的流程图。

图36是说明本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号的视差运算中的第四摄像信号的分割块和运算顺序的图。

图37是说明在本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号时的视差运算中的视差评价值的运算区域的图。

图38是说明本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。

图39是用于说明本发明的实施方式2的摄像装置的变形的摄像信号的截取位置的图。

图40是表示本发明的实施方式3的摄像装置的结构的截面图。

图41是表示本发明的实施方式3的摄像装置的透镜的结构的平面图。

图42是表示本发明的实施方式3的摄像装置的电路部的结构的平面图。

图43是表示本发明的实施方式3的摄像装置的结构的框图。

图44是表示本发明的实施方式3的摄像装置的动作的流程图。

图45是用于说明本发明的实施方式3的摄像装置的摄像信号的截取位置的图。

图46是说明本发明的实施方式3的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第一摄像信号的分割块、运算顺序和传送范围标志的图。

图47是说明本发明的实施方式3的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第二摄像信号的分割块、运算顺序和传送范围标志的图。

图48是表示本发明的实施方式3的摄像装置的运算部的动作的流程图。

图49是表示本发明的实施方式3的摄像装置的视差运算的动作的流程图。

图50是说明本发明的实施方式3的摄像装置的传送范围的图。

图51是说明本发明的实施方式3的摄像装置的变形的传送范围的图。

图52是说明本发明的实施方式3的摄像装置的变形的传送范围的图。

图53是现有技术的专利文献1的摄像装置的分解立体图。

符号说明

101、201、301：照相机模块

110、310：透镜模块

111、311：镜筒

112、312：上部盖玻璃

113、313：透镜

113a、313a：第一透镜部

113b、313b：第二透镜部

113c：第三透镜部

113d：第四透镜部

120、220、320：电路部

121、321：基板

122、322：封装

123、223、323：摄像元件

124、224：封装盖玻璃

124a、224a：第一彩色滤光片

124b、224b：第二彩色滤光片

124c、224c：第三彩色滤光片

124d、224d：第四彩色滤光片

124e、224e：遮光部

125、225、325：SLSI

127、327：金线

131、231、331：系统控制部

132、232、332：摄像元件驱动部

332a：第一摄像元件驱动部

332b：第二摄像元件驱动部

133、233、333：摄像信号输入部

134、234、334：前处理部

135、335：输入缓冲器

135a、335a：第一输入缓冲器

135b、335b：第二输入缓冲器

135c：第三输入缓冲器

135d：第四输入缓冲器

136、236、336：图像处理部

137、337：输出缓冲器

137a、337a：第一输出缓冲器

137b、337b：第二输出缓冲器

138、338：输入输出部

141、241、341：运算缓冲器

141a、241a、341a：第一运算缓冲器

141b、241b、341b：第二运算缓冲器

142、242、342：视差运算部

143、343：距离运算部

144、344：输出范围决定部

具体实施方式

以下，参照附图说明本发明的实施方式的摄像装置。

(实施方式1)

根据本发明的实施方式1的摄像装置，传送范围决定部适当变更摄像信号的传送范围。特别是，切换将在摄像区域的大致整个区域中生成的摄像信号作为传送范围的情况和将在摄像区域的大致一半的区域(传送顺序较早的区域)中生成的摄像信号作为传送范围的情况。即，在要求高速性的情况下，将在摄像区域的大致一半的区域(传送顺序较早的区域)中生成的摄像信号作为传送范围。由此，在需要高速性的情况下，将传送限定为在一半的区域中生成的摄像信号，因此与整个区域的情况相比，能够减少一半传送所需要的时间。从而，能够实现能够进行高速的视差运算、距离运算的摄像装置。

以下，参照附图说明本发明的实施方式1的摄像装置。

图1是表示本发明的实施方式1的摄像装置的结构的截面图。如图1所示，摄像装置101具有透镜模块部110和电路部120。

透镜模块部110具有镜筒111、上部盖玻璃112和透镜113。电路部120具有基板121、封装(package)122、摄像元件123、封装盖玻璃124和作为半导体电路元件的系统LSI(以下，记为SLSI)125。

镜筒111是圆筒状，为了防止光的漫反射，其内壁面是消光的黑色，使树脂射出成形而形成。上部盖玻璃112是圆盘状，由透明树脂形成，通过粘接剂等固定在镜筒111的上部的内壁上，其表面设置有防止由摩擦等引起的损伤的保护膜和防止入射光的反射的反射防止膜。

图2是表示本发明的实施方式1的摄像装置的透镜的结构的平面图。透镜113是大致圆盘状，由玻璃、透明树脂形成，以2行2列的棋盘格状配置第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d。沿着第一～第四透镜部113a～113d的配置方向，如图2所示设定x轴和y轴。在第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d处，从被摄体侧入射的光出射到摄像元件123侧，在摄像元件123上成像为4个像。另外，如图2所示，第一透镜部113a的光轴与第二透镜部113b的光轴在水平方向(x轴方向)上仅离开D，在垂直方向(y轴方向)上一致。第一透镜部113a的光轴与第三透镜部113c的光轴在水平方向(x轴方向)上一致，在垂直方向(y轴方向)上仅离开D。第三透镜部113c的光轴与第四透镜部113d的光轴在水平方向(x轴方向)上仅离开D，在垂直方向(y轴方向)上一致。

基板121由树脂基板构成，镜筒111的底面与基板121的上表面接触并通过粘接剂等固定。这样固定透镜模块部110和电路部120，构成摄像装置101。

封装122由具有金属端子的树脂构成，在镜筒111的内侧，在基板121的上表面焊接其金属端子部等而固定。

摄像元件123是逐行扫描CCD传感器，以摄像元件123的受光面与第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d的光轴大致垂直的方式配置。摄像元件123的各端子通过引线接合由金线127连接到封装122的内侧的底部的金属端子上，通过基板121，与SLSI125电连接。在摄像元件123的受光面上，从第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d出射的光分别成像，其光信息由光电二极管变换为电信息，该电信息传送到SLSI125。

图3A是表示本发明的实施方式1的摄像装置的电路部的结构的平面图。封装盖玻璃124是平板状，由透明树脂形成，通过粘接等固定在封装122的上表面。在封装盖玻璃124的上表面，通过蒸镀等配置有第一彩色滤光片124a、第二彩色滤光片124b、第三彩色滤光片124c、第四彩色滤光片124d和遮光部124e。此外，在封装盖玻璃124的下表面上，通过蒸镀等配置有反射防止膜。

图3B是表示本发明的实施方式1的摄像装置的摄像元件的结构的平面图。如图3B所示，摄像元件123由第一摄像区域123a、第二摄像区域123b、第三摄像区域123c和第四摄像区域123d构成。这些第一～第四摄像区域123a～123d以各自的受光面与第一～第四透镜部113a～113d的光轴大致垂直的方式2行2列地进行配置。在这些各摄像区域123a～123d中生成摄像信号。

如上所述，在本实施方式中1个摄像元件具有多个摄像区域，但本发明的摄像装置并不限定于此，也可以以其它方式具有多个摄像区域。例如也可以是1个摄像元件为1个摄像区域，通过设置多个这样的摄像元件而具有多个摄像区域的方式。

图4是本发明的实施方式1的照相机模块的彩色滤光片的特性图。第一彩色滤光片124a和第二彩色滤光片124b具有由图4的IR表示的主要透过近红外光的分光透射特性(以波长λ1为中心的透射特性。例如，λ1＝870nm)，第三彩色滤光片124c和第四彩色滤光片124d具有由图4的G表示的主要透过绿色光的分光透射特性(以波长λ2为中心的透射特性。例如，λ2＝500nm)。

从而，从第一透镜部113a的上部入射的物体光从第一透镜部113a的下部射出，利用第一彩色滤光片124a主要透过近红外光，在第一摄像区域123a的受光部上成像，因此，第一摄像区域123a接受物体光中的近红外光成分。此外，从第二透镜部113b的上部入射的物体光从第二透镜部113b的下部射出，利用第二彩色滤光片224b主要透过近红外光，在第二摄像区域123b的受光部上成像，因此，第二摄像区域123b接受物体光中的近红外光成分。此外，从第三透镜部113c的上部入射的物体光从第三透镜部113c的下部射出，利用第三彩色滤光片224c主要透过绿色光，在第三摄像区域123c的受光部上成像，因此，第三摄像区域123c接受物体光中的绿色光成分。而且，从第四透镜部113d的上部入射的物体光从第四透镜部113d的下部射出，利用第四彩色滤光片224d主要透过绿色光，在第四摄像区域123d的受光部上成像，因此，第四摄像区域123d接受物体光中的绿色光成分。

SLSI125按照后述的方法驱动摄像元件123，输入来自摄像元件123的电信息，进行各种运算，与上位CPU进行通信，将图像信息、距离信息等输出到外部。另外，SLSI125与电源(例如3.3V)和地(例如0V)连接。

接着，说明被摄体距离与视差的关系。本发明的实施方式1的摄像装置具有4个透镜部(第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d)，因此，4个透镜部分别形成的4个物体像的相对位置根据被摄体距离而改变。

图5是用于说明在本发明的实施方式1的摄像装置中，处于无限远的物体像的位置的图。图5中，为了简单，在透镜部113中，仅表达第一透镜部113a和第二透镜部113b。来自无限远的物体10的光向第一透镜部113a的入射光L1与向第二透镜部113b的入射光L2平行。因此，第一透镜部113a与第二透镜部113b的距离等于摄像元件123上的物体像11a与物体像11b的距离。即，没有视差。

图6是用于说明本发明的实施方式1的摄像装置中，位于有限距离的位置的物体像的位置的图。图6中，为了简单，在透镜部113中，仅表达第一透镜部113a和第二透镜部113b。来自有限距离的物体12的光向第一透镜部113a的入射光L1与向第二透镜部113b的入射光L2不平行。从而，相比于第一透镜部113a与第二透镜部113b的距离，摄像元件123上的物体像13a与物体像13b的距离较长。即，存在视差。

如果将到达物体像12的距离(被摄体距离)记为A，将第一透镜部113a与第二透镜部113b的距离记为D，将透镜部113a、113b的焦距记为f，夹着图5的直角的两边的长度为A、D的直角三角形与夹着直角的两边的长度为f、Δ的直角三角形相似，从而视差值Δ用下述式1表示。

Δ＝f·D/A……式1

其它的透镜部间，同样的关系也成立。这样，与被摄体距离相对应地，4个透镜部113a、113b、113c、113d分别形成的4个物体像的相对的位置改变。例如，如果减小被摄体距离A，则视差值Δ增大。

接着，说明本发明的实施方式1的摄像装置的动作。图7是表示本发明的实施方式1的摄像装置的结构的框图。SLSI125具有系统控制部131、摄像元件驱动部132、摄像信号输入部133、前处理部134、输入缓冲器135、运算部136、输出缓冲器137和输入输出部138。输入缓冲器135具有第一输入缓冲器135a、第二输入缓冲器135b、第三输入缓冲器135c和第四输入缓冲器135d。运算部136具有运算缓冲器141、视差运算部142、距离运算部143和传送范围决定部144。运算缓冲器141具有第一运算缓冲器141a和第二运算缓冲器141b。输出缓冲器137具有第一输出缓冲器137a和第二输出缓冲器137b。

系统控制部131由CPU(中央运算处理装置：Central ProcessingUnit)、逻辑电路等构成，控制SLSI125的整体。

摄像元件驱动部132由逻辑电路等构成，产生驱动摄像元件123的信号，向摄像元件123施加与该信号相应的电压。

摄像信号输入部133以CDS电路(相关双采样电路：CorrelatedDouble Sampling Circuit)、AGC(自动增益控制器：Automatic GainController)、ADC(模拟/数字转换器：Analog Digital Converter)串联连接的方式构成，输入来自摄像元件123的电信号，通过CDS电路去除固定噪声，通过AGC调整增益，通过ADC从模拟信号变换成数字值作为摄像信号I0。

传送范围决定部144按照后述的方法决定传送范围标志FO。当传送范围标志FO＝1(第一动作模式)时，在摄像区域的整个区域中生成的摄像信号成为传送范围，当传送范围标志FO＝2(第二动作模式)时，在摄像区域的一半的区域中生成的摄像信号成为传送范围。另外，传送范围标志初始化为FO＝1。

上述摄像元件驱动部132驱动摄像元件123，使得向摄像信号输入部133传送由传送范围决定部144决定的传送范围的摄像信号。由此，从摄像元件123向摄像信号输入部133传送特定传送范围的摄像信号。

图8是用于说明本发明的实施方式1的摄像装置的摄像信号的截取位置的图。图9是表示本发明的实施方式1的摄像装置的摄像信号的传送的时序图。在传送范围标志FO＝1时，因为传送范围是在摄像区域的整个区域中生成的摄像信号，所以如图8(a)那样，沿着水平方向传送H0像素的摄像信号，沿着垂直方向传送V0像素的摄像信号。即，输入到摄像信号输入部133中的摄像信号I0(x，y)在x方向具有H0像素，在y方向具有V0像素，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0—1)的顺序输入，并依次传送到前处理部134。如图9(a)所示，从垂直同步信号21a的上升沿开始的一定期间之后，在信号23a的高电平的定时，从CCD传感器的光电二极管向垂直传送CCD传送电荷，在信号24a的高电平下，电荷依次在垂直CCD、水平CCD内传送，在摄像信号输入部133中，从模拟信号变换成数字信号的摄像信号并输入。

另一方面，当传送范围标志FO＝2时，因为传送范围是在摄像区域的一半的区域中生成的摄像信号，所以如图8(b)所示，在水平方向传送H0像素，在垂直方向传送V0/2像素的摄像信号。即，从摄像信号输入部133输入的摄像信号I0(x，y)在x方向具有H0像素，在y方向具有V0/2像素，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0/2—1)的顺序输入，并依次传送到前处理部134。在图8(b)中，上半部分没有阴影线的部分表示传送的像素(作为传送范围的区域)，下半部分的阴影线部分表示不传送的像素(不是传送范围的区域)。如图9(b)所示，从垂直同步信号21b的上升沿开始的一定期间之后，在信号22b的高电平下，将残留在垂直CCD内的电荷转出(掃き出す)至水平CCD，在信号23b的高电平的定时，从CCD传感器的光电二极管向垂直传送CCD传送电荷，在信号24b的高电平下，依次在垂直CCD、水平CCD内传送电荷，在摄像信号输入部133中，从模拟信号变换成数字信号的摄像信号并输入。另外，FO＝2时的传送范围被设定为FO＝1时的传送范围的一半中最初被传送的一方。

与传送范围标志FO＝1(第一动作模式)时的电荷的传送时间(信号24a为高电平的期间)相比较，传送范围标志FO＝2(第二动作模式)时的电荷的传送时间(信号24b为高电平的期间)是大约一半，因此能够缩短传送1个图像的时间间隔。另外，因为不进行FO＝1(第一动作模式)时的电荷的转出，仅在FO＝2(第二动作模式)时进行电荷的转出，因此不需要FO＝1(第一动作模式)时的电荷的转出时间，能够防止FO＝1(第一动作模式)时的传送1个图像的时间间隔的增大。此外，FO＝2(第二动作模式)时的电荷的转出仅是前次没有进行传送的垂直CCD(即，在实施方式1中是V0/2列)即足够，由此，与进行全列的垂直CCD的转出时相比较，能够将传送1个图像的时间间隔的增大抑制为最小限度。

前处理部134由逻辑电路等构成，从摄像信号I0截取图像，进行强度修正处理，并依次传送至输入缓冲器135。在FO＝1时，传送范围是在摄像区域的整个区域中生成的摄像信号，因此生成第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4，依次传送到输入缓冲器135。第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4是根据分别通过第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部114d被成像的被摄体像而得到的。如图8(a)和下述式2所示，以(x01，y01)为原点，将摄像信号I0沿着x方向截取H1像素，沿着y方向截取V1像素，并将通过第一强度修正系数ks1已进行修正的信号作为第一摄像信号I1。此外，如图8(a)和下述式3所示，以(x02，y02)为原点，将摄像信号I0沿着x方向截取H1像素，沿着y方向截取V1像素，并将通过第二强度修正系数ks2已进行修正的信号作为第二摄像信号I2。此外，如图8(a)和下述式4所示，以(x03，y03)为原点，将摄像信号I0沿着x方向截取H1像素，沿着y方向截取V1像素，并将通过第三强度修正系数ks3已进行修正的信号作为第三摄像信号I3。此外，如图8(a)和下述式5所示，以(x04，y04)为原点，将摄像信号I0沿着x方向截取H1像素，沿着y方向截取V1像素，并将通过第四强度修正系数ks4已进行修正的信号作为第四摄像信号I4。

I1(x，y)＝ks1(x，y)*I0(x+x01，y+y01)……式2

I2(x，y)＝ks2(x，y)*I0(x+x02，y+y02)……式3

I3(x，y)＝ks3(x，y)*I0(x+x03，y+y03)……式4

I4(x，y)＝ks4(x，y)*I0(x+x04，y+y04)……式5

第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)，表示第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4的坐标(x，y)的强度修正系数，在检查工序等中拍摄特定图像而决定，保存在EEPROM、闪存中。另外，也可以不具有各像素的系数而仅具有代表点，并使用该代表点通过线性内插求取第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)。此外，也可以建立近似式并仅具有其系数，生成各个坐标的第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)。此外，为了校正透镜的光轴的偏移等，也可以适当地进行坐标变换。

另一方面，在FO＝2时，传送范围是在摄像区域的一半的区域中生成的摄像信号，因此生成第一摄像信号I1和第二摄像信号I2，并依次传送到输入缓冲器135。与FO＝1时(传送整个区域时)相比较，省略涉及第三摄像信号I3和第四摄像信号I4的处理。有关第一摄像信号I1和第二摄像信号I2的处理是同样的，因此省略说明。

在FO＝1时，第一输入缓冲器135a由DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等构成，顺序读入第一摄像信号I1，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第二输入缓冲器135b由DRAM等构成，顺序读入第二摄像信号I2，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第三输入缓冲器135c由DRAM等构成，顺序读入第三摄像信号I3，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第四输入缓冲器135d由DRAM等构成，顺序读入第四摄像信号I4，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。

另一方面，在FO＝2时，生成第一摄像信号I1和第二摄像信号I2，并依次输入到输入缓冲器135。与FO＝1时(传送整个区域时)相比较，省略涉及第三输入缓冲器135c和第四输入缓冲器135d的处理。有关第一输入缓冲器135a和第二输入缓冲器135b的处理是同样的，因此省略说明。

运算部136包括：由SRAM(Static Random Access Memory：静态随机存取存储器)构成的第一运算缓冲器141a、第二运算缓冲器141b；由逻辑电路、CPU等构成的视差运算部142；由逻辑电路、CPU等构成的距离运算部143；和由逻辑电路、CPU等构成的传送范围决定部144。在FO＝1时，运算部136以块(block)单位读入第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4，并保存到第一运算缓冲器141a、和第二运算缓冲器141b中，在视差运算部142中根据第一运算缓冲器141a和第二运算缓冲器141b的数据等运算视差，在距离运算部143中根据求出的视差运算距离，将求出的距离数据传送到输出缓冲器137。

另一方面，在FO＝2时，传送范围是在摄像区域的一半的区域中生成的摄像信号，从而，仅传送第一摄像信号I1和第二摄像信号I2，因此，运算部136以块单位读入第一摄像信号I1和第二摄像信号I2，并保存在第一运算缓冲器141a、和第二运算缓冲器141b中，在视差运算部142中根据第一运算缓冲器141a和第二运算缓冲器141b的数据等运算视差，在距离运算部143中根据求出的视差运算距离，将求出的距离数据传送到输出缓冲器137。

输出缓冲器137由DRAM等构成，保存从输入缓冲器135传送来的图像数据和从运算部136传送来的距离数据，依次传送到输入输出部138。

输入输出部138进行与上位CPU(未图示)的通信，向上位CPU、外部存储器(未图示)和液晶显示器等外部显示装置(未图示)输出图像数据和距离数据。

图10A是表示本发明的实施方式1的摄像装置的动作的流程图。利用SLSI125的系统控制部131，摄像装置101如该流程图所示动作。

在步骤S1010中，摄像装置101开始动作。例如，上位CPU(未图示)通过输入输出部136向摄像装置101发出动作开始的命令，由此摄像装置101开始动作。接着，执行步骤S1020A。

在步骤S1020A中，进行传送范围的初始化处理。在本实施方式中，通过该初始化处理，设定传送范围标志FO＝1(第一动作模式)。接着，执行步骤S1030。

在步骤S1030中，输入摄像信号。根据系统控制部131的命令，摄像元件驱动部132随时对摄像元件123输出用于电子快门、进行传送的信号。结果，在传送范围标志FO＝1(第一动作模式)时，摄像信号输入部133沿x方向输入H0像素，沿y方向输入V0像素，即，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0—1)的顺序输入摄像信号I0(x，y)，并依次传送到前处理部134。前处理部134从摄像信号I0截取图像，进行强度修正处理，生成第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4，将第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4分别依次传送到第一输入缓冲器135a、第二输入缓冲器135b、第三输入缓冲器135c和第四输入缓冲器135d。

另一方面，在传送范围标志FO＝2(第二动作模式)时，摄像信号输入部133沿x方向输入H0像素，沿y方向仅输入V0/2像素，即，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0/2—1)的顺序输入摄像信号I0(x，y)，并依次传送到前处理部134。前处理部134从摄像信号I0截取图像，进行强度修正处理，生成第一摄像信号I1和第二摄像信号I2，将第一摄像信号I1和第二摄像信号分别依次传送到第一输入缓冲器135a和第二输入缓冲器135b。接着，执行步骤S1040。

在步骤S1040中，将保存在第一输入缓冲器135a中的第一摄像信号I1传送到第一输出缓冲器137a，第一输出缓冲器137a将其作为图像数据保存。接着，执行步骤S1100A。

在步骤S1100A中，生成距离数据，并依次传送到第二输出缓冲器137b。此外，决定传送范围，设定传送范围标志FO。该动作的详细过程在后面叙述。接着，执行步骤S1910。

在步骤S1910中，将数据输出到外部。输入输出部138将第一输出缓冲器137a上的图像数据和第二输出缓冲器137b上的距离数据输出到上位CPU(未图示)、外部显示装置(未图示)。接着，执行步骤S1920。

在步骤S1920中，判断是否结束动作。例如，系统控制部131通过输入输出部136，与上位CPU(未图示)通信，请求是否结束动作的命令。并且，如果上位CPU命令结束则结束动作。接着，执行步骤S1930。另一方面，如果上位CPU没有命令结束则继续动作，接着，执行步骤S1030。即，只要上位CPU没有命令结束，则继续执行步骤S1030、步骤S1040、步骤S1100A和步骤S1910的循环。

在步骤S1930结束动作。

接着，说明步骤S1100A中的动作的详细过程。图11A是表示本发明的实施方式1的摄像装置的运算部的动作的流程图。图11A的流程图表示步骤S1100A的动作的详细过程。在步骤S1100A的运算中，首先，执行步骤S1110。

在步骤S1110中，开始运算的动作。接着，执行步骤S1200。

在步骤S1200中，执行视差运算。图12是表示本发明的实施方式1的摄像装置的视差运算的动作的流程图。图12的流程图表示步骤S1200的动作的详细过程。在步骤S1200的运算中，首先，执行步骤S1210。

在步骤S1210中，开始视差运算的动作。接着，执行步骤S1220。

在步骤S1220中，根据传送范围标志FO而产生分支。当传送范围标志FO＝1时(S1220中的Y)，传送范围是在摄像区域的整个区域中生成的摄像信号，接着执行步骤S1230a。另一方面，当传送范围标志FO＝2时(S1220中的N)，传送范围是在摄像区域的一半的区域中生成的摄像信号，接着，执行步骤1230b。

在步骤1230a中，执行利用第一摄像信号和第二摄像信号的视差运算。图13是表示本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算的动作的流程图。图13的流程图表示步骤S1230a的动作的详细过程。在步骤S1230的运算中，首先，执行步骤S1310。

在步骤S1310中，开始利用第一摄像信号和第二摄像信号的视差运算的动作。接着，执行步骤S1320。

在步骤S1320中，在块索引ib中设定0，进行初始化处理。接着，执行步骤S1330。

在步骤S1330中，选择块。图14是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第一摄像信号的分割块和运算顺序的图，图15是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第二摄像信号的分割块和运算顺序的图。在图14中，第一摄像信号I1分割成在x方向有HB像素、在y方向有VB像素的长方形的块，在x方向上错开HB像素，在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向具有Nv个块。因此，各块在x方向、y方向都没有重叠的部分。图15中，第二摄像信号I2分割成在x方向有(HB+SB)像素、在y方向有VB像素的长方形的块，在x方向上错开HB像素，在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向有Nv个块。因此，在x方向上，相邻的块重叠。另一方面，在y方向上，相邻的块不重叠。此外，图15中，右侧的块中不能够在x方向上取得(HB+SB)像素的块能够适当地去除x方向的右端。另外，在实施方式1中，以下表示HB＝32，VB＝32的例子。

在图14和图15中，在各块的上层记述的数字表示块索引ib。此外，在图14和图15中，在各块的下层记述的坐标(ibx，iby)表示各块在x方向是第ibx个块，在y方向是第iby个块。这里，ibx存在于0到Nh—1，iby存在于0到Vh—1。在步骤S1320中，选择在图14和图15中用块索引ib表示的块(用坐标(ibx，iby)表示的块)。接着，执行步骤S1340。

在步骤S1340中，传送摄像信号。在步骤S1340中，向第一运算缓冲器141a传送所选择的块的第一摄像信号I1。而且，将第一运算缓冲器141a的坐标(x，y)的值作为Bc1(x，y)。这里，HB＝32、VB＝32，因此x＝0～31、y＝0～31。在步骤S1340中，向第二运算缓冲器141b传送所选择的块的第二摄像信号I2。而且，将第二运算缓冲器141b的坐标(x，y)的值作为Bc2(x，y)。这里，HB＝32、VB＝32，因此x＝0～31+SB、y＝0～31。例如，在ib＝0时，向第一运算缓冲器141a中传送被坐标(0，0)和坐标(31，31)包围的1024像素的摄像信号I1。此外，向第二运算缓冲器141b中传送在图15中以向右上的斜线描绘的被坐标(0，0)和坐标(31+SB，31)包围的(1024+32*SB)像素的摄像信号I2。接着，在ib＝1时，向第一运算缓冲器141a中传送被坐标(32，0)和坐标(63，31)包围的1024像素的摄像信号I1。此外，在第二运算缓冲器141b中，虽然需要在图15中以向右下的斜线描绘的被坐标(32，0)和坐标(63+SB，31)包围的(1024+32*SB)像素的摄像信号I2，但因为与ib＝0重叠的部分(被坐标(32，0)和坐标(31+SB，31)包围的32*SB像素的区域)已经传送到第二运算缓冲器141b中，所以仅向第二运算缓冲器141b传送新的被坐标(32+SB，0)和坐标(63+SB，31)包围的1024像素。由此，能够防止传送时间的增大。接着，执行步骤S1350。

在步骤S1350中，执行视差运算。首先，运算视差评价值R(k)。这里，k是表示使像素偏移多少的偏移量，以k＝0，1，2，……，SB的方式变化。图16是说明在本发明的实施方式1的摄像装置中，利用第一摄像信号和第二摄像信号时的视差运算中的视差评价值的运算区域的图。图16中，以数据Bc1存储的区域是第一运算缓冲器141a中的区域。此外，以数据Bc2表示的区域是在图16中从以Bc1表示的块向x方向移动偏移量k的第二运算缓冲器141b中的区域。而且，对于偏移量k＝0～SB，运算下述式6表示的绝对值差值总和(SAD：Sum ofAbsolute Differences)，作为视差评价值R(k)。

R(k)＝∑∑|Bc1(x，y)—Bc2(x+k，y)|……式6

该视差评价值R(k)表示第一运算缓冲器141a的数据Bc1与在x方向上离开k的距离的区域中的第二运算缓冲器141b的数据Bc2存在多少相关性，值越小表示相关性越大(越近似)。这里，第一运算缓冲器141a的数据Bc1是传送第一摄像信号I1的数据，第二运算缓冲器141b的数据Bc2是传送第二摄像信号I2的数据，因此视差评价值R4(k)表示第一摄像信号I1与相对应的第二摄像信号I2存在多少相关性。

图17是说明本发明的实施方式1的摄像装置的利用第一摄像信号和第二摄像信号时的视差运算中的视差与视差评价值的关系的图。如图17所示，视差评价值R(k)根据偏移量k的值而产生变化，在偏移量k＝Δ时具有极小值。第一运算缓冲器141a的数据Bc1表示出与存在于将第一运算缓冲器141a的数据Bc1在x方向移动k而到达的区域中的第二运算缓冲器141b的数据Bc2最具有相关性(最近似)。从而，可知第一运算缓冲器141a的数据Bc1与第二运算缓冲器141b的数据Bc2的x方向的视差是Δ。这里，将该Δ称为该块中的视差值Δ。

接着，运算视差值Δ的可靠性。图18是说明在本发明的实施方式1的摄像装置中利用第一摄像信号和第二摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。存储有数据Bc1的区域是第一运算缓冲器141a中的区域。存储有数据Bc2的区域是使Bc1在x方向上移动Δ的第二运算缓冲器141b中的区域。而且，如下述式7所示，对于各个区域的数据Bc1(x，y)、Bc2(x+Δ，y)，将归一化相关系数作为可靠性E。

E(1，2)(ibx，iby)＝∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc2(x+Δ，y)—avg(Bc2(x+Δ，y))}]

/√∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc1(x，y)—avg(Bc1(x，y))}

/√∑∑[{Bc2(x+Δ，y)—avg(Bc2(x+Δ，y))}

*{Bc2(x+Δ，y)—avg(Bc2(x+Δ，y))}]……式7

而且，在利用第一摄像信号和第二摄像信号的视差运算中，将该可靠性E保存为以坐标(ibx，iby)表示的32×32像素的块中的视差值Δ(1，2)(ibx，iby)的可靠性E(1，2)(ibx，iby)。(1，2)表示是利用第一摄像信号和第二摄像信号的视差值和可靠性。(ibx，iby)表示是以块索引ib表示的块，是图14中在各块的下层表示的坐标。接着，执行步骤S1360。

在步骤S1360中，块索引ib加1。接着执行步骤S1370。

在步骤S1370中，判断是否结束利用第一摄像信号和第二摄像信号的视差运算。当块索引ib小于Nh*Nv时，为了运算下一个块的视差，接着执行步骤S1330。另一方面，当块索引ib为Nh*Nv以上时，判断为已运算所有块的视差，接着，执行步骤S1380。

在步骤S1380中，结束利用第一摄像信号和第二摄像信号的视差运算，返回上位程序。这样，在利用第一摄像信号和第二摄像信号的视差运算中，对于由块索引ib表示的32×32像素的块，以32×32像素的分辨率求取视差值Δ(1，2)(ibx，iby)及其可靠性Ef(1，2)(ibx，iby)。这里，(1，2)表示利用的是第一摄像信号和第二摄像信号，(ibx，iby)是图14中在各块的下层表示的坐标(ibx从0到Nh—1变化，iby从0到Nv—1变化)。接着，执行图12的步骤S1240a。

在步骤S1240a中，执行利用第三摄像信号和第四摄像信号的视差运算。该步骤与将步骤S1230a中的第一摄像信号I1变更为第三摄像信号I3、将第二摄像信号I2变更为第四摄像信号I4后的步骤的相同。即，将第三摄像信号I3分割成块，向第一运算缓冲器141a传送，将第四摄像信号I4分割成块，向第二运算缓冲器141b传送，进行与步骤S1230a同样的动作，以32×32像素的分辨率求取视差值Δ(3，4)(ibx，iby)及其可靠性E(3，4)(ibx，iby)。这里，(3，4)表示利用的是第三摄像信号和第四摄像信号，(ibx，iby)表示图14的各块的下层中表示的坐标(如图14所示，ibx从0到Nh—1变化，iby从0到Nv—1变化)。接着，执行步骤1250a。

在步骤S1250a中，选择视差。相对于各个块，比较可靠性E(1，2)(ibx，iby)和E(3，4)(ibx，iby)，将提供最大的可靠性的视差作为该块中的视差值Δ(ibx，iby)。此外，将此时的可靠性作为E(ibx，iby)。接着执行步骤S1260。

在步骤S1230b中，执行利用第一摄像信号和第二摄像信号的视差运算。该步骤与步骤S1230a相同，省略说明。其中，将求出的视差和可靠性作为各个块中的视差值Δ(ibx，iby)和可靠性E(ibx，iby)。接着，执行步骤S1260。

在步骤S1260中，结束视差运算，返回上位程序。这样求取各块中的视差值Δ(ibx，iby)。这里，(ibx，iby)是图14的各块的下层中表示的坐标，ibx从0到Nh—1变化，iby从0到Nv—1变化。在传送范围标志FO＝1(第一动作模式)时，将利用第一摄像信号I1和第二摄像信号I2得到的视差(近红外光的视差)的可靠性与利用第三摄像信号I3和第四摄像信号I4得到的视差(绿色光的视差)的可靠性进行比较，采用可靠性较高的视差。另一方面，在传送范围标志FO＝2(第二动作模式)时，不进行选择，采用利用第一摄像信号I1和第二摄像信号I2得到的视差(近红外光的视差)。接着，执行步骤S1700。

在步骤S1700中，距离运算部143进行距离运算，将结果作为距离数据依次传送到第二输出缓冲器137b。如果对于距离A求解式1，则如下述式8所示。从而，具有视差值Δ(ibx，iby)的块中的被摄体的距离A(ibx，iby)如下述式9那样进行运算。并且向第二输出缓冲器137b传送距离数据A(ibx，iby)。

A＝f·D/Δ……式8

A(ibx，iby)＝f·D/Δ(ibx，iby)……式9

接着，执行步骤S1800。

在步骤S1800中，传送范围决定部144决定传送范围，并设定传送范围标志。如下述式10所示，在各块(ibx，iby)中的可靠性E(ibx，iby)的最小值小于某设定的值时，传送范围标志FO＝1。另一方面，在各块(ibx，iby)中的可靠性E(ibx，iby)的最小值为某设定的值以上时，传送范围标志FO＝2。

FO＝1(min(E(ibx，iby))<E0时)

FO＝2(min(E(ibx，iby))≥E0时)……式10

接着。执行步骤S1900。

在步骤S1900中，结束运算动作，返回上位程序。接着，执行步骤S1910。

通过如以上所述构成本发明的摄像装置并使其动作，具有以下的效果。

根据本发明的实施方式1的摄像装置，传送范围决定部144基于根据摄像信号生成的可靠性E(ibx，iby)，在可靠性E(ibx，iby)较小时，使传送范围标志FO＝1(第一动作模式)，在可靠性E(ibx，iby)较大时，使传送范围标志FO＝2(使传送范围为一半的区域)。由此，当可靠性E(ibx，iby)较大时，判断为有提高高速性的余量，通过使输出标志FO＝2(第二动作模式)，实现能够进行高速的视差运算、距离运算的摄像装置。另一方面，当可靠性E(ibx，iby)较小时，判断为需要进一步的精度，通过使输出标志FO＝1(第一动作模式)，实现能够进行高精度的视差运算、距离运算的摄像装置。

这样，在本实施方式的摄像装置的情况下，根据可靠性E变更传送范围，进行动作模式的切换。这里，可靠性E是根据被摄体的运动等而变化的值。从而，可以说本实施方式的摄像装置根据被摄体的运动等与被摄体有关的信息变更传送范围。

另外，在本发明的摄像装置中，在FO＝2(第一动作模式)时，采用传送顺序较早的大致一半的区域。即，如图9(b)24b所示，传送所需要的时间成为一半，残留在垂直CCD中的电荷在22b的期间内转出到水平CCD，从而传送所需要的时间减半，实现能够进行高速的视差运算、距离运算的摄像装置。

另外，在实施方式1的摄像装置中，在FO＝1(第一动作模式)时，使传送的摄像信号的垂直方向为V0像素，在FO＝2(第二动作模式)时，使传送的摄像信号的垂直方向为V0/2像素，但也可以有一定的变更。例如，如果使FO＝2(第二动作模式)的传送范围的垂直方向为从第0像素到y01+V1—1，则能够进一步减少传送时间。此外，在透镜的不均性较大，各光轴的偏移大的情况下，如果使FO＝2(第二动作模式)的传送范围的垂直方向比V0/2大，则原点的调整余量相应地增大。

此外，在实施方式1的摄像装置中，根据可靠性E(ibx，iby)变更传送范围，但本发明并不限定于此。本发明的要点在于通过变更传送范围，进行视差运算、距离运算，使得速度与精度的关系适宜。另外，也可以根据上位CPU的命令变更传送范围。例如，上位CPU可以使用图像数据，变更传送范围。或者，也可以是根据用户指定的被摄体信息，上位CPU指示传送范围。

图10B是表示本发明的实施方式1的摄像装置的动作的变形例的流程图。此外，图11B是表示本发明的实施方式1的摄像装置的运算部的动作的变形例的流程图。在该图11B的流程图中，表示图10B中的运算处理(S1100B)的详细的处理流程。

在该变形例中，不根据与被摄体有关的信息决定传送范围。即，与摄像信号是与怎样的图像有关的信号没有关系，而按照规定的基准决定传送范围。例如，交替地切换第一动作模式和第二动作模式，或者以在全部动作中第一动作模式(或第二动作模式)所占的比例为规定的比例的方式切换动作模式。

变形例中的传送范围的决定在图10B的流程图中的步骤S1020B中执行。而且，在步骤S1100B的运算处理中，如图11B所示，执行上述的开始处理(S1110)、视差运算(S1200)、距离运算(S1700)和结束处理(S1900)。在该变形例中，由于在步骤S1020B中决定传送范围，因此不需要进行图11A所示的步骤S1800的传送范围的决定处理。

另外，用户也能够适当设定传送范围。为此，例如，在利用用户能够操作的开关等由用户输出传送范围设定(动作模式切换)的指示的情况下，接收到该指示的上位CPU命令摄像装置以进行传送范围的设定(动作模式的切换)等即可。

此外，在实施方式1的摄像装置中，使传送范围标志的初始值为FO＝1(第一动作模式)，但也可以是FO＝2(第二动作模式)。

此外，在实施方式1的摄像装置中，使第一运算缓冲器的大小为32×32像素(水平方向32像素，以及垂直方向32像素)，但并不限定于此。例如，也可以是4×4像素、8×8像素、16×16像素。此外，也可以变更为适宜的大小。此外，还可以求取多个尺寸的块的视差并进行选择。进而，还可以不是矩形状的块，而是抽取边缘等进行块分割。此外，不限于求取块的视差，还可以求取作为边缘的线段的视差。

此外，在实施方式1的摄像装置中，向第一输出缓冲器137a传送第一摄像信号I1，从输入输出部138输出，但也可以输出其它的摄像信号(第二摄像信号I2、第三摄像信号I3或者第四摄像信号I4)。此外，还可以输出多个摄像信号。进而，也可以根据摄像信号的条件，变更从输入输出部138输出的摄像信号。例如，可以比较各个摄像信号，变更为输出最明亮的摄像信号(根据摄像信号的大小的平均为最大等已进行判定的信号)，或者轮廓最清楚的信号(根据微分值的平均、最大值为最大等已进行判定的信号)。

此外，在实施方式1的摄像装置中，作为摄像元件使用了CCD传感器，但也可以使用其它摄像元件(例如，CMOS传感器)。

此外，在实施方式1的摄像元件中，作为摄像元件123不仅可以利用逐行扫描CCD，也可以利用隔行扫描CCD。图19是说明本发明的实施方式1的摄像装置的变形的场图像的图。例如，在利用具有3个场的隔行扫描CCD的情况下，图像整体如图19(a)所示，依次配置第一场图像、第二场图像和第三场图像。首先，传送构成第一场图像的摄像信号，接着传送构成第二场图像的摄像信号，接着传送构成第三场图像的摄像信号。在通常的黑白图像中，通过将它们一行一行地顺序配置能够再现整体图像。如图19(b)所示，在图像整体(帧图像)的宽度是H0、高度是V0时，如图19(c)、(d)、(e)所示，第一场图像、第二场图像和第三场图像的宽度分别是H0，高度是V0/3。

图20是表示本发明的实施方式1的摄像装置的变形的摄像信号的传送的时序图。在传送范围标志FO＝1时，因为传送范围是在摄像区域的整个区域中生成的摄像信号，所以如图8(a)所示，在水平方向传送H0像素的摄像信号、在垂直方向传送V0像素的摄像信号。即，输入到摄像信号输入部133中的摄像信号I0(x，y)在x方向具有H0像素、在y方向具有V0像素，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0—1)的顺序输入，依次传送到前处理部134。如图20(a)所示，产生在1帧中仅产生一次的信号20c，产生在1场中仅一次的垂直同步信号21c。在3场的隔行扫描CCD中，在每个信号20c中产生3个垂直同步信号21c。从垂直同步信号21c的上升沿开始的一定期间之后，在信号23c的高电平的定时，从CCD传感器的光电二极管向垂直传送CCD传送电荷，在信号24a的高电平下，依次在垂直CCD、水平CCD内传送电荷，在摄像信号输入部133中从模拟信号变换成数字信号的摄像信号并输入。另外，在产生信号20c之后立即传送第一场的摄像信号(以24c1表示的期间)，接着传送第二场的摄像信号(以24c2表示的期间)，接着传送第三场的摄像信号(以24c3表示的期间)。

另一方面，在传送范围标志FO＝2时，因为传送范围是在摄像区域的一半的区域中生成的摄像信号，因此如图8(b)所示，在水平方向传送H0像素的摄像信号、在垂直方向传送V0/2像素的摄像信号。即，输入到摄像信号输入部133中的摄像信号I0(x，y)在x方向具有H0像素，在y方向具有V0/2像素，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(H0—1，V0/2—1)的顺序输入，依次传送到前处理部134。如图20(b)所示，产生在1帧中仅产生一次的信号20d，产生在1场中仅一次的垂直同步信号21d。在3场的隔行扫描CCD中，在每一个信号20d中产生3个垂直同步信号21d。在从垂直同步信号21d的上升沿开始的一定期间之后，在信号22d的高电平下，将残留在垂直CCD内的电荷转出到水平CCD，在信号23d的高电平的定时，从CCD传感器的光电二极管向垂直传送CCD传送电荷，在信号24d的高电平下，依次在垂直CCD、水平CCD内传送电荷，在摄像信号输入部133中从模拟信号变换成数字信号的摄像信号并输入。另外，在产生信号20d之后立即传送第一场的摄像信号(以24d1表示的期间)，接着传送第二场的摄像信号(以24d2表示的期间)，接着传送第三场的摄像信号(以24d3表示的期间)。从而，与传送范围标志FO＝1(第一动作模式)时的电荷的传送时间(信号24a为高电平的期间)相比较，传送范围标志FO＝2(第二动作模式)时的电荷的传送时间(信号2ba为高电平的期间)是大致一半，因此，能够缩短传送1张图像的时间间隔。

进而，如果不使用全部的场图像而仅使用一个场图像，则能够进一步缩短传送1张图像的时间间隔。在作为传送范围标志还设置有FO＝3的状态，且传送范围标志FO＝3时，传送范围是一半的区域(传送区域是图8(b))，仅传送第一场的图像。即，输入到摄像信号输入部133中的摄像信号I0(x，y)在x方向具有H0像素，在y方向具有V0/6像素，按照I0(0，0)((x，y)＝(0，0))、I0(1，0)、I0(2，0)、……、I0(0，3)、I0(1，3)、I0(2，3)、……、I0(H0—1，V0/2—3)的顺序输入，并依次传送到前处理部134。如图20(c)所示，信号20d产生的定时与垂直同步信号21d产生的定时大致相同。在从垂直同步信号21d的上升沿开始的一定期间之后，在信号22d的高电平下，将残留在垂直CCD内的电荷转出到水平CCD，在信号23d的高电平的定时，从CCD传感器的光电二极管向垂直传送CCD传送电荷，在信号24d的高电平下，依次在垂直CCD、水平CCD内传送电荷，在摄像信号输入部133中，从模拟信号变换成数字信号的摄像信号并输入。另外，因为总是仅传送第一场的摄像信号(以24e1表示的期间)，所以与传送范围标志FO＝1(第一动作模式)时的电荷的传送时间(信号24a为高电平的期间)相比较，传送范围标志FO＝3(传送范围是一半的区域，且仅传送第一场图像)时的电荷的传送时间(信号24a为高电平的期间)是大约1/6倍，能够缩短传送1张图像的时间间隔。

此处，通过仅传送1个场，能够减少垂直方向的像素数，但没有减少水平方向的像素数。视差产生的方向是水平方向，视差运算的精度恶化较小。从而，在仅传送1个场的情况下，能够在保持视差运算的精度的同时实现高速化。

此处，在需要视差运算的高速性的情况下，设定传送范围标志FO＝3(第三动作模式)，将传送范围设为在摄像区域的一半的区域中生成的摄像信号，始终仅传送第一场。此外，在一定程度上需要高速性和高精度性的情况下，设定传送范围标志FO＝2(第二动作模式)，将传送范围设为在摄像区域的一半的区域中生成的摄像信号，传送第一帧到第三帧。此外，需要高精度性的情况下，设定传送范围标志FO＝1(第一动作模式)，将传送范围设为在摄像区域的整个区域中生成的摄像信号，传送第一帧到第三帧。通过这样动作，能够根据状况适当变更高速性和高精度性。

另外，SLSI125根据与被摄体有关的信息判断是否需要视差运算的高速性和/或高精度性。即，例如，根据上述那样求出的可靠性E的值，SLSI125判断是否需要高速性和/或高精度性，根据该判定结果，SLSI125选择第一～第三动作模式的某一种。

另外，通过追加使传送范围为在摄像区域的整个区域中生成的摄像信号并仅传送第一场的情况，能够进一步细致地与状况相对应。此外，代替第一场，也可以传送第二场或者第三场。

(实施方式2)

本发明的实施方式1的摄像装置中，主要透过近红外光成分的彩色滤光片(第一彩色滤光片124a和第二彩色滤光片124b)以及主要透过绿色光成分的彩色滤光片(第三彩色滤光片124c和第四彩色滤光片124d)分别水平地配置，在与它们相对应的摄像成分彼此之间(第一摄像信号I1与第二摄像信号I2，以及第三摄像信号I3与第四摄像信号I4)进行比较，运算视差，根据该视差运算距离。与此相对，本发明的实施方式2的摄像装置中，主要透过近红外光成分的彩色滤光片和主要透过绿色光成分的彩色滤光片分别对角配置，在与它们相对应的摄像成分彼此之间进行比较，运算视差，根据该视差运算距离。

以下，参照附图说明本发明的实施方式2的摄像装置。

图21是表示本发明的实施方式2的摄像装置的结构的截面图。在图21中，摄像装置201具有透镜模块部110和电路部220。

透镜模块部110具有镜筒111、上部盖玻璃112和透镜113。电路部220具有基板121、封装122、摄像元件223、封装盖玻璃224和系统LSI(以下，记为SLSI)225。

镜筒111、上部盖玻璃112和透镜113与上述实施方式1相同，省略说明。

基板121和封装122与上述实施方式1相同，省略说明。

摄像元件223是作为固体摄像元件的CMOS传感器，以摄像元件223的受光面与第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d的光轴大致垂直的方式配置。摄像元件223的各端子通过引线接合由金线227与封装122的内侧的底部的金属端子连接，通过基板121与SLSI125电连接。在摄像元件223的受光面上，从第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部113d射出的光分别成像，其光信息通过光电二极管变换为电信息，该电信息被传送到SLSI125。

图22是表示本发明的实施方式2的摄像装置的电路部的结构的平面图。封装盖玻璃224是平板状，由透明树脂形成，通过粘接等固定在封装122的上表面。在封装盖玻璃224的上表面，通过蒸镀等配置有第一彩色滤光片224a、第二彩色滤光片224b、第三彩色滤光片224c、第四彩色滤光片224d和遮光部224e。此外，在封装盖玻璃224的下表面，通过蒸镀等配置有反射防止膜。

摄像元件223与实施方式1的情况相同，由第一摄像区域223a、第二摄像区域223b、第三摄像区域223c和第四摄像区域223d构成。这些第一～第四摄像区域223a～223d以各自的受光面与第一～第四透镜部113a～113d的光轴大致垂直的方式配置成2行2列。另外，与实施方式1的情况相同，1个摄像元件为1个摄像区域，通过设置多个这样的摄像元件，能够具有多个摄像区域。

图23是本发明的实施方式2照相机模块的彩色滤光片的特性图。第二彩色滤光片224b和第三彩色滤波器224c具有图23的IR所表示的主要透过近红外光的分光透射特性(以波长λ1为中心的透射特性。例如，λ1＝870nm)，第一彩色滤光片224a和第四彩色滤光片224d具有图23的G所表示的主要透过绿色光的分光透射特性(以波长λ2为中心的透射特性。例如，λ2＝500nm)。

从而，从第一透镜部113a的上部入射的物体光从第一透镜部113a的下部射出，通过第一彩色滤光片224a主要透过绿色光，在第一摄像区域223a的受光部上成像，因此，第一摄像区域223a接受物体光中的绿色光成分。此外，从第二透镜部113b的上部入射的物体光从第二透镜部113b的下部射出，通过第二彩色滤光片224b主要透过近红外光，在第二摄像区域223b的受光部上成像，因此，第二摄像区域223b接受物体光中的近红外光成分。此外，从第三透镜部113c的上部入射的物体光从第三透镜部113c的下部射出，通过第三彩色滤光片224c主要透过近红外光，在第三摄像区域223c的受光部上成像，因此，第三摄像区域223c接受物体光中的近红外光成分。进而，从第四透镜部113d的上部入射的物体光从第四透镜部113d的下部射出，通过第四彩色滤光片224d主要透过绿色光，在第四摄像区域223d的受光部上成像，因此，第四摄像区域223d接受物体光中的绿色光成分。

SLSI225按照后述的方法驱动摄像元件223，输入来自摄像元件223的电信息，进行各种运算，与上位CPU进行通信，将图像信息、距离信息等输出到外部。另外，SLSI225与电源(例如3.3V)和地(例如0V)连接。

接着，说明本发明的实施方式2的摄像装置的动作。图24是表示本发明的实施方式2的摄像装置的结构的框图。SLSI225具有系统控制部231、摄像元件驱动部232、摄像信号输入部233、前处理部234、输入缓冲器135、运算部236、输出缓冲器137和输入输出部138。摄像元件驱动部232具有第一摄像元件驱动部232a和第二摄像元件驱动部232b，输入缓冲器135具有第一输入缓冲器135a、第二输入缓冲器135b、第三输入缓冲器135c和第四输入缓冲器135d。运算部236具有运算缓冲器241、视差运算部242、距离运算部143和传送范围决定部144。运算缓冲器241具有第一运算缓冲器241a和第二运算缓冲器241b。输出缓冲器137具有第一输出缓冲器137a和第二输出缓冲器137b。

系统控制部231由CPU(中央运算处理装置：Central ProcessingUnit)、逻辑电路等构成，控制SLSI225的整体。

摄像元件驱动部232由逻辑电路等构成，产生驱动摄像元件223的信号，向摄像元件223施加与该信号相应的电压。该摄像元件驱动部232由第一摄像元件驱动部232a和第二摄像元件驱动部232b构成，在后述的传送范围标志FO＝1(第一动作模式)时，第一摄像元件驱动部232a动作，在传送范围标志FO＝2(第二动作模式)时，第二摄像元件驱动部232b动作。这样，通过预先准备两种电路(摄像元件驱动部)，能够容易地进行传送范围的变更(动作模式的切换)。

摄像信号输入部233以CDS电路(相关双采样电路：CorrelatedDouble Sampling Circuit)、AGC(自动增益控制器：Automatic GainController)、ADC(模拟/数字转换器：Analog Digital Converter)串联连接的方式构成，被输入来自摄像元件223的电信号，通过CDS电路去除固定噪声，通过AGC调整增益，通过ADC从模拟信号变换成数字值，如后所述，成为第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4。

传送范围决定部144按照后述的方法决定传送范围标志FO。在传送范围标志FO＝1时，表示传送范围是在摄像区域的整个区域中生成的摄像信号，在传送范围标志FO＝2时，表示传送范围是在摄像区域的一半的区域中生成的摄像信号。另外，传送范围标志初始化为FO＝1。

图25是用于说明本发明的实施方式2的摄像装置的摄像信号的截取位置的图。图26是表示本发明的实施方式2的摄像装置的摄像信号的传送的时序图。在传送范围标志FO＝1时，传送范围是在摄像区域的整个区域中生成的摄像信号，因此如图25(a)所示，传送与第一摄像信号I1对应的区域(原点为(x01，y01)，水平像素为H1像素，垂直像素为V1像素的区域)、与第二摄像信号I2对应的区域(原点为(x02，y02)，水平像素为H1像素，垂直像素为V1像素的区域)、与第三摄像信号I3对应的区域(原点为(x03，y03)，水平像素为H1像素，垂直像素为V1像素的区域)、以及与第四摄像信号I4对应的区域(原点为(x04，y04)，水平像素为H1像素，垂直像素为V1像素的区域)。如图26(a)所示，从垂直同步信号21f的上升沿开始的一定期间之后，在信号24f的高电平下，依次传送摄像信号，在摄像信号输入部133中从模拟信号变换成数字信号的摄像信号并输入。即，在以24f1表示的期间中，第一摄像信号I1按照I1(0，0)、I1(1，0)、I1(2，0)、……、I1(H1—1，V1—1)的顺序输入；在以24f2表示的期间中，第二摄像信号I2按照I2(0，0)、I2(1，0)、I2(2，0)、……、I2(H1—1，V1—1)的顺序输入；在以24f3表示的期间中，第三摄像信号I3按照I3(0，0)、I3(1，0)、I3(2，0)、……、I3(H1—1，V1—1)的顺序输入；以及，在以24f4表示的期间中，第四摄像信号I4按照I4(0，0)、I4(1，0)、I4(2，0)、……、I4(H1—1，V1—1)的顺序输入，并传送到前处理部234。

在传送范围标志FO＝2时，传送范围是在摄像区域的一半的区域中生成的摄像信号，因此，如图25(b)所示，传送与第二摄像信号I2对应的区域(原点为(x02，y02)，水平像素为H1像素，垂直像素为V1像素的区域)，以及与第三摄像信号I3对应的区域(原点为(x03，y03)，水平像素为H1像素，垂直像素为V1像素的区域)。如图26(b)所示，从垂直同步信号21f的上升沿开始经过一定期间之后，在信号24f的高电平下，依次传送摄像信号，在摄像信号输入部133中从模拟信号变换成数字信号的摄像信号并输入。即，在以24g2表示的期间中，第二摄像信号I2按照I2(0，0)、I2(1，0)、I2(2，0)、……、I2(H1—1，V1—1)的顺序输入，以及，在以24g3表示的期间中，第三摄像信号I3按照I3(0，0)、I3(1，0)、I3(2，0)、……、I3(H1—1，V1—1)的顺序输入，传送到前处理部234。

与传送范围标志FO＝1(第一动作模式)时的电荷的传送时间(信号24f为高电平的期间)相比较，传送范围标志FO＝2(第二动作模式)时的电荷的传送时间(信号24f为高电平的期间)是大约一半，因此能够缩短传送1张图像的时间间隔。

前处理部234由逻辑电路等构成，进行摄像信号的强度修正处理，并依次传送到输入缓冲器135。

在FO＝1时，传送范围是在摄像区域的整个区域中生成的摄像信号，因此，修正第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4的强度，并依次传送到输入缓冲器135。第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号是根据分别通过第一透镜部113a、第二透镜部113b、第三透镜部113c和第四透镜部114d被成像的被摄体像而得到的。如下述式11所示，以第一强度修正系数ks1修正第一摄像信号I1；如下述式12所示，以第二强度修正系数ks2修正第二摄像信号I2；如下述式13所示，以第三强度修正系数ks3修正第三摄像信号I3；而且，如下述式14所示，以第四强度修正系数ks4修正第四摄像信号I4。

I1(x，y)＝ks1(x，y)*I1(x，y)……式11

I2(x，y)＝ks2(x，y)*I2(x，y)……式12

I3(x，y)＝ks3(x，y)*I3(x，y)……式13

I4(x，y)＝ks4(x，y)*I4(x，y)……式14

另外，第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)各自表示第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4的坐标(x，y)的强度修正系数，在检查工序等中拍摄定特定图像而决定，并保存在EEPROM、闪存中。另外，也可以不具有各像素的系数而仅具有代表点，使用该代表点通过线性内插求取第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)。此外，也可以建立近似式并仅具有其系数，生成各坐标的第一强度修正系数ks1(x，y)、第二强度修正系数ks2(x，y)、第三强度修正系数ks3(x，y)和第四强度修正系数ks4(x，y)。此外，为了校正透镜的光轴的偏移等，可以适当地进行坐标变换。

另一方面，当FO＝2时，由于传送范围是在摄像区域的一半区域中生成的摄像信号，因此顺序生成第二摄像信号I2以及第三摄像信号I3，依次传送到输入缓冲器135。与FO＝1时(传送整个区域时)相比较，省略有关第一摄像信号I2以及第四摄像信号I4的处理。由于与第二摄像信号I2以及第三摄像信号I3有关的处理相同，因此省略说明。

当FO＝1时，第一输入缓冲器135a由DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等构成，顺序读入第一摄像信号I1，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第二输入缓冲器135b由DRAM等构成，顺序读入第二摄像信号I2，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第三输入缓冲器135c由DRAM等构成，顺序读入第三摄像信号I3，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。第四输入缓冲器135d由DRAM等构成，顺序读入第四摄像信号I4，保存H1*V1像素(沿x方向H1像素，沿y方向V1像素)的数据。

另一方面，在FO＝2时，生成第二摄像信号I2和第三摄像信号I3，并依次输入到输入缓冲器135。与FO＝1时(传送整个区域时)相比较，省略涉及第一输入缓冲器135a和第四输入缓冲器135d的处理。有关第二输入缓冲器135b和第三输入缓冲器135c的处理是同样的，因此省略说明。

运算部236包括：由SRAM构成的第一运算缓冲器241a、第二运算缓冲器241b；由逻辑电路、CPU等构成的视差运算部242；由逻辑电路、CPU等构成的距离运算部143；和由逻辑电路、CPU等构成的传送范围决定部144。运算部236以块单位读入第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4，并保存到第一运算缓冲器241a、和第二运算缓冲器241b中。而且，在视差运算部242中，根据第一运算缓冲器241a和第二运算缓冲器241b的数据等运算视差，在距离运算部143中根据求出的视差运算距离，将求出的距离数据传送到输出缓冲器137。

输出缓冲器137和输入输出部138与上述实施方式1相同，省略说明。

图27是表示本发明的实施方式2的摄像装置的动作的流程图。利用SLSI225的系统控制部231，摄像装置201如该流程图那样动作。

在步骤S2010中，开始动作。例如，上位CPU(未图示)通过输入输出部136向摄像装置201发送动作开始的命令，由此摄像装置201开始动作。接着，执行步骤S2020。

在步骤S2020中，进行传送范围的初始化处理。在本实施方式中，通过该初始化处理，设定传送范围标志FO＝1(第一动作模式)。接着，执行步骤S2030。

在步骤S2030中，输入摄像信号。根据系统控制部231的命令，摄像元件驱动部232随时输出用于进行传送的信号。在传送范围标志FO＝1(第一动作模式)时，第一摄像信号驱动部232a动作。这种情况下，摄像信号输入部233沿x方向输入H1像素，沿y方向输入V1像素，即，按照I1(0，0)((x，y)＝(0，0))、I1(1，0)、I1(2，0)、……、I1(H1—1，V1—1)的顺序输入第一摄像信号I1(x，y)，并依次传送到前处理部234。接着，沿x方向输入H1像素，沿y方向输入V1像素，即，按照I2(0，0)((x，y)＝(0，0))、I2(1，0)、I2(2，0)、……、I2(H1—1，V1—1)的顺序输入第二摄像信号I2(x，y)，并依次传送到前处理部234。接着，沿x方向输入H1像素，沿y方向输入V1像素，即，按照I3(0，0)((x，y)＝(0，0))、I3(1，0)、I3(2，0)、……、I3(H1—1，V1—1)的顺序输入第三摄像信号I3(x，y)，并依次传送到前处理部234。接着，沿x方向输入H1像素，沿y方向输入V1像素，即，按照I4(0，0)((x，y)＝(0，0))、I4(1，0)、I4(2，0)、……、I4(H1—1，V1—1)的顺序输入第四摄像信号I4(x，y)，并依次传送到前处理部234。前处理部234进行强度修正处理，生成第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号I4，将第一摄像信号I1、第二摄像信号、第三摄像信号和第四摄像信号分别依次传送到第一输入缓冲器135a、第二输入缓冲器135b、第三输入缓冲器135c和第四输入缓冲器135d。

另一方面，在传送范围标志FO＝2(第二动作模式)时，第二摄像信号驱动单元232b动作，摄像信号输入部233沿x方向输入H1像素，沿y方向输入V1像素，即，按照I2(0，0)((x，y)＝(0，0))、I2(1，0)、I2(2，0)、……、I2(H1—1，V1—1)的顺序输入第二摄像信号I2(x，y)，并依次传送到前处理部234；沿x方向输入H1像素，沿y方向输入V1像素，即，按照I3(0，0)((x，y)＝(0，0))、I3(1，0)、I3(2，0)、……、I3(H1—1，V1—1)的顺序输入第三摄像信号I3(x，y)，并依次传送到前处理部234。前处理部234进行强度修正处理，生成第二摄像信号I2和第三摄像信号I3，将第二摄像信号I2和第三摄像信号I3分别依次传送到第二输入缓冲器135b和第三输入缓冲器135c。

在步骤S2040中，将保存在第二输入缓冲器135a中的第二摄像信号I2传送到第一输出缓冲器137a，第一输出缓冲器137a将其作为图像数据进行保存。接着，执行步骤S2100。

在步骤S2100中，生成距离数据，并依次传送到第二输出缓冲器137b。此外，决定传送范围，设定传送范围标志FO。该动作的详细过程在后面叙述。接着，执行步骤S2910。

在步骤S2910中，将数据输出到外部。输入输出部138将第一输出缓冲器137a上的图像数据和第二输出缓冲器137b上的距离数据输出到上位CPU(未图示)、外部显示装置(未图示)。接着，执行步骤S2920。

在步骤S2920中，判断是否结束动作。例如，系统控制部231通过输入输出部136，与上位CPU(未图示)通信，请求是否结束动作的命令。并且，如果上位CPU命令结束则结束动作。接着，执行步骤S2930。另一方面，如果上位CPU没有命令结束则继续动作，接着执行步骤S2030。即，只要上位CPU没有命令结束，就继续执行步骤S2030、步骤S2040、步骤S2100和步骤S2910的循环。

在步骤S2930中结束动作。

接着，说明步骤S2100中的动作的详细过程。图28是表示本发明的实施方式2的摄像装置的运算部的动作的流程图。图28的流程图表示步骤S2100的动作的详细过程。在步骤S2100的运算中，首先执行步骤S2110。

在步骤S2110中，开始运算的动作。接着执行步骤S2200。

在步骤S2200中，执行视差运算。图29是表示本发明的实施方式2的摄像装置的视差运算的动作的流程图。图29的流程图表示步骤S2200的动作的详细过程。在步骤S2200的运算中，首先执行步骤S2210。

在步骤S2210中，开始视差运算的动作。接着执行步骤S2220。

在步骤S2220中，根据传送范围标志FO而产生分支。当传送范围标志FO＝1时(S2220中的Y)，传送范围是在摄像区域的整个区域中生成的摄像信号，接着执行步骤S2230a。另一方面，当传送范围标志FO＝2时(S2220中的N)，传送范围是在摄像区域的一半的区域中生成的摄像信号，接着执行步骤2230b。

在步骤2230a中，执行利用第二摄像信号和第三摄像信号的视差运算。图30是表示本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算的动作的流程图。图30的流程图表示步骤S2230a的动作的详细过程。在步骤S2230a的运算中，首先执行步骤S2310。

在步骤S2310中，开始利用第二摄像信号和第三摄像信号的视差运算的动作。接着执行步骤S2320。

在步骤S2320中，在块索引ib中设定0进行初始化处理。接着执行步骤S2330。

在步骤S2330中，选择块。图31是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算中的第二摄像信号的分割块和运算顺序的图，图32是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号的视差运算中的第三摄像信号的分割块和运算顺序的图。在图31中，第二摄像信号I2分割成在x方向有HB像素、在y方向有VB像素的长方形的块，并在x方向上错开HB像素、在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向上具有Nv个块。因此，各块在x方向、y方向都没有重叠的部分。在图32中，第三摄像信号I3分割成图32(b)所示的(HB+SB)*(VB+SB)—SB*SB像素的块，在x方向上错开HB像素、在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向具有Nv个块。此外，在图32中不能够取得图32(b)所示的块的块(例如，左上、右下、左下的块)能够适当去除不能够取得的部分(例如，左上的块为HB*VB的长方形的块)。另外，在实施方式2中，以下表示HB＝32、VB＝32的例子。在图31和图32中，在各块的上层记述的数字表示块索引ib。此外，在图31和图32中，在各块的下层记述的坐标(ibx，iby)表示各块在x方向是第ibx个块，在y方向是第iby个块。这里，ibx存在于0到Nh—1，iby存在于0到Vh—1。在步骤S2330中，选择在图31和图32中以块索引ib表示的块(以坐标(ibx，iby)表示的块)。接着，执行步骤S2340。

在步骤S2340中，传送摄像信号。这里，向第一运算缓冲器241a传送在步骤S2330中已选择的块的第二摄像信号I2。将运算缓冲器的坐标(x，y)的值作为Bc1(x，y)。这里，HB＝32、VB＝32，因此x＝0～31、y＝0～31。在步骤S2340中，进而向第二运算缓冲器241b传送已选择的块的第三摄像信号I3。将运算缓冲器的坐标(x，y)的值作为Bc2(x，y)。这里，HB＝32、VB＝32，因此x＝31—SB～31，y＝0～31+SB。例如，在ib＝ibt时，向第一运算缓冲器241a传送被坐标(H1—1，0)和坐标(H1—32，31)包围的1024像素的摄像信号I1，向第二运算缓冲器241b传送在图32中以向右上的斜线描绘的被坐标(H1—10，0)和坐标(H1—32—SB，31+SB)包围的(1024+2*32*SB)像素的摄像信号I3。接着，在ib＝ibt+1时，向第一运算缓冲器241a传送被坐标(H1—33，32)和坐标(H1—64，63)包围的1024像素的摄像信号I1。此外，在第二运算缓冲器241b中，虽然需要在图32中以向右上的斜线描绘的被坐标(H1—33，32)和坐标(H1—64—SB，63+SB)包围的(1024+2*32*SB)像素的摄像信号I3，但因为与ib＝ibt重叠的部分(被坐标(H1—33，32)和坐标(H1—32—SB，31+SB)包围的2*32*SB像素的区域)已经被传送到第二运算缓冲器241b，所以向第二运算缓冲器241b仅传送新的被坐标(H1—33—SB，31+SB)和坐标(H1—64—SB，63+SB)包围的2048像素。由此，能够减少传送时间。接着，执行步骤S2350。

在步骤S2350中，执行视差运算。首先，运算视差评价值R(k)。这里，k是表示使像素偏移多少的偏移量，以k＝0，1，2，……，SB的方式变化。图33是说明本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号时的视差运算中的视差评价值的运算区域的图。如图33所示，存储有数据Bc1的区域是第一运算缓冲器241a中的区域。存储有数据Bc2的区域，是在图33中从以Bc1表示的块在x方向上向负方向移动偏移量k、并在y方向上向正方向移动偏移量k的第二运算缓冲器241b中的区域。而且，对于偏移量k＝0～SB，运算下述式15表示的绝对值差值总和(SAD：Sum of AbsoluteDifferences)，作为视差评价值R(k)。

R(k)＝∑∑|Bc1(x，y)—Bc2(x—k，y+k)|……式15

该视差评价值R(k)表示第一运算缓冲器241a的数据Bc1、与在x方向上向负方向离开k并在y方向上向正方向离开k的区域中的第二运算缓冲器241b的数据Bc2存在多少相关性，值越小表示相关性越大(越近似)。这里，第一运缓冲器241a的数据Bc1传送第二摄像信号I2，第二运算缓冲器241b的数据Bc2传送第三摄像信号I3，因此，视差评价值R(k)表示第二摄像信号I2与相对应的第三摄像信号I3存在多少相关性。

如图17所示，视差评价值R(k)根据偏移量k的值而产生变化，在偏移量k＝Δ时具有极小值。第一运算缓冲器241a的数据Bc1表示出与存在于将第一运算缓冲器241a的数据Bc1在x方向上向负方向移动k且在y方向上向正方向移动k而到达的区域的第二运算缓冲器241b的数据Bc2最具有相关性(最近似)。从而可知第一运算缓冲器241a的数据Bc1与第二运算缓冲器241b的数据Bc2的视差是Δ。这里，将该Δ称为该块中的视差值Δ。

接着，运算视差值Δ的可靠性。图34是说明在本发明的实施方式2的摄像装置的利用第二摄像信号和第三摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。存储有数据Bc1的区域是第一运算缓冲器241a中的区域。存储有数据Bc2的区域是将数据Bc1在x方向上向负方向移动Δ且在y方向上向正方向移动Δ的第二运算缓冲器241b中的区域。而且，如下述式16所示，对于各个区域的数据Bc1(x，y)、Bc2(x—Δ，y+Δ)，将归一化相关系数作为可靠性E。

E(2，3)(ibx，iby)＝∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc2(x—Δ，y+Δ)—avg(Bc2(x—Δ，y+Δ))}]

/√∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc1(x，y)—avg(Bc1(x，y))}

/√∑∑[{Bc2(x—Δ，y+Δ)—avg(Bc2(x—Δ，y+Δ))}

*{Bc2(x—Δ，y+Δ)—avg(Bc2(x—Δ，y+Δ))}]……式16

而且，在利用第二摄像信号和第三摄像信号的视差运算中，将该视差值Δ的可靠性E保存为以坐标(ibx，iby)表示的32×32像素的块中的视差值Δ(2，3)(ibx，iby)和其可靠性E(2，3)(ibx，iby)。(2，3)表示是利用第二摄像信号和第三摄像信号的视差值和可靠性。(ibx，iby)表示是以块索引ib表示的块，是图31中在各块的下层表示的坐标。接着，执行步骤S2360。

在步骤S2360中，块索引ib加1。接着执行步骤S2370。

在步骤S2370中，判断是否结束利用第二摄像信号和第三摄像信号的视差运算。当块索引ib小于Nh*Nv时，为了运算下一个块的视差，接着执行步骤S2330。另一方面，当块索引ib为Nh*Nv以上时，判断为已运算所有块的视差，接着，执行步骤S2380。

在步骤S2380中，结束利用第二摄像信号和第三摄像信号的视差运算，返回上位程序。这样，在利用第二摄像信号和第三摄像信号的视差运算中，对于以块索引ib表示的32×32像素的块，以32×32像素的分辨率求取视差值Δ(2，3)(ibx，iby)及其可靠性E(2，3)(ibx，iby)。这里，(2，3)表示利用的是第二摄像信号和第三摄像信号，(ibx，iby)是图31中在各块的下层表示的坐标(ibx从0到Nh—1变化，iby从0到Nv—1变化)。接着，执行图29的步骤S2240a。

在步骤S2240a中，执行利用第一摄像信号和第四摄像信号的视差运算。图35是表示本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号的视差运算的动作的流程图。图35的流程图表示步骤S2240a的动作的详细过程。在步骤S2240a的运算中，首先，执行步骤S2410。

在步骤S2410中，开始利用第一摄像信号和第四摄像信号的视差运算的动作。接着，执行步骤S2420。

在步骤S2420中，在块索引ib中初始化为0。接着，执行步骤S2430。

在步骤S2430中，选择块。第一摄像信号的块分割与步骤S2330的第二摄像信号的块分割相同，省略说明。其中，块索引ib变更为与后述的图36相同。图36是说明本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号的视差运算中的第四摄像信号的分割块和运算顺序的图。与图31的第二摄像信号I2相同，第一摄像信号I1分割成在x方向具有HB像素、在y方向具有VB像素的长方形的块，在x方向上错开HB像素、在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向具有Nv个块。从而，各块在x方向、y方向上都没有重叠的部分。图36中，第四摄像信号I4分割成图36(b)所示的(HB+SB)*(VB+SB)—SB*SB像素的块，在x方向上错开HB像素、在y方向上错开VB像素地进行配置，在x方向具有Nh个、在y方向具有Nv个块。此外，图36中，不能够取得图36(b)所示的块的块(例如，右上、右下、左下的块)能够适当去除不能够取得的部分(例如，右上的块为HB*VB的长方形的块)。另外，在实施方式2中，以下表示HB＝32、VB＝32的例子。

在图36中，在各块的上层记述的数字表示块索引ib。此外，在图36中，在各块的下层记述的坐标(ibx，iby)表示各块在x方向是第ibx个块，在y方向是第iby个块。这里，ibx存在于0到Nh—1，iby存在于0到Vh—1。在步骤S2320中，选择在图36中以块索引ib表示的块(以坐标(ibx，iby)表示的块)。接着执行步骤S2440。

在步骤S2440中，传送摄像信号。这里，向第一运算缓冲器241a传送在步骤S2430中已选择的块的第一摄像信号I1。将第一运算缓冲器241a的坐标(x，y)的值作为Bc1(x，y)。这里，HB＝32、VB＝32，因此x＝0～31、y＝0～31。在步骤S2430中，向第二运算缓冲器241b传送所选择的块的第四摄像信号I4。将第二运算缓冲器241b的坐标(x，y)的值作为Bc2(x，y)。这里，HB＝32、VB＝32，因此x＝0～31+SB、y＝0～31+SB。例如，在ib＝ibt时，向第一运算缓冲器241a传送被坐标(0，0)和坐标(31，31)包围的1024像素的摄像信号I1，向第二运算缓冲器241b中传送在图36中以向右下的斜线描绘的被坐标(0，0)和坐标(31+SB，31+SB)包围的(1024+2*32*SB)像素的摄像信号I4。接着，在ib＝ibt+1时，向第一运算缓冲器241a传送被坐标(32，32)和坐标(63，63)包围的1024像素的摄像信号I1。此外，在第二运算缓冲器241b中，虽然需要在图36中以向右下的斜线描绘的被坐标(32，32)和坐标(63+SB，63+SB)包围的(1024+2*32*SB)像素的摄像信号I4，但因为与ib＝ibt重叠的部分(被坐标(32，32)和坐标(31+SB，31+SB)包围的2*32*SB像素的区域)已经被传送到第二运算缓冲器241b，所以向第二运算缓冲器241b仅传送新的被坐标(32+SB，32+SB)和坐标(63+SB，63+SB)包围的2048像素即可。接着，执行步骤S2450。

在步骤S2450中，执行视差运算。首先，运算视差评价值R(k)。这里，k是表示使像素偏移多少的偏移量，以k＝0，1，2，……，SB的方式变化。图37是说明本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号时的视差运算中的视差评价值的运算区域的图。如图37所示，存储有数据Bc1的区域是第一运算缓冲器241a中的区域。存储有数据Bc2的区域，是在图37中从以Bc1表示的块在x方向上向正方向移动偏移量k、且在y方向上向正方向移动偏移量k的第二运算缓冲器241b中的区域。而且，对于偏移量k＝0～SB，运算下述式17表示的绝对值差值总和(SAD：Sum of AbsoluteDifferences)，作为视差评价值R(k)。

R(k)＝∑∑|Bc1(x，y)—Bc2(x+k，y+k)|……式17

该视差评价值R(k)表示第一运算缓冲器241a的数据Bc1与在x方向上向正方向离开k、且在y方向上向正方向离开k的区域中的第二运算缓冲器241b的数据Bc2存在多少相关性，值越小表示相关性越大(越近似)。这里，第一运算缓冲器241a的数据Bc1是传送第一摄像信号I1的数据，第二运算缓冲器241b的数据Bc2是传送第四摄像信号I4的数据，因此视差评价值R(k)表示第一摄像信号I1与相对应的第四摄像信号I4存在多少相关性。

如图17所示，视差评价值R(k)根据偏移量k的值而产生变化，在偏移量k＝Δ时具有极小值。第一运算缓冲器241a的数据Bc1表示出与存在于将第一运算缓冲器241a的数据Bc1在x方向上向正方向移动k、且在y方向上向正方向移动k而到达的区域中的第二运算缓冲器241b的数据Bc2最具有相关性(最近似)。从而可知第一运算缓冲器241a的数据Bc1与第二运算缓冲器241b的数据Bc2的视差是Δ。这里，将该Δ称为该块中的视差值Δ。

接着，运算视差值Δ的可靠性。图38是说明在本发明的实施方式2的摄像装置的利用第一摄像信号和第四摄像信号时的视差运算中的视差评价值的可靠性的运算区域的图。存储有数据Bc1的区域是第一运算缓冲器241a中的区域。存储有数据Bc2的区域是将数据Bc1在x方向上向正方向移动Δ、且在y方向上向正方向移动Δ的第二运算缓冲器241b中的区域。而且，如下述式18所示，对于各个区域的数据Bc1(x，y)、Bc2(x+Δ，y+Δ)，将归一化相关系数作为可靠性E。

E(1，4)(ibx，iby)＝∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc2(x+Δ，y+Δ)—avg(Bc2(x+Δ，y+Δ))}]

/√∑∑[{Bc1(x，y)—avg(Bc1(x，y))}

*{Bc1(x，y)—avg(Bc1(x，y))}

/√∑∑[{Bc2(x+Δ，y+Δ)—avg(Bc2(x+Δ，y+Δ))}

*{Bc2(x+Δ，y+Δ)—avg(Bc2(x+Δ，y+Δ))}]……式18

而且，在利用第一摄像信号和第四摄像信号的视差运算中，将该视差值Δ的可靠性E保存为以坐标(ibx，iby)表示的32×32像素的块中的视差值Δ(1，4)(ibx，iby)和其可靠性E(1，4)(ibx，iby)。(1，4)表示是利用第一摄像信号和第四摄像信号的视差值及可靠性。(ibx，iby)表示以块索引ib表示的块，是图31中在各块的下层表示的坐标。接着，执行步骤S2460。

在步骤S2460中，块索引ib加1。接着，执行步骤S2470。

在步骤S2470中，判断是否结束利用第一摄像信号和第四摄像信号的视差运算。当块索引ib小于Nh*Nv时，为了运算下一个块的视差，接着执行步骤S2430。另一方面，当块索引ib在Nh*Nv以上时，判断为已运算所有块的视差，接着，执行步骤S2480。

在步骤S2480中，结束利用第一摄像信号和第四摄像信号的视差运算，返回上位程序。这样，在利用第一摄像信号和第四摄像信号的视差运算中，对于以块索引ib表示的32×32像素的块，以32×32像素的分辨率求取视差值Δ(1，4)(ibx，iby)及其可靠性E(1，4)(ibx，iby)。这里，(1，4)表示利用的是第一摄像信号和第四摄像信号，(ibx，iby)是图31中在各块的下层表示的坐标(ibx从0到Nh—1变化，iby从0到Nv—1变化)。接着，执行图29的步骤S2250a。

在步骤S2250a中，选择视差。相对于各个块，将可靠性E(2，3)(ibx，iby)和E(1，4)(ibx，iby)进行比较，将提供最大可靠性的视差作为该块中的视差值Δ(ibx，iby)。此外，将此时的可靠性作为E(ibx，iby)。接着，执行步骤S2260。

在步骤S2230b中，执行利用第二摄像信号和第三摄像信号的视差运算。该步骤与步骤S2230a相同，省略说明。其中，将所求出的视差和可靠性作为各个块中的视差值Δ(ibx，iby)和可靠性E(ibx，iby)。接着，执行步骤S2260。

在步骤S2260中，结束视差运算，返回上位程序。这样，求出各块的视差值Δ(ibx，iby)。这里，(ibx，iby)是图31的各块的下层中表示的坐标，ibx从0到Nh—1变化，iby从0到Nv—1变化。在木实施方式中，在传送范围标志FO＝1(第一动作模式)时，将利用第二摄像信号I2和第三摄像信号I3得到的视差(近红外光的视差)的可靠性与利用第一摄像信号I1和第四摄像信号I4得到的视差(绿色光的视差)的可靠性进行比较，采用可靠性较高的视差。另一方面，在传送范围标志FO＝2(第二动作模式)时，不进行根据可靠性的选择，采用利用第二摄像信号I2和第三摄像信号I3得到的视差(近红外光的视差)。接着，执行步骤S2700。

在步骤S2700中，距离运算部143进行距离运算，将其结果作为距离数据依次传送到第二输出缓冲器137b。该步骤S2700的动作与实施方式1的步骤S1700相同，省略说明。接着，执行步骤S2800。

在步骤S2800中，传送范围决定部144决定传送范围，设定传送范围标志。该步骤S2800的动作与实施方式1的步骤S1800相同，省略说明。接着，执行步骤S2900。

在步骤S2900中，结束运算动作，返回上位程序。接着，执行步骤S2910。

通过如以上所述构成本实施方式的摄像装置并使其动作，具有与实施方式1相同的效果。即，根据本发明的实施方式2的摄像装置，传送范围决定部144基于根据摄像信号生成的可靠性E(ibx，iby)，在可靠性E(ibx，iby)较小时，使传送范围标志FO＝1(第一动作模式)，在可靠性E(ibx，iby)较大时，使传送范围标志FO＝2(第二动作模式)。由此，当可靠性E(ibx，iby)较大时，判断为有提高高速性的余量，使输出标志FO＝2(第二动作模式)，由此实现能够进行高速的视差运算、距离运算的摄像装置。另一方面，当可靠性(ibx，iby)较小时，判断为需要进一步的精度，使输出标志FO＝1(第一动作模式)，由此能够进行高精度的视差运算、距离运算。

此外，通过利用与对角配置的透镜部(第二透镜部113b和第三透镜部113c，以及第一透镜部113a和第四透镜部114d)相对应的摄像信号(第二摄像信号I2和第三摄像信号I3，以及第一摄像信号I1和第四摄像信号I4)进行视差运算，能够高精度地检测具有沿着水平方向延伸的形状的被摄体(例如，车辆前方的停止线)的视差。

另外，在实施方式2的摄像装置中，第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第四摄像信号的大小分别为沿着水平方向H1像素、沿着垂直方向V1像素，使用该区域的整体进行视差运算，但也可以具有一定程度的余量。即，也可以使在视差运算中利用的摄像信号小于水平方向H1像素、垂直方向V1像素。

此外，在本实施方式2的摄像装置中，根据可靠性E(ibx，iby)变更传送范围，但本发明并不限定于此。本发明的要点在于通过变更传送范围，进行使速度与精度的关系最佳的视差运算、距离运算。另外，也可以根据上位CPU的命令变更传送范围。例如，上位CPU可以使用图像数据，变更传送范围。或者也可以根据用户指定的被摄体信息，上位CPU指示传送范围。

另外，与实施方式1的情况相同，也可以不根据摄像信号决定传送范围。

此外，在实施方式2的摄像装置中，使传送范围标志的初始值为FO＝1(传送范围是整个区域)，但也可以为FO＝2(传送范围是一半的区域)。

此外，在实施方式2的摄像装置中，将第一运算缓冲器的大小取为32×32像素(水平方向32像素，以及垂直方向32像素)，但并不限定于此。例如，也可以是4×4像素、8×8像素。16×16像素。此外，也可以适当变更大小。此外，还可以求取多个尺寸的块的视差并进行选择。进而，还可以不是矩形的块，而是抽取边缘等进行块分割。此外，不限于求取块的视差，还可以求取作为边缘的线段的视差。

此外，在实施方式2的摄像装置中，向第一输出缓冲器137a传送第二摄像信号I2，从输入输出部138输出，但也可以输出其它的摄像信号(第一摄像信号I1、第三摄像信号I3或者第四摄像信号I4)。此外，还可以输出多个摄像信号。进而，也可以根据摄像信号的条件，变更从输入输出部138输出的摄像信号。例如，也可以比较各个摄像信号，变更为输出最明亮的摄像信号(根据摄像信号的大小的平均为最大等已进行判定的信号)，或者轮廓最清楚的信号(根据微分值的平均、最大值为最大等已进行判定的信号)。

另外，在实施方式2的摄像装置中，将作为CMOS传感器的摄像元件223和SLSI225分开制作，但SLSI225也可以通过CMOS工艺构成，在同一半导体基板上构成摄像元件223和SLSI225。由此，与分开构成时相比较，能够省略基板121上的配线等，因此能够实现低成本化。此外，能够提高抗噪性。

另外，在图25(a)中，与第一摄像信号I1对应的区域(用I1表示的区域)、与第二摄像信号I2对应的区域(用I2表示的区域)、与第三摄像信号I3对应的区域(用I3表示的区域)、以及与第四摄像信号I4对应的区域(用I4表示的区域)，分别相对于摄像元件的中心对称地被描绘，但当然也可以不对称。根据透镜113的制造不均性、透镜模块110的组装精度等，通过以使得第一透镜部113a的光轴中心、第二透镜部113b的光轴中心、第三透镜部113c的光轴中心、和第四透镜部113d的光轴中心与各自对应的摄像信号的同一个像素相对应的方式进行组装后的调整等，设定摄像信号I1的原点(x01，y01)、摄像信号I2的原点(x02，y02)、摄像信号I3的原点(x03，y03)、和摄像信号I4的原点(x04，y04)，在SLSI225内、基板121上安装闪存、EEPROM等保持信息，并适当使用即可。

另外，实施方式2的摄像装置能够从任意的位置(如图25所示，在摄像信号I1中，原点是(x01，y01))得到任意大小(如图25所示，摄像信号I1中，水平方向的像素为H1像素，垂直方向的像素为V1像素)的摄像信号。这里，如果仅在垂直方向上能够指定任意的位置，则进行以下所述的变形。图39是用于说明本发明的实施方式2的摄像位置的变形的摄像信号的截取位置的图。图39表示出下述情况：与第一摄像元件I1对应的区域(用I1表示的区域)相比于与第二摄像元件I2对应的区域在垂直方向更位于负的方向(即，第一摄像信号I1的原点的y坐标y01与第二摄像信号I2的原点的y坐标y02之间具有y01<y02的关系)；与第三摄像元件I3对应的区域(用I3表示的区域)相比于与第四摄像元件I4对应的区域在垂直方向上更位于负的方向(即，第三摄像信号I3的原点的y坐标y03与第四摄像信号I4的原点的y坐标y04之间具有y03<y04的关系)。在FO＝1(第一动作模式)时，如图39(a)所示，读出水平方向H0像素、垂直方向y坐标为y＝y01～y02+V1—1的V1+y02—y01像素的区域(用向右下的斜线部表示的区域)，以及水平方向H0像素、垂直方向y坐标为y＝y03～y04+V1—1的V1+y04—y03像素的区域(用向右上的斜线部表示的区域)，并进行适当的前处理，使用与第一摄像信号I1、第二摄像信号I2、第三摄像信号I3和第一摄像信号I4相对应的区域。在FO＝2(第二动作模式)时，如图39(b)所示，读出水平方向H0像素、垂直方向y坐标为y＝y02～y02+V1—1的V1像素的区域(用向右下的斜线部表示的区域)，以及水平方向H0像素、垂直方向y坐标为y＝y03～y03+V1—1的V1像素的区域(用向右上的斜线部表示的区域)，并进行适当的前处理，使用第二摄像信号I2和第三摄像信号I3。

将传送范围标志FO＝1(第一动作模式)时所需要的垂直方向的读出像素数V1+y02—y01(上部的用向右下的斜线部表示的区域的垂直方向的读出像素数)、以及V1+y04—y03(下部的用向右上的斜线部表示的区域的垂直方向的读出像素数)降低到传送范围标志FO＝2(第二动作模式)时所需要的垂直方向的读出像素数V1(上部的用向右下的斜线部表示的区域的垂直方向的读出像素)、以及V1(下部的用向右上的斜线部表示的区域的垂直方向的读出像素数)，即，减少y02—y01+y04—y03像素，相应地能够缩短图像的传送所需要的时间。由此，当可靠性E(ibx，iby)较大时，判断为具有提高高速性的余量，通过使输出标志FO＝2(第二动作模式)，实现能够进行高速的视差运算、距离运算的摄像装置。另一方面，当可靠性E(ibx，iby)较小时，判断为进一步需要精度，通过使输出标志FO＝1(第一动作模式)，能够进行高精度的视差运算、距离运算。

另外，例如作为传送范围标志FO＝3(第三动作模式)，还可以添加仅进行利用第一摄像信号I1和第四摄像信号I4的视差运算的情况。在这种情况下，在FO＝3时，如图39(c)所示，读出水平方向H0像素、垂直方向y坐标为y＝y01～y01+V1—1的V1像素的区域(用向右下的斜线部表示的区域)，以及水平方向H0像素、垂直方向y坐标为y＝y04～y04+V1—1的V1像素的区域(用向右上的斜线部表示的区域)，并进行适当的前处理，使用第一摄像信号I1和第四摄像信号I4。如果不变更读出位置，为了与FO＝2和FO＝3相对应，必须如图39(a)所示读取各自的垂直方向的宽度(2×V1)以上的信息，但如FO＝2与FO＝3的切换那样，根据动作模式，适当变更开始读出的垂直方向的位置，不变更垂直方向的读出像素(保持为2×V1)，由此能够防止图像传送所需要的时间的增大。

此外，在图39中，还可以交替地读出用向右下的斜线部表示的区域和用向右上的斜线部表示的区域的各行。例如，在图39(a)中，可以按照y＝y01、y03、y01+1、y03+1、y01+2、y03+1、……、y01+V1—1、y03+V1—1的顺序读出。在使用滚动快门形式的CMOS传感器的情况下，在读出了用向右下的斜线部表示的区域之后，如果读取被向右上的斜线部占据的区域，则拍摄第二摄像信号I2的时刻与拍摄第三摄像信号I3的时刻不同。从而，当被摄体的动作快速时，因为在误差绝对值总和的运算中利用的摄像信号不同，所以求出的视差的精度下降。在使用滚动快门形式的CMOS传感器的情况下，通过交替地读出用向右下的斜线部表示的区域和被向右上的斜线部占据的区域的各行，即使被摄体的动作快速，在误差绝对值总和的运算中利用的摄像信号的拍摄时间大致一致，因此能够进行高精度的视差运算。

此外，在使用滚动快门形式的CMOS传感器的情况下，如果将各个摄像区域顺序地一个一个像素地读出，则能够进一步降低拍摄时间的影响，实现高精度的视差运算。即，当FO＝1(第一动作模式)时，可以按照(x02，y02)、(x03，y03)、(x01，y01)、(x04，y04)、(x02+1，y02)、(x03+1，y03)、(x01+1，y01)、(x04+1，y04)、(x02+2，y02)、(x03+2，y03)、(x01+2，y01)、(x04+2，y04)、……、(x02+H1—1，y02)、(x03+H1—1，y03)、(x01+H1—1，y01)、(x04+H1—1，y04)、(x02，y02+1)、(x03，y03+1)、(x01，y01+1)、(x04，y04+1)、(x02+1，y02+1)、(x03+1，y03+1)、(x01+1，y01+1)、(x04+1，y04+1)、……、(x02，y02+V1—1)、(x03，y03+V1—1)、(x01，y01+V1—1)、(x04，y04+V1—1)、(x02+1，y02+V1—1)、(x03+1，y03+V1—1)、(x01+1，y01+V1—1)、(x04+1，y04+V1—1)、……、(x02+H1—1，y02+V1—1)、(x03+H1—1，y03+V1—1)、(x01+H1—1，y01+V1—1)、(x04+H1—1，y04+V1—1)的顺序传送。另外，通过如上述那样顺序读出视差运算时相对应的组的摄像信号(第二摄像信号I2和第三摄像信号，以及第一摄像信号I1和第四摄像信号I4)，能够进一步降低拍摄时间的偏差的影响。另一方面，当FO＝2(第二动作模式)时，可以按照(x02，y02)、(x03，y03)、(x02+1，y02)、(x03+1，y03)、(x02+2，y02)、(x03+2，y03)、……、(x02+H1—1，y02)、(x03+H1—1，y03)、(x02，y02+1)、(x03，y03+1)、(x02+1，y02+1)、(x03+1，y03+1)、……、(x02，y02+V1—1)、(x03，y03+V1—1)、(x02+1，y02+V1—1)、(x03+1，y03+V1—1)、……、(x02+H1—1，y02+V1—1)、(x03+H1—1，y03+V1—1)的顺序传送。

这样，传送范围的摄像区域反复交替地向摄像信号输入部233传送所生成的摄像信号的一部分，从而能够将所生成的全部摄像信号传送到摄像信号输入部233。

(实施方式3)

本发明的实施方式1和实施方式2的摄像装置，例如在需要视差运算的高速性的情况下，不传送2组摄像信号而仅传送1组摄像信号，从而减少传送所需要的时间，高速地进行视差运算、距离运算。与此相对，实施方式3的摄像装置在1组摄像信号中，限定进行视差运算的范围，通过仅传送该被限定的部分，减少传送所需要的时间，高速地进行视差运算、距离运算。

以下，参照附图说明本发明的实施方式3的摄像装置。

图40是表示本发明的实施方式3的摄像装置的结构的截面图。在图40中，摄像装置具有透镜模块部310和电路部320。

透镜模块部310具有镜筒311、上部盖玻璃312和透镜313。电路部320具有基板321、封装322、摄像元件323、封装盖玻璃324和系统LSI(以下，记为SLSI)325。

镜筒311和上部盖玻璃312分别与实施方式1的镜筒111和上部盖玻璃312相同，省略说明。

图41是表示本发明的实施方式3的摄像装置的透镜的结构的平面图。透镜313是大致圆盘状，由玻璃、透明树脂形成，配置有第一透镜部313a和第二透镜部313b。沿着第一透镜部313a和第二透镜部313b的配置方向，如图41所示设定x轴，与x轴垂直地设定y轴。在第一透镜部313a和第二透镜部313b，从被摄体侧入射的光向摄像元件323侧射出，在摄像元件323上成像为2个图像。另外，如图41所示，第一透镜部313a的光轴与第二透镜部313b的光轴在水平方向(x轴方向)上仅离开D，在垂直方向(y轴方向)上一致。

基板321和封装322分别与实施方式1的基板121和封装122相同，省略说明。

摄像元件323是CMOS传感器，以摄像元件323的受光面与第一透镜部313a和第二透镜部313b的光轴大致垂直的方式配置。摄像元件323的各端子通过引线接合利用金线327与封装322的内侧的底部的金属端子连接，通过基板321，与SLSI325电连接。从第一透镜部313a和第二透镜部313b出射的光分别在摄像元件323的受光面上成像，其光信息通过光电二极管变换成电信息，该电信息传送到SLSI325。

图42是表示本发明的实施方式3的摄像装置的电路部的结构的平面图。封装盖玻璃324是平板状，由透明树脂形成，通过粘接等固定在封装322的上表面。此外，在封装盖玻璃324的上表面、下表面或者两面上，通过蒸镀等配置有反射防止膜。

SLSI325按照后述的方法驱动摄像元件323，输入来自摄像元件323的电信息，进行各种运算，与上位CPU进行通信，将图像信息、距离信息等输出到外部。另外，SLSI325与电源(例如3.3V)和地(例如0V)连接。

接着，说明本发明的实施方式3的摄像装置的动作。图43是表示本发明的实施方式3的摄像装置的结构的框图。SLSI325具有系统控制部331、摄像元件驱动部332、摄像信号输入部333、前处理部334、输入缓冲器335、运算部336、输出缓冲器337和输入输出部338。输入缓冲器335具有第一输入缓冲器335a和第二输入缓冲器335b。运算部336具有运算缓冲器341、视差运算部342、距离运算部343和传送范围决定部344。运算缓冲器341具有第一运算缓冲器341a和第二运算缓冲器341b。输出缓冲器337具有第一输出缓冲器337a和第二输出缓冲器337b。

系统控制部331由CPU(中央运算处理装置：Central ProcessingUnit)、逻辑电路等构成，控制SLSI325的整体。

摄像元件驱动部332由逻辑电路等构成，产生驱动摄像元件323的信号，向摄像元件323施加与该信号相应的电压。

摄像信号输入部333以CDS电路(相关双采样电路：CorrelatedDouble Sampling Circuit)、AGC(自动增益控制器：Automatic GainController)、ADC(模拟/数字转换器：Analog Digital Converter)串联连接的方式构成，输入来自摄像元件323的电信号，通过CDS电路去除固定噪声，通过AGC调整增益，通过ADC从模拟信号变换成数字值。

前处理部334由逻辑电路等构成，进行强度修正处理，依次传送到输入缓冲器335。另外，为了校正透镜的光轴的偏移等，也可以适当地进行坐标变换。

运算部336包括：由SRAM(Static Random Access Memory：静态随机存取存储器)构成的第一运算缓冲器341a、第二运算缓冲器341b；由逻辑电路、CPU等构成的视差运算部342；由逻辑电路、CPU等构成的距离运算部343；和由逻辑电路、CPU等构成的传送范围决定部344。运算部336以块单位读入第一摄像信号I1和第二摄像信号I2，分别保存在第一运算缓冲器341a、第二运算缓冲器341b中，在视差运算部342中根据第一运算缓冲器341a、和第二运算缓冲器341b的数据等运算视差，在距离运算部343中根据所求出的视差运算距离，将求出的距离数据传送到输出缓冲器337。

输出缓冲器337由DRAM等构成，保存从输入缓冲器335传送来的图像数据和从运算部336传送来的距离数据，并依次传送到输入输出部338。

输入输出部338进行与上位CPU(未图示)的通信，向上位CPU、外部存储器(未图示)和液晶显示器等外部显示装置(末图示)输出图像数据和距离数据。

图44是表示本发明的实施方式3的摄像装置的动作的流程图。根据SLSI325的系统控制部331，摄像装置301如该流程图那样动作。

在步骤S3010中，开始动作。例如，上位CPU(未图示)通过输入输出部336，向摄像装置301发出动作开始的命令，由此摄像装置301开始动作。接着，执行步骤S3020。

在步骤S3020中，进行传送范围的初始化。在本实施方式中，将在摄像区域的整个区域中生成的摄像信号设定为传送范围。而且，使各块(ibx，iby)的传送范围标志FO(ibx，iby)全为1。

图45是用于说明本发明的实施方式3的摄像装置的摄像信号的截取位置的图。摄像元件323的摄像区域的大小是水平方向H0像素、垂直方向V0像素。对通过第一透镜部313a被成像的被摄体像进行拍摄的区域，在图45中如I1所示，是以(x01，y01)为原点的水平方向H1像素、垂直方向V1像素，作为第一摄像信号I1输入到SLSI325。此外，对通过第二透镜部313b被成像的被摄体像进行拍摄的区域，在图45中如I2所示，是以(x02，y02)为原点的水平方向H1像素、垂直方向V1像素，作为第二摄像信号输入到SLSI325。与第一摄像信号I1相对应的区域和与第二摄像信号I2相对应的区域分别分割成多个块的区域。

图46是说明本发明的实施方式3的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第一摄像信号的分割块、运算顺序和传送范围标志的图，图47是说明本发明的实施方式3的摄像装置的利用第一摄像信号和第二摄像信号的视差运算中的第二摄像信号的分割块、运算顺序和传送范围标志的图。图46中，第一摄像信号I1分割成在x方向为HB像素、在y方向为VB像素的长方形的块，在x方向错开HB像素、在y方向错开VB像素地进行配置，在x方向具有Nh个块，在y方向具有Nv个块。从而，各个块在x方向、y方向都没有重叠的部分。在图47中，第二摄像信号I2分割成在x方向为(HB+SB)像素、在y方向为VB像素的长方形的块，在x方向上错开HB像素、在y方向上错开VB像素地进行配置，在x方向具有Nh个块，在y方向上具有Nv个块。从而，在x方向上相邻的块重叠。另一方面，在y方向上相邻的块不重叠。此外，在图47中，在右侧的块中不能够在x方向上取得(HB+SB)像素的块能够适当去除x方向的右端。另外，在实施方式3中，以下表示HB＝32、VB＝32的例子。

在图46和图47中，在各块的上层记述的数字表示块索引ib。此外，在图46和图47中，在各块的中层记述的坐标(ibx，iby)表示各块在x方向上是第ibx个块，在y方向上是第iby个块。这里，ibx存在于0到Nh—1，iby存在于0到Vh—1。此外，在图46和图47中，在各块的下层中表示传送范围标志FO(ibx，iby)，如果传送范围标志FO(ibx，iby)＝1则意味着动作，传送该块的摄像信号，进行视差运算。另一方面，如果传送范围标志FO(ibx，iby)＝0则意味着停止，不传送该块的摄像信号，不进行视差运算。

在步骤S3020中，使各块(ibx，iby)的传送范围标志FO(ibx，iby)全部为1，使传送范围初始化为在摄像区域的整个区域中生成的摄像信号。接着，执行步骤S3030。

在步骤S3030中，输入摄像信号。根据系统控制部331的命令，摄像元件驱动部332随时输出用于进行电子快门、传送的信号。顺序输入传送范围标志FO(ibx，iby)＝1的块(动作的块)的摄像区域的摄像信号，依次传送到前处理部334。前处理部334进行第一摄像信号I1和第二摄像信号I2的强度修正处理，并依次传送到输入缓冲器335。将第一摄像信号I1依次传送到第一输入缓冲器335a，将第二摄像信号I2依次传送到第二输入缓冲器335b。第一摄像信号I1和第二摄像信号I2是分别根据通过第一透镜部313a和第二次透镜部313b被成像的被摄体像而得到的。如下述式19所示，用第一强度修正系数ks1修正第一摄像信号I1，以及如下述式20所示，用第二强度修正系数ks2修正第二摄像信号I2。

I1(x，y)＝ks1(x，y)*I1(x，y)……式19

I2(x，y)＝ks2(x，y)*I2(x，y)……式20

另外，第一强度修正系数ks1(x，y)和第二强度修正系数ks2(x，y)表示第一摄像信号I1和第二摄像信号I2的坐标(x，y)的强度修正系数，在检查工序等中拍摄特定图像而决定，并保存在EEPROM、闪存中。另外，也可以不具有各像素的系数而仅具有代表点，使用该代表点通过线性内插求取第一强度修正系数ks1(x，y)和第二强度修正系数ks2(x，y)。此外，也可以建立近似式且仅具有其系数，生成各坐标的第一强度修正系数ks1(x，y)和第二强度修正系数ks2(x，y)。此外，为了校正透镜的光轴的偏移等，可以适当地进行坐标变换。接着，执行步骤S3040。

在步骤S3040中，将保存在第一输入缓冲器335a中的第一摄像信号I1传送到第一输出缓冲器337a，第一输出缓冲器337a作为图像数据进行保存。另外，在传送范围标志FO(ibx，iby)＝1的块(动作的块)中，直接传送摄像信号I1，在传送范围标志FO(ibx，iby)＝0的块(停止的块)中，因为没有应该传送的摄像信号I1，所以进行使该图像数据全部为黑等的处理。接着，执行步骤S3100。

在步骤S3100中，生成距离数据，并依次传送到第二输出缓冲器337b。此外，决定传送范围，设定传送范围标志FO(ibx，iby)。该动作的详细过程在后面叙述。接着，执行步骤S3910。

在步骤S3910中，将数据输出到外部。输入输出部338将第一输出缓冲器337a上的图像数据和第二输出缓冲器337b上的距离数据输出到上位CPU(未图示)、外部显示装置(未图示)。另外，还可以适当输出传送范围标志FO(ibx，iby)。接着，执行步骤S3920。

在步骤S3920中，判断是否结束动作。例如，系统控制部331通过输入输出部336与上位CPU(未图示)通信，请求是否结束动作的命令。而且，如果上位CPU命令结束则结束动作。接着，执行步骤S3930。另一方面，如果上位CPU没有命令结束则继续动作，接着执行步骤S3030。即，只要上位CPU没有命令结束，就继续执行步骤S3030、步骤S3040、步骤S3100和步骤S3910的循环。

在步骤S3930中结束动作。

接着，说明步骤S3100中的动作的详细过程。图48是表示本发明的实施方式3的摄像装置的运算部的动作的流程图。图48的流程图表示步骤S3100的动作的详细过程。在步骤S3100的运算中，首先执行步骤S3110。

在步骤S3110中，开始运算的动作。接着，执行步骤S3200。

在步骤S3200中，执行视差运算。图49是表示木发明的实施方式3的摄像装置的视差运算的动作的流程图。图49的流程图表示步骤S3200的动作的详细过程。在步骤S3200中，进行利用第一摄像信号和第二摄像信号的视差运算。在步骤S3200的运算中，首先执行步骤S3310。

在步骤S3310中，开始视差运算的动作。接着，执行步骤S3320。

在步骤S3320中，在块索引ib中设定0进行初始化。接着，执行步骤S3330。

在步骤S3330中，选择块。选择在图46和图47中以块索引ib表示的块(以坐标(ibx，iby)表示的块)。接着，执行步骤S3335。

在步骤S3335中，判断是否是传送范围并产生分支。在以块索引ib表示的块(以坐标(ibx，iby)表示的块)中，当传送范围标志FO(ibx，iby)＝1(动作的块)时，接着执行步骤S3340。另一方面，在以块索引ib表示的块(以坐标(ibx，iby)表示的块)中，当传送范围标志FO(ibx，iby)＝0(停止的块)时，接着执行步骤S3360。这样，在传送范围标志FO(ibx，iby)＝1(动作的块)的块中，在后述的步骤S3340中传送摄像信号，在后述的步骤S3350中进行视差运算，并执行后述的步骤S3360。另一方面，在传送范围标志FO(ibx，iby)＝0(停止的块)的块中，不进行传送摄像信号和视差运算的动作，而执行后述的步骤S3360。

在步骤S3340中，传送摄像信号。该步骤S3340的动作与实施方式1的步骤S1340的动作相同，省略说明。其中，关于第二摄像信号，能够省略传送的部分仅是存在块的重叠而且在该块中传送范围标志FO(ibx，iby)＝1(动作的块)的部分(即，已被传送的部分)。接着，执行步骤S3350。

在步骤S3350中，执行视差运算。该步骤S3350的动作与实施方式1的步骤S1350的动作相同，省略说明。其中，不需要进行可靠性的运算，将在实施方式1中以Δ(1，2)(ibx，iby)表示的视差作为以块索引ib的表示的块(以坐标(ibx，iby))表示的块)的视差值Δ(ibx，iby)。接着，执行步骤S3360。

在步骤S3360中，块索引ib加1。接着，执行步骤3370。

在步骤S3370中，判断是否结束视差运算。当块索引ib小于Nh*Nv时，为了运算下一个块的视差，接着执行步骤S3330。另一方面，当块索引ib在Nh*Nv以上时，判断为已运算所有块的视差，接着，执行步骤S3380。

在步骤S3380中，结束视差运算，返回上位程序。这样，对于以块索引ib表示的32×32像素的块，以32×32像素的分辨率求取视差值Δ(ibx，iby)。这里，(ibx，iby)是图46中在各块的中层表示的坐标(ibx从0到Nh—1变化，iby从0到Nv—1变化)。接着，执行图48的步骤S3700。

在步骤S3700中，距离运算部343进行距离运算，将其结果作为距离数据依次传送到第二输出缓冲器337b。该步骤S3700的动作与实施方式1的步骤S1700的动作相同，省略说明。其中，距离运算仅对传送范围标志FO(ibx，iby)＝1(动作的块)进行。另外，如果在传送范围标志FO(ibx，iby)＝0(停止的块)中代入负数，则即使没有向上位CPU进行传送范围标志FO(ibx，iby)的信息传送，由于上位CPU对于传送来的距离数据A(ibx，iby)中代入了负数的块，能够判断为是没有进行视差运算、距离运算的块，因此能够减少通信的负荷。接着，执行步骤S3800。

在步骤S3800中，传送范围决定部344决定传送范围，设定各块(ibx，iby)的传送范围标志FO(ibx，iby)。图50是说明本发明的实施方式3的摄像装置的传送范围的图。另外，在图50中，为了简单，表示块数较小的情况，但块数并不限于该图的情况。传送范围决定部344在由第一摄像信号I1构成的图像的各块中，使包括人物的面部的块为FO(ibx，iby)＝1(动作的块)，使不包括人物的面部的块为FO(ibx，iby)＝0(停止的块)。在图50中，以图50(a)的坐标(0，0)、坐标(1，0)表示的块那样的空心的块表示传送范围标志FO(ibx，iby)＝1(动作的块)，例如，图50(b)、(c)、(d)的以坐标(0，0)、坐标(1，0)表示的块那样加入了斜阴影线的块表示传送范围标志FO(ibx，iby)＝0(停止的块)。

例如，起动作为照相机模块的摄像装置301而最初拍摄的摄像信号I1，在步骤3020中，初始化成全部块的传送范围标志FO(ibx，iby)＝1，因此，如图50(a)所示，传送与第一透镜部313a对应的摄像区域的全部范围。传送范围决定部344判断人物的面部的部分，如图50(b)所示，包括面部的块保持为传送范围标志FO(ibx，iby)＝1(空心的块)，不包括面部的块以传送范围标志FO(ibx，iby)＝0(加入了斜阴影线的块)的方式变更图50(a)所示的传送范围标志FO(ibx，iby)。

另外，作为检测人物的面部的方法能够利用众所周知的方法。例如，在人物的前面配置本实施方式的摄像装置的情况下，将具有椭圆形的边缘(与面部的轮廓相当的边缘)、且在其内部具有2个黑点(与眼睛相当的2个点)的图像内的区域检测为人物的面部即可。

此外，在具有图50(b)所示的传送范围标志FO(ibx，iby)的分布时，如果人物的面部移动，则如图50(c)所示，面部的一部分移动成为传送范围标志FO(ibx，iby)＝0(停止的块)。在这种情况下，在图50(b)中包括面部所以FO(ibx，iby)＝1(空心的块。动作的块)、但在图50(c)中不包括面部的块，如图50(d)的3800A所示，变更成传送范围标志FO(ibx，iby)＝0(加入了斜阴影线的块)。而且，在图50(b)中不包括面部所以FO(ibx，iby)＝0(加入了斜阴影线的块。停止的块)、但在图50(c)中包括面部的块，如图50(d)的3800B所示，变更成传送范围标志FO(ibx，iby)＝1(空心的块。动作的块)。接着，执行步骤S3900。

在步骤S3900中，结束运算动作，返回上位程序。接着执行步骤S3910。

通过如上所述构成本实施方式的摄像装置并使其进行动作，具有以下的效果。

在始终将在摄像区域的整个区域中生成的摄像信号作为传送范围的情况下，总是需要传送所有像素的传送时间，由于该传送时间，相应地在高速化上存在界限。根据本发明的实施方式3的摄像装置，如图50(b)(d)所示，使包括人物的面部的块的传送范围标志FO(ibx，iby)＝1，仅传送包括人物的面部的块的摄像信号。在利用于车载用的乘客监视的情况下，应该注视的被摄体是人物的面部，需要面部的距离测定。因此，通过限定仅传送面部的区域，与传送全部像素的情况相比较能够减少传送量，实现能够进行高速的视差运算、距离运算的摄像装置。例如，在图50(b)(d)中，相对于所有的48个块，能够将传送摄像信号的块减少到14个。

另外，在实施方式3的摄像装置中，如上所述，将在摄像区域的一部分的区域中生成的摄像信号(与所有块中的特定的块有关的摄像信号)设定为传送范围。而且，适当变更该传送范围。换言之，适当切换多个动作模式。

此外，在实施方式3的摄像装置中，作为初始状态，将整个图像区域设定为传送范围，但也可以预先仅将中心附近的图像区域设为传送范围。如果在适当的位置安装摄像装置，则人物的面部大部分位于图像的中心，因此作为初始状态仅对中心附近进行传送，并适当变更传送范围即可。由此，因为能够总是将在摄像区域的一部分的区域中生成的摄像信号作为传送区域，所以总是能够缩短传送时间，能够高速地进行视差运算、距离运算。

此外，在实施方式3的摄像装置中，将第三运算缓冲器的大小设为32×32像素(水平方向32像素，以及垂直方向32像素)，但并不限定于此。例如，也可以是4×4像素、8×8像素、16×16像素。此外，也可以适当变更大小。此外，也可以求取多个尺寸的块的视差并进行选择。进而，也可以不是矩形的块，而是抽取边缘等并进行块分割。此外，不限于求取块的视差，还可以求取作为边缘的线段的视差。

此外，在实施方式3的摄像装置中，将第一摄像信号I1传送到第一输出缓冲器337a，从输入输出部338输出，但也可以输出第二摄像信号I2。此外，还可以输出多个摄像信号。

此外，在实施方式3的摄像装置中，仅传送包括人物的面部的块，但也可以进行一步进行限定，例如，仅传送在面部中包括眼睛的块等。

此外，在实施方式3的摄像装置中，仅传送包括人物的面部的块，但也可以例如仅传送在摄像信号中与相当于路面的区域以外的区域有关的摄像信号等。图51是说明本发明的实施方式3的摄像装置的变形的传送范围的图。例如，起动作为照相机模块的摄像装置301，在步骤S3020中初始化成所有块的传送范围标志FO(ibx，iby)＝1，因此如图51(a)所示，最初拍摄的摄像信号I1传送在与第一透镜部313a相对应的摄像区域的整个区域中生成的摄像信号。传送范围决定部344判断不是路面的部分，如图51(b)所示，将包括不是路面的被摄体(前方的汽车、人物和本车)的块保持为传送范围标志FO(ibx，iby)＝1(空心的块。动作的块)，作为路面的块变更为传送范围标志FO(ibx，iby)＝0(加入了斜阴影线的块。停止的块)。

另外，作为检测与路面相当的区域的方法，能够利用众所周知的方法。例如，能够如以下那样进行检测。在汽车的前面配置本发明的摄像装置，调整成透镜的光轴与路面平行，在测定前方的距离时，被摄体距离A1如下述式21那样表示。在式21中，θ是透镜的光轴与路面的角度，Z表示配置的摄像装置距路面的高度。而且，在根据各块中的视差值Δ(ibx，iby)运算的距离A(ibx，iby)与用式21运算得到的距离A1大致一致的情况下，判断为在该块中拍摄的被摄体是路面。

A1＝Z/tanθ                              ……式21

在使传送范围始终为在摄像区域的整个区域中生成的摄像信号的情况下，总是需要传送所有像素的传送时间，由于该传送时间，相应地在高速化上存在界限。根据本发明的实施方式3的摄像装置的变形，如图51(b)所示，使包括不是路面的被摄体的块的传送范围标志FO(ibx，iby)＝1，仅传送包括不是路面的被摄体的块的摄像信号。在利用于车载用的前方监视的情况下，应该注视的被摄体是路面以外的例如前方的车辆、人物和其它结构物，需要进行它们的距离测定。于是，通过限定仅传送路面以外的区域，与传送所有像素的情况相比较，能够减少传送量，实现能够进行高速的视差运算、距离运算的摄像装置。例如，在图51(b)中，对于全部的72个块，能够将传送摄像信号的块减少到15个。

此外，在实施方式3的摄像装置中，仅传送包括人物的面部的块，但也可以仅传送摄像信号中包括有运动的被摄体的区域。图52是说明本发明的实施方式3的摄像装置的变形的传送范围的图。图52(a)和图52(b)是运动图像的连续的2个帧图像。图52(a)中，位于从右侧开始的第二到第三个块的人物在下一帧中，如图52(b)所示，位于从右侧开始的第三到第四个块中。在这样的情况下，如图52(c)所示，作为应该在下一帧中传送的块，是运动的人物所位于的块(从右侧开始的第三到第四个块)，以及推测继续同一运动，人物移动到的块(从右侧开始的第5个块)。即，图52(b)的下一帧的传送范围标志FO(ibx，iby)是，使运动的人物所位于的块(从右侧开始的第三到第四个块)，以及推测继续同一运动，人物移动到的块(从右侧开始的第5个块)为传送范围标志FO(ibx，iby)＝1(空心的块。运动的块)，使除此以外的块为传送范围标志FO(ibx，iby)＝0(添加了斜阴影线的块。停止的块)(参照图52(c))。

这里，使第一摄像信号I1中的连续的2个帧图像的差值的绝对值的总和DtDiff(下述式22)较大的块为包括运动的被摄体的块即可。

DtDiff＝∑∑I1(x，y)(t0)—I1(x，y)(t0+dt)……式22

另外，I1(x，y)(t0)表示时刻t0、坐标(x，y)的第一摄像信号I1，I1(x，y)(t0+dt)表示时刻t0+dt、坐标(x，y)的第一摄像信号I1。

在使传送范围始终为在摄像区域的整个区域中生成的摄像信号的情况下，总是需要传送所有像素的传送时间，由于该传送时间，相应地在高速化方面存在界限。根据本发明的实施方式3的摄像装置的变形，如图52(c)所示，使包括运动的被摄体(在图52中表示为人物)的块的传送范围标志FO(ibx，iby)＝1。在利用于车载用的前方监视的情况下，应该注视的被摄体是运动的被摄体，例如前方的车辆、人物、动物等，需要进行它们的距离测定。于是，通过限定仅传送运动的被摄体的区域，与传送所有像素的情况相比较，能够减少传输量，实现能够进行高速的视差运算、距离运算的摄像装置。例如，在图52(c)中，对于所有的48个块，能够将传送摄像信号的块减少到12个。

另外，优选根据被摄体的动作速度决定传送范围。在与被摄体的动作速度无关地使传送范围始终为被摄体的图像的周围的一定区域的情况下，如果被摄体的速度较快，则有时被摄体没有包括在该区域内，使得视差的精度恶化。如图52(c)所示，预测被摄体的动作，将预测在下一帧中会动作的区域包括在内地进行传送。即，根据被摄体的动作速度，传送范围决定部344决定传送范围。这样，通过根据被摄体的动作速度适当决定传送范围的大小，使被摄体包括在传送范围内，因此能够实现能够进行高精度的视差运算、距离运算的摄像装置。

这里，被摄体的动作速度能够通过比较各帧间的图像等，利用传送范围决定部344进行检测。

另外，当被摄体的动作较快时，优选使传送范围较大。即，当动作较快时，使预测为在下一帧会动作的范围较大，使被摄体总是包括在传送区域内，由此实现能够进行高精度的视差运算、距离运算的摄像装置。

此外，优选使包括在传送范围内的像素数，即块数，在多个帧中大致相同。例如，如图52(c)所示，如果包括在传送范围内的块设定为12个，则摄像装置可以以使得在多个帧中保持12这个数目的方式进行动作。

如果仅根据被摄体的动作速度决定传送范围，则在动作较快的被摄体在整个区域中包括有多个的情况下，容易产生传送量增大的情况。从而，在整个区域中包括有多个动作快速的被摄体的情况下，使包括在传送范围内的像素一定，在多个帧中保持该像素数。为此，例如将用于判定被摄体的动作是否快速的阈值设定得较大，进行缩减被摄体等的处理。由此，包括在传送范围内的像素数保持为一定。从而，能够防止传送量的增大，实现能够进行高速的视差运算、距离运算的摄像装置。

这样，优选在多个帧中将包括在传送范围内的像素数保持为一定，但该像素数并非必须在多个帧中相同，也可以根据传送速度等增减该像素数。

以上，说明了本发明的几个实施方式，但这些仅是例示，在本发明的实施时，能够如以下所述进行各种变更。

实施方式1到实施方式3的摄像装置由SLSI125、225和325决定传送范围标志FO，而也可以是SLSI以外的单元进行决定。此外，也可以将SLSI的功能分割为多个LSI，并安装在基板上。

此外，在实施方式1到实施方式3的摄像装置中，直接利用了运算得到的视差，但也可以适当进行限制。根据透镜特性，当被摄体距离A比某个值小时，可能图像不鲜明。因此，如果将该值设定为被摄体距离A的最小值，则能够确定视差的最大值。比该值大的视差可以看作误差并忽略。此外，在这样的情况下，可以将视差评价值第二小的值用作视差。此外，在视差评价值中显著存在2个极值时，也可以采用较大一方的视差。在这种情况下，在该块中包括被摄体和背景，由于被摄体距离与背景距离不同，极值出现2个。这时，可以采用其中对障碍物检测产生较大影响的较大的视差。

在第一实施方式的摄像装置中，第一彩色滤光片124a和第二彩色滤光片124b主要透过红外光，第三彩色滤光片124c和第四彩色滤光片124d主要透过绿色光。此外，在第二实施方式的摄像装置中，第二彩色滤光片224b和第三彩色滤光片224c主要透过红外光，第一彩色滤光片224a和第四彩色滤光片224d主要透过绿色光。然而，这些都是例示，本发明并不限定于此。从而，也可以分别透过不同的波长域。例如，也可以透过红色光、蓝色光、远红外光、近紫外光等。此外，还可以省略一侧的彩色滤光片。此外，也可以是，一组配置有某个特定的彩色滤光片，一组在摄像元件上配置有拜耳阵列(Bayer array)的滤光片。此外，也可以是各个组的彩色滤光片特性相同，F值、焦点距离不同。

在本发明的摄像装置的情况下，因为需要进行视差运算，所以在各动作模式中，将在4个摄像区域中的至少2个摄像区域中生成的摄像信号作为传送范围。这样，虽然需要将在至少2个摄像区域中生成的摄像信号作为传送范围，但是这些摄像区域可以是任意的。从而，在实施方式1的摄像装置中，在摄像区域的整个区域与上半部分的区域(与第一透镜部113a和第二透镜部113b相对应的区域)间进行切换，但也可以在整个区域与下半部分的区域(与第三透镜部113c和第四透镜部113d相对应的区域)间进行切换。此外，还可以在上半部分的区域(与第一透镜部113a和第二透镜部113b相对应的区域)与下半部分的区域(与第三透镜部113c和第四透镜部113d相对应的区域)间进行切换。

此外，在实施方式2的摄像装置中，在摄像区域的整个区域与对角向右上方的区域(与第二透镜部113b和第三透镜部113c相对应的区域)间进行切换，但也可以在整个区域与对角向右下方的区域(与第一透镜部113a和第四透镜部113d相对应的区域)间进行切换。此外，还可以在对角向右上方的区域(与第二透镜部113b和第三透镜部113c相对应的区域)与对角向右下方的区域(与第一透镜部113a和第四透镜部113d相对应的区域)间进行切换。

此外，在实施方式1到实施方式3中，作为视差评价值R(k)使用式6表示的差值绝对值总和(SAD)，但本发明并不限定于此。也可以利用下述值作为视差评价值R(k)：差值的平方值的总和；从第一摄像信号I1减去块内平均的值与从第二摄像信号I2减去块内平均的值的差值的平方值的总和；从第一摄像信号I1减去块内平均的值与从第二摄像信号I2减去块内平均的值的差值的平方值的总和；或者，使从第一摄像信号I1减去块内平均的值与从第二摄像信号I2减去块内平均的值的差值的平方值的总和除以从第一摄像信号I1减去块内平均的值的平方值的总和的平方根、并除以从第二摄像信号I2减去块内平均的值的平方值的总和的平方根等。

另外，在实施方式1到实施方式3中，将块分割为矩形，但并不限定于此。例如，也可以检测边缘，根据边缘分割成非矩形的块。此外，也可以不求出每个块的区域的视差，而是将边缘分割成多个线段，求取该线段的视差。此外，还可以评价在某个块中求出的视差，对块进行分割或者结合。

根据上述说明，本领域的技术人员能够明确本发明的众多改良、其它的实施方式。从而，上述说明应该仅解释为例示，以指导技术人员执行本发明的最佳方式为目的而提供。在不脱离本发明的精神的情况下，能够实质地变更其构造和/或功能。

产业上的可利用性

本发明的摄像装置和半导体电路元件是能够进行高速的视差运算的摄像装置和半导体电路元件，因此，在具有照相功能的携带电话、数字静态照相机、车载用照相机、监视用照相机、三维计测器和立体图像输入照相机等中是有用的。

Claims (18)

1.一种摄像装置，其特征在于，包括：

分别至少包括一个透镜的多个透镜部；

在所述多个透镜部中一对一地对应设置、并分别具有相对于对应的所述透镜部的光轴方向大致垂直的受光面的多个摄像区域；

接受由所述摄像区域生成的摄像信号的输入的摄像信号输入部；

决定从所述摄像区域向所述摄像信号输入部传送的摄像信号的传送范围的传送范围决定部；

驱动所述摄像区域，使得向所述摄像信号输入部传送与通过所述传送范围决定部决定的传送范围相对应的摄像信号的摄像区域驱动部；和

根据传送到所述摄像信号输入部的摄像信号运算视差的视差运算部，其中

所述传送范围决定部构成为，能够切换将在所述多个摄像区域中的至少2个摄像区域中生成的摄像信号决定为所述传送范围的第一动作模式、和将与第一动作模式不同的摄像信号决定为所述传送范围的第二动作模式。

2.如权利要求1所述的摄像装置，其特征在于：

所述传送范围决定部构成为，能够切换将在所述摄像区域的大致整个区域中生成的摄像信号作为所述传送范围的第一动作模式、和将在所述摄像区域的大致一半的区域中生成的摄像信号作为所述传送范围的第二动作模式。

3.如权利要求2所述的摄像装置，其特征在于：

所述大致一半的区域是所述摄像区域中传送顺序较早的大致一半的区域。

4.如权利要求2所述的摄像装置，其特征在于：

4个所述摄像区域设置为2行2列，所述大致一半的区域是位于对角位置的2个所述摄像区域。

5.如权利要求1所述的摄像装置，其特征在于：

所述摄像区域被分割为隔行扫描的多个场，

所述传送范围决定部构成为，能够切换将在所述摄像区域的大致整个区域中生成的摄像信号作为所述传送范围的第一动作模式、和将所述摄像区域的一场大小的摄像信号作为所述传送范围的第二动作模式。

6.如权利要求5所述的摄像装置，其特征在于：

所述传送范围决定部构成为，根据与被摄体有关的信息，切换所述第一动作模式和所述第二动作模式。

7.如权利要求6所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在判断为在视差的运算中需要高速性的情况下，从所述第一动作模式向所述第二动作模式切换。

8.如权利要求6所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在判断为在视差的运算中需要高精度的情况下，从所述第二动作模式向所述第一动作模式切换。

9.如权利要求1所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在所述第一动作模式和所述第二动作模式的任一个中，均将在所述多个摄像区域中的一部分的摄像区域中生成的摄像信号决定为所述传送范围。

10.如权利要求1所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在所述第一动作模式和所述第二动作模式的至少任一个中，将在对动作的被摄体进行摄像的摄像区域中生成的摄像信号决定为所述传送范围。

11.如权利要求10所述的摄像装置，其特征在于：

所述传送范围决定部构成为，根据所述被摄体的动作速度，切换所述第一动作模式和所述第二动作模式。

12.如权利要求11所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在所述被摄体的动作快速时，切换为将在多数摄像区域中生成的摄像信号决定为所述传送范围的动作模式；在所述被摄体的动作缓慢时，切换为将在少数摄像区域中生成的摄像信号决定为所述传送范围的动作模式。

13.如权利要求10所述的摄像装置，其特征在于：

所述传送范围决定部构成为，在所述第一动作模式和所述第二动作模式的至少任一个中，使与所述传送范围的摄像信号有关的像素数大致一定。

14.如权利要求9所述的摄像装置，其特征在于：

所述摄像区域以对包括与路面相当的区域的区域进行摄像的方式构成，

所述传送范围决定部构成为，在所述第一动作模式和所述第二动作模式的至少任一个中，将与相当于所述路面的区域以外的区域有关的摄像信号作为所述传送范围。

15.如权利要求9所述的摄像装置，其特征在于：

所述摄像区域以对包括与人的面部相当的区域的区域进行摄像的方式构成，

所述传送范围决定部构成为，在所述第一动作模式和所述第二动作模式的至少任一个中，将与相当于所述人的面部的区域有关的摄像信号作为所述传送范围。

16.如权利要求1所述的摄像装置，其特征在于：

所述多个摄像区域中的至少2个摄像区域构成为，通过反复交替地向所述摄像信号输入部传送生成的摄像信号的一部分，将生成的全部摄像信号向所述摄像信号输入部传送。

17.如权利要求1～权利要求16中任一项所述的摄像装置，其特征在于，还包括：

根据通过所述视差运算部得到的视差，运算到达被摄体的距离的距离运算部。

18.一种半导体电路元件，其是在摄像装置中使用的半导体电路元件，该摄像装置包括：分别至少包括一个透镜的多个透镜部；在所述多个透镜部中一对一地对应设置、并分别具有相对于对应的所述透镜部的光轴方向大致垂直的受光面的多个摄像区域，该半导体电路元件的特征在于，包括：

接受由所述摄像区域生成的摄像信号的输入的摄像信号输入部；

决定从所述摄像区域向所述摄像信号输入部传送的摄像信号的传送范围的传送范围决定部；

驱动所述摄像区域，使得向所述摄像信号输入部传送与通过所述传送范围决定部决定的传送范围相对应的摄像信号的摄像元件驱动部；和

根据传送到所述摄像信号输入部的摄像信号运算视差的视差运算部，其中

所述传送范围决定部构成为，能够切换将在所述多个摄像区域中的至少2个摄像区域中生成的摄像信号决定为所述传送范围的第一动作模式、和将与第一动作模式不同的摄像信号决定为所述传送范围的第二动作模式。

Images