CN116745645A - 距离图像摄像装置以及距离图像摄像方法 - Google Patents

Abstract

本发明具备：受光部，具备多个像素电路以及像素驱动电路，像素电路具备产生与入射光相应的电荷的光电转换元件以及在帧周期中蓄积电荷的N(N≥3)个电荷蓄积部，像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行向电荷蓄积部传输电荷的传输晶体管的导通截止处理而分配并蓄积电荷；光源部，照射光脉冲；距离图像处理部，基于电荷蓄积部的电荷量，求出到被摄体的距离；以及测定控制部，对于被设定为与距离对应地设定的区域阈值的计测区域中的任一个，根据对测定距离所属于的计测区域设定的累计次数进行电荷的蓄积，随着累计次数的增加，使光脉冲的脉冲周期增加而进行光脉冲的照射。

Description

距离图像摄像装置以及距离图像摄像方法

技术领域

本发明涉及距离图像摄像装置以及距离图像摄像方法。

本申请主张2021年1月22日在日本提交的特愿2021-008798号的优先权，并将其内容援用于此。

背景技术

一直以来，存在利用光的速度已知这一情况、基于光的飞行时间来测定到被摄体的距离的飞行时间(Time of Fright，以下称为“ToF”)方式的距离图像摄像装置(例如，参照专利文献1)。

ToF方式距离图像摄像装置具备照射光的光源部、以及包括对用于测定距离的光进行检测的像素电路以二维矩阵状(阵列状)配置多个而成的像素阵列的摄像部。上述像素电路分别具有产生与光的强度对应的电荷的光电转换元件(例如，光电二极管)来作为构成要素。

通过该构成，ToF方式距离图像摄像装置在测定空间(三维空间)中能够取得自身与被摄体之间的距离的信息、或者取得(拍摄)被摄体的图像。

ToF方式距离图像摄像装置根据从放射了放射光的定时到受光了由被摄体反射后的反射光的定时为止的延迟时间来进行距离的计测。

但是，光传感器产生的电荷量根据所入射的入射光的强度而变化，因此随着到被摄体的距离增加，反射光的强度会降低(光的强度与距离的平方呈反比例)。

ToF方式距离图像摄像装置基于电荷蓄积部所蓄积的电荷量来求出上述延迟时间，因此信号与噪声的SN比越大则测定精度越提高。

因此，对应于从ToF方式距离图像摄像装置到被摄体的距离，使将光电转换元件根据入射光的强度而生成的电荷蓄积于电荷蓄积部的时间即曝光时间变化(例如，参照专利文献2)。

由此，越远则使蓄积电荷的曝光时间越增加，而使TOF传感器的电荷蓄积部所蓄积的电荷量越增加，由此保持距离的计测精度。

现有技术文献

专利文献

专利文献1：日本特开2004-294420号公报

专利文献2：日本特开2012-185171号公报

发明内容

发明要解决的课题

然而，在作为照射光而使用脉冲方式的TOF传感器的情况下，通过使累计次数(曝光时间是根据累计次数来决定的，因此是与曝光时间同样的参数)变化，由此来自激光光源的发光次数也同样地变化。

因此，在由于距离较远而单纯地增加了累计次数的情况下，由于从激光光源发光的脉冲光，有可能导致不满足对人体的影响进行规定的安全基准(规定了所谓的人眼安全等的JIS C 6801)、例如最大允许曝光量(MPE：maximum permissible exposure)。

因此，为了满足安全基准，电荷的累计次数被限制，有时无法将足够计测的电荷量蓄积到电荷蓄积部，而无法提高计测精度。

另外，与通常的激光产品避开人体放射的情况不同，TOF方式距离图像摄像装置为了进行距离的计测，主动地有意图地对包括人在内的被摄体持续照射激光。

因此，考虑到被摄体包括人的情况，需要使激光对人的影响降低，进行满足上述安全基准(例如，抑制为不超过最大允许曝光量的曝光量等)的计测控制。

另外，需要降低在长期的期间内对人放射的激光的暴露量的累计值。

本发明是鉴于这种状况而完成，其目的在于提供距离图像摄像装置以及距离图像摄像方法，即使在连续地照射了脉冲光的情况下，也能够满足对于人体的安全基准(人眼安全)，且满足向电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数。

用于解决课题的手段

为了解决上述课题，本发明的距离图像摄像装置具备：受光部，具备多个像素电路以及像素驱动电路，上述像素电路具备：光电转换元件，产生与从测定对象的空间即测定空间入射的光即入射光相应的电荷；N个电荷蓄积部，在帧周期中蓄积上述电荷，其中N≥3；以及传输晶体管，从上述光电转换元件向上述电荷蓄积部分别传输上述电荷，上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而对上述电荷蓄积部分别分配上述电荷并使其蓄积；光源部，向上述测定空间照射上述光脉冲；距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离；以及测定控制部，判定上述测定距离属于根据区域阈值设定的计测区域中的哪个，上述区域阈值与离上述受光部的多个距离对应地设定，并且，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射。

本发明的距离图像摄像装置为，上述测定控制部基于在上述像素电路各自所配置的任意区域内被测定为最近距离的上述测定距离，与上述区域阈值分别进行比较，由此进行包含上述测定距离的上述计测区域的判定。

本发明的距离图像摄像装置具备：受光部，具备多个像素电路以及像素驱动电路，上述像素电路具备：光电转换元件，产生与从测定对象的空间即测定空间入射的光即入射光相应的电荷；N个电荷蓄积部，在帧周期中蓄积上述电荷，其中N≥3；以及传输晶体管，从上述光电转换元件向上述电荷蓄积部分别传输上述电荷，上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而对上述电荷蓄积部分别分配上述电荷并使其蓄积；光源部，向上述测定空间照射上述光脉冲；距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离；以及测定控制部，根据上述电荷蓄积部分别蓄积的电荷量，求出由上述测定空间中的被摄体对上述光脉冲进行了反射而得的反射光产生的合计电荷量，根据与上述合计电荷量对应地设定的区域阈值，判定上述合计电荷量属于哪个计测区域，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射。

本发明的距离图像摄像装置也可以为，上述测定控制部为，求出上述像素电路各自所配置的任意区域内的最大的合计电荷量与由任意的距离以及反射率的物体对上述光脉冲进行了反射而得的反射光产生的电荷量即基准电荷量之间的电荷量比(基准值)，将上述电荷量比与上述区域阈值分别进行比较，由此判定包含上述合计电荷量的上述计测区域。

本发明的距离图像摄像装置也可以为，上述测定控制部为，根据上述电荷蓄积部中的蓄积电荷量求出与背景光对应的电荷量即背景光电荷量，从上述计测区域各自中的上述累计次数以及上述脉冲周期的多个组合中选择与上述背景光电荷量对应的上述组合。

本发明的距离图像摄像装置也可以为，上述基准电荷量是使用每单位蓄积时间的光脉冲的脉冲宽度、向上述电荷蓄积部分配时的传输晶体管为导通状态的时间、单位蓄积时间下的上述累计次数、取得由来自物体的反射光产生的电荷量而被设定的，上述电荷量被设定为上述电荷蓄积部的蓄积量以内的数值。

本发明的距离图像摄像装置也可以为，上述基准电荷量为，从上述电荷蓄积部分别蓄积的电荷量即蓄积电荷量分别减去由背景光产生的电荷量，将相减结果相加而求出上述合计电荷量。

本发明的距离图像摄像装置也可以为，对于针对上述计测区域的上述累计次数的各自，将每单位蓄积时间的光脉冲的脉冲宽度以及上述传输晶体管为导通状态的时间分别设为恒定时间，使上述光脉冲的照射周期与上述累计次数对应，对所放射的光脉冲向被摄体的曝光量进行调整。

本发明的距离图像摄像装置也可以为，在针对规定的距离以及规定的反射率分别设定有上述基准电荷量的情况下，上述电荷量比相对于基于上述距离的衰减率以及基于上述反射率的衰减率分别具有相关性。

本发明的距离图像摄像装置也可以为，上述测定控制部为，对于在上述计测区域中选择出的上述累计次数，在一定期间内，或者在与当前的计测区域的距离范围不同的计测区域中的距离范围内检测出上述测定距离之前，持续使用同一上述累计次数。

本发明的距离图像摄像装置也可以为，上述测定控制部为，对于在上述计测区域中选择出的上述累计次数，在一定期间内，或者在检测出与当前的计测区域不同的计测区域所包含的上述电荷量比之前，持续使用同一上述累计次数。

本发明的距离图像摄像装置也可以为，上述像素电路具备电荷排出电路，在向上述电荷蓄积部蓄积上述电荷的时间以外，上述电荷排出电路将上述光电转换元件产生的上述电荷排出。

本发明的距离图像摄像方法为，对距离图像摄像装置进行控制，该距离图像摄像装置具备由光电转换元件、多个电荷蓄积部以及传输晶体管构成的多个像素电路的各自、光源部、像素驱动电路、距离图像处理部以及测定控制部，该距离图像摄像方法包括：上述光源部向测定对象的空间即测定空间照射光脉冲的步骤；上述像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而将上述光电转换元件根据来自上述测定空间的入射光产生的电荷对N个电荷蓄积部分别进行分配并使其蓄积的步骤，上述传输晶体管用于从上述光电转换元件向上述电荷蓄积部传输上述电荷，其中N≥3；上述距离图像处理部基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离的步骤；以及上述测定控制部判定上述测定距离属于根据区域阈值设定的计测区域中的哪个，上述区域阈值与离上述距离图像摄像装置的多个距离对应地设定，并且，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射的步骤。

本发明的距离图像摄像方法为，对距离图像摄像装置进行控制，该距离图像摄像装置具备由光电转换元件、多个电荷蓄积部以及传输晶体管构成的多个像素电路的各自、光源部、像素驱动电路、距离图像处理部以及测定控制部，该距离图像摄像方法包括：上述光源部向测定对象的空间即测定空间照射光脉冲的步骤；上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而将上述光电转换元件根据来自上述测定空间的入射光产生的电荷对N个电荷蓄积部分别进行分配并使其蓄积的步骤，上述传输晶体管用于从上述光电转换元件向上述电荷蓄积部传输上述电荷，其中N≥3；上述距离图像处理部基于上述电荷蓄积部分别蓄积的电荷量，求出从上述距离图像摄像装置到存在于上述测定空间的被摄体的距离，作为测定距离的步骤；以及测定控制部根据上述电荷蓄积部分别蓄积的电荷量，求出由上述测定空间中的被摄体对上述光脉冲进行了反射而得的反射光产生的合计电荷量，根据与上述合计电荷量对应地设定的区域阈值，判定上述合计电荷量属于哪个计测区域，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射的步骤。

发明的效果

如以上说明的那样，根据本发明，能够提供距离图像摄像装置以及距离图像摄像方法，即使在连续地照射了脉冲光的情况下，也能够满足对于人体的安全基准(人眼安全)，且满足向电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数。

附图说明

图1是表示本发明的第一实施方式的距离图像摄像装置的概略构成的框图。

图2是表示本发明的第一实施方式的距离图像摄像装置中的距离图像传感器32中所配置的像素电路321的构成的一个例子的电路图。

图3是表示将由光电转换元件PD生成的电荷向电荷蓄积部CS分别传输的时序图的图。

图4是表示第一实施方式的距离图像摄像装置中的测定控制部43的构成例的框图。

图5是表示人眼安全中的累计次数以及光脉冲周期分别与最大允许曝光量之间的关系的图。

图6是说明第一实施方式中的区域判定部432进行的计测区域的判定的概念图。

图7A是表示针对按区域区分的运行条件存储部436中的每个计测区域设定的累计次数表的一个例子的图。

图7B是表示针对按区域区分的运行条件存储部436中的每个计测区域设定累计次数表的一个例子的图。

图7C是表示针对按区域区分的运行条件存储部436中的每个计测区域设定的累计次数表的一个例子的图。

图8是表示第一实施方式的距离图像摄像装置1进行的距离图像传感器32与被摄体S之间的距离的计算处理的动作例的流程图。

图9是说明第二实施方式中的区域判定部432进行的计测区域的判定的概念图。

图10是表示第二实施方式的距离图像摄像装置1进行的距离图像传感器32与被摄体S之间的距离的计算处理的动作例的流程图。

具体实施方式

＜第一实施方式＞

以下，参照附图对本发明的第一实施方式进行说明。

图1是表示本发明的第一实施方式的距离图像摄像装置的概略构成的框图。图1所示的构成的距离图像摄像装置1为ToF方式的距离图像摄像装置，具备光源部2、受光部3、以及距离图像处理部4。在图1中还示出在距离图像摄像装置1中测定距离的对象物即被摄体S。距离图像摄像元件例如是受光部3中的距离图像传感器32(后述)。

光源部2按照来自距离图像处理部4的控制，向在距离图像摄像装置1中测定距离的对象的被摄体S所存在的摄像对象的空间照射光脉冲PO。光源部2例如是垂直腔面发射激光器(VCSEL：Vertical Cavity Surface Emitting Laser)等面发光型的半导体激光模块。光源部2具备光源装置21以及扩散板22。

光源装置21是发出成为向被摄体S照射的光脉冲PO的近红外波段(例如波长为850nm～940nm的波段)的激光的光源。光源装置21例如是半导体激光发光元件。光源装置21根据来自定时控制部41的控制，发出脉冲状的激光。

扩散板22是将光源装置21发出的近红外波段的激光扩散为向被摄体S照射的面的面积的光学部件。扩散板22扩散后的脉冲状的激光被作为光脉冲PO而射出，向被摄体S照射。

受光部3对由成为在距离图像摄像装置1中测定距离的对象的被摄体S反射后的光脉冲PO的反射光RL进行受光，并输出与所受光的反射光RL相应的像素信号。受光部3具备透镜31以及距离图像传感器32。

透镜31是将所入射的反射光RL导向距离图像传感器32的光学透镜。透镜31将所入射的反射光RL向距离图像传感器32侧射出，使距离图像传感器32的受光区域所具备的像素电路受光(入射)。

距离图像传感器32是用于距离图像摄像装置1的摄像元件。距离图像传感器32具备在二维的受光区域中排列为阵列状(二维排列，换言之为格子状)的多个像素电路321、以及对像素电路321的各自进行控制的像素驱动电路322。

上述像素电路321设置有一个光电转换元件(例如，后述的光电转换元件PD)、与该一个光电转换元件对应的多个电荷蓄积部(例如，后述的电荷蓄积部CS1至CS4)、以及向各个电荷蓄积部分配电荷的构成要素。

距离图像传感器32根据来自定时控制部41的控制，将光电转换元件产生的电荷向各个电荷蓄积部分配。另外，距离图像传感器32输出与电荷蓄积部被分配的电荷量相应的像素信号。在距离图像传感器32中，多个像素电路配置为二维矩阵状，输出各个像素电路的对应的1帧量的像素信号。

距离图像处理部4控制距离图像摄像装置1，运算到被摄体S的距离。

距离图像处理部4具备定时控制部41、距离运算部42及测定控制部43。

定时控制部41根据测定控制部43的控制，对输出距离测定所需的各种控制信号的定时进行控制。此处的各种控制信号，例如是指对光脉冲PO的照射进行控制的信号、将反射光RL向多个电荷蓄积部分配的信号、对每1帧的分配次数进行控制的信号等。分配次数是指向电荷蓄积部CS(参照图2)分配电荷的处理进行反复的次数。

距离运算部42根据测定控制部43的控制，基于从距离图像传感器32输出的像素信号，输出运算出了到被摄体S的距离的距离信息。距离运算部42基于多个电荷蓄积部CS所蓄积的电荷量，计算出从照射光脉冲PO到对反射光RL进行受光为止的延迟时间Td。距离运算部42根据所计算出的延迟时间Td，运算从距离图像摄像装置1到被摄体S的距离。

测定控制部43对于以帧周期重复的帧各自的模式，选择：光脉冲照射条件选择模式，用于选择与到被摄体的距离相应的累计次数(即，光脉冲PO的照射次数)以及光脉冲PO的照射周期(照射光脉冲的周期即脉冲周期)的各自；以及测距电荷量取得模式，作为进行从距离图像摄像装置1到被摄体S的距离的计测(测定距离的计测)的通常的帧。

然后，测定控制部43与光脉冲照射条件选择模式与测定距离电荷量取得模式的各个模式对应，进行定时控制部41中的定时的控制以及距离运算部42中的运算的控制(之后详细叙述)。

即，本实施方式的距离图像摄像装置根据电荷蓄积部CS所蓄积的电荷，计算出被摄体与距离图像传感器32之间的距离。因此，在测定距离的计算中，在入射光的强度较高而导致在光电转换元件中产生的电荷超过电荷蓄积部CS的容量的情况下，通过测定距离的计算无法准确地求出距离图像摄像装置1与被摄体S之间的距离。

另外，随着从距离图像摄像装置1到被摄体S的距离变远，并且被摄体S的反射率越低，则由被摄体S反射光脉冲PO而生成的反射光的强度越降低。因此，在光电转换元件中由反射光产生的电荷也减少，因此受到噪声的影响而测定距离的计算精度降低，因此需要使累计次数增加。

关于上述的处理，进行根据电荷蓄积部所蓄积的电荷量对累计次数或者光脉冲PO的照射次数进行控制的自动曝光处理。

在此，在反射光的强度降低的情况下，通过使累计次数增加而使由反射光在光电转换元件中产生的电荷的蓄积次数增加，由此测定距离的计算所需的电荷量被蓄积于电荷蓄积元件，所得到的距离的精度提高。

另一方面，在为了进行距离的计测而仅增加了累计次数的情况下，光脉冲PO的照射次数增加，导致主动地有意图地对包括人在内的被摄体持续照射激光。

因此，在本实施方式中考虑到被摄体包括人的情况，进行降低激光对人的影响且满足人眼安全的安全基准(例如，抑制为不超过最大允许曝光量的曝光量等)的计测控制(详细的处理将后述)。

通过这种构成，在距离图像摄像装置1中，光源部2向被摄体S照射的近红外波段的光脉冲PO由被摄体S反射后的反射光RL由受光部3受光，距离图像处理部4输出对被摄体S与距离图像摄像装置1之间的距离进行了测定的距离信息。

另外，在图1中示出了构成为在内部具备距离图像处理部4的距离图像摄像装置1，但距离图像处理部4也可以是设置在距离图像摄像装置1外部的构成要素。

在此，对距离图像传感器32中的像素电路321的构成进行说明。图2是表示本发明的第一实施方式的距离图像摄像装置中的距离图像传感器32中所配置的像素电路321的构成的一个例子的电路图。图2的像素电路321例如是具备四个像素信号读出部RU1至RU4的构成例。本实施方式中的像素电路321的构成为一个例子，像素信号读出部具有三个以上的多个、即n个(n≥3)的构成。

像素电路321具备一个光电转换元件PD、电荷排出晶体管GD、以及从对应的输出端子O输出电压信号的四个像素信号读出部RU(RU1至RU4)。像素信号读出部RU分别具备传输晶体管G、浮动扩散区FD、电荷蓄积容量C、复位晶体管RT、源极跟随晶体管SF、以及选择晶体管SL。浮动扩散区FD(FD1、FD2、FD3、FD4)与电荷蓄积容量C(C1、C2、C3、C4)构成电荷蓄积部CS(CS1、CS2、CS3、CS4)。

在图2所示的像素电路321中，从输出端子O1输出电压信号的像素信号读出部RU1具备传输晶体管G1(传输MOS晶体管)、浮动扩散区FD1、电荷蓄积容量C1、复位晶体管RT1、源极跟随晶体管SF1、以及选择晶体管SL1。在像素信号读出部RU1中，由浮动扩散区FD1以及电荷蓄积容量C1构成电荷蓄积部CS1。像素信号读出部RU2、RU3以及RU4也是同样的构成。

光电转换元件PD是对所入射的光进行光电转换，产生与所入射的光(入射光)相应的电荷，并蓄积所产生的电荷的埋入型的光电二极管。在本实施方式中入射光从测定对象的空间入射。

在像素电路321中，将光电转换元件PD对入射光进行光电转换而产生的电荷向四个电荷蓄积部CS(CS1至CS4)分别进行分配，并将与所分配的电荷的电荷量相应的各个电压信号向距离图像处理部4输出。

另外，距离图像传感器32中所配置的像素电路的构成，并不限定于图2所示的那样的具备四个像素信号读出部RU(RU1至RU4)的构成，也可以是像素信号读出部RU具备一个以上的多个像素信号读出部RU的构成的像素电路。

在上述距离图像摄像装置1的像素电路321的驱动中，在照射时间To照射光脉冲PO，延迟延迟时间Td而反射光RL由距离图像传感器32受光。像素驱动电路322在定时控制部41的控制下，与光脉冲PO的照射同步，对于传输晶体管G1、G2、G3、G4在各个定时供给并分配蓄积驱动信号TX1至TX4，使在光电转换元件PD中产生的电荷依次蓄积于电荷蓄积部CS1、CS2、CS3、CS4。

然后，像素驱动电路322通过驱动信号RST、SEL分别对复位晶体管RT以及选择晶体管SL的各自进行控制。像素驱动电路322通过源极跟随晶体管SF将电荷蓄积部CS所蓄积的电荷转换为电信号，并将所生成的电信号经由输出端子O向距离运算部42输出。

另外，像素驱动电路322在定时控制部41的控制下，通过驱动信号RSTD使在光电转换元件PD中产生的电荷流向电源VDD而放电(消除电荷)。

图3是表示将在光电转换元件PD中生成的电荷向电荷蓄积部CS分别传输的时序图的图。

在图3的时序图中，纵轴表示脉冲的电平，横轴表示时间。另外，示出了在帧中的电荷的蓄积期间中反复的蓄积周期。示出了光脉冲PO以及反射光RL在时间轴上的相对关系、向传输晶体管G1至G4分别供给的蓄积驱动信号TX1至TX4各自的定时、以及向电荷排出晶体管GD供给的驱动信号RSTD的定时。

定时控制部41使光源部2对测定空间照射光脉冲PO。由此，光脉冲PO由被摄体反射，作为反射光RL而由受光部3受光。然后，光电转换元件PD产生与背景光以及反射光RL分别对应的电荷。像素驱动电路322为了将光电转换元件PD产生的电荷向电荷蓄积部CS1至CS4分别传输，而进行传输晶体管G1至G4各自的导通截止控制(导通截止处理)。

即，像素驱动电路322将蓄积驱动信号TX1至TX4分别作为规定时间宽度(与照射时间To、即光脉冲的脉冲宽度相同的宽度)的“H”电平的信号，向传输晶体管G1至G4分别供给。

像素驱动电路322例如使在从光电转换元件PD向电荷蓄积部CS1传输电荷的传输路径上设置的传输晶体管G1成为导通状态。由此，由光电转换元件PD光电转换后的电荷经由传输晶体管G1而蓄积于电荷蓄积部CS1。然后，像素驱动电路322使传输晶体管G1成为截止状态。由此，电荷向电荷蓄积部CS1的传输停止。如此，像素驱动电路322使电荷蓄积部CS1蓄积电荷。在其他电荷蓄积部CS2、CS3以及CS4中也同样。

此时，在向电荷蓄积部CS进行电荷分配的电荷蓄积期间(帧中的向电荷蓄积部CS分别蓄积电荷的期间)中，蓄积驱动信号TX1、TX2、TX3、TX4分别向传输晶体管G1、G2、G3、G4各自供给的蓄积周期(对电荷进行蓄积而累计的周期)被反复。

然后，经由传输晶体管G1、G2、G3以及G4的各自，从光电转换元件PD向电荷蓄积部CS1、CS2、CS3、CS4分别传输与入射光对应的电荷。在电荷蓄积期间中反复多个蓄积周期。

由此，按照电荷蓄积期间中的电荷蓄积部CS1、CS2、CS3以及CS4各自的每个蓄积周期，在电荷蓄积部CS1、CS2、CS3、CS4中分别蓄积电荷。

另外，像素驱动电路322在反复电荷蓄积部CS1、CS2、CS3以及CS4各自的蓄积周期时，在针对电荷蓄积部CS4的电荷传输(分配)结束之后，对于在从光电转换元件PD排出电荷的排出路径上设置的电荷排出晶体管GD供给“H”电平的驱动信号RSTD而使其导通。

由此，电荷排出晶体管GD在针对电荷蓄积部CS1的蓄积周期开始之前、且在紧前的电荷蓄积部CS4的蓄积周期之后，使光电转换元件PD所产生的电荷废弃(即，使光电转换元件PD复位)。

然后，像素驱动电路322对于配置在受光部3内的所有像素电路321的各自，对各自的电压信号以像素电路321的行(横向的排列)为单位依次进行A/D转换处理等信号处理。

然后，像素驱动电路322将进行了信号处理之后的电压信号，按照在受光部3中配置的列的顺序依次向距离运算部42输出。

上述那样的由像素驱动电路322进行的、向电荷蓄积部CS的电荷蓄积以及对光电转换元件PD光电转换后的电荷的废弃，遍及1帧而反复进行。由此，与在规定的时间区间由距离图像摄像装置1受光的光量相当的电荷被蓄积于电荷蓄积部CS的各自。像素驱动电路322将与电荷蓄积部CS分别蓄积的1帧量的电荷量相当的电信号向距离运算部42输出。

根据照射光脉冲PO的定时、与向电荷蓄积部CS(CS1至CS4)分别蓄积电荷的定时(蓄积定时)之间的关系，在电荷蓄积部CS1中保持与照射光脉冲PO之前的背景光等外部光成分相当的电荷量。另外，在电荷蓄积部CS2、CS3以及CS4中分配并保持与反射光RL以及外部光成分相当的电荷量。向电荷蓄积部CS2以及CS3、或者向电荷蓄积部CS3以及CS4分配的电荷量的配比(分配比例)，成为与光脉冲PO由被摄体S反射而向距离图像摄像装置1入射为止的延迟时间Td相应的比例。

返回图1，距离运算部42利用该原理，通过以下的式(1)或者式(2)来计算延迟时间Td。

Td＝To×(Q3-Q1)/(Q2+Q3-2×Q1)…(1)

Td＝To+To×(Q4-Q1)/(Q3+Q4-2×Q1)…(2)

在此，To表示照射光脉冲PO的期间，Q1表示电荷蓄积部CS1所蓄积的电荷量，Q2表示电荷蓄积部CS2所蓄积的电荷量，Q3表示电荷蓄积部CS3所蓄积的电荷量，Q4表示电荷蓄积部CS4所蓄积的电荷量。距离运算部42例如在Q4＝Q1的情况下，通过式(1)计算延迟时间Td，而在Q2＝Q1的情况，通过式(2)计算延迟时间Td。

在式(1)中，在电荷蓄积部CS2以及CS3中蓄积由反射光产生的电荷，但在电荷蓄积部CS4中未蓄积。另一方面，在式(2)中，在电荷蓄积部CS3以及CS4中蓄积由反射光产生的电荷，但在电荷蓄积部CS2中未蓄积。

另外，在式(1)或者式(2)中，其前提为，电荷蓄积部CS2、CS3以及CS4所蓄积的电荷量中的与外部光成分相当的成分与电荷蓄积部CS1所蓄积的电荷量为相同量。

距离运算部42对通过式(1)或者式(2)求出的延迟时间乘以光速(速度)，由此计算出到被摄体S的往返距离。

然后，距离运算部42对上述计算出的往返距离乘以1/2(延迟时间Td×c(光速)/2)，由此求出从距离图像传感器32(即，距离图像摄像装置1)到被摄体S的距离。

另外，时间Trs表示为了在图3的蓄积周期的1个循环中在来自光电转换元件PD的电荷对电荷蓄积部CS4的分配结束后在光电转换元件PD中不停留(电荷不滞留)由输入光产生的电荷、而将向电荷排出晶体管GD供给的驱动信号RSTD设为“H”电平的期间。

然后，将光脉冲PO的脉冲宽度以及向电荷蓄积部CS的蓄积时间(传输晶体管G的导通时间)设为恒定而调整上述时间Trs，由此能够进行任意地变更光脉冲PO的照射周期的控制。

图4是表示第一实施方式的距离图像摄像装置中的测定控制部43的构成例的框图。在图4中，测定控制部43具备初始运行条件设定部431、区域判定部432、区域运行条件设定部433、运行控制部434、初始值存储部435、按区域区分的运行条件存储部436的各自。

初始运行条件设定部431在为用于选择与到被摄体的距离相应的累计次数的各自的光脉冲照射条件选择模式的情况下，从初始值存储部435读入预先设定的初始运行光脉冲照射条件。

该初始运行光脉冲照射条件是与从距离图像摄像装置1到被摄体S的距离以及被摄体S的反射率为未知的情况对应地设定的、累计次数即基准累计次数(光脉冲的照射次数)以及蓄积周期各自的组合。在此，蓄积周期是图3中的1个循环，与光脉冲PO所照射的间隔即照射周期对应，根据上述时间Trs以满足人眼安全的方式对应于累计次数(照射次数)来调整周期的时间。即，随着累计次数增加，以成为满足人眼安全的曝光量的方式对时间Trs的长度进行调整而使照射周期增加。

另外，初始运行光脉冲照射条件下的基准累计次数例如为，在反射率为50％的物体处于距离图像摄像装置1的最小测定距离(作为一个例子为0.5m)时，将由光电转换元件PD通过光脉冲PO被上述物体反射生成的反射光RL生成的电荷，蓄积到电荷蓄积部CS，对向电荷蓄积部CS蓄积的电荷进行累计，作为所累计的电荷成为电荷蓄积部CS的最大蓄积容量的一半程度的累计次数而求出该基准累计次数。

另外，初始运行光脉冲照射条件下的光脉冲周期通过使上述时间Trs变化而被调整。在此，从光脉冲PO所照射的时刻Ts到蓄积周期的终端为止作为2To(光脉冲的脉冲宽度)+Trs而求出，脉冲周期成为3To+Trs。

然后，累计次数如上述那样，是与区域判定部432判定出的计测区域对应而由区域运行条件设定部433设定的。

另一方面，光脉冲周期被作为不超过根据所设定的累计次数、以及使用的光脉冲的强度和脉冲宽度而求出的最大允许曝光量的周期而求出。在本实施方式中，使用的光脉冲的强度和脉冲宽度、以及向电荷蓄积部CS的蓄积时间(传输晶体管G的导通时间)分别恒定地固定。

然后，运行控制部434在上述初始运行光脉冲照射条件下，作为光脉冲照射条件选择模式而对光源部2以及受光部3分别进行控制，将由于光脉冲PO而在光电转换元件PD中产生的电荷向电荷蓄积部CS1、CS2、CS3以及CS4分别分配并使其蓄积。

由此，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的蓄积电荷量，计算初始运行光脉冲照射条件(即，光脉冲照射条件选择模式)下的从距离图像传感器32(即，距离图像摄像装置1)到被摄体S的距离(以下也有时表示为参照测定距离)。

图5是表示人眼安全中的累计次数以及光脉冲周期的各自与最大允许曝光量之间的关系的图。在图5中，纵轴表示累计次数，横轴表示脉冲周期。另外，关于脉冲宽度，实线为8ns，虚线为12ns，单点划线为16ns，双点划线为20ns。

在图5中示出了与规定强度的光脉冲PO的脉冲宽度分别对应地求出的、根据累计次数以及脉冲周期分别决定的最大允许曝光量的极限线。

例如，在使用了实线的脉冲宽度为8ns的光脉冲的情况下，比实线靠上部的累计次数以及脉冲宽度的组合表示超过了最大允许曝光量。关于其他的虚线的脉冲宽度12ns、单点划线的脉冲宽度16ns、双点划线的脉冲宽度20ns的各自也同样。

然后，例如，在光脉冲PO被设定为虚线所示的12ns的脉冲宽度时，在脉冲周期90ns中使累计次数从50000次增加到160000次的情况下，由累计次数以及脉冲周期决定的坐标点位于虚线的上部。

即，在脉冲周期为90ns、且累计次数为160000次的情况下，超过由12ns的脉冲宽度规定的人眼安全的基准。

因此，在将累计次数设定为160000次的情况下，将脉冲周期延长到110ns，使由累计次数以及脉冲周期决定的坐标点移动到虚线下部的位置。

由此，坐标点变成位于虚线下部的位置，即使将累计次数设为160000次而将12ns脉冲宽度的光脉冲PO反复照射160000次，也会低于由12ns的脉冲宽度规定的人眼安全的基准(满足基准)。

在本实施方式中，基于图5所示的脉冲宽度、累计次数以及脉冲周期的关系，对应于所使用的光脉冲PO的强度以及光脉冲PO的脉冲宽度，按照每个累计次数来设定满足人眼安全的基准的光脉冲周期(即，时间Trs)。

另外，在照射光脉冲PO的照射周期较短的情况下，在以所设定的累计次数量对各电荷蓄积部CS进行累计并蓄积之后，读出电荷蓄积部CS分别蓄积的电荷。

然后，在读出电荷之后，根据从电荷蓄积部CS读出的电荷的电荷量，实施到被摄体的距离计算、校正等上述各种处理。

此时，1帧内的时间并不限定，因此在距离计算、校正等中能够使用的时间越长，则运算所需的负载越低而系统的动作越稳定。

因此，在通常的设定中，从在距离计算、校正等中能够使用的时间变长的观点出发，放射光脉冲PO的照射周期越短越适合。

另一方面，当放射光脉冲PO的照射周期过短时，从较远的被摄体反射的反射光返回来为止的延迟时间变长，该反射光有可能在进行下一次累计的照射周期中入射。

因此，虽然将一次累计时的照射时间Trs的长度设为一定以上，但如上述那样，由于在照射周期较短的情况下系统的动作稳定性提高，因此需要包括累计次数与人眼安全的观点在内地设定照射周期。

返回图4，区域判定部432提取在上述初始运行光脉冲照射条件下由距离运算部42求出的、预先设定的位置处的像素电路321的区域中的最小距离，作为参照测定距离。

然后，区域判定部432将所提取的参照测定距离与预先设定的距离阈值(区域阈值，例如，后述的距离阈值LB1、LB2)进行比较，判定参照测定距离包含于哪个计测区域。

图6是对第一实施方式的区域判定部432进行的计测区域的判定进行说明的概念图。

计测区域为，按照离距离图像摄像装置1的距离较近的顺序分别设置有计测区域Z1、计测区域Z2以及计测区域Z3。在此，计测区域Z1、计测区域Z2以及计测区域Z3的各自分别通过距离阈值LB1、距离阈值LB2而设定有区域的边界。

另外，距离阈值LB1以及距离阈值LB2为，处于LB1＜LB2的关系(LB2大于LB1的距离关系)，并以满足符合人眼安全的累计次数与脉冲周期的方式，通过是否能够取得测定距离所需的电荷量的实验等来求出，预先设定为规定的距离。

并且，区域判定部432为，如果参照测定距离小于距离阈值LB1，则判定为物体处于计测区域Z1的距离范围。

另外，区域判定部432为，如果参照测定距离为距离阈值LB1以上、且小于距离阈值LB2，则判定为物体处于计测区域Z2的距离范围。

区域判定部432为，如果参照测定距离为距离阈值LB2以上，则判定为物体处于计测区域Z3的距离范围。

在本实施方式中，将计测区域设为三个来进行说明，但只要形成有两个以上的多个，则可以是任意个。

返回图4，区域运行条件设定部433从在区域判定部432判定出的计测区域中设定的多个累计次数中选择任一个。在本实施方式中，光脉冲周期在计测区域的各自中被设定为固定的时间。即，如果是相同的计测区域，则被设定为在光脉冲周期为最大的累计次数的情况下满足人眼安全(参照图5)的时间，且在哪个累计次数中都是相同的时间。

另外，累计次数针对每个计测区域与背景光(外部光量)的强度对应地设定有多个。

图7A至图7B是表示针对按区域区分的运行条件存储部436中的每个计测区域设定的累计次数表的一个例子的图。在图7A至图7C中例如示出与计测区域Z1、计测区域Z2以及计测区域Z3分别对应的累计次数表。

图7A表示计测区域Z1的累计次数表TBL1，图7B表示计测区域Z2的累计次数表TBL2，图7C表示计测区域Z3的累计次数表TBL3。

另外，按照每个计测区域而蓄积周期不同，计测区域Z1为90ns，计测区域Z2为100ns，计测区域Z3为110ns，随着成为距离较远的计测区域(换言之，每当累计次数表中的最大累计次数增加时)，时间Trs各变长10ns。在计测区域Z1、计测区域Z2以及计测区域Z3的全部中，光脉冲PO的脉冲宽度、光脉冲光的强度、向电荷蓄积部CS的蓄积时间(传输晶体管G的导通时间)相同且恒定。

例如，在计测区域Z1中(蓄积周期90ns)，在背景光量为10万Lux(勒克斯)的情况下、即在电荷蓄积部CS的最大蓄积容量为4080LSB(least significant bit)时通过背景光而蓄积的电荷量为3000LSB，累计次数为15000次。

同样，在3万Lux的情况下，通过背景光蓄积的电荷量为1000LSB，累计次数为25000次。另外，在1万Lux的情况下，通过背景光蓄积的电荷量为300LSB，累计次数为30000次。在没有背景光的情况下，通过背景光蓄积的电荷量为0LSB，累计次数为35000次。

返回图4，区域运行条件设定部433从距离运算部42取得电荷蓄积部CS1所蓄积的电荷量、即背景光电荷量(外部光信号量)。

然后，区域运行条件设定部433在按区域区分的运行条件存储部436中参照与区域运行条件设定部433判定出的计测区域对应的累计次数表。

区域运行条件设定部433从所参照的累计次数表读出与所取得的背景光电荷量对应的累计次数。

此时，区域运行条件设定部433还读出与累计次数表建立对应的蓄积周期。

由此，区域运行条件设定部433作为与计测区域对应的运行光脉冲照射条件，而分别得到(求出)累计次数以及蓄积周期。

然后，运行控制部434作为测距电荷量取得模式，在区域运行条件设定部433求出的上述运行光脉冲照射条件下，对光源部2以及受光部3分别进行控制，将通过光脉冲PO产生的电荷向电荷蓄积部CS1、CS2、CS3以及CS4分别分配并使其蓄积。

由此，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量，计算运行光脉冲照射条件(即，测距电荷量取得模式)下的从距离图像传感器32(即，距离图像摄像装置1)到被摄体S的距离(以下，也有时表示为测定距离)。

图8是表示第一实施方式的距离图像摄像装置1对距离图像传感器32与被摄体S之间的距离的计算处理的动作例的流程图。在距离图像摄像装置1启动的情况下，从以下的步骤S1开始处理。

步骤S1：

初始运行条件设定部431从初始值存储部435读入初始运行光脉冲照射条件。

然后，初始运行条件设定部431将所读出的初始运行光脉冲照射条件向运行控制部434输出。

步骤S2：

运行控制部434在被供给了初始运行光脉冲照射条件的情况下，通过光脉冲照射条件选择模式对光源部2以及受光部3分别进行控制。

光源部2与规定的周期即初始运行光脉冲照射条件下的蓄积周期以及基准累计次数(照射次数)对应地照射光脉冲PO。

另外，像素驱动电路322根据初始运行光脉冲照射条件下的蓄积周期以及基准累计次数的各自，向像素电路321各自的电荷蓄积部CS1、CS2、CS3、CS4分别分配并蓄积光电转换元件PD由反射光RL生成的电荷。

然后，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量，计算距离(参照测定距离)。

步骤S3：

区域判定部432取得预先设定的像素电路321区域中的距离运算部42计算出的距离的最小值，作为参照测定距离。

然后，区域判定部432将距离阈值LB1、距离超过距离阈值LB1的距离阈值LB2的各自、以及所取得的参照测定距离之间的大小关系进行比较。

此时，区域判定部432在参照测定距离小于距离阈值LB1的情况下，判定为最接近距离图像摄像装置1的物体被包含于计测区域Z1的距离范围内。

另外，区域判定部432在参照测定距离为距离阈值LB1以上、且小于距离阈值LB2的情况下，判定为最接近距离图像摄像装置1的物体被包含于计测区域Z2的距离范围内。

进而，区域判定部432在参照测定距离为距离阈值LB2以上的情况下，判定为最接近距离图像摄像装置1的物体被包含于计测区域Z3的距离范围内。

然后，区域判定部432将所判定的计测区域的种类向区域运行条件433输出。

步骤S4：

区域运行条件设定部433在被从区域判定部432供给了判定出的计测区域的种类的情况下，取得与计测区域对应的运行光脉冲照射条件。

此时，区域运行条件设定部433从距离运算部42取得在计算参照测定距离时使用的像素电路321在计算参照测定距离时求出的背景光的电荷量(对应的电压值)。

然后，区域运行条件设定部433在按区域区分的运行条件存储部436中，参照与从区域判定部432取得的计测区域对应的累计系数表。

区域运行条件设定部433从所参照的累计系数表中读出与上述背景光的电荷量对应的累计系数。

此时，区域运行条件设定部433还提取并读出对被读出了累计系数的累计系数表附加的蓄积周期。

步骤S5：

区域运行条件设定部433将所取得的累计系数以及蓄积周期分别作为运行光脉冲照射条件，而对运行控制部434输出。

运行控制部434在被供给了运行光脉冲照射条件的情况下，通过测距电荷量取得模式，设定光源部2中的光脉冲的照射次数(累计次数)、以及从受光部3的光电转换元件PD向电荷蓄积部CS各自的电荷分配等的运行状态。

步骤S6：

然后，光源部2与规定的周期即运行光脉冲照射条件下的蓄积周期以及照射次数(累计次数)对应地照射光脉冲PO。

另外，像素驱动电路322根据运行光脉冲照射条件下的蓄积周期以及累计次数的各自，向像素电路321各自的电荷蓄积部CS1、CS2、CS3、CS4分别分配并蓄积光电转换元件PD由反射光RL生成的电荷。

然后，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量来计算距离。

步骤S7：

区域判定部432提取预先设定的像素电路321区域中的距离运算部42计算出的距离最小值以及距离最大值的像素电路321。

然后，区域判定部432在距离最小值以及距离最大值的各自中，读出电荷蓄积部CS1、CS2、CS3、CS4各自中电荷量最大的电荷蓄积部CS的电荷量(电压值)。

此时，区域判定部432在与距离最小值对应的电压值低于预先设定的下限阈值的情况、或者与距离最大值对应的电压值超过预先设定的上限阈值的情况下，使处理前进至步骤S1。

在上述的与距离最小值对应的电压值低于预先设定的下限阈值的情况、或者与距离最大值对应的电压值超过预先设定的上限阈值的情况下，表示最接近距离图像摄像装置1的物体不再存在于与当前的运行光脉冲照射条件对应的计测区域，为了进行计测区域的变更，需要再次进行光脉冲照射条件选择模式。

区域判定部432在与距离最小值对应的电压值为预先设定的下限阈值以上、且与距离最大值对应的电压值为预先设定的上限阈值以下的情况下，使处理前进至步骤S6。

在上述的与距离最小值对应的电压值为预先设定的下限阈值以上、且与距离最大值对应的电压值为预先设定的上限阈值以下的情况下，表示最接近距离图像摄像装置1的物体存在于与当前的运行光脉冲照射条件对应的计测区域，无需进行计测区域的变更，因此继续进行基于测距电荷量取得模式的测定距离的测定。

在此，下限阈值是表示无法得到维持精度地进行测定距离的测定的电荷量的阈值。

另一方面，上限阈值是作为超过电荷蓄积部的最大蓄积容量的规定比例(例如95％)的电荷量而被设定、且表示电荷蓄积部有可能饱和的阈值。

另外，在本实施方式中，分别使用上述下限阈值以及上限阈值来确认有无计测区域的变更，但也可以构成为，按照预先设定的每个帧数来进行光脉冲照射条件选择模式。

在该构成的情况下，例如，在步骤S7中，在处理过的帧数超过预先设定的帧数即帧阈值的情况下，使处理向步骤S1前进，另一方面，在为帧阈值以下的情况下，使处理向步骤S6前进。

如上述那样，根据本实施方式，将在光脉冲照射条件选择模式下在基准累计次数下得到的、距离图像摄像装置1与被摄体之间的参照测定距离与距离阈值LB1以及LB2分别进行比较，根据比较结果求出被摄体所存在的计测区域(离摄像装置最近的被摄体所存在的计测区域)。作为针对被摄体的光脉冲照射条件，提取能够以规定的精度计算出距离的累计次数(即照射次数)、以及在累计次数下满足人眼安全的照射周期，在测距电荷量取得模式下根据光脉冲条件进行光脉冲的照射、并将每次照射时光电转换元件PD生成的电荷向各电荷蓄积部分配而蓄积累计的电荷量。由此，能够满足向电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数，且即使在连续照射了脉冲光的情况下也能够满足对于人体的安全基准(人眼安全)。

另外，根据本实施方式，在各计测区域的累计次数表中，与背景光量(外部光量)分别对应地设定有累计次数，因此能够选择与在光脉冲照射条件选择模式下计测出的背景光量对应的累计次数，能够容易地抑制由于背景光量的影响而导致电荷蓄积部饱和。

＜第二实施方式＞

以下，对本发明的第二实施方式进行说明。

本发明的第二实施方式的距离图像摄像装置与图1以及图4所示的第一实施方式为相同构成。

以下，仅对与第一实施方式的距离图像摄像装置不同的动作进行说明。

在本实施方式中，测定控制部43对应于来自被摄体S的反射光的强度，求出不会导致电荷蓄积部饱和且即使在连续照射脉冲光的情况下也满足针对人体的安全基准的、累计次数以及照射周期。

然后，测定控制部43根据所求出的累计次数以及照射周期，在以帧周期反复的帧的各自中，使光源部2放射光脉冲PO，进行控制，使定时控制部41将后述的像素电路(像素电路321)中的光电转换元件对应于入射光而产生的电荷向电荷蓄积部分配并蓄积，使距离运算部42进行运算(之后详细叙述)。

本实施方式中，与根据距离图像摄像装置1与被摄体之间的距离来进行计测区域的选择的第一实施方式不同，根据来自被摄体的反射光的强度来进行计测区域的选择，因此距离图像摄像装置1与被摄体之间的距离与被摄体的反射率的组合成为在计测区域的选择中使用的参数。

另外，基准电荷量基于规定的距离以及规定的反射率的各自而被设定，因此电荷量比也相对于由于距离图像摄像装置1与被摄体之间的距离而产生的衰减率、以及由于被摄体的反射率而产生的衰减率的各自具有相关性。

此时，区域判定部432求出从像素驱动电路322所供给的各电荷蓄积部CS2、CS3以及CS4各自的电荷量中除去了背景光的电荷量的、由反射光RL生成的电荷量(信号量)。

然后，区域判定部432将电荷蓄积部CS2、CS3以及CS4各自的蓄积电荷量(电压值)相加，求出由反射光RL生成的电荷量的合计电荷量。

另外，区域判定部432从初始值存储部435读出基准电荷量(基准值)，将上述合计电荷量除以基准电荷量，作为除算结果而计算出电荷量比。

基准电荷量(基准值)如下述那样进行设定。

使用每单位蓄积时间的光脉冲PO的脉冲宽度、向电荷蓄积部CS分别分配光电转换元件PD产生的电荷时的传输晶体管G为导通状态的时间、以及单位蓄积时间的基准累计次数，取得由光脉冲PO的来自物体的反射光RL产生的电荷量。作为所取得的电荷量成为电荷蓄积部CS的蓄积量以内(例如，电荷蓄积部CS的最大蓄积容量的一半左右)的数值，而设定基准电荷量。该基准电荷量预先写入而存储于初始值存储部435。在此，所谓单位蓄积时间是指图3所示的1个循环的时间。

另外，如在第一实施方式中已经说明的那样，基准累计次数是在光脉冲照射条件选择模式中设定的累计次数。

图9是说明第二实施方式中的区域判定部432进行的计测区域的判定的概念图。

在本实施方式中，计测区域是将反射光RL的强度较强(较大数值)到强度较弱(较小数值)的范围作为区域的区域，从较强的强度到较弱的强度，按照强度从强到弱的顺序分别设置有计测区域Z1、计测区域Z2以及计测区域Z3。在此，计测区域Z1、计测区域Z2以及计测区域Z3分别通过电荷量比阈值(区域阈值)LC1、电荷量比阈值LC2而分别设定有区域的边界。

另外，电荷量比阈值LC1以及电荷量比阈值LC2为，处于LC1＞LC2的关系(LC1大于LC2的电荷量比的关系)，通过是否能够取得电荷蓄积部CS不饱和且测定距离的计测所需的电荷量的实验等来求出，并被设定为与预先规定的蓄积电荷量对应的电荷量比。

然后，区域判定部432为，如果电荷量比为电荷量比阈值LC1以上，则判定为物体处于计测区域Z1的计测条件范围。

另外，区域判定部432为，如果电荷量比小于电荷量比阈值LC1且为电荷量比阈值LC2以上，则判定为物体处于计测区域Z2的计测条件范围。

区域判定部432为，如果电荷量比小于电荷量比阈值LC2，则判定为物体处于计测区域Z3的计测条件范围。

在此，计测条件范围表示计测区域的范围，且表示从距离图像摄像装置到对象物体的距离、或者对象物体的表面的反射率的大小、或者由距离以及反射率的两方决定的反射光RL的强度范围。

在本实施方式中，将计测区域设为三个来进行说明，但只要形成有两个以上的多个，则可以为任意个。

另外，在上述中，求出距离图像传感器32中的所有像素电路321的电荷量比而用于计测区域的选择，但也可以构成为，预先设定规定的区域(例如，距离图像传感器32的中央区域)，求出该规定的区域中的像素电路321的电荷量比而进行计测区域的选择。

另外，在按区域区分的运行条件存储部436中预先写入而存储有与计测区域分别对应的累计次数表。

该累计次数表为与在第一实施方式中说明的图7A至图7C的累计次数表相同的构成。

另外，与第一实施方式同样，在计测区域Z1、计测区域Z2以及计测区域Z3的全部中，光脉冲PO的脉冲宽度、光脉冲光的强度、向电荷蓄积部CS的蓄积时间(传输晶体管G的导通时间)均相同且恒定。

图10是表示第二实施方式的距离图像摄像装置1进行的距离图像传感器32与被摄体S之间的距离的计算处理的动作例的流程图。在距离图像摄像装置1启动的情况下，从以下的步骤S11开始处理。

步骤S11：

初始运行条件设定部431从初始值存储部435读入初始运行光脉冲照射条件。

然后，初始运行条件设定部431将所读出的初始运行光脉冲照射条件向运行控制部434输出。

步骤S12：

运行控制部434在被供给了初始运行光脉冲照射条件的情况下，通过光脉冲照射条件选择模式对光源部2以及受光部3分别进行控制。

即，光源部2与规定的周期、即初始运行光脉冲照射条件下的蓄积周期(即，照射周期)以及基准累计次数对应地照射光脉冲PO。

另外，像素驱动电路322根据初始运行光脉冲照射条件下的蓄积周期以及基准累计次数的各自，向像素电路321各自的电荷蓄积部CS1、CS2、CS3、CS4分别分配并蓄积光电转换元件PD由反射光RL生成的电荷。

然后，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量，计算而取得从距离图像摄像装置1到被摄体各自的距离。

区域判定部432从距离运算部42分别取得电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量Q1、Q2、Q3、Q4。

区域判定部432从电荷量Q2、Q3、Q4分别减去电荷蓄积部CS1的电荷量Q1、即由背景光产生的电荷量。

然后，区域判定部432将减去背景光的电荷量Q1之后的电荷量Q2、Q3、Q4各自的电荷量、即由反射光RL生成的电荷量分别相加，作为加法结果而计算出合计电荷量(合计电荷量的取得)。

步骤S13：

区域判定部432取得预先设定的像素电路321区域中的最大合计电荷量，作为参照合计电荷量。

另外，区域判定部432从初始值存储部435读出基准电荷量，将参照合计电荷量减去合计电荷量，计算出电荷量比。

然后，区域判定部432将电荷量比阈值LC1、电荷量比低于电荷量比阈值LC1的电荷量比阈值LC2的各自、与计算出的电荷量比之间的大小关系进行比较。

此时，区域判定部432在电荷量比为电荷量比阈值LC1以上的情况下，判定为反射光RL的强度最强的物体被包含于计测区域Z1的计测条件范围内。

另外，区域判定部432在电荷量比小于电荷量比阈值LC1、且为电荷量比阈值LC2以上的情况下，判定为反射光RL的强度最强的物体被包含于计测区域Z2的计测条件范围内。

进而，区域判定部432在电荷量比小于电荷量比阈值LC2的情况下，判定为反射光强度最强的物体被包含于计测区域Z3的计测条件范围内。

然后，区域判定部432将判定出的计测区域的种类向区域运行条件设定部433输出。

步骤S14：

区域运行条件设定部433在被从区域判定部432供给了判定出的计测区域的种类的情况下，取得与计测区域对应的运行光脉冲照射条件。

此时，区域运行条件设定部433从区域判定部432取得在计算电荷量比时使用的像素电路321在计算蓄积电荷量时求出的背景光的电荷量(对应的电压值)。

然后，区域运行条件设定部433在按区域区分的运行条件存储部436中，参照与从区域判定部432取得的计测区域对应的累计系数表。

区域运行条件设定部433从所参照的累计系数表读出与上述背景光的电荷量对应的累计系数。

此时，区域运行条件设定部433还提取并读出对被读出了累计系数的累计系数表附加的蓄积周期。

步骤S15：

区域运行条件设定部433将所取得的累计系数以及蓄积周期分别作为运行光脉冲照射条件，而对运行控制部434输出。

运行控制部434在被供给了运行光脉冲照射条件的情况下，通过测距电荷量取得模式对光源部2以及受光部3各自的电路的运行状态进行设定。

步骤S16：

然后，光源部2与规定的周期、即运行光脉冲照射条件下的蓄积周期、以及照射次数(累计次数)对应地照射光脉冲PO。

另外，像素驱动电路322根据运行光脉冲照射条件下的蓄积周期以及累计次数的各自，向像素电路321各自的电荷蓄积部CS1、CS2、CS3、CS4分别分配并蓄积光电转换元件PD由反射光RL生成的电荷。

然后，距离运算部42根据电荷蓄积部CS1、CS2、CS3以及CS4分别蓄积的电荷量来计算距离。

步骤S17：

区域判定部432分别提取距离图像传感器32内的像素电路321各自中的、合计电荷量的最小值以及合计电荷量的最大值的像素电路321。

然后，区域判定部432分别将合计电荷量的最小值与预先设定的下限阈值进行比较，并将合计电荷量的最大值与预先设定的上限阈值进行比较。

此时，区域判定部432在合计电荷量的最小值低于预先设定的下限阈值的情况下、或者合计电荷量的最大值超过预先设定的上限阈值的情况下，使处理向步骤S11前进。

在上述的合计电荷量的最小值低于预先设定的下限阈值的情况下、或者合计电荷量的最大值超过预先设定的上限阈值的情况下，表示在计测区域的选择中使用的对象物体不再存在于与当前的运行光脉冲照射条件对应的计测区域，为了进行计测区域的变更，而需要再次进行光脉冲照射条件选择模式。

另外，区域判定部432在与距离的最小值对应的电压值为预先设定的下限阈值以上、且与距离的最大值对应的电压值为预先设定的上限阈值以下的情况下，使处理向步骤S16前进。

在上述的合计电荷量的最小值为预先设定的下限阈值以上、且合计电荷量的最大值为预先设定的上限阈值以下的情况下，表示在计测区域的选择中使用的对象物体存在于与当前的运行光脉冲照射条件对应的计测区域，无需进行计测区域的变更，因此继续进行测距电荷量取得模式下的测定距离的测定。

在上述本实施方式中进行如下判断：在计测区域的选择所使用的被摄体即对象物体不再存在于与当前的运行光脉冲照射条件对应的计测区域的情况下返回光脉冲照射条件选择模式，在存在于计测区域的情况下继续距电荷量取得模式。

然而，在计测区域的设定为两个、三个等较少的情况下也可以构成为，在合计电荷量的最小值低于预先设定的下限阈值的情况下、或者在合计电荷量的最大值超过预先设定的上限阈值的情况下，不转移到光脉冲照射条件选择模式，而切换到对应的计测区域的设定而继续测距电荷量取得模式。

如上述那样，根据本实施方式，将在光脉冲照射条件选择模式下通过基准累计次数得到的蓄积电荷量除以作为基准值的基准电荷量，根据作为除算结果而得到的电荷量比来求出被摄体所存在的计测区域。在该方法中，对于距离摄像摄像装置，判定对强度最强的反射光RL进行反射的被摄体所存在的计测区域。能够在以所判定出的计测区域中的电荷蓄积部CS不饱和的方式设定的光脉冲照射条件下进行测距。由此，即使距离图像摄像装置与被摄体的距离不明、或者被摄体的反射强度不明，也能够防止电荷蓄积部CS中的蓄积电荷量饱和。

另外，根据本实施方式，将在光脉冲照射条件选择模式下通过基准累计次数得到的蓄积电荷量除以作为基准值的基准电荷量，根据作为除算结果而得到的电荷量比来求出被摄体所存在的计测区域。在该方法中，对于距离摄像摄像装置，判定对强度最强的反射光RL进行反射的被摄体所存在的计测区域。作为所判定出的计测区域中的光脉冲照射条件，提取能够以规定的精度计算距离的累计次数(即照射次数)、在累计次数下满足人眼安全的照射周期。在测距电荷量取得模式下根据光脉冲条件进行光脉冲的照射、并将每次照射由光电转换元件PD生成的电荷向各电荷蓄积部分配而蓄积累计的电荷量。由此，能够满足对于电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数，且即使在连续照射脉冲光的情况下也能够满足对于人体的安全基准(人眼安全)。

另外，根据本实施方式，在各计测区域的累计次数表中，与背景光量(外部光量)分别对应地设定有累计次数。由此，能够选择与在光脉冲照射条件选择模式中计测出的背景光量对应的累计次数，能够容易地抑制由于背景光量的影响而导致电荷蓄积部饱和。

作为上述第一实施方式以及第二实施方式的构成，说明了基于TOF技术的距离图像摄像装置，但本发明的应用对象并不限定于此，在RGB-IR(Red Green Blue-InfraredRadiation)传感器等、具有由光电二极管提供一个电荷蓄积部的构造的传感器中也能够应用。

另外，只要是将光电二极管由入射光生成的电荷向电荷蓄积部进行蓄积的构成，则也能够应用于CCD(Charge Coupled Device)图像传感器或者CMOS(ComplementaryMetal Oxide Semiconductor)图像传感器等。

另外，在上述的第一实施方式以及第二实施方式的各自中，对像素信号读出部为RU1至RU4这四个的构成进行说明，但并不限定于该构成，对于具备三个像素信号读出部RU的构成、或者具备五个以上像素信号读出部RU的构成、即具有三个以上像素读出部RU的构成，通过进行“对于距离摄像摄像装置，判定对强度最强的反射光RL进行反射的被摄体所存在的计测区域，将在光脉冲照射条件选择模式下通过基准累计次数得到的蓄积电荷量除以作为基准值的基准电荷量，根据作为除算结果而得到的电荷量比来求出被摄体所存在的计测区域。在以计测区域中的电荷蓄积部CS不饱和的方式设定的光脉冲照射条件下进行测距”这样的与本实施方式相同的处理，即使距离图像摄像装置与被摄体的距离不明、或者被摄体的反射强度不明，也能够防止电荷蓄积部CS中的蓄积电荷量饱和。

另外，关于具备三个以上的多个像素信号读出部RU的构成，通过进行“将在光脉冲照射条件选择模式下通过基准累计次数得到的蓄积电荷量除以作为基准值的基准电荷量，根据作为除算结果而得到的电荷量比来求出被摄体所存在的计测区域。在该方法中，对于距离摄像摄像装置，判定对强度最强的反射光RL进行反射的被摄体所存在的计测区域。作为所判定出的计测区域中的光脉冲照射条件，提取能够以规定的精度计算距离的累计次数(即照射次数)、在累计次数下满足人眼安全的照射周期。在测距电荷量取得模式下根据光脉冲条件进行光脉冲的照射、并将每次照射由光电转换元件PD生成的电荷向各电荷蓄积部分配而蓄积累计的电荷量”这样的与本实施方式相同的处理，由此能够满足对于电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数，且即使在连续照射脉冲光的情况下也能够满足对于人体的安全基准(人眼安全)。

另外，关于具备三个以上的多个像素信号读出部RU的构成，通过进行“在各计测区域的累计次数表中，与背景光量(外部光量)分别对应地设定有累计次数。由此，选择与在光脉冲照射条件选择模式中计测出的背景光量对应的累计次数”这样的与本实施方式相同的处理，由此能够容易地抑制由于背景光量的影响而导致电荷蓄积部饱和。

另外，在第一实施方式以及第二本实施方式中，说明了在像素信号读出部RU1至RU4这四个的构成中将像素信号读出部RU1固定于背景光的计测。关于具备三个以上的多个像素信号读出部RU的构成，不将像素信号读出部RU中的某一个固定为背景光用而对像素信号读出部RU各自的蓄积电荷量分别进行比较。由此，将最小的蓄积电荷量的像素信号读出部RU选择为读出背景光的像素信号读出部RU，即使在这样的构成中，通过进行与第一实施方式以及第二实施方式相同的处理，也能够满足对于电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数，即使在连续照射脉冲光的情况下也能够满足对于人体的安全基准(人眼安全)，且能够求出电荷蓄积部CS分别不饱和的累计次数。

工业上的可利用性

如以上说明的那样，根据本发明，能够提供距离图像摄像装置以及距离图像摄像方法，即使在连续地照射了脉冲光的情况下，也能够满足对于人体的安全基准(人眼安全)，且满足向电荷蓄积部蓄积距离计测所需的电荷量的蓄积次数。

附图标记说明

1…距离图像摄像装置

2…光源部

3…受光部

31…透镜

32…距离图像传感器(距离图像摄像元件)

321…像素电路

322…像素驱动电路

4…距离图像处理部

41…定时控制部

42…距离运算部

43…测定控制部

431…初始运行条件设定部

432…区域判定部

433…区域运行条件设定部

434…运行控制部

435…初始值存储部

436…按区域区分的运行条件存储部

CS1、CS2、CS3、CS4…电荷蓄积部

FD1、FD2、FD3、FD4…浮动扩散区

G1、G2、G3、G4…传输晶体管

GD…电荷排出晶体管

PD…光电转换元件

PO…光脉冲

RL…反射光

RT1、RT2、RT3、RT4…复位晶体管

S…被摄体

SF1、SF2、SF3、SF4…源极跟随晶体管

SL1、SL2、SL3、SL4…选择晶体管

Claims (14)

1.一种距离图像摄像装置，具备：

受光部，具备多个像素电路以及像素驱动电路，上述像素电路具备：光电转换元件，产生与从测定对象的空间即测定空间入射的光即入射光相应的电荷；N个电荷蓄积部，在帧周期中蓄积上述电荷，其中N≥3；以及传输晶体管，从上述光电转换元件向上述电荷蓄积部分别传输上述电荷，上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而对上述电荷蓄积部分别分配上述电荷并使其蓄积；

光源部，向上述测定空间照射上述光脉冲；

距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离；以及

测定控制部，判定上述测定距离属于根据区域阈值设定的计测区域中的哪个，上述区域阈值与离上述受光部的多个距离对应地设定，并且，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射。

2.如权利要求1所述的距离图像摄像装置，其中，

上述测定控制部基于在上述像素电路各自所配置的任意区域内被测定为最近距离的上述测定距离，与上述区域阈值分别进行比较，由此进行包含上述测定距离的上述计测区域的判定。

3.一种距离图像摄像装置，具备：

受光部，具备多个像素电路以及像素驱动电路，上述像素电路具备：光电转换元件，产生与从测定对象的空间即测定空间入射的光即入射光相应的电荷；N个电荷蓄积部，在帧周期中蓄积上述电荷，其中N≥3；以及传输晶体管，从上述光电转换元件向上述电荷蓄积部分别传输上述电荷，上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而对上述电荷蓄积部分别分配上述电荷并使其蓄积；

光源部，向上述测定空间照射上述光脉冲；

距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离；以及

测定控制部，根据上述电荷蓄积部分别蓄积的电荷量，求出由上述测定空间中的被摄体对上述光脉冲进行了反射而得的反射光产生的合计电荷量，根据与上述合计电荷量对应地设定的区域阈值，判定上述合计电荷量属于哪个计测区域，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射。

4.如权利要求3所述的距离图像摄像装置，其中，

上述测定控制部为，

求出上述像素电路各自所配置的任意区域内的最大的合计电荷量与由任意的距离以及反射率的物体对上述光脉冲进行了反射而得的反射光产生的电荷量即基准电荷量之间的电荷量比，将上述电荷量比与上述区域阈值分别进行比较，由此判定包含上述合计电荷量的上述计测区域。

5.如权利要求1至4中任一项所述的距离图像摄像装置，其中，

上述测定控制部为，

根据上述电荷蓄积部中的蓄积电荷量求出与背景光对应的电荷量即背景光电荷量，从上述计测区域各自中的上述累计次数以及上述脉冲周期的多个组合中选择与上述背景光电荷量对应的上述组合。

6.如权利要求4所述的距离图像摄像装置，其中，

上述基准电荷量是使用每单位蓄积时间的光脉冲的脉冲宽度、向上述电荷蓄积部分配时的传输晶体管为导通状态的时间、单位蓄积时间下的上述累计次数、取得由来自物体的反射光产生的电荷量而被设定的，上述电荷量被设定为上述电荷蓄积部的蓄积量以内的数值。

7.如权利要求4或6所述的距离图像摄像装置，其中，

上述基准电荷量为，从上述电荷蓄积部分别蓄积的电荷量即蓄积电荷量分别减去由背景光产生的电荷量，将相减结果相加而求出上述合计电荷量。

8.如权利要求1至7中任一项所述的距离图像摄像装置，其中，

对于针对上述计测区域的上述累计次数的各自，将每单位蓄积时间的光脉冲的脉冲宽度以及上述传输晶体管为导通状态的时间分别设为恒定时间，使上述光脉冲的照射周期与上述累计次数对应，对所放射的光脉冲向被摄体的曝光量进行调整。

9.如权利要求4、6、7中任一项所述的距离图像摄像装置，其中，

在针对规定的距离以及规定的反射率分别设定有上述基准电荷量的情况下，上述电荷量比相对于基于上述距离的衰减率以及基于上述反射率的衰减率分别具有相关性。

10.如权利要求1或2所述的距离图像摄像装置，其中，

上述测定控制部为，

对于在上述计测区域中选择出的上述累计次数，在一定期间内，或者在与当前的计测区域的距离范围不同的计测区域中的距离范围内检测出上述测定距离之前，持续使用同一上述累计次数。

11.如权利要求4、6、7、9中任一项所述的距离图像摄像装置，其中，

上述测定控制部为，

对于在上述计测区域中选择出的上述累计次数，在一定期间内，或者在检测出与当前的计测区域不同的计测区域所包含的上述电荷量比之前，持续使用同一上述累计次数。

12.如权利要求1至11中任一项所述的距离图像摄像装置，其中，

上述像素电路具备电荷排出电路，在向上述电荷蓄积部蓄积上述电荷的时间以外，上述电荷排出电路将上述光电转换元件产生的上述电荷排出。

13.一种距离图像摄像方法，对距离图像摄像装置进行控制，该距离图像摄像装置具备由光电转换元件、多个电荷蓄积部以及传输晶体管构成的多个像素电路的各自、光源部、像素驱动电路、距离图像处理部以及测定控制部，该距离图像摄像方法包括：

上述光源部向测定对象的空间即测定空间照射光脉冲的步骤；

上述像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而将上述光电转换元件根据来自上述测定空间的入射光产生的电荷对N个电荷蓄积部分别进行分配并使其蓄积的步骤，上述传输晶体管用于从上述光电转换元件向上述电荷蓄积部传输上述电荷，其中N≥3；

上述距离图像处理部基于上述电荷蓄积部分别蓄积的电荷量，求出到存在于上述测定空间的被摄体的距离，作为测定距离的步骤；以及

上述测定控制部判定上述测定距离属于根据区域阈值设定的计测区域中的哪个，上述区域阈值与离上述距离图像摄像装置的多个距离对应地设定，并且，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射的步骤。

14.一种距离图像摄像方法，对距离图像摄像装置进行控制，该距离图像摄像装置具备由光电转换元件、多个电荷蓄积部以及传输晶体管构成的多个像素电路的各自、光源部、像素驱动电路、距离图像处理部以及测定控制部，该距离图像摄像方法包括：

上述光源部向测定对象的空间即测定空间照射光脉冲的步骤；

上述像素驱动电路在与光脉冲的照射同步的规定的蓄积定时，进行上述传输晶体管各自的导通截止处理而将上述光电转换元件根据来自上述测定空间的入射光产生的电荷对N个电荷蓄积部分别进行分配并使其蓄积的步骤，上述传输晶体管用于从上述光电转换元件向上述电荷蓄积部传输上述电荷，其中N≥3；

上述距离图像处理部基于上述电荷蓄积部分别蓄积的电荷量，求出从上述距离图像摄像装置到存在于上述测定空间的被摄体的距离，作为测定距离的步骤；以及

测定控制部根据上述电荷蓄积部分别蓄积的电荷量，求出由上述测定空间中的被摄体对上述光脉冲进行了反射而得的反射光产生的合计电荷量，根据与上述合计电荷量对应地设定的区域阈值，判定上述合计电荷量属于哪个计测区域，根据对所判定出的上述计测区域设定的累计次数进行上述电荷的蓄积，随着上述累计次数的增加，使上述光脉冲的脉冲周期增加而进行上述光脉冲的照射的步骤。