CN116964486A - 门控照相机、车辆用感测系统、车辆用灯具 - Google Patents

Abstract

门控照相机(100)将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。照明装置(110)照射照明光(L1)。照相机控制器(130)控制照明装置(110)的发光定时和图像传感器(120)的曝光定时，以使得从较近的切片朝向较远的切片生成切片图像。运算处理装置(140)针对依次生成的切片图像分别判定是否拍摄到路面。针对某个切片中判定为拍摄到路面的行，在比其远的切片的感测时，简化处理。

Description

门控照相机、车辆用感测系统、车辆用灯具

技术领域

本发明涉及门控照相机(Gated camera)。

背景技术

为了自动驾驶或前照灯的配光的自动控制，利用对存在于车辆的周围的物体的位置以及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度或成本，从照相机、LiDAR(Light Detection andRanging：光检测和测距、Laser Imaging Detection and Ranging：激光成像检测和测距)、毫米波雷达、超声波声呐等中选择传感器。

无法从通常的单眼照相机得到进深的信息。因此，在位于不同距离的多个物体重叠的情况下，难以将它们分离。

作为能够得到进深信息的照相机，已知有TOF照相机。TOF(Time Of Flight：飞行时间)照相机通过发光设备投射红外光，测定至反射光返回图像传感器为止的飞行时间，得到将飞行时间转换为距离信息的TOF图像。

作为替代TOF照相机的有源传感器，提出门控照相机(Gating Camera或者GatedCamera)(专利文献1、2)。门控照相机将拍摄范围划分为多个切片，按每个切片使曝光定时以及曝光时间变化来进行拍摄。由此，按每个对象的切片得到切片图像，各切片图像仅包括对应的切片中包含的物体。

现有技术文献

非专利文献

专利文献1：日本特开2009-257981号公报

专利文献2：国际公开WO2017/110417A1

专利文献3：日本特开2020-16481号公报

发明内容

发明要解决的课题

A.在将门控照相机用作车载用的传感器的情况下，要求高帧率。在感测多个切片时，在全部切片中，若针对全部行进行相同的处理，则生成全部切片(将其称为1帧)的切片图像所需的时间变长，帧率降低。

B.在门控照相机中，对于图像传感器接收的来自物体的反射光的强度(受光量)而言，至物体为止的距离越近则越强(大)，越远则越弱(小)。因此，在扫描多个切片的1帧期间，若使红外光的强度恒定，则越远的切片图像则像素值越小，物体变得不易识别。

为了解决该问题，在感测较远的切片时，增加发光和曝光的次数即可。但是，该方法由于较远的切片的感测时间变长，所以获取全部切片的图像所需的时间变长，不可避免帧率的降低。

本公开是在这样的状况下完成的，其某个方式的例示的目的之一在于提供改善了帧率的门控照相机。

用于解决课题的手段

1.本公开的某个方式的门控照相机将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；照相机控制器，控制照明装置的发光定时和图像传感器的曝光定时，以使得从较近的切片朝向较远的切片生成切片图像；以及运算处理装置，针对依次生成的切片图像分别判定是否拍摄到路面。门控照相机针对某个切片的切片图像中判定为拍摄到路面的行，在比其远的切片的感测时，简化处理。

2.本公开的某个方式涉及门控照相机，将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；以及照相机控制器，控制照明装置的发光和图像传感器的曝光，以使得交替反复进行从近前的切片朝向深侧的切片感测的正向扫描和从深侧的切片朝向近前的切片感测的反向扫描，并且控制照明装置，以使得在正向扫描中照明光的强度随时间增加，在反向扫描中照明光的强度随时间降低。

3.本公开的某个方式的门控照相机将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；照相机控制器，能够切换第一扫描至第M扫描(M≥2)，且控制照明装置的发光和图像传感器的曝光，以使第一扫描至第M扫描各自中的多个切片的边界沿进深方向错开1/M切片；以及运算处理装置，通过对第一扫描至第M扫描各自中得到的第一切片图像组至第M切片图像组进行处理，生成作为将各切片沿进深方向进行了M分割的范围的子切片的图像。

发明的效果

根据本公开的某个方式，能够改善帧率。

附图说明

图1是实施方式1所涉及的感测系统的框图。

图2是对门控照相机的基本动作进行说明的图。

图3的(a)、(b)是对通过门控照相机得到的切片图像进行说明的图。

图4是对由门控照相机进行的感测的特性进行说明的图。

图5的(a)是表示行驶场景的图，图5的(b)是表示在图5的(a)的行驶场景中得到的多个切片图像的图。

图6是表示图像传感器的结构例的图。

图7的(a)、(b)是对图像传感器的图像读出进行说明的图。

图8是表示行驶场景的另一例的图。

图9的(a)、(b)是表示使用了多抽头(multi tap)型的图像传感器时的门控照相机的动作的图。

图10是表示变形例1.1所涉及的处理的图。

图11是表示变形例1.2所涉及的处理的图。

图12是实施方式2所涉及的感测系统的框图。

图13是对基于门控照相机的正向扫描和反向扫描进行说明的图。

图14的(a)、(b)是表示基于门控照相机的照明光的强度的控制的图。

图15是对比较技术所涉及的门控照相机的动作进行说明的图。

图16是表示照明装置的结构例的框图。

图17是表示包含发光定时信号和亮度指令的控制信号的图。

图18是变形例2.1所涉及的门控照相机的动作波形图。

图19是表示使用了多抽头型的图像传感器时的门控照相机的动作的图。

图20是对基于变形例2.2所涉及的门控照相机的正向扫描和反向扫描进行说明的图。

图21是表示变形例2.2中的照明光的强度的推移的图。

图22是实施方式3所涉及的感测系统的框图。

图23是对在时间上连续的两次扫描中的切片进行说明的图。

图24是对门控照相机的动作的一例进行说明的时序图。

图25是对比较技术所涉及的门控照相机的动作进行说明的图。

图26是表示使用了多抽头型的图像传感器时的门控照相机的动作的图。

图27是对变形例3.4所涉及的门控照相机的动作进行说明的图。

图28是感测系统的框图。

图29的(a)、(b)是表示具备门控照相机的汽车的图。

图30是表示具备感测系统的车辆用灯具的框图。

具体实施方式

(实施方式的概要)

对本公开的几个例示性的实施方式的概要进行说明。该概要作为后述的详细的说明的前置，以实施方式的基本的理解为目的，对一个或多个实施方式的几个概念进行简化并说明，不限定发明或者公开的广度。另外，该概要不是考虑到的所有实施方式的概括性的概要，不限定实施方式不可缺少的结构要素。为了方便，“一实施方式”有时作为指示本说明书公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。

1.一实施方式所涉及的门控照相机将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；照相机控制器，控制照明装置的发光定时和图像传感器的曝光定时，以使得从较近的切片朝向较远的切片生成切片图像；以及运算处理装置，针对依次生成的切片图像分别判定是否拍摄到路面。门控照相机针对某个切片的切片图像中判定为拍摄到路面的行，在比其远的切片的感测时，简化处理。

在通过门控照相机以相同的视角拍摄多个切片的情况下，若假设为在感测某个切片而得到的切片图像的某行检测到来自路面的反射，则在原理上反射光无法入射至感测比其远的切片而得到的切片图像的相同的行。利用该性质，针对反射光无法入射的行简化处理，从而能够缩短切片图像的生成时间以及/或图像数据的传输时间，改善帧率。

在一实施方式中，也可以是，行的处理的简化为图像传感器中的行的读出的跳过。在一实施方式中，也可以是，行的处理的简化为行的数据传输的跳过。

在一实施方式中，也可以是，运算处理装置针对切片图像的多个行，判定是否拍摄到路面，若判定为在某行拍摄到路面，则针对比其下侧的行，不进行判定处理，作为拍摄到路面的情况来处理。

也可以是，在构成1行的多个像素中的像素值包含于规定范围的有效像素的个数大于规定数量时，运算处理装置判定为拍摄到路面。

在一实施方式中，也可以是，规定范围动态变化。图像传感器除了入射照明光的反射光以外，还入射太阳光等干涉光(噪声)。因此，通过根据周围环境使规定范围变化，能够防止因噪声引起的错误判定。

在感测到人行天桥、隧道、桥梁等宽度宽的物体存在的切片的情况下，可能将作为其结果得到的切片图像中的拍摄到宽度宽的物体的行错误判定为路面。因此，在一实施方式中，也可以是，运算处理装置针对比成为基准的行靠上侧的行，从判定的对象中除去。成为基准的行也可以与水平线进行关联地决定。由此，能够防止路面的错误检测。

在一实施方式中，图像传感器也可以是具有多个电荷积蓄区域的多抽头型，门控照相机也可以能够利用多个电荷积蓄区域，并行地感测邻接的多个切片。

在一实施方式中，也可以是，通过一次感测并行地得到的多个切片图像以相同的尺寸被读出。

在一实施方式中，也可以是，通过一次感测并行地得到的多个切片图像以不同的尺寸被读出。

在一实施方式中，也可以是，运算处理装置能够根据邻接的两个切片图像的像素值，计算至拍摄到各像素的物体为止的距离。针对某个切片的切片图像中判定为拍摄到路面的行，在比该切片远两个以上切片的切片的感测时，简化处理。由此，能够防止生成距离信息所需的信息缺失。

2.一实施方式所涉及的门控照相机将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；以及照相机控制器，控制照明装置的发光和图像传感器的曝光，以使得交替反复进行从近前的切片朝向深侧的切片感测的正向扫描和从深侧的切片朝向近前的切片感测的反向扫描，并且控制照明装置，以使得在正向扫描中照明光的强度随时间增加，在反向扫描中照明光的强度随时间降低。

根据该结构，越远的切片则照明光的强度越高，因此，能够减少为了生成较远的切片的图像所需的发光以及曝光的次数，能够改善帧率。

这里，若始终沿相同的方向(例如从近向远)扫描多个切片，则在从某帧向下一帧转移时，换句话说，在从最远的切片向最近的切片转移时，照明装置生成的照明光的强度急剧地变化。

在照明光为红外光的情况下人的眼睛无法感知，但若考虑到对除本门控照相机以外的传感器的影响，则不优选急剧的强度变化。在这一点中，在本实施方式中，抑制从某帧向下一帧转移时的照明光的强度的急剧的变化，因此，能够减少给予其他传感器的恶劣影响。

另外，在照明装置的响应速度慢的情况下，使照明光的强度大幅变化时的过渡(settling)时间变长，存在帧率降低的可能性。相对于此，在一实施方式中，抑制从某帧向下一帧转移时的照明光的强度的急剧的变化，因此，能够抑制帧率降低。

在一实施方式中，也可以是，门控照相机在正向扫描中，对多个切片中的第奇数个以及第偶数个的一方的切片组进行扫描，在反向扫描中，对多个切片中的第奇数个以及第偶数个的另一方的切片组进行扫描。

在一实施方式中，也可以是，照相机控制器将照明装置的发光指示和照明装置的发光强度的指令值嵌入相同的控制信号而发送至照明装置。由此，能够防止控制线增加。

在一实施方式中，也可以是，控制信号在某个切片中的发光指示与接下来的切片中的发光指示之间包含接下来的切片的发光强度的指令值。通过利用发光与发光的定时之间的空白期间，能够传输发光强度的指令值。

3.一实施方式所涉及的门控照相机将视场在进深方向上划分为多个切片，生成与多个切片对应的多个切片图像。门控照相机具备：照明装置，对视场照射照明光；图像传感器；照相机控制器，能够切换第一扫描至第M扫描(M≥2)，且控制照明装置的发光和图像传感器的曝光，以使第一扫描至第M扫描各自中的多个切片的边界沿进深方向错开1/M切片；以及运算处理装置，通过对第一扫描至第M扫描各自中得到的第一切片图像组至第M切片图像组进行处理，生成作为将各切片沿进深方向进行了M分割的范围的子切片的图像。

在将视场划分为(M×N)个切片进行扫描的情况下，每1个切片需要规定X次的曝光。在将相同的视场划分为N个切片进行扫描的情况下，一个切片的进深成为M倍，因此，能够使照明光的发光时间以及图像传感器的曝光时间变长。作为其结果，图像传感器的受光量增加，能够使每1个切片的曝光次数比X减少，进而能够缩短扫描N个切片所需的时间(帧周期)，能够增大帧率。而且，通过M次扫描，使切片重叠(ovelap)而生成切片图像组，对通过M次扫描得到的M个切片图像组进行运算处理而得到子切片的图像，从而能够维持与M×N个切片相同的进深方向的分辨率。

在一实施方式中，也可以是，M＝2，照相机控制器能够切换第一扫描和第二扫描。

在一实施方式中，也可以是，照明光的发光时间比图像传感器的曝光时间的1/2长，且为曝光时间以下。运算处理装置根据通过第一扫描得到的连续的两张切片图像和通过第二扫描得到的连续的两张切片图像而生成子切片的图像。

在一实施方式中，也可以是，照明光的发光时间为图像传感器的曝光时间的1/2以下，运算处理装置根据通过第一扫描得到的1张切片图像和通过第二扫描得到的1张切片图像而生成子切片的图像。

在一实施方式中，也可以是，照明光的发光时间是图像传感器的曝光时间的2倍，运算处理装置根据通过第一扫描得到的连续的3张切片图像和通过第二扫描得到的连续的3张切片图像而生成子切片的图像。

(实施方式)

以下，参照附图对优选的实施方式进行说明。对各附图所示的同一或相同的结构要素、构件、处理标注同一附图标记，适当省略重复的说明。此外，实施方式不是限定发明而是例示，且实施方式所记载的所有特征及其组合不一定都是发明的本质性内容。

(实施方式1)

图1是实施方式1所涉及的感测系统10的框图。该感测系统10搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体OBJ进行检测。

感测系统10主要具备门控照相机100。门控照相机100包含照明装置110、图像传感器120、照相机控制器130、运算处理装置140。对于基于门控照相机100的拍摄而言，将视场在进深方向上划分为复数N个(N≥2)切片RNG₁～RNG_N来进行。邻接的切片彼此也可以在它们的边界中沿进深方向重叠。

将视场整体即全部切片RNG₁～RNG_N的感测定义为1帧。因此，在本说明书中称为帧率时表示每单位时间(1秒)能够拍摄的帧的数量。

照明装置110与从照相机控制器130被给予的发光定时信号S1同步地对车辆前方的视场照射照明光L1。照明光L1优选为红外光，但不局限于此，也可以是具有规定的波长的可见光、紫外光。

图像传感器120包含多个像素，能够进行与从照相机控制器130被给予的曝光定时信号S2同步的曝光控制，生成由多个像素构成的图像(RAW图像)。图像传感器120在与照明光L1相同的波长具有灵敏度，对物体OBJ所反射的反射光(返回光)L2进行拍摄。关于第i个切片RNG_i而图像传感器120所生成的切片图像IMG_i根据需要而称为图像IMG_i(或者一次图像)，与门控照相机100的最终的输出图像IMGf进行区别。输出图像IMGf也可以是多个切片图像的集合，也可以是合成了多个切片图像的1张图像数据。

照相机控制器130控制基于照明装置110的照明光L1的照射定时(发光定时)和基于图像传感器120的曝光的定时。照相机控制器130能够通过CPU(Central ProcessingUnit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)、微电脑等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。

由图像传感器120生成的图像IMG_i输入至运算处理装置140。运算处理装置140对针对多个切片RNG₁～RNG_N得到的多个切片图像IMG₁～IMG_N进行处理。运算处理装置140也可以安装于与照相机控制器130相同的硬件，也可以由分别不同的硬件构成。或者运算处理装置140的功能的一部分或者全部也可以作为内置于与图像传感器120相同的模块的处理器、数字电路而实现。

以上是门控照相机100的基本结构。接着对其动作进行说明。

图2是对门控照相机100的基本动作进行说明的图。图2示出感测第i个切片RNG_i时的状况。照明装置110与发光定时信号S1同步地在时刻t₀～t₁之间的发光期间τ₁期间进行发光。最上部示出：横轴表示时间，纵轴表示距离的光线的图表。将从门控照相机100至切片RNG_i的近前的边界为止的距离设为d_MINi，将从门控照相机100至切片RNG_i的深侧的边界为止的距离设为d_MAXi。

图2是对门控照相机100的基本动作进行说明的图。图2中，示出感测第i个切片RNG_i时的状况。照明装置110与发光定时信号S1同步地在以时刻t₁为中心的发光期间τ₁期间进行发光。最上部示出横轴表示时间，纵轴表示距离的光线的图表。将从门控照相机100至切片RNG_i的近前的边界为止的距离设为d_MINi，将从门控照相机100至切片RNG_i的深侧的边界为止的距离设为d_MAXi。切片RNG_i的进深为L＝d_MAXi-d_MINi。

某时刻从照明装置110出发的光到达距离d_MINi而其反射光返回图像传感器120为止的往返时间T_MINi为T_MINi＝2×d_MINi/c。c是光速。

同样，某时刻从照明装置110出发的光到达距离d_MAXi而其反射光返回图像传感器120为止的往返时间T_MAXi为T_MAXi＝2×d_MAXi/c。

在仅想要拍摄切片RNG_i中包含的物体OBJ时，照相机控制器130生成曝光定时信号S2，以使得在时刻t₂＝t₁+T_MINi开始曝光，在时刻t₃＝t₁+T_MAXi结束曝光。这是一次曝光动作。

曝光时间τ₃是τ₃＝t₃-t₂＝T_MAXi-T_MINi＝2×(d_MAXi-d_MINi)/c，与切片RNG_i的进深L成比例。发光时间τ₁也可以在不超过曝光时间τ₃的范围内决定。

τ₁≤τ₃

该例中，以发光时间τ₁的中央的定时t₁为基准来分别决定曝光的开始时刻t₂和结束时刻t₃，但不局限于此，也可以以发光开始时刻t₀-τ₁/2为基准来决定，也可以以发光结束时刻t₀+τ₁/2为基准来决定。

第i个切片RNG_i的感测也可以包含多个发光以及曝光的集合。在这种情况下，照相机控制器130以规定的周期遍及多次反复进行上述的曝光动作即可。

例如在图像传感器120能够多重曝光的情况下，也可以在每个像素的电荷积蓄区域积蓄通过多次发光得到的反射光，生成1张切片图像。

在没有利用多重曝光的情况下，也可以在感测某个切片RNG_i时，按发光和曝光的1个集合，生成图像IMG_ij，并在运算处理装置140中将在复数m次集合中得到的m个图像IMG_i1～IMG_im合成，生成1张切片图像IMG_i。

图3的(a)、(b)是对通过门控照相机100得到的切片图像进行说明的图。图3的(a)的例子中，在切片RNG₂存在物体(行人)OBJ₂，在切片RNG₃存在物体(车辆)OBJ₃。图3的(b)示出图3的(a)的状况下得到的多个切片图像IMG₁～IMG₃。在拍摄切片图像IMG₁时，图像传感器仅通过来自切片RNG₁的反射光而曝光，因此，在切片图像IMG₁没有拍摄到任何物体像。

在拍摄切片图像IMG₂时，图像传感器仅通过来自切片RNG₂的反射光而曝光，因此，在切片图像IMG₂仅拍摄到物体像OBJ₂。同样，在拍摄切片图像IMG₃时，图像传感器仅通过来自切片RNG₃的反射光而曝光，因此，在切片图像IMG₃仅拍摄到物体像OBJ₃。这样，根据门控照相机100，能够按每个切片将物体分离而进行拍摄。

在将门控照相机100用作车载用的传感器的情况下，要求尽可能高的帧率。在感测多个切片RNG₁～RNG_N时，在全部切片中，若针对全部行进行相同的处理，则生成全部切片的切片图像IMG₁～IMG_N所需的时间变长，帧率降低。以下，对用于改善帧率的技术进行说明。

本发明的发明人们对由门控照相机100进行的感测进行研究，识别出以下的特性。图4是对由门控照相机100进行的感测的特性进行说明的图。门控照相机100设置在路面2之上。

如图4所示，考虑如下情况：通过门控照相机100，在垂直方向上以相同的视角θ拍摄多个(这里成为4个)切片RNG₁～RNG₄。针对最近前的切片RNG₁，路面a拍摄到切片图像IMG₁的区域A中。

针对从近前起的第二个切片RNG₂，路面b拍摄到切片图像IMG₂的区域B中。

同样，针对从近前起的第三个切片RNG₃，路面c拍摄到切片图像IMG₃的区域C中，针对最深的切片RNG₄，路面d拍摄到切片图像IMG₄的区域D中。

这里，在感测第二个至第四个切片时，来自路面a的反射光没有入射至图像传感器120。因此，与切片图像IMG₂～IMG₄的路面a对应的区域A'、A”、A”'包含有意义的信息的可能性极低。

同样，在感测第三个至第四个切片时，来自路面b的反射光没有入射至图像传感器120。因此，与切片图像IMG₃、IMG₄的路面b对应的区域B'、B”包含有意义的信息的可能性极低。

同样，在感测第四个切片时，来自路面c的反射光没有入射至图像传感器120。因此，与切片图像IMG₄的路面c对应的区域C'包含有意义的信息的可能性极低。

也就是说，若假设为在感测某个切片而得到的切片图像的某行中检测到来自路面的反射，则在原理上反射光无法入射感测比其远的切片而得到的切片图像的相同的行。在本实施方式中，利用该性质，针对反射光无法入射的行(区域)简化处理。

返回图1。在本实施方式中，照相机控制器130控制照明装置110的发光定时和图像传感器120的曝光定时，以使得从较近的切片RNG₁朝向较远的切片RNG_N生成切片图像IMG₁～IMG_N。由此，从较近的切片的切片图像至较远的切片的切片图像依次输入到运算处理装置140。

运算处理装置140针对依次生成的切片图像IMG，分别判定是否拍摄到路面。而且，门控照相机100针对某个切片RNG_i的切片图像中判定为拍摄到路面的行，在比其远的切片RNG_j(j＞i)的感测时，简化处理。与判定为拍摄到路面的行相关的信息S3被供给至简化的处理的执行主体或者控制执行主体的模块。

接着，参照附图对由门控照相机100进行的处理的简化的例子进行说明。

图5的(a)是表示行驶场景的图，图5的(b)是表示在图5的(a)的行驶场景中得到的多个切片图像的图。这里，切片的数量N设为4。

在感测最近前的切片RNG₁而得到的切片图像IMG₁中，在下方的区域中拍摄到路面。运算处理装置140对该切片图像IMG₁进行处理，判定为在多个行r₁～r₂拍摄到路面。

在第二个切片RNG₂的感测时，针对被判定为包含路面的行r₁～r₂，简化处理。在本实施方式中，行的处理的简化是图像传感器120中的行的读出的跳过。换句话说，在第二个切片RNG₂的感测中，没有被读出行r₁～r₂，因此，生成的切片图像IMG₂成为剪切(crop)成不包含行r₁～r₂的图像。在图1中，从运算处理装置140供给至图像传感器120的信息S3指定应该跳过的行。

接着，运算处理装置140对切片图像IMG₂进行处理，判定为在行r₂～r₃之间拍摄到路面。

在第三个切片RNG₃的感测时，针对被判定为包含路面的行r₁～r₂以及r₂～r₃，简化处理。换句话说，在第三个切片RNG₃的感测中，没有被读出行r₁～r₃，因此，生成的切片图像IMG₃成为剪切成不包含行r₁～r₃的图像。

运算处理装置140对切片图像IMG₃进行处理，判定为在行r₃～r₄之间拍摄到路面。

在第四个切片RNG₄的感测时，针对被判定为包含路面的行r₁～r₂、r₂～r₃、r₃～r₄，简化处理。换句话说，在第四个切片RNG₄的感测中，没有被读出行r₁～r₄，因此，生成的切片图像IMG₄成为剪切成不包含行r₁～r₄的图像。

以上是门控照相机100的动作。根据该门控照相机100，越靠深侧的切片则切片图像的行数越减少，因此，1张切片图像的生成以及传输所需的时间变短。由此，生成全部切片的切片图像所需的时间变短，能够改善帧率。

图6是表示图像传感器120的结构例的图。图像传感器120具备像素阵列122、垂直扫描电路124、读出电路126。

像素阵列122具有x×y的分辨率，具备复数y根选择控制线(垂直扫描线)SEL1～SELy、复数x根输出信号线OUT1～OUTx以及设置于它们的交点的复数x×y个像素。若将CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器作为例子，则各像素能够包括光电二极管、电荷积蓄元件(电容器、浮动扩散部FD)以及包含几个晶体管的像素电路。在曝光中，通过像素电路将光电二极管与电荷积蓄元件连接，与受光量对应的电荷存积于电荷积蓄元件。

图7的(a)、(b)是对图像传感器120的图像读出进行说明的图。通常而言，如图7的(a)所示，垂直扫描电路124依次选择多个选择控制线SEL1～SELy。若某行的选择控制线SEL成为有效，则在该行的像素中，电荷积蓄元件与对应的输出信号线OUT连接，电荷积蓄元件的电压被读出电路126读出。

读出一个图像IMG所需的时间是全部行的读出时间的合计。在一实施例中，为了缩短一图像的读出时间，跳过不包含有意义的信息的可能性高的行的读出。图7的(b)示出行的读出的跳过。例如在跳过第j行的读出的情况下，没有选择第j个选择控制信号SELj。

在跳过了y行中的k行的情况下，读出时间大概能够缩短至(y-k)/y倍。这样，通过跳过行的读出，能够缩短生成1张切片图像所需的时间，进而能够提高帧率。

接着，对在切片图像是否拍摄到路面的判定处理进行说明。

例如运算处理装置140也可以针对切片图像IMG的多个行，判定是否拍摄到路面，按每行，判定是否拍摄到路面。运算处理装置140也可以在遍及邻接的多个行以上满足判定条件时，判定为在该多个行拍摄到路面。

在这种情况下，若判定为在某行拍摄到路面，则针对比其下侧的行，也可以不进行判定处理而作为拍摄到路面的情况来处理。由此，能够缩短判定所需的时间。

对判定条件进行说明。例如运算处理装置140也可以在构成1行的复数x个像素中的像素值包含于规定范围的有效像素的个数大于规定数量时，判定为拍摄到路面。规定范围也可以仅决定下限值，也可以决定下限值和上限值。另外，规定数量也可以决定为比水平分辨率x的0.6倍大，也可以更优选成为0.8倍左右。

并且，也可以将规定范围内的像素值的偏差比规定值小加入判定条件。

这里，在图像传感器120不仅入射反射光，还入射太阳光等外部干扰噪声。在朝向太阳行驶那样的情况下，可能由于较大的外部干扰噪声而错误判定为在某行拍摄到路面。因此，规定范围可以根据行驶场景而动态变化，也可以在外部干扰噪声大的情况下，使规定范围的下限值相对提高，在外部干扰噪声小的情况下，使下限值相对降低。

图8是表示行驶场景的另一例的图。在该行驶场景中，在门控照相机100的前方存在人行天桥4。在该场景中，若感测包含人行天桥4的桥梁部分6的切片，则在拍摄到桥梁部分6的行中，存在满足路面的判定条件的可能性，被错误判定为路面。该问题除了在人行天桥之外在隧道、桥梁通过时也能够产生。在包含人行天桥等宽度宽的物体的行中，可能在相同的行的左右方向的不同的位置存在应该检测的物标。因此，针对这样的行，不优选简化处理。

因此，为了防止该错误判定，运算处理装置140也可以针对比成为基准的行靠上侧的行，从判定的对象中除去。成为基准的行也可以与水平线进行关联而决定。由此，能够防止路面的错误检测。

对与实施方式1关联的变形例进行说明。

(变形例1.1)

图像传感器120是按每个像素具有多个浮动扩散部(电荷积蓄区域)FD的多抽头型，并且能够按每个单独地控制曝光定时。

图9的(a)、(b)是表示使用了多抽头型的图像传感器时的门控照相机100的动作的图。这里，以具有4个浮动扩散部FD1～FD4的4抽头的图像传感器作为例子。图9的(a)示出一次感测动作，波形S1表示照明装置110的发光定时，波形S2_1～S2_4表示4个抽头TAP1～TAP4的曝光定时。

在这种情况下，门控照相机100在一次感测(称为子帧)中，在多个浮动扩散部FD获取不同的定时的曝光结果，由此，能够一齐感测邻接的多个切片。另外，一个子帧包含多个发光和曝光的集合。

如图9的(b)所示，通过多次反复进行子帧的感测，全部切片的感测结束。在切片的数量n＝12、抽头数m＝4的情况下，1帧包含n/m＝3个的子帧。

图10是表示变形例1.1所涉及的处理的图。在第一个子帧中，进行4个切片RNG₁～RNG₄的感测。

首先，将最近前的切片RNG₁的切片图像IMG₁不从抽头TAP1剪切而以全尺寸读出。运算处理装置140对切片图像IMG₁进行处理，判定拍摄到路面的行。标注了阴影线(hatching)的部分a表示被判定为路面的行。

接着，被判定为路面的行a的信息被给予图像传感器120。图像传感器120以剪切了被判定为路面的行a的形式从抽头TAP2读出第二个切片图像IMG₂。

运算处理装置140对切片图像IMG₂进行处理，判定拍摄到路面的行b。接着，被判定为路面的行b的信息被给予图像传感器120。图像传感器120以剪切了过去被判定为路面的行a、b的形式从抽头TAP3读出第三个切片图像IMG₃。

运算处理装置140对切片图像IMG₃进行处理，判定拍摄到路面的行c。接着，被判定为路面的行c的信息被给予图像传感器120。图像传感器120以剪切了过去被判定为路面的行a、b、c的形式从抽头TAP4读出第四个切片图像IMG₄。

运算处理装置140对切片图像IMG₄进行处理，判定拍摄到路面的行d。接着，被判定为路面的行d的信息被给予图像传感器120。

接着，在第二个子帧中，进行4个切片RNG₅～RNG₈的感测。最近前的切片RNG₅的切片图像IMG₅从抽头TAP1被读出。此时，切片图像IMG₅以剪切了已经被判定为路面的行a～d的方式被读出。

以下，反复该动作。这样，在变形例1.1中，通过一次感测并行地得到的多个切片图像从近前起依次以不同的尺寸被读出。

(变形例1.2)

图11是表示变形例1.2所涉及的处理的图。在第一个子帧中，进行4张切片RNG₁～RNG₄的感测，生成4张切片图像IMG₁～IMG₄。这些没有被剪切而以全尺寸被读出。

运算处理装置140针对4张切片图像IMG₁～IMG₄，判定拍摄到路面的行。标注了阴影线的部分表示被判定为路面的行。在第一个子帧中，判定为在范围A拍摄到路面。

在接下来的第二个子帧中，生成与4张切片RNG₁～RNG₄对应的4张切片图像IMG₅～IMG₈。这些切片图像IMG₅～IMG₈剪切成不包含已经拍摄到路面的区域A而被读出。

运算处理装置140针对4张切片图像IMG₅～IMG₈，判定拍摄到路面的行。标注了阴影线的部分表示被判定为路面的行。在第二个子帧中，判定为在范围B拍摄到路面。

在接下来的第三个子帧中，生成与4张切片RNG₉～RNG₁₂对应的4张切片图像IMG₉～IMG₁₂。这些切片图像IMG₉～IMG₁₂剪切成不包含拍摄到路面的区域A以及B而被读出。

这样，在变形例1.2中，通过一次感测并行地得到的1个子帧内的多个切片图像以相同的尺寸被读出。

(变形例1.3)

在变形例1.3中，运算处理装置140根据邻接的两个切片图像的像素值，计算至各像素包含的物体为止的距离。该测距根据与间接TOF法相同的原理。

在这种情况下，针对某个切片RNG_i的切片图像中判定为拍摄到路面的行，在比该切片RNG_i远两个以上切片的切片RNG_j(j≥i+2)的感测时，也可以简化处理。由此，能够防止生成距离信息所需的信息缺失。

(变形例1.4)

在至此为止的说明中，针对拍摄到路面的行的处理的简化没有读出数据，但不局限于此。例如，在图像传感器120中，读出全部行，暂时生成了全尺寸的图像之后，针对近前的切片中被判定为拍摄到路面的行，也可以剪切该部分，对运算处理装置140输出(传输)。在从照明装置110向运算处理装置140的图像的传输时间成为瓶颈的情况下，变形例1.4有效。

(实施方式2)

图12是实施方式2所涉及的感测系统10的框图。该感测系统10搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体OBJ进行检测。

感测系统10主要具备门控照相机100。门控照相机100包括照明装置110、图像传感器120、照相机控制器130、运算处理装置140。由门控照相机100进行的拍摄将视场在进深方向上划分为复数N个(N≥2)切片(也称为范围)RNG₁～RNG_N来进行。

将视场整体即全部切片RNG₁～RNG_N的感测定义为1帧，将1帧的感测称为1个扫描。在本说明书中，称为帧率时表示每单位时间(1秒)能够拍摄的帧的数量。

照明装置110与从照相机控制器130被给予的发光定时信号(发光指示)S1同步地对车辆前方的视场照射照明光L1。照明光L1优选为红外光，但不局限于此，也可以是具有规定的波长的可见光、紫外光。

图像传感器120包含多个像素，能够进行与从照相机控制器130被给予的曝光定时信号S2同步的曝光控制，生成由多个像素构成的图像(RAW图像)。图像传感器120在与照明光L1相同的波长具有灵敏度，拍摄物体OBJ所反射的反射光(返回光)L2。关于第i个切片RNG_i而图像传感器120生成的切片图像IMG_i根据需要而称为图像IMG_i(或者一次图像)，与门控照相机100的最终的输出图像IMGf进行区别。输出图像IMGf也可以是多个切片图像的集合，也可以是合成了多个切片图像的1张图像数据。

照相机控制器130控制基于照明装置110的照明光L1的发光、具体而言发光定时以及发光时间、和基于图像传感器120的曝光、具体而言曝光定时和曝光时间。照相机控制器130能够通过CPU(Central Processing Unit：中央处理单元)、MPU(Micro ProcessingUnit：微处理单元)、微电脑等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。

图像传感器120中生成的图像IMG_i传输至运算处理装置140。运算处理装置140对针对多个切片RNG₁～RNG_N而得到的多个切片图像IMG₁～IMG_N进行处理。运算处理装置140也可以安装于与照相机控制器130相同的硬件，也可以由分别不同的硬件构成。

以上是门控照相机100的基本结构。门控照相机100的基本动作与实施方式1相同，如参照图2以及图3而说明的那样。

在将门控照相机100用作车载用的传感器的情况下，要求尽可能高的帧率。以下，对用于改善帧率的技术进行说明。

为了提高帧率，在本实施方式中，门控照相机100对于越远的切片则越增大照明光的强度。而且，门控照相机100交替反复进行从近前的切片朝向深侧的切片感测的正向扫描和从深侧的切片朝向近前的切片感测的反向扫描。

具体而言，照相机控制器130控制照明装置110的发光定时和图像传感器120的曝光，以使正向扫描和反向扫描交替产生。

照明装置110构成为发光亮度(照明光的强度)根据亮度指令S4而可变。照相机控制器130通过使亮度指令S4变化而控制照明光的强度。照相机控制器130在正向扫描中使照明装置110的发光强度按每个切片而增大，在反向扫描中使照明装置110的发光强度按每个切片而降低。

在本实施方式中，在正向扫描中，对多个切片RNG₁～RNG_N中的第奇数个以及第偶数个的一方(这里第奇数个RNG₁、RNG₃…)的切片组进行扫描，在反向扫描中，对多个切片RNG₁～RNG_N中的第奇数个以及第偶数个的另一方(这里第偶数个RNG₂、RNG₄…)的切片组进行扫描。

以上是门控照相机100的结构。接着，对其动作进行说明。

图13是对由门控照相机100进行的正向扫描和反向扫描进行说明的图。这里，使切片的个数N为10。

图14的(a)、(b)是表示基于门控照相机100的照明光的强度的控制的图。图14的(a)示出每个切片的最佳的照明光的强度，图14的(b)是表示门控照相机100的1帧的动作的波形图。正向扫描和反向扫描为一组，拍摄全部切片，因此，正向扫描和反向扫描的一组成为1帧。

以上是门控照相机100的动作。根据该门控照相机100，越远的切片则照明光的强度越高，因此，能够减少为了生成较远的切片的图像所需的发光以及曝光的次数，能够改善帧率。

门控照相机100的进一步的优点通过与比较技术的对比而变明确。图15是对比较技术所涉及的门控照相机的动作进行说明的图。比较技术中，门控照相机始终沿相同的方向(例如从近至远)扫描多个切片RNG₁～RNG_N。在这种情况下，在从某帧向下一帧转移时，换句话说，在从最远的切片RNG_N向最近的切片RNG₁转移时，需要使照明光的强度急剧地变化。

在照明光为红外光的情况下人的眼睛无法感知，但若考虑到对除本门控照相机以外的传感器的影响，则不优选急剧的强度变化。在这一点中，在本实施方式中，抑制从某帧向下一帧转移时的照明光的强度的急剧的变化，因此，能够减少给予其他传感器的负面影响。

而且，在比较技术中，在从某帧向某帧转移时，至照明光的强度稳定化为止的过渡时间τ变长。

图16是表示照明装置110的结构例的框图。照明装置110包括：激光二极管、LED(发光二极管)等半导体光源112；以及驱动电路114，响应于发光定时信号S1而对半导体光源112供给与亮度指令S4对应的驱动电流I_DRV。例如驱动电路114具备：生成与亮度指令S4对应的电流量的输出电流I_OUT的恒流电路116和与半导体光源112并行设置的旁路开关118。旁路开关118常导通，恒流电路116的输出电流I_OUT迂回而流动至旁路开关118，半导体光源112熄灭。若旁路开关118响应于发光定时信号S1而断开，则恒流电路116的输出电流I_OUT流动至半导体光源112，半导体光源112以与输出电流I_OUT的电流量即亮度指令S4对应的亮度发光。

另外，照明装置110的结构不限定于图16的结构。例如照明装置110也可以替代旁路开关118而具备机械快门，且构成为机械快门响应于发光定时信号S1而打开。

恒流电路116包含反馈回路，使其输出电流I_OUT从某电流电平变化至其他电流电平需要过渡时间。电流电平的变化的幅度越大则过渡时间越长。

比较技术中，电流的变化幅度大，因此，过渡时间τ变长。若过渡时间τ变长，则1帧周期变长，因此，帧率降低。

相对于此，根据本实施方式，从某帧向下一帧转移时的照明光的强度的变动幅度较小即可。因此，照明装置110的过渡时间变短，能够抑制帧率降低。

接着，对由照相机控制器130进行的照明装置110的控制进行说明。在一实施方式中，照相机控制器130将针对照明装置110的发光定时信号(S1)以及亮度指令值(S4)嵌入相同的控制信号Sctrl而发送至照明装置110。图17是表示包含发光定时信号S1和亮度指令S4的控制信号的图。图17示出1个切片的量的控制信号Sctrl。图17的上部示出控制信号Sctrl的结构，下部示出控制信号Sctrl的具体的波形的例子。

控制信号Sctrl是通过1个信道的控制线传输的高(1)/低(0)、2值信号。控制信号也可以是差分信号。

控制信号Sctrl在1个切片的开头配置有标识符ID。标识符ID包括预先决定的高、低的图案。

跟随于标识符ID，被传输亮度指令S4。亮度指令S4也可以包含直接表示发光亮度的二进制数据。在这种情况下，照明装置110构成为以与二进制数据对应的亮度发光。

亮度指令S4也可以包含间接表示发光亮度的数据。例如该数据也可以包含切片编号。照明装置110构成为保持切片编号与发光亮度的关系，以与切片编号对应的发光亮度发光。

也可以跟随于亮度指令S4而插入空白期间BLNK。在该空白期间BLNK期间，照明装置110的恒流电路116变更输出电流I_OUT。空白期间BLNK期间，控制信号Sctrl也可以被固定为恒定电平(例如低)，也可以包含规定的图案。

跟随于空白期间BLNK，产生发光定时信号S1。发光定时信号S1包含表示照明装置110应该发光的定时以及期间的至少一个的脉冲。这里，脉冲(高)的区间表示发光期间，因此，在控制信号Sctrl高的期间，对半导体光源供给驱动电流。如上述那样，在1个切片的感测需要多个曝光的情况下，1个切片的量的发光定时信号S1包含多个脉冲。

这样，通过在一个控制信号Sctrl嵌入发光定时信号S1和亮度指令S4，能够减少控制线的根数。

另外，发光定时信号S1与亮度指令S4也可以通过分别不同的通道(控制线)而传输。

对与实施方式2关联的变形例进行说明。

(变形例2.1)

图18是变形例2.1所涉及的门控照相机100的动作波形图。变形例2.1中，在正向扫描、反向扫描各自中，感测全部切片RNG₁～RNG_N。换句话说，正向扫描和反向扫描成为不同的帧。

根据变形例2.1，能够得到与图14的(b)的控制相同的效果。另外，在图18的控制和图14的(b)的控制中，帧周期相同，但分别具有不同的优点。

图18的控制中，在最远的切片存在物体的情况下，为了检测它，不得不等待全部切片的感测。相对于此，在图14的(b)的控制的情况下，能够以帧周期的一半的时间，粗略判定从视场的近前至深侧为止是否存在物体。

考虑根据针对邻接的两个切片而得到的两张切片图像，通过间接TOF法的原理，运算至物体为止的距离。在这种情况下，图14的(b)的控制中，两个切片的感测的时间间隙是分开的，因此，若在此期间物体移动，则存在测距精度降低的可能性。相对于此，图18的控制中，两个切片在相邻的时间间隙被感测，因此，测距的精度变高。

另外，图17的控制中，在邻接的两个帧连续地测定相同的切片，但也可以省略1次的量的测定。

(变形例2.2)

在变形例2.2中，图像传感器120是按每个像素具有多个浮动扩散部(电荷积蓄区域)FD的多抽头型，并且能够按每个单独地控制曝光定时。

图19是表示使用了多抽头型的图像传感器时的门控照相机100的动作的图。这里，以具有4个浮动扩散部的4抽头的图像传感器作为例子。图19示出1个子帧的动作。波形S1示出照明装置110的发光定时，波形S2_1～S2_4示出4个抽头TAP1～TAP4的曝光定时。

在1个子帧中，在多个浮动扩散部获取不同定时的曝光结果，由此能够一齐感测邻接的多个(这里4个)切片。另外，如图19所示，一个子帧也可以包含多个发光和曝光的集合。

图20是对基于变形例2.2所涉及的门控照相机100的正向扫描和反向扫描进行说明图。这里，切片数N设为12个。对于正向扫描而言，在第一次子扫描SF₁中，进行最远的4个切片RNG₁～RNG₄的测定，在第二次子扫描SF₂中，进行4个切片RNG₅～RNG₈的测定，在第三次子扫描SF₃中，进行最近的4个切片RNG₉～RNG₁₂的测定。

在反向扫描中，在第一次的子扫描SF₁中，进行最远的4个切片RNG₉～RNG₁₂的测定，在第二次的子扫描SF₂中，进行4个切片RNG₅～RNG₈的测定，在第三次子扫描SF₃中，进行最近的4个切片RNG₁～RNG₄的测定。

图21是表示变形例2.2中的照明光的强度的推移的图。照明光的强度按子帧单位被切换，在正向扫描中，按SF₁、SF₂、SF₃的顺序变高，在反向扫描中，按SF₁、SF₂、SF₃的顺序降低。通过变形例2.2，也能够改善帧率。

(实施方式3)

图22是实施方式3所涉及的感测系统10的框图。该感测系统10搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体OBJ进行检测。

感测系统10主要具备门控照相机100。门控照相机100包含照明装置110、图像传感器120、照相机控制器130、运算处理装置140。由门控照相机100进行的拍摄将视场在进深方向上划分为复数N个(N≥2)切片(也称为范围)RNG₁～RNG_N来进行。

将视场整体即全部切片RNG₁～RNG_N的感测定义为1帧，将1帧的感测称为1个扫描。在本说明书中，称为帧率时表示每单位时间(1秒)能够拍摄的帧的数量。

照明装置110与从照相机控制器130被给予的发光定时信号S1同步地对车辆前方的视场照射照明光L1。照明光L1优选为红外光，但不局限于此，也可以是具有规定的波长的可见光、紫外光。

图像传感器120包含多个像素，能够进行与从照相机控制器130被给予的曝光定时信号S2同步的曝光控制，生成由多个像素构成的图像(RAW图像)。图像传感器120在与照明光L1相同的波长具有灵敏度，拍摄物体OBJ所反射的反射光(返回光)L2。关于第i个切片RNG_i而图像传感器120生成的切片图像IMG_i根据需要而称为图像IMG_i(或者一次图像)，与门控照相机100的最终的输出图像IMGf进行区别。输出图像IMGf也可以是多个切片图像的集合，也可以是合成了多个切片图像的1张图像数据。

另外，输出图像IMGf能够包含后述的子切片图像。

照相机控制器130控制基于照明装置110的照明光L1的发光、具体而言发光定时以及发光时间、和基于图像传感器120的曝光、具体而言曝光定时和曝光时间。照相机控制器130能够通过CPU(Central Processing Unit：中央处理单元)、MPU(Micro ProcessingUnit：微处理单元)、微电脑等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。

图像传感器120中生成的图像IMG_i传输至运算处理装置140。运算处理装置140对针对多个切片RNG₁～RNG_N而得到的多个切片图像IMG₁～IMG_N进行处理。运算处理装置140也可以安装于与照相机控制器130相同的硬件，也可以由分别不同的硬件构成。

以上是门控照相机100的基本结构。门控照相机100的基本动作与实施方式1相同，如参照图X以及图Y说明的那样。

在将门控照相机100用作车载用的传感器的情况下，要求尽可能高的帧率。以下，对用于改善帧率的技术进行说明。

为了提高帧率，在本实施方式中，由门控照相机100进行的感测以两次扫描作为1个集合来执行。

图23是对在时间上连续的两次扫描中的切片进行说明的图。这里，每1个扫描的切片的数量N为4。照相机控制器130能够切换第一扫描和第二扫描。照相机控制器130控制照明装置110的发光和图像传感器120的曝光，以使得第二扫描中的多个切片RNGb₁～RNGb_N的边界相对于第一扫描中的多个切片的边界RNGa₁～RNGa_N而沿进深方向错开1/2切片(L/2)。

第一扫描和第二扫描优选在时间上连续地进行，但不局限于此。另外，第一扫描与第二扫描的时间上的顺序也可以相反。

通过第一扫描，得到N张切片图像(称为第一切片图像组)IMGa[1]～IMGa[N]，通过第二扫描，得到N张切片图像(称为第二切片图像组)IMGb[1]～IMGb[N]。第二扫描的切片数也可以比第一扫描的切片数少一个。在该情况下，第二切片图像的张数也可以比第一切片图像的张数少一张。

将使切片沿进深方向进行了2分割的范围称为子切片SS。子切片的进深是L/2。将切片RNGa_i(i＝1～N)的近前侧的子切片表述为SSan_i，将远方侧的子切片表述为SSaf_i。同样，将切片RNGb_i(i＝1～N)的近前侧的子切片表述为SSbn_i，将远方侧的子切片表述为SSbf_i。

此外，对子切片SS，从接近门控照相机100的起依次标注编号，表述为SS₁、SS₂…。该例中，存在N×2+1个子切片SS₁～SS₉。另外，将第j个子切片SS_j的图像如子切片图像IMGc[j]那样表述。

子切片SSan_i以及SSbf_i-1与子切片SS_2×i-1对应。此外，子切片SSaf_i以及SSbn_i与子切片SS_2×i对应。

运算处理装置140通过对第一切片图像组IMGa[1]～IMGa[N]和第二切片图像组IMGb[1]～IMGb[N]进行处理，生成至少一个子切片SS的图像(子切片图像)IMGc。在本实施方式中，运算处理装置140生成子切片SS₁～SS₈的图像IMGc[1]～IMGc[8]。

运算处理装置140具备存储器142、子切片图像生成部144。存储器142对从图像传感器120输出的第一切片图像组IMGa[1]～IMGa[N]和第二切片图像组IMGb[1]～IMGb[N]进行保持。

子切片图像生成部144从存储器142读出第一切片图像组IMGa[1]～IMGa[N]和第二切片图像组IMGb[1]～IMGb[N]，生成子切片的图像。另外，在通过软件程序和处理器的组合而实现运算处理装置140的情况下，子切片图像生成部144的实体是处理器。

对子切片图像生成部144的处理进行说明。子切片SSaf_i与子切片SSbn_i指示相同的范围，但这里，为了方便，对子切片SSaf_i的图像IMGaf[i]和子切片SSbn_i的图像IMGbn[i]进行区别。同样，对子切片SSan_i的图像IMGan[i]和子切片SSbf_i-1的图像IMGbf[i-1]进行区别。

考虑照明装置110的发光时间与图像传感器120的曝光时间相等的情况。图24是对门控照相机100的动作的一例进行说明的时序图。

S1表示照明装置110的发光定时。S2a₁～S2a₄表示拍摄第一扫描中的切片RNGa₁～RNGa₄时的曝光定时与发光定时的相对时间差。S2b₁～S2b₄表示拍摄第二扫描中的切片RNGb₁～RNGb₄时的曝光定时与发光定时的相对时间差。

图24的最下部示出照明光由物体反射而入射至图像传感器120的反射光L2的波形。

反射光L2通过第一扫描中的第二个和第三个切片的曝光而检测，通过第二扫描中的第一个和第二个切片的曝光而检测。标注了阴影线的部分表示在各曝光中被检测的光量。

子切片SSan_i的图像能够利用以下的算式而生成。

IMGan[i]＝{IMGa[i]+IMGa[i+1]}-{IMGb[i]+IMGb[i+1]}

相加、相减是对应的像素值彼此的相加、相减。另外，在作为相减的结果而像素值成为负的情况下，也可以使像素值为0。

子切片SSbn_i的图像能够利用以下的算式而生成。

IMGbn[i]＝{IMGb[i]+IMGb[i+1]}-{IMGa[i+1]+IMGa[i+2]}

子切片SSaf_i的图像能够利用以下的算式而生成。

IMGaf[i]＝{IMGa[i]+IMGa[i-1]}-{IMGb[i-1]+IMGb[i-2]}

子切片SSbf_i的图像能够利用以下的算式而生成。

IMGbf[i]＝{IMGb[i]+IMGb[i-1]}-{IMGa[i]+IMGa[i-1]}

运算处理装置140也可以将IMGan[i]、IMGbn[i]、IMGaf[i]、IMGbf[i]保持原样输出。

两张子切片图像IMGaf[i]和IMGbn[i]是表示相同的子切片SS_2×i的图像，但由于在不同的定时被感测，所以受到噪声等的影响，变得不相同。因此，运算处理装置140也可以利用两张子切片图像IMGaf[i]和IMGbn[i]，生成该子切片SS_2×i的图像IMGc[j]。

例如也可以使子切片SS_2×i的图像IMGc[2×i]成为两张子切片图像IMGaf[i]和IMGbn[i]的平均值。

IMGc[2×i]＝(IMGaf[i]+IMGbn[i])/2

也可以使子切片SS_2×i的图像IMGc[2×i]成为两张子切片图像IMGaf[i]和IMGbn[i]的相加值。

IMGc[2×i]＝IMGaf[i]+IMGbn[i]

或者，也可以使子切片图像IMGaf[i]、IMGbn[i]的一者为子切片SS_2×i的图像IMGc[2×i]。

同样，也可以使子切片SS_2×i-1的图像IMGc[2×i-1]为两张子切片图像IMGan[i]和IMGbf[i-1]的平均。

IMGc[2×i-1]＝(IMGan[i]+IMGbf[i-1])/2

也可以使子切片SS_2×i-1的图像IMGc[2×i-1]为两张子切片图像IMGan[i]和IMGbf[i-1]的相加值。

IMGc[2×i-1]＝IMGan[i]+IMGbf[i-1]

也可以使子切片图像IMGan[i]和IMGbf[i-1]的一者为子切片SS_2×i-1的图像IMGc[2×i-1]。

以上是门控照相机100的动作。根据该门控照相机100，对于N个切片，通过第一扫描和第二扫描分别对N个切片进行扫描，由此能够生成(2×N)个子切片的图像。

门控照相机100的优点通过与比较技术的对比而变得明确。图25是对比较技术所涉及的门控照相机的动作进行说明的图。比较技术中，视场整体被分割为(2×N)个切片。也就是说，比较技术中的切片的进深L₀与实施方式中的子切片的进深相等，其为实施方式中的切片的进深L的1/2。比较技术通过一次扫描依次感测2×N个全部切片。

在比较技术中，若1个切片的感测时间为X₀，则全部切片(2×N)的测定时间成为X₀×(2×N)。另一方面，在实施方式中，若1个切片的感测时间设为X₁，则第一扫描和第二扫描所需的时间为(X₁×N)×2。

如参照图X说明的那样，切片的进深L＝(d_MAXi-d_MINi)越长则曝光时间τ₃越长，能够使发光时间τ₁变长。作为其结果，图像传感器120的受光量增加。在比较技术中，若每1个切片的曝光次数为Y，则在实施方式中，为了得到相同的明亮度的图像，能够使曝光次数比Y减少。换句话说，在实施方式中，与比较技术相比，能够缩短1个切片的感测时间，X₁＜X₀。因此，根据实施方式，与比较技术相比，能够维持进深方向的分辨率，并且能够缩短帧周期，能够增加帧率。

对与实施方式3关联的变形例进行说明。

(变形例3.1)

照明光的发光时间也可以为图像传感器的曝光时间的1/2以下。在这种情况下，运算处理装置140也可以根据通过第一扫描得到的1张切片图像和通过第二扫描得到的1张切片图像而生成子切片的图像IMGc。

子切片SSan_i的图像能够利用以下的算式而生成。

IMGan[i]＝IMGa[i]-IMGb[i]

子切片SSbn_i的图像能够利用以下的算式而生成。

IMGbn[i]＝IMGb[i]-IMGa[i+1]

子切片SSaf_i的图像能够利用以下的算式而生成。

IMGaf[i]＝IMGa[i]-IMGb[i-1]

子切片SSbf_i的图像能够利用以下的算式而生成。

IMGbf[i]＝IMGb[i]-IMGa[i]

也可以使子切片SS_2×i的图像IMGc[2×i]为两张子切片图像IMGaf[i]和IMGbn[i]的平均值，也可以成为两张子切片图像IMGaf[i]和IMGbn[i]的相加值。或者，也可以使子切片图像IMGaf[i]、IMGbn[i]的一者为子切片SS_2×i的图像IMGc[2×i]。

也可以使子切片SS_2×i-1的图像IMGc[2×i-1]为两张子切片图像IMGan[i]和IMGbf[i-1]的平均，也可以为相加值。或者，也可以使子切片图像IMGan[i]和IMGbf[i-1]的一者为子切片SS_2×i-1的图像IMGc[2×i-1]。

(变形例3.2)

照明光的发光时间也可以比图像传感器的曝光时间长。在这种情况下，运算处理装置140也可以根据通过第一扫描得到的3张切片图像和通过第二扫描得到的3张切片图像而生成子切片的图像IMGc。

子切片SSan_i的图像能够利用以下的算式而生成。

IMGan[i]＝{IMGa[i]+IMGa[i+1]+IMGa[i+2]}-{IMGb[i]+IMGb[i+1]+IMGb[i+2]}

相加、相减是对应的像素值彼此的相加、相减。另外，在作为相减的结果而像素值成为负的情况下，也可以使像素值为0。

子切片SSbn_i的图像能够利用以下的算式而生成。

IMGbn[i]＝{IMGb[i]+IMGb[i+1]+IMGb[i+2]}-{IMGa[i+1]+IMGa[i+2]+IMGa[i+3]}

子切片SSaf_i的图像能够利用以下的算式而生成。

IMGaf[i]＝{IMGa[i]+IMGa[i-1]+IMGa[i-2]}-{IMGb[i-1]+IMGb[i-2]+IMGb[i-3]}

子切片SSbf_i的图像能够利用以下的算式而生成。

IMGbf[i]＝{IMGb[i]+IMGb[i-1]+IMGb[i-2]}-{IMGa[i]+IMGa[i-1]+IMGa[i-2]}

(变形例3.3)

图像传感器120是按每个像素具有多个浮动扩散部(电荷积蓄区域)FD的多抽头型，并且能够按每个单独地控制曝光定时。

图26是表示使用了多抽头型的图像传感器时的门控照相机100的动作的图。这里，以具有4个浮动扩散部的4抽头的图像传感器作为例子。图26示出一次感测动作，波形S1示出照明装置110的发光定时，波形S2_1～S2_4示出4个抽头TAP1～TAP4的曝光定时。

在这种情况下，门控照相机100在一次感测(称为子帧)中，在多个浮动扩散部获取不同的定时的曝光结果，由此能够一齐感测连续的多个切片。另外，一个子帧也可以包含多个发光和曝光的集合。

(变形例3.4)

在实施方式中，进行第一扫描和第二扫描两次扫描，在各扫描中，使切片的边界沿进深方向偏移1/2，但本发明不局限于此，也可以进行3次以上的扫描。图27是对变形例3.4所涉及的门控照相机的动作进行说明的图。

概括而言，照相机控制器130能够切换第一扫描至第M扫描(M≥2)，如图27所示，第一扫描至第M扫描各自中的多个切片的边界沿进深方向错开1/M切片。运算处理装置140通过对第一扫描中得到的第一切片图像组、第二扫描中得到的第二切片图像组…第M扫描中得到的第M切片图像组进行处理，生成作为将各切片沿进深方向进行了M分割的范围的子切片SS的图像。子切片图像的运算方法与M＝2的情况同样考虑发光时间τ₂的长度来决定即可。

(用途)

图28是感测系统10的框图。感测系统10除了具备上述的门控照相机100之外还具备运算处理装置40。该感测系统10是搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(也称为类别或者类)进行判定的物体检测系统。

通过门控照相机100，生成与多个切片RNG₁～RNG_N对应的多个切片图像IMG₁～IMG_N，门控照相机100输出根据多个切片图像IMG₁～IMG_N的图像数据IMGf。

运算处理装置40构成为能够根据门控照相机100的输出数据IMGf，识别物体的种类。运算处理装置40具备分类器42，上述分类器42根据通过机器学习而生成的学习完成模型而实现。运算处理装置40也可以包含按每个切片而优化了的多个分类器42。分类器42的算法没有特别限定，但能够采用YOLO(You Only Look Once：你只看一次)、SSD(SingleShot MultiBoX Detector：单发多边框检测器)、R-CNN(Region-based ConvolutionalNeural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD：反卷积单发多边框检测器)、Mask R-CNN(区域卷积神经网络)等，或者能够采用未来开发的算法。

运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)、微电脑等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。也可以将运算处理装置40的功能和运算处理装置140的功能安装于相同的处理器。

图29的(a)、(b)是表示具备门控照相机100的汽车300的图。参照图29的(a)。汽车300具备前照灯(灯具)302L、302R。

如图29的(a)所示，门控照相机100的照明装置110也可以内置于左右的前照灯302L、302R的至少一者。图像传感器120能够安装于车辆的一部分例如后视镜的背侧。或者，图像传感器120也可以设置于前格栅、前保险杠。照相机控制器130也可以设置于车室内，也可以设置于发动机舱，也可以内置于前照灯302L、302R。

如图29的(b)所示，图像传感器120也可以与照明装置110一起内置于左右的前照灯302L、302R的任一个。

也可以将照明装置110设置于车辆的一部分例如后视镜的背侧、前格栅、前保险杠。

图30是表示具备感测系统10的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU310一起构成灯具系统304。车辆用灯具200具备灯具侧ECU210以及灯单元220。灯单元220是低波束或者高波束，且具备光源222、点亮电路224、光学系统226。而且，在车辆用灯具200设置有感测系统10。

与感测系统10检测到的物体OBJ相关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU210根据感测系统10生成的物体OBJ的种类及其位置所相关的信息，生成适当的配光图案。点亮电路224以及光学系统226以得到灯具侧ECU210生成的配光图案的方式进行动作。感测系统10的运算处理装置40也可以设置于车辆用灯具200的外部即车辆侧。

另外，与感测系统10检测到的物体OBJ相关的信息也可以发送至车辆侧ECU310。车辆侧ECU310也可以将该信息利用于自动驾驶、驾驶辅助。

实施方式只不过示出本发明的原理、应用的一个方面，实施方式在不脱离权利要求书规定的本发明的思想的范围内，允许许多变形例、配置的变更。

产业上的可利用性

本发明涉及门控照相机。

附图标记说明

L1...照明光；S1...发光定时信号；S2...曝光定时信号；10...感测系统；40...运算处理装置；42...分类器；100...门控照相机；110...照明装置；120...图像传感器；122...像素阵列；124...垂直扫描电路；126...读出电路；130...照相机控制器；140...运算处理装置；200...车辆用灯具；210...灯具侧ECU；220...灯单元；222...光源；224...点亮电路；226...光学系统；300...汽车；302L...前照灯；304...灯具系统；310...车辆侧ECU。

Claims (25)

1.一种门控照相机，将视场在进深方向上划分为多个切片，生成与所述多个切片对应的多个切片图像，所述门控照相机的特征在于，具备：

照明装置，对视场照射照明光；

图像传感器；

照相机控制器，控制所述照明装置的发光定时和所述图像传感器的曝光定时，以使得从较近的切片朝向较远的切片生成切片图像；以及

运算处理装置，针对依次生成的所述切片图像分别判定是否拍摄到路面，

针对某个切片中判定为拍摄到路面的行，在比其远的切片的感测时，简化处理。

2.如权利要求1所述的门控照相机，其特征在于，

所述行的处理的简化为所述图像传感器中的行的读出的跳过。

3.如权利要求1所述的门控照相机，其特征在于，

所述运算处理装置针对所述切片图像的多个行，判定是否拍摄到路面，若判定为在某行拍摄到路面，则针对比其下侧的行，不进行判定处理，作为拍摄到路面的情况来处理。

4.如权利要求1至权利要求3中任一项所述的门控照相机，其特征在于，

在构成1行的多个像素中的像素值包含于规定范围的有效像素的个数大于规定数量时，所述运算处理装置判定为拍摄到路面。

5.如权利要求4所述的门控照相机，其特征在于，

所述规定范围动态变化。

6.如权利要求1至权利要求5中任一项所述的门控照相机，其特征在于，

所述运算处理装置针对比成为基准的行靠上侧的行，从判定的对象中除去。

7.如权利要求1至权利要求6中任一项所述的门控照相机，其特征在于，

所述图像传感器是具有多个电荷积蓄区域的多抽头型，

所述门控照相机在一次感测中，能够利用所述多个电荷积蓄区域，并行地感测邻接的多个切片，

通过一次感测并行地得到的多个切片图像为相同的尺寸。

8.如权利要求1至权利要求6中任一项所述的门控照相机，其特征在于，

所述图像传感器是具有多个电荷积蓄区域的多抽头型，

所述门控照相机在一次感测中，能够利用所述多个电荷积蓄区域，并行地生成与邻接的多个切片对应的多个切片图像，

通过一次感测并行地得到的多个切片图像为不同的尺寸。

9.如权利要求1至权利要求8中任一项所述的门控照相机，其特征在于，

所述运算处理装置能够根据邻接的两个切片图像的像素值，计算至拍摄到各像素的物体为止的距离，

针对某个切片中判定为拍摄到路面的行，在比该切片远两个以上切片的切片的感测时，简化处理。

10.如权利要求1至权利要求9中任一项所述的门控照相机，其特征在于，

搭载于车辆。

11.一种车辆用感测系统，其特征在于，具备：

权利要求1至权利要求9中任一项所述的门控照相机；以及

运算处理装置，对所述门控照相机拍摄的所述多个切片图像进行处理。

12.一种车辆用灯具，其特征在于，

具备权利要求1至权利要求9中任一项所述的门控照相机。

13.一种门控照相机，将视场在进深方向上划分为多个切片，生成与所述多个切片对应的多个切片图像，所述门控照相机的特征在于，具备：

照明装置，对视场照射照明光；

图像传感器；以及

照相机控制器，控制所述照明装置的发光定时和所述图像传感器的曝光，以使得交替反复进行从近前的切片朝向深侧的切片进行感测的正向扫描和从所述深侧的切片朝向所述近前的切片感测的反向扫描，并且控制所述照明装置，以使得在所述正向扫描中所述照明光的强度随时间增加，在所述反向扫描中所述照明光的强度随时间降低。

14.如权利要求13所述的门控照相机，其特征在于，

在所述正向扫描中，对所述多个切片中的第奇数个以及第偶数个的一方的切片组进行扫描，在所述反向扫描中，对所述多个切片中的第奇数个以及第偶数个的另一方的切片组进行扫描。

15.如权利要求13或权利要求14所述的门控照相机，其特征在于，

所述照相机控制器将所述照明装置的发光指示和所述照明装置的发光强度的指令值嵌入相同的控制信号而发送至所述照明装置。

16.如权利要求15所述的门控照相机，其特征在于，

所述控制信号在某个切片中的发光指示与接下来的切片中的发光指示之间包含所述接下来的切片的发光强度的所述指令值。

17.一种车辆用感测系统，其特征在于，具备：

权利要求13至权利要求16中任一项所述的门控照相机；以及

处理装置，对所述门控照相机拍摄的所述多个切片图像进行处理。

18.一种车辆用灯具，其特征在于，

具备权利要求13至权利要求16中任一项所述的门控照相机。

19.一种门控照相机，将视场在进深方向上划分为多个切片，生成与所述多个切片对应的多个切片图像，所述门控照相机的特征在于，具备：

照明装置，对视场照射照明光；

图像传感器；

照相机控制器，能够切换第一扫描至第M扫描，且控制所述照明装置的发光和所述图像传感器的曝光，以使所述第一扫描至所述第M扫描各自中的所述多个切片的边界沿进深方向错开1/M切片，其中，M≥2；以及

运算处理装置，通过对所述第一扫描至所述第M扫描各自中得到的第一切片图像组至第M切片图像组进行处理，生成作为将各切片沿进深方向进行了M分割的范围的子切片的图像。

20.如权利要求19所述的门控照相机，其特征在于，

M＝2，所述照相机控制器能够切换所述第一扫描和第二扫描。

21.如权利要求20所述的门控照相机，其特征在于，

所述照明光的发光时间比所述图像传感器的曝光时间的1/2长，且为所述曝光时间以下，

所述运算处理装置根据通过所述第一扫描得到的连续的两张切片图像和通过所述第二扫描得到的连续的两张切片图像而生成所述子切片的图像。

22.如权利要求20所述的门控照相机，其特征在于，

所述照明光的发光时间为所述图像传感器的曝光时间的1/2以下，

所述运算处理装置根据通过所述第一扫描得到的1张切片图像和通过所述第二扫描得到的1张切片图像而生成所述子切片的图像。

23.如权利要求20所述的门控照相机，其特征在于，

所述照明光的发光时间比所述图像传感器的曝光时间长，

所述运算处理装置根据通过所述第一扫描得到的连续的3张切片图像和通过所述第二扫描得到的连续的3张切片图像而生成所述子切片的图像。

24.一种车辆用感测系统，其特征在于，具备：

权利要求19至权利要求23中任一项所述的门控照相机；以及

处理装置，对所述门控照相机拍摄的所述多个切片图像进行处理。

25.一种车辆用灯具，其特征在于，

具备权利要求19至权利要求23中任一项所述的门控照相机。