CN116710838A - 车载用感测系统及门控照相机 - Google Patents

Abstract

感测系统(10)被利用在驾驶辅助或自动驾驶中。门控照相机(20)根据行驶环境控制使能状态/非使能状态。门控照相机(20)在使能状态下，将视野针对进深方向划分为多个范围，生成与多个范围对应的多个切片图像。主控制器(60)处理主传感器组(50)的输出以及门控照相机(20)的输出。

Description

车载用感测系统及门控照相机

技术领域

本公开涉及车辆用的感测系统。

背景技术

为了进行驾驶辅助或自动驾驶，利用感测存在于车辆的周围的物体的位置及种类的物体识别系统。物体识别系统包括传感器、及解析传感器的输出的运算处理装置。传感器是从照相机、LiDAR(Light Detection and Ranging：光检测与测距、Laser ImagingDetection and Ranging：激光成像检测与测距)、毫米波雷达、超声波声纳、主动传感器等之中，考虑用途、要求精度或成本而选择的。

现有技术文献

专利文献

专利文献1：日本特开2009－257983号公报

专利文献2：国际公开WO2017/110413A1

发明内容

作为代替TOF照相机的主动传感器，提出了门控照相机(Gating Camera或GatedCamera)的方案(专利文献1、2)。门控照相机将拍摄范围划分为多个范围(range)，针对每个范围改变曝光定时与曝光时间地进行拍摄。由此，针对每个对象范围得到切片图像，各切片图像仅包括对应的范围内所包含的物体。

本发明的发明人们针对在现有的物体识别系统中附加(感测、融合)门控照相机的情况进行了研究，最终认识到以下的技术问题。

门控照相机是主动传感器，包括向被摄体照射脉冲照明光的照明装置，及拍摄来自被摄体的反射光的图像传感器。若要通过门控照相机拍摄100m以上位置的物体，需要使照明装置大输出化。此外，由于来自较远的物体的反射光很微弱，需要累积微弱的反射光，因此需要在每一次的拍摄中，多次使照明装置发光。若使这样的门控照相机常时工作，则会消耗非常大的电力。电力消耗的增加成为燃耗变差的原因。

本公开是在相关状况中得到的，其一方案的例示性的目的之一在于，提供一种整合了门控照相机的感测系统。

用于解决技术问题的方法

本公开的一方案涉及用于驾驶辅助或自动驾驶的感测系统。感测系统包括：主传感器；门控照相机，根据行驶环境，控制使能状态、非使能状态，在使能状态，将视野针对进深方向划分多个范围，生成与多个范围对应的多个切片图像；以及主控制器，处理主传感器的输出及门控照相机的输出。

本公开的其他方案为门控照相机。该门控照相机与主传感器、及处理主传感器的输出的主控制器一起构成车载用的感测系统。门控照相机包括：照明装置，照射脉冲照明光；图像传感器；以及照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器生成与多个范围对应的多个图像数据。门控照相机被根据来自主控制器的指示而控制使能/非使能。

本公开的其他方案也为门控照相机。该门控照相机与主传感器、处理主传感器的输出的主控制器一起构成车载用的感测系统。门控照相机包括：照明装置，照射脉冲照明光；图像传感器；以及照相机控制器，根据行驶环境决定门控照相机的使能状态、非使能状态，在使能状态下控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器生成与多个范围对应的多个图像数据。

本公开的一方案的感测系统被利用在驾驶辅助或自动驾驶中。感测系统包括主传感器、门控照相机、以及处理主传感器的输出及门控照相机的输出的主控制器。门控照相机生成与来自主控制器的控制信号相应的兴趣范围(对象范围)对应的切片图像。

本公开的一方案的门控照相机与主传感器、处理主传感器的输出的主控制器一起构成车载用的感测系统。门控照相机包括：照明装置，照射脉冲照明光；图像传感器；以及照相机控制器，控制照明装置的发光定时和图像传感器的曝光的定时，使图像传感器生成与来自主控制器的控制信号相应的兴趣范围对应的切片图像。

发明效果

根据本公开，可以提供一种整合了门控照相机的感测系统。

附图说明

图1是实施方式1的感测系统的框图。

图2是说明门控照相机的工作的图。

图3的(a)、(b)是说明由门控照相机得到的图像的图。

图4的(a)～(c)是说明恶劣天气下的门控照相机的优点的图。

图5是说明实施方式1的感测系统的动作的时序图。

图6是实施方式2的感测系统的框图。

图7是实施方式3的感测系统的框图。

图8的(a)、(b)是示出具备感测系统的汽车的图。

图9是示出实施方式的车辆用灯具的框图。

具体实施方式

说明本公开的几个例示性的实施方式的概要。该概要作为后述的详细说明的序言，以实施方式的基本性理解为目的，简要说明一个或多个实施方式的几个概念，并不在于限定发明或公开的范围。此外，该概要并不是能想到的所有实施方式的概括性的概要，并不在于限定实施方式不可或缺的构成要素。为了方便起见，“一实施方式”有时用作指代本说明书所公开的一个实施方式(实施例或变形例)或多个实施方式(实施例或变形例)。

1.一实施方式的感测系统包括：主传感器；门控照相机，被根据行驶环境控制使能状态、非使能状态，在使能状态下，将视野针对进深方向划分为多个范围，生成与多个范围对应的多个切片图像；以及主控制器，处理主传感器的输出及门控照相机的输出。

并不是使门控照相机常时工作，而是根据行驶环境，仅在必要的状况下使其工作，通过作为辅助主传感器的辅助性传感器利用，可以抑制电力消耗的增加。

在一实施方式中，也可以是，主控制器根据行驶环境控制门控照相机的使能状态/非使能状态。

在一实施方式中，也可以是，门控照相机根据行驶环境控制门控照相机自身的使能状态/非使能状态。

在一实施方式中，门控照相机也可以在恶劣天气时被使能化。在通常的照相机的情况下，在降雨、降雪、雾中等的恶劣天气时，雨滴、雪、雾会映射到图像中，从而照相机的图像所包含的信息量减少。对此，门控照相机可以除去测定对象的范围以外的范围所包含的雨、雪、雾。即，门控照相机生成的切片图像在恶劣天气时，会包含比通常的照相机更多的信息。因此，在主控制器或门控照相机中，通过判断天气的良好与否，在恶劣天气时灵活运用门控照相机，从而可以弥补主传感器的感测能力的降低。

在一实施方式中，门控照相机可以在主传感器陷入功能不全时被使能化。所谓主传感器的功能不全，可以包含不能从其输出图像识别目标物的状况，或识别率降低的状况等。

在一实施方式中，也可以是，基于主控制器的物体的识别精度低于规定的阈值时，使门控照相机使能化。

在一实施方式中，门控照相机的使能状态/非使能状态可以根据被搭载于车辆的雨传感器、雾传感器的输出、雨刷器、雾灯的工作状态的至少一者而控制。

在一实施方式中，门控照相机的使能状态/非使能状态可以根据驾驶员的状态控制门控照相机。因恶劣天气而视野变差时，驾驶员的紧张感升高，其可以以驾驶员的状态，例如动作、姿势、眼球的移动等而呈现。因此，通过监视驾驶员的状态，可以推定是否为恶劣天气。

在一实施方式中，主控制器可以将门控照相机的输出利用在驾驶辅助或自动驾驶的控制中。

在一实施方式中，主控制器可以使门控照相机的输出显示在显示器中。

2.一实施方式的感测系统包括：主传感器；门控照相机；以及处理主传感器的输出及门控照相机的输出的主控制器。门控照相机生成与来自主控制器的控制信号相应的兴趣范围对应的切片图像。

在该结构的情况下，门控照相机并不常时工作，而是在主控制器的控制下，仅进行由主控制器所要求的范围的拍摄。通过将门控照相机作为辅助主传感器的辅助性的传感器利用，可以抑制电力消耗的增加。

主传感器可以包含毫米波雷达、立体照相机等能够检测到物体的距离的传感器。或者，主传感器可以包含单眼照相机，主控制器通过图像处理获取到达物体的距离。

门控照相机可以将与兴趣范围对应的切片图像本身供给至主控制器。

对于门控照相机，规定有在进深方向划分视野的多个范围，根据控制信号，将多个范围之中的一个选择作为兴趣范围。

主控制器根据主传感器的输出检测到物体时，可以将包含位置数据的控制信号供给至门控照相机，该位置数据指定到该物体的距离或包含该物体的进深方向的范围。

门控照相机可以将表示兴趣范围中是否包含物体的信息返回给主控制器。

门控照相机可以包含根据切片图像检测兴趣范围中存在的物体的种类(也称为类型、分类)的识别器，将识别器的检测结果返回给主控制器。

主控制器可以将表示根据主传感器的输出检测到的物体的种类的数据供给至门控照相机，门控照相机包括根据切片图像检测兴趣范围中存在的物体的种类的识别器，将识别器检测到的种类与数据表示的种类的一致/不一致提供给主控制器。

一实施方式的门控照相机包括：照明装置，照射脉冲照明光；图像传感器；以及照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器生成与来自主控制器的控制信号相应的兴趣范围对应的切片图像。

在该结构的情况下，门控照相机并不常时工作，在主控制器的控制下，进行由门控照相机所要求的范围的拍摄。通过将门控照相机作为辅助主传感器的辅助性的传感器利用，可以抑制电力消耗的增加。

(实施方式)

下面，针对优选的实施方式，参照附图进行说明。对于各附图所示的相同或同等的构成要素、部件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不用于限定公开及发明而是例示，并非实施方式记述的所有特征或其组合都是公开及发明的本质部分。

(实施方式1)

图1是实施方式1的感测系统10的框图。该感测系统10以驾驶辅助或自动驾驶为目的而搭载于汽车或摩托车等的车辆中，检测存在于车辆的周围的物体OBJ。

感测系统10包括主传感器组50、主控制器60及门控照相机20。主传感器组50可以包含一个或多个传感器。例如，主传感器组50包括照相机52及毫米波雷达54。或者，主传感器组50也可以包括立体照相机。或者，主传感器组50也可以包括LiDAR等。

主控制器60根据主传感器组50的输出，检测车辆的周围的物体的位置或种类，并输出检测结果RESULT。例如主控制器60也可以包括识别器(分类器)，检测结果RESULT可以包括与目标物的种类(分类、类型)及位置相关的信息。

门控照相机20将视野针对进深方向划定多个范围RNG₁～RNG_N，生成与多个范围RNG₁～RNG_N相应的多个切片图像IMGs₁～IMGs_N。相邻的范围彼此可以在它们的边界处在进深方向有重叠。

门控照相机20包括照明装置22、图像传感器24、照相机控制器26、运算处理装置28。

照明装置(光发射器)22与从照相机控制器26所供给的发光定时信号S1同步地，向车辆前方的视野照射脉冲照明光L1。脉冲照明光L1优选为红外光，但并不限定于此，可以是具有规定的波长的可见光。照明装置22可以使用例如激光二极管(LD)或LED。在仅在夜间使用门控照相机20的系统中，可以将脉冲照明光L1的波长设为800nm左右的近红外。在不分昼夜地使用门控照相机20的系统中，将脉冲照明光L1设为比1μm长的波长域即可。

图像传感器24包括多个像素，可以进行与由照相机控制器26提供的曝光定时信号S2同步的曝光控制，生成由多个像素构成的切片图像IMGr。图像传感器24针对与脉冲照明光L1相同波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。关于第i个范围RNG_i，图像传感器24生成的切片图像IMGr根据需要而称为原始图像或一次图像，与门控照相机20的最终输出即切片图像IMGs相区别。此外，总称为原始图像IMGr及切片图像IMGs，简单记录为切片图像IMG。

照相机控制器26针对每个范围RNG，改变发光定时信号S1和曝光定时信号S2，使照明装置22的发光与图像传感器24的曝光的时间差变化。发光定时信号S1规定发光开始的定时与发光时间。曝光定时信号S2规定曝光开始的定时(与发光的时间差)、曝光时间。

运算处理装置28可以通过CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微型计算机、GPU(Graphics Processing Unit：图形处理器)等的处理器(硬件)、与处理器(硬件)执行的软件程序的组合而实现。运算处理装置28可以仅由硬件构成。运算处理装置28处理图像传感器24生成的原始图像数据IMGr，输出最终的切片图像IMGs。此外，将图像传感器24的输出IMGr直接用作切片图像IMGs时，运算处理装置28可以省略。

图2是说明门控照相机20的动作的图。图2中示出将第i个范围RNG_i作为兴趣范围进行测定时的状态。照明装置22与发光定时信号S1同步地，在时刻t₀～t₁之间的发光期间τ₁发光。最上部示出横轴为时间、纵轴为距离的光线的图表。将从门控照相机20到范围RNG_i的附近的边界的距离设为d_MINi，将从门控照相机20到范围RNG_i的里侧的边界的距离设为d_MAXi。

在某一时刻从照明装置22出发的光到达距离d_MINi，其反射光回到图像传感器24的往返时间T_MINi为

T_MINi＝2×d_MINi/c。

C为光速。

同样地，在某一时刻从照明装置22出发的光到达距离d_MAXi，其反射光回到图像传感器24的往返时间T_MAXi为

T_MAXi＝2×d_MAXi/c。

在仅要拍摄范围RNG_i所包含的物体OBJ时，照相机控制器26以在时刻t₂＝t₀+T_MINi开始曝光，在时刻t₃＝t₁+T_MAXi结束曝光的方式，生成曝光定时信号S2。这是一次的曝光动作。

在拍摄第i次的范围RNG_i时，可以进行多次曝光。此时，照相机控制器26在规定的周期τ₂，多次重复上述的照射与曝光的动作集即可。图像传感器24输出由多次曝光而累积的切片图像。

在本实施方式中，以曝光(切片图像内的物体像的亮度值)在各范围无偏差的方式，门控照相机20针对每个范围，使快门速度(曝光时间)、曝光次数、灵敏度、脉冲照明光的照射强度等(拍摄参数)最适当。

图3的(a)、(b)是说明由门控照相机20所得到的图像的图。在图3的(a)的示例中，在范围RNG₂中存在物体(行人)OBJ₂，在范围RNG₃中存在物体(车辆)OBJ₃。图3的(b)中，示出以图3的(a)的状况所得到的多个切片图像IMG₁～IMG₃。拍摄切片图像IMG₁时，图像传感器24仅由来自范围RNG₁的反射光曝光，因此切片图像IMG₁中不会映出任何物体像。

拍摄切片图像IMG₂时，图像传感器24仅由来自范围RNG₂的反射光而曝光，因此切片图像IMG₂中，仅映出物体像OBJ₂。同样地，拍摄切片图像IMG₃时，图像传感器24仅由来自范围RNG₃的反射光而曝光，因此切片图像IMG₃中，仅映出物体像OBJ₃。这样根据门控照相机20，可以按各个范围将物体分开并拍摄。

门控照相机20在恶劣天气下的拍摄中是有利的。下面，说明其理由。图4的(a)～(c)是说明恶劣天气下的门控照相机20的优点的图。图4的(a)示出恶劣天气时的行驶场景的一个示例。在范围RNG₃中存在物体(车辆)OBJ₃。此外，图中所示的点示意性示出雨滴、雪粒或雾等的障碍物。在图4的(b)中，示出在图4的(a)的状况下得到的切片图像IMG₃。拍摄第3个范围的切片图像IMG₃时，图像传感器24仅由来自范围RNG₃的反射光曝光，因此切片图像IMG₃中，没有投射范围RNG₁、RNG₂的障碍物(雨滴、雪粒、雾)。即，可以除去测定对象的范围以外的范围所包含的雨、雪、雾。

图4的(c)中，示出通常的照相机拍摄相同视野的图像。以通常的照相机拍摄时，所有的范围RNG₃的物体的反射光都拍到，因遮挡物体OBJ₃，拍到许多障碍物。

由与图4的(b)和(c)的比较可知，门控照相机20生成的切片图像IMG在恶劣天气时，包含比通常的照相机更多的信息。

返回图1。在本实施方式中，门控照相机20被作为辅助主传感器组50的辅助性的传感器灵活使用。因此，门控照相机20并不常时工作，而是根据行驶环境，适应性地选择工作、非工作(停止)。

门控照相机20为工作状态时，照相机控制器26生成发光定时信号S1及曝光定时信号S2，由此生成多个范围的切片图像。在门控照相机20的停止状态下，照相机控制器26并不生成发光定时信号S1及曝光定时信号S2，因此，不会生成切片图像。

在本实施方式中，门控照相机20的工作、停止由主控制器60控制。门控照相机20响应于来自主控制器60的使能信号EN的置于有效(assert)，成为工作状态，进行拍摄。

具体而言，主控制器60判断门控照相机20为必要的状况，仅在必要时将使能信号EN置于有效。门控照相机20的照相机控制器26响应使能信号EN的置于有效而成为工作状态，生成发光定时信号S1及曝光定时信号S2。

在恶劣天气时，门控照相机20成为激活(使能)，门控照相机20生成的切片图像IMGs被供给至主控制器60。而且，门控照相机20的输出被利用在驾驶辅助或自动驾驶的控制中。

以上为感测系统10的结构。接着，说明其动作。图5是说明感测系统10的动作的时序图。

在天气(视野)良好的条件下，主传感器组50的可靠性高。在该情况下，门控照相机20成为非使能状态，主控制器60根据主传感器组50的输出，进行目标物的检测。

在天气(视野)较差的条件下，主传感器组50的可靠性降低。在该情况下，门控照相机20成为使能，主控制器60代替主传感器组50的输出，或者除此之外，根据门控照相机20的检测结果，进行目标物的检测。

以上为感测系统10的工作。根据该感测系统10，可以既抑制门控照相机20的电力消耗的增加，又抑制恶劣天气时的感测系统10的性能降低。

接着，说明主控制器60进行的门控照相机20的控制的具体示例。

在一实施例中，主控制器60判断天气优良与否。而且，判定为恶劣天气状态时，将使能信号置于有效。通过在恶劣天气时灵活运用门控照相机20，可以弥补主传感器组50的感测能力的降低。

例如主控制器60可以根据被搭载于车辆的雨传感器、雾传感器等的传感器输出，判断降雨、降雪的有无，雾的有无，换言之判断视线优良与否。或者，主控制器60可以根据雨刷器的工作状态(打开、关闭、或工作速度)，判定降雨或降雪的有无、或降雨量、降雪量。此外，主控制器60可以根据雾灯的打开、关闭，判定雾的有无。

主控制器60可以根据从车外通过无线通信提供的信息，判断降雨、降雪的有无，雾的有无，换言之判断视野优良与否。

在一实施例中，主控制器60可以在主传感器组50陷入功能不全时，使门控照相机20使能化。功能不全并不限定于天气不良的结果，也可以包括其他原因，例如，主传感器组50的照相机52的故障、基于附着有污渍的功能不全等。

例如主控制器60可以在物体的识别精度低于规定的阈值时，设为陷入功能不全，使门控照相机20使能化。例如主控制器60在某个物体对于多个分类(种类、类型)各者的隶属概率均没有超过规定的阈值的情况下，可以判定识别精度降低。

具备主传感器组50及主控制器60的感测系统向车辆的上位ECU(ElectronicControl Unit：电子控制单元)输出故障信号(也称为错误信号)。主控制器60在基于主传感器组50的输出的感测陷入功能不全时，将故障信号置为有效。可以将该故障信号作为门控照相机20的使能信号利用。

在一实施例中，主控制器60可以监视驾驶员，根据驾驶员的状态，推定天气优良与否，根据该结果控制门控照相机20。例如(i)由于恶劣天气视野变差时，驾驶员的紧张感升高，其有时作为驾驶员的举止，即动作、姿势、眼球的移动等而呈现出来。此时，可以监视驾驶员的举止，根据监视结果推定天气。

(ii)此外，驾驶员的紧张感升高时，其有时作为体温或出汗而呈现出来。此时，可以监视驾驶员的体温或出汗，根据监视结果推定天气。

(iii)或者，在搭载驾驶辅助系统的车辆中，在驾驶员要进行油门或刹车的操作的情况下，设想在晴天时与恶劣天气时，油门或刹车的操作会不同。在该情况下，可以监视油门或刹车的操作，根据监视结果推定天气。

(实施方式2)

图6是实施方式2的感测系统10的框图。在实施方式1中，主控制器60控制门控照相机20的工作、非工作状态。与此不同，在实施方式2中，门控照相机20A自身来切换工作、非工作状态。

门控照相机20A的工作、非工作的控制方法与在实施方式1中说明的内容相同。

在一实施例中，照相机控制器26A判断天气优良与否，在主传感器组50的可靠性较高的良好天气下进入停止状态，在主传感器组50的可靠性降低的恶劣天气下进入工作状态。通过在恶劣天气时灵活运用门控照相机20A，可以弥补主传感器组50的感测能力的降低。

例如向照相机控制器26A中，输入与被搭载于车辆的传感器或设备相关的信息INFO。照相机控制器26A可以根据雨传感器、雾传感器等的传感器输出，判断降雨、降雪的有无、雾的有无，换言之判断视野优良与否。或者，照相机控制器26A可以根据雨刷器的工作状态(开启、关闭、或动作速度)，判定降雨或降雪的有无、或降雨量、降雪量。此外，照相机控制器26A可以根据雾灯的打开、关闭，判定雾的有无。

照相机控制器26A可以根据从车外通过无线通信供给的信息，判断降雨、降雪的有无，雾的有无，换言之判断视野的优良与否。

在一实施例中，照相机控制器26A可以在主传感器组50陷入功能不全时，将门控照相机20A设为工作状态。功能不全并不限定于天气不良的结果，还可以包含其他原因，例如主传感器组50的照相机52的故障、或基于附着有污渍的功能不全等。

例如主控制器60在物体的识别精度低于规定的阈值时，设为陷入功能不全，向车辆的上位ECU(Electronic Control Unit：电子控制单元)输出故障信号(也称为错误信号)。照相机控制器26A可以根据主控制器60生成的故障信号，选择门控照相机20A的工作、非工作。

在一实施例中，照相机控制器26A可以监视驾驶员，根据驾驶员的状态，推定天气优良与否，根据其结果控制门控照相机20A的工作、停止。

照相机控制器26A可以将表示门控照相机20A为工作状态、还是非工作状态的状态信号STATUS输出给主控制器60。主控制器60可以通过参照状态信号STATUS，知晓门控照相机20A是否为工作中。主控制器60可以在门控照相机20A的工作中，将门控照相机20A生成的切片图像IMGs利用在物体识别等中。此外，主控制器60是否将切片图像IMGs利用在物体识别中，依据主控制器60的判断即可。

(实施方式3)

图7是实施方式3的感测系统10的框图。感测系统10的基本结构与实施方式1相同，因此省略说明，说明不同点。

在实施方式3中，门控照相机20将视野针对进深方向划分多个范围RNG₁～RNG_N，生成与多个范围RNG₁～RNG_N对应的多个切片图像IMGs₁～IMGs_N(正常拍摄模式)。相邻的范围彼此在它们的边界处可以在进深方向有重叠。

在本实施方式中，门控照相机20除针对所有范围进行拍摄的正常拍摄模式之外，还支持按需拍摄模式。此外，正常拍摄模式并不是必须的，门控照相机20也可以仅支持按需拍摄模式。

被设定于按需拍摄模式时，门控照相机20生成与来自主控制器60的控制信号CTRL相应的兴趣范围ROI所对应的切片图像RNG＿ROI。兴趣范围ROI是车辆前方的进深方向的一个区间，通过来自主控制器60的控制进行设定或选择。

以上为感测系统10的结构。接着说明其动作。假定车辆在恶劣天气下(例如浓雾之中)行驶。在浓雾之中，通过照相机52，不能正确地拍摄远方的物体。另一方面，毫米波雷达54在雾之中也有效地工作，可以检测任何物体的存在，但并不能检测出该物体的种类。在这样的状况中，主控制器60向门控照相机20供给控制信号CTRL，使得拍到毫米波雷达54检测到的物体。如上所述，门控照相机20即使在恶劣天气下，也可以得到比通常的照相机52更高画质的图像，因此可以利用门控照相机20获取通过照相机52不能拍摄到的物体的信息。

以上为感测系统10的工作。在该感测系统10中，并不使门控照相机20常时工作，在主控制器60的控制下，仅进行由主控制器60所要求的范围ROI的拍摄。使门控照相机20在正常拍摄模式下工作时，拍摄至不存在物体的范围而没有用的较多，但在按需拍摄模式下，通过仅拍摄由主控制器60推定物体的存在的范围，从而可以抑制电力消耗的增加。

兴趣范围ROI的控制方法并不特别地限定，下面说明几个方法。

(控制例1)

对于门控照相机20的照相机控制器26，预先定义多个范围RNG₁～RNG_N。主控制器60根据毫米波雷达54的输出，推定到物体的距离，将距离信息提供给照相机控制器26。照相机控制器26根据距离信息示出的距离，将多个范围RNG₁～RNG_N之中一个选择作为兴趣范围ROI。

(控制例2)

对于门控照相机20的照相机控制器26，预先定义多个范围RNG₁～RNG_N。主控制器60已知多个范围RNG₁～RNG_N分别为哪个范围。主控制器60根据毫米波雷达54的输出，推定到物体的距离，根据推定的距离，将多个范围RNG₁～RNG_N之中一个选择作为兴趣范围ROI，将表示应拍摄第几个范围的数据提供给照相机控制器26。

(控制例3)

对于门控照相机20的照相机控制器26，并没有预先定义任何范围。主控制器60，主控制器60根据毫米波雷达54的输出，推定到物体的距离，将距离信息提供给照相机控制器26。照相机控制器26以包含主控制器60检测到的物体的方式，动态地决定兴趣范围ROI。

接着，针对由门控照相机20提供给主控制器60的信息，说明几个示例。

例如门控照相机20也可以将与兴趣范围ROI对应的切片图像IMGs本身供给至主控制器60。主控制器60可以利用自身具有的识别器，判定兴趣范围ROI中存在的物体的种类。

门控照相机20也可以包括解析切片图像IMGs的识别器(分类器)。该识别器可以安装于运算处理装置28。也可以通过识别器，判断在兴趣范围ROI的切片图像IMGs中是否包含有物体，将判定结果返回给主控制器60。更高度地，门控照相机20可以将由识别器检测到的物体的种类返回给主控制器60。

主控制器60也可以将表示基于主传感器组50的输出检测到的物体的种类的数据发送给门控照相机20。门控照相机20可以将基于切片图像IMGs检测到的物体的种类与接收的数据表示的种类的一致、不一致返回给主控制器60。

接着，说明主控制器60的门控照相机20的控制的具体示例。

在一实施例中，主控制器60判断天气优良与否。而且，在判断为恶劣天气状态的情况下，可以使门控照相机20以按需模式工作。

例如主控制器60可以根据被搭载于车辆的雨传感器、雾传感器等的传感器输出，判断降雨、降雪的有无、雾的有无，换言之判断视野优良与否。或者，主控制器60可以根据雨刷器的工作状态(打开、停止、或者工作速度)，判断降雨或降雪的有无、或降雨量、降雪量。此外，主控制器60可以根据雾灯的打开、关闭，判定雾的有无。

主控制器60可以根据VICS(注册商标)(Vehicle Information andCommunication System：车辆信息和通信系统)信息等、从车外通过无线通信所供给的信息，判断降雨、降雪的有无、雾的有无，换言之视野的良好与否。

在一实施例中，主控制器60可以在主传感器组50的一部分陷入功能不全时，使门控照相机20使能化。

例如主控制器60可以在物体的识别精度低于规定的阈值时，作为陷入功能不全，使门控照相机20使能化。例如主控制器60在某个物体对于多个分类(种类、类型)各者的隶属概率均没有超过规定的阈值的情况下，可以判定识别精度降低。

具备主传感器组50及主控制器60的感测系统对车辆的上位ECU(ElectronicControl Unit：电子控制单元)输出故障信号(也称为错误信号)。主控制器60在基于主传感器组50的输出而感测陷入功能不全时，使故障信号置于有效。可以以该故障信号的置于有效作为触发，将门控照相机20设定为按需模式。

在一实施例中，主控制器60可以监视驾驶员，根据驾驶员的状态，推定天气优良与否，根据其结果控制门控照相机20。例如(i)因恶劣天气而视野变差时，驾驶员的紧张感升高，这有时作为驾驶员的举止，即动作、姿势、眼球的移动等而呈现出来。此时，可以监视驾驶员的举动，根据监视结果推定天气。

(ii)此外，驾驶员的紧张感升高时，其有时会以体温或出汗而呈现出来。此时，可以监视驾驶员的体温或出汗，根据监视结果推定天气。

(iii)或者，设想在搭载驾驶辅助系统的车辆中，在驾驶员要进行油门或刹车的操作时，在晴天时和恶劣天气时，油门或刹车的操作不同。在该情况下，可以监视油门或刹车的操作，根据监视结果推定天气。

图8的(a)、(b)是示出具备实施方式1～实施方式3的感测系统10的汽车300的图。参照图8的(a)。汽车300包括前照灯(灯具)302L、302R。

主传感器组50的照相机52或毫米波雷达54被配置在适合车辆的感测的位置。例如照相机52被设置于车内后视镜的内侧，毫米波雷达54配置于车辆的前方。主控制器60被配置于车厢内或发动机舱内。

门控照相机20的照明装置22被内置于左右的前照灯302L、302R的至少一者。图像传感器24可以安装在车辆的一部分，例如车内后视镜的内侧。或者，图像传感器24也可以设置于前格栅或前保险杠。照相机控制器26可以设置于车室内，也可以设置于发动机舱，也可以内置于前照灯。

如图8的(b)所示，图像传感器24可以与照明装置22一起内置于左右的前照灯302L、302R的任一者中。

图9是示出车辆用灯具200的框图。车辆用灯具200对应于图8的(b)的前照灯302，包括近光单元202、远光单元204、灯具ECU210及门控照相机20。

灯具ECU210根据来自车辆侧ECU310的控制指令，控制近光单元202及远光单元204的开启、关闭或配光。

此外，门控照相机20内置于车辆用灯具200的壳体中。此外，图像传感器24、照相机控制器26、运算处理装置28的至少一者可以设置在车辆用灯具200的壳体的外侧。

在车辆用灯具200中，也可以是灯具ECU210进行门控照相机20的使能状态/非使能状态的控制。

实施方式为例示，本领域技术人员应当理解的是，对它们的各构成要素或各处理程序的组合可以形成多个变形例，并且这样得到的变形例也包含在本发明的范围内。下面，针对这些变形例进行说明。

(变形例1)

在实施方式中，设定为从门控照相机20对主控制器60输出切片图像IMGs，但并不限定于此。例如可以在门控照相机20的运算处理装置28中安装识别器(分类器)，将识别结果、即目标物的种类(类型)及位置输出给主控制器60。

(变形例2)

在实施方式中，设定为将门控照相机20的输出利用在驾驶辅助或自动驾驶的控制中，但并不限定于此。例如也可以在恶劣天气时将门控照相机20设为激活，将门控照相机20生成的切片图像IMGs显示在HUD(Head Up Display：平视显示)等的显示装置中，辅助用户的视野。

根据实施方式，使用具体的语句说明了本发明，但实施方式仅示出本发明的原理、应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许多种变形例或配置的变更。

工业上的可利用性

本公开可以利用在车辆用的感测系统中。

附图标记说明

S1发光定时信号

S2曝光定时信号

10感测系统

20门控照相机

22照明装置

24图像传感器

26照相机控制器

28运算处理装置

50主传感器组

52照相机

54毫米波雷达

60主控制器

200车辆用灯具

202近光单元

204远光单元

210灯具ECU

300汽车

302前照灯

310车辆侧ECU

Claims (31)

1.一种感测系统，是用于驾驶辅助或自动驾驶的感测系统，其特征在于，包括：

主传感器；

门控照相机，根据行驶环境，控制使能状态/非使能状态，在所述使能状态中，将视野针对进深方向划分为多个范围，生成与所述多个范围对应的多个切片图像；以及

主控制器，处理所述主传感器的输出及门控照相机的输出。

2.根据权利要求1所述的感测系统，其特征在于，

所述主控制器根据所述行驶环境控制所述门控照相机的使能状态/非使能状态。

3.根据权利要求1所述的感测系统，其特征在于，

所述门控照相机根据所述行驶环境控制所述门控照相机的使能状态/非使能状态。

4.根据权利要求1所述的感测系统，其特征在于，

所述门控照相机的至少一部分被内置于车辆用灯具，

所述门控照相机的使能状态/非使能状态由所述车辆用灯具的控制单元所控制。

5.根据权利要求1至4的任一项所述的感测系统，其特征在于，

所述门控照相机在恶劣天气时被使能化。

6.根据权利要求1至5的任一项所述的感测系统，其特征在于，

所述门控照相机在所述主传感器陷入功能不全时被使能化。

7.根据权利要求1至6的任一项所述的感测系统，其特征在于，

所述门控照相机在所述主控制器中的物体的识别精度低于规定的阈值时被使能化。

8.根据权利要求1至7的任一项所述的感测系统，其特征在于，

所述门控照相机的使能状态/非使能状态被根据车辆所搭载的雨传感器、雾传感器的输出、雨刷器、雾灯的工作状态的至少一个而控制。

9.根据权利要求1至8的任一项所述的感测系统，其特征在于，

所述门控照相机的使能状态/非使能状态被根据驾驶员的状态而控制。

10.根据权利要求1至9的任一项所述的感测系统，其特征在于，

所述主控制器将所述门控照相机的输出利用在驾驶辅助或自动驾驶的控制中。

11.一种门控照相机，是与主传感器、处理所述主传感器的输出的主控制器一起构成车载用的感测系统的门控照相机，其特征在于，包括：

照明装置，照射脉冲照明光，

图像传感器，以及

照相机控制器，控制所述照明装置的发光定时和所述图像传感器的曝光的定时，使所述图像传感器生成与多个范围对应的多个图像数据；

所述门控照相机根据来自所述主控制器的指示控制使能/非使能。

12.一种门控照相机，其特征在于，是与主传感器、处理所述主传感器的输出的主控制器一起构成车载用的感测系统的门控照相机，包括：

照明装置，照射脉冲照明光；

图像传感器；以及

照相机控制器，根据行驶环境决定所述门控照相机的使能状态、非使能状态，在所述使能状态中控制所述照明装置的发光定时与所述图像传感器的曝光的定时，使所述图像传感器生成与多个范围对应的多个图像数据。

13.根据权利要求12所述的门控照相机，其特征在于，

所述照相机控制器在恶劣天气时将所述门控照相机设为所述使能状态。

14.根据权利要求12或13所述的门控照相机，其特征在于，

所述照相机控制器在所述主传感器陷入功能不全时将所述门控照相机设为所述使能状态。

15.根据权利要求12至14的任一项所述的门控照相机，其特征在于，

所述照相机控制器在所述主控制器的物体的识别精度低于规定的阈值时，将所述门控照相机设为所述使能状态。

16.根据权利要求12至15的任一项所述的门控照相机，其特征在于，

所述照相机控制器根据车辆所搭载的雨传感器、雾传感器的输出、雨刷器、雾灯的工作状态的至少一者，控制所述门控照相机的使能状态/非使能状态。

17.根据权利要求12至16的任一项所述的门控照相机，其特征在于，

所述照相机控制器根据驾驶员的状态，控制所述门控照相机的使能状态/非使能状态。

18.一种感测系统，是用于驾驶辅助或自动驾驶的感测系统，其特征在于，包括：

主传感器，

门控照相机，以及

主控制器，处理所述主传感器的输出及所述门控照相机的输出；

所述门控照相机生成与来自所述主控制器的控制信号相应的兴趣范围所对应的切片图像。

19.根据权利要求18所述的感测系统，其特征在于，

所述主传感器包括毫米波雷达。

20.根据权利要求18或19所述的感测系统，其特征在于，

所述门控照相机将与所述兴趣范围对应的所述切片图像本身供给至所述主控制器。

21.根据权利要求18或19所述的感测系统，其特征在于，

所述门控照相机将表示所述兴趣范围中是否包含物体的信息返还给所述主控制器。

22.根据权利要求18或19所述的感测系统，其特征在于，

所述门控照相机包括根据所述切片图像检测所述兴趣范围中存在的物体的种类的识别器，将基于所述识别器的检测结果返回给所述主控制器。

23.根据权利要求18或19所述的感测系统，其特征在于，

所述主控制器将表示根据所述主传感器的输出检测到的物体的种类的数据供给至所述门控照相机，

所述门控照相机包括根据所述切片图像检测所述兴趣范围中存在的物体的种类的识别器，将所述识别器检测出的种类、与所述数据表示的所述种类的一致、不一致返回给所述主控制器。

24.根据权利要求18至23的任一项所述的感测系统，其特征在于，

对于所述门控照相机，规定有在进深方向划分视野的多个范围，根据所述控制信号，将所述多个范围之中的一个选择为所述兴趣范围。

25.根据权利要求18至23的任一项所述的感测系统，其特征在于，

根据所述主传感器的输出检测到物体时，所述主控制器将包含位置数据的所述控制信号供给至所述门控照相机，所述位置数据指定到该物体的距离、或者包含该物体的进深方向的范围。

26.一种门控照相机，是与主传感器、处理所述主传感器的输出的主控制器一起构成车载用的感测系统的门控照相机，其特征在于，包括：

照明装置，照射脉冲照明光；

图像传感器；以及

照相机控制器，控制所述照明装置的发光定时与所述图像传感器的曝光的定时，使所述图像传感器生成与来自所述主控制器的控制信号相应的兴趣范围所对应的切片图像。

27.根据权利要求26所述的门控照相机，其特征在于，

所述门控照相机将与所述兴趣范围对应的所述切片图像本身供给至所述主控制器。

28.根据权利要求26所述的门控照相机，其特征在于，

所述门控照相机包括根据所述切片图像检测所述兴趣范围中存在的物体的种类的识别器，将基于所述识别器的检测结果返回给所述主控制器。

29.根据权利要求26所述的门控照相机，其特征在于，

所述主控制器将根据所述主传感器的输出检测出的表示物体的种类的数据供给至所述门控照相机，

所述门控照相机包括根据所述切片图像检测所述兴趣范围中存在的物体的种类的识别器，将所述识别器检测的种类与所述数据表示的所述种类的一致、不一致返回给所述主控制器。

30.根据权利要求26至29的任一项所述的门控照相机，其特征在于，

所述照相机控制器规定有在进深方向划分视野的多个范围，根据所述控制信号，选择所述多个范围之中的一个作为所述兴趣范围。

31.根据权利要求26至29的任一项所述的门控照相机，其特征在于，

所述门控照相机将表示所述兴趣范围中是否包含物体的信息返回给所述主控制器。