CN116648664A - 车载用传感系统以及门控照相机 - Google Patents
车载用传感系统以及门控照相机 Download PDFInfo
- Publication number
- CN116648664A CN116648664A CN202180051624.4A CN202180051624A CN116648664A CN 116648664 A CN116648664 A CN 116648664A CN 202180051624 A CN202180051624 A CN 202180051624A CN 116648664 A CN116648664 A CN 116648664A
- Authority
- CN
- China
- Prior art keywords
- camera
- gating
- photographing mode
- mode
- gating camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
传感系统(10)用于驾驶支援或自动驾驶。门控照相机(20)将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像。主控制器(60)对主传感器组(50)的输出以及门控照相机(20)的输出进行处理。门控照相机(20)能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。
Description
技术领域
本公开涉及车辆用的传感系统。
背景技术
为了进行驾驶辅助或自动驾驶,使用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本地从照相机、LiDAR(Light Detection and Ranging:光检测和测距、Laser Imaging Detection and Ranging:激光成像检测和测距)、毫米波雷达、超声波声纳、主动式传感器等中选择传感器。
[在先技术文献]
[专利文献]
专利文献1:日本特开2009-257983号公报
专利文献2:国际公开WO2017/110413A1
发明内容
[发明要解决的课题]
作为替代TOF照相机的主动式传感器,提出了门控照相机(Gating Camera或者Gated Camera)(专利文献1、2)。门控照相机将拍摄范围划分为多个范围,针对每个范围使曝光定时和曝光时间变化地进行拍摄。由此,针对每个对象的范围得到切片图像,各切片图像仅包含对应的范围中包含的物体。
门控照相机是主动式传感器,由于图像传感器和照明装置的二者消耗功率,因此与一般的单眼照相机或立体照相机相比,消耗功率大。
本公开鉴于以上状况而完成,其一个方案的例示性的目的之一在于提供一种抑制消耗功率的门控照相机。
[用于解决技术课题的技术方案]
1.一实施方式的门控照相机将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像。门控照相机包括:照射脉冲照明光的照明装置;图像传感器;以及对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器。照相机控制器决定门控照相机的动作状态/停止状态、以及/或门控照相机的拍摄模式。
一实施方式的传感系统被用于驾驶辅助或自动驾驶。该传感系统包括:主传感器;门控照相机,其能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式,能够将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像;以及对主传感器的输出以及门控照相机的输出进行处理的主控制器。门控照相机基于自身拍摄到的切片图像和至少一个车辆信号中的至少一者,来决定自身的动作状态/停止状态、以及/或拍摄模式。
2.一实施方式的门控照相机将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像。门控照相机包括:向视野照射脉冲照明光的照明装置;图像传感器;以及对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器。照相机控制器能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。
一实施方式的传感系统被用于驾驶辅助或自动驾驶。传感系统包括:主传感器;门控照相机,其能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式,能够将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像;以及对主传感器的输出以及门控照相机的输出进行处理的主控制器。
[发明效果]
根据本公开,能够抑制门控照相机的消耗功率。
附图说明
图1是实施方式1的传感系统的框图。
图2是说明门控照相机的动作的图。
图3的(a)、图3的(b)是说明通过门控照相机得到的图像的图。
图4的(a)~图4的(c)是说明恶劣天气下的门控照相机的优点的图。
图5是说明传感系统的动作的时序图。
图6是说明实施例1的门控照相机的动作的图。
图7是说明实施例2的门控照相机的动作的图。
图8是说明实施例3的拍摄模式的图。
图9是说明实施方式2的传感系统的框图。
图10是说明实施方式3的传感系统的框图。
图11是说明实施方式4的传感系统的框图。
图12是说明实施方式5的传感系统的框图。
图13是说明实施方式6的传感系统的框图。
图14的(a)、图14的(b)是表示具备实施方式的传感系统的汽车的图。
图15是表示实施方式的车辆用灯具的框图。
图16是包括实施方式7的门控照相机的传感系统的框图。
图17的(a)、图17的(b)是表示由门控照相机拍摄到的切片图像的图。
图18的(a)是表示图17的(a)的切片图像的直方图的图,图18的(b)是表示图17的(b)的切片图像的直方图的图。
图19的(a)是图17的(b)的切片图像的上部的空间的图像数据,图19的(b)是表示图19的(a)的图像数据的直方图的图。
图20是说明天气检测模式下的拍摄范围的图。
图21的(a)~图21的(c)是说明实施例3中的差分图像的生成的图。
图22的(a)、图22的(b)是说明基于差分图像的天气推测的图。
具体实施方式
说明本公开的几个例示性的实施方式的概要。本概要作为后述的详细说明的前置,以实施方式的基本理解为目的,对1个或多个实施方式的几个概念进行简化说明,并非限定发明或者公开的广度。另外,本概要并非考虑的所有实施方式的总括的概要,并非限定实施方式的不可欠缺的构成要素。为了方便,“一实施方式”有时作为指示本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。
一实施方式的门控照相机将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像。门控照相机包括:向视野照射脉冲照明光的照明装置;图像传感器;以及对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器。照相机控制器能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。
将门控照相机构成为能够切换高性能但消耗功率较大的模式和降低性能来削减消耗功率的模式,并根据行驶环境而动态地选择模式。并非始终以高性能进行动作,而是自适应性地降低性能,由此能够相应地降低消耗功率。
在一实施方式中,第1拍摄模式和第2拍摄模式的帧率也可以不同。通过降低帧率,能够降低消耗功率。
在一实施方式中,第1拍摄模式和第2拍摄模式的测定的范围的个数也可以不同。通过减少范围的个数,能够削减消耗功率。
在一实施方式中,第1拍摄模式和第2拍摄模式的距最远的范围的深侧的边界的距离(最远拍摄距离)也可以不同。在这种情况下,第1拍摄模式和第2拍摄模式的脉冲照明光的强度也可以不同。在缩短最远拍摄距离的情况下,通过降低脉冲照明光的强度,能够削减消耗功率。另外,能够减少照明装置的发热量。
在一实施方式中,门控照相机也可以能够切换为待机模式,该待机模式能够响应于来自主控制器的指示而立即执行拍摄。
在一实施方式中,照相机控制器也可以基于至少一个车辆信号来选择拍摄模式。车辆信号可例示出雨传感器的输出、雾传感器的输出、车速信息、表示主传感器的功能不全的故障信号、表示主控制器的功能不全或识别精度降低的故障信号、雨刷器的控制信号、雾灯的控制信号等。
在一实施方式中,照相机控制器也可以基于切片图像来选择拍摄模式。也可以基于切片图像来判定天气即视野的好坏,并将判定结果反映到模式选择。
在一实施方式中,照相机控制器的拍摄模式可以由主控制器选择,也可以根据主控制器的状态而选择。例如,也可以根据被输入到主控制器的主传感器准确度、主控制器进行物体识别的情况下的识别精度、主控制器的故障信息等来切换拍摄模式。
一实施方式的门控照相机将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像。门控照相机包括:照射脉冲照明光的照明装置;图像传感器;以及对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器。照相机控制器决定门控照相机的动作状态/停止状态、以及/或者门控照相机的拍摄模式。
门控照相机被构成为能够切换动作状态/停止状态,或者被构成为能够切换拍摄模式。并且,门控照相机自主地控制自身的动作状态。由此,不会对车辆侧的上位的控制器施加多余的负荷,通过根据当时的行驶环境而停止拍摄或者选择性能较低的拍摄模式,能够削减消耗功率。
在一实施方式中,照相机控制器也可以基于切片图像来决定门控照相机的动作状态/停止状态、以及/或门控照相机的拍摄模式。在门控照相机生成的切片图像中,拍摄到包含于视野的进深方向的特定范围的被摄体。通过利用该性质,能够推测视野的好坏及天气,并活用于门控照相机的控制。
在一实施方式中,照相机控制器也可以能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。将门控照相机构成为能够切换高性能但消耗功率较大的模式和降低性能来削减消耗功率的模式,并根据行驶环境而动态地选择模式。并非始终以高性能进行动作,而是自适应性地降低性能,由此能够相应地降低消耗功率。
在一实施方式中,门控照相机的动作状态/停止状态也可以被从外部控制。照相机控制器也可以基于切片图像来控制拍摄模式。
在一实施方式中,照相机控制器也可以基于切片图像来控制门控照相机的动作状态/停止状态以及拍摄模式。
在一实施方式中,门控照相机也可以始终动作。照相机控制器也可以基于切片图像来控制门控照相机的拍摄模式。
在一实施方式中,门控照相机也可以不支持拍摄模式的切换。照相机控制器也可以基于切片图像来控制门控照相机的动作状态/停止状态。
在一实施方式中,照相机控制器也可以在通常的拍摄之外、间歇地进行用于控制自身的状态(即动作状态/停止状态、以及/或所述门控照相机的拍摄模式)的拍摄。
一实施方式的传感系统被用于驾驶辅助或自动驾驶。传感系统包括:主传感器;门控照相机,其能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式,能够将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像;以及对主传感器的输出以及门控照相机的输出进行处理的主控制器。门控照相机基于自身拍摄到的切片图像和至少一个车辆信号中的至少一者,来决定自身的动作状态/停止状态、以及/或拍摄模式。
在一实施方式中,门控照相机也可以基于自身拍摄到的切片图像来决定自身的动作状态/停止状态。
在一实施方式中,门控照相机也可以基于车辆信号来决定自身的动作状态/停止状态。
在一实施方式中,门控照相机的动作状态/停止状态也可以由主控制器控制。
(实施方式)
以下,参照附图对优选的实施方式进行说明。对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记,适当省略重复的说明。另外,实施方式不限定公开及发明而是例示,并非实施方式所述的所有特征及其组合都是发明的本质性内容。
(实施方式1)
图1是实施方式1的传感系统10A的框图。该传感系统10A以驾驶辅助或者自动驾驶为目的而被搭载于汽车、摩托车等车辆,对存在于车辆的周围的物体OBJ进行检测。
传感系统10A包括主传感器组50、主控制器60以及门控照相机20。主传感器组50可以包括一个或者多个传感器。例如,主传感器组50包括照相机52和毫米波雷达54。或者,主传感器组50也可以包括立体照相机。或者,主传感器组50也可以包含LiDAR等。
主控制器60基于主传感器组50的输出来检测车辆的周围的物体的位置、种类,并输出检测结果RESULT。例如,主控制器60也可以具备识别器(分类器),检测结果RESULT也可以包含物标的种类(类别、类)以及与位置相关的信息。
门控照相机20将视野在进深方向上划分为多个范围RNG1~RNGN,并生成与多个范围RNG1~RNGN对应的多个切片图像IMGs1~IMGsN。相邻的范围彼此也可以在它们的边界上在进深方向上重叠。
门控照相机20包括照明装置22、图像传感器24、照相机控制器26以及运算处理装置28。
照明装置22(投光器)与从照相机控制器26提供的发光定时信号S1同步地,向车辆前方照射脉冲照明光L1。脉冲照明光L1优选为红外光,但不限于此,也可以是具有规定的波长的可见光。照明装置22例如可以使用激光二极管(LD)或LED。在仅夜间使用门控照相机20的系统中,可以将脉冲照明光L1的波长设为800nm附近的近红外。在昼夜均使用门控照相机20的系统中,可以将脉冲照明光L1设为比1μm长的波长范围。
图像传感器24包括多个像素,能够进行与从照相机控制器26提供的曝光定时信号S2同步的曝光控制,生成由多个像素构成的切片图像IMGr。图像传感器24对与脉冲照明光L1相同的波长具有灵敏度,拍摄物体OBJ反射的反射光(返回光)L2。图像传感器24针对第i个范围RNGi生成的切片图像IMGr,根据需要称为原始图像或者一次图像,与作为门控照相机20的最终输出的切片图像IMGs进行区分。另外,也将原始图像IMGr和切片图像IMGs统称为切片图像IMG。
照相机控制器26针对每个范围RNG使发光定时信号S1和曝光定时信号S2变化,使照明装置22的发光与图像传感器24的曝光的时间差变化。发光定时信号S1规定发光开始的定时和发光时间。曝光定时信号S2规定曝光开始的定时(与发光的时间差)和曝光时间。
运算处理装置28能够通过CPU(Central Processing Unit:中央处理单元)或MPU(Micro Processing Unit:微处理单元)、微型计算机、GPU(Graphics Processing Unit:图形处理单元)等处理器(硬件),以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置28也可以仅由硬件构成。运算处理装置28对图像传感器24生成的原始图像数据IMGr进行处理,输出最终的切片图像IMGs。此外,在将图像传感器24的输出IMGr直接作为切片图像IMGs使用的情况下,可以省略运算处理装置28。
图2是说明门控照相机20的动作的图。在图2中示出将第i个范围RNGi作为兴趣范围(ROI:Range Of Interest)来进行测定时的状态。照明装置22与发光定时信号S1同步地,在时刻t0~t1之间的发光期间τ1的期间发光。在最上方,示出横轴表示时间、纵轴表示距离的光线的图表。将从门控照相机20到范围RNGi的近前的边界的距离设为dMINi,将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从照明装置22发出的光到达距离dMINi而其反射光返回图像传感器24为止的往返时间TMINi为TMINi=2×dMINi/c。c为光速。
同样,在某一时刻从照明装置22发出的光到达距离dMAXi而其反射光返回图像传感器24为止的往返时间TMAXi为TMAXi=2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时,照相机控制器26以在时刻t2=t0+TMINi时开始曝光,在时刻t3=t1+TMAXi时结束曝光的方式生成曝光定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时,也可以进行多次曝光。在这种情况下,照相机控制器26只要以规定的周期τ2反复进行多次上述照射和曝光的动作的组即可。此时,图像传感器24生成的原始图像数据IMGr成为多次曝光的累计结果。
在本实施方式中,为了使曝光(切片图像内的物体像的亮度值)不针对每个范围产生偏差,门控照相机20针对每个范围使快门速度(曝光时间)、曝光次数、灵敏度、脉冲照明光的照射强度等(拍摄参数)最佳化。
图3的(a)、图3的(b)是说明通过门控照相机20得到的图像的图。在图3的(a)的示例中,在范围RNG2中存在物体(行人)OBJ2,在范围RNG3中存在物体(车辆)OBJ3。在图3的(b)中,示出在图3的(a)的状况下得到的多个切片图像IMG1~IMG3。在拍摄切片图像IMG1时,由于图像传感器24仅通过来自范围RNG1的反射光曝光,因此在切片图像IMG1中没有拍摄到任何物体像。
在拍摄切片图像IMG2时,由于图像传感器24仅通过来自范围RNG2的反射光曝光,因此在切片图像IMG2中仅拍摄到物体像OBJ2。同样,在拍摄切片图像IMG3时,由于图像传感器24仅通过来自范围RNG3的反射光曝光,因此在切片图像IMG3中仅拍摄到物体像OBJ3。像这样,根据门控照相机20,能够针对每个范围分离物体地进行拍摄。
门控照相机20在恶劣天气下的拍摄中是有利的。以下,说明其理由。图4的(a)~图4的(c)是说明恶劣天气下的门控照相机20的优点的图。图4的(a)表示恶劣天气时的行驶场景的一个示例。在范围RNG3中存在物体(车辆)OBJ3。另外,图中所示的点示意性地表示雨滴、雪粒或者雾等障碍物。在图4的(b)中,示出在图4的(a)的状况下得到的第3个范围的切片图像IMG3。在拍摄切片图像IMG3时,由于图像传感器24仅通过来自范围RNG3的反射光曝光,因此在切片图像IMG3中未拍摄到范围RNG1、RNG2的障碍物(雨滴、雪粒、雾)。即,能够除去测定对象的范围之外的范围中包含的雨、雪、雾。
在图4的(c)中,示出一般的照相机拍摄相同视野而得到的图像。在通过一般的照相机进行拍摄时,由于拍摄到所有的范围RNG1~3的物体的反射光,因此较多的障碍物会以遮挡OBJ3的方式映入。
由图4的(b)与(c)的比较可知,门控照相机20生成的切片图像IMG在恶劣天气时,比一般照相机包含更多的信息。
返回图1。在本实施方式中,门控照相机20被用作辅助主传感器组50的辅助传感器。因此,门控照相机20并非始终动作,而是根据行驶环境,自适应性地选择动作状态(使能状态EN)、停止状态(禁用状态DIS)。
若门控照相机20成为动作状态,则照相机控制器26生成发光定时信号S1和曝光定时信号S2,由此生成多个范围的切片图像。在门控照相机20的停止状态下,照相机控制器26不生成发光定时信号S1和曝光定时信号S2,因此不生成切片图像。
在恶劣天气时门控照相机20生成的切片图像IMG被提供给主控制器60。并且,门控照相机20的输出被用于驾驶辅助或自动驾驶的控制。
以上是传感系统10A的构成。接着说明其动作。图5是说明传感系统10A的动作的时序图。
在天气(视野)良好的条件下,主传感器组50的可靠性高。在这种情况下,门控照相机20成为停止状态,主控制器60基于主传感器组50的输出而进行物标的检测。
在天气(视野)差的条件下,主传感器组50的可靠性降低。在这种情况下,门控照相机20成为动作状态,主控制器60替代主传感器组50的输出或者除了其之外,基于门控照相机20的检测结果而进行物标的检测。
以上是传感系统10A的动作。根据该传感系统10A,能够抑制门控照相机20的消耗功率的增加,并且抑制恶劣天气时的传感系统10A的性能降低。
返回图1。门控照相机20被构成为在动作状态下能够切换多个拍摄模式。多个拍摄模式包含性能相对较高、消耗电力较大的第1拍摄模式和性能相对较低、消耗电力较小的第2拍摄模式。
关于多个拍摄模式,说明几个实施例。
(实施例1)
针对每个拍摄模式,帧率也可以不同。“帧率”是测定成为测定对象的所有范围的频度,并且是帧周期的倒数。在帧率高的拍摄模式中,能够进行高速的感测,相对地消耗功率增加。在帧率低的拍摄模式中,传感速度降低,相对地能够削减消耗功率。
图6是说明实施例1的门控照相机20的动作的图。在第1拍摄模式MODE1期间,以第1帧周期TF1执行多个范围RNG1~RNG3的拍摄时。在本示例中范围的个数是3个。此外,在1个范围的拍摄期间,也可以反复执行多次发光和曝光。
在第2拍摄模式MODE2期间,以第2帧周期TF2(TF2>TF1)执行多个范围RNG1~RNG3的拍摄时。由于帧率降低,第2拍摄模式MODE2的消耗功率比第1拍摄模式MODE1的消耗功率低。
在恶劣天气时这样的需要门控照相机20的状态下,根据状况有时也不要求最高的性能。例如,即使是恶劣天气,但基于主传感器组50的输出的感测的精度(可靠度)在一定程度上较高的状况下,降低门控照相机20的帧率也不会对感测产生障碍。因此,在这样的情况下,通过选择第2拍摄模式MODE2,能够削减消耗功率。
例如,也可以根据雨或雪的量、雾的浓度来选择拍摄模式。例如,也可以是,在雨或雪相对较多、或者雾相对较浓的状况下,选择第1拍摄模式MODE1,在雨或雪相对较少、或者雾相对较薄的状况下,选择第2拍摄模式MODE2。
或者,也可以根据当前的恶劣天气的原因(是雨、雪、雾中的哪一者)来选择模式。例如,也可以是,在发生雾或者降雪时选择第1拍摄模式,在降雨时选择第2拍摄模式MODE2。例如,也可以基于VICS(注册商标)(Vehicle Information and Communication System:车辆信息和通信系统)信息等从车辆外通过无线通信而被提供的信息,来取得有无降雨、降雪、有无雾等。
或者,也可以根据行驶场景来切换第1拍摄模式MODE1和第2拍摄模式MODE2。例如,也可以是,在行驶速度相对较高的状况下,选择第1拍摄模式MODE1,在行驶速度相对较低的状况下,选择第2拍摄模式MODE2。
(实施例2)
在实施例2中,针对每个拍摄模式,测定的范围的个数不同。例如,在第1拍摄模式MODE1中,测定3个范围RNG1~RNG3,在第2拍摄模式MODE2中,测定2个范围RNG1~RNG2。
图7是说明实施例2的门控照相机20的动作的图。例如,假设第1范围RNG1为0~25m,第2范围RNG2为25~50m,第3范围RNG3为50~100m。根据天气,即使具有门控照相机20的性能,也可能产生不能进行比50m更前方的感测的情况。在这样的情况下,通过选择第2模式MODE2,能够削减消耗功率。
另外,自动驾驶控制或者驾驶辅助控制所需的能见度依赖于车速。具体而言,速度越高,越需要更远的物标的信息。因此,也可以是,在车速比某一阈值高的情况下,选择第1拍摄模式MODE1,在车速比阈值低的情况下,选择第2拍摄模式MODE2。
此外,在图7中,第2拍摄模式MODE2的帧率比第1拍摄模式MODE1的帧率低,但帧率也可以相同。
第1拍摄模式MODE1中的距最远的范围的深侧的边界的距离(最远拍摄距离)为dMAX3,第2拍摄模式MODE2中的最远拍摄距离为dMAX2,第1拍摄模式MODE1与第2拍摄模式MODE2不同。
在这样的情况下,如图7所示,第2拍摄模式MODE2中的脉冲照明光的强度也可以比第1拍摄模式MODE1的该脉冲照明光低。此外,图7的脉冲照明光的强度并非意味着连续发光。在第2拍摄模式MODE2中,由于不需要将脉冲照明光投射至远距离,因此能够使强度降低。另外,能够减少照明装置22的发热量。
(实施例3)
在实施例3中,针对每个拍摄模式,多个范围的进深不同。图8是说明实施例3的拍摄模式的图。例如,在第1拍摄模式MODE1中,第1范围RNG1为0~25m,第2范围RNG2为25~50m,第3范围RNG3为50~100m,而在第2拍摄模式MODE2中,第1范围RNG1为0~25m,第2范围RNG2为25~50m,第3范围RNG3为50~75m。即,与第1拍摄模式MODE1的最远拍摄距离为100m相比,第2拍摄模式MODE2的最远拍摄距离变短至75m。
在实施例3中也与实施例2同样,在第2拍摄模式MODE2中,由于不需要将脉冲照明光投射至远距离,因此能够使强度降低。另外,能够减少照明装置22的发热量。
实施例3中的拍摄模式的选择也与实施例2同样,可以基于天气或视野的好坏来进行,也可以基于车速来进行。
(实施例4)
在实施例4中,门控照相机20除多个拍摄模式之外,能够切换为待机模式。在待机模式中,门控照相机20处于随时能够进行拍摄的状态,但不进行自发的拍摄而待机。在待机模式下,照相机控制器26能够与主控制器60之间进行通信,若从主控制器60接受到拍摄指示的指令,则立即执行拍摄。通过仅在被照相机控制器26指示时进行拍摄,能够削减无用的消耗功率。
接着,对门控照相机20的动作状态/停止状态的控制以及拍摄模式的控制进行说明。
在本实施方式中,门控照相机20的动作状态/停止状态的控制以及拍摄模式的控制由门控照相机20自身自主地进行。
(控制方法1)
在控制方法1中,门控照相机20基于自身生成的切片图像IMG来进行动作状态/停止状态的切换以及拍摄模式的选择。
在切片图像IMG中拍摄到包含于视野的进深方向的特定范围的被摄体。通过利用该性质,能够推测视野的好坏及天气,并活用于门控照相机的控制。关于基于拍摄图像IMG的天气推测、视野推测,在后述说明。
照相机控制器26基于切片图像IMG来决定门控照相机20的动作/停止。照相机控制器26在推测出主传感器组50的可靠性的降低的状况下,将门控照相机20切换为动作状态。
进而,照相机控制器26基于切片图像IMG来选择第1拍摄模式MODE1、第2拍摄模式MODE2。选择的条件可以基于与拍摄模式相关的实施例1~4来确定。
此外,在该控制方法1中,门控照相机20在停止状态下,间歇地(例如数十秒间隔~数分钟间隔)进行用于控制拍摄模式以及动作/停止的拍摄。
(控制方法2)
在控制方法2中,门控照相机20的照相机控制器26基于至少一个车辆信号来进行动作状态/停止状态的切换。车辆信号可例示出雨传感器的输出、雾传感器的输出、车速信息、表示主传感器的功能不全的故障信号、表示主控制器的功能不全或识别精度降低的故障信号、雨刷器的控制信号、雾灯的控制信号等。照相机控制器26在基于车辆信号判定为恶劣天气的情况下,使门控照相机20为动作状态而开始拍摄。
照相机控制器26对于拍摄模式,与控制方法1同样,基于切片图像IMG来执行。
在控制方法2中,不需要像控制方法1那样,在停止状态期间进行用于控制动作/停止的拍摄。
(控制方法3)
在控制方法3中,照相机控制器26基于至少一个车辆信号来进行动作状态/停止状态的切换以及拍摄模式的控制的二者。
(控制方法4)
在控制方法4中,照相机控制器26基于切片图像IMG来进行动作状态/停止状态的切换,基于至少一个车辆信号来进行拍摄模式的控制。
动作状态/停止状态的控制、拍摄模式的控制也可以基于车辆信号和切片图像的解析结果的二者来进行。
门控照相机20的拍摄模式也可以由主控制器60控制。在这种情况下,主控制器60也可以基于车辆信号来决定门控照相机20的拍摄模式。
(实施方式2)
图9是实施方式2的传感系统10B的框图。在实施方式2中,门控照相机20的动作状态/停止状态基于来自外部的使能信号EN而被控制,门控照相机20的拍摄模式由门控照相机20自身自主地控制。
例如,在图9中,门控照相机20的动作状态/停止状态被主控制器60控制。主控制器60也可以与实施方式1中说明的同样,基于至少一个车辆信号来决定门控照相机20的动作状态/停止状态,并生成使能信号EN。另外,主控制器60也可以基于门控照相机20生成的切片图像IMG来控制门控照相机20的动作状态/停止状态。
或者,主控制器60也可以基于车辆信号和切片图像的二者来控制门控照相机20的动作状态/停止状态。
另一方面,在实施方式2中,照相机控制器26也可以基于切片图像IMG来选择门控照相机20的拍摄模式。或者,照相机控制器26也可以基于车辆信号来选择门控照相机20的拍摄模式。或者,照相机控制器26也可以基于车辆信号和切片图像的二者来选择门控照相机20的拍摄模式。
(实施方式3)
图10是实施方式3的传感系统10C的框图。在实施方式3中,门控照相机20被搭载于车辆用灯具200。车辆用灯具200包括未图示的统括地控制近光及远光的灯具ECU(Electronic Control Unit:电子控制单元)210。
门控照相机20的动作状态/停止状态基于灯具ECU210生成的使能信号EN而被控制,门控照相机20的拍摄模式由门控照相机20自身自主地控制。灯具ECU210基于车辆信号和切片图像的至少一者来控制门控照相机20的动作状态/停止状态。
(实施方式4)
图11是实施方式4的传感系统10D的框图。在实施方式4中,门控照相机20在行驶中基本上始终动作,仅拍摄模式能够进行切换。
门控照相机20(照相机控制器26)基于切片图像IMG和车辆信号的至少一者来选择拍摄模式。
(实施方式5)
图12是实施方式5的传感系统10E的框图。在实施方式5中,门控照相机20不支持多个拍摄模式的切换,仅能够进行动作状态(使能状态)/停止状态(禁用状态)的切换。
门控照相机20(照相机控制器26)基于切片图像IMG和车辆信号的至少一者来切换门控照相机20的动作状态/停止状态。
(实施方式6)
图13是实施方式6的传感系统10F的框图。在实施方式6中,省略主传感器组50的一部分(在本示例中为照相机52)或者全部。
如实施方式1~5中说明的那样,门控照相机20能够控制动作状态/停止状态的切换、拍摄模式的切换的二者或者任意一者。关于动作状态/停止状态的切换、拍摄模式的切换如实施方式1~5的说明。
图14的(a)、图14的(b)是表示具备实施方式的传感系统10的汽车300的图。参照图14的(a)。汽车300具备前照灯(灯具)302L、302R。
主传感器组50的照相机52、毫米波雷达54被配置于适于车辆的感测的部位。例如,照相机52被设于室内后视镜的里侧,毫米波雷达54被配置于车辆的前方。主控制器60被配置于车厢内或者发动机室内。
门控照相机20的照明装置22被内置于左右的前照灯302L、302R的至少一者。图像传感器24能够安装于车辆的一部分、例如室内后视镜的里侧。或者,图像传感器24也可以设于前格栅或前保险杠,照相机控制器26可以设于车厢内,也可以设于发动机室,也可以内置于前照灯。
参照图14的(b)。如图14的(b)所示,图像传感器24也可以内置于左右的前照灯302L、302R的任意一者。
图15是表示实施方式的车辆用灯具200的框图。车辆用灯具200与图14的(b)的前照灯302对应,包括近光单元202、远光单元204、灯具ECU210以及门控照相机20。
灯具ECU210基于来自车辆侧ECU310的控制指令,对近光单元202和远光单元204的接通、断开或配光进行控制。另外,在几个实施方式、实施例中,灯具ECU210也可以切换门控照相机20的动作状态/停止状态。
另外,门控照相机20被内置于车辆用灯具200的壳体。此外,图像传感器24、照相机控制器26、运算处理装置28的至少一个也可以设于车辆用灯具200的壳体的外侧。
(基于切片图像的视野推测、天气推测)
门控照相机能够对进深自由地设定关注范围,仅拍摄该关注范围中包含的物体。对以下技术进行说明:利用该特性,门控照相机20自身基于由自身拍摄到的切片图像IMG,取得与天气相关的信息。
图16是具备实施方式7的门控照相机20G的传感系统10G的框图。门控照相机20G包括照明装置22、图像传感器24、照相机控制器26G、运算处理装置28G。
照相机控制器26G除通常的拍摄模式之外,能够选择天气检测模式。在天气检测模式中,进行以为了进行天气检测而确定的规定范围作为对象的拍摄。运算处理装置28G基于在天气检测模式下针对规定范围得到的图像数据(切片图像)IMGf,取得与天气相关的信息INFO_FCST。
雾或雨、雪在视野的平面内以及进深方向上随机地、换言之均匀地存在。另一方面,雾或雨、雪之外的物标(车辆或行人、交通标识、道路标线等)是局部地、非随机地存在。即,在恶劣天气时,在针对规定范围RNGf得到的切片图像中拍摄到被雾或雨、雪漫反射的光,这表示与随机噪声相似的性质。基于该性质,通过分析图像数据IMGf,能够得到与天气相关的信息。
以下,基于实施例1~实施例3来说明天气检测的具体例。
(实施例1)
照相机控制器26G在天气检测模式下,将进深方向比通常的拍摄模式长的宽范围RNGw作为规定的RNGf而进行拍摄。宽范围RNGw也可以是将通常的拍摄模式下的某一范围在近前放大的范围。例如,假设在通常的拍摄模式中,将RNG1设为0~25m、将RNG2设为25~50m、将RNG3设为50~75m、将RNG4设为75~100m,对4个范围RNG1~RNG4进行拍摄。天气检测用的宽范围RNGw可以设为将第2个范围RNG2在近前方向放大的范围,例如也可以确定为10~50m。为了将范围放大,照相机控制器26G延长图像传感器24的曝光时间。
图17的(a)、图17的(b)是表示由门控照相机拍摄到的切片图像的图。图17的(a)是在恶劣天气下(基于红外光能量的能见度为50m左右的雾中)针对通常拍摄模式的某个范围(25~100m)得到的切片图像。图17的(b)是在相同状况下针对将图17的(a)的范围在近前侧放大的宽范围IMGw(6~100m)得到的切片图像IMGf。
相对于在图17的(a)的切片图像中仅拍摄到来自存在于深侧的物体的反射光,在图17的(b)的切片图像IMGf中,除来自深侧的物体的反射光之外,还映入了位于在近前放大的范围的雾(雨、雪)的反射光,因此深侧的物体被近前侧的雾、雨、雪遮蔽。即,在近前侧广泛拍摄的切片图像IMGf较多地含有雾(雨、雪)的信息。通过在天气检测模式下拍摄这样的切片图像IMGf,能够进行天气的推测。
图18的(a)是表示图17的(a)的切片图像的直方图的图,图18的(b)是表示图17的(b)的切片图像的直方图的图。各直方图的横轴表示像素值(灰度值),纵轴表示频率(发生频率)。如图18的(a)所示,来自深侧的物标的反射光的直方图反映物标的大小以及反射率,作为其结果,成为具有陡峭的边缘及多个峰值的图,偏离正态分布。另一方面,如图18的(b)所示,在针对较宽地确定的范围RNGw得到的切片图像中,由于深侧的物体被近前的雾、雨、雪遮蔽,因此切片图像的直方图接近包含随机噪声的图像的直方图。结果,直方图成为单峰,并且肩变得平缓。
像这样,在恶劣天气下,针对规定范围RNGf得到的切片图像IMGf的直方图具有接近图18的(b)所示直方图的倾向。相反地,在不存在雾、雨、雪的好天气下,切片图像IMGf的直方图接近图18的(a)的直方图。因此,运算处理装置28G通过取得切片图像IMGf的直方图,能够判定天气的好坏。
此外,在天气检测模式下,延长规定范围RNGf的进深并非必须,也可以是与通常的拍摄模式相同的进深长度。
运算处理装置28G可以针对切片图像IMGf的整体制作直方图,也可以仅提取其一部分(规定区域)而生成直方图。
以在恶劣天气时仅包含雾、雨、雪,在好天气时不存在任何物体的方式确定规定区域,由此能够提高检测精度。具体而言,也可以将天空的部分确定为规定区域。在这种情况下,规定区域可以配置于图像数据的上方的中央。
图19的(a)是图17的(b)的切片图像IMGf的上部的空间的图像数据,图19的(b)是表示图19的(a)的图像数据的直方图的图。像这样,在恶劣天气时,若生成相当于天空的部分的直方图,则可得到接近正态分布的直方图,另一方面,在好天气时,由于没有反射,因此直方图的分布集中于低灰度的区域。
也可以是,运算处理装置28G生成切片图像IMGf的一部分(或者整体)的直方图,基于在恶劣天气下直方图中出现的特征来判定天气。例如,运算处理装置28G也可以基于直方图的形状来判定天气,例如也可以在判定为直方图接近正态分布的情况下而判定为恶劣天气。关于是否接近正态分布,也可以利用已知为正态性的检验的公知的算法。或者,在恶劣天气时如图18的(b)所示,直方图的肩变得平缓,因此方差σ变大。因此,也可以在方差σ超过规定的阈值时,判定为恶劣天气。或者,也可以方差σ越大而判定为恶劣天气(雾浓、雨或雪的量多)。
(实施例2)
在实施例1中,基于针对1个规定范围RNGf得到的1张切片图像IMGf来推测天气,但在实施例2中针对2个规定范围RNGfx、RNGfy进行拍摄,并基于针对各范围而得到的2张切片图像IMGfx、IMGfy来推测天气。
具体而言,2个规定范围的一个(也称为窄范围)RNGfx的进深方向被确定为相对较窄,另一个(也称为宽范围)RNGfy的进深方向被确定为相对较宽。宽范围RNGfy也可以是将窄范围RNGfx在近前侧扩张的关系。图20是说明天气检测模式下的拍摄范围的图。虚线表示图像传感器24的视野。
在恶劣天气时,若针对窄范围RNGfx和宽范围RNGfy通过门控照相机进行拍摄,则得到如图17的(a)、(b)所示的2张切片图像(称为第1切片图像、第2切片图像)。
运算处理装置28G能够基于针对窄范围RNGfx得到的第1图像数据IMGfx和针对宽范围RNGfy得到的第2图像数据IMGfy,取得与天气相关的信息。
具体而言,运算处理装置28G计算第1图像数据IMGfx和第2图像数据IMGfy各自的直方图,并基于2个直方图而取得与天气相关的信息。这2个直方图相当于图18的(a)、(b)所示的2个直方图。
针对第1图像数据IMGfx得到的直方图具有与窄范围RNGfx中包含的物标对应的形状及方差、平均。另一方面,针对第2图像数据IMGfy得到的直方图在好天气时接近第1图像数据IMGfx的直方图。另一方面,在恶劣天气时,第2图像数据IMGfy的直方图接近较多地包含随机噪声的图像的直方图。具体而言,在恶劣天气时的直方图中出现以下特征:(i)形状接近正态分布,(ii)肩平缓,(iii)方差较大。
因此,运算处理装置28G也可以计算2个直方图各自的平均,在平均的差分超过规定的阈值时(条件1),判定为恶劣天气。
或者,运算处理装置28G也可以计算2个直方图各自的方差σ,在方差的差分超过规定的阈值时(条件2),判定为恶劣天气。
运算处理装置28G可以在条件1和2的二者为真时判定为恶劣天气,也可以在任意一者为真时判定为恶劣天气。
运算处理装置28G也可以对2个直方图各自的形状是否相似进行判定,在不相似的情况下判定为恶劣天气。
(实施例3)
在实施例3中,与实施例2同样,针对窄范围RNGfx和宽范围RNGfy生成切片图像IMGfx、IMGfy,并基于2个切片图像IMGfx、IMGfy而取得与天气相关的信息。更具体而言,运算处理装置28G生成表示第1图像数据IMGfx与第2图像数据IMGfy的差分的差分图像IMGd,并基于差分图像IMGd而取得与天气相关的信息。
图21的(a)~图21的(c)是说明实施例3中的差分图像的生成的图。差分图像IMGd的各像素的像素值IMGd(i)是第1图像数据IMGfx和第2图像数据IMGfy所对应的像素的像素值IMGfx(i)、IMGfy(i)的差分。
IMGd(i)=IMGfy(i)-IMGfx(i)
IMG#(i)表示图像IMG#的第i个像素的像素值。在差分图像中,位于深侧的物体的反射光的大多被消除,较多地包含距照相机近的区域的噪声成分(雾、雨、雪)。
运算处理装置28G可以基于差分图像IMGd的整体来推测天气,也可以基于其一部分来推测天气。如图20所示,在照相机的视野FOV中的标注了阴影的一部分视角内,未拍摄到存在于深侧的范围RNGfx的物体。因此,运算处理装置28G可以将第2图像数据IMGfy中的相当于标注了阴影的视角的部分除外,基于剩余的部分(有效区域)来推测天气。有效区域可以理解为拍摄到存在于窄范围RNGfx的物体的范围。
图22的(a)、图22的(b)是说明基于差分图像IMGd的天气推测的图。在图22的(a)的差分图像IMGd中示出矩形区域。该矩形区域被设于上述有效范围。图22的(b)表示图22的(a)的矩形区域内的直方图。运算处理装置28G基于该直方图,取得与天气有关的信息。
运算处理装置28G与实施例1中说明的同样,能够基于直方图来推测天气。具体而言,基于直方图的形状、峰的个数、肩的倾斜、方差等,来判定直方图是由噪声引起的还是由物体引起的。
实施方式7中说明的天气的推测,能够与实施方式1~实施方式6的技术组合而用于门控照相机20的拍摄模式的控制、接通/断开的切换,但并不限于此。
天气推测的方法并不限定于实施方式7中说明的方法。例如,在恶劣天气时(雾或雨),也可以利用红外线的透射率降低的情况来推测天气。在该方法中,通过门控照相机对规定的范围进行范围。门控照相机所照射的光量为已知,并且到规定的范围的距离为已知。在物体的反射率恒定时,该物体的像素值根据门控照相机与物体间的透射率、换言之周围环境(天气)而变化。即,若为好天气,则像素值相对变大,若为恶劣天气,则像素值相对变小。因此,基于切片图像的像素值,能够推测光的透射率以及周围环境。
例如,也可以基于切片图像中包含的具有规定的反射率的特定物体的像素值,来推测周围环境。特定物体也可以包含反射率已知的标识、路面、白线、护栏、反射板的至少一个。
本领域技术人员应该理解,实施方式只是例示,其各构成要素、各处理工艺的组合可以存在各种变形例,并且这样的变形例也在本发明的范围内。以下,对这样的变形例进行说明。
(变形例1)
在实施方式中,说明了从门控照相机20对主控制器60输出切片图像IMG的情况,但不限于此。例如,也可以是,在门控照相机20的运算处理装置28中安装识别器(分类器),将识别结果、即物标的种类(类别)和位置输出到主控制器60。
(变形例2)
在实施方式中,说明了将门控照相机20的输出用于驾驶辅助或自动驾驶的控制的情况,但并不限于此。例如,也可以是,在恶劣天气时使门控照相机20活动,将门控照相机20生成的切片图像IMG显示于HUD(Head Up Display:抬头显示器)等显示装置,辅助用户的视野。
(变形例3)
在实施方式中,说明了切换2个拍摄模式的情况,但可切换的拍摄模式的个数也可以为3个以上。
(变形例4)
在以上说明中,说明了仅在需要时使门控照相机20为使能状态而动作,在动作中切换拍摄模式的情况,但并不限于此。门控照相机20也可以在行驶中始终进行拍摄,在此基础上能够切换拍摄模式。
本领域技术人员应该理解,实施方式只是例示,其各构成要素、各处理工艺的组合存在各种变形例,并且这样的变形例也包含在本公开或本发明的范围内。
[工业可利用性]
本公开能够用于车辆用的传感系统。
[附图标记说明]
S1 发光定时信号
S2 曝光定时信号
10 传感系统
20 门控照相机
22 照明装置
24 图像传感器26 照相机控制器28 运算处理装置50 主传感器组52 照相机
54 毫米波雷达60 主控制器
200 车辆用灯具202 近光单元204 远光单元210灯具ECU300 汽车302 前照灯310车辆侧ECU
Claims (35)
1.一种门控照相机,是将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像的门控照相机,其特征在于,包括:
向视野照射脉冲照明光的照明装置,
图像传感器,以及
对所述照明装置的发光定时以及所述图像传感器的曝光的定时进行控制的照相机控制器;
所述照相机控制器能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。
2.如权利要求1所述的门控照相机,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的帧率不同。
3.如权利要求1或2所述的门控照相机,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的测定的范围的个数不同。
4.如权利要求1至3的任意一项所述的门控照相机,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的距最远的范围的深侧的边界的距离不同。
5.如权利要求4所述的门控照相机,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的脉冲照明光的强度不同。
6.如权利要求1至5的任意一项所述的门控照相机,其特征在于,
所述门控照相机能够切换为待机模式,所述待机模式能够响应于来自主控制器的指示而立即执行拍摄。
7.如权利要求1至6的任意一项所述的门控照相机,其特征在于,
所述照相机控制器基于至少一个车辆信号来选择拍摄模式。
8.如权利要求1至7的任意一项所述的门控照相机,其特征在于,
所述照相机控制器基于所述切片图像来选择拍摄模式。
9.如权利要求1至6的任意一项所述的门控照相机,其特征在于,
所述照相机控制器的拍摄模式由主控制器选择、或根据所述主控制器的状态而选择。
10.一种传感系统,是用于驾驶辅助或自动驾驶的传感系统,其特征在于,包括:
主传感器,
门控照相机,其能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式,能够将视野在进深方向上划分为多个范围,并生成与所述多个范围对应的多个切片图像,以及
对所述主传感器的输出以及所述门控照相机的输出进行处理的主控制器。
11.如权利要求10所述的传感系统,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的帧率不同。
12.如权利要求10或11所述的传感系统,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的测定的范围的个数不同。
13.如权利要求10至12的任意一项所述的传感系统,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的距最远的范围的深侧的边界的距离不同。
14.如权利要求13所述的传感系统,其特征在于,
所述第1拍摄模式和所述第2拍摄模式的脉冲照明光的强度不同。
15.如权利要求10至14的任意一项所述的传感系统,其特征在于,
所述门控照相机能够切换为待机模式,所述待机模式能够响应于来自所述主控制器的指示而立即执行拍摄。
16.如权利要求10至15的任意一项所述的传感系统,其特征在于,
所述门控照相机能够切换能够选择所述第1拍摄模式和所述第2拍摄模式的动作状态以及不进行拍摄的停止状态。
17.如权利要求10至16的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式根据雾的浓度、降雨量、降雪量的至少一者而切换。
18.如权利要求10至17的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式根据雾传感器的输出、雨传感器的输出的至少一者而切换。
19.如权利要求10至18的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式根据雾灯的状态、雨刷器的动作速度的至少一者而切换。
20.如权利要求10至19的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式根据车速而切换。
21.如权利要求10至20的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式由所述门控照相机决定。
22.如权利要求10至20的任意一项所述的传感系统,其特征在于,
所述门控照相机的拍摄模式由所述主控制器、或根据基于所述主控制器的感测的状态来控制。
23.如权利要求10至20的任意一项所述的传感系统,其特征在于,
所述门控照相机的至少一部分被内置于车辆用灯具;
所述门控照相机的拍摄模式由所述车辆用灯具的控制单元控制。
24.一种门控照相机,是将视野在进深方向上划分为多个范围,并生成与多个范围对应的多个切片图像的门控照相机,其特征在于,包括:
向视野照射脉冲照明光的照明装置,
图像传感器,以及
对所述照明装置的发光定时以及所述图像传感器的曝光的定时进行控制的照相机控制器;
所述照相机控制器决定所述门控照相机的动作状态/停止状态、以及/或所述门控照相机的拍摄模式。
25.如权利要求24所述的门控照相机,其特征在于,
所述照相机控制器基于所述切片图像和至少一个车辆信号中的至少一者,来决定所述门控照相机的动作状态/停止状态、以及/或所述门控照相机的拍摄模式。
26.如权利要求24或25所述的门控照相机,其特征在于,
所述照相机控制器能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式。
27.如权利要求24至26的任意一项所述的门控照相机,其特征在于,
所述门控照相机的动作状态/停止状态被从外部控制;
所述照相机控制器控制所述拍摄模式。
28.如权利要求24至26的任意一项所述的门控照相机,其特征在于,
所述照相机控制器控制所述门控照相机的动作状态/停止状态以及所述拍摄模式。
29.如权利要求24至26的任意一项所述的门控照相机,其特征在于,
所述门控照相机始终动作;
所述照相机控制器控制所述门控照相机的所述拍摄模式。
30.如权利要求24至26的任意一项所述的门控照相机,其特征在于,
所述门控照相机不支持拍摄模式的切换;
所述照相机控制器控制所述门控照相机的动作状态/停止状态。
31.如权利要求24至30的任意一项所述的门控照相机,其特征在于,
所述照相机控制器与通常的拍摄分开地、间歇地进行用于控制自身的状态的拍摄。
32.一种传感系统,是用于驾驶辅助或自动驾驶的传感系统,其特征在于,包括:
主传感器,
门控照相机,其能够切换性能相对较高、消耗功率相对较大的第1拍摄模式和性能相对较低、消耗功率相对较小的第2拍摄模式,能够将视野在进深方向上划分为多个范围,并生成与所述多个范围对应的多个切片图像,以及
对所述主传感器的输出以及所述门控照相机的输出进行处理的主控制器;
所述门控照相机基于自身拍摄到的切片图像和至少一个车辆信号中的至少一者,来决定自身的动作状态/停止状态、以及/或拍摄模式。
33.如权利要求32所述的传感系统,其特征在于,
所述门控照相机基于自身拍摄到的切片图像来决定自身的动作状态/停止状态。
34.如权利要求32所述的传感系统,其特征在于,
所述门控照相机基于车辆信号来决定自身的动作状态/停止状态。
35.如权利要求32所述的传感系统,其特征在于,
所述门控照相机的动作状态/停止状态由所述主控制器控制。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-140274 | 2020-08-21 | ||
JP2020-140275 | 2020-08-21 | ||
JP2020140275 | 2020-08-21 | ||
PCT/JP2021/030394 WO2022039230A1 (ja) | 2020-08-21 | 2021-08-19 | 車載用センシングシステムおよびゲーティングカメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116648664A true CN116648664A (zh) | 2023-08-25 |
Family
ID=87625188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180051624.4A Pending CN116648664A (zh) | 2020-08-21 | 2021-08-19 | 车载用传感系统以及门控照相机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116648664A (zh) |
-
2021
- 2021-08-19 CN CN202180051624.4A patent/CN116648664A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6851985B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
EP2856207B1 (en) | Gated imaging using an adaptive depth of field | |
US9904859B2 (en) | Object detection enhancement of reflection-based imaging unit | |
US20190277968A1 (en) | Object detection system | |
JP6387407B2 (ja) | 周辺検知システム | |
JP6293134B2 (ja) | 立体ゲーテッド画像システム及び方法 | |
CN105270254B (zh) | 用于控制车辆的至少一个大灯的光发射的方法和设备 | |
CN109703555B (zh) | 用于探测道路交通中被遮蔽的对象的方法和设备 | |
US11772545B2 (en) | Apparatus, system and method for controlling lighting using gated imaging | |
CN116648921A (zh) | 车载用传感系统以及门控照相机 | |
US20220214434A1 (en) | Gating camera | |
CN116648664A (zh) | 车载用传感系统以及门控照相机 | |
US20230328353A1 (en) | Vehicle-mounted sensing system and gated camera | |
WO2022039229A1 (ja) | 車載用センシングシステムおよびゲーティングカメラ | |
WO2023085403A1 (ja) | センシングシステム | |
EP3227742B1 (en) | Object detection enhancement of reflection-based imaging unit | |
WO2021172478A1 (ja) | センサ、自動車および周囲環境のセンシング方法 | |
CN116710838A (zh) | 车载用感测系统及门控照相机 | |
WO2022014416A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
CN117795376A (zh) | 门控照相机、车辆用传感系统、车辆用灯具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |