CN116235108A - 门控照相机、车辆用感测系统、车辆用灯具 - Google Patents

门控照相机、车辆用感测系统、车辆用灯具 Download PDF

Info

Publication number
CN116235108A
CN116235108A CN202180061390.1A CN202180061390A CN116235108A CN 116235108 A CN116235108 A CN 116235108A CN 202180061390 A CN202180061390 A CN 202180061390A CN 116235108 A CN116235108 A CN 116235108A
Authority
CN
China
Prior art keywords
image
camera
img
image sensor
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180061390.1A
Other languages
English (en)
Inventor
加藤大骑
高桥昌之
伊多波晃志
种本骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN116235108A publication Critical patent/CN116235108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

门控照相机(20)针对进深方向划分为多个范围(RNG)，生成与多个范围对应的多个切片图像。照明装置(22)照射探测光(L1)。图像传感器(24)输出将构成由曝光结果所得到的原始图像(IMG_RAW)的多个行中的、不包含目标物的无效行相关的图像信息压缩而得到的压缩图像(IMG_COMP)。照相机控制器(26)控制照明装置(22)的发光定时与图像传感器(24)的曝光的定时。图像处理装置(28)从图像传感器(24)接收压缩图像(IMG_COMP)，恢复切片图像(IMG)。

Description

门控照相机、车辆用感测系统、车辆用灯具
技术领域
本发明涉及门控照相机。
背景技术
为了进行自动驾驶或前照灯的配光的自动控制，利用感测存在于车辆的周围的物体的位置及种类的物体识别系统。物体识别系统包括传感器，及解析传感器的输出的运算处理装置。传感器是从照相机、LiDAR(Light Detection and Ranging：光检测与测距、Laser Imaging Detection and Ranging：激光成像检测与测距)、毫米波雷达、超声波声纳等之中，考虑用途、要求精度或成本而选择的。
若是通常的单眼照相机，无法得到进深的信息。因此，在位于不同的距离的多个物体重叠的情况下，难以将其分离。
作为可得到进深信息的照相机，已知TOF照相机。TOF(Time Of Flight：飞行时间)照相机通过发光器件投射红外光，测定反射光返回至图像传感器的飞行时间，得到将飞行时间转换为距离信息的TOF图像。
作为代替TOF照相机的有源传感器，提出了门控照相机(Gating Camera或GatedCamera)的方案(专利文献1、2)。门控照相机将拍摄范围划分为多个范围(range)，针对每个范围改变曝光定时与曝光时间，进行拍摄。由此，针对每个对象范围得到切片图像，各切片图像仅包括对应的范围内所包含的物体。
现有技术文献
专利文献
专利文献1：日本特开2009－257981号公报
专利文献2：国际公开WO2017/110417A1
发明内容
发明要解决的技术问题
1.门控照相机包括图像传感器，以及处理图像传感器的输出图像(传感图像)的图像处理装置。在此，图像传感器至图像处理装置之间大多通过串行接口连接，此间的传感图像的传输速度成为瓶颈，生成一张切片图像需要的时间变长，门控照相机的帧率受到限制。
本公开的一方案是在相关状况下得到的，其例示性的目的之一在于，提供一种能够缩短切片图像的生成时间的门控照相机。
2.本发明的发明人们针对能够白天拍摄的门控照相机进行研究，最终认识到以下的技术问题。为了白天进行拍摄，为了不容易受到太阳光的影响，需要增长使用的红外光的波长。然而，现实中能够使用的波长为1μm～1.3μm，该波长带中，太阳光的光谱也被包含其中。
因此，在白天使用门控照相机时，切片图像中因太阳光的影响而含有较大的背景噪声，来自物体的反射光即信号成分被埋没。
本公开的一方案是在相关状况下得到的，其例示性的目的之一在于，提供一种能够除去背景噪声的影响的门控照相机。
3.入射到门控照相机的图像传感器的光被从门控照相机放射，到达物体的探测光是在物体处反射/漫射并返回的光，因此在门控照相机与物体之间进行一个往返。在浓雾或强降雨等的状况中，门控照相机与物体之间的透射率会降低，因此向图像传感器的入射光的强度会降低。因此，在视野较差的状况下，难以进行较远范围的拍摄。
本公开的一方案是在相关状况下得到的，其例示性的目的之一在于，提供一种能够根据视野的良好与否适当进行动作的门控照相机。
用于解决技术问题的方法
1.本公开的一方案涉及一种门控照相机，其将视野针对进深方向划分为多个范围，生成与多个范围对应的多个切片图像。门控照相机包括：照明装置，照射探测光；图像传感器，通过曝光生成原始图像，并输出将构成原始图像的多个行中的、与不包含目标物的无效行相关的图像信息压缩而得到的压缩图像；照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时；以及图像处理装置，从图像传感器接收压缩图像，复原切片图像。
2.本公开的一方案的门控照相机包括：照明装置，照射探测光；图像传感器；照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器产生与多个范围对应的多个切片图像；以及图像处理装置，从图像传感器接收多个切片图像，选择关注像素，将关注像素中包含物体的切片图像设为有效图像，根据有效图像以外的切片图像的关注像素的像素值，检测噪声电平，根据噪声电平，校正多个切片图像各自的关注像素的像素值。
本公开的一方案的门控照相机包括：照明装置，照射探测光；图像传感器；照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器产生与多个范围对应的所述多个切片图像；以及图像处理装置，从图像传感器接收多个切片图像，选择关注像素，根据所有切片图像的关注像素的像素值，检测噪声电平，根据噪声电平校正多个切片图像的关注像素。
3.本公开的一方案的门控照相机包括：照明装置，照射探测光；图像传感器；以及照相机控制器，控制照明装置的发光定时与图像传感器的曝光定时，使图像传感器生成与多个范围对应的多个图像数据。照相机控制器使与探测光的衰减系数具有相关性的视野信息反映在拍摄参数中。
发明效果
根据本公开的一方案，可以缩短切片图像的生成时间。根据本公开的一方案，可以除去背景噪声的影响。根据本公开的一方案，可以进行与视野良好与否相应的动作。
附图说明
图1是实施方式1的感测系统的框图。
图2是说明门控照相机的基本动作的图。
图3的(a)、(b)是说明由门控照相机所得到的切片图像的图。
图4是示出某个行驶场景的图。
图5的(a)～(c)是示出图4的行驶场景中的信号处理的图。
图6是示出门控照相机的动作的流程图。
图7的(a)是示出压缩图像IMG＿COMP的图，图7的(b)是示出行数据的图。
图8是说明变形例1.3的门控照相机的处理的图。
图9是实施方式2.1的感测系统的框图。
图10是说明门控照相机的基本动作的图。
图11的(a)、(b)是说明由门控照相机所得到的切片图像的图。
图12是实施方式2.1的噪声除去的流程图。
图13是说明实施方式2.1的噪声除去的图。
图14的(a)、(b)是说明实施方式2.1的校正处理的图。
图15的(a)、(b)是说明实施方式2.2的校正处理的图。
图16是实施方式3的感测系统的框图。
图17是说明门控照相机的动作的图。
图18的(a)、(b)是说明由门控照相机所得到的图像的图。
图19是说明图16的门控照相机的第一控制方法的图。
图20的(a)、(b)是示出图16的门控照相机的第一控制方法的工作的流程图。
图21的(a)、(b)是说明图16的门控照相机的第二控制方法的图。
图22的(a)、(b)是示出与图21的(a)的控制对应的多个范围的图。
图23是说明图16的门控照相机的第三控制方法的动作的图。
图24的(a)～(c)是示出第三控制方法中的多个范围的图。
图25是感测系统的框图。
图26的(a)、(b)是示出具备门控照相机的汽车的图。
图27是示出具备物体检测系统的车辆用灯具的框图。
具体实施方式
说明本公开的几个例示性的实施方式的概要。该概要作为后述的详细说明的序言，以实施方式的基本性理解为目的，简要说明一个或多个实施方式的几个概念，并不在于限定发明或公开的范围。该概要并不是能想到的所有实施方式的概括性的概要，目的并不在于确定所有实施方式的重要要素，或划定一部分或所有方案的范围。为了方便起见，“一实施方式”有时用作指代本说明书所公开的一个实施方式(实施例或变形例)或多个实施方式(实施例或变形例)。
1.一实施方式的门控照相机将视野针对进深方向划分为多个范围，生成与多个范围对应的多个切片图像。门控照相机包括：照明装置，照射探测光；图像传感器，通过曝光生成原始图像，构成原始图像的多个行中，输出将与不包含目标物的无效行相关的图像信息压缩而得到的压缩图像；照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时；以及图像处理装置，从图像传感器接收压缩图像，复原切片图像。
针对在图像传感器所得到的原始图像，对于每个行，判定是否包含目标物，针对不包含目标物的行，通过压缩从图像传感器向图像处理装置的传输量，可以缩短传输时间，可以缩短切片图像的生成时间。
在一实施方式中，图像传感器也可以将其中包含的所有像素的像素值小于规定的阈值的行作为无效行。
在一实施方式中，图像传感器可以针对不是无效行的有效行，传输包含行编号、值为第一值的行头、该有效行所包含的所有像素的像素值的行数据；针对无效行，传输包含行编号、值为第二值的行头的行数据。
在一实施方式中，也可以是，当接收的行数据的行头的值为第二值时，图像处理装置将该行的所有像素值设为0。
2.一实施方式的门控照相机，是将视野针对进深方向划分为多个范围，生成与多个范围对应的多个切片图像的门控照相机，包括：照明装置，照射探测光；图像传感器；照相机控制器，控制照明装置的发光定时和图像传感器的曝光的定时，使图像传感器产生与多个范围对应的多个切片图像；以及图像处理装置，从图像传感器接收多个切片图像，选择关注像素，将关注像素中包含物体的切片图像设为有效图像，根据有效图像以外的切片图像的关注像素的像素值检测噪声电平，根据噪声电平校正多个切片图像各自的关注像素的像素值。
在理想的门控照相机中，一个物体在多个切片图像中仅映射在一张上。因此，关注多个切片图像的相同像素时，仅一张具有与来自物体的反射对应的像素值，其他切片图像的像素值可以视为噪声。根据本实施方式，可以不进行用于测定噪声电平的拍摄，进行通常的拍摄的同时，取得噪声电平。
在一实施方式中，噪声电平也可以是有效图像以外的切片图像的关注像素的像素值的平均值。
在一实施方式中，也可以是，图像处理装置针对各像素，当某个切片图像的关注像素的像素值超过规定的阈值时，设为有效图像。
在一实施方式中，也可以是，图像处理装置针对各像素，将像素值最大的切片图像作为包含物体的切片图像。
一实施方式的门控照相机包括：照明装置，照射探测光；图像传感器；照相机控制器，控制照明装置的发光定时与图像传感器的曝光的定时，使图像传感器产生对应于多个范围的所述多个切片图像；以及图像处理装置，从图像传感器接收多个切片图像，选择关注像素，根据所有切片图像的关注像素的像素值检测噪声电平，根据噪声电平校正多个切片图像的关注像素。
在范围的数量较多，换言之切片图像的张数较多的拍摄中，有效图像的影响较小，因此将所有切片图像的像素值作为噪声处理，从而可以简化噪声电平的检测处理。
在一实施方式中，噪声电平也可以是所有切片图像的关注像素的像素值的平均值。
一实施方式的门控照相机包括：照明装置，照射探测光；图像传感器；以及照相机控制器，控制照明装置的发光定时与图像传感器的曝光定时，使图像传感器生成与多个范围对应的多个图像数据。照相机控制器使与探测光的衰减系数具有相关性的视野信息反映在拍摄参数中。
通过根据探测光的衰减系数，动态、适应性地控制拍摄参数，能够进行与视野的优良与否对应的动作。
在一实施方式中，也可以是，探测光的衰减系数越大，照相机控制器越增加用于生成一张切片图像的曝光次数。在探测光的衰减系数较大的状况下，通过增加曝光次数，可以较多地累积来自物体的反射/漫射光，可以改善切片图像的画质。
在一实施方式中，也可以是，照相机控制器将范围的编号与曝光次数的关系保存有多个，选择与视野信息对应的一个。
也可以是，在衰减系数较大的情况下，不是放弃远距离的拍摄，而是提高进深方向的分辨率。
在一实施方式中，也可以是，探测光的衰减系数越大，照相机控制器越从深侧起依次减少作为测定对象的范围的个数。在衰减系数较大的情况下，通过放弃远距离的拍摄，集中感测近距离，从而可以提高较近的范围的切片图像的帧率。
下面，针对优选的实施方式，参照附图进行说明。对于各附图所示的相同或同等的构成要素、部件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不用于限定公开及发明而是例示，并非实施方式记述的所有特征或其组合都是公开及发明的本质部分。
(实施方式1)
图1是实施方式1的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等的车辆，检测存在于车辆的周围的物体OBJ。
感测系统10主要包括门控照相机20。门控照相机20包括照明装置22、图像传感器24、照相机控制器26、图像处理装置28。基于门控照相机20的摄像是将视野针对进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行的。相邻的范围彼此可以在它们的边界处进深方向上重叠。
照明装置22与从照相机控制器26供给的发光定时信号S1同步地向车辆前方照射探测光L1。探测光L1优选为红外光，但并不限定于此，也可以是具有规定的波长的可见光或紫外光。
图像传感器24包括多个像素，能够进行与从照相机控制器26所供给的曝光定时信号S2同步的曝光控制，生成由多个像素构成的原始图像(RAW图像)。图像传感器24针对与探测光L1相同波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。针对第i个范围RNGi，图像传感器24生成的切片图像IMGi根据需要称为原始图像或者一次图像，以与门控照相机20的最终输出即切片图像IMGsi相区别。
照相机控制器26控制照明装置22的探测光L1的照射定时(发光定时)和图像传感器24的曝光的定时。照相机控制器26可以通过CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微型计算机等的处理器(硬件)、处理器(硬件)执行的软件程序的组合来实现。
图像传感器24与图像处理装置28经由串行接口30连接。在此，将图像传感器24中生成的原始图像IMG＿RAWi的所有像素作为一次图像IMG传输给图像处理装置28时，传输时间变长，感测时间变长。
因此，在本实施方式中，图像传感器24将通过从原始图像IMG＿RAWi除去无用的行而得到的压缩图像IMG＿COMPi作为一次图像IMGi，发送给图像处理装置28。
具体而言，图像传感器24从由曝光的结果所得到的构成原始图像IMG＿RAWi的多个行之中，检测不包含目标物即检测对象的被摄体的无效行。而且，从原始图像IMG＿RAWi，压缩与无效行相关的图像信息，生成压缩图像IMG＿COMPi。
图像处理装置28从图像传感器24将压缩图像IMG＿COMPi作为一次图像IMGi接收。而且，由压缩图像IMG＿COMPi，恢复切片图像IMGsi。
以上为门控照相机20的结构。接着说明其动作。
图2是说明门控照相机20的基本动作的图。图2中示出将第i个范围RNGi作为兴趣范围(ROI：Range Of Interest)进行感测时的状态。照明装置22与发光定时信号S1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。最上部示出横轴为时间，纵轴为距离的光线的图表。将从门控照相机20到范围RNGi的附近的边界的距离设为dMINi，将从门控照相机20到范围RNGi的深侧的边界的距离设为dMAXi。
在某个时刻，从照明装置22出发的光达到距离dMINi，其反射光返回到图像传感器24的往返时间TMINi为
TMINi＝2×dMINi/c。
c为光速。
同样地，在某个时刻从照明装置22出发的光到达距离dMAXi，其反射光返回到图像传感器24的往返时间TMAXi为
TMAXi＝2×dMAXi/c。
在仅要拍摄范围RNGi所包含的物体OBJ时，照相机控制器26以在时刻t2＝t0+TMINi开始曝光，在时刻t3＝t1+TMAXi结束曝光的方式，生成曝光定时信号S2。这是一次的曝光动作。
在拍摄第i个范围RNGi时，可以多次设置发光及曝光并进行。此时，照相机控制器26以规定的周期τ2，多次重复上述的曝光动作即可。
图3的(a)、(b)是说明由门控照相机20所得到的切片图像的图。在图3的(a)的示例中，在范围RNG2存在物体(行人)OBJ2，在范围RNG3存在物体(车辆)OBJ3。在图3的(b)中，示出以图3的(a)的状况所得到的多个切片图像IMG1～IMG3。拍摄切片图像IMG1时，图像传感器仅由来自范围RNG1的反射光而曝光，因此切片图像IMG1中不会映出任何物体像。
拍摄切片图像IMG2时，图像传感器仅由来自范围RNG2的反射光而曝光，因此切片图像IMG2中，仅映出物体像OBJ2。同样地拍摄切片图像IMG3时，图像传感器仅由来自范围RNG3的反射光而曝光，因此切片图像IMG3中，仅映出物体像OBJ3。这样根据门控照相机20，可以按各范围将物体分开并拍摄。
接着，参照图4及图5的(a)～(c)，说明图1的门控照相机20中的图像压缩及传输。图4是示出一行驶场景的图。RNGi是感测对象的范围(兴趣范围)。图5的(a)～(c)是示出图4的行驶场景中的信号处理的图。图5的(a)中，示出在图4的行驶场景中所得到的原始图像IMG＿RAWi。在该原始图像IMG＿RAWi中，映出范围RNGi所包含的目标物。在该示例中，目标物存在于原始图像IMG＿RAWi的中央的范围YM。上方的范围YU为空，不包含任何目标物。
此外，在该示例中，原始图像IMG＿RAWi的下侧的范围YL是相当于前一个范围RNGi－1的地面的部分，该范围YL中也不包含目标物。
图像传感器24将范围YU及YL所包含的行判定为无效行。例如，图像传感器24依次扫描原始图像IMG＿RAWi的行，对于各行，当所有像素小于规定的阈值时，将该行作为无效行。
无效行与有效行的判定可以在每个感测周期进行。一次感测周期表示多个范围RNG1～RNGN的拍摄整体的周期。
或者也可以是，以在复数次的感测周期中进行一次的比例，进行无效行与有效行的判定。此时，对于一次、被判定为无效行的行，作为无效行处理，至得到下一次的判定结果为止。
图5的(b)示出从图5的(a)的原始图像IMG＿RAWi所得到的压缩图像IMG＿COMPi。压缩图像IMG＿COMPi是针对原始图像IMG＿RAWi的范围YU及YL所包含的行，以不包含图像信息的方式压缩的。
图5的(c)示出将图5的(b)的压缩图像IMG＿COMPi复原而得到的最终的切片图像IMGsi。接收压缩图像IMG＿COMPi的图像处理装置28对于不包含图像信息的无效行，通过以规定值(例如值0)的像素进行置换，将切片图像IMGsi再现。
图6是示出门控照相机20的动作的流程图。首先，变量i被初始化为1(S100)。变量i是表示兴趣范围的变量。例如，i＝1表示第1个范围RNG1为测定对象。
接着，针对变量i，执行循环S102。首先，将第i个范围RNGi作为目标，进行基于照明装置22的发光以及基于图像传感器24的曝光，生成原始图像IMG＿RAW i(S104)。
接着，针对原始图像IMG＿RAWi，判定其所包含的各行的有效、无效。首先，变量j被初始化为1(S106)。变量j表示原始图像IMG＿RAWi的判定对象的行编号。而且，对于变量j，执行循环S108。
判定原始图像IMG＿RAWi的第j个行的所有像素的像素值是否小于阈值(S110)。而且，在所有像素值小于阈值的情况下(S110的Y)，第j行被判定为无效行(S112)。在相反的情况下(S110的N)，第j行被判定为有效行。而且，变量j增加。变量j小于原始图像IMG＿RAWi的行数YMAX(垂直方向分辨率)的期间，重复循环S108。变量j高于原始图像IMG＿RAWi的行数YMAX，完成循环S108。
完成循环S108时，变量i增加(S118)，下一范围成为测定对象。变量i小于范围的最大数N的期间，重复循环S02。变量i高于最大数N，所有的范围RNG 1～RNG N的拍摄结束时，结束处理。
接着，针对图像的压缩方法进行说明。图7的(a)是示出压缩图像IMG＿COMP的图，图7的(b)是示出行数据的图。压缩图像IMG＿COMP包括多个行数据LD1～LD VMAX。行数据LD根据其为有效行还是无效行而包括不同的信息。在该示例中，假设第一行和第二行为无效行，其余为有效行。有效行的行数据50包括行编号52、行头54及该行的所有像素的像素值56。无效行的行数据50’包括行编号52、行头54，不包含像素值56。行头54包含表示有效行还是无效行的标识符，例如有效行的行头54的值存储1，无效行的行头54存储值0。
在图7的压缩图像IMG＿COMP中，关于无效行，完全除去图像信息。因此，无效行的传输需要的时间为行编号52与行头54的传输时间，可以大幅缩短。
图7的压缩图像IMG＿COMP可以在图像处理装置28中以以下的方式复原。图像处理装置28参照行数据50的行头54。而且当值为1时，将接续于此的像素值56作为切片图像IMG对应的行的像素值。行头54的值为0时，切片图像IMG对应的行的像素值填入0。
以上，针对本发明，基于实施方式进行了说明。该实施方式为例示，本领域技术人员应当理解的是，对它们的各构成要素或各处理程序的组合可以形成多个变形例，并且这样得到的变形例也包含在本发明的范围内。下面，针对这些变形例进行说明。
(变形例1.1)
压缩图像IMG＿COMP也可以仅包含有效行的行数据。此时，有效行包括行编号和接续于此的所有像素的像素值。图像处理装置28针对接收的行数据所不包含的行编号填入0。
(变形例1.2)
在前面的示例中，设定为对于无效行不传输像素信息，但也可以传输图像信息。例如，关于无效行，可以间除像素并传输。若设定为以水平方向相邻的M像素中的1像素的比例进行传输，则可以将传输时间缩短至1/M倍。图像处理装置28针对相邻的M像素，作采用同一像素值，来复原切片图像IMG即可。
(变形例1.3)
在实施方式1中，对于每行，判定是否包含目标物，但并不限定于此，也可以按各个范围，分别将原始图像IMG＿RAW的规定的行预先设定为无效行。
图8是说明变形例1.3的门控照相机的处理的图。在图中，单点划线80表示设想的目标物的最高位置。假设不论范围如何，图像传感器24的垂直方向的视场角θ都为一定。在较近的范围RNG1、RNG2进行拍摄的情况下，仅拍摄比单点划线80更靠下的范围。另一方面，关于较远的范围RNG3，比该单点划线更高的范围82被包含在拍摄范围(图像传感器的视场角θ)中，但可以说在该范围82中包含感测对象的目标物的可能性较低。因此，关于原始图像IMG＿RAW3，关于比与该单点划线80对应的行靠上侧的范围82，可以确定为无效行。
(实施方式2.1)
图9是实施方式1的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等的车辆，检测存在于车辆的周围的物体OBJ。
感测系统10主要包括门控照相机20。门控照相机20包括照明装置22、图像传感器24、照相机控制器26、图像处理装置28。基于门控照相机20的摄像是将视野针对进深方向划分为多数N个(N≧2)范围RNG1～RNGN而进行的。相邻的范围可以彼此在它们的边界处进深方向上重叠。
照明装置22与从照相机控制器26所供给的发光定时信号S1同步地，向车辆前方照射探测光L1。探测光L1优选为红外光，但并不限定于此，也可以是具有规定的波长的可见光或紫外线。本实施方式的门控照相机20不仅在夜间，白天也能进行感测，因此选择比0.9μm更长的波长。
图像传感器24包括多个像素，能够进行与从照相机控制器26所供给的曝光定时信号S2同步的曝光控制，生成由多个像素构成的切片图像IMG。图像传感器24针对与探测光L1相同波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。针对第i个范围RNGi，图像传感器24生成的切片图像IMG根据需要称为原始图像或者一次图像，以与门控照相机20的最终输出即切片图像IMGs相区别。
照相机控制器26控制基于照明装置22的探测光L1的照射定时(发光定时)，和基于图像传感器24的曝光的定时，使图像传感器24产生与多个范围RNG1～RNGN对应的多个切片图像IMG1～IMGN。照相机控制器26可以通过CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微型处理器)、微型计算机等的处理器(硬件)、处理器(硬件)执行的软件程序的组合而安装。
图像传感器24和图像处理装置28经由串行接口30连接，在多个范围RNG1～RNGN所得到的多个切片图像(一次图像)IMG1～IMGN被传输给图像处理装置28。一次图像IMGi可以是原始图像IMG＿RAWi其本身，也可以是加工原始图像IMG＿RAWi后的图像。
以上为门控照相机20的基本结构。接着说明其动作。
图10是说明门控照相机20的基本动作的图。图10中示出将第i个范围RNGi作为兴趣范围(ROI：Range Of Interest)进行感测时的状态。照明装置22与发光定时信号S1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。最上部示出横轴为时间，纵轴为距离的光线的图表。将从门控照相机20到范围RNGi的附近的边界的距离设为dMINi，将从门控照相机20到范围RNGi的深侧的边界的距离设为dMAXi。
在某个时刻，从照明装置22出发的光达到距离dMINi，其反射光返回到图像传感器24的往返时间TMINi为
TMINi＝2×dMINi/c。
c为光速。
同样地，在某个时刻，从照明装置22发出的光到达距离dMAXi，其反射光返回到图像传感器24的往返时间TMAXi为
TMAXi＝2×dMAXi/c。
在仅要拍摄范围RNGi所包含的物体OBJ时，照相机控制器26以在时刻t2＝t0+TMINi开始曝光，在时刻t3＝t1+TMAXi结束曝光的方式，生成曝光定时信号S2。这是一次的曝光动作。
在拍摄第i个范围RNGi时，可以多次设置发光及曝光并进行。此时，照相机控制器26以规定的周期τ2，多次重复上述的曝光动作即可。
图11的(a)、(b)是说明由门控照相机20所得到的切片图像的图。在图11的(a)的示例中，在范围RNG2存在物体(行人)OBJ2，在范围RNG3存在物体(车辆)OBJ3。在图11的(b)中，示出以图11的(a)的状况所得到的多个切片图像IMG1～IMG3。拍摄切片图像IMG1时，图像传感器仅由来自范围RNG1的反射光而曝光，因此切片图像IMG1中不会映出任何物体像。
拍摄切片图像IMG2时，图像传感器仅由来自范围RNG2的反射光而曝光，因此切片图像IMG2中，仅映出物体像OBJ2。同样地拍摄切片图像IMG3时，图像传感器仅由来自范围RNG3的反射光而曝光，因此切片图像IMG3中，仅映出物体像OBJ3。这样根据门控照相机20，可以在每个范围将物体分开并拍摄。
返回图9。如上所述，门控照相机20白天也进行感测，从而太阳光入射到图像传感器24中。太阳光在门控照相机20的使用波长中包含光谱成分，因而成为背景噪声，会降低图像的S/N比。因此，图像处理装置28具备从多个切片图像IMG1～IMGN除去背景噪声的功能。下面，针对噪声除去功能进行说明。
图像处理装置28从图像传感器24接收多个切片图像IMG1～IMGN。将第i个(1≦i≦N)切片图像IMGi的第j个像素记为IMGi(j)。图像处理装置28针对多个切片图像IMG1～IMGN，一个像素一个像素地选为关注像素，对每个关注像素检测噪声电平。
图像处理装置28将多个切片图像IMG1～IMGN的第j个像素作为关注像素。而且，多个切片图像IMG1～IMGN之中，将在关注像素的位置包含物体的切片图像设为有效图像。例如，图像处理装置28将多个像素IMG1(j)～IMGN(j)之中包含最大的像素值的切片图像作为有效图像。当IMGM(j)的值为最大时，第M个切片图像IMGM为有效图像。
而且，图像处理装置28根据有效图像IMGM以外的多个切片图像(称为非有效图像)的像素IMG1(j)～IMGM－1(j)、IMGM+1(j)～IMGN(j)的值，检测噪声电平N(j)。并且，根据噪声电平N(j)校正多个切片图像IMG1～IMGN的像素IMG1(j)～IMGN(j)的像素值。图像处理装置28将校正后的切片图像作为最终的切片图像IMGs输出。
在此为了容易说明，假定所有的范围RNG1～RNGN的进深相等，换言之，所有的范围中的曝光时间相等。此时，噪声电平N(j)采用非有效图像IMGk(k＝1～N，其中k≠M)的关注像素的像素值的简单平均即可，噪声电平N(j)以式(1)表示。
N(j)＝Σk k≠MIMGk(j)/(N－1)…(1)
此外，校正从切片图像IMGk(j)减去噪声电平N(j)即可。校正后的切片图像IMGk’(j)的像素值以式(2)表示。
IMGk’(j)＝IMGk(j)－N(j)…(2)
图像处理装置28针对所有像素重复相同处理。其中，以校正后的像素值不低于0的方式进行处理。
图12是噪声除去的流程图。i是表示切片图像的编号的变量，j是表示关注像素的位置的变量。
首先，j被初始化(S100)。然后，针对各像素重复循环S102。
参照多个切片图像IMG1～IMGN各自的第j个关注像素IMG1(j)～IMGN(j)，根据这些值，检测有效图像IMGM(S104)。然后，根据有效图像IMGM以外的图像IMG1～IMGM－1、IMGM+1～IMGN的第j个像素IMG1(j)～IMGM－1(j)、IMGM+1(j)～IMGN(j)，计算噪声电平N(j)(S106)。
接着，变量i被初始化(S108)，执行循环S110。具体而言，从第i个切片图像IMGi的对应的像素IMGi(j)减去噪声电平N(j)(S112)。然后，变量i增加(S114)。若为i≦N，则返回处理S112，若为i＞N，则完成循环S110。
接着，变量j增加(S116)。若j≦X×Y，则返回处理S102，针对下一像素重复同样的处理。若为j＞X×Y，则完成循环S102，结束处理。X×Y是切片图像的总像素数。
图13是说明噪声除去的图。图13中示出以一次拍摄所得到的N张切片图像IMG1～IMGN，各切片图像包含X×Y像素，对第j个关注像素附加阴影。
图14的(a)、(b)是示出N张切片图像IMG1～IMGN的关注像素的校正前及校正后的像素值的图。在此，N＝6，M＝4为有效图像。
在理想的门控照相机中，一个物体仅映射在多个切片图像IMG1～IMGN之中的一张上。因此，若关注于多个切片图像IMG1～IMGN的相同像素，仅一张(在此，第M＝4张切片图像IMG4)可以视为具有与从物体的反射相应的大小的像素值，其他非有效图像IMG1、IMG2、IMG3、IMG5、IMG6的像素值可以视为背景噪声。因此，通过处理非有效图像IMG1、IMG2、IMG3、IMG5、IMG6的关注像素IMG1(j)，IMG2(j)，IMG3(j)，IMG5(j)，IMG6(j)的像素值，可以取得噪声电平N(j)。
然后，通过从各切片图像IMG1～IMG6的关注像素的像素值，减去噪声电平N(j)，可以得到校正后的像素值。
以上为门控照相机20的噪声除去。本实施方式的门控照相机20的优点通过与比较技术的对比而明确。
在比较技术中，在N张切片图像的拍摄之外，不使照明装置22发光地在图像传感器24进行曝光，拍摄背景噪声。在比较技术中，每一次的拍摄循环中，需要N+1次拍摄，拍摄周期变长。
与此不同，根据本实施方式，不进行为了测定噪声电平的拍摄，可以与通常的N次拍摄并行地获取噪声电平，因此，可以防止拍摄周期变长。
(实施方式2.2)
在实施方式2.1中，针对每个关注像素，从多个切片图像IMG1～IMGN检测有效图像，根据其以外的非有效图像的关注像素的像素值检测噪声电平。在实施方式2.2中，不进行有效图像的检测地检测噪声电平。
实施方式2.2的门控照相机20的结构与图9的框图同样，图像处理装置28的处理与实施方式2.1不同。下面，说明实施方式2.2的噪声除去处理。
图像处理装置28根据所有切片图像IMG1～IMGN的关注像素的像素值，检测噪声电平N(j)。然后，根据噪声电平N(j)校正多个切片图像各自的关注像素的像素值。
也可以在所有范围的曝光时间相等时，噪声电平N(j)以式(3)进行计算。
N(j)＝Σk k＝1：NIMGk(j)/N…(3)
此外，校正从切片图像IMGk(j)减去噪声电平N(j)即可。校正后的切片图像IMGk’(j)的像素值以式(4)表示。这与式(2)是同样的。
IMGk’(j)＝IMGk(j)－N(j)…(4)
图15的(a)、(b)是说明实施方式2.2的校正处理的图。图15的(a)是示出N张切片图像IMG1～IMGN的关注像素的校正前的像素值的图，图15的(b)是示出校正后的像素值的图。在此设为N＝8。
以上为实施方式2.2的校正处理。根据实施方式2.2的校正处理，与实施方式2.1同样地，不需要仅为了检测噪声电平的曝光，因此可以缩短拍摄周期。
此外，在实施方式2.2中，不需要检测有效图像，因此相比于实施方式2.1，可以减小图像处理装置28的运算负荷。另一方面，在实施方式2.2中，物体的反射光也作为噪声成分处理，因此相比于实施方式2.1，噪声电平的检测精度变差，但在范围的数量N较大的情况下，可以以必要充分的精度检测噪声电平。
说明与实施方式2.1、2.2相关的变形例。
(变形例2.1)
说明与实施方式2.1相关的变形例2.1。在上面的说明中，在关注像素中，将具有最大值的切片图像作为有效图像，但并不限定于此。例如，可以确定规定的阈值，将关注像素的像素值超过阈值的切片图像作为有效图像处理。此时，有效图像也可以存在多个。实施方式2.1中说明的方法，虽然若N张切片图像IMG1～IMGN的拍摄没有结束，则不能决定有效图像，但变形例2.1存在不需要等待N张切片图像IMG1～IMGN的拍摄结束，就可以执行噪声电平的计算处理的优点。
(变形例2.2)
在实施方式2.1中，计算关注像素的噪声电平时，使用了简单平均，但计算方法并不限定于此。简单平均在所有的范围的进深方向的长度相等的情况下，换言之曝光时间相等的情况下是有效的，但曝光时间在每个范围不同的情况下，采用以与曝光时间对应的系数加权的加权平均值即可。
将第i个范围中的曝光时间设为Tj。然后，在实施方式2.1中的噪声电平可以根据式(5)进行计算。该噪声电平表示单位曝光时间的噪声量。
N(j)＝{Σk k≠MIMGk(j)/Tk}/(N－1)…(5)
此外，校正处理可以根据式(6)进行。
IMGk’(j)＝IMGk(j)－N(j)·Tk…(6)
(变形例2.3)
在实施方式2.2中，当曝光时间Ti在每个范围不同的情况下，噪声电平N(j)可以根据式(7)进行计算。
N(j)＝{Σk k＝1：NIMGk(j)/Tk}/N…(7)
此外，校正处理可以根据式(8)进行。
IMGk’(j)＝IMGk(j)－N(j)·Tk…(8)
(变形例2.4)
在变形例2.2或2.3中，在首先检测有效图像IMGM之后，进行基于加权的校正处理，但并不限定于此。首先，可以将切片图像IMG1～IMGN的所有像素，如式(9)所示，以曝光时间Ti对应的系数Ai(∝Ti －1)进行校正。
IMGi”＝Ai×IMGi…(9)
实施方式2.1的情况下，可以针对校正后的切片图像IMG1”～IMGN”，针对各关注像素检测有效图像，根据式(1’)计算噪声电平。
N(j)＝Σk k≠MIMGk”(j)/(N－1)…(1’)
实施方式2.2的情况，可以根据式(3’)计算噪声电平。
N(j)＝Σk k＝1：NIMGk”(j)/N…(3’)
然后，可以根据式(10)，进行校正处理。
IMGk’(j)＝IMGk(j)”－N(j)…(10)
(变形例2.5)
理想地，某范围所包含的物体仅映射与其对应的切片图像，但现实中，有时与该范围相邻的范围的切片图像中也会映入物体。因此，在关注像素中，除去具有最大的像素值的切片图像，也可以将与其相邻的一张(或两张)切片图像作为有效图像。此时，其以外的(N－2)张切片图像(或者N－3张切片图像)作为非有效图像处理。
(变形例2.6)
在实施方式2.1中，根据有效图像以外的N－1张非有效图像的有效像素的像素值，计算噪声电平，但并不限定于此。例如，可以将N－1张非有效图像的有效像素的像素值之中，将最大值和最小值除外，根据剩余的N－3个像素值，计算噪声电平。
关于实施方式2.2也是同样的，可以在所有切片图像的有效像素的像素值之中，将最大值与最小值除外，根据剩余的(N－2)个像素值，计算噪声电平。
(变形例2.7)
进一步而言，噪声电平的计算方法并不限定于平均处理。例如，在实施方式2.1中，可以将非有效图像的关注像素的像素值的中央值作为噪声电平。在实施方式2.2中，可以将所有切片图像的关注像素的像素值的中央值作为噪声电平。
(变形例2.8)
在上述的说明中，将所有像素依次作为关注像素，检测噪声电平，但并不限定于此，也可以将切片图像分割为多个区域，针对每个区域选择一个关注像素，检测噪声电平，针对相同区域内的像素，使用共通的噪声电平进行校正。
(变形例2.9)
上述的噪声除去处理仅在太阳光的影响不可忽视的状况下进行，在没有太阳光的影响的夜间、阴天时，可以省略噪声除去处理。
(变形例2.10)
在以上的说明中，针对设想白天及夜间的利用的门控照相机20进行了说明，但本发明的噪声除去处理的应用并不限定于此，也能够应用在仅夜间使用的门控照相机20。
(实施方式3)
图16是实施方式3的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等车辆，检测存在于车辆周围的物体OBJ。
感测系统10主要包括门控照相机20。门控照相机20包括照明装置22、图像传感器24、照相机控制器26、图像处理装置28。基于门控照相机20的摄像是将视野针对进深方向划分为多数N个(N≧2)范围RNG1～RNGN而进行的。相邻的范围彼此可以在它们的边界处在进深方向上重叠。
照明装置(光发射器)22与从照相机控制器26所供给的发光定时信号S1同步地向车辆前方照射探测光L1。探测光L1优选为红外光，但并不限定于此，也可以是具有规定的波长的可见光。照明装置22例如可以使用激光二极管(LD)或LED。
图像传感器24被构成为能够进行与从照相机控制器26所供给的曝光定时信号S2同步的曝光控制，能够生成切片图像IMG。图像传感器24针对与探测光L1相同波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
照相机控制器26针对每个范围RNG，改变发光定时信号S1和曝光定时信号S2，使照明装置22的发光与图像传感器24的曝光的时间差变化。发光定时信号S1规定发光开始的定时与发光时间。曝光定时信号S2规定曝光开始的定时(与发光的时间差)和曝光时间。
门控照相机20生成与多个范围RNG1～RNGN对应的多个切片图像IMG1～IMGN。第i个切片图像IMGi中，仅映出对应的范围RNGi所包含的物体。
图像处理装置28可以通过CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微型计算机、GPU(Graphics Processing Unit：图形处理器)等的处理器(硬件)、处理器(硬件)执行的软件程序的组合来实现。图像处理装置28也可以仅由硬件构成。图像处理装置28处理图像传感器24生成的图像，输出最终的切片图像。此外，将图像传感器24的输出直接作为切片图像使用时，图像处理装置28可以省略。
图17是说明门控照相机20的动作的图。图17中示出测定第i个范围RNGi时的状态。照明装置22与发光定时信号S1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。最上部示出横轴为时间，纵轴为距离的光线的图表。将从门控照相机20到范围RNGi的附近的边界的距离设为dMINi，将从门控照相机20到范围RNGi的深侧的边界的距离设为dMAXi。
在某个时刻，从照明装置22出发的光达到距离dMINi，其反射光返回到图像传感器24的往返时间TMINi为
TMINi＝2×dMINi/c。
c为光速。
同样地，在某个时刻，照明装置22发出的光到达距离dMAXi，其反射光返回到图像传感器24的往返时间TMAXi为
TMAXi＝2×dMAXi/c。
在仅要拍摄范围RNGi所包含的物体OBJ时，照相机控制器26以在时刻t2＝t0+TMINi开始曝光，在时刻t3＝t1+TMAXi结束曝光的方式，生成曝光定时信号S2。这是一次的曝光动作。
在拍摄第i个范围RNGi时，可以进行多次曝光。此时，照相机控制器26以规定的周期τ2，多次重复上述的照射与曝光的动作的设置即可。图像传感器24输出由多数次的曝光所累积的切片图像。
在本实施方式中，以曝光(切片图像内的物体像的亮度值)在各范围无偏差的方式，门控照相机20针对每个范围，使快门速度(曝光时间)、曝光次数、灵敏度、探测光的照射强度等(拍摄参数)最适当。
图18的(a)、(b)是说明由门控照相机20所得到的图像的图。在图18的(a)的示例中，在范围RNG2存在物体(行人)OBJ2，在范围RNG3存在物体(车辆)OBJ3。在图18的(b)中，示出以图18的(a)的状况所得到的多个切片图像IMG1～IMG3。拍摄切片图像IMG1时，图像传感器仅由来自范围RNG1的反射光而曝光，因此切片图像IMG1中不会映出任何物体像。
拍摄切片图像IMG2时，图像传感器仅由来自范围RNG2的反射光而曝光，因此切片图像IMG2中，仅映出物体像OBJ2。同样地拍摄切片图像IMG3时，图像传感器仅由来自范围RNG3的反射光而曝光，因此切片图像IMG3中，仅映出物体像OBJ3。这样根据门控照相机20，可以在每个范围将物体分开并拍摄。
返回图16，说明门控照相机的视野较差的状况中的处理。此外，门控照相机将红外光等作为探测光使用，因此“门控照相机的视野”并不一定与以人的眼观察时的视野的优良与否一致。视野因雾或雨等的天气的影响而变化，或也因沙尘等的因素而变化。
在本实施方式中，与探测光的衰减系数σ[m－1]具有相关性的视野信息INFO＿FOV输入照相机控制器26中。衰减系数σ、传输距离r、透射率T之间，式(1)成立。
T＝exp(－σr)…(1)
视野信息INFO＿FOV的生成方法并不特别限定。例如，可以根据图像处理装置28中的图像处理，计算衰减系数σ或透射率T，将其作为视野信息INFO＿FOV。
也可以通过在门控照相机20之外设置的传感器，测定或推定衰减系数σ或透射率。或者，用户判断视野优良与否，对门控照相机20供给视野信息INFO＿FOV。关于可见光，作为视野优良与否的指标，已知有能见度，可以将与其对应的信息作为视野信息INFO＿FOV。
或者，衰减系数σ由于取决于雨量或雾的浓度，可以通过传感器检测雨量或雾的有无(或浓度)，或者从用户处接收，将其作为视野信息INFO＿FOV使用。
照相机控制器26使视野信息INFO＿FOV反映在拍摄参数中。下面，针对拍摄参数的控制，说明几个示例。
(第一控制方法)
照相机控制器26根据视野信息INFO＿FOV，改变用于生成一张切片图像的曝光次数。具体而言，衰减系数σ越大，越使曝光次数增加。
图19是说明图16的门控照相机20中的第一控制方法的图。横轴表示范围的位置(范围编号)即距离，纵轴表示曝光次数。到物体的距离越远，式(1)的距离r越大，因此透射率T降低，向图像传感器24的入射强度降低。为了对此进行补偿，以范围越远，曝光次数越多的方式规定拍摄参数。
在本实施方式中，范围编号与曝光次数的关系针对各衰减系数σ分别规定。在该示例中，衰减系数σ以3阶段表现，σ1＜σ2＜σ3的关系成立，衰减系数σ越大，范围编号与曝光次数的关系越向上侧移位。例如，图19的关系作为查阅表或运算式而非易失性地保存在照相机控制器26中，照相机控制器26根据与视野信息INFO＿FOV对应的一个关系，决定曝光次数。在此，将范围编号与曝光次数的关系示出为曲线，但也可以以直线规定，也可以以曲线规定。
图20的(a)、(b)是示出图16的门控照相机20的第一控制方法的动作的流程图。图20的(a)示出当视野良好时，即衰减系数σ较小时的动作。在该示例中，第1个范围RNG1、第2个的范围RNG2的曝光次数为两次，第N个范围RNGN的曝光次数为四次。越是接近的范围，发光与曝光的时间差越短。在此，发光的时间间隔不取决于范围，或视野的优良与否(衰减系数σ)，而是一定的。此外，发光的时间间隔可以在每个范围不同，也可以根据视野的良好与否而不同。
图20的(b)示出视野较差时，即衰减系数σ较大时的动作。在该示例中，第1个范围RNG1、第2个的范围RNG2的曝光次数从两次增加至三次，第N个范围RNGN的曝光次数从四次增加至六次。
根据第一控制方法，在视野较差的状况下，通过增加曝光次数，可以增加入射到图像传感器24中的总的光量，由此，可以得到不逊色于视野良好的状况的画质。
此外，基于多次曝光的一张切片图像的生成方法并不特别限定。例如，可以使用能够多重曝光的图像传感器24时，累积多次曝光的总光量，生成一张切片图像。
在图像传感器24不支持多重曝光的情况下，可以在每次曝光生成原始图像，在后面的图像处理装置28中，通过合成与多次曝光对应的多个原始图像，生成一张切片图像。
(第二控制方法)
在第二控制方法中，照相机控制器26根据视野信息INFO＿FOV，改变范围的进深长度。具体而言，衰减系数σ越大，越缩短范围的长度。
图21的(a)、(b)是说明图16的门控照相机20中的第二控制方法的图。横轴表示范围的位置(范围编号)即距离，纵轴表示各范围的进深长度。
图21的(a)示出所有的范围的进深长度相等的情况。在该示例中，进深长度根据衰减系数σ而被两阶段地控制，设为N＝4。在衰减系数σ较小的情况(σ1)下，各范围的进深设为50m。即，最近的范围RNG1为0～50m，第2个范围RNG2为50～100m，第3个范围RNG3为100～150m，第4个范围RNG4为150～200m。
在衰减系数σ较大的情况下(σ2)，各范围的进深设为25m。即，最近的范围RNG1为0～25m，第二个范围RNG2为25～50m，第三个范围RNG3为50～75m，第四个范围RNG4为75～100m。
图22的(a)、(b)是示出对应于图21的(a)的控制的多个范围的图。图22的(a)表示衰减系数σ较小的视野良好的状况下的多个范围。图22的(b)示出出现了雾，衰减系数σ较大，较差视野下的几个范围。
如图21的(b)所示，各范围进深长度可以不同。例如，可以对于衰减系数σ的各值σ1、σ2、σ3、σ4，确定范围编号与进深长度的关系，选择与当前的衰减系数相应的关系。
在第二控制方法中，在衰减系数σ较大的情况下，可以缩短各范围的长度，不是放弃远距离的拍摄，而是提高进深方向的分辨率。
此外，也可以是，多个范围之中，几个范围的进深长度设为一定，根据衰减系数σ而改变几个范围的进深长度。
(第三控制方法)
在第三控制方法中，照相机控制器26根据视野信息INFO＿FOV，改变作为测定对象的范围的个数N。具体而言，衰减系数σ越大，越从深侧起依次减少作为测定对象的范围的个数。
图23是说明图16的门控照相机20的第三控制方法的动作的图。横轴表示衰减系数σ，纵轴表示测定对象的范围的个数N。
图24的(a)～(c)是示出第三控制方法中的多个范围的图。在此，设所有的范围的进深长度相等。图24的(a)表示视野良好的状况，针对N＝8个范围进行测定。图24的(b)是正在下雨，视野稍微变差的状况，测定对象的范围减少至N＝6个。在图24的(c)中，起了雾，视野变差，测定对象的范围减少为N＝4个。
在第三控制方法中，设为在衰减系数σ较大的情况下，放弃远距离的拍摄，集中感测近距离。由此，在视野较差的状况下，省略曝光次数较多、感测花费时间的远距离的拍摄，可以提高较近的范围的切片图像的帧率。
此外，第一控制方法～第三控制方法可以单独使用，也可以任意组合多个。
说明上述的门控照相机20的用途。
(用途)
图25是感测系统10的框图。感测系统10除上述的门控照相机20之外还具备运算处理装置40。该感测系统10是被搭载于汽车或摩托车等车辆，判定存在于车辆周围的物体OBJ的种类(也称为类型、或等级)的物体检测系统。
通过门控照相机20，生成对应于多个范围RNG1～RNGN的多个切片图像IMGs1～IMGsN。对于第i个切片图像IMGsi，仅拍摄到对应的范围RNGi所包含的物体。
运算处理装置40被构成为根据由门控照相机20所得到的对应于多个范围RNG1～RNGN的多个切片图像IMGs1～IMGsN，能够识别物体的种类。运算处理装置40包括根据通过机械学习所生成的学习模型而实现的分类器42。运算处理装置40也可以包含针对每个范围最适当化的多个分类器42。分类器42的算法并不特别限定，但可以采用YOLO(You Only LookOnce：你只需看一次)、SSD(Single Shot MultiBox Detector：单发多边框检测器)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD：去卷积-SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
运算处理装置40可以通过CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微型计算机等的处理器(硬件)、处理器(硬件)执行的软件程序的组合来实现。运算处理装置40可以是多个处理器的组合。或者运算处理装置40也可以仅由硬件构成。也可以将运算处理装置40的功能与图像处理装置28的功能安装在相同处理器中。
图26的(a)、(b)是示出具备门控照相机20的汽车300的图。参照图26的(a)。汽车300包括前照灯(灯具)302L、302R。
如图26的(a)所示，门控照相机20的照明装置22也可以被内置于左右的前照灯302L、302R的至少一者中。图像传感器24可以安装于车辆的一部分，例如车内后视镜的背侧。或者，图像传感器24可以设置于前格栅或前保险杠。照相机控制器26可以设置于车室内，也可以设置于发动机舱，也可以内置于前照灯302L、302R。
如图26的(b)所示，图像传感器24也可以与照明装置22一起内置于左右的前照灯302L、302R的任一者中。
图27是示出具备感测系统10的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU310一起构成灯具系统304。车辆用灯具200包括灯具侧ECU210及灯单元220。灯单元220是近光或远光，包括光源222、亮灯电路224、光学系统226。并且车辆用灯具200中还设置有感测系统10。
感测系统10检测出的物体OBJ相关的信息也可以利用在车辆用灯具200的配光控制中。具体而言，灯具侧ECU210根据感测系统10生成的与物体OBJ的种类和其位置相关的信息，生成适当的配光图案。亮灯电路224及光学系统226以得到灯具侧ECU210生成的配光图案的方式工作。感测系统10的运算处理装置40也可以设置在车辆用灯具200的外部，即设置在车辆侧。
此外，感测系统10检测到的物体OBJ相关的信息也可以发送给车辆侧ECU310。车辆侧ECU310可以将该信息利用在自动驾驶或驾驶辅助中。
根据实施方式，使用具体的语句说明了本发明，但实施方式仅示出本发明的原理、应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许多种变形例或配置的变更。
工业上的可利用性本公开涉及门控照相机。
附图标记说明
10 感测系统
20 门控照相机
22 照明装置
24 图像传感器
26 照相机控制器
28 图像处理装置
40 运算处理装置
42 分类器
200 车辆用灯具
210灯具侧ECU
220 灯单元
222 光源
224 亮灯电路
226 光学系统
300 汽车
302L 前照灯
304 灯具系统
310车辆侧ECU
L1 探测光
S1 发光定时信号
S2 曝光定时信号

Claims (20)

1.一种门控照相机，是将视野在进深方向上划分为多个范围，生成与所述多个范围对应的多个切片图像的门控照相机，其特征在于，包括：
照明装置，照射探测光；
图像传感器，通过曝光生成原始图像，并输出将构成所述原始图像的多个行中的、与不包含目标物的无效行相关的图像信息压缩而得到的压缩图像；
照相机控制器，控制所述照明装置的发光定时和所述图像传感器的曝光的定时；以及
图像处理装置，从所述图像传感器接收所述压缩图像，复原所述切片图像。
2.根据权利要求1所述的门控照相机，其特征在于，
当某行的所有像素的像素值小于规定的阈值时，所述图像传感器将该行设为所述无效行。
3.根据权利要求1或2所述的门控照相机，其特征在于，
在所述切片图像中，所述无效行的像素值为零。
4.根据权利要求1至3的任一项所述的门控照相机，其特征在于，
所述图像传感器
针对不是所述无效行的有效行，传输包含行编号、值为第一值的行头、该有效行所包含的所有像素的像素值的行数据，
针对所述无效行，传输包含行编号、值为第二值的行头的行数据。
5.根据权利要求4所述的门控照相机，其特征在于，
当接收的所述行数据的所述行头的值为所述第二值时，所述图像处理装置将该行的所有像素值设为0。
6.一种门控照相机，是将视野在进深方向上划分为多个范围，生成与所述多个范围对应的多个切片图像的门控照相机，其特征在于，包括：
照明装置，照射探测光；
图像传感器；
照相机控制器，控制所述照明装置的发光定时与所述图像传感器的曝光的定时，使所述图像传感器产生与所述多个范围对应的所述多个切片图像；
图像处理装置，从所述图像传感器接收所述多个切片图像，选择关注像素，将所述关注像素中包含物体的切片图像作为有效图像，根据有效图像以外的切片图像的关注像素的像素值，检测噪声电平，根据所述噪声电平校正所述多个切片图像各自的关注像素的像素值。
7.根据权利要求6所述的门控照相机，其特征在于，
所述噪声电平是所述有效图像以外的切片图像的关注像素的像素值的平均值。
8.根据权利要求6或7所述的门控照相机，其特征在于，
所述图像处理装置将所述关注像素的像素值最大的切片图像设为所述有效图像。
9.根据权利要求6或7所述的门控照相机，其特征在于，
所述图像处理装置对于一个切片图像，当关注像素的像素值超过规定的阈值时，将该切片图像设为所述有效图像。
10.一种门控照相机，是将视野在进深方向上划分为多个范围，生成与所述多个范围对应的多个切片图像的门控照相机，其特征在于，包括：
照明装置，照射探测光；
图像传感器；
照相机控制器，控制所述照明装置的发光定时与所述图像传感器的曝光的定时，使所述图像传感器，产生与所述多个范围对应的多个切片图像；以及
图像处理装置，从所述图像传感器接收所述多个切片图像，选择关注像素，根据所有切片图像的关注像素的像素值检测噪声电平，根据所述噪声电平校正所述多个切片图像各自的关注像素的像素值。
11.根据权利要求10所述的门控照相机，其特征在于，
所述噪声电平是所述所有切片图像的关注像素的像素值的平均值。
12.一种门控照相机，其特征在于，是在进深方向上划分为多个范围，生成与所述多个范围对应的多个切片图像的门控照相机，包括：
照明装置，照射探测光，
图像传感器，以及
照相机控制器，控制所述照明装置的发光定时与所述图像传感器的曝光的定时，使所述图像传感器生成与所述多个范围对应的多个图像数据；
所述照相机控制器使与所述探测光的衰减系数具有相关性的视野信息反映在拍摄参数中。
13.根据权利要求12所述的门控照相机，其特征在于，
所述探测光的所述衰减系数越大，所述照相机控制器越使用于生成一张切片图像的曝光次数增加。
14.根据权利要求13所述的门控照相机，其特征在于，
所述照相机控制器将范围的编号与曝光次数的关系保存多个，选择与所述视野信息相应的一个。
15.根据权利要求12至14的任一项所述的门控照相机，其特征在于，
在所述衰减系数较大的情况下，所述照相机控制器不是放弃远距离的拍摄，而是提高进深方向的分辨率。
16.根据权利要求12至15的任一项所述的门控照相机，
所述衰减系数越大，所述照相机控制器越缩短一个范围的长度。
17.根据权利要求12至16的任一项所述的门控照相机，其特征在于，
所述衰减系数越大，所述照相机控制器越从深侧起依次减少作为测定对象的范围的个数。
18.一种控制方法，其特征在于，是具备照射探测光的照明装置与图像传感器，针对视野的进深方向划分为多个范围并拍摄的门控照相机的控制方法，包括：
获取视野中的与所述探测光的透射率具有相关性的视野信息的步骤；
根据所述视野信息，决定拍摄参数的步骤；
根据所述拍摄参数，控制所述照明装置以及所述图像传感器的步骤。
19.一种车辆用感测系统，其特征在于，包括：
权利要求1至17的任一项所述的门控照相机；以及
运算处理装置，处理所述门控照相机拍摄的所述多个切片图像。
20.一种车辆用灯具，其特征在于，包括：
权利要求1至17的任一项所述的门控照相机。
CN202180061390.1A 2020-07-14 2021-07-06 门控照相机、车辆用感测系统、车辆用灯具 Pending CN116235108A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2020120853 2020-07-14
JP2020120854 2020-07-14
JP2020-120853 2020-07-14
JP2020-120854 2020-07-14
JP2020-134109 2020-08-06
JP2020134109 2020-08-06
PCT/JP2021/025500 WO2022014416A1 (ja) 2020-07-14 2021-07-06 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Publications (1)

Publication Number Publication Date
CN116235108A true CN116235108A (zh) 2023-06-06

Family

ID=79555346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180061390.1A Pending CN116235108A (zh) 2020-07-14 2021-07-06 门控照相机、车辆用感测系统、车辆用灯具

Country Status (5)

Country Link
US (1) US20230341749A1 (zh)
EP (1) EP4184242A4 (zh)
JP (1) JPWO2022014416A1 (zh)
CN (1) CN116235108A (zh)
WO (1) WO2022014416A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
KR101756839B1 (ko) * 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
CN108431630A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
CN110018493B (zh) * 2019-04-28 2021-03-19 中国科学院西安光学精密机械研究所 双波段交会式主动距离选通成像系统的激光功率选择方法

Also Published As

Publication number Publication date
JPWO2022014416A1 (zh) 2022-01-20
EP4184242A1 (en) 2023-05-24
EP4184242A4 (en) 2024-04-03
US20230341749A1 (en) 2023-10-26
WO2022014416A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP5938125B2 (ja) Ｉｒ画像内の生物の数を決定するための方法
US11676394B2 (en) Processing device for conversion of images
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
JP6782433B2 (ja) 画像認識装置
JP7095640B2 (ja) 物体検出装置
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
EP3067826B1 (en) Image processing system and parallax image generation method
JP7472136B2 (ja) イメージング装置およびその照明装置、車両、車両用灯具
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2022039231A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
JP2019204988A (ja) 画像処理装置及び画像処理方法
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023085403A1 (ja) センシングシステム
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020262446A1 (ja) 車両用灯具
TWI839646B (zh) 測定裝置及測距裝置
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination