CN111398975B - 主动传感器、物体识别系统、车辆、车辆用灯具 - Google Patents

主动传感器、物体识别系统、车辆、车辆用灯具 Download PDF

Info

Publication number
CN111398975B
CN111398975B CN201911353833.5A CN201911353833A CN111398975B CN 111398975 B CN111398975 B CN 111398975B CN 201911353833 A CN201911353833 A CN 201911353833A CN 111398975 B CN111398975 B CN 111398975B
Authority
CN
China
Prior art keywords
light
image
projector
recognition system
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911353833.5A
Other languages
English (en)
Other versions
CN111398975A (zh
Inventor
荒井健佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN111398975A publication Critical patent/CN111398975A/zh
Application granted granted Critical
Publication of CN111398975B publication Critical patent/CN111398975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

本发明提供一种提升了噪声抗性的主动传感器。投光器(72)射出探测光(L1)。图像传感器(74)构成为能够在投光器(72)的发光状态下取得第一图像(IMGa)，在投光器(72)的非发光状态下取得第二图像(IMGb)。第二图像(IMGb)能够利用于第一图像(IMGa)的校正。

Description

主动传感器、物体识别系统、车辆、车辆用灯具
技术领域
本发明涉及物体识别系统。
背景技术
为了自动驾驶、头灯(head lamp)的配光的自动控制，利用对存在于车辆的周围的物体的位置以及种类进行检测的物体识别系统。物体识别系统包含传感器、和对传感器的输出进行分析的运算处理装置。就传感器而言，从相机、LiDAR(测光和测距(LightDetection and Ranging)、激光成像测距(Laser Imaging Detection and Ranging))、毫米波雷达、超声波声纳等之中，考虑用途、要求精度、成本而被选择。
在传感器中，有被动传感器(passive sensor)和主动传感器(active sensor)。被动传感器对由物体放射的光、或者由物体反射了环境光后的光进行检测，传感器本身不放射光。另一方面，主动传感器对物体照射探测光，对其反射光进行检测。主动传感器主要具备对物体照射光的投光器(照明)、和对来自物体的反射光进行摄像的图像传感器。主动传感器通过将图像传感器的灵敏度波长域与探测光的波长配合，从而具有与被动传感器相比能够提升对于干扰的抗性的优点。
现有技术文献
专利文献
专利文献1：(日本)特开2009-257983号公报
专利文献2：国际公开WO2017/110413A1
发明内容
发明要解决的课题
车载用的主动传感器在屋外被使用。太阳光的波长涉及紫外至红外，所以与探测光的波长交叠。这意味着太阳光成为对于主动传感器的干扰。此外太阳光的频谱、换言之干扰分量的强度根据时间段而变化。
物体识别系统具备接受主动传感器的输出图像，并对其中包含的物体的位置、种类(类别)进行分类的分类器。分类器安装了通过将预先准备的庞大的数目的图像用于学习数据(训练数据)的机器学习而被生成的模型。
在这样的物体识别系统中，为了无论昼夜均实现较高的识别率，需要使用在各种各样的照度环境下拍摄到的图像作为学习数据。
本发明在该状况下被完成，其某一方式的例示目的之一在于，提供提升了噪声抗性的主动传感器。此外其它目的之一在于，改善使用了主动传感器的物体识别系统的识别率、或者减少学习成本。
用于解决课题的手段
本发明的某一方式涉及主动传感器。主动传感器具备射出探测光的投光器、和图像传感器。主动传感器构成为能够在投光器的发光状态下取得第一图像，在投光器的非发光状态下取得第二图像。第二图像能够利用于第一图像的校正。
发明效果
根据本发明，能够提供提升了噪声抗性的主动传感器。
附图说明
图1是实施例1所涉及的物体识别系统的块图。
图2是说明图1的物体识别系统的动作的时间图。
图3是说明变形例1.1所涉及的物体识别系统的动作的时间图。
图4是说明变形例1.2所涉及的物体识别系统的动作的时间图。
图5是实施例2所涉及的物体识别系统的块图。
图6是说明图5的物体识别系统的动作的时间图。
图7是表示实施例3所涉及的物体识别系统的图。
图8是说明门控相机(gating camera)的动作的图。
图9(a)、图9(b)是说明由门控相机得到的多个图像的图。
图10是图7的物体识别系统的动作波形图。
图11是示出具备物体识别系统的汽车的图。
图12是示出具备物体检测系统的车辆用灯具的块图。
具体实施方式
(实施方式的概要)
本说明书中公开的一实施方式涉及主动传感器。主动传感器具备射出探测光的投光器、和图像传感器。主动传感器构成为能够在投光器的发光状态下取得第一图像，在投光器的非发光状态下取得第二图像。第二图像能够利用于第一图像的校正。
在基于投光器的探测光的非发光状态下取得仅包含干扰噪声的第二图像，取其与包含干扰噪声和探测光的分量的第一图像的差分，从而能够减少干扰噪声的影响，能够提升噪声抗性。
也可以将投光器和图像传感器的套件(set)具备两个，按每个套件而波长不同。
2个套件也可以互补地动作。由此能够提升帧速率。
或者也可以仅使2个套件的一方动作。例如，也可以根据环境光的状态(频谱)，从2个套件X、Y，选择分类器的识别率高的一方而使其动作。
也可以是主动传感器还具备对投光器的发光定时以及图像传感器的曝光定时进行控制的控制器。
主动传感器也可以是关于纵深方向划分为多个范围，按每个范围而使发光和摄像的时间差变化，从而能够取得与多个范围对应的多个图像的门控相机。
第二图像也可以按每个范围而被取得。由此能够提升精度。
或者也可以在全部范围中使用公共的第二图像。在该情况下，能够抑制帧速率的降低。
也可以是投光器能够输出红外光或者紫外光。
本说明书中公开的一实施方式涉及物体识别系统。物体识别系统也可以具备主动传感器、和能够基于由主动传感器得到的图像而识别物体的种类的运算处理装置。
被输入至分类器的图像数据中包含的干扰噪声被大幅度地减少。这意味着干扰噪声对分类器的模型造成的影响被减少。从而能够削减学习数据的收集所需的劳力、时间、成本。
(实施方式)
以下，基于优选的实施方式，参照附图说明本发明。设为对各附图所示的同一或者等同的结构元素、构件、处理附加同一标号，适当省略重复的说明。此外，实施方式并非限定发明，而是例示，实施方式中记述的全部特征或其组合不限于必须是发明的本质性的特征。
(实施例1)
图1是实施例1所涉及的物体识别系统10的块图。该物体识别系统10被搭载于汽车、自行车等车辆，判定存在于车辆的周围的物体OBJ的种类(类别)。
物体识别系统10具备主动传感器70、和运算处理装置40。主动传感器70将探测光L1照射到物体OBJ，对被物体OBJ反射的反射光L2进行摄像。运算处理装置40对主动传感器70的输出图像进行处理，判定物体OBJ的位置以及种类(类别)。
主动传感器70具备投光器72、图像传感器74、控制器76、校正部78。投光器72与从控制器76被给予的投光定时信号S1同步，将探测光L1照射到车辆前方。探测光L1优选是红外光或者紫外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器74在与探测光L1相同的波长上具有灵敏度，对物体OBJ反射的反射光(返回光)L2进行拍摄。图像传感器74构成为能够进行与从控制器76被给予的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。将在投光器72的发光状态下得到的图像称为第一图像IMGa，将在投光器72的非发光状态下得到的图像称为第二图像IMGb而进行区分。控制器76对投光器72的发光定时以及图像传感器74的曝光定时进行控制。
物体识别系统10在屋外被使用，所以对物体OBJ，不仅照射探测光L1，还照射来自太阳、路灯的光(环境光)L3。从而物体OBJ反射了环境光L3后的光L4入射至图像传感器74。此外，根据图像传感器74的朝向，有环境光L3直接入射的情况。从而在环境光L3的频谱与图像传感器74的灵敏度波长重叠的情况下，环境光L3成为干扰噪声。
为了减少环境光L3的影响，物体识别系统10具有以下的功能。
主动传感器70将投光器72切换为发光状态和非发光状态而进行2次拍摄，能够取得在发光状态下取得的第一图像IMGa，在非发光状态下取得的第二图像IMGb。第一图像IMGa能够使用第二图像IMGb进行校正。在本实施例中，该校正由在主动传感器70中设置的校正部78进行。
在此为了简单，假设在第一图像IMGa的拍摄时和第二图像IMGb的拍摄时，图像传感器74的曝光一致。曝光由快门速度、光圈、图像传感器的灵敏度的关系决定。在该情况下，校正部78基于第一图像IMGa的各像素，减去第二图像IMGb所对应的像素的像素值，生成由减去后的像素值构成的第三图像IMGc。
运算处理装置40能够通过CPU(中央处理单元(Central Processing Unit))、MPU(Micro Processing Unit)、微机等处理器(硬件)、处理器(硬件)执行的软件程序的组合来安装。运算处理装置40也可以是多个处理器的组合。或者运算处理装置40也可以仅由硬件构成。
运算处理装置40的分类器42接受第三图像IMGc作为输入，对其中包含的物体OBJ的位置以及种类进行判定。分类器42基于通过机器学习生成的模型而被安装。分类器42的算法没有被特别限定，但能够采用YOLO(You Only Look Once)和SSD(Single ShotMultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution-SSD)、Mask R-CNN等，或者能够采用未来开发的算法。
以上是物体识别系统10的结构。接下来说明其动作。图2是说明图1的物体识别系统10的动作的时间图。
在1帧周期T帧(TFRAME)中，投光定时信号S1取高期间和低期间。高期间是投光器72的发光期间，低期间是投光器72的非发光期间。
拍摄定时信号S2在投光定时信号S1的高期间和低期间的各自中成为高，被指示进行基于图像传感器74的拍摄。发光状态下的快门速度(曝光时间)Ts1、和非发光状态下的快门速度Ts2也可以相等，也可以不同。
从图像传感器74交替地被输出第一图像IMGa和第二图像IMGb。若两个图像的对IMGa、IMGb备齐，则使用第二图像IMGb校正第一图像IMGa。该校正最简易地能够设为像素值的相减，如IMGa-IMGb那样被表示。并且校正后的图像IMGc按每个帧周期T帧(TFRAME)被输出。
以上是物体识别系统10的动作。接下来说明其优点。在探测光L1的发光状态下拍摄的第一图像IMGa包含反射光L2和干扰噪声(环境光的分量L3、L4)。另一方面，在探测光L1的非发光状态下拍摄的第二图像IMGb中，仅包含干扰噪声。因此，通过取它们的差分，能够减少干扰噪声的影响，能够提升噪声抗性。
此外在以往，在被输入至学习完毕的分类器42的图像数据中，包含环境光引起的干扰噪声，所以分类器42被要求与干扰噪声的量无关地，准确地判定物体OBJ的能力。从而为了对分类器42进行机器学习，需要对改变环境光的照度、颜色温度而拍摄到的图像(学习数据)进行收集。
相对于此，通过使用本实施方式所涉及的主动传感器70，从而被输入至分类器42的图像数据中包含的干扰噪声被大幅度地减少。这意味着干扰噪声对分类器42的模型造成的影响被减少。从而能够削减学习数据的收集所需的劳力、时间、成本。
接下来，说明与实施例1关联的变形例。
(变形例1.1)
图3是说明变形例1.1所涉及的物体识别系统10的动作的时间图。在变形例1.1中，非发光状态的第二图像IMGb先被取得，接下来，发光状态的第一图像IMGa被取得。
(变形例1.2)
在实施例1中，在每次取得第一图像IMGa时，取得第二图像IMGb，但并不限于此。图4是说明变形例1.2所涉及的物体识别系统10的动作的时间图。在变形例1.2中，校正用的第二图像IMGb在数帧(在此3帧)中拍摄1次。根据变形例1.2，能够将帧周期与图2相比变得更短。
(变形例1.3)
或者也可以通过在非发光状态下进行多次的拍摄，对所得到的图像进行平均(或者相加)，从而生成第二图像IMGb。
(变形例1.4)
在实施例1中，在主动传感器70中设置了校正部78，但不限于此。也可以设为主动传感器70输出第一图像IMGa、第二图像IMGb的对，使运算处理装置40执行校正部78的功能。
(变形例1.5)
也可以是在发光状态和非发光状态下，图像传感器74的曝光不同。在该情况下，通过图像处理对第一图像IMGa、第二图像IMGb进行增感、或者减感以使曝光一致，在对齐了曝光的状态下，进行相减处理即可。
(实施例2)
图5是实施例2所涉及的物体识别系统10A的块图。物体识别系统10A具备运算处理装置40以及主动传感器70A。主动传感器70A将投光器72和图像传感器74的套件具备二组X、Y。第一套件X和第二套件Y的波长不同。在第一套件X中，投光器72x射出第一波长λI的探测光。图像传感器74x在第一波长λI上具有灵敏度，但在第二波长λII上不敏感。在第二套件Y中，投光器72y射出第二波长λII的探测光，图像传感器74y在第二波长λII上具有灵敏度，但在第一波长λI上不敏感。
图6是说明图5的物体识别系统10A的动作的时间图。该2个套件互补地动作。具体而言，第一套件X的发光状态是第二套件Y的非发光状态，第一套件X的非发光状态是第二套件Y的发光状态。由此，在各套件的动作周期(帧周期)T帧(TFRAME)之间，能够得到2张图像IMGc，能够增加实际有效的帧速率。
另外，也可以选择两个套件X、Y的一方而使其动作。例如也可以根据环境光的状态(频谱)，从2个套件X、Y中，选择分类器42的识别率高的一方而使其动作。
(实施例3)
图7是示出实施例3所涉及的物体识别系统10C的图。主动传感器70C是门控相机。关于纵深方向而划分为多个N个(N≥2)范围RNG1～RNGN，按每个范围划分而进行基于门控相机70C的拍摄。邻接的范围彼此也可以在它们的边界上在纵深方向上交叠。
控制器76按每个范围RNG，使投光定时信号S1和拍摄定时信号S2变化，使由投光器72进行的投光、和图像传感器74的曝光的时间差变化。门控相机70C生成与多个范围RNG1～RNGN对应的多个第一图像IMGa1～IMGaN。在第i个第一图像IMGai中仅映写对应的范围RNGi中包含的物体。
图8是说明门控相机70C的动作的图。在图8中示出对第i个范围RNGi进行测量时的情形。投光器72与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间进行发光。在最上级示出在横轴取时间，在纵轴取距离的光线的图表。将从门控相机70C至范围RNGi的近前的边界为止的距离设为dMINi，将从门控相机70C至范围RNGi的里侧的边界为止的距离设为dMAXi。
在某个时刻从投光器72出发的光到达距离dMINi而其反射光返回至图像传感器74为止的往返行程(round trip)时间TMINi是TMINi＝2×dMINi/c。c是光速。
同样，在某时刻从投光器72出发的光到达距离dMAXi而其反射光返回至图像传感器74为止的往返行程时间TMAXi是TMAXi＝2×dMAXi/c。
在仅想要拍摄范围RNGi中包含的物体OBJ时，控制器76生成拍摄定时信号S2以使在时刻t2＝t0+TMINi开始曝光，在时刻t3＝t1+TMAXi结束曝光。这是一次曝光动作。
在拍摄第i个范围RNGi时，也可以进行多次曝光。在该情况下，控制器76以规定的周期τ2，使上述的曝光动作多次反复进行即可。
图9(a)、(b)是说明由门控相机70C得到的多个图像的图。在图9(a)的例中，在范围RNG2中存在物体(步行者)OBJ2，在范围RNG3中存在物体(车辆)OBJ3。在图9(b)中，示出在图9(a)的状况下得到的多个第一图像IMGa1～IMGa3。在拍摄图像IMGa1时，图像传感器仅通过来自范围RNG1的反射光而被曝光，所以在图像IMGa1上没有被映写任何物体。
在拍摄图像IMGa2时，图像传感器仅通过来自范围RNG2的反射光而被曝光，所以在图像IMGa2上，仅映写物体OBJ2。同样在拍摄图像IMGa3时，图像传感器仅通过来自范围RNG3的反射光而被曝光，所以在图像IMGa3中，仅映写物体OBJ3。这样根据门控相机70C，能够按每个范围将物体进行分离而拍摄。
以上是物体识别系统10C的结构。接下来说明其动作。图10是图7的物体识别系统10C的动作波形图。在图10中，第二图像IMGb最初仅拍摄1张，在多个范围中共享。另外，也可以将第二图像IMGb的拍摄按每个范围来进行。
图11是示出具备物体识别系统10的汽车的图。汽车300具备前照灯302L、302R。物体识别系统10被内置于前照灯302L、302R的至少一方。前照灯302位于车体的最前端，并对周围的物体进行检测，在此基础上，其作为主动传感器70的设置部位是最有利的。
图12是示出具备物体检测系统210的车辆用灯具200的块图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200具备光源202、点亮电路204、光学系统206。还在车辆用灯具200中，设置物体检测系统210。物体检测系统210对应于上述的物体识别系统10，包含主动传感器70以及运算处理装置40。
运算处理装置40检测到的与物体OBJ相关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成恰当的配光样式(pattern)。点亮电路204以及光学系统206进行动作以使得到灯具侧ECU208生成的配光样式。
此外运算处理装置40检测到的与物体OBJ相关的信息也可以发送至车辆侧ECU304。车辆侧ECU也可以基于该信息，进行自动驾驶。
基于实施方式，使用具体的语句说明了本发明，但实施方式不过示出了本发明的原理、应用的一个侧面，在实施方式中，可以考虑在不脱离权利要求书中规定的本发明的思想的范围中，进行大量的变形例、配置的变更。
标号说明
10 物体识别系统
OBJ 物体
20 门控相机
S1 投光定时信号
S2 拍摄定时信号
IMGa 第一图像
IMGb 第二图像
IMGc 第三图像
40 运算处理装置
42 分类器
70 主动传感器
72 投光器
74 图像传感器
76 控制器
78 校正部
200 车辆用灯具
202 光源
204 点亮电路
206 光学系统
300 汽车
302 前照灯
310 灯具系统
304车辆侧ECU
L1 探测光
L2 反射光
L3 环境光

Claims (5)

1.一种主动传感器，其特征在于，具备：
射出第一波长的探测光的第一投光器；
射出第二波长的探测光的第二投光器；
对所述第一波长具有灵敏度、且对所述第二波长不敏感的第一图像传感器；以及
对所述第二波长具有灵敏度、且对所述第一波长不敏感的第二图像传感器，
所述第一投光器处于发光状态、且所述第二投光器处于非发光状态的第一期间、与所述第一投光器处于非发光状态、且所述第二投光器处于发光状态的第二期间交替反复，
所述第一图像传感器和所述第二图像传感器分别在所述第一期间和所述第二期间中进行拍摄，
所述第一图像传感器在所述第一期间中生成的第一图像使用所述第一图像传感器在所述第二期间中生成的第二图像进行校正，
所述第二图像传感器在所述第二期间中生成的第一图像使用所述第二图像传感器在所述第一期间生成的第二图像进行校正。
2.如权利要求1所述的主动传感器，其特征在于，还具备：
控制器，对所述投光器的发光定时以及所述图像传感器的曝光定时进行控制。
3.一种物体识别系统，其特征在于，具备：
权利要求1或2所述的主动传感器；以及
运算处理装置，能够基于由所述主动传感器得到的图像，识别物体的种类。
4.一种车辆用灯具，其特征在于，具备：
权利要求3所述的物体识别系统。
5.一种车辆，其特征在于，具备：
权利要求3所述的物体识别系统。
CN201911353833.5A 2018-12-27 2019-12-25 主动传感器、物体识别系统、车辆、车辆用灯具 Active CN111398975B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018244919A JP7252755B2 (ja) 2018-12-27 2018-12-27 アクティブセンサ、物体識別システム、車両、車両用灯具
JP2018-244919 2018-12-27

Publications (2)

Publication Number Publication Date
CN111398975A CN111398975A (zh) 2020-07-10
CN111398975B true CN111398975B (zh) 2023-12-05

Family

ID=71079576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911353833.5A Active CN111398975B (zh) 2018-12-27 2019-12-25 主动传感器、物体识别系统、车辆、车辆用灯具

Country Status (5)

Country Link
US (1) US11303817B2 (zh)
JP (1) JP7252755B2 (zh)
CN (1) CN111398975B (zh)
DE (1) DE102019220058A1 (zh)
FR (1) FR3091356B1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193645A1 (ja) * 2020-03-24 2021-09-30 株式会社小糸製作所 ゲーティングカメラ、センシングシステム、車両用灯具
CN113076943A (zh) * 2021-02-23 2021-07-06 海南快停科技有限公司 一种基于车牌特征识别的摄像功能
WO2023224077A1 (ja) * 2022-05-18 2023-11-23 株式会社小糸製作所 ＴｏＦカメラ、車両用センシングシステム、および車両用灯具

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257982A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
CN103077370A (zh) * 2011-08-25 2013-05-01 株式会社电装 面部图像检测设备
CN104395694A (zh) * 2013-04-26 2015-03-04 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
CN104603574A (zh) * 2013-07-01 2015-05-06 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
JP2015149585A (ja) * 2014-02-06 2015-08-20 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法
JP2018077071A (ja) * 2016-11-08 2018-05-17 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法
CN108369089A (zh) * 2015-11-25 2018-08-03 三菱电机株式会社 3维图像测量装置及方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7019275B2 (en) * 1997-09-16 2006-03-28 Gentex Corporation Moisture sensor and windshield fog detector
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
FR2815914B1 (fr) * 2000-10-27 2003-01-03 Valeo Vision Dispositif de correction automatique de l'orientation en site d'un projecteur de vehicule automobile
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP2003329773A (ja) 2002-05-10 2003-11-19 Hitachi Ltd 複数の距離検知センサを設置した車両制御装置
JP2004144512A (ja) * 2002-10-22 2004-05-20 Denso Corp 乗員検知システム
FR2857463B1 (fr) * 2003-07-11 2005-09-02 Valeo Vision Systeme de vision nocturne a infrarouge, en couleur.
JP4309728B2 (ja) * 2003-09-17 2009-08-05 パナソニック株式会社 監視用ビデオカメラ
US7319805B2 (en) * 2003-10-06 2008-01-15 Ford Motor Company Active night vision image intensity balancing system
JP2006011671A (ja) 2004-06-24 2006-01-12 Alpine Electronics Inc 車載周辺状況検出装置
JP4595135B2 (ja) 2004-10-07 2010-12-08 株式会社メガチップス 距離測定システムおよび距離測定方法
US20060228003A1 (en) * 2005-04-06 2006-10-12 Silverstein D A Method and apparatus for detection of optical elements
WO2006118076A1 (ja) * 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
US9330324B2 (en) * 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP4730267B2 (ja) * 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP4315175B2 (ja) * 2006-08-10 2009-08-19 日産自動車株式会社 光検出方法および光検出装置
JP5112702B2 (ja) 2007-01-16 2013-01-09 富士フイルム株式会社 撮影装置および方法並びにプログラム
DE102008006973B4 (de) * 2007-02-02 2017-03-02 Denso Corporation Projektor und Bildaufnahmevorrichtung
US9826200B2 (en) * 2007-04-30 2017-11-21 Mobileye Vision Technologies Ltd. Rear obstruction detection
FR2919727B1 (fr) * 2007-08-03 2010-07-30 Valeo Vision Procede de detection par un vehicule d'un phenomene perturbateur de visibilite
JP4640404B2 (ja) * 2007-11-22 2011-03-02 トヨタ自動車株式会社 車両運転者状態検出装置
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
JP5629521B2 (ja) 2010-07-29 2014-11-19 パナソニック株式会社 障害物検知システム及び方法、障害物検知装置
US8827514B2 (en) * 2010-08-06 2014-09-09 Toyota Jidosha Kabushiki Kaisha Vehicle light distribution control apparatus and method
US9204129B2 (en) * 2010-09-15 2015-12-01 Perceptron, Inc. Non-contact sensing system having MEMS-based light source
EP2638455A1 (en) * 2010-11-12 2013-09-18 3M Innovative Properties Company Interactive polarization-preserving projection display
US8938099B2 (en) * 2010-12-15 2015-01-20 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
US20130258108A1 (en) * 2010-12-24 2013-10-03 Hitachi, Ltd. Road Surface Shape Recognition System and Autonomous Mobile Apparatus Using Same
JP2012189535A (ja) 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
WO2012140752A1 (ja) * 2011-04-13 2012-10-18 トヨタ自動車株式会社 車載周辺物認識装置及びこれを用いる運転支援装置
US8744763B2 (en) * 2011-11-17 2014-06-03 Honeywell International Inc. Using structured light to update inertial navigation systems
US8844802B2 (en) * 2011-12-20 2014-09-30 Eastman Kodak Company Encoding information in illumination patterns
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP5984409B2 (ja) * 2012-02-03 2016-09-06 キヤノン株式会社 三次元計測システム及び方法
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
JP2014122847A (ja) 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
JP5853947B2 (ja) * 2012-12-27 2016-02-09 株式会社デンソー 暗視装置
US20140247349A1 (en) 2013-03-04 2014-09-04 GM Global Technology Operations LLC Integrated lighting, camera and sensor unit
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
WO2015098288A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置、および画像処理方法
CN107407728B (zh) 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
WO2016156149A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Imaging system using structured light for depth recovery
CN107428287B (zh) * 2015-04-10 2021-06-29 麦克赛尔株式会社 影像投射装置
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
CN108431631A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
WO2018052087A1 (ja) 2016-09-15 2018-03-22 株式会社小糸製作所 センサシステム
US10712561B2 (en) * 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
CN108616726A (zh) * 2016-12-21 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
JP6981775B2 (ja) 2017-05-09 2021-12-17 株式会社キーエンス 画像検査装置および画像検査方法
US10726569B2 (en) * 2017-05-16 2020-07-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257982A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
CN103077370A (zh) * 2011-08-25 2013-05-01 株式会社电装 面部图像检测设备
CN104395694A (zh) * 2013-04-26 2015-03-04 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
CN104603574A (zh) * 2013-07-01 2015-05-06 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
JP2015149585A (ja) * 2014-02-06 2015-08-20 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法
CN108369089A (zh) * 2015-11-25 2018-08-03 三菱电机株式会社 3维图像测量装置及方法
JP2018077071A (ja) * 2016-11-08 2018-05-17 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法

Also Published As

Publication number Publication date
US11303817B2 (en) 2022-04-12
CN111398975A (zh) 2020-07-10
FR3091356A1 (fr) 2020-07-03
US20200213499A1 (en) 2020-07-02
FR3091356B1 (fr) 2022-04-29
DE102019220058A1 (de) 2020-07-02
JP2020106376A (ja) 2020-07-09
JP7252755B2 (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
US20130038882A1 (en) Object detecting device and information acquiring device
TWI801637B (zh) 用於相機之紅外光預閃光
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
US20230179841A1 (en) Gating camera
CN110225846A (zh) 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
WO2016031666A1 (ja) 視線検出装置
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
EP3998767B1 (en) Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JP7474759B2 (ja) 車両用灯具
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023074902A1 (ja) アクティブセンサ、物体識別システム、車両用灯具
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023286542A1 (ja) 物体検知装置および物体検知方法
JP2014021100A (ja) ３次元情報検出装置および３次元情報検出方法
WO2023085403A1 (ja) センシングシステム
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具
JP2021173521A (ja) 測距システム、測距装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant