CN104364673A - 使用自适应景深的选通成像 - Google Patents

使用自适应景深的选通成像 Download PDF

Info

Publication number
CN104364673A
CN104364673A CN201380029022.4A CN201380029022A CN104364673A CN 104364673 A CN104364673 A CN 104364673A CN 201380029022 A CN201380029022 A CN 201380029022A CN 104364673 A CN104364673 A CN 104364673A
Authority
CN
China
Prior art keywords
scene
pulse
dof
sensor array
gating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380029022.4A
Other languages
English (en)
Other versions
CN104364673B (zh
Inventor
约阿夫·格劳尔
奥弗·大卫
伊亚尔·列维
亚阿拉·大卫
海姆·加滕
艾伦·克雷勃伊姆
莎伦·利夫希茨
奥伦·谢赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Original Assignee
Brightway Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brightway Vision Ltd filed Critical Brightway Vision Ltd
Publication of CN104364673A publication Critical patent/CN104364673A/zh
Application granted granted Critical
Publication of CN104364673B publication Critical patent/CN104364673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本文提供了用于使用自适应景深来进行选通成像的方法。该方法包括：获得与场景中的初步景深(DOF)参数相关的边界条件；基于规定的边界条件，利用具有脉冲光束的光源照射场景；基于边界条件控制传感器阵列参数；使用传感器阵列捕获场景的一个或多个图像，其中该捕获基于与脉冲光束同步的一次或多次曝光，以根据与DOF参数相关的边界条件实现场景的选通图像；使用数据处理算法分析至少一个所捕获的图像以产生更新的DOF参数；以及基于更新的DOF参数和更新的边界条件使用更新的传感器阵列参数和更新的光源参数重复上面的步骤。

Description

使用自适应景深的选通成像
背景
1.技术领域
本发明总体上涉及利用使用自适应景深的选通成像系统在白天和夜间进行成像增强的领域，且更具体地涉及适用于车辆应用的成像系统和在这样的系统中实现的操作方法。
2.相关技术的讨论
在标题为“vehicle mounted night vision imaging system and method”的美国专利号7,733,464 B2中和在标题为“active night vision system forvehicles employing short-pulse laser illumination and a gated camera for imagecapture”的美国专利号6,730,913 B2中，描述了基于选通成像来改进在低能见度环境(夜间或在具有差的能见度条件例如雨、雪等的白天)期间机动车辆中的能见度条件的设备。上面引用的参考资料都没有提供基于景深的取景器的任何图像增强。
简要概述
根据一些实施方式，本文提供了使用自适应景深来实现选通成像的方法。该方法可包括下列步骤：获得与在场景中的初步景深(DOF)参数相关的边界条件；基于规定的边界条件，通过控制光源参数来利用具有脉冲光束的光源照射场景；基于边界条件控制传感器阵列参数；使用传感器阵列捕获场景的一个或多个图像，其中该捕获基于与脉冲光束同步的一次或多次曝光，以根据与DOF参数相关的边界条件实现场景的选通图像；使用数据处理算法分析至少一个所捕获的图像以产生更新的DOF参数；以及基于更新的DOF参数和更新的边界条件，使用更新的传感器阵列参数和更新的光源参数中的至少一个重复照射、控制和捕获。
附图的简要说明
本发明根据结合附图做出的其实施方式的详细描述将更容易理解，在附图中：
图1是根据本发明的安装在车辆中的选通成像系统的总体视图的顶视图图示；
图2示意性描述根据本发明的优选实施方式的选通成像系统的实施方式的例子；
图3示意性描述根据本发明的实施方式的选通成像系统景深的实施方式的例子；
图4描述根据本发明的实施方式的选通成像系统自动障碍物检测的实施方式的流程图；
图5和图6提供根据本发明的实施方式的选通成像系统自动障碍物检测输出的例子；
图6A提供根据本发明的实施方式的选通成像系统自动曲率检测输出的例子；
图7-图9提供根据本发明的实施方式的选通成像系统的各种景深影像的例子；
图10和图11示意性描述根据本发明的实施方式的选通成像系统目标范围估计的实施方式的例子；
图12提供根据本发明的实施方式的在白天使用选通成像系统景深的例子；
图13示出根据本发明的一些实施方式的在示例性实现的模拟中使用的公式和单位；
图14提供根据本发明的实施方式的在夜间使用选通成像系统景深的例子；
图15提供根据本发明的实施方式的在白天的交通标志调制光源的例子；
图16示意性描述根据本发明的实施方式的、没有系统选通光源的选通成像系统选通区的实施方式的例子；
图17示意性描述根据本发明的实施方式的有和没有系统选通光源的选通成像系统选通区的实施方式的例子；
图18示意性描述根据本发明的实施方式的选通成像系统的多光源照明场和多景深的实施方式的例子；以及
图19描述根据本发明的实施方式的选通成像系统自适应景深(“分片(Slice)”)确定的实施方式的流程图。
详细描述
在白天条件下，对于夜间条件、光调制物体成像(例如高重复性光闪烁，例如交通标志等)和在差能见度条件中的选通成像系统。此外，为了使用关于累积目标的自动警报机制条件基于选择性景深(在下文中有时被称为“分片”)实时地实现目标检测(即，任何类型的物体，例如汽车、摩托车、行人等)。选通成像系统可以是手提型的、安装在静止和/或移动平台上的。选通成像系统可甚至在水下平台、地面平台或空中平台中进行使用。在本文用于选通成像系统的优选平台是车辆平台。
在例如下列专利的某些现有技术中描述了选通成像系统，所述专利为标题为“vehicle mounted night vision imaging system and method”的美国专利号7,733,464 B2。光源脉冲(在自由空间中)被定义为：其中参数以下面的指标进行定义。选通照相机开启时间(在自由空间中)被定义为：选通照相机关闭时间(在自由空间中)被定义为：其中c是光速，R0、Rmin和Rmax是特定的范围。选通成像用来通过T激光器、TH和T关闭的时间同步根据范围产生灵敏度。
在下文中单次“选通(Gate)”(即，至少一个单光源脉冲照射，其后面是每传感器读出的至少一个单传感器曝光)利用如上面定义的特定T激光器、TH和T关闭定时。在下文中“连续选通(Gating)”(即，至少下列项的单个序列：单光源脉冲照射，后面是单传感器曝光和单光源脉冲照射，再后面是结束该序列的单传感器曝光、传感器读出)对每个序列利用如上面定义的特定T激光器、TH和T关闭定时。在下文中，景深(“分片”)利用提供所观察的场景的特定累积影像的至少一个单次选通或连续选通。每个DOF可具有包括至少下列项的某些DOF参数：R0、Rmin和Rmax。
图1示出安装有选通成像系统60的车辆20，选通成像系统60可包括在不可见光谱(例如，通过LED和/或激光源的NIR)中的选通光源10，以便照射50例如在车辆前方的环境。选通成像系统60包括适合于图像选通的照相机(传感器阵列)40，例如优选的选通照相机可以是选通互补金属氧化物半导体(GCMOS)。选通成像系统60还可包括系统控制装置30和驾驶员人机接口(HMI)70，例如显示器、音频警报和触觉警报。
图2示出关于所公开的实施方式的选通成像系统60的内部模块。相应地，选通成像照相机(传感器阵列)40包括选通照相机/传感器72。选通照相机/传感器光学模块71适合于操作并检测与选通光源10所提供的电磁波长类似的电磁波长。选通照相机/传感器光学模块71还适合于将进入的光聚焦到选通照相机/传感器72的光敏区域上。选通照相机/传感器光学模块71还适合于过滤某些波长光谱，如可由带通滤波器执行的，和/或适合于过滤各种光偏振。此外，选通照相机/传感器72适合于并被启用来检测电磁调制，包括适合于检测来源于选通光源或调制光源10的电磁信号的同步机构。选通成像照相机(传感器阵列)40还包括图像和信号处理器75、选通成像控制装置30(可与选通成像照相机40分开定位)和适合于通过接口与机动车辆通信总线83接口连接的电气接口35。选通成像控制装置30经由触发和控制装置77(经由控制装置73)提供照相机选通/曝光与选通光源10的脉冲的选通同步，并向图像和信号处理器75(经由74)提供系统参数。向图像和信号处理器75提供的系统参数可包括车辆参数(例如车辆速度、刮水器操作等)和/或其它参数(例如每帧脉冲/曝光的数量、照相机/传感器增益、定时等)。图像和信号处理器75可经由在85中的视频来组合(融合)来自照相机/传感器72的图像和/或来自外部传感器的额外图像。图像和信号处理器75还可提供实时图像处理(计算机视觉)，例如ADAS功能(例如行人检测、驶离车道警告、交通标志识别、物体范围估计等)。提供了额外的接口，例如经由车辆通信总线35输出的ADAS功能、至驾驶员HMI 70的数据接口87和选通成像系统的视频输出86。视频输出86可具有ADAS功能覆盖高亮部分(例如用于行人检测警告的边界矩形、用于车道检测警告的覆盖线等)。电源76(其经由车辆馈电线84馈电)给选通成像照相机40和控制装置30提供所需的电压。
在另一实施方式中，例如基于视觉的HMI 70可包括基于几何考虑因素和/或选通影像(即，基于选通成像照相机40和选通光源10的特定选通/曝光定时)对在照相机视场(FOV)中的影像目标的范围估计。此外，选通影像的视觉显示可能基于车辆20的速度；其中所显示的图像针对较高的速度(例如超过每小时50km)进行放大而针对较低的速度(例如小于每小时50km)进行缩小。
图2还示出在不可见光谱(即，750-2,000nm)中的至少一个单次选通光源10包括适合于投影和/或过滤光偏振的光源光学模块82。光源光学模块82还可适合于扩散光(例如全息扩散器、光学透镜等)并投影一个或多个照射场(FOI)。选通光源10还包括脉冲和/或调制光源81(例如LED、激光器、闪光灯等)以提供脉冲照射或提供调制照射。如本领域中的普通技术人员认识到的，选通光源10可包括基于电气方法(例如热电冷却器)和/或适当的机械方法和/或任何光学方法的光源波长控制器80和用于使照射波长稳定的设备。选通光源10还包括光源控制器78和经由车辆馈电线84馈电的电源79。光源控制器78适合于驱动脉冲或调制照射，适合于控制光源波长控制器80并接收来自选通成像控制装置30的触发信号。选通光源10还可包括适合于控制和/或提供内测状态的至车辆通信总线83的通信接口35。光源10的脉冲参数可包括脉冲的振幅、脉冲的持续时间、脉冲的频率、脉冲的形状、脉冲的相位和脉冲的占空比。
图3示出在特定的距离120处安装在车辆上的具有FOV 150的选通照相机(传感器阵列)40。选通光源10(未示出)照射与选通照相机40同步的所观察的景物(由130和100画轮廓)以提供选通(在上文中定义)。选通照相机(传感器阵列)40可吸收全景深(由130和100画轮廓)的反射选通光源能量。选通照相机(传感器阵列)40也可累积来自不可见选通光源的至少一个单次选择性照射的场景景深(“分片”)(140，由130、100和110画轮廓)的反射。下面的表提供每个景深的所需定时的例子。
参数 全景深 选择性景深(“分片”)
Rmax[米] 250 150
R0[米] 100 50
Rmin[米] 20 20
T激光器[纳秒] 530 200
TH[纳秒] 1530 870
T关闭[纳秒] 130 130
选通成像系统可实时地处理累积图像、融合图像(在有和/或没有额外的传感器的情况下)并自动警告和/或突出在所观察的景物中的相关物体(例如在车辆轨道中的行人、让行交通标志、道路中的洞等)。选通成像系统还可包括显示装置以显示系统处理和/或未处理的图像和/或针对任何系统图像处理的特征的音频警告。
选通照相机FOV和/或选通光源可在操作期间根据所观察的场景移动。例如，在所观察的道路向上的场景中，选通系统可向上旋转，且对于向右弯曲的道路，选通系统可以以与道路曲率类似的角度向右旋转。可经由机械结构、电机引擎、电光结构等来控制选通系统旋转。
图4示出在具有严酷的天气条件(例如雨、雪等)的白天和在夜间的选通成像系统的具有高检测概率(POD)和低误报警率(FAR)的自动目标检测过程的流程图(200)。下面的自动目标检测甚至可适用于小于二十个有效目标照相机像素的低照相机目标分辨率(例如，针对例如离系统150m站立的1m高的行人的目标且提供大约15个有效目标像素的照相机IFOV≈0.4mrad)。流程图的输入是使用选通成像系统拍摄的至少两个图像。第一个图像(图像#1，图4中的202)是场景的全景深(DOF)图像，而连续的第二个图像(图像#2，图4中的201)是场景的选择性DOF(“分片”)。运动检测处理块(203)提供垂直和/或平行目标运动检测，例如行人行走、骑脚踏车的人等。运动检测处理块可考虑选通成像平台(即，车辆)相对于所观察的场景的“Egomotion”运动(即，指估计照相机相对于固定场景的运动)，并提取目标运动。候选检测处理器块(204)通过预定的特征来提供目标提取。例如，行人具有通过对垂直边缘做出响应的滤波器提取的垂直特征。车道检测处理块提供的注意力主要致力于道路及其附近的道路边缘(即，仅仅在选通系统轨道中的相关目标)。在只提供相关目标的候选筛选处理块(206)中执行上面的三个处理块的输出的彻底搜查。图4中的图像#2可以是运动检测处理块和候选检测处理块的输入以基于选择性DOF/“分片”(例如在所观察的景物中的预定的区段)提供额外的目标筛选。由于完整场景图像，图4中的图像#1(全DOF)优选地是关于图像#2(选择性DOF/“分片”)的车道检测处理块(205)的输入，这是由于完整的场景图像使能以具有较低误检测的较高检测概率实现车道检测。在图5中给出行人检测流程图的几个处理块的输出的例子。这个经处理的图像的输入是全DOF图像(例如图像#1是上面描述的处理块的输入)。通过算法用紫色(车道检测块的输出)、蓝色/黄色标记的矩形(候选检测块的输出)和黄色标记的矩形(候选筛选块的输出，但没有实现运动检测块)标记两个边界线，其中在车道检测外部的候选块被排除。在图6中给出行人检测流程图的几个处理块的输出的另一例子。上部经处理的图像的输入是选择性DOF/“分片”图像(例如图像#2是上面描述的处理块的输入)，且下部经处理的图像的输入是全DOF图像(例如图像#1是上面描述的处理块的输入)。我们可注意到关于候选筛选处理块输入的DOF/“分片”上部图像的优点。返回到图4中的流程图，特征提取处理块(207)被执行以提供另一目标筛选层。针对每个目标类型特征专门设计这个块。例如，行人具有一般的宽度/高度比、Cy/长度比例(其中Cy是区段的质心Y)和交叉腿差异，其中在区段的两个部分之间的在区段的下部分中的最大差异或如果行人正用腿行走则形成反“V”形状。障碍物识别处理块(208)只提取符合特征提取处理块的目标以给最终障碍物判断处理块(209)提供高POD和低FAR的目标检测输入，这些输入对驾驶员HMI进行突出和/或宣布。
图4中的车道检测处理块也可基于选通影像(全DOF或选择性DOF)提供前向道路曲率检测。这个检测到的信息(道路曲率的角度和/或到道路曲率的距离)能够移动车辆车前灯照射和/或车前灯照射形状以帮助驾驶员预测他的驾驶路径，如图6A所示。
在选通成像系统FOV中的目标检测可在严酷天气条件(例如雨、雪等)下的白天和在夜间由与成像传感器和光源定时区(连续选通)有关的选择性DOF(“分片”)进行。例如，实现“分片”(例如所观察的景物的区段)充当虚拟扫描仪，其中目标只在相关DOF中累积。对于物体检测(例如系统图像处理、驾驶员肉眼等)，由于关于背景的混杂信号降低和物体对比度增强，“分片”图像相对于全DOF图像实现更好的信噪比(SNR)。混杂信号被考虑为关于在搜索下的目标的背景构造。强混杂信号(关于行人目标)可以是具有很多车辆、电线杆等的城市景物。作为例子，系统的全DOF图像是从25m一直到250m，且期望DOF(“分片”)是150m到250m，而在另一例子中，系统的全DOF图像是从25m一直到250m，且期望DOF(“分片”)是25m到100m。
图7呈现由选通成像系统拍摄的图像：上部图像使用从25m一直到250m的全DOF图像拍摄，而底部连续的图像使用从150m到200m的期望DOF(“分片”)拍摄。在道路的右侧上的两个行人在这两个图像中是显眼的，但在行人前面(即，小于150m)的混杂信号和在行人后面(即，超过200m)的混杂信号相对于全DOF(即，25m一直到250m)在期望DOF(“分片”)图像中较低。
图8呈现由选通成像系统拍摄的图像：上部图像使用从25m一直到250m的全DOF图像拍摄，而底部连续的图像使用从150m到200m的期望DOF(“分片”)拍摄。打雨伞的行人正在大约75m的距离处过马路，只在全DOF图像中是显眼的。在本例中，期望DOF(“分片”)图像充当虚拟扫描仪，其中由于目标在相关DOF中不被照射(例如显眼)的事实，目标(在本例中是行人)可能不通过自动目标检测来宣布(如在图4的流程图中描述的)。
图9呈现由选通成像系统拍摄的图像：上部图像使用从10m一直到200m的全DOF图像拍摄，而底部连续的图像使用从10m到50m的期望DOF(“分片”)拍摄。行人在大约25m的距离处正在图像的右侧跑，只在这两个图像中是显眼的。在本例中，期望DOF(“分片”)图像比连续全DOF图像具有低得多的混杂信号(即，关于背景的数据)，连续全DOF图像向任何自动或非自动行人检测方法提供更简单的图像输入。使用选择性DOF(“分片”)的目标检测基于混杂信号；因此当选通成像最大SNR影像在严酷天气条件(例如雨、雪等)下的白天和在夜间被接收时，来自“分片”的目标最佳反射信号应被累积。该方法可通过下面的步骤执行：
●步骤1：目标如上面所述和在图4中所示的进行自动检测或通过某种其它方法来检测。例如，目标检测在照相机帧#N上被执行。
●步骤2：“分片”同步定时(即，作为选通光源定时和选通照相机定时(例如T激光器、TH和T关闭)的函数的参数)被设置为累积可能存在目标的DOF的特定区段。对在选通照相机FOV中的目标尺寸和/或位置的几何考虑因素可提供“分片”定时的“一阶”距离估计。
●步骤3：计算在根据步骤2的累积的“分片”图像中的目标(即，在照相机帧#N中检测的目标)SNR。
●步骤4：调节例如T激光器、TH和T关闭的“分片”同步定时参数以通过缩短“分片”深度和/或通过增加R0和/或增加Rmin和/或减小Rmax而实现下一“分片”累积图像中的更好的目标SNR。例如，假设目标在步骤1中被检测到。如在步骤2中所述的，“分片”被定义为累积从100m到200m距离的反射照射信号。如果所计算的目标SNR(步骤3)低于之前步骤1的目标SNR，则调节下一“分片”以累积从100m到150m或从150m到200m等距离的反射照射信号。
●步骤5：返回到步骤3，依此类推。
选通成像系统可处理和/或显示和/或检测只在与车辆速度和/或所观察的景物道路几何设计和/或道路条件有关的期望DOF(“分片”)中的目标。可由GPS和/或经由车辆通信总线和/或基于在累积的图像之间的选通成像系统影像变化来提供车辆速度。通过如在图4的流程图中所述的弯曲检测和/或通过与地图有关的GPS定位可提供道路几何设计。例如，在严酷天气条件(例如雨、雪等)的白天和在夜间的道路几何设计DOF(“分片”)相关的情况中，其中DOF(“分片”)对于笔直的道路将是150m到250m，而DOF(“分片”)对于弯曲道路将是25m到150m。对于另一例子，在道路条件DOF(“分片”)相关的情况中，其中DOF(“分片”)对于干燥道路将是150m到250m且对于潮湿道路将是25m到150m。由于镜像反射行为或通过其它外部指示例如车辆的雨水传感器(可适用于潮湿道路)和/或根据天气广播(可适用于潮湿道路)可检测潮湿道路和/或溢油。这种方法能够减少与驾驶员和/或系统成像处理不相关的混杂信号(数据)并突出对驾驶员的潜在危险。
图10和图11示出在严酷天气条件(例如雨、雪等)下的白天和在夜间的由选通成像系统估计目标距离的方法。选通成像系统可为每个累积的帧处理至少一个选择性DOF(“分片”)以估计所观察和照射的景物的物体的距离，其与选通照相机和选通光源同步定时区(连续选通)有关。例如，特定的连续选通序列直接与特定的选择性DOF(“分片”)有关。距离估计基于光源脉冲上升和下降时间以及选通照相机GCMOS快门性能(开启和关闭持续时间)；因此这些参数越快，距离估计越准确。
图10在上部分中示出在单个帧/图像中的单个DOF(“分片”，400)中的两个物体(目标401和402)。在下部分示出了在不同的单个帧/图像中的具有两个不同的DOF(“分片”，401和402)的相同的两个物体(目标401和402)。图11示出在多个不同DOF(“分片”，450、460和470)中的单个物体(目标403)。基于每个DOF，可提取特定同步定时R0和/或Rmin和/或Rmax。例如，使用具有大约50纳秒的选通开启/关闭时间的选通照相机卷积的具有大约50纳秒的上升/下降时间的光源可提供大约±15m的DOF范围估计。
选通成像系统可在白天和/或夜间和/或差能见度条件期间检测和/或估计物体的距离和/或类型。这直接与基于至少一个单光源脉冲和每读出帧的选通序列(连续选通)而有选择性DOF(“分片”)的可能性有关。这种方法可利用在所观察的景物中的高强度照射光源峰值功率反射。可以这种技术，例如在交通标志中的反光反射器、车辆反光反射器灯和/或反光反射器张贴物、交通照明反光反射器等检测高度反射物体(即，例如朗伯漫(lambertian)的非扩散目标)。来自反光反射的强度照射可以比扩散反射大三个数量级，甚至在白天光线条件(即，由于太阳而引起的高辐照)下也实现好的选通成像系统信号与背景信号比。这种方法提供从背景中“高亮”相关目标，基于几何考虑因素和/或其它方法而实现更快和更简单的相关距离估计。该方法可以如下(使用图13所示的计算的例子)：
●帧#1(主动帧)：至少一个单光源脉冲和每单个读出帧的照相机选通序列(连续选通)。在尽可能接近帧#1持续时间结束时执行至少一个单光源脉冲和照相机选通序列(连续选通)。至少一个单光源脉冲必须具有来自在相关波长处的环境辐照的更高的峰值功率。在图12中示出这个帧#1的例子。
●帧#2(被动帧)：不使用光脉冲的单次照相机选通，每单个读出帧与帧#1连续。在尽可能接近帧#2持续时间开始时执行没有光脉冲的单次选通。如果照相机选通持续时间对这两个帧是相同的，那么通过这个方法，帧#1(主动帧)和帧#2(被动帧)累积类似的环境光。在图12中示出这个帧#2的例子。
●帧#3(“高亮”高度反射的物体)。从帧#2减去帧#1并设置信号阈值。这种方法消除暴露景物中的高度反射的物体的环境光背景。由于提供在每个帧中的相对类似的累积背景信号的这些事件的接近性，在帧#1中的传感器选通/光脉冲和在帧#2中的传感器选通的定时(即，在每个帧中的定位)提供更好的目标SNR。在图12中示出这个帧#3的例子。
●通过耦合图像中的所获取的这个数据(即，在景物中的高度反射的物体)从背景“高亮”相关目标。例如，交通标志、车灯反光反射器、车牌号等。在图12中示出“高亮”帧#3中的相关目标的例子。
●目标类型检测：基于目标的反射行为，推断出目标类型(朗伯漫、反光反射器或环境光源)。
●目标范围估计：只在具有“高亮的”目标的区域上执行范围估计算法。基于几何考虑因素的范围估计算法可基于在车辆反光反射器和/或车牌尺寸之间的预先已知的距离和/或在车辆尾灯之间的距离等。基于如图12所示的在帧#3中的“高亮的”车辆后部反光反射器检测的例子，范围估计是42.8m(偏离测量值小于5％误差)。这个范围估计的额外参数：在车辆后部的反光反射器之间的距离是1.1m，以及选通照相机IFOV≈0.45mrad。
选通成像系统可在白天和/或在夜间的差能见度条件期间检测和/或估计物体的距离和/或类型。这直接与基于至少一个单光源脉冲和每传感器读出帧的选通序列(连续选通)而有选择性DOF(“分片”)的可能性有关。这种方法可利用在所观察的景物中的高强度照射光源峰值功率反射。可以这种技术，例如在交通标志中的反光反射器、车辆反光反射器灯和/或反光反射器张贴物、交通照明反光反射器等检测高度反射物体(即，例如朗伯漫的非扩散目标)。来自反光反射的强度照射可以比扩散反射大三个数量级，实现好的选通成像系统信噪比(SNR)。这种方法提供从背景中“高亮”相关目标，基于几何考虑因素和/或其它方法而实现更快和更简单的相关距离估计。该方法在图14中示出：
●帧#1(标称帧)：至少一个单光源脉冲和每读出帧的照相机选通序列(连续选通)。一般这个图像基于大约1000次选通的每单个读出帧的几个选通序列。在图14中示出这个帧#1的例子。
●帧#2(主动帧)：至少一个单光源脉冲和与帧#1连续的每单个读出帧的照相机选通序列(连续选通)。在尽可能接近帧#1持续时间结束时执行至少一个单光源脉冲和照相机选通序列(连续选通)。一般这个图像基于大约10次选通的每单个读出帧的几个选通序列。在图14中示出这个帧#2的例子。
●帧#3(被动帧)：不使用光脉冲的单次照相机选通，每单个读出帧与帧#2连续。在尽可能接近帧#2持续时间开始时执行没有光脉冲的单次选通。通过这个方法，帧#2(主动帧)和帧#3(被动帧)在这两个图像中累积类似的影像。在图14中示出这个帧#3的例子。
●目标类型检测：基于目标(帧#2和帧#3)的反射行为，推断出目标类型(朗伯漫、反光反射器或环境光源)。在图14中示出不同目标的例子。
●目标范围估计：只在具有例如朗伯漫目标、反光反射器目标或环境光源目标的预定特征的区域上执行范围估计算法。基于几何考虑因素的范围估计算法可基于在车辆反光反射器和/或车牌尺寸之间的预先已知的距离和/或在车辆尾灯之间的距离等。基于图12中的例子，对对面的车辆的范围估计是110m(偏离测量值小于10％误差)。这个范围估计的额外参数：对面车辆车前灯之间的距离是1.5m，以及选通照相机IFOV≈0.45mrad。
图15示出在白天使用非选通照相机拍摄的四个连续图像。这些图像示出由于光脉冲宽度调制(PWM)而捕获在每个图像中的光调制目标(在这种情况下是在图像的上部分中的交通标志)的不同部分的问题。选通成像系统在选通成像照相机FOV中提供光调制成像或脉冲物体成像(例如高重复光闪烁交通标志等)。
图16示出利用选通成像照相机40而不需要选通光源的技术。通过“锁定”在调制频率上(例如打开特定的门控并探测直接与光源的调制频率有关的信号)和/或通过在每传感器帧(320)读出的不同定时序列(330、350和370)中使用不同长度时间曝光340、360和380(即，不需“已知”光源的调制频率)的系统照相机多次选通(由“G”标注)。标示310代表在选通照相机40的周期中的某个定时序列。
图17示出一种方法，其中选通成像系统60可处理和/或融合和/或显示来自至少两个图像(帧)的融合图像，这两个图像(帧)可来自系统，和/或没有系统光源照射和/或有额外的成像传感器(例如热传感器、CMOS、CCD等)。图17中的帧#1是不使用光源的被动帧(类似于图14中的帧#3)，且图17中的帧#2是主动帧(类似于图14中的帧#1或帧#2)。主动帧可具有定时序列：照射脉冲，后面是有传感器曝光的某个延迟(因此，如上面定义的连续选通)。照射脉冲(由“L”标注)可具有不同的持续时间(235、255和265)，后面是延迟(237、257和267)。在不同定时序列(230、250和670)中的传感器不同曝光持续时间(345、365和385)高达每传感器帧(240)读出N个周期。标示310代表在选通照相机40的周期中的某个定时序列。融合被动帧和主动帧提供具有增强的图像的融合帧。
例如基于GCMOS等的选通照相机，在GCMOS中，连续选通(光累积)定时的每个像素可彼此不同或每个阵列(几个像素或像素簇)可彼此不同。这种方法使每个选通像素(或选通阵列)能够累积不同的DOF(“分片”)。这通过控制每个像素或像素簇触发机构来实现。
这样的选通成像系统可通过选通照相机的短选通(即，曝光时间/光累积)来克服在高强度环境光强度期间(例如在白天期间，在夜间期间驶来的车辆的高车前灯或低车前灯时等)成像传感器发晕光(blooming)的问题，短选通直接与降低每帧读出选通的数量和/或使选通长度时间变短和/或降低选通照相机增益有关。也可在例如GCMOS等的选通照相机中通过在每个像素与另一像素之间的高抗晕光比(即，减小从一个像素到相邻像素的信号扩散溢出)来处理发晕光。例如，能够实现在一个帧与连续帧之间的110dB的动态范围，其中第一帧具有50纳秒的单次曝光而连续帧具有16毫秒的单次曝光。
选通光源10可对具有FOV 150的至少一个单选通照相机40使用多于一个的照射场(FOI)/开度角，如在例如近选通成像距离(例如高达100m的24度水平乘8度垂直照射的FOI)的宽FOI/开度角(由130和100画轮廓)和远选通成像距离(例如从100m到200m的8度水平乘8度垂直照射的FOI)的第二窄FOI/开度角(由190和180画轮廓)中所示的。返回到上面的例子，高达200m的单宽FOI照射将需要比双重FOI多400％的能量。这种方法相对于单FOI照射减小了选通光源的功率消耗，同时维持如上文所述的各种短距离功能和长距离功能。每个FOI(开度角)可利用至少一个单个不同的DOF，例如窄FOI(160，由190、170和180画轮廓)可具有从150m到250m的DOF，且宽FOI(140，由130、110和100画轮廓)可具有从10m到100m的DOF。这种技术给取景器和/或系统自动检测提供了相对于其它成像系统(其中FOI是不变的和/或DOF被限制到单个FOI角度)的优点。此外，每个选通成像FOI可具有不同的电光特性，例如不同的光谱宽度和/或不同的偏振和/或不同的选通定时(即，T激光器、TH和T关闭)和/或选通光源脉冲形状(即，上升/下降时间)。这使选通系统能够提供所观察的标志的另一层累积数据/信号。
图19示出选通成像系统自适应DOF过程的流程图(500)。在步骤510中，得到与场景中的初步DOF参数(即，某个R0、Rmin和Rmax)相关的边界条件(例如平台速度、地形几何形状、地势、场景能见度、需要在DOF中检测的物体的类型等)。在步骤520和步骤530中，通过控制选通光源参数(例如开度角和例如脉冲的振幅、脉冲的持续时间、脉冲的频率、脉冲的形状、脉冲的相位和脉冲的占空比的脉冲参数等)和选通照相机(传感器阵列)参数(例如增益、曝光的持续时间、曝光的频率、曝光的上升/下降时间、累积脉冲的偏振和曝光的占空比)来设置(T激光器、TH和T关闭)规定的DOF(每单个读出传感器阵列帧可以多于一个)。在步骤540中，根据与DOF参数相关的边界条件在选通照相机(传感器阵列)中捕获至少一个单次选通图像。在步骤550中，基于被分析的已捕获图像和/或边界条件(其可能已经改变)中的至少一个来调节/更新规定的DOF(“分片”)。

Claims (22)

1.一种方法，所述方法包括：
获得与场景中的初步景深DOF参数相关的边界条件；
基于规定的边界条件，通过控制光源参数来利用具有脉冲光束的光源照射所述场景；
基于所述边界条件控制传感器阵列参数；
使用所述传感器阵列捕获所述场景的一个或多个图像，其中所述捕获基于与所述脉冲光束同步的一次或多次曝光，以根据与所述DOF参数相关的所述边界条件实现所述场景的选通图像；
使用数据处理算法分析至少一个所捕获的图像以产生更新的DOF参数；以及
基于所更新的DOF参数和更新的边界条件使用更新的传感器阵列参数和更新的光源参数中的至少一个重复所述照射、所述控制和所述捕获。
2.如权利要求1所述的方法，其中所述光源参数包括：所述脉冲光束的脉冲参数及其开度角。
3.如权利要求1所述的方法，其中所述边界条件包括下列项中的至少一个：平台速度、地形几何形状、地势、场景能见度和所述DOF中的物体的类型。
4.如权利要求2所述的方法，其中所述脉冲参数包括下列项中的至少一个：脉冲的振幅、脉冲的持续时间、脉冲的频率、脉冲的形状、脉冲的相位和脉冲的占空比。
5.如权利要求1所述的方法，其中所述传感器阵列参数包括下列项中的至少一个：增益、所述曝光的持续时间、所述曝光的频率、所述曝光的上升/下降时间、累积脉冲的偏振和所述曝光的占空比。
6.如权利要求1所述的方法，其中所述方法在白天期间被执行，且其中所述光源脉冲的强度水平足以克服日光强度，使得来自所述场景的DOF内的物体的反射在分析时是可区分的。
7.如权利要求2所述的方法，其中所述分析还包括，通过基于指向指定物体的光束的强度水平和开度角分析来自所指定物体的反射来估计在所述场景的所述DOF内的至少一个指定物体离所述传感器阵列的距离。
8.如权利要求1所述的方法，其中，通过使用一个是窄角度而一个是宽角度的至少两个光束照射所述场景来执行所述照射。
9.如权利要求1所述的方法，其中，通过使用一个是窄角度而一个是在所述传感器阵列捕获的同一帧处捕获的宽角度的至少两个光束照射所述场景来执行所述照射。
10.如权利要求1所述的方法，其中，使用两个或多于两个不同的DOF参数来执行所述捕获。
11.如权利要求1所述的方法，其中所述场景中的至少一些物体是反光反射的，且其中所述场景中的至少一些物体是扩散反射的，且其中所述分析被执行以便通过设置并比较关于来自所述物体的反射的强度和几何特征的阈值来区分开反光反射的物体和扩散反射的物体。
12.一种系统，所述系统用于使用选通成像系统产生用于可操纵平台的改进的场景视觉，所述选通成像系统包括光源和传感器阵列，所述系统包括：
脉冲光源；
传感器阵列；以及
计算机处理器，
其中所述脉冲光源配置成接收所述场景中的景深DOF的规定边界条件，并基于所述规定边界条件，通过控制脉冲光束的脉冲参数及其开度角来使用所述脉冲光束照射所述场景，
其中所述计算机处理器配置成基于所述边界条件控制所述传感器阵列的参数，
其中所述传感器阵列捕获所述场景的一个或多个图像，其中所述捕获基于与所述脉冲光束同步的一次或多次曝光，以在所述规定边界条件下实现所述场景的选通图像，
其中所述计算机处理器配置成使用数据处理算法分析至少一个所捕获的图像以产生分析的分片参数，以及
其中所述脉冲光源、所述传感器阵列和所述计算机处理器配置成使用基于所分析的分片参数的更新参数和更新的边界条件来重复所述照射、所述控制和所述捕获。
13.如权利要求11所述的系统，其中所规定的边界条件包括下列项中的至少一个：平台速度、地形几何形状、地势、场景能见度和所述场景中的物体的类型。
14.如权利要求11所述的系统，其中所述脉冲参数包括下列项中的至少一个：脉冲的振幅、脉冲的持续时间、脉冲的频率、脉冲的形状、脉冲的相位和脉冲的占空比。
15.如权利要求11所述的系统，其中所述传感器阵列参数包括下列项中的至少一个：增益、所述曝光的持续时间、所述曝光的频率、所述曝光的上升/下降时间、累积脉冲的偏振和所述曝光的占空比。
16.如权利要求11所述的系统，其中所述系统在白天期间操作，且其中所述光源脉冲的强度水平足以克服日光强度，使得来自所述场景中的物体的反射在分析时是可区分的。
17.如权利要求11所述的系统，其中所述分析还包括，通过基于指向指定物体的光束的强度水平和开度角分析来自所指定物体的反射来估计所述场景中的至少一个指定物体离所述传感器阵列的距离。
18.如权利要求11所述的系统，其中，通过使用一个是窄角度而一个是宽角度的至少两个光束照射所述场景来执行所述照射。
19.如权利要求11所述的系统，其中，通过使用一个是窄角度而一个是在同一传感器阵列帧中捕获的宽角度的至少两个光束照射所述场景来执行所述照射。
20.如权利要求11所述的系统，其中所述照射在时间上随着可变的强度水平和照射角而改变，使得所述分析在所述场景内的可变景深处被执行。
21.如权利要求11所述的系统，其中所述场景中的至少一些物体是反光反射的，且其中所述场景中的至少一些物体是扩散反射的，且其中所述分析被执行以便通过设置关于来自所述物体的反射的强度和几何特征的阈值并与所述阈值进行比较来区分开反光反射的物体和扩散反射的物体。
22.一种选通成像的方法，所述方法包括：
使用脉冲光照射场景，其中所述场景中的至少一些物体是是反光反射的，且其中所述场景中的至少一些物体是扩散反射的；
使传感器阵列与所述照射同步以产生所述场景的选通图像；
分析所述选通图像，其中，所述分析被执行以便通过设置关于来自所述物体的反射的强度和几何特征的阈值并与所述阈值进行比较来区分开反光反射的物体和扩散反射的物体。
CN201380029022.4A 2012-05-29 2013-05-23 使用自适应景深的选通成像 Active CN104364673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261652518P 2012-05-29 2012-05-29
US61/652,518 2012-05-29
PCT/IL2013/050448 WO2013179280A1 (en) 2012-05-29 2013-05-23 Gated imaging using an adaptive depth of field

Publications (2)

Publication Number Publication Date
CN104364673A true CN104364673A (zh) 2015-02-18
CN104364673B CN104364673B (zh) 2018-03-13

Family

ID=49672577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029022.4A Active CN104364673B (zh) 2012-05-29 2013-05-23 使用自适应景深的选通成像

Country Status (6)

Country Link
US (1) US9810785B2 (zh)
EP (1) EP2856207B1 (zh)
JP (1) JP6416085B2 (zh)
KR (1) KR102144521B1 (zh)
CN (1) CN104364673B (zh)
WO (1) WO2013179280A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
CN109120860A (zh) * 2018-09-11 2019-01-01 昆山星际舟智能科技有限公司 微观自适应图像处理方法
CN110310515A (zh) * 2019-04-23 2019-10-08 绿桥(泰州)生态修复有限公司 现场信息识别反馈系统
CN111193846A (zh) * 2018-11-14 2020-05-22 佳能株式会社 摄像设备
CN116106928A (zh) * 2023-04-11 2023-05-12 中国人民解放军海军工程大学 一种水下自适应全选通成像方法

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084225A1 (en) * 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
WO2015075926A1 (ja) 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
EP3146362B1 (en) 2014-05-23 2019-08-14 Signify Holding B.V. Object detection system and method
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US20160343140A1 (en) * 2015-05-24 2016-11-24 Pointivo, Inc. Surveying and measurement methods and devices
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
AU2016333145B2 (en) 2015-09-28 2020-04-02 Baraja Pty Ltd Spatial profiling system and method
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
EP3396412A4 (en) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE SENSOR AND VEHICLE THEREFOR
JP6851986B2 (ja) 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP2017195573A (ja) 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US11422238B2 (en) 2016-11-16 2022-08-23 Baraja Pty Ltd. Optical beam director
JP7018022B2 (ja) 2016-11-29 2022-02-09 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置及び測距撮像装置
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
KR102466677B1 (ko) * 2017-08-22 2022-11-14 삼성전자주식회사 라이다 및 그 동작방법
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
JP7523755B2 (ja) * 2018-01-26 2024-07-29 ラインビジョン，インコーポレイテッド 送電線監視のシステムおよび方法
KR102586695B1 (ko) * 2018-02-09 2023-10-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
KR102150098B1 (ko) * 2018-03-27 2020-08-31 국방과학연구소 Lrgi 센서를 이용하여 표적의 거리를 추정하는 방법 및 장치
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
TWI671707B (zh) * 2018-06-15 2019-09-11 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US11385335B2 (en) 2018-12-07 2022-07-12 Beijing Voyager Technology Co., Ltd Multi-threshold LIDAR detection
CN116184417A (zh) 2018-12-10 2023-05-30 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
WO2020184447A1 (ja) * 2019-03-11 2020-09-17 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
EP3757945A1 (en) 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
US10977813B2 (en) * 2019-08-09 2021-04-13 Zebra Technologies Corporation System and method for robust depth calculation with ToF sensors using multiple exposure times
CN114930192B (zh) * 2019-08-21 2024-04-19 亮锐有限责任公司 红外成像组件
CN114503543A (zh) * 2019-09-26 2022-05-13 株式会社小糸制作所 门控照相机、汽车、车辆用灯具、图像处理装置、图像处理方法
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
DE102020002994B4 (de) 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
WO2022039230A1 (ja) * 2020-08-21 2022-02-24 株式会社小糸製作所 車載用センシングシステムおよびゲーティングカメラ
EP4232872A1 (en) * 2020-10-26 2023-08-30 Jabil Optics Germany GmbH Surround-view imaging systems
JPWO2022163224A1 (zh) * 2021-01-27 2022-08-04
US12115916B2 (en) 2021-02-01 2024-10-15 Rosco, Inc. Downlighting signal and illumination mirror head for vehicle
DE102021001175A1 (de) 2021-03-05 2022-09-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102021004521B4 (de) 2021-09-07 2024-05-23 Daimler Truck AG Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
IL293236A (en) * 2022-05-22 2023-12-01 Green2Pass Ltd Detecting objects using multidimensional optical sensing
WO2024110959A1 (en) * 2022-11-22 2024-05-30 Brightway Vision Ltd Multiple gated pixel per light pulse and/or gated event counter for single photon avalanche diode (spad)
DE102023202138A1 (de) 2023-03-09 2024-09-12 Continental Autonomous Mobility Germany GmbH Fusionieren von Bilddaten zweier unterschiedlicher Kameras
DE102023108684A1 (de) 2023-04-05 2024-10-10 Valeo Detection Systems GmbH Sensor-system und verfahren zum betrieb eines sensorsystems

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
US20040080450A1 (en) * 2002-10-28 2004-04-29 Hyuck-Jin Cheong Method and apparatus for detecting vehicle distance
US20070058038A1 (en) * 2004-02-04 2007-03-15 Elbit Systems Ltd. Gated imaging
WO2007094064A1 (ja) * 2006-02-16 2007-08-23 Mitsubishi Denki Kabushiki Kaisha レーダ装置
US20090141260A1 (en) * 2007-11-30 2009-06-04 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
US20100026850A1 (en) * 2008-07-29 2010-02-04 Microsoft International Holdings B.V. Imaging system
CN101833223A (zh) * 2010-04-02 2010-09-15 中国科学院半导体研究所 一种获取动目标运动参数的闪光追迹成像方法
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
WO2011107987A1 (en) * 2010-03-02 2011-09-09 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
US20120050074A1 (en) * 2010-02-26 2012-03-01 Bechtel Jon H Automatic vehicle equipment monitoring, warning, and control system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8902314A (nl) * 1989-09-15 1991-04-02 Michiel Kassies Werkwijze en inrichting voor het detecteren van een voorwerp.
JPH07114144A (ja) * 1993-10-15 1995-05-02 Fuji Photo Film Co Ltd ペーパマガジン
US6730913B2 (en) * 2002-02-21 2004-05-04 Ford Global Technologies, Llc Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
US7733464B2 (en) * 2002-08-05 2010-06-08 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2010061304A (ja) * 2008-09-02 2010-03-18 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
US20040080450A1 (en) * 2002-10-28 2004-04-29 Hyuck-Jin Cheong Method and apparatus for detecting vehicle distance
US20070058038A1 (en) * 2004-02-04 2007-03-15 Elbit Systems Ltd. Gated imaging
WO2007094064A1 (ja) * 2006-02-16 2007-08-23 Mitsubishi Denki Kabushiki Kaisha レーダ装置
US20090141260A1 (en) * 2007-11-30 2009-06-04 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
US20100026850A1 (en) * 2008-07-29 2010-02-04 Microsoft International Holdings B.V. Imaging system
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
US20120050074A1 (en) * 2010-02-26 2012-03-01 Bechtel Jon H Automatic vehicle equipment monitoring, warning, and control system
WO2011107987A1 (en) * 2010-03-02 2011-09-09 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
CN101833223A (zh) * 2010-04-02 2010-09-15 中国科学院半导体研究所 一种获取动目标运动参数的闪光追迹成像方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
CN108370438B (zh) * 2015-12-16 2021-03-23 脸谱科技有限责任公司 范围选通的深度相机组件
CN109120860A (zh) * 2018-09-11 2019-01-01 昆山星际舟智能科技有限公司 微观自适应图像处理方法
CN111193846A (zh) * 2018-11-14 2020-05-22 佳能株式会社 摄像设备
US11184554B2 (en) 2018-11-14 2021-11-23 Canon Kabushiki Kaisha Apparatus for transmitting a control signal for driving a driving mode
CN111193846B (zh) * 2018-11-14 2022-03-29 佳能株式会社 摄像设备
CN110310515A (zh) * 2019-04-23 2019-10-08 绿桥(泰州)生态修复有限公司 现场信息识别反馈系统
CN110310515B (zh) * 2019-04-23 2020-11-03 绍兴越元科技有限公司 现场信息识别反馈系统
CN116106928A (zh) * 2023-04-11 2023-05-12 中国人民解放军海军工程大学 一种水下自适应全选通成像方法

Also Published As

Publication number Publication date
US20150160340A1 (en) 2015-06-11
KR20150024860A (ko) 2015-03-09
KR102144521B1 (ko) 2020-08-14
US9810785B2 (en) 2017-11-07
EP2856207A4 (en) 2015-12-09
JP2015527761A (ja) 2015-09-17
JP6416085B2 (ja) 2018-10-31
WO2013179280A1 (en) 2013-12-05
EP2856207A1 (en) 2015-04-08
CN104364673B (zh) 2018-03-13
EP2856207B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
CN104364673A (zh) 使用自适应景深的选通成像
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
US11346951B2 (en) Object detection system
US8908038B2 (en) Vehicle detection device and vehicle detection method
Broggi et al. A new approach to urban pedestrian detection for automatic braking
JP6471528B2 (ja) 物体認識装置、物体認識方法
Wang et al. Driver assistance system for lane detection and vehicle recognition with night vision
JP2015527761A5 (zh)
EP3021109A1 (en) Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
KR20150038032A (ko) 스테레오 게이트된 영상 시스템 및 방법
JP7028066B2 (ja) 検知装置及び検知システム
JP5313638B2 (ja) 車両用前照灯装置
US20170083775A1 (en) Method and system for pattern detection, classification and tracking
Czajewski et al. Innovative solutions for improving safety at pedestrian crossings
JP2007240387A (ja) 画像認識装置および画像認識方法
JP5643877B2 (ja) 車両用前照灯装置
CN116648921A (zh) 车载用传感系统以及门控照相机
EP3227742B1 (en) Object detection enhancement of reflection-based imaging unit
JP3823944B2 (ja) 移動物体報知装置
WO2022209373A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2024064574A (ja) 画像処理装置、画像処理方法、及びプログラム
CZAJEWSKI et al. Transport System Archives of Volume 6
CZAJEWSKI et al. Transport System
CN118061900A (zh) 车辆灯光的控制方法、装置、电子设备及可读存储介质
CN116648664A (zh) 车载用传感系统以及门控照相机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant