CN104470757A - 立体选通成像系统和方法 - Google Patents

立体选通成像系统和方法 Download PDF

Info

Publication number
CN104470757A
CN104470757A CN201380036736.8A CN201380036736A CN104470757A CN 104470757 A CN104470757 A CN 104470757A CN 201380036736 A CN201380036736 A CN 201380036736A CN 104470757 A CN104470757 A CN 104470757A
Authority
CN
China
Prior art keywords
image
gating
catch
scene
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380036736.8A
Other languages
English (en)
Other versions
CN104470757B (zh
Inventor
约阿夫·格劳尔
奥弗·大卫
伊亚尔·列维
亚阿拉·大卫
海姆·加滕
艾伦·克雷勃伊姆
莎伦·利夫希茨
奥伦·谢赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Original Assignee
Brightway Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brightway Vision Ltd filed Critical Brightway Vision Ltd
Publication of CN104470757A publication Critical patent/CN104470757A/zh
Application granted granted Critical
Publication of CN104470757B publication Critical patent/CN104470757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种用于改善捕获场景图像及从其获得的数据的系统。该系统包括：被配置为基于预定的选通参数以特定的方向利用脉冲光照射场景的光源；被配置为捕获场景图像的两个或两个以上的捕获设备，捕获设备中的每一个从不同的空间位置捕获场景图像，其中，至少一个捕获与脉冲光同步，以便于针对同步的捕获产生场景的立体融合选通图像；以及被配置为通过使用从选通图像获得的数据和选通参数来改善捕获的计算机处理器。在另一个实施例中，不存在光源且至少一个传感器被配置为应用多次曝光用于单次读取，以产生用于改善捕获的增强的图像。

Description

立体选通成像系统和方法
背景
1.技术领域
本发明涉及成像和测距系统的领域，更具体地，涉及在白天、夜间和恶劣天气条件下通过主动选通成像进行立体成像。
2.相关技术讨论
立体成像被汽车制造商广泛用于高级驾驶辅助系统(ADAS)功能，诸如夜视支持、交通信号识别、物体识别、车道线识别等等。立体成像与单个相机相比，提供了两个主要优势：至少两个不同的场景图像(由车辆中的不同位置处的相机捕获，且每个相机可具有不同光电特性，诸如视场、敏感度，等)，以及第二个优势是通过三角测量呈现三维信息(即，测距能力、立体观测)。
题为“stereo camera for a motor vehicle”、欧洲专利号为EP 1,831,718 B1的专利描述了基于至少两个相机的设备，该至少两个相机彼此间关于至少一个性能而不相同，该至少一个性能诸如光敏感度、像素尺寸、滤色器阵列等。此外，前述设备实施了ADAS功能，诸如夜视支持和/或交通信号识别和/或物体识别和/或道路边界识别和/或车道线识别等等。然而，前述设备解决不了若干重要的方面，诸如对于用于夜视支持的专用近红外(NIR)光源的需求，解决不了机动车辆的外部安装，以及解决不了由于车辆光源(如，前大灯、夜视支持的NIR光源等)与大气中的微粒(诸如雨、雪、冰雹等)相互作用产生的后向散射。此外，前述设备并未简化安装相机的要求(需要如通过三角测量获得的三维信息)。
被动立体(即，基于三角测量的三维信息)深度信息的精度可以通过等式(1)估计出。
Δd = d 2 l · h Δx - - - ( 1 )
其中，Δd是深度信息估计，d是深度，l是基线的长度(即，相机之间的距离)，h是图像平面与通过两个相机的中央投影的中心的平面之间的距离，以及Δx是差距(即，从每个相机的中心到所察看的场景中的所投影的特定点的距离和)。该深度信息估计限制基于每个被动立体的系统，即在较长的观看距离和在基线被限制于短的长度时。
简述
根据本发明的一些实施例，提供了一种用于改善捕获场景的图像的过程和从其中获得数据的系统，所述系统包括：光源，所述光源被配置为基于预定的选通参数利用脉冲光以特定的方向照射场景；两个或两个以上的捕获设备，所述两个或两个以上的捕获设备被配置为捕获场景的图像，捕获设备中的每个捕获设备从不同的空间位置捕获图像，其中至少一个捕获是与脉冲光同步的，以便于针对同步的捕获产生场景的立体融合选通图像；以及计算机处理器，所述计算机处理器被配置为，通过使用从选通图像和选通参数获得的数据改善捕获。
本发明的这些方面和/或优势、其他的和/或另外的方面和/或优势是：如下文详细描述中所述的；根据详细描述可推知的；和/或通过本发明的实践可学习到的。
附图简述
根据结合附图所进行的关于本发明的实施方案的详细描述，将较容易理解本发明，其中：
图1是根据本发明的一些实施例在车辆中安装的立体选通成像系统的大概的顶视图说明；
图2描述的是根据本发明的一些实施例的立体选通成像系统框图；
图3和图4描述的是根据本发明的一些实施例的立体选通成像系统景深(DOF)的实施例的示意性实例；
图5描述的是根据本发明的一些实施例的立体选通成像单脉冲串时序。
详细描述
在详细阐述本发明的至少一个实施例之前，要理解的是本发明并不将其应用限于在以下描述中所阐述的或在附图中所示出的元素的构成和布置的细节。本发明可应用于其他的实施例或以不同的方式进行实践或被执行。而且，要理解的是，本文所采用的术语和措辞是出于描述的目的，而不应被认为是限制。
本领域所熟知的优选的选通成像系统被描述于美国专利号为7,733,464 B2题为“vehicle mounted night vision imaging system and method”的专利。光源脉冲(在自由空间中)被定义为：其中在下面的索引中定义了参数。选通相机开通时间(在自由空间中)被定义为选通相机关闭时间(在自由空间中)被定义为其中c是光速，R0、R最小和R最大是特定的距离。选通成像被用于以通过T激光、TII和T关闭的时间同步的距离函数创建敏感度。
后文单个的“选通(Gate)”(即，在至少单个光源脉冲照射之后至少单个相机/传感器曝光每个单个读数)利用如以上所定义的特定的T激光、TII和T关闭时序。后文“选通(Gate)”/“选通参数(Gateparameter)”(即，在单个光源脉冲照射的至少单个序列之后单个相机/传感器曝光且在单个光源脉冲照射之后单个相机/传感器曝光结束序列的单个读数)利用每个连续的如以上所定义的特定的T激光、TII和T关闭时序。后文景深(“片(Slice)”)利用至少单个选通或选通提供所察看的场景的特定的累积的图像。
一种用于在白天条件下、夜间条件和恶劣的可见条件立体选通成像和测距系统。此外，基于具有关于积累的目标的自动警报机构条件的选择性的景深(“片”)和/或实时立体成像特性，实现具有低误检的高概率目标检测(即，任何类型的物体，诸如小汽车、摩托车、行人等)。立体选通成像系统可以是手持式的、装配在静态平台的和/或移动的平台的。立体选通成像系统甚至可以用于水下平台、地面平台或空中平台。用于本文中的立体选通成像系统的优选平台是车辆。
照射参数包括以下中的至少一个：T激光、脉冲幅度、脉冲持续时间、脉冲频率、脉冲形状、脉冲相位、和脉冲占空比。
传感器参数包括以下中的至少一个：TII、T关闭、增益、曝光持续时间、曝光频率、曝光的上升时间/下降时间、累积脉冲的极化、和曝光的占空比。这些参数可用于整个传感器/相机阵列或可用于传感器/相机阵列的部件。
图1和图2说明的是汽车装配的立体选通成像和测距系统60，其可至少包括非可见光谱中的单一的选通(脉冲)光源10(如，由LED发射的NIR和/或激光源)，以便照射例如车辆20的前方的环境50。此外，立体选通成像和测距系统还可包括至少两个相机/传感器40，而其中至少一个相机/传感器适用于图像选通。立体选通成像相机可以内部地位于车辆中的镜子后面、由雨刷清洗的区域。选通相机/传感器可以是增强型的CCD、增强型的CMOS(其中CCD/CMOS被耦合到图像增强器)、电子倍增CCD、电子轰击的CMOS、混合FPA(CCD或CMOS，其中相机具有两个主要部件：读取集成电路和成像基板)、雪崩光电二极管FPA等。优选的选通相机/传感器可以是基于选通互补金属氧化物半导体(GCMOS)，其中选通机构/方法是在CMOS像素级完成的(即，单到多像素按照单一像素读取来曝光)。此外，通过像素多次曝光/选通累加的信号必须克服像素读取噪声。第二相机/传感器可以是选通的和/或非选通的和/或与选通的相机/传感器关于至少一个性能不同，诸如曝光/选通时序、敏感度、光谱响应、极化响应、动态距离、分辨率等。立体选通成像和测距系统60还可以包括系统控制30和司机人机界面(HMI)70，诸如视觉的和/或触觉的和/或声音的系统自动警报，诸如行人检测警报、骑车人检测警报。
在优选的示例性的实施例的一个变体中，立体选通成像(即，至少一个相机/传感器和/或至少一个选通光源)可以以按成一体的体积内部地装配在机动车辆上诸如：在车辆格栅中和/或在独立的车辆用前照灯旁边和/或在综合的车辆用前照灯旁边和/或在至少一个车辆后视镜中。另外的安装方法可以是将立体选通成像分成子组件，其中每个子组件可以位于车辆上的不同地方，诸如前文所述(如，至少一个相机/传感器在一个位置，和/或至少一个选通光源在另一个位置)。即使在这些外部安装中，选通成像相机/传感器也不受选通区域(即，T关闭)引起的后向散射的影响。此外，车辆挡风玻璃可以透射少于NIR光谱中的40％，这就要求成像系统补偿这部分损耗。外部安装(即，在挡风玻璃外面)提供了令人满意的解决方案来用于低光谱透射。
热成像相机/传感器基于发射的辐射来感测(冷却的和未冷却的，诸如，InSb、HgCdTe、V2O5、非晶硅等)，由于在所需光谱中的低到无的辐射的传输，其不能被放置在标准的车辆挡风玻璃后面。外部安装的立体选通成像包含：至少单一选通成像相机/传感器、至少单一选通的光源和至少单一热成像相机/传感器，其提供了理想的配置，不关注由选通相机/光源引起的后向散射和所有使用的波长(即，400-14,000nm)中的高光谱传输。
图2示出的是关于所公开的实施例的立体选通成像和测距系统60的内部模块。因此，立体选通成像相机40包括至少两个相机：相机#1——选通相机/传感器72和相机#274。选通相机/传感器光学模块71适于操作和检测的电磁波长类似于由选通光源10提供的电磁波长。选通相机/传感器光学模块71还适于将入射光聚焦于相机#1——选通相机/传感器72的光敏感区域。选通相机/传感器光学模块71还适于过滤特定波长的光谱，这可由带通滤波器来实现，和/或适于过滤各种光偏振。相机/传感器光模块73适于操作和检测的电磁波长类似于由选通光源10所提供的电磁波长和/或也在可见光谱(即，450-650nm)中的电磁波长。相机/传感器光模块73还适于将入射光聚焦于相机#2——相机/传感器74的光敏感区域。选通相机/传感器光模块73可包括特定波长的光谱滤波，这可由带通滤波器来实现，和/或包括光偏振滤波器。而且，相机#1——选通相机/传感器72适于且能够检测电磁调制——包括适于检测源自选通的或调制的光源10的电磁信号的同步机构。立体选通成像相机40还包括图像和信号处理77、立体选通成像控制30(可以与选通成像相机40分开放置)、和电气接口35，该电气接口适于与机动车辆通信总线83接口。立体选通成像控制30提供相机的选通/曝光(经由控制75和76)与选通光源10(经由触发和控制90脉冲)的选通同步，且(经由78)提供系统参数到图像和信号处理77。提供到图像和信号处理77的系统参数可包括车辆参数(如，车辆速度、雨刷操作等)和/或其他参数(每帧脉冲/曝光的次数、相机/传感器增益、时序，等)。图像和信号处理77可将来自相机/传感器72和/或相机/传感器74的图像和/或经由视频输入85来自外部传感器的其他的图像结合(融合)。图像和信号处理77还可提供实时图像处理(计算机视觉)，诸如ADAS特性(如，行人检测、车道线偏离警报、交通信号识别、物体距离估计，等)。提供了另外的接口，诸如经由车辆通信总线35的ADAS特性输出、司机HMI 70的数据接口87和立体选通成像系统的视频输出85。视频输出85可使ADAS特性重叠凸显(如，用于警报矩形交界的行人检测、用于车道线检测警报的重叠线，等)。电源79(其由车辆供电装置84供电)提供了选通立体成像相机40和控制39所需的电压。
在另一个实施例中，诸如基于视觉的HMI 70可包括，基于几何因素和/或选通成像(即，基于立体选通成像相机40和选通光源10中的至少一个的特定的选通/曝光时序)，对相机FOV中的图像目标的距离估计。此外，立体选通图像的视觉显示可以是基于车辆20的速度；其中所述显示的立体图像针对较高的速度(例如超过每小时50km)放大和针对较小的速度(例如低于每小时50km)缩小。
图2还示出了，不可见光谱(即，750-2,000nm)中的至少单一选通光源10包括光源光学模块82，其适于投影和/或过滤光偏振。光源光学模块82还可以适于使光漫射(如，全息漫射器、光学透镜等)和投影一个或多个现场照明(FOI)。选通光源10还包括提供脉冲照明或提供调制照明的脉冲和/或调制光源81(如，LED、激光、闪光灯，等)。选通光源10可包括，如本领域普通技术人员所理解的，基于电气方法(如，热电冷却器)、和/或适当的机械方法、和/或任何光学方法的，光源波长控制器80，和用于稳定照明波长的设备。选通光源10还包括光源控制器88和经由车辆供电装置84供电的电源89。光源控制器88适于驱动脉冲的或调制的照明，其适于控制光源波长控制器80和接收来自立体选通成像控制30的触发信号。选通光源10还可包括与车辆通信总线83的通信接口35，其适于控制和/或提供内置测试状态。
图3示出的是立体选通相机40的累积的被察看的场景。立体选通相机40包括至少单一选通相机/传感器72和至少第二相机/传感器74。选通相机/传感器72可吸收投射的选通(脉冲)光源10在选通相机/传感器FOV150中的能量。选通相机/传感器72可吸收全部景深(通过130和100描绘的)的能量。选通相机/传感器72还可累积来自不可见选通光源10(即，基于T激光、TII和T关闭的不同时序)的至少单一选择地照射的场景景深(“片”)140(通过130、100和110描绘的)反射。相机/传感器74可以是在不可见选通光源10的光谱中非选通(即，不与选通光源10同步)敏感的。相机/传感器74可以吸收提供全部FOV170累积的图像的选通光源10反射。在这种方法(配置)中，相机/传感器74利用光源10照射以提供增强的图像(即，在较长的距离更好的SNR)。相机/传感器74可以是在可见光谱(即，可不感测不可见选通光源10)中非选通(即，不与选通光源10同步)敏感的。相机/传感器74可吸收环境光，诸如：源自车辆20前照灯、周围路灯和任何其他的照明方法。在该方法中，系统60具有两类范围：第一范围和第二范围，该第一范围产生所述立体融合图像到车辆20前照灯图案，该第二范围产生车辆20前照灯图案上方的单视场选通图像。
图4示出的是立体选通相机40累积的被察看的场景(即，基于累积图像)。立体选通相机40包括至少两个选通相机/传感器72和74。选通相机/传感器72可吸收投射的选通(脉冲)光源10在选通相机/传感器FOV150和170中的能量。每个选通相机/传感器(72或74)彼此间同步且与选通光源10同步。每个选通相机/传感器(72或74)可吸收全部景深(分别由130和100描绘的或通过160和100描绘的)的能量。每个选通相机/传感器(72或74)还可累积来自不可见选通光源10的至少单一选择照射的场景景深(“片”)140(通过130、100和110描绘的)或180(通过160、190和110描绘的)反射。
此外，提供每个选通的相机/传感器(72和74)所需的特定的时序的“直截了当”的方式可以包括：通过添加额外的选通光源和/或通过为单一选通光源增加更多的光脉冲来增加选通光源10的总的占空比(即，特定时间周期内的脉冲数)。该方法可增加向立体选通成像系统操作相同频谱的其他视觉系统的图像浮散。
其他的优选方法提供了与提供给单一选通相机配置类似的占空比，但是提供了用于每个选通相机/传感器的不同DOF的选项。图5示出的是用于至少两个选通相机/传感器的立体选通成像单一脉冲串时序。该系统激光脉冲持续时间T激光(在时序示意图上部用L指示)被定义为T激光＝max(T激光(1),T激光(2))，其中是与选通相机/传感器#1相关的脉冲持续时间，且是与选通相机/传感器#2相关的脉冲持续时间。用于两个选通相机/传感器72和74的同步时序包括以下DOF选项：
●选项1：TII(1)≠TII(2)和T关闭(1)≠T关闭(2)，用于每个选通相机/传感器的DOF是不同的，且用于每个选通相机/传感器的DOF开始范围(距离)是不同的。
●选项2：TII(1)＝TII(2)和T关闭(1)≠T关闭(2)，用于每个选通相机/传感器的DOF是相同的，且用于每个选通相机/传感器的DOF开始范围(距离)是不同的。
●选项3：TII(1)≠TII(2)和T关闭(1)＝T关闭(2)，用于每个选通相机/传感器的DOF是不同的，且用于每个选通相机/传感器的DOF开始范围(距离)是相同的。
选项4：TII(1)＝TII(2)和T关闭(1)＝T关闭(2)，用于每个选通相机/传感器的DOF是相同的，且用于每个选通相机/传感器的DOF开始范围(距离)是相同的。
TII(1)，TII(2)曝光时间在时序示意图中部和下用G指示。TR(1)，TR(2)是每个相机/传感器和选通光源10直到下一个脉冲串循环开始的弛豫时间。
下表提供的是关于不同的选择累积的DOF(“片”)的选通立体成像系统时序的两个示例。
立体选通成像相机FOV和/或选通光源可以在操作期间根据被观察场景而移动。例如，在所察看的道路是向上的场景中，立体选通系统可以旋转向上，而对于向右弯曲道路，选通系统可以以与道路弯曲相似的角度旋转向右。立体选通成像可以通过机械构造、机电引擎、光电构造等来进行控制。
存在的问题是捕获光调制的或脉冲光源目标(诸如，交通信号中的或车辆照明中的脉冲宽度调制LED等)的单一图像(单一帧的读取)。立体选通成像系统提供了通过捕获光调制的或脉冲光源目标的解决方案。该技术可以利用至少一个系统选通相机而不需要选通光源。通过“锁定”调制频率(如，打开特定选通并探测与外部光源目标的调制频率直接相关的信号)和/或通过系统选通相机以每帧读取不同长度的时间曝光(即，不“知道”光源目标的调制频率)多次选通。至少单一选通相机/传感器将具有特定的曝光参数，该参数可包括每帧读取每次曝光之间的至少单一参数的变化；曝光持续时间或到下一曝光的曝光延迟。除了特定的曝光参数，还可包括每次每个帧的曝光量。
这种立体选通成像系统可克服在高强度环境光级(如，在白天、在夜间入射车辆的高或低前照灯等)期间由选通相机的短选通(即，曝光时间\光累积)引起的成像传感器图像浮散的问题，其直接与降低每帧读取的选通数和/或使选通长度时间变窄和/或降低选通相机增益相关。例如，启用帧到连续帧之间的110dB的动态范围，其中，第一帧具有50纳秒的单一曝光，连续帧具有16毫秒的单一曝光。
优选地，立体选通成像中的至少单一选通相机是使用CMOS技术生产的，该CMOS技术符合车辆环境；高温存储和操作(50摄氏度以上)、敏感度不因为太阳辐射而被损坏、不由于对相机的恒定的静态图像投影而引起的烧伤效应。
优选地，光谱滤波器被引入至少一个立体选通成像相机的前方以减少在白天、夜间和其他环境光条件下的环境光累积。
优选地，偏振滤波器被引入至少一个立体选通成像相机的前方以减少在白天、夜间和其他环境光条件下来自高偏振光的环境光累积和/或以提供被察看的场景的其他的信息层(即，偏振；旨在测量关于整个场景的光场的矢量属性的信息，以提供关于表面特征、形状、阴影、和粗糙度的信息)。
另一个优选的方法提供的是，利用通过对在单一相机帧读取中选通光源的单一脉冲的多次曝光而反射回到至少一个系统相机的同步选通光源，进行直接飞行时间(TOF)测距和成像的能力。
虽然本发明已经结合有限数量的实施例进行了描述，但是这些不应该被认为是本发明范围的限制，而是一些优选实施例的示例。其他的可能的变化、修改、和应用也落入在本发明的范围内。

Claims (27)

1.一种用于改善场景图像捕获过程及从其获得的数据的方法，所述方法包括：
基于预定的选通参数以特定的方向利用脉冲光照射所述场景；
从至少两个不同的空间位置捕获所述场景的图像，其中，至少一个所述捕获与所述脉冲光同步，以便于针对同步的捕获产生所述场景的立体融合图像；以及
通过使用从所述立体融合图像获得的数据和所述选通参数改善所述捕获过程。
2.如权利要求1中所述的方法，其中，所述捕获是关于两个范围执行的：第一范围和第二范围，所述第一范围产生所述立体融合图像，所述第二范围产生单视场选通图像。
3.如权利要求2中所述的方法，其中，所述范围之间的阀值由所述捕获过程的敏感度确定。
4.如权利要求1中所述的方法，其中，至少一个所述捕获与所述脉冲光不同步，以便使用选通图像和非选通图像执行所述改善。
5.如权利要求1中所述的方法，其中，所述捕获与所述脉冲光同步，使得基于第一组选通参数同步第一捕获和基于第二组选通参数同步第二捕获。
6.如权利要求1中所述的方法，其中，所述选通参数包括以下中的至少一个：照射参数和传感器参数。
7.如权利要求1中所述的方法，还包括：分析所捕获的图像，以及基于所述分析，利用更新的、影响所述同步的传感器选通参数组重复所述捕获。
8.如权利要求1中所述的方法，还包括：分析所捕获的图像，以及利用更新的、影响所述选通的参数组重复对所述场景的照射。
9.如权利要求1中所述的方法，还包括：基于所述立体图像和所述选通图像之间的数据融合，获得所述场景中一个或多个物体的范围。
10.如权利要求1中所述的方法，其中，所述捕获是在多光谱范围执行的。
11.如权利要求1中所述的方法，其中，所述照射和所述捕获是在偏振光中执行的。
12.如权利要求1中所述的方法，其中，所述照射和所述捕获中的至少一个是在车辆的外面执行的。
13.一种用于改善场景图像捕获过程及从其获得的数据的系统，所述系统包括：
光源，所述光源被配置为基于预定的选通参数以特定的方向利用脉冲光照射所述场景；
两个或两个以上的捕获设备，所述两个或两个以上的捕获设备被配置为捕获所述场景的图像，所述捕获设备中的每一个从不同的空间位置捕获所述场景的图像，其中，至少一个所述捕获与所述脉冲光同步，以便于针对同步的捕获产生所述场景的立体融合选通图像；以及
计算机处理器，所述计算机处理器被配置为通过使用从所述立体融合图像获得的数据和所述选通参数改善所述捕获。
14.如权利要求13所述的方法，其中，所述捕获是关于两个范围执行的：第一范围和第二范围，所述第一范围产生所述立体融合图像，所述第二范围产生单视场选通图像。
15.如权利要求14所述的方法，其中，所述范围之间的阀值由所述捕获设备的敏感度确定。
16.如权利要求13所述的系统，其中，至少一个所述捕获设备与所述脉冲光不同步，以便基于选通图像和非选通图像执行所述更新。
17.如权利要求13所述的系统，其中，至少两个所述捕获与所述脉冲光同步，使得基于第一组选通参数同步第一捕获和基于第二组选通参数同步第二捕获。
18.如权利要求13所述的系统，其中，所述选通参数的组中的每一组对应于所述场景的不同景深。
19.如权利要求13所述的系统，其中，所述计算机处理器还被配置为：分析所捕获的图像，以及基于所述分析，利用更新的、影响所述同步的选通参数组重复所述捕获。
20.如权利要求13所述的系统，其中，所述计算机处理器还被配置为：基于所述立体图像和所述选通图像之间的数据融合，获得所述场景中一个或多个物体的范围。
21.如权利要求13所述的系统，其中，至少一个所述传感器可在多光谱范围中操作。
22.如权利要求13所述的系统，其中，脉冲光源和至少一个所述传感器可在偏振光中操作。
23.如权利要求13所述的系统，其中，以下二者中的至少一方位于车辆外面：所述捕获设备中的所述至少一个和所述脉冲光源。
24.一种用于改善捕获场景图像及从其获得的数据的方法，所述方法包括：
从至少两个不同的空间位置捕获所述场景的图像，其中，至少一个所述捕获包括：基于特定的曝光参数，每单次读取累积一系列多次曝光，以产生增强的图像；以及
通过使用从所述增强的图像获得的数据和所述特定的曝光参数，改善所述捕获。
25.如权利要求24所述的方法，还包括：分析所捕获的图像，以及基于所述分析，利用更新的、影响所述增强的图像的曝光参数重复所述捕获。
26.一种用于改善捕获场景图像及从其获得的数据的系统，所述系统包括：
两个或两个以上的捕获设备，所述两个或两个以上的捕获设备被配置为捕获所述场景的图像，所述捕获设备中的每一个从不同的空间位置捕获所述场景的图像，其中，至少一个所述捕获包括：每单次读取累积一系列多次曝光，以产生增强的图像；以及
计算机处理器，所述计算机处理器被配置为通过使用从所述增强的图像获得的数据，改善所述捕获。
27.如权利要求26所述的系统，其中，所述计算机处理器还被配置为：分析所捕获的图像，以及基于所述分析，利用更新的、影响所述增强的图像的曝光参数重复所述捕获。
CN201380036736.8A 2012-07-09 2013-04-04 立体选通成像系统和方法 Active CN104470757B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261669181P 2012-07-09 2012-07-09
US61/669,181 2012-07-09
PCT/IL2013/050309 WO2014009945A1 (en) 2012-07-09 2013-04-04 Stereo gated imaging system and method

Publications (2)

Publication Number Publication Date
CN104470757A true CN104470757A (zh) 2015-03-25
CN104470757B CN104470757B (zh) 2017-05-17

Family

ID=48325829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036736.8A Active CN104470757B (zh) 2012-07-09 2013-04-04 立体选通成像系统和方法

Country Status (6)

Country Link
US (1) US10390004B2 (zh)
EP (1) EP2870031B1 (zh)
JP (1) JP6293134B2 (zh)
KR (1) KR20150038032A (zh)
CN (1) CN104470757B (zh)
WO (1) WO2014009945A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106004662A (zh) * 2016-07-05 2016-10-12 广东宁源科技园发展有限公司 车辆通行宽度探测装置
WO2016197307A1 (en) * 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
CN107040755A (zh) * 2015-12-22 2017-08-11 德尔福技术有限公司 多成像器车辆光学传感器系统
CN107238842A (zh) * 2016-03-29 2017-10-10 中国人民解放军92232部队 一种面阵目标搜索扫描成像装置及方法
CN108297791A (zh) * 2016-12-16 2018-07-20 梅克朗有限两合公司 相机系统和视镜替代系统
CN109814127A (zh) * 2017-11-22 2019-05-28 浙江舜宇智能光学技术有限公司 高分辨tof成像系统及方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
IL234396A0 (en) * 2014-08-31 2014-12-02 Brightway Vision Ltd Self-portrait remediation
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US11506763B2 (en) * 2018-10-31 2022-11-22 Infineon Technologies Ag Image sensor with interleaved hold for single-readout depth measurement
CN113243016A (zh) * 2018-12-10 2021-08-10 株式会社小糸制作所 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法
CN113557172A (zh) * 2019-03-11 2021-10-26 株式会社小糸制作所 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US20200314411A1 (en) * 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
WO2020263984A1 (en) 2019-06-24 2020-12-30 Event Capture Systems, Inc. Methods, devices, and systems for headlight illumination for semi-autonomous vehicles
US11181807B1 (en) 2020-07-14 2021-11-23 Rosemount Aerospace Inc. Ranging of objects in a scene using difference imaging and fast shutter control
IL278629A (en) * 2020-11-10 2022-06-01 Brightway Vision Ltd System and method for detecting and identifying objects for manned and unmanned vehicles

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028624A (en) * 1997-12-11 2000-02-22 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for increased visibility through fog and other aerosols
CN1710935A (zh) * 2004-06-17 2005-12-21 株式会社日立制作所 摄像装置
CN1869731A (zh) * 2006-06-29 2006-11-29 哈尔滨工业大学 距离选通式激光3d成像雷达系统
CN101431603A (zh) * 2008-12-17 2009-05-13 广东威创视讯科技股份有限公司 多摄像头同步拍摄的方法及其检测装置
CN101722888A (zh) * 2008-10-29 2010-06-09 中国科学院半导体研究所 实现抗干扰大视场距离选通汽车夜视的方法
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
CN201765378U (zh) * 2010-08-19 2011-03-16 山东神戎电子股份有限公司 具有测距功能的夜视仪

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862257A (en) 1988-07-07 1989-08-29 Kaman Aerospace Corporation Imaging lidar system
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH11201740A (ja) 1998-01-09 1999-07-30 Omron Corp 画像処理方法およびその装置
WO2002041031A1 (de) 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
ATE386951T1 (de) 2002-08-05 2008-03-15 Elbit Systems Ltd Nachtsichtabbildungssystem und -verfahren zur montage in einem fahrzeug
CA2554955C (en) * 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP2012022573A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 移動体検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028624A (en) * 1997-12-11 2000-02-22 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for increased visibility through fog and other aerosols
CN1710935A (zh) * 2004-06-17 2005-12-21 株式会社日立制作所 摄像装置
CN1869731A (zh) * 2006-06-29 2006-11-29 哈尔滨工业大学 距离选通式激光3d成像雷达系统
CN101722888A (zh) * 2008-10-29 2010-06-09 中国科学院半导体研究所 实现抗干扰大视场距离选通汽车夜视的方法
CN101431603A (zh) * 2008-12-17 2009-05-13 广东威创视讯科技股份有限公司 多摄像头同步拍摄的方法及其检测装置
CN201765378U (zh) * 2010-08-19 2011-03-16 山东神戎电子股份有限公司 具有测距功能的夜视仪
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016197307A1 (en) * 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
US10389949B2 (en) 2015-06-08 2019-08-20 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
US10645300B2 (en) 2015-06-08 2020-05-05 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
CN107040755A (zh) * 2015-12-22 2017-08-11 德尔福技术有限公司 多成像器车辆光学传感器系统
CN107238842A (zh) * 2016-03-29 2017-10-10 中国人民解放军92232部队 一种面阵目标搜索扫描成像装置及方法
CN107238842B (zh) * 2016-03-29 2020-06-16 中国人民解放军92232部队 一种面阵目标搜索扫描成像装置及方法
CN106004662A (zh) * 2016-07-05 2016-10-12 广东宁源科技园发展有限公司 车辆通行宽度探测装置
CN108297791A (zh) * 2016-12-16 2018-07-20 梅克朗有限两合公司 相机系统和视镜替代系统
CN108297791B (zh) * 2016-12-16 2021-05-14 梅克朗有限两合公司 相机系统和视镜替代系统
CN109814127A (zh) * 2017-11-22 2019-05-28 浙江舜宇智能光学技术有限公司 高分辨tof成像系统及方法

Also Published As

Publication number Publication date
EP2870031A1 (en) 2015-05-13
US10390004B2 (en) 2019-08-20
WO2014009945A1 (en) 2014-01-16
JP6293134B2 (ja) 2018-03-14
EP2870031B1 (en) 2017-11-08
JP2015525035A (ja) 2015-08-27
KR20150038032A (ko) 2015-04-08
US20150296200A1 (en) 2015-10-15
CN104470757B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN104470757B (zh) 立体选通成像系统和方法
US9753141B2 (en) Gated sensor based imaging system with minimized delay time between sensor exposures
US9810785B2 (en) Gated imaging using an adaptive depth of field
US20240147062A1 (en) Vehicle headlamp lighting control module for adas and autonomous vehicles
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
EP3213107B1 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
EP2602640B1 (en) Vehicle occupancy detection using time-of-flight sensor
US20160096477A1 (en) Vehicle vision system with gray level transition sensitive pixels
US11454723B2 (en) Distance measuring device and distance measuring device control method
EP3428677B1 (en) A vision system and a vision method for a vehicle
US20230314567A1 (en) System for identifying black ice and water on roads
EP3836530A1 (en) Vehicle-mounted camera and drive control system using same
EP3227742B1 (en) Object detection enhancement of reflection-based imaging unit
Quero et al. Implementation of a hyperspectral integrated vision system combining radar technology and single-pixel optical principle for unmanned ground vehicles (UGV)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant