CN106132783A - 用于夜视对象检测和驾驶员辅助的系统和方法 - Google Patents

用于夜视对象检测和驾驶员辅助的系统和方法 Download PDF

Info

Publication number
CN106132783A
CN106132783A CN201580018074.0A CN201580018074A CN106132783A CN 106132783 A CN106132783 A CN 106132783A CN 201580018074 A CN201580018074 A CN 201580018074A CN 106132783 A CN106132783 A CN 106132783A
Authority
CN
China
Prior art keywords
sensor signal
camera
sensor
stereo
sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580018074.0A
Other languages
English (en)
Inventor
G·G·尚普
M·J·哈达德
M·J·希金斯-卢特曼
T·沈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyson Security Systems Acquires LLC
Original Assignee
TK Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TK Holdings Inc filed Critical TK Holdings Inc
Publication of CN106132783A publication Critical patent/CN106132783A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

立体视觉系统包括第一相机传感器和第二相机传感器。第一相机传感器被配置为感测第一反射能量并且基于所感测到的第一反射能量来产生第一传感器信号。第二相机传感器被配置为感测第二反射能量并且基于所感测到的第二反射能量来产生第二传感器信号。该立体视觉系统还包括处理器，该处理器被配置为从第一相机传感器接收第一传感器信号并且被配置为从第二相机传感器接收第二传感器信号。该处理器被配置为基于第一传感器信号和第二传感器信号来执行立体匹配。第一相机传感器被配置为感测反射能量，该反射能量为红外辐射。第二相机传感器被配置为感测反射能量，该反射能量为红外辐射。

Description

用于夜视对象检测和驾驶员辅助的系统和方法
相关申请的交叉引用
本申请要求享有于2014年4月8日提交的、美国临时专利申请No.61/976,930的优先权和权益。前述临时申请通过引用以其全文并入本文中。
背景技术
本公开内容总体上涉及立体视觉系统的领域。更具体而言，本公开内容涉及具有用于在弱光条件期间的改进操作的特性的立体视觉系统，并且涉及用于在弱光条件期间检测和追踪对象的方法。
立体视觉系统可以并入到车辆中以便于在夜晚条件和其它弱环境条件期间提供车辆前方的视野，并且可以包括多个相机传感器。立体视觉系统可以用于检测对象并且估计对象在三维中的车辆的路径中的位置。可以根据对象在两个相机传感器上的投影(利用它们之间的水平偏移来定位的)的略微不同来得到检测和估计。两个传感器的图像之间差异被称为水平视差。
典型的立体视觉系统可以配备有两个相同的相机传感器，这两个相机传感器具有平行的瞄准线矢量。这两个相机传感器被定位有某一方向上的偏移，该方向正交于瞄准线矢量。该偏移或分离被称为基线分离。基线分离和两个视觉传感器的瞄准线之间的共线性的容限影响三维的准确度。
雷达(例如单脉冲雷达)典型地配备有两个接收孔和/或发送孔，其具有以类似于上述立体视觉传感器的方式选择的瞄准线角度和相对的定位。例如，在具有两个接收孔的雷达中，到达接收孔中的一个孔的目标的反向散射典型地到达具有略长或略短返回路径长度的其它孔。返回路径长度中的差异用于计算目标关于参考角度的角度。
如同大多数视觉系统，当急需要辅助时用于立体视觉系统的相机传感器不可避免地遭受不利照明和天气条件。在弱光条件下(例如，在黄昏与黎明之间)，可以增加相机曝光的时间。因此，从两个相机传感器采集到的图像的完整度可能被充分地降低从而使系统或方法不能够确定两个传感器之间的水平视差。因此，在弱光条件期间存在对用于测量相机传感器之间的水平视差的系统和方法的需要。
发明内容
一个所公开的实施例涉及在车辆中使用的立体视觉系统。该立体视觉系统包括第一相机传感器和第二相机传感器。第一相机传感器被配置为感测第一反射能量并且基于所感测到的第一反射能量产生第一传感器信号。第二相机传感器被配置为感测第二反射能量并且基于所感测到的第二反射能量产生第二传感器信号。该立体视觉系统还包括处理器，该处理器被配置为从第一相机传感器接收第一传感器信号并且被配置为从第二相机传感器接收第二传感器信号。该处理器被配置为基于第一传感器信号和第二传感器信号来执行立体匹配。第一相机传感器被配置为感测反射能量，该反射能量为红外辐射。第二相机传感器被配置为感测反射能量，该反射能量为红外辐射。
另一个所公开的实施例涉及在车辆中使用的立体视觉系统。该立体视觉系统包括第一相机传感器、第二相机传感器、以及第三相机传感器。第一相机传感器被配置为感测第一反射能量并且基于所感测到的第一反射能量产生第一传感器信号。第二相机传感器被配置为感测第二反射能量并且基于所感测到的第二反射能量产生第二传感器信号。第三相机传感器被配置为感测第三反射能量并且基于所感测到的第三反射能量产生第三传感器信号。该立体视觉系统还包括处理器，该处理器被配置为从第一相机传感器接收第一传感器信号，被配置为从第二相机传感器接收第二传感器信号，并且被配置为从第三相机传感器接收第三传感器信号。该处理器还被配置为基于第一传感器信号、第二传感器信号、以及第三传感器信号来执行立体匹配。第一相机传感器被配置为感测反射能量，该反射能量为可见光辐射。第二相机传感器被配置为感测反射能量，该反射能量为可见光辐射。第三相机传感器被配置为感测能量，该能量为红外辐射。
又一个所公开的实施例涉及在车辆中使用的用于立体视觉的方法。该方法包括：使用第一相机传感器来感测第一反射能量；基于所感测到的第一反射能量来产生第一传感器信号；使用第二相机传感器来感测第二反射能量；基于所感测到的第二反射能量来产生第二传感器信号；以及基于第一传感器信号和第二传感器信号来执行立体匹配。第一反射能量是红外辐射。第二反射能量是红外辐射。
附图说明
图1示出了由立体视觉系统产生的立体范围图在典型的白天场景与典型的夜晚场景之间的比较结果。
图2示出了包括左侧相机和右侧相机的立体视觉系统的立体相机系统。
图3是用于对来自由立体相机系统产生的立体范围图的对象进行检测、追踪、和分类的流程图；该立体范围图使用左侧相机图像和右侧相机图像来进行计算。
图4示出了立体相机系统的中央相机的量子效率(quantum efficiency)。
图5示出了使用立体相机系统的左侧相机图像和右侧相机图像而产生的立体范围图，该相机利用无源照明来进行操作。
图6示出了从车辆前灯投射的重叠锥形漫射光束，从而示出了立体视觉系统的照明过程。
图7示出了立体相机系统的左侧相机和右侧相机的夜晚立体图像以及由立体视觉系统产生的作为结果的立体范围图。
图8示出了包括左侧相机、右侧相机、以及中央相机的立体视觉系统的立体相机系统。
图9是用于对来自由图8的立体相机系统产生的立体范围图的对象进行检测、追踪、和分类的流程图；该立体范围图使用左侧-中央相机图像和中央-右侧相机图像来进行计算。
图10A-10B示出了立体相机系统的左侧相机和右侧相机的立体视觉几何形状，并且更一般而言示出了计算范围图的过程。
图11示出了左侧相机和右侧相机的具有窄基线和宽基线的立体视觉几何形状。
图12是用于窄基线和宽基线构造的由立体相机系统的左侧相机和右侧相机采集到图像之间的视差的曲线图。
图13是用于窄基线和宽基线构造的由立体相机系统的左侧相机和右侧相机采集到图像的视差水平的表。
图14示出了从采用结合的窄基线与宽基线构造的立体相机系统获得的灰度图像。
图15示出了由图14中所示出的灰度图像产生的结合的范围图。
具体实施方式
总体上参考附图，示出并描述了用于夜视对象检测和驾驶员辅助的系统和方法。公开了各种传感器技术、传感器构造、以及照明技术从而可以用于克服关于在夜晚或其它弱周围环境下进行操作的立体视觉系统(SVS)的问题。
该立体视觉系统可以包括相机系统，该相机系统包括用于感测对象的多个相机传感器。该立体视觉系统包括立体相机系统，该立体相机系统包括两个相机，这两个相机对从0.9微米到1.8微米(900到1800纳米)的波长间隔中的反射能量进行感测。该立体视觉系统配备有在弱光条件期间选择性地激活的眼镜安全补充照明。该立体相机系统可以可选地包括第三中央相机，第三中央相机可以用于数据融合技术以向立体视觉系统添加另外的能力。
典型的立体视觉系统具有遍及许多环境条件的改进的对象检测和追踪能力。然而，在包含弱环境照明(例如，在建筑物或树木的阴影下、在隧道中、以及在被覆盖的停车库内)和在超过车辆的前灯图案的距离下的夜晚操作(例如，当使用弱光束前灯时为30米以及当使用强光束前灯时为50米)的场景下可能会限制整体系统性能。
现在参考图1，示出了由典型的立体视觉系统产生的立体范围图比较结果，从而示出了典型的白天场景10和典型的夜晚场景12。图像的比较结果示出了立体视觉系统的白天与夜晚性能之间的特性差异。立体范围图被绘制到典型的白天和夜晚场景的左侧相机图像上。使用每个图像的左下方所示的范围刻度16，每个立体范围图的彩色区域14示出了有效的立体范围填充物。夜晚场景12示出了范围填充物从沿着主机车辆的路径的马路和从目标车辆的上半部分的急剧减少。在一些实施例中，立体变化有意地局限于最大提升(例如，4米)，这可以防止白天场景10期间上部区域中的范围填充物。
成功的立体变化依赖于测量相关结构之间的视差(纵位移)，如它们出现在由立体视觉系统的相机所采集到的左侧和右侧图像中。在弱环境条件下，相机暴露时间增加。这进而降低了左侧和右侧图像质量(图像区域变得模糊和散焦(defocused))并且最终相关结构在左侧与右侧图像之间的搜索可能失败。图1的立体范围图中的黑色区域18指示了这种情况。
图2示出了包括左侧相机24、右侧相机26的立体视觉系统(SVS)20的立体相机系统22。立体相机系统22被示出为与车辆集成在一起；应当理解的是SVS 20和车辆的立体相机系统22可以实施在车辆中的任何位置。立体相机系统22在短波红外(SWIR)波段下进行操作。
本公开内容的立体视觉系统20可以包括处理电路30，处理电路30包括用于完成本文中所描述的各种活动的处理器32和存储器34。处理器32可以被实施为通用处理器、专用集成电路(ASIC)、一个或多个场可编程栅极阵列(FPGA)、一组处理部件、或其它适合的电子处理部件。存储器34是用于存储数据和/或计算机代码的一个或多个器件(例如，RAM、ROM、闪速存储器、硬盘储存器等)以用于完成和/或促进本公开内容中所描述的各种用户或客户过程、层、以及模块。存储器34可以是或包括易失性存储器或非易失性存储器，并且可以包括数据库部件、对象代码部件、脚本部件、或用于支持本公开内容的各种活动和信息结构的任何其它类型的信息结构。存储器34可通信地连接到处理器32并且包括用于执行本文中所描述的一个或多个处理的计算机代码或指令模块。
本公开内容的立体视觉系统20还可以包括补充或有源照明源或部件36。照明源36可以用于提供照明(例如，红外照明)以允许立体相机系统22在缺少光的情况下采集场景中的图像(即，在无照明的隧道和停车库中驾驶或在茂密的森林中驾驶等)。
本公开内容的系统和方法提供了使用图2的立体相机系统22可实现的的感测模式。在一个实施例中，立体相机系统22包括能够感测从0.9微米到1.8微米(900到1800纳米)的波长间隔中的能量的两个或多个相机。相机的焦平面阵列或能量感应区域包括红外检测器，该红外检测器由适合的材料(例如铟镓砷(InGaAs)，也被称为镓铟砷(GaInAs))形成。在图2中示出了前视SWIR立体相机系统22的示例。这个感测模式可以使用立体相机系统22的左侧相机24和右侧相机26。
SWIR波段下的感测与人可见波段(从0.35到0.7微米或从350到700纳米的波长间隔)下的感测具有相似之处。SWIR光是被对象表面反射的反射光，非常像人可见波段中的光。因此，可以使用根据图像(用能够在人可见波段下感测的相机所采集的)开发的建立的机器视觉技术对来自在SWIR波段下进行操作的相机的图像进行处理。来自由InGaAs构造的SWIR系统的相机的图像能够与来自由二氧化硅构造的相机(在人可见光波段下进行感测)的图像在角分辨率和空间上的细节方面进行比较。
来自在可见光波段下进行操作的立体相机系统22的左侧相机24和右侧相机26的图像的立体匹配产生了立体范围图(或立体视差图)。可以使用一种或多种公知的方法(例如，CENSUS、绝对差总和(SAD)、或归一化互相关(NCC))来完成对图像的立体匹配。图像的立体匹配可以承载有立体视觉系统20的处理电路30、处理电路30的部件(例如，处理器32、处理器34等)、或与处理电路30进行通信的另一种数据处理元件。在像素位置处的下射程(downrange)测量结果与左侧相机像素位置或右侧相机像素位置相关。立体范围图(或立体视差图)的元素被共同地称为“范围像素”。
立体范围图可以被用作立体视觉系统20的各种模块(例如，用于对象检测、对象追踪、以及碰撞可能性)以及各种车辆子系统和应用(例如，前方碰撞警告、自动紧急刹车、自适应巡航控制、儿童后翻保护等)的基础。在美国专利申请No.2013/0251194、美国专利No.8,509,523、以及美国专利No.8,594,370中公开了机器视觉算法的这种示例，这些美国专利全部都通过引用并入本文中。应当理解的是，立体范围图可以用于任何其它类型的车辆子系统或应用。
参考图3，示出了用于对来自由立体相机系统22产生的立体范围图的对象进行检测、追踪、和分类的过程40的流程图。使用由立体相机系统采集到的多个图像来计算立体范围图。根据示例性实施例，如上所述，由左侧相机24提供左侧相机图像(步骤24)并且由右侧相机26提供右侧相机图像(步骤44)。
对由左侧相机提供的左侧图像和由右侧相机提供的右侧图像进行改正(步骤46)。图像改正通常可以包括从左侧和右侧图像消除透镜变形并且使左侧和右侧相机图像开始外极线对齐(epipolar alignment)。
经改正的图像用于产生立体范围图(步骤48)。如上所述，可以使用一种或多种公知的方法(例如，CENSUS、SAD、NCC等)来计算立体范围图。
对立体范围图进行分析以检测对象(步骤50)。对象检测通常包括以下过程：识别图像中符合规定的对象、将图像中的前景对象与背景对象分隔开、以及计算每个对象相对于车辆的位置测量结果(例如，计算下射程、交叉范围、高度、以及对象相对于车辆的提升)。
对对象检测步骤中所检测的对象进行追踪和分类(步骤52)。这包括在由相机采集到的连续视频帧中识别相关联的对象、估计对象的运动特性、以及将对象分类为预先限定的种类(例如，车辆、行人、骑自行车的人等)。
基于对象追踪的结果来提供输出信号(步骤54)以便于对车辆的驾驶员提供辅助。例如，处理器32可以向车辆系统或安全应用提供输出信号。基于所追踪和分类的对象，可以实现一个或多个安全应用(步骤56)。所激活的安全应用可以是用于辅助驾驶员的各种类型的应用。这种应用的示例可以包括前方碰撞警告(FCW)系统、自动紧急刹车(AEB)系统、自适应巡航控制(ACC)系统、以及儿童后翻保护(CBP)系统。在另外的实施例中，可以基于对象追踪和分类来实现其它安全应用或其它应用。在另外的实施例中，输出信号可以转发给车辆的驾驶员，例如利用显示器(例如，中控面板显示器、仪表板显示器、抬头式显示器等)和/或音频、触觉、或视觉警报设备。
参考图4，以各种波长示出了显示InGaAr的量子效率的曲线图60。SWIR波段下的感测提供了优于利用由二氧化硅构造的相机的人可见波段下的感测的优点。特别地，由InGaAs构造的SWIR相机由于它们的高量子效率(如图4的曲线图中所示)、接近100％的像素填充因数、以及读出电路中极低的噪音，可以更好地在夜晚进行操作。像素填充因数指代在特定波长间隔范围内对光敏感的感光点(photo-site)(图像传感器上的像素)的百分比。当填充因数较低时，传感器在弱光条件期间较不敏感。CMOS(互补型金属氧化物半导体)相机在每个感光点处需要电路以过滤噪声并且执行其它功能。这些相机典型地具有50％的最大像素填充因数。
现在参考图5，示出了示例性左侧相机图像70、右侧相机图像72以及立体范围图74。通过由InGaAs构造的SWIR相机来提供示例性左侧相机图像70和右侧相机图像。在没有补充或有源照明的情况下对相机进行无源操作。由InGaAs构造的相机受益于被称为夜空辐射或夜晖的大气现象。夜空辐射是：由通过太阳进行光离子化的微粒的再结合而引起的上层大气中弱光的排放物、来自撞击上层大气的宇宙射线的发光、以及由与氢氧离子进行反应的氧气和氮气所引起的化学发光。这提供了在没有补充或有源照明的情况下无源地在夜晚成功地操作由InGaAs构造的相机的可能性。夜空辐射出现在InGaAs相机达到峰值效率的SWIR波段下。不能够在人可见光波段下或者通过由二氧化硅构造的相机检测到夜空辐射。
在一些实施例中，由InGaAs构造的SWIR相机不能够最优地或及时地传送导致了缺少光的场景(即，在无照明的隧道和停车库中驾驶或在茂密的森林下驾驶)。许多车辆子系统或应用(例如，如以上所描述的FCW、AEB、ACC、以及CBP)需要高场景采样率(每秒至少30帧的相机帧率(frame rate))以建立用于实现机器视觉算法(对象检测、对象分类、对象追踪、以及碰撞可能性)的可靠水平。帧率需求极大地限制了相机的最大可允许的集成度或暴露时间(用于积累单个图像帧的光能量所给定的时间)。
在这样的情况下，可以提供由补充或有源照明源或部件36产生的补充照明。在一个实施例中，补充或有源照明源36可以包括激光二极管。由激光二极管产生的照明可以发出从1.2到1.8微米(1200到1800纳米)的波长间隔中的能量。通过为发出电磁辐射的非医疗设备的辐射安全性能负责的设备仪器与放射健康中心(CDRH)、美国食品及药物管理局(FDA)分局，这个波长间隔的子区域中的激光能量有资格进行眼睛保护。CDRH眼睛安全资格特别地包括从1.4到1.6微米(1400到1600纳米)的激光能量发射。
SWIR下的补充照明适合于自动安全应用和其它车辆子系统和应用。SWIR波段下的照明不是人可见的并且因此将不会分散装配车辆的驾驶员的注意力并且不会干涉即将到来的车辆中的驾驶员的视觉。由激光二极管产生的照明可以被紧密地集成到用于前视安全应用的车辆的前灯组件并且被集成在用于后视安全应用的车辆的尾灯组件。
现在参考图6，由照明源36产生的补充(或有源)照明可以在准直光束与锥形漫射光束之间变化。根据示例性实施例，照明源36包括用于在准直光束与锥形漫射光束之间变化的专用光学滤波器。锥形光束可以是指定散射角度内的圆形(对称的宽度和高度)或椭圆形(不对称的宽度和高度)。汽车安全应用典型地需要椭圆的锥形光束，其具有大于高度的宽度。这种类型的专用光学滤波器可以是商业上可用的并且能够与在从1.4到1.6微米(1400到1600纳米)的波长间隔下的激光发射完全兼容。补充(或有源)照明可以在打开和关闭状态(脉冲的)之间不断继续的(连续的)或循环的，打开状态与相机暴露间隔同步(即，当相机累积从1.4到1.6微米的波长间隔中的反射光能量时投射补充照明)。
SWIR波段下的补充照明还可以由多个光源36(例如，发出从1.4到1.6微米的波长间隔中的能量的多个激光二极管)产生。来自每个光源36的准直光束可以被漫射为具有独特散射角度的锥形光束。锥形光束可以重叠以形成分层的宽泛形式的有源照明区域。根据示例性实施例，一个或多个光源36可以以60°、40°、和20°的散射角度投射重叠的锥形漫射光束。漫射到锥形光束中的激光能量具有散射角度与下射程照明距离之间的相反关系。较大的散射角度减小了下射程照明距离。例如，具有60°的散射角度的第一锥形光束80提供了30米的下射程照明距离，具有40°的散射角度的第二锥形光束82提供了60米的下射程照明距离，并且具有20°的散射角度的第三锥形光束84提供了90米的下射程照明距离。如图6中所示，重叠的锥形漫射光束可以从车辆的前灯位置进行投射。重叠的锥形漫射光束80、82、和84被示出为与虚拟平面85相交。在最黑暗的中央区域86中具有最高能量的能量截面与具有20°的散射角度的锥形光束84相对应。总截面区域88与三个锥形区域80、82、和84相对应。
现在参考图7，根据示例性实施例，示出了左侧相机图像90、右侧相机图像92、以及立体范围图94。相机图像90和92是来自SWIR相机的夜晚立体图像。利用CENSUS立体匹配方法对由此产生的立体范围图进行计算。图像90和92被示出为由利用补充照明进行有源操作的相机所采集到的图像(例如，以60°水平散射角度的单个锥形漫射光束)。立体范围图94提供了与图5的立体范围图74相比多得多的范围填充物96(利用无源照明所获得的)。
上文描述了包含左侧相机和右侧相机(例如，左侧相机24和右侧相机26)的立体相机系统的实施例。现在参考图8，本文中所描述的立体视觉系统的另外的变型包括位于左侧相机与右侧相机之间的第三InGaAs相机。立体视觉系统(SVS)100的双重基线立体相机系统102包括左侧相机104、右侧相机106、以及中央相机108。立体相机系统102被示出为与车辆集成；应当理解的是可以在车辆中的任何位置实施SVS 100和车辆的立体相机系统102。立体相机系统102在短波红外(SWIR)波段下进行操作。立体视觉系统100还可以包括处理电路116和一个或多个补充或有源照明源36，处理电路116包括用于完成本文中所描述的各种活动的处理器112和存储器114。根据一个示例性实施例，中央相机108与左侧相机104和右侧相机106相同(例如，相同的视场和图像分辨率)。中央相机108的添加可以实现两种交替的立体匹配技术，如以下所描述的复合窄基线立体匹配和双重基线立体匹配。
参考图9，示出了用于对来自由立体相机系统102产生的立体范围图的对象进行检测、追踪、和分类的过程120的流程图。图9的过程120示出了复合窄基线立体匹配过程。复合窄基线立体匹配指的是对来自左侧相机104与中央相机108对和中央相机108与右侧相机106对的两个立体范围图进行计算的过程(使用CENSUS、SAD、NCC、或其它方法)。根据在离散时间间隔期间由三个相机(左侧相机104、中央相机108、右侧相机106)中的每一个相机获得的灰度图像来对立体范围图进行计算。离散时间间隔可以被称为暴露时间或集成时间并且可以是例如在明亮的阳光条件期间为1/2毫秒并且在弱光条件期间为25毫秒。
参考图9的过程，过程120与图3的过程40的不同之处在于：在第一子过程122中对左侧相机图像与中央相机图像的组合执行图像改正步骤、立体匹配步骤、对象检测步骤、以及对象追踪和分类步骤，并且在第二子过程124中对中央相机图像与右侧相机图像的组合执行图像改正步骤、立体匹配步骤、对象检测步骤、以及对象追踪和分类步骤。对在来自子过程122和124中的左侧-中央和中央-右侧立体相机对的连续视频帧中已进行检测、追踪、和分类的对象分别进行合并(步骤125)。基于对象追踪的结果提供输出信号(步骤126)以便于对车辆的驾驶员提供辅助。基于所追踪和分类的对象，可以实现一个或多个安全应用(步骤128)。
现在参考图10A和10B，示出了两个相机系统130的立体视觉几何形状和计算两个相机系统的立体范围图的过程。两个相机的下射程可以具有以下关系：
下射程＝(基线×焦距)/视差(等式1)
图10A示出了具有重叠的视场(FOV)和下射程有差异的两个区域(1和2)的两个外向型相机(L和R)的鸟瞰图。图10B示出了由左侧相机和右侧相机采集到的左侧相机图像和右侧相机图像中的区域1和区域2的外观。
基线是两个相机的中央光轴之间的真实物理距离(在图10A中由箭头132所示)。基线距离可以是任何的距离(例如，120mm、165mm、200mm)。
视差是左侧相机图像与右侧相机图像中的相对应的区域之间的图像坐标距离(像素中)。该距离被示出为与两个图像中的区域2相对应的视差的DLR[2]。该区域可以是从单个像素到任意形状的像素集群的任何尺寸。可以在例如CENSUS方法或另一种方法内计算视差。计算左侧相机图像与右侧相机图像中的相对应的像素(1×1尺寸的区域)之间的视差产生了立体范围图(立体视差图)，该立体图范围图具有与左侧相机图像或右侧相机图像中的灰度像素相对应的每个像素(常常被称为“范围像素”)的独特下射程测量结果。该过程给出了最高分辨率范围图，但是需要大量的计算。
焦距是准直光射线的光学聚焦的校准测量结果，或被等效地陈述为使平行光射线在经过透镜之后在单个点上相交所需要的距离。立体相机系统的所有三个相机可以使用相同的透镜元件并且因此共享相同的焦距。
下射程、基线、焦距、以及视差之间的关系(等式1)陈述了下射程与与视差的反比例。大的视差对应于小的下射程，并且小的视差对应于大的下射程。参考图10B，区域2的视差比区域1的视差小。参考图10A，区域2的较小视差对应于与区域1相比更大的下射程。
基线和焦距可以是变化的，这可以产生立体视觉系统的各种优点或缺点。较大的基线可以产生更好的下射程准确度；然而，这可能产生较大的盲区。参考图11，最小可检测的下射程被示出为立体相机系统130的窄基线构造134和宽基线构造136。最小可检测的下射程位于相机的重叠FOV的顶点。
参考图12，示出了窄基线构造(线142)和宽基线构造(线144)的视差图140。窄基线构造中的最小可检测的下射程是1.2米，而宽基线构造中的最小可检测的下射程是3.1米。
参考图13，示出了表146，表146显示图11的立体相机系统的窄基线构造和宽基线构造的制成表格的视差值。视差被示出为仅用于从1到30米下射程的下射程的整数值。“N/A”指示视差不可用于相对应的下射程值(其低于最小可检测的下射程)。
图12-13示出了窄基线立体相机系统134与宽基线立体相机系统136之间的视差值中的大的差异。例如，在窄基线立体相机系统134中，处于4米下射程的区域可以具有相对小的视差(例如，27个像素)。与窄基线立体相机系统134相比，在宽基线立体相机系统136中，处于4米下射程的相同区域将具有相对大的视差(例如，53个像素)。
如上所述，在立体匹配方法(CENSUS、SAD、或NCC)内对视差进行计算。为了在左侧相机图像和右侧相机图像中找到相对应的区域，所述方法搜遍所有可能的视差。换言之，对于左侧相机图像中的特定灰度像素(1×1区域)，立体匹配方法在右侧相机图像中在所有可能的视差(与当前像素的像素距离)范围内查找最佳匹配像素。对于特定的立体相机系统，视差的最大数量的减小几何上减少了左侧相机图像与右侧相机图像之间的最佳匹配像素所需的搜索。这进而减少了立体匹配的执行时间，从而允许更快的帧率(需要和处理专用时间间隔内的更多图像)并且可以在比较便宜的嵌入式处理器上运行立体匹配方法。
再次参考图8，双重基线立体相机系统102使用了用于在第一下射程时间间隔内(例如，从21米到1.2米的时间间隔)立体匹配所有区域的左侧相机104和中央相机108所获得的灰度图像。换言之，对于左侧相机图像中的每个像素，立体匹配方法在中央相机图像中在第一范围的所有可能的视差(例如，6和62之间的视差)范围内查找最佳匹配像素。双重基线立体相机系统102使用了从用于在第二下射程时间间隔内(例如，从100米到21米的时间间隔)立体匹配所有区域的左侧相机104和右侧相机106获得的灰度图像。换言之，对于左侧相机图像中的每个像素，立体匹配方法在右侧相机图像中在第二范围的所有可能的视差(例如，10和3之间的视差)范围内查找最佳匹配像素。该搜索可以被限制为灰度图像的上部(根据安装相机的位置)，因为处于21米的区域和较大的下射程通常仅发生在图像的上部。双重基线立体相机系统102可以用于创建单个立体范围图，该立体范围图对于与灰度像素位置相对应的每个像素具有独特的下射程测量结果。
参考图14-15，示出了双重基线立体相机系统的示例性输出。根据立体匹配由左侧相机图像154和中央相机图像155获得的灰度图像来对第一范围图150进行计算。根据立体匹配左侧相机图像154和右侧相机图像156来对第二范围图152进行计算。第一范围图150和第二范围图152可以被结合成单个范围图158。
本公开内容的另一个替代的实施例可以是混合相机系统，该混合相机系统包括在可见光波段(具有红外光到1050nm的最小附加)下进行操作的一对相机、以及如上所述在SWIR波段下的中央相机。根据示例性实施例，在可见光波段下进行操作的两个相机能够感测到第一波长间隔(例如，从0.4到1.1微米(400到1100纳米)的波长间隔)中的能量。相机的焦平面阵列可以由共同的CMOS技术构造。根据示例性实施例，在SWIR波段下进行操作的中央相机能够感测如上所述的第二波长间隔(例如，从0.9到1.8微米的波长间隔)中的能量。
通过对混合相机系统的SWIR相机的使用而产生的图像可以用于证实从在可见光波段下进行操作的相机获得的信息。SWIR相机具有与CMOS相机不同的光谱特性。因此，利用在红外光下良好反射的环境颜色(例如红色)，来自SWIR相机的图像也可以不证实信息。
然而，黑色衣服(和其它黑色材料)在红外光下良好反射。因此，SWIR相机在晚上可以更好地“看见”黑色衣服，因为共同的卤素前灯在红外光区中具有显著的能量因为它们几乎是黑体辐射。由SWIR相机检测到的黑色对象是由CMOS相机检测到的对象的显著的附加物。对SWIR相机的使用允许图像处理器更加清晰地显示黑色材料并且允许对象检测系统更容易地检测对象。
具有有源SWIR照明的SWIR图像可以与来自CMOS立体相机的信息融合以提升CMOS立体相机性能。CMOS相机传感器可以具有峰值处于900mm时的大约1/6灵敏度并且高于1050nm时下降到接近零灵敏度，从而产生增强的信号强度。当正常前灯处于弱光束时可以存在优点，因为SWIR照明是不可见的并且因此可以照亮类似于可见强光束的图案。因此，对于立体视觉系统，照亮了行人、靠近的车辆、以及其它的对象的顶部。
针对SWIR照明，SWIR相机传感器具有较大的信号并且可以是用于可见CMOS立体系统的更好的证实或有效性检查。根据另一个示例性实施例，热红外传感器/相机可以替代SWIR传感器使用。例如，可以使用长波红外传感器，长波红外传感器允许对来自对象的自发光红外辐射的检测。这种类型的热红外传感器对来自对象(在这种热范围内进行辐射)的辐射进行检测，因为对象处于非绝对零温度。生物典型地发射大约10微米的波长。车辆和基础设施随着它们变得更热在更短的波长下进行辐射。可以在立体视觉系统的中央位置使用SWIR或热红外相机。
立体传感器和红外传感器可以一起工作以增强立体视觉系统的夜视能力。作为一个示例，传感器融合可以用于对从在不同光谱波段下进行感测的相机提取的信息进行融合。为了在每个时间点采集相同的场景，典型地对齐传感器从而使它们的视线相互平行。传感器校准常常是必需的步骤以去除图像中的透镜变形并且满足立体匹配的外极线约束。还可以在校准期间对红外传感器与立体传感器之间的几何关系(相对的位置和旋转)进行精确地计算，从而使两个不同的传感器的感应空间可以在数学上准确地关联。
传感器融合可以以不同的方式和不同的水平发生。在一个实施例中，传感器融合可以发生在原始信号水平。如果立体传感器和红外传感器在水平和垂直方向上具有相同的空间分辨率(每个像素的角度)，那么红外图像可以被寄存为左侧和右侧立体图像。对经改正的图像的寄存允许红外图像与左侧和右侧立体图像合并以在立体图像中提升信号的噪声比。该方法以图像水平将立体传感器与红外传感器结合并且假设对象在可见光光谱和红外光谱两者中反射或放射能量。
在另一个实施例中，传感器融合可以发生在范围图水平。如果立体传感器和红外传感器在水平和垂直方向上具有相同的空间分辨率(每个像素的角度)，那么红外图像可以被寄存为左侧立体图像。假设立体范围图是以左侧立体图像为参考的，红外图像继而可以与范围图结合，从而基于红外图像分割填充范围图中的空洞和丢失部分。这种方法还假设对象在可见光谱和红外光谱两者下反射或发射能量。
在另一个实施例中，传感器融合可以发生在检测水平。本文中的红外传感器还可以被非图像形成技术(例如，LIDAR或雷达)或提供范围信息的其它技术替代。可以在立体范围图和红外图像中单独地进行对象检测和分割，或其它变化的技术。可以基于从每个传感器可得到的信息对所检测的对象的三维位置进行单独地计算。根据要感测的场景，传感器融合可以以不同的方式发生。
例如，如果由立体传感器完全或部分地检测对象，那么立体检测可以用作基于红外图像的对象检测和分割中的线索，并且可以根据立体检测直接地获得所检测的对象的下射程。当对象的部分从立体范围图中缺失时(例如，在夜晚行人的黑色裤子)这是特别有帮助的。
如果仅由红外传感器或非CMOS变化的技术来检测对象，那么红外的或非CMOS检测是融合过程的输出，并且立体传感器可以基于紧邻主机车辆的前部的平坦路面的范围信息提供三个相机传感器的动态节距角度校准。动态节距信息在红外图像或非CMOS数据中实现了所检测的对象的准确下射程校准。在这种情况下，红外的或非CMOS传感器在检测可见光光谱下不可见的黑暗对象中起到了关键作用。
如各种示例性实施例中所示出的系统和方法的构造和布置仅是说明性的。尽管在本公开内容中仅描述了少数实施例，但许多修改是可能的(例如，大小、尺寸、结构、各种元件的形状和比例、参数值、安装布置、材料的使用、颜色、取向等的变化)。例如，元件的位置可以颠倒或以其它方式变化并且分立元件的本质或数量或位置可以改变或变化。因此，所有这样的修改旨在被包括在本公开内容的范围内。根据替代的实施例，任何过程或方法步骤的次序或顺序可以是变化的或重新排序的。在不脱离本公开内容的范围的情况下，可以在示例性实施例的设计、操作条件和布置中完成其它代替、修改、变化、以及省略。
本公开内容考虑到在任何机器可读介质上用于完成各种操作的方法、系统、以及程序产品。可以使用现有的计算机处理器、或通过用于适当系统的专用计算机处理器(出于这种或另一种目的并入的)、或通过硬接线系统来实施本公开内容的实施例。本公开内容的范围内的实施例包括程序产品，程序产品包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任何可用的介质，可以由通用或专用计算机或具有处理器的其它机器来存取这种可用的介质。通过示例的方式，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘储存器、磁盘储存器或其它磁性储存设备、或任何其它介质，所述任何其它介质可以用于采用机器可执行的指令或数据结构的形式来承载或存储期望的程序代码，并且可以由通用或专用计算机或具有处理器的其它机器来进行存取。以上的组合还可以包括在机器可读介质的范围内。机器可执行的指令包括例如指令和数据，这些指令和数据使得通用计算机、专用计算机、或专用处理机器执行某些功能或功能组。
尽管附图可以示出方法步骤的具体次序，但步骤的次序可能与所描绘的不同。还可以同时地或部分同时地执行两个或多个步骤。这种变化将取决于所选择的和设计者选择的软件和硬件系统。所有的这种变化处于本公开内容的范围内。同样地，可以利用标准的编程技术来完成软件实施方式，该标准的编程技术具有基于规则的逻辑单元和其它逻辑单元以完成各种连接步骤、处理步骤、比较步骤以及决定步骤。

Claims (26)

1.一种用于在车辆中使用的立体视觉系统，所述立体视觉系统包括：
第一相机传感器，所述第一相机传感器被配置为感测第一反射能量并且基于所感测到的第一反射能量产生第一传感器信号；
第二相机传感器，所述第二相机传感器被配置为感测第二反射能量并且基于所感测到的第二反射能量产生第二传感器信号；以及
处理器，所述处理器被配置为从所述第一相机传感器接收所述第一传感器信号并且被配置为从所述第二相机传感器接收所述第二传感器信号，
其中，所述处理器被配置为基于所述第一传感器信号和所述第二传感器信号来执行立体匹配，
其中，所述第一相机传感器被配置为感测是红外辐射的反射能量，并且
其中，所述第二相机传感器被配置为感测是红外辐射的反射能量。
2.根据权利要求1所述的立体视觉系统，
其中，所述处理器被配置为通过产生立体范围图来执行所述立体匹配，
其中，所述处理器被配置为使用所述立体范围图来执行对象检测，
其中，所述处理器被配置为使用所述对象检测的结果来执行对象追踪，并且
其中，所述处理器被配置为基于所述对象追踪的结果来提供输出信号以便于提供对所述车辆的驾驶员的辅助。
3.根据权利要求1所述的立体视觉系统，
其中，所述第一相机传感器被配置为感测是短波长红外辐射的反射能量，并且
其中，所述第二相机传感器被配置为感测是短波长红外辐射的反射能量。
4.根据权利要求1所述的立体视觉系统，
其中，使用铟镓砷来构造所述第一相机传感器的能量感应区域，并且
其中，使用铟镓砷来构造所述第二相机传感器的能量感应区域。
5.根据权利要求1所述的立体视觉系统，
其中，所述立体视觉系统不包括用于发射电磁辐射的有源照明部件，在由所述立体视觉系统感测的环境下，所述电磁辐射能够在被对象反射时由所述立体视觉系统感测到。
6.根据权利要求1所述的立体视觉系统，
其中，所述立体视觉系统不包括用于发射红外辐射的部件。
7.根据权利要求1所述的立体视觉系统，所述立体视觉系统还包括：
有源照明部件，所述有源照明部件被配置为发射红外辐射。
8.根据权利要求7所述的立体视觉系统，
其中，所述有源照明部件被配置为在发射红外辐射与不发射红外辐射之间交替，并且
其中，所述有源照明部件被配置为与所述第一相机传感器的曝光间隔和所述第二相机传感器的曝光间隔同步地发射红外辐射。
9.根据权利要求7所述的立体视觉系统，
其中，所述有源照明部件包括：
一个或多个激光二极管，所述一个或多个激光二极管被配置为以一个或多个准直光束发射红外辐射；以及
一个或多个光学滤波器，所述一个或多个光学滤波器被配置为由所述一个或多个准直光束产生一个或多个锥形漫射光束。
10.根据权利要求9所述的立体视觉系统，
其中，所述一个或多个激光二极管包括：
第一激光二极管，所述第一激光二极管被配置为以第一准直光束发射红外辐射；
第二激光二极管，所述第二激光二极管被配置为以第二准直光束发射红外辐射；以及
第三激光二极管，所述第三激光二极管被配置为以第三准直光束发射红外辐射，
其中，所述一个或多个光学滤波器包括：
第一光学滤波器，所述第一光学滤波器被配置为由所述第一准直光束产生处于第一散射角度的第一锥形漫射光束；
第二光学滤波器，所述第二光学滤波器被配置为由所述第二准直光束产生处于第二散射角度的第二锥形漫射光束；以及
第三光学滤波器，所述第三光学滤波器被配置为由所述第三准直光束产生处于第三散射角度的第三锥形漫射光束，
其中，所述第一散射角度与所述第二散射角度不同并且与所述第三散射角度不同，并且
其中，所述第二散射角度与所述第三散射角度不同。
11.根据权利要求1所述的立体视觉系统，所述立体视觉系统还包括：
第三相机传感器，所述第三相机传感器被配置为感测第三反射能量并且基于所感测到的第三反射能量产生第三传感器信号，
其中，所述处理器被配置为从所述第三相机传感器接收所述第三传感器信号，并且
其中，所述第三相机传感器被配置为感测是红外辐射的反射能量。
12.根据权利要求11所述的立体视觉系统，
其中，所述第二相机传感器位于所述第一相机传感器与所述第三相机传感器之间，
其中，所述处理器被配置为基于所述第一传感器信号和所述第二传感器信号而非所述第三传感器信号来执行第一立体匹配，并且
其中，所述处理器被配置为基于所述第二传感器信号和所述第三传感器信号而非所述第一传感器信号来执行第二立体匹配。
13.根据权利要求12所述的立体视觉系统，
其中，所述处理器执行针对第一下射程距离范围的所述第一立体匹配，所述第一下射程距离范围具有第一最小下射程距离和第一最大下射程距离，
其中，所述处理器执行针对第二下射程距离范围的所述第二立体匹配，所述第二下射程距离范围具有第二最小下射程距离和第二最大下射程距离，并且
其中，所述第一最小下射程距离与所述第二最小下射程距离实质上相同。
14.根据权利要求12所述的立体视觉系统，
其中，所述处理器被配置为基于所述第一立体匹配的结果而非基于所述第二立体匹配的结果来执行第一对象追踪，并且
其中，所述处理器被配置为基于所述第二立体匹配的结果而非基于所述第一立体匹配的结果来执行第二对象追踪。
15.根据权利要求14所述的立体视觉系统，
其中，所述处理器被配置为执行对所述第一对象追踪的结果与所述第二对象追踪的结果的合并。
16.根据权利要求11所述的立体视觉系统，
其中，所述第二相机传感器位于所述第一相机传感器与所述第三相机传感器之间，
其中，所述处理器被配置为基于所述第一传感器信号和所述第二传感器信号而非所述第三传感器信号来执行第一立体匹配，并且
其中，所述处理器被配置为基于所述第一传感器信号和所述第三传感器信号而非所述第二传感器信号来执行第二立体匹配。
17.根据权利要求16所述的立体视觉系统，
其中，所述处理器执行针对第一下射程距离范围的所述第一立体匹配，所述第一下射程距离范围具有第一最小下射程距离和第一最大下射程距离，
其中，所述处理器执行针对第二下射程距离范围的所述第二立体匹配，所述第二下射程距离范围具有第二最小下射程距离和第二最大下射程距离，并且，
其中，所述第一最大下射程距离与所述第二最小下射程距离实质上相同。
18.根据权利要求16所述的立体视觉系统，
其中，所述处理器被配置为执行对所述第一立体匹配的结果与所述第二立体匹配的结果的合并。
19.根据权利要求18所述的立体视觉系统，
其中，所述处理器通过执行由所述第一立体映射产生的第一立体范围图与由所述第二立体映射产生的第二立体范围图的联合，来执行所述合并。
20.一种用于在车辆中使用的立体视觉系统，所述立体视觉系统包括：
第一相机传感器，所述第一相机传感器被配置为感测第一反射能量并且基于所感测到的第一反射能量产生第一传感器信号；
第二相机传感器，所述第二相机传感器被配置为感测第二反射能量并且基于所感测到的第二反射能量产生第二传感器信号；
第三相机传感器，所述第三相机传感器被配置为感测第三能量并且基于所感测到的第三反射能量产生第三传感器信号；以及
处理器，所述处理器被配置为从所述第一相机传感器接收所述第一传感器信号，被配置为从所述第二相机传感器接收所述第二传感器信号，并且被配置为从所述第三相机传感器接收所述第三传感器信号，
其中，所述处理器还被配置为基于所述第一传感器信号、所述第二传感器信号、以及所述第三传感器信号中的至少一个传感器信号来执行立体匹配，
其中，所述第一相机传感器被配置为感测是可见光辐射的反射能量，
其中，所述第二相机传感器被配置为感测是可见光辐射的反射能量，
其中，所述第三相机传感器被配置为感测是红外辐射的能量。
21.根据权利要求20所述的立体视觉系统，
其中，所述第三相机传感器被配置为感测是热发射能量的能量。
22.根据权利要求20所述的立体视觉系统，
其中，所述处理器被配置为在执行图像改正之后、但在执行立体匹配之前执行对所述第一传感器信号、所述第二传感器信号、以及所述第三传感器信号的合并。
23.根据权利要求20所述的立体视觉系统，
其中，所述处理器被配置为在执行图像改正之后、但在执行立体匹配之前执行对所述第一传感器信号、所述第二传感器信号、以及所述第三传感器信号的结合。
24.根据权利要求20所述的立体视觉系统，
其中，所述处理器被配置为基于所述第一传感器信号和所述第二传感器信号来执行立体匹配以便于产生立体范围图，并且
其中，所述处理器被配置为执行对所述第三传感器信号与所述立体范围图的结合。
25.根据权利要求20所述的立体视觉系统，
其中，所述处理器被配置为基于所述第一传感器信号和所述第二传感器信号来执行第一立体匹配，
其中，所述处理器被配置为基于所述第一立体匹配的结果来执行第一对象追踪，
其中，所述处理器被配置为基于所述第三传感器信号来执行第二对象追踪，并且
其中，所述处理器被配置为执行对所述第一对象追踪的结果与所述第二对象追踪的结果的结合。
26.一种用于车辆中的立体视觉的方法，所述方法包括：
使用第一相机传感器来感测第一反射能量；
基于所感测到的第一反射能量来产生第一传感器信号；
使用第二相机传感器来感测第二反射能量；
基于所感测到的第二反射能量来产生第二传感器信号；以及
基于所述第一传感器信号和所述第二传感器信号来执行立体匹配，
其中，所述第一反射能量是红外辐射，并且
其中，所述第二反射能量是红外辐射。
CN201580018074.0A 2014-04-08 2015-04-08 用于夜视对象检测和驾驶员辅助的系统和方法 Pending CN106132783A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461976930P 2014-04-08 2014-04-08
US61/976,930 2014-04-08
PCT/US2015/024911 WO2015157410A1 (en) 2014-04-08 2015-04-08 System and method for night vision object detection and driver assistance

Publications (1)

Publication Number Publication Date
CN106132783A true CN106132783A (zh) 2016-11-16

Family

ID=54210889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018074.0A Pending CN106132783A (zh) 2014-04-08 2015-04-08 用于夜视对象检测和驾驶员辅助的系统和方法

Country Status (4)

Country Link
US (1) US20150288948A1 (zh)
CN (1) CN106132783A (zh)
DE (1) DE112015001741T5 (zh)
WO (1) WO2015157410A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151334A (zh) * 2018-09-21 2019-01-04 中国计量大学 一种无人车相机系统
CN112969937A (zh) * 2018-10-19 2021-06-15 创新科技有限公司 Lidar系统和方法
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
EP3299240A4 (en) * 2015-05-19 2019-01-30 LG Electronics Inc. DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE AND VEHICLE
US10331956B2 (en) 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
EP3196089B1 (en) * 2016-01-21 2021-10-13 Volvo Car Corporation Vehicle safety assist system, vehicle comprising a vehicle safety assist system and a method for providing driver warning or performing autonomous braking
WO2018088804A1 (en) 2016-11-08 2018-05-17 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US10096256B2 (en) * 2017-03-07 2018-10-09 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US10720069B2 (en) 2017-04-17 2020-07-21 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
EP3462212B1 (en) * 2017-09-28 2022-03-16 Aptiv Technologies Limited Radar system of a vehicle and method for detecting an object in standstill situation
JP7135378B2 (ja) * 2018-03-29 2022-09-13 株式会社アイシン 周辺監視装置
US11260849B2 (en) * 2018-05-23 2022-03-01 Baidu Usa Llc Method for determining lane changing trajectories for autonomous driving vehicles
US11227366B2 (en) * 2018-06-22 2022-01-18 Volkswagen Ag Heads up display (HUD) content control system and methodologies
CN111263131A (zh) * 2018-12-03 2020-06-09 宏碁股份有限公司 影像撷取装置及影像撷取方法
EP3666594B1 (en) * 2018-12-12 2022-08-10 Ningbo Geely Automobile Research & Development Co. Ltd. System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
US11274800B2 (en) * 2019-01-11 2022-03-15 Valeo North America, Inc. IR illuminator with asymetric radiation pattern
DE102019206231A1 (de) * 2019-04-30 2020-11-05 Zf Friedrichshafen Ag Kamerabasierte Positionsbestimmung für ein Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer epipolaren Bildlinie
EP4217791A1 (en) * 2020-09-28 2023-08-02 Snap, Inc. Eyewear with strain gauge estimation
DE102021107903A1 (de) 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Schätzung von Tiefeninformationen
CN114757985A (zh) * 2022-04-15 2022-07-15 湖南工程学院 基于zynq改进算法的双目深度感知装置及图像处理方法
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5650944A (en) * 1993-03-24 1997-07-22 Fuji Jukogyo Kabushiki Kaisha Shutter speed control method and system
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
JP2005530408A (ja) * 2002-06-12 2005-10-06 リットン・システムズ・インコーポレイテッド ＩｎＧａＡｓイメージ増強カメラ
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
US20120038748A1 (en) * 2009-05-19 2012-02-16 Autoliv Development Ab Vision System and Method for a Motor Vehicle
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法
US20130314544A1 (en) * 2012-05-22 2013-11-28 Fujitsu General Limited Night vision image capturing apparatus and infrared radiating apparatus and night vision image capturing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5650944A (en) * 1993-03-24 1997-07-22 Fuji Jukogyo Kabushiki Kaisha Shutter speed control method and system
JP2005530408A (ja) * 2002-06-12 2005-10-06 リットン・システムズ・インコーポレイテッド ＩｎＧａＡｓイメージ増強カメラ
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
US20120038748A1 (en) * 2009-05-19 2012-02-16 Autoliv Development Ab Vision System and Method for a Motor Vehicle
US20130314544A1 (en) * 2012-05-22 2013-11-28 Fujitsu General Limited Night vision image capturing apparatus and infrared radiating apparatus and night vision image capturing system
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹扬等: "短波红外焦平面探测器及其应用进展", 《红外技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151334A (zh) * 2018-09-21 2019-01-04 中国计量大学 一种无人车相机系统
CN109151334B (zh) * 2018-09-21 2020-12-22 中国计量大学 一种无人车相机系统
CN112969937A (zh) * 2018-10-19 2021-06-15 创新科技有限公司 Lidar系统和方法
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device

Also Published As

Publication number Publication date
DE112015001741T5 (de) 2016-12-29
WO2015157410A1 (en) 2015-10-15
US20150288948A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
CN106132783A (zh) 用于夜视对象检测和驾驶员辅助的系统和方法
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
US9964643B2 (en) Vehicle occupancy detection using time-of-flight sensor
CN108919294B (zh) 测距摄像系统以及固体摄像元件
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
CN104512411B (zh) 车辆控制系统及图像传感器
CN102447911B (zh) 图像获取单元、其方法以及相关控制单元
US20130177237A1 (en) Stereo-vision object detection system and method
US20150145996A1 (en) Vehicular display apparatus, vehicular display method, and vehicular display program
CN105452807A (zh) 测距系统、以及信号产生装置
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
US11772545B2 (en) Apparatus, system and method for controlling lighting using gated imaging
KR20140038986A (ko) 카메라 센서에 의한 거리 측정
EP2869021B1 (en) Multiple imager vehicle optical sensor system
CN111323767A (zh) 一种夜间无人车障碍物检测系统与方法
CN103453890A (zh) 一种基于尾灯检测的夜间车距测量方法
US20230020142A1 (en) Situational awareness system for an autonomous or semi-autonomous vehicle
JP2012117872A (ja) 物体検出装置及びこれを備えた車載機器制御装置
US20220368873A1 (en) Image sensor, imaging apparatus, and image processing method
KR101868293B1 (ko) 차량용 라이다 장치
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
Chen et al. Significant obstacle location with ultra-wide FOV LWIR stereo vision system
JP2012119838A (ja) 撮像装置並びにこれを備えた物体検出装置及び車載機器制御装置
Srinivasan et al. Latest Advancements in Perception Algorithms for ADAS and AV Systems Using Infrared Images and Deep Learning
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181024

Address after: michigan

Applicant after: Joyson Security Systems acquires LLC

Address before: michigan

Applicant before: TK Holdings Inc.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20161116

RJ01 Rejection of invention patent application after publication