CN111727437A - 提供碰撞前预警的多光谱系统 - Google Patents

提供碰撞前预警的多光谱系统 Download PDF

Info

Publication number
CN111727437A
CN111727437A CN201980013375.2A CN201980013375A CN111727437A CN 111727437 A CN111727437 A CN 111727437A CN 201980013375 A CN201980013375 A CN 201980013375A CN 111727437 A CN111727437 A CN 111727437A
Authority
CN
China
Prior art keywords
vehicle
module
multispectral
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980013375.2A
Other languages
English (en)
Inventor
海姆·西博尼
德罗·埃尔巴兹
罗姆·什克亚尔
埃拉扎·埃尔金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Automotive Co ltd
Original Assignee
Vision Automotive Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Automotive Co ltd filed Critical Vision Automotive Co ltd
Publication of CN111727437A publication Critical patent/CN111727437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Vascular Medicine (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Transportation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于提供碰撞前预警的多光谱车辆系统，其包括：两对立体红外(IR)和可见光(VL)传感器，每对传感器提供从共同视场获取的图像流，并加以同步以提供立体视觉；一个数据融合模块，用于相互处理数据流，以检测视场内的物体并计算与被检测物体的距离；一个基于蜂窝的通信模块，用于允许传感器与车辆的移动电话/资讯娱乐系统之间进行通信。该通信模块运行一个专用的后台应用程序，该应用程序适于监视车辆的附近区域、以检测具有类似系统的其它车辆，计算每个其它车辆的速度和航向方位角，并且基于该计算的结果和车辆的速度，每当具有类似系统的其它车辆与该车辆位于碰撞路径时，向该车辆驾驶员发出预警。

Description

提供碰撞前预警的多光谱系统
技术领域
本发明涉及交通安全领域。更具体地说，本发明涉及一种用于提供警报的设备，用于避免因为没有保持最小车距、疲劳驾驶或注意力不集中而引起的车祸。
背景技术
确保行驶中的车辆与前方车辆之间保持安全行驶距离是一项至关重要的认知任务。由于车距不足而导致的事故在所有事故占据很大比例，在美国，这个比例超过29％。在许多情况下，违反保持最小车距的行为会导致连环碰撞，牵连很多车辆。之所以会发生这种连环碰撞，是因为：通常情况下，决定停止的驾驶员仅在踩下制动踏板并开始刹车之后才激活刹车灯。因为驾驶员的反应时间(从获得警报到踩下制动踏板，且随后的车辆开始刹车所花的时间)约为0.75秒，导致身后汽车(“跟随车辆”)中的驾驶员获得的视觉警报相对较晚(取决于行驶速度)。例如，若车辆速度为90Km/h，则在反应时间内，随后的车辆行驶18.75m。该距离当然是从总制动距离中减去的，因此碰撞不可避免。
同样，许多事故的原因是驾驶员从行车道的中心漂移并进入其它车道，甚至经过路肩。因此，非常需要一种能够识别和预防这种危险情况的系统。
US 2015/0302606公开了一种可指示车辆与物体之间可能发生碰撞的系统，该系统包括一个处理装置，该处理装置设置为从摄像头接收多个图像并识别物体和该多个图像中的车道标记。这些多个图像用于确定可指示物体的运动和与物体相关联的车道位置的信息。基于指示物体的运动信息以及基于与物体相关联的车道位置，该处理装置确定车辆和物体是否在碰撞路线上。
但是，上述方法提供的解决方案并不令人满意，在恶劣的天气和光照条件下，这种方法无法检测到车辆之间或车辆与物体(被认为是障碍物)之间即将发生碰撞的危险情况。
因此，本发明的目的是提供一种方法和设备，该方法和设备连续且自动地检测由于违反最小行驶距离或由于没有注意而导致车辆之间或车辆与物体之间即将发生碰撞的危险情况。
本发明的另一目的是提供一种即使在非常有限的能见度下和/或在恶劣的天气和光照条件下，也能连续自动地检测危险情况的方法和设备。
随着下文对本发明进行更深入的描述，本发明的其它目的和优点将显而易见。
发明内容
本发明提供了一种可提供碰撞前预警的多光谱车辆系统，包括：
a.两对立体的红外(IR)和可见光(VL)传感器(例如CMOS可见光摄像头)，每对传感器提供从共同视场获取的图像流，将这些图像流加以同步，以提供立体视觉；
b.一个数据融合模块，用于：
b.1)相互处理数据流，以检测视场内的物体；
b.2)计算离被检测到的物体还有多远的距离；
c.基于蜂窝(基于手机)的通信模块，用于允许传感器与车辆的移动电话/资讯娱乐系统之间进行通信，该模块运行一个专用的应用程序，该应用程序是一款后台应用程序，其适用于：
c.1)监视车辆附近环境，以检测其它具有类似系统的车辆；
c.2)计算每一其它车辆的速度和航向方位角；和
c.3)基于上述计算的结果和车辆的速度，每当具有类似系统的其它车辆与该车辆位于碰撞路径时，向车辆驾驶员发出警报。
一方面，本发明的多光谱车载系统包括：
a.IR和VL立体检测模块，每个模块均包含一个自动校正模块，用于基于视差计算和对极几何结构重建立体视图的3D深度映射图，而两个传感器的光轴均平行；
b.视差模块(Disparity module)，其接收两个未失真的(径向的和切向的)、校正过的(在用适当的单应性变换之后)且同步的图像，并创建密集精细的视差映射图；
c.距离测量模块，用于接收视差映射图并提供每像素的距离值；
d.地面预估器模块，其接收上述密集精细的视差映射图以及经校准和同步过的图像，并提供密集的接地平面分割；
e.集群模块(Clustering module)，其接收上述密集精细的视差映射图、V视差映射图和地平面拟合，并从图像流中提取障碍物；
f.追踪模块，其接收上述密集精确的视差映射图、障碍物列表、陀螺仪坐标和车速数据，并提供包含所有被追踪障碍物的结构阵列；
g.障碍物检测模块，该模块接收障碍物和速度的列表、陀螺仪坐标、汽车速度和地平面拟合，并提供物体ID、特征以及预估的碰撞时间，而且当在关键路径发现障碍物，根据相关速度，制动距离短于离障碍物的距离时，提供关键的障碍物指示；
h.立体融合模块，接收转向灯状态、IR图像BIT(Built In Tests，内置测试)状态、VL图像BI T状态、前方障碍物的距离测量值(由IR集计算出)、前方障碍物的距离测量值(由VL集计算出)、障碍物坐标以及尺寸大小(由IR集和VL集计算出)，并向每个摄像头单目模块输出以下数据：转向灯状态、障碍物坐标和边界框(范围框)大小以及与障碍物的距离；以及
i.决策模块，用于向用户提供音频/视觉/触觉指示。
本发明的多光谱车辆系统可进一步包含：
a.一个IR单目比较模块(Mono Comparison module)，用于接收来自红外传感器的距离、障碍物分类、车道偏离指示和线型，并将摄像头计算出的距离进行平均，从而提高分类任务和车道偏离指示的置信度；和
b.VL单目比较模块，用于接收来自VL传感器发出的距离信息、障碍物分类、车道偏离指示和线型，并将摄像头计算出的距离进行平均，以提高分类任务和车道偏离指示的置信度。
该多光谱车辆系统还可以包括单目+立体融合模块，该模块从立体融合模块接收立体图像状态下的转向灯状态、根据立体集合(stereo sets)的障碍物坐标、大小和边界框、到障碍物的距离、摄像头/图像状态等数据，汇总“立体融合”模块和“单目比较”模块的结果，并输出从所有指示的平均距离、车道偏离决策和障碍物检测决策。
在其它摄像头发生故障时，每一摄像头都可适合于冗余。
每个摄像头可以具有自动校正模块，这允许将摄像头模块独立地放置在车辆中。
本发明的多光谱车辆系统可进一步包括依赖于非线性拟合和适应平铺显示(adaptive ground tiling)的地面预估器(ground estimator)。
图像获取频率可以与车辆的速度相关。
本发明的多光谱车辆系统还可以包括“图像机内测试”(Built In Tests，BIT)模块，该模块能够至少执行以下测试：
a.图像获取(失败/通过)
b.GL直方图(图像亮度/图像暗度)
c.局部遮挡(检测挡风玻璃上的污渍)
d.颜色直方图(检测失败的通道)
e.时间戳验证，以验证同步情况
本发明的多光谱车辆系统还可包括陀螺仪，该陀螺仪用于获得每帧画面中车辆的精确航向，从而忽略不在车辆前方的障碍物。
根据本发明的车辆可提供以下输入之一：
-速度
-用于检测车道偏离的转向灯状态
当两个传感器的光轴平行时，专用的应用程序可基于视差计算和对极几何结构提供深度映射图。
到障碍物的距离可以计算为两个立体集合(stereoscopic set)之间的平均值。
如果其中一个传感器发生故障，则剩余的单目模块可根据工作集合(workingset)接收距离数据。
附图说明
图1显示了本发明所提供之系统的结构。
具体实施方式
本发明涉及一种避免事故的系统和方法。在任何情况下(即使能见度非常有限)和/或在恶劣天气下，都可以准确地自动检测出由于违反保持最小行驶距离或由于不注意而导致的车辆之间或车辆与物体之间即将发生碰撞的危险情况。本发明的系统使用两对传感器(例如摄像头)：一对包括可见光(VL)传感器，另一对包括红外(IR)传感器。从两对传感器中获取的图像被相互处理，以获得立体视图，从而获得更好的距离预估和检测能力。
本发明提供的系统具有两个对提高驾驶安全性来说必不可少的重要特征：视线检测能力以及视线外碰撞前的预警能力。
视线检测
本发明的系统包括一个多光谱视觉层，该层从四个摄像头接收数据流，该四个摄像头由一对立体(热)红外(IR)摄像头和一对可见光(VL)摄像头组成。每对摄像头都运行模拟并增强人类深度感知生物学机制的人工模块。将从两对摄像头接收到的数据流进行处理，以提供数据的无缝融合，从而获得最大的精确度。红外摄像头和可见光摄像头的组合使系统可以在所有天气和光照条件下(例如完全黑暗、下雨、阴霾、雾和眩光)充分运行。
视线外碰撞前预警
本发明的系统还包括两对传感器与移动电话/资讯娱乐系统(IoS/Android)之间基于蜂窝的通信。该系统运行一个专用的应用程序，该程序根据汽车的速度监控每辆汽车的附近情况，并根据计算出的速度和前进方向，在发现其它车辆位于发生某些碰撞的路径时发出警报。
本发明的系统100适于执行视线外检测，其包括SIM卡和专用的应用程序，该专用的应用程序在被安装以后会在后台持续运行。该应用程序会高频识别汽车的运动并将其位置发送到主服务器，而汽车的位置是根据“陀螺仪、GPS、速度”指示的数据融合以及道路捕捉而计算。该应用程序对主服务器进行高频采样，以接收汽车附近用户的更新。基于最高频的更新，该应用程序计算该区域中每个用户的方位角和速度，并预测潜在的碰撞。如果检测到潜在碰撞，系统将提供视觉和音频警报。
图1显示了本发明系统100的结构。
系统100包括一对IR传感器101a和101b，其可以是两个长波热红外(IR)摄像头。红外摄像头以与车辆速度相对应的频率获取图像，最高每秒45帧(即动态每秒帧数(FramesPer Second，FPS))，即图像获取频率与汽车的速度相关(更高的速度＝更高的频率，最高可达45FPS)。采集的帧将平行传输至三个红外模块：立体检测红外模块7、左红外单目模块11a和右红外单目模块11b。
该系统还包括一对VL传感器102a和102b，它们可以是两个CMOS可见光(VL)摄像头，它们以与车辆速度相关的频率采集图像，最高每秒捕获45帧(“动态FPS”)。获取的帧平行传输至三个VL模块：立体检测VL模块8、左VL模块10a和右VL模块10b。
为了获得立体视图，需要两个同步图像。两组图像(IR和VL)中的每一个都连接到两个对应的同步单元3a和3b，这些同步单元为两个传感器提供相同的时钟，并确保所获取的图像具有完全相同的时间戳(time stamp)。
为了获得具有适当质量的图像，每对传感器使用两个图像内置测试(BIT)单元4a和4b。每个BIT单元接收来自摄像头的图像，接收车速(来自车辆的OBD 6)和接收来自陀螺仪单元5的关于车辆方向的陀螺仪指示。由于本发明的系统能够在所有天气和闪电条件下检测所有障碍物，该系统使用陀螺仪数据获取每帧图中车辆的准确航向。当车辆的航向已知时，系统可忽略不在车辆前方的障碍物。
只要根据预定的一组阈值来说，图像质量是良好的，就不会有来自BIT单元的指示。如果图像质量差或未到达所要求的阈值，则BIT单元将故障图像的ID传送到立体融合模块14(这将在后面描述。如果“速度”或“陀螺仪”指示失败，则将严重警告消息发送到“立体融合”模块。
为了提供适当的预警，车辆的速度对于计算汽车的制动距离至关重要。根据车辆转向灯的状态，激活“车道偏离警告”算法以检测车道偏离的情况。只要转向灯亮起，就不会发出有关车道偏离的警报。
系统100包括两个主要检测模块：IR立体检测模块7和VL立体检测模块8。这两个模块均使用立体视觉技术，该立体视觉技术能够获得真实的深度场景映射图，有助于提升物体分类和距离预估的准确度。
红外立体检测模块
红外立体检测模块7包括以下子模块：
第一子模块是自动校正模块7a，其基于可在两个摄像头的光轴平行时使用的视差计算以及对极几何结构，来重建立体视图的3D深度映射图。自动校正功能允许摄像头模块独立放置在车辆中。
使用从两个摄像头接收的同步图像来执行校正，这些摄像头指向同一场景，并以具有已知放大倍数的校准(aligned)图像结束。由于系统100包含两个独立摄像头，因此它有3个自由度(围绕左右摄像头的X/Y/Z轴旋转)。因此，所计算的变换提供了单应性的非唯一解，这可能会导致结果不稳定，也使距离计算存在较大误差。系统100基于稍后将提及的对极几何形状使用新的修正处理(rectification process)。
在具有预定物体(例如，具有预定大小的正方形的棋盘)的图案上执行初始校准，该预定物体放置在不同距离、对应不同的转动。这一过程为每个摄像头计算一组固有参数(例如：主点、焦距、径向畸变和切向畸变)。例如，可使用Burger-Zhang等摄像头校准算法(一种用于摄像头校准的算法，该算法是基于具有已知坐标的空间中明确定义的点)来完成每对摄像头的立体视觉校准。
校正方法包括若干步骤。第一步包括：对放置在车辆前的指定目标进行(第一次)手动(粗略)校准，在该车辆上安装两个独立摄像头。例如，可将两个独立摄像头安装在挡风玻璃或汽车的横梁、前照灯、汽车的格栅等后面。在第二步中，计算两个外部参数：相对于光轴和每个摄像头的朝向，对每个摄像头进行方向调整(即旋转和平移)。在下一步中，使用加速稳健特征(Speeded Up Robust Features,SURF)算法(这是一种局部特征检测器和描述器，可用于诸如物体识别、图像配准、分类或3D重建等任务)找到匹配点。下一步，对匹配点集合中的离群点进行细化，并执行初始基本矩阵(用于立体视觉匹配的装置：进行成像时，例如，左摄像头中的每个像素在右摄像头中都有一个对应的像素，该矩阵对其进行匹配)的预估。在下一步，通过最小化，执行迭代基本矩阵的预估。
下一步，对左、右单应性进行初始计算(在射影几何中，单应性是射影空间的同构，其向量空间的同构所引发，而射影空间源自向量空间)。它是一种双射(一组点之间的一对一对应关系，在本例中为立体匹配)，其进行线对线的映射，形成共线。通常，某些共线不是单应性，但是射影几何的基本定理认为，在维度的实际射影空间中，情况并非如此，至少两个可使用对极几何体(对极几何是立体视觉的几何。当两个摄像机从两个不同的位置查看3D场景时，3D点及其在2D图像上的投影之间存在一系列的几何关系，这会导致图像点之间存在约束)。
下一步，通过使用摄像头的固有参数、中心点定位、W偏移(传感器中心与光学中心之间的距离偏差)定位，来迭代计算最佳单应性。再下一步，对最佳匹配单应性的内在参数进行预估，该单应性对于整个帧的集合有效。随着作为视差值的二次函数的失准误差增大，并且由于照摄像头未放置在统一的刚性结构上，因此系统100能够实时修复由于抖动而导致的失准。此功能称为自动校正方法，该方法根据最后计算的自动校正来计算内部参数和外部参数。在下一步中，计算左摄像头及右摄像头捕获的重叠区域上的匹配点集。下一步，使用重叠的匹配点，来计算变换两个摄像头的图像空间的单应性(修正处理)。每当车辆不行驶时(速度＝0)，都会定期重复此过程。
匹配视场
红外和可见范围摄像头使用不同的传感器：大小、间距(像素大小)不同，当然还有光谱范围的灵敏度不同。两个传感器的摄像头焦距都不相同，因此两个通道中的每一通道基本都有自己的视场(Field Of View，FOV)。校准过程可确保相同的定向，但是将选择FOV重叠以用于进一步的系统操作。将由一个重叠匹配模块以自动方式执行此功能。
第二个子模块是视差模块7b，它接收两个未失真的(径向和切向)、经过校正(在用适当的单应性进行变换之后)且同步过的图像，并根据以下步骤创建密集精细的视差映射图：第一步：使用普查相关性(Census correlation)(添加纹理)，计算初始成本函数(用于初始视差)。下一步：基于校准结果，以减少度数的方式使用半全局块匹配(Semi-GlobalBlock Matching，SGBM)算法。下一步：将图像拆分为垂直条纹，并计算每个条纹的SGBM算法。下一步：执行所有条纹的全局拟合，以创建全局视差映射图。再下一步：在应用自适应中值滤波器(adaptive median filter)进行平均时，添加纹理贴图拟合(texture mapfitting)(通过使用Census transform)，计算左立体图像(左视差)上的立体分割。
第三子模块是距离测量模块7c，其接收视差映射图，并使用标准的计算方法提供“每像素距离”(Distance per pixel)(每像素的距离＝(焦距镜头*基线/视差))。
第四个子模块是地面预估器模块7d，它根据以下步骤接收密集精细的视差映射图以及经过校准及同步的图像，并提供密集的地平面分段：第一步，计算V视差映射图(V视差映射图像的每一行都是视差映射图中该行上出现的各种视差值的直方图。正确执行后，地平面上各点的视差将在V视差映射图中显示为一条强谱线)，其中V视差映射图像的每一行是出现在计算的视差映射图中适当行上的各种视差值的直方图。地平面上的点的视差将显示为V视差映射图中的强谱线(非垂直)。属于障碍物的点的视差将在V视差映射图中显示为垂直线段。在下一步中，使用V差异找到地面平面点的初始集群(对于平坦的道路几何形状-纯平面的道路，可能是足够的)。在下一步中，对地面平面点的集群进行非线性拟合(执行非平坦道路几何的常见情况)。
用样条(spline)拟合2级曲面(统计观察发现这已足够)。通过将初始地面点集群(在地面上选择的不同点，以定义地面预估量)划分为多个子区域，可以对地面进行平铺。在子区域上执行的(局部)拟合以及随后的整体拟合包括消失点约束(对于非铺装或结构化道路的地面估算器，车道边界是通过估算消失来设置的：水平线，或视角下两条平行线交汇的点)，以优化结果。子区域是适应性计算的，因此较近的点将获得较大的子区域，而较远的点将获得较小的子区域。
第五个子模块是集群模块7e，它接收密集精细的视差映射图、V视差映射图和地平面拟合(基于视差映射图预估每个像素的范围映射)，作为响应，从图像流中提取障碍物(例如，通过添加边界框并提供2D坐标)。第一步，对于不在道路上的物体，V视差映射图提取地平面集群并执行初始分割。而属于障碍物的点的视差将显示为垂直线段。在下一步，局部累积视差映射图上属于同一物体的视差。在下一步中，围绕障碍物构建边界框，以提取障碍物。
第六子模块是追踪模块7f，其接收密集精细的视差映射图、障碍物列表、陀螺仪坐标和车速信息，并提供包含所有被追踪障碍物的结构阵列。该过程可以例如通过使用卡尔曼滤波器预测(Kalman Filter prediction)来完成。
第七子模块是障碍物检测模块7g，它接收障碍物和其速度列表、陀螺仪坐标、汽车速度和地平面拟合，并提供物体ID和特征(例如大小、速度等)以及预估的碰撞时间。如果在关键路径中发现障碍物(不在陀螺仪遮罩下)，并且根据相关速度的制动距离(自速度减去障碍物速度)短于到障碍物的距离范围，则模块将提供关键障碍物指示。
VL立体检测模块
VL立体检测模块8包括与IR立体检测模块8相同的子模块8a-8g。此处，进行与IR立体检测模块8相同的处理，只是处理的对象是VL图像。
立体融合模块
立体融合模块9通过数据总线9d和9e接收以下输入：转向灯状态9a、IR图像BIT状态9b、VL图像BIT状态9c、前方障碍物的距离测量值(由IR集计算)、前方障碍物的距离测量值(由VL集计算)、障碍物坐标和大小(由IR集计算)、障碍物坐标和大小(由VL集计算)。经过处理之后，融合模块9向摄像头单目模块11a、11b、10a和10b输出以下数据：转向灯状态、障碍物坐标和边界框大小、以及到障碍物的距离。如果所有四个传感器(摄像头)101a、101b、102a、102b均可用(基于图像BIT单元4a和4b)，则将距离计算为两个立体集之间的平均值。如果其中一个传感器发生故障，则系统将提供有关摄像头故障的指示，而另一个单目模块则根据工作集，接收距离信息。
本发明的系统100适于应用几个融合水平。VL通道与IR通道之间的数据融合可通过几种方式进行。最简单的方法是在通道之间切换，并根据预定义的标准(例如：图像质量、SNR/SBR等)选择“最佳通道”。另一种方法是同时激活这两个通道并融合检测结果。复杂的模块可以在更早的级别融合通道：视差映射图。在两个映射图之间融合(注册后)也是可行的，以便在物体检测时仅处理单个映射图。
如果根据BIT单元4as和4b，所有四个传感器(摄像头)均可用，则到物体的距离将作为两个立体集之间的平均值计算。如果其中一个传感器发生故障，则另一单目模块将根据工作设置接收距离。这种体系结构允许系统具有4级冗余。在完整的操作组合中，两个红外摄像头(立体)+两个VL摄像头(立体)均处于激活状态。
摄像头故障
对于单个摄像头故障，可能有以下几种组合：
1台红外摄像头(单目)+2台VL摄像头(立体)
2个红外摄像头(单目)+1个VL摄像头(立体)
对于两个摄像头故障，可能有以下组合：
红外摄像头(无法使用)+2VL摄像头(立体)
2台红外摄像头(单目)+0台VL摄像头(无法使用)
1台红外摄像头(单目)+1台VL摄像头(单目)
对于三台摄像头故障，只能使用一台摄像头，并且可以进行以下组合：
1台红外摄像头(单目)+0台VL摄像头(无法使用)
0台红外摄像头(无法使用)+1台VL摄像头(单目)
在这种情况下，每个摄像头都充当“单目视觉”(“Mono Vision”)摄像头，执行以下操作：
a)物体归类：基于深度学习法，该模块可以通过接收传感器获取的完整图像和障碍物的边界框(可从立体图层获得的情况下)，识别例如“汽车”/“行人”/“骑自行车的人”，并在处理之后对物体进行分类(如果障碍物是汽车/行人/骑自行车的人)，根据来自单个摄像头的数据估算物体距离，从而计算到障碍物的距离；
b)车道偏离警告(LDW)：接收由传感器获取的完整图像和转向灯状态，并执行车道识别、车道类型识别，判断偏离车道中心的百分比，在偏离百分比高于定义的阈值的情况下，发出预警。其可以使用车道检测的常规方法实现，如基于霍夫变换(Hough transform，图像处理中用于检测直线的数学工具)和自适应GL阈值(通过在GL上设置阈值(灰度级)以区分实线和噪音)；
c)交通标志识别(TSR—仅在可见光摄像头中可用)：接收传感器获取的完整图像并进行交通标志识别，然后在以下情况之一时提供预警指示：
a.汽车速度高于指定的允许速度
b.车速不允许驾驶员在已识别的“停止”标志前停车
c.“禁止进入”标志标识
可以使用深度学习法来完成物体识别。
红外单目比较模块
IR单目比较模块12增加了分类任务(汽车/行人/骑车人/其它)和车道偏离指示的置信度。该模块还平均摄像头计算的距离。红外单目比较模块12接收与红外传感器的距离、障碍物分类、车道偏离指示和线型。在障碍物分类期间，如果两个传感器都指向大致相同的分类，则将该分类发送到“单目+立体融合”模块14。如果两个传感器都指向车道偏离，则将车道偏离指示发送到“单目+立体融合”模块14，否则，将警报指示发送到“单目+立体融合”模块14。如果两个传感器都指向大约相同的线路类型，则将该线路类型发送到“单目+立体融合”模块14，否则，将“实线”(“Solid line”)指示发送到“单目+立体融合”模块14。
VL单目比较模块
VL单目比较模块13的功能类似于IR单目比较模块12的功能，使用交通标志识别来增加允许的速度，该速度会检测标志上写明的最高速度。如果两个传感器都指向相同的交通标志，则将允许的速度(检测到的标志)发送到“单目+立体融合”模块14，否则，将两个传感器检测到的最低速度发送到“单目+立体”融合”模块14。
单目+立体融合模块
单目+立体融合模块14是一个逻辑单元，用于汇总来自立体融合模块9和单目比较模块12和13的结果。单目+立体融合模块14从立体融合模块9接收转向灯状态、障碍物坐标、基于立体集的大小和边界框、到障碍物的距离、“摄像头/图像”状态(根据图像BIT单元4a和4b)。单目+立体融合模块14从单目比较单元12和13接收距离、障碍物分类和车道偏离输入，并且在处理接收到的数据之后，输出来自所有指示的平均距离、车道偏离判定和障碍物检测决定。
决策模块
决策模块15是对用户的输出，其可以是音频/视觉/触觉指示。
本发明的系统还适于提供预测性碰撞警告。高级驾驶员辅助(Advanced driver-assistance，ADAS)系统是在驾驶过程中帮助驾驶员的系统。ADAS系统旨在检测FOV道路上的物体(例如行人、骑自行车的人等)，并在行车道上的潜在障碍物可能导致前方发生碰撞时发出警报。但是，虚拟路径之外的物体可能会带来另一种危险。考虑到可能的交叉速度矢量，可能会发生碰撞(典型的例子是：行人试图以相对于行驶中的汽车的某一角度穿过马路，并可能导致危险的道路事故)。根据相对速度向量，预测FOV中每个物体的潜在碰撞点的模块，该模块用递归的方式为这种预测提供所需信息。
天气条件(主要是冬季)会产生某些障碍物，例如道路上可能遮蔽分隔线的雪，或可能误导驾驶员的水坑。本发明提出的系统还适于基于Ransac算法(random sampleconsensus，随机抽样一致算法，主要通过增强物体边界及强调深度变化)来检测这种冰坑和水坑。
本发明提出的系统还适于检测坑洼、下陷和其它类型的道路不连续的情况。可以使用正/负视差(从地图中得出)来推断行驶中的车辆是否在障碍物或坑洼或下沉坑的前面。
尽管本文已经对本发明的实施例进行描述说明，但是，应当理解，在不超出权利要求的范围的情况下，本发明的实施方式可以有许多变化、修改和适应性调整。

Claims (21)

1.一种用于提供碰撞前预警的多光谱车辆系统，包括：
a.两对立体红外(IR)和可见光(VL)传感器，每对传感器提供从共同视场获取的图像流，所述图像流进行同步化，以提供立体视觉；
b.数据融合模块，其用于：
b.1)相互处理所述数据流，以检测所述视场内的物体；
b.2)计算到被检测物体的距离；
c.基于蜂窝的通信模块，其用于允许所述传感器与所述车辆的移动电话/资讯娱乐系统之间进行通信，该模块运行一个专用的应用程序，该专用的应用程序是一后台运行的程序并适应于：
c.1)监视所述车辆的附近，以检测具有类似系统的其它车辆；
c.2)计算每一所述其它车辆的速度和航向方位角；以及
c.3)每当具有类似系统的其它车辆与所述车辆位于碰撞路径时，基于所述计算的结果和所述车辆的速度，向所述车辆的驾驶员发出预警。
2.如权利要求1所述的多光谱车辆系统，包括：
a.IR和VL立体检测模块，每个模块包括：a1自动校正模块，其基于视差计算和对极几何，当两个传感器的光轴彼此平行时，重建立体视图的3D深度映射图；
b.视差模块，其接收两个未失真的(径向的和切向的)、修正过(经适当的单应性变换之后)且同步过的图像，并创建密集精细的视差映射图；
c.距离测量模块，用于接收视差映射图，并提供每像素距离；
d.地面预估器模块，其接收密集精细的视差映射图以及校准过并同步过的图像，从而提供密集的接地平面分割；
e.集群模块，其接收密集且精细的视差映射图、V视差映射图和地平面拟合，并从图像流中提取障碍物；
f.追踪模块，其接收密集且精细的视差映射图、障碍物列表、陀螺仪坐标和车速，并提供包含所有被追踪障碍物的结构阵列；
g.障碍物检测模块，其接收障碍物和速度的列表、陀螺仪坐标、汽车速度和地平面拟合，提供物体识别、特征以及预估的碰撞时间，且每当在关键路径发现障碍物时，如果根据相关速度制动距离短于到达障碍物的距离范围，提供关键障碍物指示；
h.立体融合模块，其接收转向灯状态、IR图像BIT状态、VL图像BIT状态、前方障碍物的距离测量值(由IR集计算)、前方障碍物的距离测量值(由VL集计算)、障碍物坐标以及由IR和VL集计算得出的尺寸，并向每个摄像头单目模块输出以下数据：转向灯状态、障碍物坐标和边界框大小、以及与障碍物的距离；以及
i.决策模块，用于向用户提供音频/视觉/触觉指示。
3.如权利要求2所述的多光谱车辆系统，其进一步包括：
c.IR单目比较模块，其通过接收来自IR传感器的距离、障碍物分类、车道偏离指示和线型，并将摄像头所计算出的距离进行平均，从而提高分类任务和车道偏离指示的置信度；和
d.VL单目比较模块，其通过接收来自VL传感器的距离、障碍物分类、车道偏离指示和线型，并将摄像头所计算出的距离进行平均，以提高分类任务和车道偏离指示的置信度。
4.如权利要求3所述的多光谱车辆系统，其特征在于：该多光谱车辆系统还包括单目+立体融合模块，其从所述立体融合模块接收所述转向灯状态、基于立体集的所述障碍物坐标、大小以及边界框、与所述障碍物的距离、摄像/图像状态，并汇总“立体融合”模块和单目比较模块的结果，输出所有指示的平均距离、车道偏离决策和障碍物检测决策。
5.如权利要求1所述的多光谱车辆系统，其中，若摄像头组合中的一摄像头发生故障，则每一其它摄像头都适于冗余。
6.如权利要求1所述的多光谱车辆系统，其中，每一摄像头具有自动校正模块，该自动校正模块允许将摄像头模块独立放置在车辆中。
7.如权利要求1所述的多光谱车辆系统，其进一步包括依赖于非线性拟合和自适应地面平铺的地面预估器。
8.如权利要求1所述的多光谱车辆系统，其中，图像采集频率与所述车辆的速度相关。
9.如权利要求1所述的多光谱车辆系统，其中，所述VL传感器是CMOS可见光摄像头。
10.如权利要求1所述的多光谱车辆系统，其进一步包括图像内置测试(BIT)模块，该模块能够执行至少以下测试：
a.图像获取(失败/通过)
b.GL直方图(图像亮度/图像暗度)
c.局部遮挡(检测挡风玻璃上的污渍)
d.颜色直方图(检测失败的通道)
e.时间戳验证，以验证同步情况。
11.如权利要求1所述的多光谱车辆系统，其进一步包括陀螺仪，该陀螺仪用于获得所述车辆每帧的精确航向，从而忽略不在所述车辆前方的障碍物。
12.如权利要求1所述的多光谱车辆系统，其中，所述车辆提供以下输入中的一个或多个：
-速度
-用于检测车道偏离的转向灯状态
13.如权利要求1所述的多光谱车辆系统，其中，基于视差计算和对极几何，当两个传感器的光轴彼此平行时，所述专用的应用程序基提供深度映射图。
14.如权利要求1所述的多光谱车辆系统，其中，到所述障碍物的距离被计算为所述两个立体集之间的平均值。
15.如权利要求1所述的多光谱车辆系统，其中，如果所述传感器之一发生故障，则剩余的单目模块将根据所述工作集，接收所述距离。
16.如权利要求1所述的多光谱车辆系统，其进一步包括两个图像内置测试(BIT)单元，每对传感器各一个，用于：
a)接收来自摄像头的图像、车速和来自一个陀螺仪单元的关于车辆航向的陀螺仪指示，该陀螺仪单元提供车辆每帧的精确航向；和
b)每当图像质量较差或未达到所要求的阈值时，将故障图像的ID传输到立体融合模块。
17.如权利要求1所述的多光谱车辆系统，其中，基于车辆转向灯的状态，激活“车道偏离警告”算法，以检测车道偏离的情况。
18.如权利要求1所述的多光谱车辆系统，其中，红外立体检测模块包括自动校正模块，该自动校正模块用于：基于视差计算和对极几何结构，当两个摄像头的光轴平行时，重建立体视图的3D深度映射图；其中，采用指向同一场景的两个摄像头接收的同步图像来执行校准程序，以具有已知放大倍数的校准图像结束。
19.如权利要求1所述的多光谱车辆系统，其中，使用Burger-Zhang的摄像头校准算法来完成每对摄像头的立体视觉校正。
20.如权利要求1所述的多光谱车辆系统，其中，通过以下步骤来执行校正：
a)对指定目标进行手动校准，该指定目标放置在安装有两个独立摄像头的车辆前方；
b)计算每个摄像头相对于光轴的方位和每个摄像头的方位；
c)使用加速稳健特征(SURF)算法查找匹配情况；
d)从一个匹配点集合和一个初始基本矩阵中提炼离群值；
e)通过最小化执行迭代基本矩阵预估；
f)使用对极几何学对左右单应性进行初始计算；
g)通过使用摄像头的固有参数、中心点定位、W偏移，迭代地计算最佳单应性；
h)对最佳匹配单应性的固有参数进行预估，该单应性对于整个帧的集合有效；
i)在左右摄像头捕获的重叠区域上计算匹配点的集合；
j)使用重叠的匹配点，计算能转换两个摄像头的图像空间的单应性；以及
k)每当车辆不行驶时，定期重复该过程。
21.如权利要求1所述的多光谱车辆系统，其中，所述视差模块接收两个未失真的、校正过并同步过的图像，并且通过以下方式创建密集精细的视差映射图：
a)使用普查相关性计算初始成本函数；
b)基于校正结果，以减少度数的方式使用半全局块匹配(SGBM)算法；
c)将图像拆分为垂直条纹，并计算每个条纹的SGBM算法；
d)执行所有条纹的全局拟合，以创建全局视差映射图；以及
e)当对自适应中值滤波器进行平均时，计算左立体图像(左视差)上的立体分割，并添加纹理贴图拟合。
CN201980013375.2A 2018-01-08 2019-01-07 提供碰撞前预警的多光谱系统 Pending CN111727437A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862614523P 2018-01-08 2018-01-08
US62/614,523 2018-01-08
PCT/IL2019/050034 WO2019135246A1 (en) 2018-01-08 2019-01-07 A multi-spectral system for providing pre-collision alerts

Publications (1)

Publication Number Publication Date
CN111727437A true CN111727437A (zh) 2020-09-29

Family

ID=67144036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980013375.2A Pending CN111727437A (zh) 2018-01-08 2019-01-07 提供碰撞前预警的多光谱系统

Country Status (5)

Country Link
US (1) US11100806B2 (zh)
EP (1) EP3738072A4 (zh)
JP (1) JP7485612B2 (zh)
CN (1) CN111727437A (zh)
WO (1) WO2019135246A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US11508079B2 (en) * 2019-06-28 2022-11-22 Intel Corporation Parallelism in disparity map generation
US11627299B1 (en) * 2019-08-20 2023-04-11 Opic, Inc. Method and apparatus for a stereoscopic smart phone
US11030478B1 (en) 2019-11-27 2021-06-08 Compound Eye, Inc. System and method for correspondence map determination
US11270467B2 (en) * 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
US20220335730A1 (en) * 2020-07-15 2022-10-20 Visual Defence Inc. System and method for traffic signage inspection through collection, processing and transmission of data
US11178382B1 (en) * 2020-10-27 2021-11-16 Shoppertrak Rct Corporation Auto-calibration of stereoscopic imaging device
CN113838111A (zh) * 2021-08-09 2021-12-24 北京中科慧眼科技有限公司 一种道路纹理特征检测方法、装置与自动驾驶系统
US20230222761A1 (en) * 2022-01-12 2023-07-13 Nec Corporation Of America Removal of artifacts from images captured by sensors
CN114650405B (zh) * 2022-03-21 2023-01-24 嘉兴智瞳科技有限公司 一种立体视频最佳融像视差成像方法及装置
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置
WO2023235093A1 (en) * 2022-05-31 2023-12-07 Douglas Robert Edwin A method and apparatus for a stereoscopic smart phone

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522910A (zh) * 2003-02-10 2004-08-25 �ղ��Զ�����ʽ���� 车辆动力学控制设备
US20040183905A1 (en) * 2003-02-05 2004-09-23 Dorin Comaniciu Real-time obstacle detection with a calibrated camera and known ego-motion
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
US20160129906A1 (en) * 2014-11-07 2016-05-12 Industrial Technology Research Institute Automatic trackig collision avoidance system and method thereof
WO2017115371A1 (en) * 2015-12-30 2017-07-06 Foresight Automotive Ltd. Apparatus and method for avoiding vehicular accidents
CN107301371A (zh) * 2017-05-11 2017-10-27 江苏保千里视像科技集团股份有限公司 一种基于图像信息融合的非结构化道路检测方法及系统
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
WO2017151641A1 (en) * 2016-02-29 2017-09-08 Optecks, Llc Aerial three-dimensional scanner
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
EP3559779A2 (en) * 2016-12-22 2019-10-30 Orange Method for operating a device having a switchable power saving mode for reducing its power consumption
US10657818B2 (en) * 2017-11-06 2020-05-19 Nio Usa, Inc. External alert system for vehicle door opening

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183905A1 (en) * 2003-02-05 2004-09-23 Dorin Comaniciu Real-time obstacle detection with a calibrated camera and known ego-motion
CN1522910A (zh) * 2003-02-10 2004-08-25 �ղ��Զ�����ʽ���� 车辆动力学控制设备
US20080208409A1 (en) * 2003-02-10 2008-08-28 Nissan Motor Co., Ltd. Vehicle dynamics control apparatus
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
US20160129906A1 (en) * 2014-11-07 2016-05-12 Industrial Technology Research Institute Automatic trackig collision avoidance system and method thereof
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
WO2017115371A1 (en) * 2015-12-30 2017-07-06 Foresight Automotive Ltd. Apparatus and method for avoiding vehicular accidents
CN107301371A (zh) * 2017-05-11 2017-10-27 江苏保千里视像科技集团股份有限公司 一种基于图像信息融合的非结构化道路检测方法及系统

Also Published As

Publication number Publication date
JP2021510227A (ja) 2021-04-15
US11100806B2 (en) 2021-08-24
WO2019135246A1 (en) 2019-07-11
JP7485612B2 (ja) 2024-05-16
US20200349846A1 (en) 2020-11-05
EP3738072A4 (en) 2021-09-29
EP3738072A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US11100806B2 (en) Multi-spectral system for providing precollision alerts
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
US9443154B2 (en) Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
EP2958054B1 (en) Hazard detection in a scene with moving shadows
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
EP3161507B1 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP6971020B2 (ja) 異常検出装置および異常検出方法
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
CN109313813B (zh) 用于机动车辆的视觉系统和方法
EP2928178B1 (en) On-board control device
JP2008123462A (ja) 物体検知装置
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
CN106570487A (zh) 物体间的碰撞预测方法和装置
CN109195849B (zh) 摄像装置
WO2014050285A1 (ja) ステレオカメラ装置
Labayrade et al. Obstacle detection based on fusion between stereovision and 2d laser scanner
JP2019091327A (ja) 立体物検出装置
JP7145227B2 (ja) 標識認識装置
JP4381394B2 (ja) 障害物検知装置及びその方法
Petrovai et al. A stereovision based rear-end collision warning system on mobile devices
Shadeed Development of a light-based driver assistance system
CN116416584A (zh) 用于其他交通参与方的参考值生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination