CN103576154B - 使用雷达和摄像机的障碍物探测的融合 - Google Patents
使用雷达和摄像机的障碍物探测的融合 Download PDFInfo
- Publication number
- CN103576154B CN103576154B CN201310330571.7A CN201310330571A CN103576154B CN 103576154 B CN103576154 B CN 103576154B CN 201310330571 A CN201310330571 A CN 201310330571A CN 103576154 B CN103576154 B CN 103576154B
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- feature
- barrier
- posterior probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及使用雷达和摄像机的障碍物探测的融合。一种车辆障碍物探测系统包括用于捕获视野内的物体的成像系统和用于感测基本相同视野内的物体的雷达装置。该基本相同视野被划分成具有多个观测单元格的占用网格。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征。主分类器确定从相应观测单元格提取的被提取特征是否是障碍物。
Description
技术领域
实施例大体涉及障碍物探测。
背景技术
视觉成像系统被用于车辆以便增强诸如物体探测系统和其他视觉/定位系统的应用。这样的系统利用摄像机来捕获图像并且之后从该图像提取物体。这样的物体可以是在行驶道路内的其他车辆、行人或者甚至是物体。
雷达系统也可以被用于探测行驶道路内的物体。雷达系统使用无线电波来确定物体的距离、高度、方向或速度。发射器发射从其路径内的任意物体反弹的无线电波脉冲。从物体反射出的脉冲将无线电波能量的一小部分返回给通常位于与发射器处于相同位置的接收器。
通过协作地利用视觉成像系统和雷达系统来探测物体将增加探测和定位车辆行驶路径内物体时的可信度。然而,在已知系统中,独立于其他传感器来执行探测,之后结果被结合。问题在于,如果由一个跟踪装置所确定的探测和跟踪结果明显不同于来自另一装置的探测和跟踪结果,则如果将协作地利用这些结果,那么将更加不确定哪个数据将是用于识别障碍物时更加正确的数据。
发明内容
实施例的优点在于当由两个不同的障碍物感测装置探测时识别障碍物的准确性。以传感器水平来执行来自所述两个障碍物感测装置的输出的融合,从而利用更加丰富的信息内容。结合来自两个感测装置的数据之后对被识别障碍物的探测和跟踪。因此,相比于首先执行探测和跟踪来自每个相应装置的数据且之后融合探测和跟踪数据,通过以传感器水平融合信息增加了识别相应位置处的障碍物的准确性。
实施例提出一种车辆障碍物探测系统,其包括用于捕获视野内的物体的成像系统和用于感测基本相同视野内的物体的雷达装置。该基本相同视野被划分成具有多个观测单元格的占用网格(occupancygrid)。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征。主分类器确定从相应观测单元格提取的被提取特征是否是障碍物。
实施例提出一种用于确定车辆外部的障碍物的方法。通过成像系统在视野内捕获物体。感测在雷达装置的基本相同视野内的物体。被雷达装置感测的该基本相同视野被划分成具有多个观测单元格的占用网格。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物。通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。
本发明还提供了以下技术方案。
方案1.一种车辆障碍物探测系统,所述车辆障碍物探测系统包括:
用于捕获视野内的物体的成像系统;
用于感测基本相同视野内的物体的雷达装置,所述基本相同视野被划分成具有多个观测单元格的占用网格;
用于接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据的融合模块,所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获影像上,所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征;和
用于确定从相应观测单元格提取的被提取特征是否是障碍物的主分类器。
方案2.根据方案1所述的车辆障碍物探测系统,其中通过包括雷达特征、视觉特征和运动特征的矢量来呈现在相应单元格内被提取的相应特征。
方案3.根据方案1所述的车辆障碍物探测系统,其中来自所述融合模块的输出产生包括距离、距离变化率和方位角的特征参数观测。
方案4.根据方案1所述的车辆障碍物探测系统,进一步包括:用于分类车辆外部的障碍物的至少一个次级分类器,其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出,其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。
方案5.根据方案4所述的车辆障碍物探测系统,其中所述至少一个次级分类器是无障碍路径探测分类器。
方案6.根据方案4所述的车辆障碍物探测系统,其中所述至少一个次级分类器是运动流异常性分类器。
方案7.根据方案1所述的车辆障碍物探测系统,其中针对每个相应单元格通过所述分类器来确定后验概率估计以便识别出位于每个相应单元格内的特征是否是障碍物,并且其中基于雷达和成像系统数据来计算所述后验概率估计。
方案8.根据方案7所述的车辆障碍物探测系统,其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是由时间t和时间t-1处的对应样本之间的相似性定义的加权因子。
方案9.根据方案7所述的车辆障碍物探测系统,其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是权重因子。
方案10.根据方案9所述的车辆障碍物探测系统,其中空间平滑技术被应用到所述占用网格的相邻观测单元格以便精细化在确定所述特征是否是障碍物时的所述后验概率估计。
方案11.根据方案10所述的车辆障碍物探测系统,其中空间平滑识别出占用相邻观测单元格的特征之间的显现一致性。
方案12.根据方案10所述的车辆障碍物探测系统,其中时间平滑技术被应用到被捕获图像以用于精细化在确定相应特征是否是障碍物时的所述后验概率估计,所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。
方案13.根据方案12所述的车辆障碍物探测系统,其中使用如下公式根据所述空间平滑技术和所述时间平滑技术进一步精细化所述后验概率估计:
其中是用于估计所述后验概率的时间因素,是用于估计所述后验概率的当前因素,是用于估计所述后验概率的空间因素,是所述当前因素的常数,是由在时间t和时间t-1处的对应样本之间的相似性定义的权重,并且是由相邻样本之间的空间相似性定义的权重。
方案14.根据方案1所述的车辆障碍物探测系统,进一步包括用于处理从所述雷达装置获得的数据的预处理模块,其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标,并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。
方案15.根据方案1所述的车辆障碍物探测系统,进一步包括车辆安全应用,其中所述安全应用利用所识别的障碍物以用于在所述车辆和所述障碍物之间可能存在潜在碰撞的时候启动所述车辆的安全性相关装置。
方案16.一种用于确定车辆外部的障碍物的方法,所述方法包括步骤:
通过成像系统捕获在视野内的物体;
感测在雷达装置的基本相同视野内的物体,
被所述雷达装置感测的所述基本相同视野被划分成具有多个观测单元格的占用网格;
融合模块接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据,所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获图像上,所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物;以及
通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。
方案17.根据方案16所述的方法,其中所述分类器针对每个相应单元格确定后验概率估计以用于识别出位于每个相应单元格内的特征是否是障碍物,并且其中基于雷达和成像系统数据来计算所述后验概率估计。
方案18.根据方案17所述的方,其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是由时间t和时间t-1处的对应样本之间的相似性所限定的权重。
方案19.根据方案18所述的方法,其中使用如下公式来确定用于确定特征是否是障碍物的后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是权重因子。
方案20.根据方案16所述的方法,其中包括应用时间平滑技术至被捕获图像以精细化在确定相应特征是否是障碍物时的所述后验概率估计,所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。
方案21.根据方案20所述的方法,包括使用如下公式根据所述空间平滑技术和所述时间平滑技术来精细化所述后验概率估计:
其中是用于估计所述后验概率的时间因素,是用于估计所述后验概率的当前因素,是用于估计所述后验概率的空间因素,是所述当前因素的常数,是由在时间t和时间t-1处的对应样本之间的相似性定义的权重,并且是由相邻样本之间的空间相似性定义的权重。
方案22.根据方案16所述的方法,至少一个次级分类器对车辆外部的障碍物分类,其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出,其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。
方案23.根据方案16所述的方法,其中从所述雷达装置获得的数据被提供给预处理模块,其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标,并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。
附图说明
图1是车辆障碍物探测系统的框图。
图2是感测的占用雷达网格的示意图。
图3是成像系统所捕获的示例性图像。
图4是示出在早先时间被识别特征的可能性的占用网格。
图5是示出在当前时间被识别特征的可能性的精细化的占用网格。
图6是用于融合多个分类器的输出的框图。
具体实施方式
在图1中示出了车辆障碍物探测系统10的框图。系统10包括雷达装置12和成像系统14。
雷达装置12使用无线电波通过获得与物体有关的距离(range)、方位角和距离变化率(rangerate)数据来探测该物体。雷达装置12包括接收器13,其接收与行驶路径内探测到的物体有关的反射电磁信号。接收的信号被提供给预处理单元16,以用于调节信号以便数据可以与来自成像系统14的数据协作地被处理。预处理单元16包括降频转换器18,其接收雷达传输、放大信号并将一组频率降频转换成较低的一组中间频率,在此信号被提供给模数信号转换器20。快速傅里叶变换22被应用到该转换的数字信号以便获得用于对信号滤波、压缩和降噪的信号频率分布。之后恒定虚警率算法(CFAR;constantfalsealarmratealgorithm)被应用以便探测雷达视野内的目标。22的输出是每个单元格的信噪比并且作为输入被馈送给融合模块24。
成像系统14包括图像捕获装置15,其包括但不限于摄像机。图像捕获装置捕获道路的图像,通常是朝向车辆前方的区域。然而,被捕获的区可以包括与朝向车辆前方的区域不同的区域,例如车辆侧方或后方的区域。来自被捕获图像的数据被提供给基于视觉的预处理单元26。预处理单元26用于对输入的被捕获图像进行校正、缩放、滤波和降噪。
融合模块24包括特征提取子模块30以及探测和跟踪子模块32。应该理解的是各种子模块可以包括独立处理器或者可以包括单个处理器。来自雷达模块16的预处理单元的数据和来自摄像机26的预处理单元的数据在特征提取子模块30内被组合。来自每个相应子模块的数据在特征提取子模块30内被协作地分析以用于识别潜在物体的特征。
探测和跟踪子模块32跟踪被识别为各个时间上的潜在物体的特征。时间平滑以及空间平滑可以被用于跟踪和识别不同示例时间处被捕获数据内的显著特征。
来自融合模块24的已识别特征输出被输入到分类器34,例如逻辑分类器。分类器(例如支持向量机或者其他类型的分类器)能够被用于区分相应特征是否是被捕获数据内的物体。
分类器的一个示例是支持向量机(SVM;supportvectormachine),其包括用于分类和回归的一组相关学习算法。学习算法是构建被用于预测新样本是否落入一个范畴或另一范畴(例如无障碍路径和有障碍路径)内的模型的训练方法。SVM模型是特征空间内的被映射成使得清晰间隙分割开各单独范畴的点的范畴的表征。支持向量机将输入数据映射到较高维度空间,在此构造出最大的分离超平面。使用支持向量机的示例是构造两个平行的超平面。这两个平行的超平面被构造在分离超平面的各侧上以便分离数据。分离超平面最大化这两个平行的超平面之间的距离。在具有距任意类别的最近训练数据点的最大空间距离的平行超平面之间需要有良好分离。基本概念在于,两个平行超平面之间的距离越大,则将数据分类到相应类别时的误识率越小。
来自分类器34的输出被提供到主动安全装置或者主动安全系统36,其使用对物体的识别来用于车辆主动安全应用,包括但不限于驾驶员报警通知,例如前进碰撞警告系统、自主或半自主碰撞避免系统、碰撞防范系统和碰撞缓和系统。
图2示出感测的占用雷达网格。雷达装置12产生电磁场。雷达装置12发射从发射路径内的任意物体反射的无线电波脉冲。从该物体反射的能量波的一部分返回到通常位于与发射器处于相同部位的天线。雷达装置产生的场的特征在于具有多个观测单元格42的占用网格40。从每个单元格提取特征以用于确定该特征是否是物体。相应单元格内的每个特征能够被识别为具有3维(3-D)的参数观测。3-D可以包括距离、距离变化率和方位角。针对每个观测单元格内所识别的每个特征,将通过相应参数观测数据来识别出该特征。在一个实施例中,单元格内的特征是在22内由CFAR算法所计算的信噪比。应该理解的是,在不背离本发明范围的情况下,可以使用其他方法来瞄准和识别单元格内的特征。
图3示出了成像系统所捕获的图像。图像包含车辆道路44和车辆外部的其他场景。由感测的雷达数据所产生的占用网格40被投影到被捕获图像上。占用网格40被投影成使得地里上定位于雷达数据内的每个观测单元格对应于捕获图像内的相同地理学位置。逻辑分类器被用于确定相应单元格内的特征可能是物体还是非物体。逻辑分类器也可以被训练成不仅用于确定每个单元格内的特征是否是物体,而且可以用于进一步将该物体辨识为行人、车辆或其他障碍物。逻辑分类器通过协作地分析单元格的雷达参数和单元格的图像参数二者来确定被占用的每个相应单元格的后验概率(posteriorprobability)。这样的特征包括但不限于颜色、质地、运动、雷达FFT谱。在给定网格(O)的情况下,针对每个单元格(o),基于下述公式确定被占据的单元格(o)的后验概率:
其中证据(evidence)r是雷达信号内感测的特征,f是从相应单元格提取的视觉特征,并且m是从运动流(motionflow)导出的特征。可以通过识别场景相对于地面流(groundflow)的异常性来确定运动流。
为了融合来自雷达和视觉装置的结果,使得每个单元格的内容代表融合的特征矢量。日志分类可以被表示如下:
其中是从被标记的训练样本通过逻辑回归而学习到的权重。下面的表达式能够被应用于估计特征是物体的概率:
。
替代性地,下面的表达式能够被应用于估计特征是否不是物体的概率:
。
如前所述,分类器是数据分析程序,其能够被训练成使用物体/装置的特征来在所述特征所属的类别之间进行区分(例如支持向量机)。因此,逻辑分类器可以被训练成在相应单元格内存在物体和不存在物体之间进行区分,或者分类器可以被用于区分物体涉及什么。例如,分类器能够被训练成区分物体是行人、车辆还是道路内其他可识别障碍物。
一旦通过分类器确定后验概率估计,则可以通过考虑已识别物体的空间约束和时间约束来精细化所述后验概率估计。时间约束涉及在至少两个时间移位的图像之间被再次定位到不同单元格的特征。关于特征是否能够基于被捕获图像之间的逝去时间被再次定位到网格内的另一单元格来确定估计。空间约束涉及两个相邻单元格之间的特征是否关联于彼此。例如,可以基于运动连续性和/或显现一致性(appearanceconsistency)来识别空间约束。
下列表达式是考虑到后验概率估计因素、时间约束因素和空间约束因素的概率估计:
其中是用于估计后验概率的时间因素,是用于估计后验概率的当前因素,是用于估计后验概率的空间因素,是当前因素的常数,是由在时间t和时间t-1的对应样本之间的相似性定义的权重,是由相邻样本之间的空间相似性定义的权重。
图4示出了具有在时间t-1处的确定的后验概率的特征。图5示出了运动补偿和时间补偿被应用以确定时间t处的特征的概率时的特征。此外,空间补偿被应用以用于识别时间t处的相邻单元格。通过下述概率估计来识别出相邻单元格。
图6示出了使用多个分类器输出结果的后验概率估计的精细化的框图。进一步通过融合来自多个分类器的结果来精细化包括空间/时间补偿的后验概率估计或被精细化的后验概率估计。其他分类器可以包括但不限于无障碍路径分类器和运动流异常性分类器。参考图6,逻辑分类器34、无障碍路径分类器50和运动流异常性分类器52各自独立地产生单元格的特征是否是物体的估计。如这里所述的空间和时间平滑54可以被应用到逻辑分类器34的输出。
选择器56确定被应用到每个分类器的输出的加权值以用于确定融合过程期间哪个分类器可靠。通过训练(例如地面实况标记)来确定权重。每个分类器可具有相等的权重分布或不等的权重分布。一些分类器可以在夜间分析期间产生更好的结果,由于当前条件期间结果的准确性原因,它们的结果被赋予较大的权重。因此,选择器56确定事件或条件的当前标准并且根据当前标准应用权重。例如,如果视频被冻结或者一区域被障碍物挡住,则利用来自视频图像的数据的分类器可以在融合分析中不得到权重或得到非常小的权重。替代性地,如果车辆上的感测装置具有不一致的性能,则利用这些感测装置的分类器可以具有较小加权。
在图6中,结果被提供给融合模块58,所述结果在此与其相应权重被协作地处理以用于产生进一步精细化关于单元格是否包含物体或更具体地探测到的物体类型的判定的结果。
所述结果可以被提供给车辆的其他安全应用处理器,其利用该信息来启用安全预防装置、报警装置、碰撞避免装置(例如制动、转向)或者将有助于驾驶员避免与道路内的已探测物体碰撞的其他防范或缓解装置。
虽然已经具体描述了本发明的某些实施例,不过本发明所涉及领域的那些技术人员将意识到各种替代性设计和实施例以用于实现所附权利要求所限定的本发明。
Claims (23)
1.一种车辆障碍物探测系统,所述车辆障碍物探测系统包括:
用于捕获视野内的物体的成像系统;
用于感测基本相同视野内的物体的雷达装置,所述基本相同视野被划分成具有多个观测单元格的占用网格;
用于接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据的融合模块,所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获影像上,所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征;和
用于确定从相应观测单元格提取的被提取特征是否是障碍物的主分类器。
2.根据权利要求1所述的车辆障碍物探测系统,其特征在于,通过包括雷达特征、视觉特征和运动特征的矢量来呈现在相应单元格内被提取的相应特征。
3.根据权利要求1所述的车辆障碍物探测系统,其特征在于,来自所述融合模块的输出产生包括距离、距离变化率和方位角的特征参数观测。
4.根据权利要求1所述的车辆障碍物探测系统,其特征在于进一步包括:用于分类车辆外部的障碍物的至少一个次级分类器,其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出,其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。
5.根据权利要求4所述的车辆障碍物探测系统,其特征在于,所述至少一个次级分类器是无障碍路径探测分类器。
6.根据权利要求4所述的车辆障碍物探测系统,其特征在于,所述至少一个次级分类器是运动流异常性分类器。
7.根据权利要求1所述的车辆障碍物探测系统,其特征在于,针对每个相应单元格通过所述分类器来确定后验概率估计以便识别出位于每个相应单元格内的特征是否是障碍物,并且其中基于雷达和成像系统数据来计算所述后验概率估计。
8.根据权利要求7所述的车辆障碍物探测系统,其特征在于,使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是由时间t和时间t-1处的对应样本之间的相似性定义的加权因子。
9.根据权利要求7所述的车辆障碍物探测系统,其特征在于,使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是权重因子。
10.根据权利要求9所述的车辆障碍物探测系统,其特征在于,空间平滑技术被应用到所述占用网格的相邻观测单元格以便精细化在确定所述特征是否是障碍物时的所述后验概率估计。
11.根据权利要求10所述的车辆障碍物探测系统,其特征在于,空间平滑识别出占用相邻观测单元格的特征之间的显现一致性。
12.根据权利要求10所述的车辆障碍物探测系统,其特征在于,时间平滑技术被应用到被捕获图像以用于精细化在确定相应特征是否是障碍物时的所述后验概率估计,所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。
13.根据权利要求12所述的车辆障碍物探测系统,其特征在于,使用如下公式根据所述空间平滑技术和所述时间平滑技术进一步精细化所述后验概率估计:
其中是用于估计所述后验概率的时间因素,是用于估计所述后验概率的当前因素,是用于估计所述后验概率的空间因素,是所述当前因素的常数,是由在时间t和时间t-1处的对应样本之间的相似性定义的权重,并且是由相邻样本之间的空间相似性定义的权重。
14.根据权利要求1所述的车辆障碍物探测系统,其特征在于进一步包括用于处理从所述雷达装置获得的数据的预处理模块,其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标,并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。
15.根据权利要求1所述的车辆障碍物探测系统,其特征在于进一步包括车辆安全应用,其中所述安全应用利用所识别的障碍物以用于在所述车辆和所述障碍物之间可能存在潜在碰撞的时候启动所述车辆的安全性相关装置。
16.一种用于确定车辆外部的障碍物的方法,所述方法包括步骤:
通过成像系统捕获在视野内的物体;
感测在雷达装置的基本相同视野内的物体,
被所述雷达装置感测的所述基本相同视野被划分成具有多个观测单元格的占用网格;
融合模块接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据,所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获图像上,所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物;以及
通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。
17.根据权利要求16所述的方法,其特征在于,所述分类器针对每个相应单元格确定后验概率估计以用于识别出位于每个相应单元格内的特征是否是障碍物,并且其中基于雷达和成像系统数据来计算所述后验概率估计。
18.根据权利要求17所述的方法,其特征在于,使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是由时间t和时间t-1处的对应样本之间的相似性所限定的权重。
19.根据权利要求18所述的方法,其特征在于,使用如下公式来确定用于确定特征是否是障碍物的后验概率估计:
其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量,并且是权重因子。
20.根据权利要求16所述的方法,其特征在于包括应用时间平滑技术至被捕获图像以精细化在确定相应特征是否是障碍物时的后验概率估计,所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。
21.根据权利要求20所述的方法,其特征在于包括使用如下公式根据空间平滑技术和所述时间平滑技术来精细化所述后验概率估计:
其中是用于估计所述后验概率的时间因素,是用于估计所述后验概率的当前因素,是用于估计所述后验概率的空间因素,是所述当前因素的常数,是由在时间t和时间t-1处的对应样本之间的相似性定义的权重,并且是由相邻样本之间的空间相似性定义的权重。
22.根据权利要求16所述的方法,其特征在于,至少一个次级分类器对车辆外部的障碍物分类,其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出,其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。
23.根据权利要求16所述的方法,其特征在于,从所述雷达装置获得的数据被提供给预处理模块,其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标,并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/563,993 | 2012-08-01 | ||
US13/563,993 US9429650B2 (en) | 2012-08-01 | 2012-08-01 | Fusion of obstacle detection using radar and camera |
US13/563993 | 2012-08-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103576154A CN103576154A (zh) | 2014-02-12 |
CN103576154B true CN103576154B (zh) | 2016-04-06 |
Family
ID=50024946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310330571.7A Active CN103576154B (zh) | 2012-08-01 | 2013-08-01 | 使用雷达和摄像机的障碍物探测的融合 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9429650B2 (zh) |
CN (1) | CN103576154B (zh) |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5812064B2 (ja) * | 2012-11-22 | 2015-11-11 | 株式会社デンソー | 物標検出装置 |
JP5835243B2 (ja) * | 2013-02-07 | 2015-12-24 | 株式会社デンソー | 物標認識装置 |
JP5812061B2 (ja) * | 2013-08-22 | 2015-11-11 | 株式会社デンソー | 物標検出装置およびプログラム |
US9098753B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using multiple sensors |
US10088561B2 (en) | 2014-09-19 | 2018-10-02 | GM Global Technology Operations LLC | Detection of a distributed radar target based on an auxiliary sensor |
US10018709B2 (en) | 2014-09-19 | 2018-07-10 | GM Global Technology Operations LLC | Radar target detection via multi-dimensional cluster of reflectors |
KR101637716B1 (ko) | 2014-11-03 | 2016-07-07 | 현대자동차주식회사 | 차량의 장애물 위치 인식 장치 및 방법 |
EP3048023B1 (en) * | 2015-01-23 | 2018-11-28 | Honda Research Institute Europe GmbH | Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system |
US9435635B1 (en) * | 2015-02-27 | 2016-09-06 | Ge Aviation Systems Llc | System and methods of detecting an intruding object in a relative navigation system |
US9778353B2 (en) * | 2015-06-24 | 2017-10-03 | Htc Corporation | Handheld device, object positioning method and computer-readable recording medium |
DE102015217385B4 (de) * | 2015-09-11 | 2022-10-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen, ob sich im Umfeld eines innerhalb eines Parkplatzes befindlichen Kraftfahrzeugs ein Objekt befindet |
FR3041451B1 (fr) | 2015-09-22 | 2018-02-16 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et systeme de perception de corps materiels |
US10762440B1 (en) * | 2015-09-24 | 2020-09-01 | Apple Inc. | Sensor fusion and deep learning |
WO2017057056A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
CN105185160B (zh) * | 2015-10-09 | 2017-11-24 | 卢庆港 | 虚拟网格内畸变区域移动趋势识别的路面检测方法 |
US10229363B2 (en) | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
US9598076B1 (en) * | 2015-10-22 | 2017-03-21 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
CN105301585B (zh) * | 2015-11-02 | 2017-12-29 | 小米科技有限责任公司 | 信息展示方法及装置 |
CN105372654B (zh) * | 2015-12-14 | 2017-12-12 | 财团法人车辆研究测试中心 | 障碍物分类可靠度量化的方法 |
DE112016006213T5 (de) * | 2016-01-12 | 2018-10-18 | Mitsubishi Electric Corporation | System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen |
JP6571545B2 (ja) * | 2016-01-19 | 2019-09-04 | パナソニック株式会社 | 物体検出装置および物体検出方法 |
DE102016200656A1 (de) * | 2016-01-20 | 2017-07-20 | Robert Bosch Gmbh | Verfahren zum Auswerten eines Umfeldes eines Fahrzeuges |
US10317522B2 (en) * | 2016-03-01 | 2019-06-11 | GM Global Technology Operations LLC | Detecting long objects by sensor fusion |
US10145951B2 (en) * | 2016-03-30 | 2018-12-04 | Aptiv Technologies Limited | Object detection using radar and vision defined image detection zone |
US10353053B2 (en) * | 2016-04-22 | 2019-07-16 | Huawei Technologies Co., Ltd. | Object detection using radar and machine learning |
US11222438B2 (en) * | 2016-05-27 | 2022-01-11 | Kabushiki Kaisha Toshiba | Information processing apparatus, vehicle, and information processing method for presence probability of object |
US11132611B2 (en) * | 2016-05-27 | 2021-09-28 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method for determining presence probability of object |
DE102016210886A1 (de) * | 2016-06-17 | 2017-12-21 | Robert Bosch Gmbh | Konzept zum Steuern eines Verkehrs innerhalb eines Parkplatzes |
US11263545B2 (en) * | 2016-06-30 | 2022-03-01 | Microsoft Technology Licensing, Llc | Control of cyber-physical systems under uncertainty |
US9996944B2 (en) * | 2016-07-06 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for mapping an environment |
CN106020204A (zh) * | 2016-07-21 | 2016-10-12 | 触景无限科技(北京)有限公司 | 一种障碍物检测装置、机器人及避障系统 |
US10592805B2 (en) * | 2016-08-26 | 2020-03-17 | Ford Global Technologies, Llc | Physics modeling for radar and ultrasonic sensors |
WO2018039925A1 (en) * | 2016-08-30 | 2018-03-08 | SZ DJI Technology Co., Ltd. | Method and system for detecting obstructive object at projected locations within images |
US10386792B2 (en) * | 2016-10-19 | 2019-08-20 | Ants Technology (Hk) Limited | Sensory systems for autonomous devices |
US10629072B2 (en) | 2016-10-20 | 2020-04-21 | Ford Global Technologies, Llc | LIDAR and vision vehicle sensing |
WO2018081328A1 (en) * | 2016-10-26 | 2018-05-03 | Ring Inc. | Customizable intrusion zones for audio/video recording and communication devices |
US10989791B2 (en) * | 2016-12-05 | 2021-04-27 | Trackman A/S | Device, system, and method for tracking an object using radar data and imager data |
US11774554B2 (en) | 2016-12-20 | 2023-10-03 | Toyota Motor Europe | Electronic device, system and method for augmenting image data of a passive optical sensor |
FR3062924B1 (fr) | 2017-02-16 | 2019-04-05 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et systeme de perception contextualisee de corps materiels |
US10444342B2 (en) * | 2017-03-08 | 2019-10-15 | Gm Global Technology Operations Llc. | Control of host device using three-dimensional position and velocity |
JP7062878B2 (ja) * | 2017-03-27 | 2022-05-09 | 沖電気工業株式会社 | 情報処理方法および情報処理装置 |
CN107015219A (zh) * | 2017-03-27 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 具有雷达成像功能的防碰撞方法及其系统 |
WO2018182722A1 (en) * | 2017-03-31 | 2018-10-04 | Airbus Group Hq, Inc. | Vehicular monitoring systems and methods for sensing external objects |
US10195992B2 (en) * | 2017-04-03 | 2019-02-05 | Ford Global Technologies, Llc | Obstacle detection systems and methods |
EP3388972B1 (en) * | 2017-04-13 | 2020-08-26 | Aptiv Technologies Limited | A method and a device for generating an occupancy map of an environment of a vehicle |
US10086809B1 (en) * | 2017-05-02 | 2018-10-02 | Delphi Technologies, Inc. | Automatic braking system |
US10602242B2 (en) * | 2017-06-14 | 2020-03-24 | GM Global Technology Operations LLC | Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices |
US20190004544A1 (en) * | 2017-06-29 | 2019-01-03 | Ge Aviation Systems, Llc | Method for flying at least two aircraft |
DE102017118083B4 (de) | 2017-08-09 | 2022-11-24 | Sick Ag | Sensor zur Erfassung eines Objekts und Verfahren zum Einstellen eines Schaltpunktes |
CN109597404A (zh) * | 2017-09-30 | 2019-04-09 | 徐工集团工程机械股份有限公司 | 压路机及其控制器、控制方法和系统 |
DE102017217972A1 (de) * | 2017-10-10 | 2019-04-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen |
CN107807355A (zh) * | 2017-10-18 | 2018-03-16 | 轩辕智驾科技(深圳)有限公司 | 一种基于红外和毫米波雷达技术的车辆避障预警系统 |
US10641888B2 (en) | 2017-11-06 | 2020-05-05 | Veoneer Us Inc. | Cued automobile sensor fusion |
US10866307B2 (en) | 2017-12-29 | 2020-12-15 | Automotive Research & Testing Center | Method for analyzing error and existence probability of multi-sensor fusion of obstacle detection |
IL258347B (en) * | 2017-12-31 | 2020-11-30 | Elta Systems Ltd | A system and method for combining data from JMT radar and electro-optical sensors |
US10592784B2 (en) * | 2018-02-20 | 2020-03-17 | GM Global Technology Operations LLC | Detection based on fusion of multiple sensors |
US11041941B2 (en) * | 2018-02-26 | 2021-06-22 | Steradian Semiconductors Private Limited | Method and device for calibrating a radar object detection system |
JP6996353B2 (ja) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | 物体認識装置及び車両走行制御システム |
JP2019159380A (ja) * | 2018-03-07 | 2019-09-19 | 株式会社デンソー | 物体検知装置、物体検知方法およびプログラム |
CN108399398A (zh) * | 2018-03-22 | 2018-08-14 | 武汉云衡智能科技有限公司 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
US11061120B2 (en) | 2018-04-24 | 2021-07-13 | Ford Global Technologies, Llc | Sensor calibration |
DE102018207194A1 (de) * | 2018-05-09 | 2019-11-14 | Robert Bosch Gmbh | Bestimmen eines Umgebungszustands eines Fahrzeugs mit verketteten Klassifikatoren |
US11372424B2 (en) * | 2018-05-10 | 2022-06-28 | GM Global Technology Operations LLC | Generalized 3D inverse sensor model |
US10816659B2 (en) * | 2018-05-15 | 2020-10-27 | GM Global Technology Operations LLC | Method for efficient volumetric integration for 3D sensors |
CN108764108A (zh) * | 2018-05-22 | 2018-11-06 | 湖北省专用汽车研究院 | 一种基于贝叶斯统计决策的前车检测方法 |
US10642275B2 (en) | 2018-06-18 | 2020-05-05 | Zoox, Inc. | Occulsion aware planning and control |
CN108776333B (zh) * | 2018-06-19 | 2021-04-16 | 驭势(上海)汽车科技有限公司 | 一种数据二次级联融合方法、系统、车载设备及存储介质 |
DE102018210814A1 (de) * | 2018-06-30 | 2020-01-02 | Robert Bosch Gmbh | Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge |
EP3594719A1 (en) | 2018-07-13 | 2020-01-15 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Environment sensing method and apparatus using a wide-angle distance sensor |
CN109085598A (zh) * | 2018-08-13 | 2018-12-25 | 吉利汽车研究院(宁波)有限公司 | 用于车辆的障碍物探测系统 |
CN108983219B (zh) * | 2018-08-17 | 2020-04-07 | 北京航空航天大学 | 一种交通场景的图像信息和雷达信息的融合方法及系统 |
CN110867092B (zh) * | 2018-08-28 | 2022-03-22 | 上海为森车载传感技术有限公司 | 一种基于雷达系统和环视系统的库位生成方法 |
CN109164426A (zh) * | 2018-08-31 | 2019-01-08 | 北京经纬恒润科技有限公司 | 一种雷达探测范围的测试系统及方法 |
US11682129B2 (en) * | 2018-09-12 | 2023-06-20 | Toyota Motor Europe | Electronic device, system and method for determining a semantic grid of an environment of a vehicle |
US11353577B2 (en) * | 2018-09-28 | 2022-06-07 | Zoox, Inc. | Radar spatial estimation |
CN110376583B (zh) * | 2018-09-30 | 2021-11-19 | 毫末智行科技有限公司 | 用于车辆传感器的数据融合方法及装置 |
DE102018127990A1 (de) * | 2018-11-08 | 2020-05-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs |
JP7069061B2 (ja) * | 2019-01-31 | 2022-05-17 | 株式会社デンソー | 物体判定装置 |
US11073610B2 (en) * | 2019-01-31 | 2021-07-27 | International Business Machines Corporation | Portable imager |
CN109948448B (zh) * | 2019-02-20 | 2021-03-12 | 苏州风图智能科技有限公司 | 用于3d障碍物的检测方法、装置、系统及计算机存储介质 |
US11035945B2 (en) * | 2019-04-18 | 2021-06-15 | GM Global Technology Operations LLC | System and method of controlling operation of a device with a steerable optical sensor and a steerable radar unit |
FR3097972B1 (fr) * | 2019-06-28 | 2021-12-10 | Aptiv Tech Ltd | Procédé et système pour cartographier un environnement physique au moyen d’une grille d’occupation |
CN112526520A (zh) * | 2019-08-29 | 2021-03-19 | 中车株洲电力机车研究所有限公司 | 一种行人及障碍物提示系统 |
CN110765894B (zh) * | 2019-09-30 | 2022-07-08 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
TWI730436B (zh) | 2019-10-02 | 2021-06-11 | 立積電子股份有限公司 | 辨識物體的方法、物體辨識系統及更新物體辨識系統中主要分類器的方法 |
US11320830B2 (en) * | 2019-10-28 | 2022-05-03 | Deere & Company | Probabilistic decision support for obstacle detection and classification in a working area |
CN111098815B (zh) * | 2019-11-11 | 2021-01-12 | 武汉市众向科技有限公司 | 一种基于单目视觉融合毫米波的adas前车碰撞预警方法 |
CN111137283B (zh) * | 2019-12-27 | 2022-02-01 | 芜湖雄狮汽车科技有限公司 | 传感器数据融合方法、装置、高级辅助驾驶系统及车辆 |
CN111191600B (zh) * | 2019-12-30 | 2023-06-23 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN111398961B (zh) * | 2020-03-17 | 2022-07-15 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
US11577759B2 (en) | 2020-05-26 | 2023-02-14 | Toyota Research Institute, Inc. | Systems and methods for hybrid prediction framework with inductive bias |
CN113239959B (zh) * | 2021-04-09 | 2024-02-20 | 西安电子科技大学 | 基于解耦表征变分自编码机的雷达hrrp目标识别方法 |
US11960292B2 (en) * | 2021-07-28 | 2024-04-16 | Argo AI, LLC | Method and system for developing autonomous vehicle training simulations |
CN113671493B (zh) * | 2021-08-09 | 2023-08-11 | 黑龙江工程学院 | 一种基于特征融合的海面小目标检测方法及系统 |
CN113917450B (zh) * | 2021-12-07 | 2022-03-11 | 深圳佑驾创新科技有限公司 | 一种多扩展目标雷达量测集划分方法和装置 |
CN114312812B (zh) * | 2022-03-04 | 2022-06-10 | 国汽智控(北京)科技有限公司 | 基于动态感知的车辆控制方法、装置及电子设备 |
CN114821543B (zh) * | 2022-06-29 | 2022-10-18 | 小米汽车科技有限公司 | 障碍物检测方法、装置、车辆和存储介质 |
WO2024015632A1 (en) * | 2022-07-15 | 2024-01-18 | Nvidia Corporation | Surround scene perception using multiple sensors for autonomous systems and applications |
CN115953765B (zh) * | 2023-03-14 | 2023-06-20 | 江苏天一航空工业股份有限公司 | 一种车辆自动驾驶的障碍物识别方法 |
CN116796210B (zh) * | 2023-08-25 | 2023-11-28 | 山东莱恩光电科技股份有限公司 | 基于激光雷达的障碍物检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1940591A (zh) * | 2005-09-26 | 2007-04-04 | 通用汽车环球科技运作公司 | 使用传感器融合进行目标跟踪的系统和方法 |
CN101697006A (zh) * | 2009-09-18 | 2010-04-21 | 北京航空航天大学 | 基于机载雷达和红外成像传感器数据融合的目标识别方法 |
CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19546506A1 (de) * | 1995-12-13 | 1997-06-19 | Daimler Benz Ag | Fahrzeug-Navigationssystem und Signalverarbeitungsverfahren für ein solches Navigationssystem |
JP4433887B2 (ja) * | 2003-07-01 | 2010-03-17 | 日産自動車株式会社 | 車両用外界認識装置 |
DE10351778A1 (de) * | 2003-11-06 | 2005-06-09 | Daimlerchrysler Ag | Verfahren zur Korrespondenzanalyse in Bilddatensätzen |
US20060091654A1 (en) * | 2004-11-04 | 2006-05-04 | Autoliv Asp, Inc. | Sensor system with radar sensor and vision sensor |
US8509965B2 (en) * | 2006-12-12 | 2013-08-13 | American Gnc Corporation | Integrated collision avoidance system for air vehicle |
WO2010056159A1 (en) * | 2008-11-11 | 2010-05-20 | Saab Ab | Sar radar system |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US8254670B2 (en) * | 2009-02-25 | 2012-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Self-learning object detection and classification systems and methods |
JP2012113621A (ja) * | 2010-11-26 | 2012-06-14 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
-
2012
- 2012-08-01 US US13/563,993 patent/US9429650B2/en active Active
-
2013
- 2013-08-01 CN CN201310330571.7A patent/CN103576154B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1940591A (zh) * | 2005-09-26 | 2007-04-04 | 通用汽车环球科技运作公司 | 使用传感器融合进行目标跟踪的系统和方法 |
CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
CN101697006A (zh) * | 2009-09-18 | 2010-04-21 | 北京航空航天大学 | 基于机载雷达和红外成像传感器数据融合的目标识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US9429650B2 (en) | 2016-08-30 |
US20140035775A1 (en) | 2014-02-06 |
CN103576154A (zh) | 2014-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103576154B (zh) | 使用雷达和摄像机的障碍物探测的融合 | |
CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
Silva et al. | Automatic detection of motorcyclists without helmet | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
EP1606769B1 (en) | System and method for vehicle detection and tracking | |
JP5405741B2 (ja) | 道路使用弱者保護システム | |
CN101295405A (zh) | 人像与车辆识别报警跟踪方法 | |
KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
Roheda et al. | Decision level fusion: An event driven approach | |
Pena-Gonzalez et al. | Computer vision based real-time vehicle tracking and classification system | |
CN109343051A (zh) | 一种用于高级辅助驾驶的多传感器数据融合方法 | |
Tsai et al. | An intelligent vision-based vehicle detection and tracking system for automotive applications | |
Sotelo et al. | Blind spot detection using vision for automotive applications | |
Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
KR101050687B1 (ko) | 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치 | |
JP3562278B2 (ja) | 環境認識装置 | |
Jibrin et al. | An object detection and classification method using radar and camera data fusion | |
CN110940959B (zh) | 一种用于低分辨雷达地面目标的人车分类识别方法 | |
CN117115752A (zh) | 一种高速公路视频监控方法及系统 | |
Atiq et al. | Vehicle detection and shape recognition using optical sensors: a review | |
Lin et al. | Incorporating appearance and edge features for vehicle detection in the blind-spot area | |
Sotelo et al. | Vision-based blind spot detection using optical flow | |
CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
Nguyen et al. | Optimized grid-based environment perception in advanced driver assistance systems | |
Yang et al. | Data-Driven Confidence Model for ADAS Object Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |