CN106054191B - 车轮检测和其在物体跟踪以及传感器配准中的应用 - Google Patents

车轮检测和其在物体跟踪以及传感器配准中的应用 Download PDF

Info

Publication number
CN106054191B
CN106054191B CN201610208589.3A CN201610208589A CN106054191B CN 106054191 B CN106054191 B CN 106054191B CN 201610208589 A CN201610208589 A CN 201610208589A CN 106054191 B CN106054191 B CN 106054191B
Authority
CN
China
Prior art keywords
wheel
remote vehicle
vehicle
radar
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610208589.3A
Other languages
English (en)
Other versions
CN106054191A (zh
Inventor
S.曾
X.F.宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106054191A publication Critical patent/CN106054191A/zh
Application granted granted Critical
Publication of CN106054191B publication Critical patent/CN106054191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Abstract

公开了车轮检测和其在物体跟踪以及传感器配准中的应用，包括用于跟踪正在相对于主车辆横向的位置上驾驶的远程车辆的方法和系统。为物体检测融合系统提供来自两个雷达传感器的目标数据。远程车辆上的车轮被识别为基本上同一位置、但多普勒距变率值变化显著的雷达点群集。如果可识别远程车辆的近侧上的两个车轮，则使用通过两个雷达传感器测量的车轮位置进行融合计算，从而产生远程车辆位置、取向以及速度的准确估值。在横向碰撞预防（LCP）系统中使用远程车辆位置、取向以及速度来触发警示或闪避操作。还可通过基于同一车轮测量数据的另一融合计算来校准雷达传感器对准。

Description

车轮检测和其在物体跟踪以及传感器配准中的应用
技术领域
本发明总体上涉及一种横向车辆物体检测系统，并且更具体来说涉及一种物体检测系统，其在雷达点数据中识别车轮的独特运动特征以定位远程车辆的车轮，并且使用远程车辆车轮位置来准确确定远程车辆的位置、取向以及速度，并且同时校准雷达传感器对准。
背景技术
物体检测系统还称为物体感测系统，其在现代车辆中变得日臻普遍。物体检测系统可向驾驶员提供关于车辆路径上的物体的警示。物体检测系统还可为主动式车辆系统提供输入，所述主动式车辆系统诸如自适应巡航控制，其控制车辆速度以与前方车辆保持适当纵向间距；以及后方横越交通规避系统，其可提供警示与自动制动，以避免主车辆倒车时与主车辆后面的物体相撞。
物体检测系统使用一个或多个传感器来检测主车辆路径上或附近物体的存在，所述传感器可为雷达、激光雷达、摄像机或其它技术。使用软件来跟踪物体随时间的相对运动，确定物体是移动的还是静止的，确定各物体可能是什么（另一车辆、行人、树木等等），并且确定各物体是否对主车辆造成碰撞威胁。
然而，即使使用多物体感测输入，诸如雷达和摄像机，也不会总可能准确地评估远程车辆或物体的航向，尤其是如果远程车辆或物体正相对于主车辆在主要横向或切向方向上移动的话。此外，在一些情形下，难以将雷达点数据与摄像机图像数据准确地进行关联。需要使用来自摄像机和两个雷达传感器的物体数据来提供远程车辆和物体的准确二维速度的融合技术。
发明内容
根据本发明的教导，公开了一种用于跟踪正在相对于主车辆横向的位置上驾驶的远程车辆的方法和系统。为物体检测融合系统提供来自两个雷达传感器的目标数据。远程车辆上的车轮被识别为基本上同一位置、但多普勒距变率值变化显著的雷达点群集。如果可识别远程车辆的近侧上的两个车轮，则使用通过两个雷达传感器测量的车轮位置执行融合计算，以产生远程车辆位置、取向以及速度的准确估值。在横向碰撞预防（LCP）系统中使用远程车辆位置、取向以及速度来触发警示或闪避操作。还可通过基于同一车轮测量数据的另一融合计算来校准雷达传感器对准。
本发明可以包括以下方案：
1. 一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；
由所述雷达点识别远程车辆上的两个或更多个车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，使用微处理器计算远程车辆相对于主车辆的位置、取向以及速度；以及
使用包括所述车轮位置测量值的融合计算，计算雷达传感器中的一个的对准校准角度。
2. 如方案1所述的方法，其中识别远程车辆上的两个或更多个车轮包括：基于位置接近性将所述雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮。
3. 如方案2所述的方法，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点 。
4. 如方案2所述的方法，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
5. 如方案1所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向。
6. 如方案1所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，其中远程车辆的状态包括二维位置和二维速度。
7. 如方案6所述的方法，其中所述算法为卡尔曼滤波器算法。
8. 如方案1所述的方法，其进一步包括：在横向碰撞预防（LCP）系统中使用远程车辆的位置、取向以及速度，其中关注区域位于主车辆的一侧；并且如果远程车辆进入警示区，则所述LCP系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
9. 如方案1所述的方法，其进一步包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖与雷达传感器的覆盖区重叠的视野，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且使用所述图像和所述雷达点执行融合计算，以确定远程车辆的位置、取向以及速度。
10. 一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自所述主车辆车载的两个雷达传感器的数据，其中雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；
从所述雷达点识别远程车辆上的两个或更多个车轮，包括：基于位置接近性将所述雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，使用微处理器计算远程车辆相对于主车辆的位置、取向以及速度；
使用包括所述车轮位置测量值的融合计算，计算雷达传感器中的一个的对准校准角度；以及
在横向碰撞预防（LCP）系统中使用远程车辆的位置、取向以及速度，其中关注区域位于主车辆的一侧；并且如果远程车辆进入警示区，则所述LCP系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
11. 如方案10所述的方法，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点。
12. 如方案10所述的方法，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
13. 如方案10所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向；并且进一步包括：使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，其中远程车辆的状态包括二维位置和二维速度。
14. 一种用于主车辆的物体检测系统，所述系统包括：
主车辆车载的两个雷达传感器，其中所述雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；以及
物体检测处理器，包括微处理器和存储模块，所述处理器被编程以：
从所述雷达点识别远程车辆上的两个或更多个车轮，包括：基于位置接近性将雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，计算远程车辆相对于主车辆的位置、取向以及速度；以及
使用包括所述车轮位置测量值的融合计算，计算雷达传感器中的一个的对准校准角度。
15. 如方案14所述的物体检测系统，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点。
16. 如方案14所述的物体检测系统，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
17. 如方案14所述的物体检测系统，其中所述处理器基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向。
18. 如方案14所述的物体检测系统，其中所述处理器使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，计算远程车辆相对于主车辆的位置、取向以及速度，其中远程车辆的状态包括二维位置和二维速度。
19. 如方案14所述的物体检测系统，其中关注区域位于主车辆的一侧，物体检测系统将远程车辆的位置、取向以及速度数据提供给横向碰撞预防（LCP）系统，并且如果远程车辆进入警示区，则所述LCP系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
20. 如方案14所述的物体检测系统，其进一步包括：主车辆车载的摄像机，其中摄像机提供覆盖与雷达传感器的覆盖区重叠的视野的图像，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且物体检测处理器使用所述图像和所述雷达点执行融合计算，以确定远程车辆的位置、取向以及速度。
结合附图，根据以下说明和随附权利要求，本发明的另外特征将变得显而易见。
附图说明
图1是包括多个物体检测传感器的主车辆的示意图；
图2是图1的主车辆连同远程车辆的图示，其示出远程车辆的速度矢量怎样影响其侵入主车辆的警示区或制动包络；
图3是图2的主车辆和远程车辆的图示，其进一步示出获得远程车辆的准确2-D速度的困难性；
图4是主车辆和远程车辆的另一图示，其示出由主车辆上的物体感测融合系统使用来确定远程车辆的速度的视觉凸点和雷达点；
图5是一种用于使用视觉凸点与雷达点的融合来计算远程物体相对于主车辆的速度的方法的流程图；
图6是一种用于跟踪来自摄像机图像的远程物体上的视觉凸点的方法的流程图；
图7是一种用于在物体跟踪系统中将视觉凸点与雷达点相关联的方法的流程图；
图8是包括多个呈侧视配置的物体检测传感器的主车辆的示意图；
图9是如图8所绘示的主车辆、连同远程车辆的图示，其中远程车辆大体上与主车辆并排驾驶；
图10是在地面上滚动的轮胎和车轮的侧视图示，其示出雷达传感器数据中可用于识别车轮的基本运动特性；
图11和12是图9的主车辆和远程车辆的俯视图，其示出车轮检测、远程车辆跟踪和雷达传感器校准所基于的原理和几何关系；
图13是一种用于基于图11和12所述并且示出的测量技术检测远程车辆的车轮的方法的流程图；以及
图14是一种用于使用远程车辆车轮检测同时跟踪远程车辆并且校准雷达传感器的对准角度的方法的流程图。
具体实施方式
对于针对通过在雷达传感器点数据中检测其车轮来跟踪远程车辆的方法和设备的本发明实施例的以下讨论实质上仅为示例性的，并且决不旨在限制本发明或其应用或用途。
许多现代车辆都包括用于检测车辆路径上的物体的物体感测系统。所述物体感测系统可为驾驶员提供警示，或甚至触发其它系统来采取行动以避免车辆碰撞。一些车辆还包括物体感测融合系统，其在数值上“融合”来自两个或更多个物体检测传感器的数据，并且然后以所融合的物体数据作为其物体检测逻辑的基础。一种这样的系统描述在标题为“System and method of target tracking using sensor fusion（使用传感器融合进行目标跟踪的系统和方法）”的美国专利号7,460,951中，所述专利转让给本申请的受让人并且特此以引用方式全部并入。
图1是包括多个物体检测传感器的主车辆10的示意图。主车辆10包括物体感测融合系统12，其接收来自摄像机20以及一对雷达传感器32和34的数据。融合系统12包含包括微处理器和存储模块的装置，所述装置配置有软件以执行物体感测融合，如以下所详述。除了物体感测融合以外，其它应用也可以与融合系统12相同的微处理器上运行。
摄像机20将图像提供给融合系统12（或提供给专用视觉系统，其未单独示出），融合系统12中处理图像以检测、识别并且跟踪远程物体。类似地，雷达传感器32/34将其雷达返回数据提供给融合系统12（或提供给专用雷达跟踪系统，其未单独示出），在融合系统12中处理雷达点以检测、识别并且跟踪远程物体。摄像机20和雷达传感器32/34典型地通过经由车辆总线的有线连接与融合系统12通信并且将其数据提供给融合系统12，但这种通信可以是无线的。
摄像机20具有视野22。雷达传感器32/34分别具有覆盖区36和38。在图1的图示中，摄像机20和雷达传感器32/34沿向后方向取向，并且以下讨论是针对后方横越交通检测应用。然而，该技术还可应用于前视或侧视取向和应用。应注意仅摄像机视野22与雷达覆盖区36或38重叠位置处存在的远程车辆或物体能够用于物体融合。摄像机20与雷达传感器32/34中的一个可以检测目标的此重叠覆盖区在图1中以椭圆形40示出。如本领域技术人员会理解的，视野22、雷达覆盖区36/38以及重叠覆盖椭圆形40的大小和形状均概念性地示出在图1中。
然而，即使使用两个或更多个物体传感器，传统的物体感测融合系统仍可能难以准确地确定远程车辆或物体的二维（2-D）速度，特别是如果远程车辆或物体正相对于主车辆在主要横向或切向方向上移动的话。这一问题的本质示出在图2和3中。
图2是图1的主车辆10连同远程车辆50的图示。图2绘示出典型停车场场景，其中如速度箭头18所指示的主车辆10正在倒车，并且远程车辆 50正驾驶朝向主车辆10后面的位置，这可能导致冲突。在后方横越交通规避（RCTA）系统中，主车辆10可能具有围绕其所限定的制动包络14，其中主车辆10的制动可自动应用，如果主车辆10正移动并且物体进入制动包络14的话。主车辆10还可具有限定的警示区16，其中发出听觉和/或视觉警示给主车辆10的驾驶员，如果物体进入警示区16的话。
远程车辆50的速度是RCTA系统待知的重要参数。这是因为RCTA系统需要远程车辆50的速度来确定所估算的警示区16和/或制动包络14的“进入时间”。另外，警示区16的位置可基于远程车辆50的速度。在图2中清楚可见，与如果远程车辆50具有第二速度54相比，如果远程车辆50具有第一速度52，则RCTA系统采取的警示和行动将是极其不同的。因此，显然需要远程车辆50的准确2-D速度。
图3是主车辆10和远程车辆50的图示，其进一步示出获得远程车辆50的准确2-D速度的困难性。在图3中，远程车辆50具有 由箭头60指出的实际速度。可认为实际速度包括两个正交分量：由箭头62指出的径向速度和由箭头64指出的切向速度。雷达传感器32/34典型地包括多普勒性能，其中雷达返回不仅指示物体点的位置，而且指示点的径向速度。因此，远程车辆50上点的径向速度可由雷达传感器速度准确测定。然而，难以通过常规的目标跟踪估算切向速度。这是因为远程车辆50是不能认为是点目标的大物体。由于雷达传感器32/34将感测来自远程车辆50的许多雷达返回点，并且每次扫描可返回不同的点，因此方位角测量是不确定的。这进而导致切向速度不确定性。
基于图像的物体检测系统通过计算目标在图像平面上在一段时间范围内的移动，较好地适用于估算目标的切向速度。然而，在诸如远程车辆50的车辆情况下，进行此举的传统技术经常无法令人满意；这是因为图像平面中目标的表观横向运动可受径向速度影响（其引起目标在随后的帧中看起来更大或更小），或受修剪车辆轮廓时帧与帧的差异影响。
从以上讨论显然的是，需要可准确估算远程车辆50的2-D速度的改进的融合/跟踪技术。这种技术可通过融合摄像机图像数据（即视觉数据）与雷达返回数据来实现。在以下讨论的融合技术中，雷达返回数据提供如以上所述的准确的径向速度。同时，摄像机图像数据中的凸点（即突出点或显著点）可提供准确的横向或切向速度。即，代替仅仅将远程车辆50处理作为单一物体用于跟踪目的，在图像中单独跟踪来自远程车辆50的多个特征。为了提高结果的质量和可靠性，可在图像平面中使用位置近似并且使用先前估算的物体速度作为提示将视觉凸点与雷达点相关联。可从计算中去除基于当前和先前的测量具有与所预期不同的横向速度的视觉凸点。
在此处所公开的技术中，远程车辆50上的视觉凸点可包括哈里斯（Harris）角点（局部最大强度变化位置，诸如车辆A柱满足罩线/门线的地方）、车轮、前灯、尾灯、门把手、外反射镜以及任何极大稳定极值区域（MSER）或其它突出特征。尺度不变特征变换（SIFT）技术也可用于检测和描述图像中的视觉凸点。来自加速分割检测（一种角检测法）（FAST）的特征可用于提取凸点并且之后用于跟踪和速度估算。二元稳健独立元素特征（Binary RobustIndependent Elementary Features）（BRIEF）以及定向FAST与旋转BRIEF（ORB）可用于检测物体的特征点。
图4是主车辆10和远程车辆50的另一图示，其示出使用在以下讨论中的视觉凸点和雷达点。在图4中，远程车辆50再次具有由箭头60表示的速度。主车辆10车载的雷达传感器32/34检测示出为圆形80的许多雷达点，并且摄像机20检测示出为方形90的许多视觉凸点。如由小箭头所指示，雷达点将包括多普勒径向速度 （）数据，并且视觉凸点将具有与横向速度相关联的横越图像平面的表观运动流。以下详细讨论用于将视觉凸点与雷达点相关联并且融合数据以产生速度的准确估值的技术。
图5是一种用于使用视觉凸点与雷达点的融合来计算远程物体相对于主车辆的速度的整个方法的流程图100。在框102处，摄像机20和雷达传感器32/34提供数据。出于此讨论目的，将来自框102的数据提供给融合系统12，并且在融合系统12上执行所有后续计算，融合系统12包括微处理器和存储模块，如先前所述。在车辆上实际实施时，计算可在任何合适的控制器或处理器上执行，或可跨多于一个处理器分布。
在框104处，使用雷达数据来提示或触发随后的计算。即，如果雷达传感器32/34在主车辆10后面的关注区域（ROI）中检测到物体，则此提示过程继续进行速度融合计算。在框106处，使用摄像机图像数据识别并且跟踪视觉凸点。图6是一种用于跟踪来自摄像机图像的远程物体上的凸点的方法的流程图140。图6的方法在图5的框106处实施。在框142处，从图像帧检测关注区域中的视觉凸点。如以上所讨论，视觉凸点是物体（在此情况下，远程车辆 50）的突出特征，诸如柱端、车轮、前灯等等。
在框144处，建立两个时间上相邻的图像帧之间的对应性。即，标注出可在第一图像帧和下一个图像帧中识别的视觉凸点。当然，凸点将在图像平面上从一个图像移动到下一个，并且其出于许多原因将不会看起来是相同的（像素对像素），这些原因包括透视改变、光照/反射改变等等。在框146处，检测横跨图像帧稳定（即，以可预测方式移动）的视觉凸点。一种用于使用最小成本流网络检测空间-时间稳定的视觉凸点的方法描述在美国专利申请序号13/535,538 （代理人案号P019555-RD-SDJ）中，其标题为“使用最小成本流网络的宽基线双目物体匹配法（WIDE BASELINE BINOCULAR OBJECT MATCHING METHOD USINGMINIMAL COST FLOW NETWORK）”，于2012年6月28日提交，转让给本发明的受让人，并且特此以参考方式并入。
在框148处，确立各稳定凸点的运动流。运动流不是实际速度；而是，它是摄像机20的图像平面中的凸点从一个帧到下一个的移动。已知图像帧之间的逝去时间，因此例如可以每秒的像素为单位识别运动流。根据以下讨论，可变换凸点的运动流并且用在融合计算中，所述融合计算确实产生所检测物体的速度。
返回图5，现在在框106处可获得来自流程图140的凸点运动流数据。在框108处，将来自框106的视觉凸点与雷达点相关联。图7是一种用于在物体跟踪系统中将视觉凸点与雷达点相关联的方法的流程图180。图7的方法在图5的框108处实施。在框182处，各雷达点被投射至图像平面。即，，其中为从x-y帧到图像平面的单应性变换，并且为所投射的雷达点，假定这些雷达点位于地平面上。在框184处，预测的物体速度（来自前一时间步骤）作为运动流投射到图像平面上。即，，如果物体处于x-y帧中的位置处的话，则其中是在位置处计算的变换的雅可比（Jacobian）矩阵。在框186处，筛选出或从随后的计算去除运动流与所预期不同的视觉凸点。即，从计算去除第个视觉点，如果的话，其中为第个视觉点的估算的运动流，并且是运动流差异阈值，其中可为固定值或的百分比。
在框188处，各其余视觉凸点（未在框186处去除的那些）被分配给其最近的（变换至图像平面的）雷达点，其中在图像像素列中测量距离（用于最近性确定）。作为此分配的结果，x-y帧中的，其中 为使用单应性变换，视觉点从图像平面到x-y帧的投射，并且为最近的雷达点。
返回图5，视觉凸点（编号）现在已在框108处与雷达点（编号）相关联。在框110处，使用视觉凸点和其运动流以及识别的并且如上所述进行关联的雷达点和其径向速度，可通过使下式最小化来确定远程车辆50 （通过视觉凸点和雷达点测量的物体）的速度：
　　　　（1）
其中以上已定义并且讨论方程式（1）中的所有变量。
在框112处，在诸如后方横越交通规避（RCTA）系统的驾驶员辅助应用中使用远程车辆50的速度。如先前所讨论，远程车辆50的速度可用于计算警示区16和/或制动包络14的“进入时间”，并且警示区16的位置可基于远程车辆50的速度。流程图100的过程继续，并且远程车辆50的速度继续使用方程式（1）的融合计算进行更新，只要在主车辆10后面的关注区域中检测到物体。
采用以上所述的视觉凸点与雷达点的融合进行的速度计算提供比传统的物体感测方法更准确的远程车辆速度估算。准确的远程车辆速度可有利地用于后方横越交通规避（RCTA）系统中。此同一融合技术还可用来跟踪其它类型的物体，诸如自行车和购物车，和在前视或侧视应用中、摄像机视野与雷达覆盖区重叠的任何地方跟踪物体。所有这些能力在不必需物体分类符的冗长训练情况下都是可能的。
尽管以上所述的技术对于接近主车辆的任何一般物体的检测和跟踪、特别是在后方横越交通规避应用中是极其有效的，但确切地讲可采用其它技术来跟踪远程车辆。一种这样的技术利用远程车辆上的车轮的独特运动特征，并且提供对远程车辆位置、速度以及航向的加强计算。
图8是包括多个呈侧视配置的物体检测传感器的主车辆300的示意图。主车辆300包括物体感测融合系统302，其接收来自摄像机304以及一对雷达传感器306和308的数据。融合系统302包含包括微处理器和存储模块的装置，所述装置配置有软件以进行物体感测融合，如以下所详述。除了物体感测融合以外，其它应用也可以在与融合系统302相同的微处理器上运行。
摄像机304和雷达传感器306/308具有重叠的覆盖区，并且将其数据提供给融合系统302，其方式类似于先前关于图1的主车辆10所讨论。如同图1的情况，如本领域技术人员应理解的，摄像机视野314、雷达覆盖区316/318以及重叠覆盖椭圆形320（其中远程车辆可由摄像机304和雷达传感器306/308中的至少一个检测到）的大小和形状均在图8中概念性示出。
如先前所讨论，即使使用两个或更多个物体传感器，传统的物体感测融合系统仍可能难以准确地确定远程车辆的二维（2-D）速度，特别是如果远程车辆正相对于主车辆300在主要横向（或切向方向上）移动的话。如侧视或横向碰撞预防情况中所显示，此问题的本质示出在图9中。
图9是如图8所绘示的主车辆300连同远程车辆400的图示。图9示出典型多车道道路驾驶场景，其中如速度箭头330所指示的主车辆300正驾驶，并且远程车辆 400正大体上与主车辆300并排驾驶，但潜在地在可能引起冲突的方向上朝向主车辆300漂移。在横向碰撞预防（LCP）系统中，主车辆300可发出驾驶员警示，如果远程车辆400进入警示区的话；或采取闪避动作（制动和/或转向），如果确定远程车辆400造成即将的碰撞危险的话。
远程车辆400的速度是LCP系统待知的重要参数。在图9中清楚可见，与如果远程车辆400具有第二速度404相比，如果远程车辆400具有第一速度402，则LCP系统采取的警示和/或动作将是极其不同的。因此，显然需要远程车辆400的准确2-D速度。在横向定位的远程车辆的情况下，有可能清楚地识别远程车辆的车轮，并且使用远程车辆车轮测量值来测定2-D远程车辆速度并且同时校准雷达传感器瞄准角度。
图10是在地面上滚动的轮胎和车轮的侧视图示，其示出雷达传感器数据中可用于识别车轮的基本运动特性。在图10中，轮胎260与车轮270正在地面上滚动。车轮270具有半径 272，并且轮胎260具有厚度 262。轮胎的外径被定义为。车轮270上三个点（车轮底部点274、车轮中心点276以及车轮顶部点278）的分析示出了可如何在雷达返回数据中清楚地识别车轮。为相对于图9进行可视化，认为轮胎260和车轮270在远程车辆400的右手侧。
当然，车轮中心点276正以与远程车辆400相同的速度 （以箭头286表示）移动。由于车轮转动，车轮顶部点278正以以下速度移动：
　　　　　　　　　　（2）
或者，换句话说，车轮顶部点278正以几乎是远程车辆速度的两倍的速度（以箭头288表示）移动。
类似地，由于车轮转动，车轮底部点274正以以下速度移动：
　　　　　　　　　　（3）
或者，换句话说，车轮底部点274正以稍大于零的绝对速度（以箭头284表示）移动。
车轮是良好的雷达反射物，因此许多雷达点很可能从车轮270返回。假定车轮270并不完全垂直于雷达传感器306/308的视线，车轮上点（如由点274/276/278所示出）的不同速度将产生雷达传感器306/308的不同多普勒距变率测量值。因此，如果传感器306/308在基本上同一位置检测到其有显著不同距变率的多个雷达点，则这些点丛集可认为是远程车辆400上的车轮。
为了使用远程车辆车轮位置来跟踪远程车辆400并且校准雷达传感器瞄准角度，必须首先在雷达数据中识别远程车辆400上车轮的位置。图11和12是主车辆300和远程车辆400的俯视图，其示出以下讨论和计算（描述车轮检测、远程车辆跟踪和雷达传感器校准）所基于的原理和几何关系。
如所示，主车辆300具有用作X-Y坐标帧的原点的形心332。雷达传感器306和308各自定位在主车辆帧中的位置处，其中。因此，雷达传感器306可指出为位于位置 （由矢量342指出）的，并且雷达传感器308可指出为位于位置（由矢量352指出）的。类似地，雷达传感器306（）具有视线344，其与主车辆300的直前（X）方向成角度（角度测量值346）定位，并且雷达传感器308（）具有视线354，其与主车辆300的直前（X）方向成角度（角度测量值356）定位。
远程车辆400具有形心406，正沿着矢量402以速度移动，所述矢量402与主车辆300的直前（X）方向成角度（角度测量值408）。 远程车辆 400具有右侧车轮410和412。出于此讨论的目的，远程车辆400为四轮（每侧两个轮子）小汽车或卡车；然而，车轮检测方法同样适用于两轮远程车辆（摩托车）和多于四轮的远程车辆（卡车和公交车）。远程车辆400上的每个轮子在远程车辆帧中位于位置（由矢量414指出），其中。
如以上所讨论，首要任务是检测远程车辆400上的车轮410和412，这通过以一系列多普勒（距变率）测量来识别同一位置处雷达点的丛集进行。对于图10的车轮270，车轮顶部点278关于主车辆300的相对速度（其分量等于可通过雷达传感器306/308检测的点278的距变率）可定义为：
　　　　　　　　　　（4）
其中为车轮半径，为轮胎半径，为远程车辆400的速度，为远程车辆400的航向角度，并且为主车辆300的速度。
类似地，车轮底部点274正关于主车辆300以可通过使用方程式（4）的其中因子由替换的变型获得的相对速度移动。在大多数情况下，车轮底部点274将移动远离主车辆300。
对于测量远程车辆400上的车轮之一的雷达传感器306（），如图11和12所示，径向线单位矢量可定义为
　　　　　　　　　　（5）
其中，如图12所示，是远程车辆车轮相对于雷达传感器的视线344的方位测量角度（由角度测量值360表示并且示出为，因为其由视线344顺时针测量，其中逆时针测量）。
（由方程式4）已知远程车辆的车轮上点的相对速度，并且（由方程式5）已知从雷达传感器到车轮的径向线单位矢量，远程车辆车轮上点的所预期多普勒测量值可测定为：
　　　　　　　　　　（6）。
图13是一种用于如上所述的基于测量技术检测远程车辆的车轮的方法的流程图500。在框502处，获得雷达传感器306和308的传感器点。各传感器点具有距离、多普勒和方位角。即，各传感器点包括，。在框504处，基于位置接近性（距离和方位角）将雷达点丛集成组。用于将雷达点丛集成组的一种技术是将点和分配给同一丛集，如果并且只有：
　　　　　　　　　　（7）
其中和是可调校准值，并且距离和角度如以上所述。
在框506处，评估方程式（7）所识别的各丛集中所有雷达点的多普勒值。如果点的丛集具有距离如方程式（4）-（6）所述的多普勒值（包括朝向主车辆300移动的一些点和移动远离主车辆300的一些点），则所述丛集被识别为远程车辆400上的车轮。在框508处，计算远程车辆400的轴距，如果在远程车辆400检测到两个车轮，最有可能地，最接近主车辆300的那一侧上的两个车轮。轴距计算为所检测到的两个车轮中心之间的距离。车轮中心可识别为最接近车轮丛集中所包括的点的几何中心的雷达点。从距离和方位角已知车轮中心点的位置，直接计算两个点之间的距离。在框510处，计算远程车辆400的取向角（角度测量值408），如果在远程车辆400上检测到两个车轮的话。给定两个车轮中心点的位置，取向角的计算也是直接计算。
图14是一种用于使用远程车辆车轮检测同时跟踪远程车辆400并且校准雷达传感器306/308的对准角度的方法的流程图540。流程图540的方法步骤可由主车辆300上的物体感测融合系统302执行。在框542处，由雷达传感器306/308提供雷达点数据。出于此讨论目的，将来自框542的数据提供给物体感测融合系统302，并且在物体感测融合系统302上执行所有后续计算，物体感测融合系统302包括微处理器和存储模块，如先前所述。在框544处，在来自传感器306/308的雷达点数据中识别远程车辆400上的车轮。如果识别出两个车轮，则还在框544处计算取向角。识别远程车辆400的车轮和计算取向角中所涉及步骤的细节提供在以上所讨论的图13中。
在框546处，使用通过雷达传感器306和308检测的车轮跟踪远程车辆400的位置、取向和速度。远程车辆400的状态被建模为，表示远程车辆400的中心位置和地面速度。通过将远程车辆400的航向角或取向角与和速度相关联。
如以上在图11和12的讨论中所述，可通过数识别远程车辆400上的车轮，其中各车轮在远程车辆参考帧中处于位置。还如以上所述，主车辆300上的雷达传感器306/308可通过数来识别，其中各传感器在主车辆参考帧中处于位置，并且与主车辆300的直前（X）方向具有视线角度。
考虑到以上，可定义一般符号，其中通过第个雷达传感器测量的第个车轮的位置已知为。
接下来，定义旋转矩阵，其中在必要时用于基于角度和使点坐标旋转。矩阵定义为：
　　　　　　　　　　（8）。
用于基于远程车辆400的状态，由第个雷达传感器测量的第个车轮（对于和）的测量方程式于是定义为
　　　（9）
其中为远程车辆状态的函数，并且其它变量在以上讨论中描述。可对方程式（9）递归求解，以最佳地基于各新的车轮位置测量值估算状态。在一个非限制性实施例中，在卡尔曼滤波器例程中将方程式（9）编程以对状态求解。
通过使用所有可用的车轮测量值继续对方程式（9）求解，可在框546处通过主车辆300跟踪远程车辆400的状态（），只要远程车辆400保持在主车辆300的关注区域内。
在框548处，基于远程车辆400上车轮的所识别位置校准雷达传感器306/308的对准角度。如图11和12所示，远程车辆400上的车轮410可通过雷达传感器306与雷达传感器308来检测，因而提供冗余的测量数据。对于车轮412也可同样如此。此冗余的测量数据可有利地用于传感器对准校准。
考虑到雷达传感器306和308的已知位置（分别为和）和其相应的视线角（和），对于车轮410方程式（9）应产生同一位置，无论是通过雷达传感器306还是雷达传感器308来进行测量。然而，实际上车轮410的冗余测量可能并不一致，并且任何差异均可归因于传感器未对准。例如，如果假定传感器306的对准角是准确的，则传感器308的对准角可基于测量数据进行校准，以更接近地匹配远程车辆400的位置和取向以及车轮410的位置。
从以上方程式（9）提取第二因子，所计算表达式可定义为：
　　　　　　　　　　（10）
其中为时序识别符，，并且所计算表达式和雷达测量值的个最新值存储在缓存中。
旋转对准矩阵可定义为，并且可通过将以下最小二乘函数最小化来求解：
　　　　　　　　　　（11）。
以下技术可用于对方程式（11）求解。假设矩阵并且。通过的奇异值分解得到矩阵、以及。即，。最小二乘方程式（11）的解为，其中
　　　　　　　　　　（12）
并且是行列式算子。
使用以上求解的矩阵，雷达传感器308的所估算对准角为。可在图14的框548处继续校准雷达传感器306或308的对准角。对准角可用于调整来自雷达传感器306或308的将来测量读数。通过由主车辆300上的雷达传感器306/308对远程车辆400上车轮的冗余和重复测量以及以上讨论的融合计算有可能进行远程车辆400的跟踪和雷达传感器对准的同时校准。
物体感测融合系统302还可在以上讨论的融合计算中并入来自摄像机304的视觉数据，以进一步完善远程车辆400的跟踪和对雷达传感器对准的同时校准。这可通过在视觉数据中以凸点形式识别车轮并且将视觉凸点与对应雷达点融合来进行，如以上关于后方横越交通规避（RCTA）应用所讨论。
以上所述的采用雷达车轮检测的远程车辆跟踪计算提供远程车辆位置、取向以及速度的比传统物体感测方法更准确的估算。准确远程跟踪可有利地用在横向碰撞预防（LCP）系统中，其中准确了解远程车辆的2-D速度是关键的。使用此同一融合技术来虚拟校准雷达传感器对准对车辆制造商和车主或驾驶员提供额外益处。
以上讨论仅公开并且描述了本发明的示例性实施例。本领域技术人员从此讨论和附图以及权利要求将易于认识到可在不背离如以下权利要求所限定的本发明精神和范围情况下进行各种变化、修改以及变更。

Claims (20)

1.一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；
由所述雷达点识别远程车辆上的两个或更多个车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，使用微处理器计算远程车辆相对于主车辆的位置、取向以及速度；以及
使用包括所述车轮位置测量值的融合计算，校准雷达传感器中的一个的对准角度。
2.如权利要求1所述的方法，其中识别远程车辆上的两个或更多个车轮包括：基于位置接近性将所述雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮。
3. 如权利要求2所述的方法，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点 。
4.如权利要求2所述的方法，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
5.如权利要求1所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向。
6.如权利要求1所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，其中远程车辆的状态包括二维位置和二维速度。
7.如权利要求6所述的方法，其中所述算法为卡尔曼滤波器算法。
8.如权利要求1所述的方法，其进一步包括：在横向碰撞预防系统中使用远程车辆的位置、取向以及速度，其中关注区域位于主车辆的一侧；并且如果远程车辆进入警示区，则所述横向碰撞预防系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
9.如权利要求1所述的方法，其进一步包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖与雷达传感器的覆盖区重叠的视野，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且使用所述图像和所述雷达点执行融合计算，以确定远程车辆的位置、取向以及速度。
10.一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自所述主车辆车载的两个雷达传感器的数据，其中雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；
从所述雷达点识别远程车辆上的两个或更多个车轮，包括：基于位置接近性将所述雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，使用微处理器计算远程车辆相对于主车辆的位置、取向以及速度；
使用包括所述车轮位置测量值的融合计算，校准雷达传感器中的一个的对准角度；以及
在横向碰撞预防系统中使用远程车辆的位置、取向以及速度，其中关注区域位于主车辆的一侧；并且如果远程车辆进入警示区，则所述横向碰撞预防系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
11.如权利要求10所述的方法，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点。
12.如权利要求10所述的方法，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
13.如权利要求10所述的方法，其中计算远程车辆相对于主车辆的位置、取向以及速度包括：基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向；并且进一步包括：使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，其中远程车辆的状态包括二维位置和二维速度。
14. 一种用于主车辆的物体检测系统，所述系统包括：
主车辆车载的两个雷达传感器，其中所述雷达传感器具有重叠的覆盖区，以使得当远程车辆处于关注区域中时，远程车辆的至少一部分由雷达传感器两者感测到，并且其中来自雷达传感器的数据包括识别远程车辆上的点的位置和多普勒距变率的雷达点；以及
物体检测处理器，包括微处理器和存储模块，所述处理器被编程以：
从所述雷达点识别远程车辆上的两个或更多个车轮，包括：基于位置接近性将雷达点群集成组，并且将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮；
由两个雷达传感器提供两个或更多个车轮的车轮位置测量值，其中所述车轮位置测量值识别车轮中每一个的中心相对于雷达传感器中每一个的距离和方位角；
使用包括所述车轮位置测量值的融合计算，计算远程车辆相对于主车辆的位置、取向以及速度；以及
使用包括所述车轮位置测量值的融合计算，校准雷达传感器中的一个的对准的角度。
15.如权利要求14所述的物体检测系统，其中基于位置接近性将所述雷达点群集成组包括：使用两个点的距离值差异和方位角值差异计算归一化函数，并且如果所述归一化函数具有不超过一的值，则在组中仅包括所述两个点。
16.如权利要求14所述的物体检测系统，其中将包括广泛变化的多普勒距变率测量值的所述组中的任一者识别为车轮包括：相对于主车辆计算远程车辆上的车轮顶部点和车轮底部点的预期相对径向速度，并且将包括基本上匹配车轮顶部点和车轮底部点的预期相对径向速度的多普勒距变率测量值的所述组中的任一者识别为车轮。
17.如权利要求14所述的物体检测系统，其中所述处理器基于远程车辆最靠近主车辆的侧面上的两个车轮的车轮位置测量值计算远程车辆的取向。
18.如权利要求14所述的物体检测系统，其中所述处理器使用递归式预测远程车辆的与车轮测量位置相对应的状态的算法，计算远程车辆相对于主车辆的位置、取向以及速度，其中远程车辆的状态包括二维位置和二维速度。
19.如权利要求14所述的物体检测系统，其中关注区域位于主车辆的一侧，物体检测系统将远程车辆的位置、取向以及速度数据提供给横向碰撞预防系统，并且如果远程车辆进入警示区，则所述横向碰撞预防系统发出警示，并且如果远程车辆进入即将碰撞包络，则应用主车辆制动和/或转向。
20.如权利要求14所述的物体检测系统，其进一步包括：主车辆车载的摄像机，其中摄像机提供覆盖与雷达传感器的覆盖区重叠的视野的图像，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且物体检测处理器使用所述图像和所述雷达点执行融合计算，以确定远程车辆的位置、取向以及速度。
CN201610208589.3A 2015-04-06 2016-04-06 车轮检测和其在物体跟踪以及传感器配准中的应用 Active CN106054191B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/679,998 US9784829B2 (en) 2015-04-06 2015-04-06 Wheel detection and its application in object tracking and sensor registration
US14/679998 2015-04-06

Publications (2)

Publication Number Publication Date
CN106054191A CN106054191A (zh) 2016-10-26
CN106054191B true CN106054191B (zh) 2019-01-22

Family

ID=56937315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610208589.3A Active CN106054191B (zh) 2015-04-06 2016-04-06 车轮检测和其在物体跟踪以及传感器配准中的应用

Country Status (3)

Country Link
US (1) US9784829B2 (zh)
CN (1) CN106054191B (zh)
DE (1) DE102016106299B4 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10215851B2 (en) 2014-09-19 2019-02-26 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
US10042047B2 (en) * 2014-09-19 2018-08-07 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
KR102256676B1 (ko) * 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
EP3282392B1 (en) * 2015-08-28 2021-09-29 Veoneer Sweden AB Vision system and method for a motor vehicle
US10317200B1 (en) * 2015-09-30 2019-06-11 Apple Inc. Multi-mode sensor for surface orientation
US10274593B2 (en) * 2015-10-02 2019-04-30 Panasonic Corporation Object detection device and object detection method
EP3176603B1 (en) * 2015-12-01 2020-04-29 Veoneer Sweden AB A vehicle radar system
US10259454B2 (en) * 2016-11-16 2019-04-16 Nio Usa, Inc. System for controlling a vehicle based on wheel angle tracking
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading
US10509120B2 (en) * 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
US10452067B2 (en) * 2017-02-23 2019-10-22 GM Global Technology Operations LLC System and method for detecting improper sensor installation within a vehicle to mitigate hazards associated with object detection
CN106934360A (zh) * 2017-03-06 2017-07-07 广州英卓电子科技有限公司 一种基于高速图像识别的车辆精确位移测量方法
US10473759B2 (en) * 2017-03-28 2019-11-12 GM Global Technology Operations LLC Tool for automatic multiple radar calibration
CN208016344U (zh) * 2017-08-30 2018-10-30 苏州宝时得电动工具有限公司 自动行走设备
JP6989766B2 (ja) * 2017-09-29 2022-01-12 ミツミ電機株式会社 レーダー装置及び物標検出方法
CN109343049B (zh) * 2017-11-10 2022-04-26 毫末智行科技有限公司 跟踪可移动目标的方法和装置
EP3499265B1 (en) * 2017-12-12 2020-08-19 Veoneer Sweden AB Determining object motion and acceleration vector in a vehicle radar system
US20190187267A1 (en) * 2017-12-20 2019-06-20 Nxp B.V. True velocity vector estimation
CN111937053B (zh) * 2018-04-02 2023-09-29 三菱电机株式会社 客户端装置、数据发送方法和数据收集系统
DE102018206500A1 (de) * 2018-04-26 2019-10-31 Continental Automotive Gmbh Verfahren zum Ermitteln einer Anzahl von Daten eines entfernten Fahrzeugs
EP3575829B1 (en) * 2018-05-30 2020-11-18 Axis AB A method of determining a transformation matrix
FR3082811B1 (fr) * 2018-06-20 2020-07-31 Psa Automobiles Sa Vehicule automobile equipe de capteurs anticollisions
CN110658518B (zh) * 2018-06-29 2022-01-21 杭州海康威视数字技术股份有限公司 一种目标入侵检测方法及装置
GB2576308B (en) * 2018-08-10 2020-12-30 Jaguar Land Rover Ltd An apparatus and method for providing driver assistance of a vehicle
US20200049796A1 (en) * 2018-08-10 2020-02-13 GM Global Technology Operations LLC Efficient near field radar match filter processing
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
CN109541578A (zh) * 2018-12-17 2019-03-29 何英明 一种车载双波道路定位雷达装置及其实现方法
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
DE102019102923B4 (de) * 2019-02-06 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
US11077846B2 (en) * 2019-03-31 2021-08-03 Gm Cruise Holdings Llc Controlling an autonomous vehicle based upon a predicted imminent lane change
CN110065494B (zh) * 2019-04-09 2020-07-31 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN110208759B (zh) * 2019-04-19 2021-07-30 森思泰克河北科技有限公司 雷达自动化标定装置及雷达检测设备
EP3757611A1 (en) * 2019-06-27 2020-12-30 Aptiv Technologies Limited Vertical road profile estimation
CN112529935B (zh) * 2019-09-18 2023-05-16 上海高德威智能交通系统有限公司 目标车辆运动状态识别方法及装置
DE102019216805A1 (de) * 2019-10-31 2021-05-06 Continental Automotive Gmbh Verfahren zum Verfolgen eines entfernten Zielfahrzeugs in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kollisionserkennungsvorrichtung
KR20210057312A (ko) * 2019-11-12 2021-05-21 현대자동차주식회사 근거리 컷인 타겟 판단 장치 및 그의 판단 방법
CN110967040B (zh) * 2019-12-17 2021-11-23 北京经纬恒润科技股份有限公司 一种传感器水平偏差角度的识别方法及系统
CN111007880B (zh) * 2019-12-24 2022-09-02 桂林电子科技大学 一种基于汽车雷达的扩展目标跟踪方法
CN110940358B (zh) * 2019-12-31 2023-07-25 徐州治鼎环境科技有限公司 一种激光雷达和惯导联合标定的装置及标定方法
JP7338497B2 (ja) * 2020-02-06 2023-09-05 株式会社デンソー 信号処理装置
KR102503388B1 (ko) * 2020-02-21 2023-03-02 블루스페이스 에이아이, 아이엔씨. 자율 주행 내비게이션 동안의 객체 회피 방법
CN111289969B (zh) * 2020-03-27 2022-03-04 北京润科通用技术有限公司 一种车载雷达运动目标融合方法及装置
JP7338559B2 (ja) * 2020-05-26 2023-09-05 株式会社デンソー 信号処理装置
CN114384496B (zh) * 2020-10-22 2023-03-21 北京一径科技有限公司 激光雷达角度的标定方法和系统
DE102020007599A1 (de) 2020-12-11 2022-06-15 Daimler Truck AG Verfahren zur Validierung von Umgebungserfassungssensoren eines Fahrzeugs und zur Validierung von Umgebungserfassungssensoren eingerichtetes Fahrzeug
DE102021102480A1 (de) 2021-02-03 2022-08-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum bestimmen einer ersten montageposition zumindest einer ersten sensorvorrichtung eines assistenzsystems eines kraftfahrzeugs sowie assistenzsystem
US11529977B1 (en) 2021-10-12 2022-12-20 Diane Albert Radar enabled determination of presence, axle count, speed, and direction of a rail car

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4308536A (en) * 1979-02-26 1981-12-29 Collision Avoidance Systems Anti-collision vehicular radar system
JPS61278775A (ja) * 1985-06-03 1986-12-09 Nissan Motor Co Ltd 先行車検出装置
FR2690755B1 (fr) * 1992-04-30 1994-08-26 Thomson Csf Procédé et système de détection d'un ou plusieurs objets dans une zone angulaire, et applications.
JP3302849B2 (ja) * 1994-11-28 2002-07-15 本田技研工業株式会社 車載用レーダーモジュール
US5684490A (en) * 1995-03-01 1997-11-04 The Ohio State University Highway vehicle guidance system
JP3012805B2 (ja) * 1996-05-09 2000-02-28 本田技研工業株式会社 Ｆｍレーダ装置
DE19648203C2 (de) * 1996-11-21 1999-06-10 Bosch Gmbh Robert Mehrstrahliges Kraftfahrzeug-Radarsystem
DE19714570B4 (de) * 1997-04-09 2006-08-31 Robert Bosch Gmbh Mehrstrahliges Radarsystem
US5964822A (en) * 1997-08-27 1999-10-12 Delco Electronics Corp. Automatic sensor azimuth alignment
JP4045041B2 (ja) * 1999-02-05 2008-02-13 本田技研工業株式会社 レーダ装置及びレーダ装置の異常検出方法
GB0002294D0 (en) * 2000-02-02 2000-03-22 Jaguar Cars Automotive radar elevation alignment
US6933883B2 (en) * 2001-02-08 2005-08-23 Fujitsu Ten Limited Method and device for aligning radar mount direction, and radar aligned by the method or device
US6714156B1 (en) * 2002-11-22 2004-03-30 Visteon Global Technologies, Inc. Method for correcting radar misalignment
US7545313B2 (en) * 2004-11-12 2009-06-09 Mitsubishi Electric Corporation Off-axis angle estimation method and apparatus using the same
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US8232872B2 (en) 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
DE102011012843A1 (de) 2011-03-03 2012-09-06 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung für ein Fahrzeug und Verfahren zum Betreiben eines Radargeräts
JP5494567B2 (ja) * 2011-05-17 2014-05-14 株式会社デンソー レーダ装置、検査システム、及び検査方法
DK2538239T3 (en) 2011-06-21 2014-02-24 Kapsch Trafficcom Ag Devices and method for detection of wheels
DE102012021461A1 (de) 2012-10-31 2013-05-08 Daimler Ag Verfahren und Vorrichtung zur Klassifikation von Fahrzeugen
ES2629906T3 (es) 2012-12-14 2017-08-16 Kapsch Trafficcom Ag Procedimiento para detectar una rueda de un vehículo

Also Published As

Publication number Publication date
DE102016106299B4 (de) 2024-03-21
US9784829B2 (en) 2017-10-10
DE102016106299A1 (de) 2016-10-06
US20160291145A1 (en) 2016-10-06
CN106054191A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106054191B (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
CN106054174B (zh) 使用雷达和摄像机用于横越交通应用的融合方法
US20220019815A1 (en) Generating an image of the surroundings of an articulated vehicle
KR101795432B1 (ko) 차량 및 차량의 제어방법
CN104943694B (zh) 用于确定和补偿传感器的未对准的系统和方法
CN104181534B (zh) 交叉路口碰撞警示系统的概率目标选择和威胁评估方法以及应用
US9187051B2 (en) Method for detecting an imminent rollover of a vehicle
US20160363647A1 (en) Vehicle positioning in intersection using visual cues, stationary objects, and gps
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
CN109313813A (zh) 用于机动车辆的视觉系统和方法
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
CN109827516B (zh) 一种通过车轮来测量距离的方法
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
US20230415729A1 (en) Vehicular control system
KR20190082298A (ko) 차륜 차량용 자기-교정 센서 시스템
US11281916B2 (en) Method of tracking objects in a scene
US20220234581A1 (en) Vehicle control method, vehicle control device, and vehicle control system including same
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
US20230034560A1 (en) Method for tracking a remote target vehicle in an area surrounding a motor vehicle by means of a collision detection device
CN115144849A (zh) 用于对象避开检测的传感器融合
JP7225079B2 (ja) 障害物認識装置
Shen et al. Stereo vision based full-range object detection and tracking
Van Crombrugge et al. Fast Ground Detection for Range Cameras on Road Surfaces Using a Three-Step Segmentation
Alrazouk et al. Efficient Real-Time Road Curvature Estimation: Visual-Inertial Approach
JPWO2021083464A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant