CN106054174A - 使用雷达和摄像机用于横越交通应用的融合方法 - Google Patents

使用雷达和摄像机用于横越交通应用的融合方法 Download PDF

Info

Publication number
CN106054174A
CN106054174A CN201610208535.7A CN201610208535A CN106054174A CN 106054174 A CN106054174 A CN 106054174A CN 201610208535 A CN201610208535 A CN 201610208535A CN 106054174 A CN106054174 A CN 106054174A
Authority
CN
China
Prior art keywords
salient point
radar
vision
vehicle
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610208535.7A
Other languages
English (en)
Other versions
CN106054174B (zh
Inventor
S.曾
W.童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106054174A publication Critical patent/CN106054174A/zh
Application granted granted Critical
Publication of CN106054174B publication Critical patent/CN106054174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874—Combination of several systems for attitude determination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9317—Driving backwards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

公开了使用雷达和摄像机用于横越交通应用的融合方法，包括用于跟踪在主车辆后面横越的物体的方法和系统。为物体检测融合系统提供来自视觉系统和两个雷达传感器的目标数据。使用视觉系统数据识别和跟踪目标物体上的凸点。将视觉凸点与对应雷达点相关联，其中雷达点提供多普勒径向速度数据。对视觉凸点和雷达点进行融合计算，从而产生目标物体速度的准确估值，包括使用仅雷达点或常规视觉系统方法难以获得的横向分量。在后方横越交通规避（RCTA）系统中使用目标物体的位置和速度来触发警示或自动制动。

Description

使用雷达和摄像机用于横越交通应用的融合方法
技术领域
本发明总体上涉及一种多输入物体检测系统，并且更具体来说涉及一种后方横越交通规避系统，其组合基于摄像机和基于雷达的物体数据来跟踪后方横越交通物体，包括比单独用雷达数据将可能的、更准确地评估物体的横向速度。
背景技术
物体检测系统还称为物体感测系统，其在现代车辆中变得日臻普遍。物体检测系统可向驾驶员提供关于车辆路径上的物体的警示。物体检测系统还可为主动式车辆系统提供输入，所述主动式车辆系统诸如自适应巡航控制，其控制车辆速度以与前方车辆保持适当纵向间距；以及后方横越交通规避系统，其可提供警示与自动制动，以避免主车辆倒车时与主车辆后面的物体相撞。
物体检测系统使用一个或多个传感器来检测主车辆路径上或附近物体的存在，所述传感器可为雷达、激光雷达、摄像机或其它技术。使用软件来跟踪物体随时间的相对运动，确定物体是移动的还是静止的，确定各物体可能是什么（另一车辆、行人、树木等等），并且确定各物体是否对主车辆造成碰撞威胁。
然而，即使使用多物体感测输入，诸如雷达和摄像机，也不会总可能准确地评估远程车辆或物体的航向，尤其是如果远程车辆或物体正相对于主车辆在主要横向或切向方向上移动的话。此外，在一些情形下，难以将雷达点数据与摄像机图像数据准确地进行关联。需要使用来自摄像机和两个雷达传感器的物体数据来提供远程车辆和物体的准确二维速度的融合技术。
发明内容
根据本发明的教导，公开了一种用于跟踪在主车辆后面横越的物体的方法和系统。为物体检测融合系统提供来自视觉系统和两个雷达传感器的目标数据。识别目标物体上的凸点并且使用视觉系统数据进行跟踪。将视觉凸点与对应雷达点相关联，其中雷达点提供多普勒（Doppler）径向速度数据。对视觉凸点和雷达点执行融合计算，以产生目标物体速度的准确估值，包括使用仅雷达点或常规视觉系统方法难以获得的其横向分量。在后方横越交通规避（RCTA）系统中使用目标物体的位置和速度来触发警示或自动制动。
本发明可以包括以下方案：
1. 一种用于跟踪正在接近主车辆的关注区域中移动的目标物体的方法，所述方法包括：
提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别目标物体位置和径向速度的雷达点；
基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算目标物体相对于主车辆的速度。
2. 如方案1所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。
3. 如方案2所述的方法，其中在所述图像中以每秒的像素为单位测量所述运动流。
4. 如方案1所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。
5. 如方案4所述的方法，其中去除运动流实质上不同于所述基线运动流的视觉凸点包括识别并且去除其运动流与基线运动流相差的量超过预定阈值的视觉凸点。
6. 如方案4所述的方法，其中将其余视觉凸点分配给最接近的雷达点包括基于在图像平面中在水平像素内所测量的距离识别最接近的雷达点。
7. 如方案1所述的方法，其中所述目标物体是正在关注区域中驾驶的远程车辆。
8. 如方案7所述的方法，其中所述远程车辆上的视觉凸点包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点。
9. 如方案7所述的方法，其进一步包括在后方横越交通规避（RCTA）系统中使用远程车辆的速度，其中关注区域位于主车辆的后方；并且如果远程车辆预计即将进入警示区，则所述RCTA系统发出警示，并且如果远程车辆预计即将进入制动包络，则应用主车辆制动。
10. 一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别远程车辆位置和径向速度的雷达点；
基于来自雷达传感器中的一个的提示，确定远程车辆存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪远程车辆上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置，包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算远程车辆相对于主车辆的速度；以及
在主车辆上的碰撞规避系统中使用远程车辆的速度。
11. 如方案10所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。
12. 如方案10所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。
13. 如方案10所述的方法，其中关注区域位于主车辆的后方，碰撞规避系统是后方横越交通规避（RCTA）系统，并且如果远程车辆预计即将进入警示区，则所述RCTA系统发出警示，并且如果远程车辆预计即将进入制动包络，则应用主车辆制动。
14. 一种用于主车辆的物体检测系统，所述系统包括：
主车辆车载的摄像机，所述摄像机提供覆盖相对于主车辆的视野的图像；
主车辆车载的两个雷达传感器，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中雷达传感器提供识别目标物体位置和径向速度的雷达点；以及
物体检测处理器，包括微处理器和存储模块，所述处理器被编程以
基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，计算目标物体相对于主车辆的速度。
15. 如方案14所述的物体检测系统，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。
16. 如方案14所述的物体检测系统，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且基于在图像平面中在水平像素内所测量的距离将其余视觉凸点分配给最接近的雷达点。
17. 如方案16所述的物体检测系统，其中去除运动流实质上不同于基线运动流的视觉凸点包括识别并且去除其运动流与基线运动流相差的量超过预定阈值的视觉凸点。
18. 如方案14所述的物体检测系统，其中目标物体是正在关注区域中驾驶的远程车辆。
19. 如方案18所述的物体检测系统，其中远程车辆上的视觉凸点包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点。
20. 如方案18所述的物体检测系统，其中关注区域位于主车辆的后方，物体检测系统将远程车辆的位置和速度数据提供给后方横越交通规避（RCTA）系统，并且如果远程车辆预计即将进入警示区，则所述RCTA系统发出警示，并且如果远程车辆预计即将进入制动包络，则应用主车辆制动。
结合附图，根据以下说明和随附权利要求，本发明的另外特征将变得显而易见。
附图说明
图1是包括多个物体检测传感器的主车辆的示意图；
图2是图1的主车辆连同远程车辆的图示，其示出远程车辆的速度矢量怎样影响其侵入主车辆的警示区或制动包络；
图3是图2的主车辆和远程车辆的图示，其进一步示出获得远程车辆的准确2-D速度的困难性；
图4是主车辆和远程车辆的另一图示，其示出由主车辆上的物体感测融合系统使用来确定远程车辆的速度的视觉凸点和雷达点；
图5是一种用于使用视觉凸点与雷达点的融合来计算远程物体相对于主车辆的速度的方法的流程图；
图6是一种用于跟踪来自摄像机图像的远程物体上的视觉凸点的方法的流程图；
图7是一种用于在物体跟踪系统中将视觉凸点与雷达点相关联的方法的流程图；
图8是包括多个呈侧视配置的物体检测传感器的主车辆的示意图；
图9是如图8所绘示的主车辆、连同远程车辆的图示，其中远程车辆大体上与主车辆并排驾驶；
图10是在地面上滚动的轮胎和车轮的侧视图示，其示出雷达传感器数据中可用于识别车轮的基本运动特性；
图11和12是图9的主车辆和远程车辆的俯视图，其示出车轮检测、远程车辆跟踪和雷达传感器校准所基于的原理和几何关系；
图13是一种用于基于图11和12所述并且示出的测量技术检测远程车辆的车轮的方法的流程图；以及
图14是一种用于使用远程车辆车轮检测同时跟踪远程车辆并且校准雷达传感器的对准角度的方法的流程图。
具体实施方式
对于针对用于使用视觉凸点与雷达点的融合来跟踪接近主车辆的物体的方法和设备的本发明实施例的以下讨论实质上仅为示例性的，并且决不旨在限制本发明或其应用或用途。
许多现代车辆都包括用于检测车辆路径上的物体的物体感测系统。所述物体感测系统可为驾驶员提供警示，或甚至触发其它系统来采取行动以避免车辆碰撞。一些车辆还包括物体感测融合系统，其在数值上“融合”来自两个或更多个物体检测传感器的数据，并且然后以所融合的物体数据作为其物体检测逻辑的基础。一种这样的系统描述在标题为“System and method of target tracking using sensor fusion（使用传感器融合进行目标跟踪的系统和方法）”的美国专利号7,460,951中，所述专利转让给本申请的受让人并且特此以引用方式全部并入。
图1是包括多个物体检测传感器的主车辆10的示意图。主车辆10包括物体感测融合系统12，其接收来自摄像机20以及一对雷达传感器32和34的数据。融合系统12包含包括微处理器和存储模块的装置，所述装置配置有软件以执行物体感测融合，如以下所详述。除了物体感测融合以外，其它应用也可以与融合系统12相同的微处理器上运行。
摄像机20将图像提供给融合系统12（或提供给专用视觉系统，其未单独示出），融合系统12中处理图像以检测、识别并且跟踪远程物体。类似地，雷达传感器32/34将其雷达返回数据提供给融合系统12（或提供给专用雷达跟踪系统，其未单独示出），在融合系统12中处理雷达点以检测、识别并且跟踪远程物体。摄像机20和雷达传感器32/34典型地通过经由车辆总线的有线连接与融合系统12通信并且将其数据提供给融合系统12，但这种通信可以是无线的。
摄像机20具有视野22。雷达传感器32/34分别具有覆盖区36和38。在图1的图示中，摄像机20和雷达传感器32/34沿向后方向取向，并且以下讨论是针对后方横越交通检测应用。然而，该技术还可应用于前视或侧视取向和应用。应注意仅摄像机视野22与雷达覆盖区36或38重叠位置处存在的远程车辆或物体能够用于物体融合。摄像机20与雷达传感器32/34中的一个可以检测目标的此重叠覆盖区在图1中以椭圆形40示出。如本领域技术人员会理解的，视野22、雷达覆盖区36/38以及重叠覆盖椭圆形40的大小和形状均概念性地示出在图1中。
然而，即使使用两个或更多个物体传感器，传统的物体感测融合系统仍可能难以准确地确定远程车辆或物体的二维（2-D）速度，特别是如果远程车辆或物体正相对于主车辆在主要横向或切向方向上移动的话。这一问题的本质示出在图2和3中。
图2是图1的主车辆10连同远程车辆50的图示。图2绘示出典型停车场场景，其中如速度箭头18所指示的主车辆10正在倒车，并且远程车辆 50正驾驶朝向主车辆10后面的位置，这可能导致冲突。在后方横越交通规避（RCTA）系统中，主车辆10可能具有围绕其所限定的制动包络14，其中主车辆10的制动可自动应用，如果主车辆10正移动并且物体进入制动包络14的话。主车辆10还可具有限定的警示区16，其中发出听觉和/或视觉警示给主车辆10的驾驶员，如果物体进入警示区16的话。
远程车辆50的速度是RCTA系统待知的重要参数。这是因为RCTA系统需要远程车辆50的速度来确定所估算的警示区16和/或制动包络14的“进入时间”。另外，警示区16的位置可基于远程车辆50的速度。在图2中清楚可见，与如果远程车辆50具有第二速度54相比，如果远程车辆50具有第一速度52，则RCTA系统采取的警示和行动将是极其不同的。因此，显然需要远程车辆50的准确2-D速度。
图3是主车辆10和远程车辆50的图示，其进一步示出获得远程车辆50的准确2-D速度的困难性。在图3中，远程车辆50具有 由箭头60指出的实际速度。可认为实际速度包括两个正交分量：由箭头62指出的径向速度和由箭头64指出的切向速度。雷达传感器32/34典型地包括多普勒性能，其中雷达返回不仅指示物体点的位置，而且指示点的径向速度。因此，远程车辆50上点的径向速度可由雷达传感器速度准确测定。然而，难以通过常规的目标跟踪估算切向速度。这是因为远程车辆50是不能认为是点目标的大物体。由于雷达传感器32/34将感测来自远程车辆50的许多雷达返回点，并且每次扫描可返回不同的点，因此方位角测量是不确定的。这进而导致切向速度不确定性。
基于图像的物体检测系统通过计算目标在图像平面上在一段时间范围内的移动，较好地适用于估算目标的切向速度。然而，在诸如远程车辆50的车辆情况下，进行此举的传统技术经常无法令人满意；这是因为图像平面中目标的表观横向运动可受径向速度影响（其引起目标在随后的帧中看起来更大或更小），或受修剪车辆轮廓时帧与帧的差异影响。
从以上讨论显然的是，需要可准确估算远程车辆50的2-D速度的改进的融合/跟踪技术。这种技术可通过融合摄像机图像数据（即视觉数据）与雷达返回数据来实现。在以下讨论的融合技术中，雷达返回数据提供如以上所述的准确的径向速度。同时，摄像机图像数据中的凸点（即突出点或显著点）可提供准确的横向或切向速度。即，代替仅仅将远程车辆50处理作为单一物体用于跟踪目的，在图像中单独跟踪来自远程车辆50的多个特征。为了提高结果的质量和可靠性，可在图像平面中使用位置近似并且使用先前估算的物体速度作为提示将视觉凸点与雷达点相关联。可从计算中去除基于当前和先前的测量具有与所预期不同的横向速度的视觉凸点。
在此处所公开的技术中，远程车辆50上的视觉凸点可包括哈里斯（Harris）角点（局部最大强度变化位置，诸如车辆A柱满足罩线/门线的地方）、车轮、前灯、尾灯、门把手、外反射镜以及任何极大稳定极值区域（MSER）或其它突出特征。尺度不变特征变换（SIFT）技术也可用于检测和描述图像中的视觉凸点。来自加速分割检测（一种角检测法）（FAST）的特征可用于提取凸点并且之后用于跟踪和速度估算。二元稳健独立元素特征（Binary RobustIndependent Elementary Features）（BRIEF）以及定向FAST与旋转BRIEF（ORB）可用于检测物体的特征点。
图4是主车辆10和远程车辆50的另一图示，其示出使用在以下讨论中的视觉凸点和雷达点。在图4中，远程车辆50再次具有由箭头60表示的速度。主车辆10车载的雷达传感器32/34检测示出为圆形80的许多雷达点，并且摄像机20检测示出为方形90的许多视觉凸点。如由小箭头所指示，雷达点将包括多普勒径向速度 （）数据，并且视觉凸点将具有与横向速度相关联的横越图像平面的表观运动流。以下详细讨论用于将视觉凸点与雷达点相关联并且融合数据以产生速度的准确估值的技术。
图5是一种用于使用视觉凸点与雷达点的融合来计算远程物体相对于主车辆的速度的整个方法的流程图100。在框102处，摄像机20和雷达传感器32/34提供数据。出于此讨论目的，将来自框102的数据提供给融合系统12，并且在融合系统12上执行所有后续计算，融合系统12包括微处理器和存储模块，如先前所述。在车辆上实际实施时，计算可在任何合适的控制器或处理器上执行，或可跨多于一个处理器分布。
在框104处，使用雷达数据来提示或触发随后的计算。即，如果雷达传感器32/34在主车辆10后面的关注区域（ROI）中检测到物体，则此提示过程继续进行速度融合计算。在框106处，使用摄像机图像数据识别并且跟踪视觉凸点。图6是一种用于跟踪来自摄像机图像的远程物体上的凸点的方法的流程图140。图6的方法在图5的框106处实施。在框142处，从图像帧检测关注区域中的视觉凸点。如以上所讨论，视觉凸点是物体（在此情况下，远程车辆 50）的突出特征，诸如柱端、车轮、前灯等等。
在框144处，建立两个时间上相邻的图像帧之间的对应性。即，标注出可在第一图像帧和下一个图像帧中识别的视觉凸点。当然，凸点将在图像平面上从一个图像移动到下一个，并且其出于许多原因将不会看起来是相同的（像素对像素），这些原因包括透视改变、光照/反射改变等等。在框146处，检测横跨图像帧稳定（即，以可预测方式移动）的视觉凸点。一种用于使用最小成本流网络检测空间-时间稳定的视觉凸点的方法描述在美国专利申请序号13/535,538 （代理人案号P019555-RD-SDJ）中，其标题为“使用最小成本流网络的宽基线双目物体匹配法（WIDE BASELINE BINOCULAR OBJECT MATCHING METHOD USINGMINIMAL COST FLOW NETWORK）”，于2012年6月28日提交，转让给本发明的受让人，并且特此以参考方式并入。
在框148处，确立各稳定凸点的运动流。运动流不是实际速度；而是，它是摄像机20的图像平面中的凸点从一个帧到下一个的移动。已知图像帧之间的逝去时间，因此例如可以每秒的像素为单位识别运动流。根据以下讨论，可变换凸点的运动流并且用在融合计算中，所述融合计算确实产生所检测物体的速度。
返回图5，现在在框106处可获得来自流程图140的凸点运动流数据。在框108处，将来自框106的视觉凸点与雷达点相关联。图7是一种用于在物体跟踪系统中将视觉凸点与雷达点相关联的方法的流程图180。图7的方法在图5的框108处实施。在框182处，各雷达点被投射至图像平面。即，，其中为从x-y帧到图像平面的单应性变换，并且为所投射的雷达点，假定这些雷达点位于地平面上。在框184处，预测的物体速度（来自前一时间步骤）作为运动流投射到图像平面上。即，，如果物体处于x-y帧中的位置处的话，则其中是在位置处计算的变换的雅可比（Jacobian）矩阵。在框186处，筛选出或从随后的计算去除运动流与所预期不同的视觉凸点。即，从计算去除第个视觉点，如果的话，其中为第个视觉点的估算的运动流，并且是运动流差异阈值，其中可为固定值或的百分比。
在框188处，各其余视觉凸点（未在框186处去除的那些）被分配给其最近的（变换至图像平面的）雷达点，其中在图像像素列中测量距离（用于最近性确定）。作为此分配的结果，x-y帧中的，其中 为使用单应性变换，视觉点从图像平面到x-y帧的投射，并且为最近的雷达点。
返回图5，视觉凸点（编号）现在已在框108处与雷达点（编号）相关联。在框110处，使用视觉凸点和其运动流以及识别的并且如上所述进行关联的雷达点和其径向速度，可通过使下式最小化来确定远程车辆50 （通过视觉凸点和雷达点测量的物体）的速度：
　　　　　　　（1）
其中以上已定义并且讨论方程式（1）中的所有变量。
在框112处，在诸如后方横越交通规避（RCTA）系统的驾驶员辅助应用中使用远程车辆50的速度。如先前所讨论，远程车辆50的速度可用于计算警示区16和/或制动包络14的“进入时间”，并且警示区16的位置可基于远程车辆50的速度。流程图100的过程继续，并且远程车辆50的速度继续使用方程式（1）的融合计算进行更新，只要在主车辆10后面的关注区域中检测到物体。
采用以上所述的视觉凸点与雷达点的融合进行的速度计算提供比传统的物体感测方法更准确的远程车辆速度估算。准确的远程车辆速度可有利地用于后方横越交通规避（RCTA）系统中。此同一融合技术还可用来跟踪其它类型的物体，诸如自行车和购物车，和在前视或侧视应用中、摄像机视野与雷达覆盖区重叠的任何地方跟踪物体。所有这些能力在不必需物体分类符的冗长训练情况下都是可能的。
尽管以上所述的技术对于接近主车辆的任何一般物体的检测和跟踪、特别是在后方横越交通规避应用中是极其有效的，但确切地讲可采用其它技术来跟踪远程车辆。一种这样的技术利用远程车辆上的车轮的独特运动特征，并且提供对远程车辆位置、速度以及航向的加强计算。
图8是包括多个呈侧视配置的物体检测传感器的主车辆300的示意图。主车辆300包括物体感测融合系统302，其接收来自摄像机304以及一对雷达传感器306和308的数据。融合系统302包含包括微处理器和存储模块的装置，所述装置配置有软件以进行物体感测融合，如以下所详述。除了物体感测融合以外，其它应用也可以在与融合系统302相同的微处理器上运行。
摄像机304和雷达传感器306/308具有重叠的覆盖区，并且将其数据提供给融合系统302，其方式类似于先前关于图1的主车辆10所讨论。如同图1的情况，如本领域技术人员应理解的，摄像机视野314、雷达覆盖区316/318以及重叠覆盖椭圆形320（其中远程车辆可由摄像机304和雷达传感器306/308中的至少一个检测到）的大小和形状均在图8中概念性示出。
如先前所讨论，即使使用两个或更多个物体传感器，传统的物体感测融合系统仍可能难以准确地确定远程车辆的二维（2-D）速度，特别是如果远程车辆正相对于主车辆300在主要横向（或切向方向上）移动的话。如侧视或横向碰撞预防情况中所显示，此问题的本质示出在图9中。
图9是如图8所绘示的主车辆300连同远程车辆400的图示。图9示出典型多车道道路驾驶场景，其中如速度箭头330所指示的主车辆300正驾驶，并且远程车辆 400正大体上与主车辆300并排驾驶，但潜在地在可能引起冲突的方向上朝向主车辆300漂移。在横向碰撞预防（LCP）系统中，主车辆300可发出驾驶员警示，如果远程车辆400进入警示区的话；或采取闪避动作（制动和/或转向），如果确定远程车辆400造成即将的碰撞危险的话。
远程车辆400的速度是LCP系统待知的重要参数。在图9中清楚可见，与如果远程车辆400具有第二速度404相比，如果远程车辆400具有第一速度402，则LCP系统采取的警示和/或动作将是极其不同的。因此，显然需要远程车辆400的准确2-D速度。在横向定位的远程车辆的情况下，有可能清楚地识别远程车辆的车轮，并且使用远程车辆车轮测量值来测定2-D远程车辆速度并且同时校准雷达传感器瞄准角度。
图10是在地面上滚动的轮胎和车轮的侧视图示，其示出雷达传感器数据中可用于识别车轮的基本运动特性。在图10中，轮胎260与车轮270正在地面上滚动。车轮270具有半径 272，并且轮胎260具有厚度 262。轮胎的外径被定义为。车轮270上三个点（车轮底部点274、车轮中心点276以及车轮顶部点278）的分析示出了可如何在雷达返回数据中清楚地识别车轮。为相对于图9进行可视化，认为轮胎260和车轮270在远程车辆400的右手侧。
当然，车轮中心点276正以与远程车辆400相同的速度 （以箭头286表示）移动。由于车轮转动，车轮顶部点278正以以下速度移动：
　　　　　　　　　　（2）
或者，换句话说，车轮顶部点278正以几乎是远程车辆速度的两倍的速度（以箭头288表示）移动。
类似地，由于车轮转动，车轮底部点274正以以下速度移动：
　　　　　　　　　　（3）
或者，换句话说，车轮底部点274正以稍大于零的绝对速度（以箭头284表示）移动。
车轮是良好的雷达反射物，因此许多雷达点很可能从车轮270返回。假定车轮270并不完全垂直于雷达传感器306/308的视线，车轮上点（如由点274/276/278所示出）的不同速度将产生雷达传感器306/308的不同多普勒距变率测量值。因此，如果传感器306/308在基本上同一位置检测到其有显著不同距变率的多个雷达点，则这些点群集可认为是远程车辆400上的车轮。
为了使用远程车辆车轮位置来跟踪远程车辆400并且校准雷达传感器瞄准角度，必须首先在雷达数据中识别远程车辆400上车轮的位置。图11和12是主车辆300和远程车辆400的俯视图，其示出以下讨论和计算（描述车轮检测、远程车辆跟踪和雷达传感器校准）所基于的原理和几何关系。
如所示，主车辆300具有用作X-Y坐标帧的原点的形心332。雷达传感器306和308各自定位在主车辆帧中的位置处，其中。因此，雷达传感器306可指出为位于位置 （由矢量342指出）的，并且雷达传感器308可指出为位于位置（由矢量352指出）的。类似地，雷达传感器306（）具有视线344，其与主车辆300的直前（X）方向成角度（角度测量值346）定位，并且雷达传感器308（）具有视线354，其与主车辆300的直前（X）方向成角度（角度测量值356）定位。
远程车辆400具有形心406，正沿着矢量402以速度移动，所述矢量402与主车辆300的直前（X）方向成角度（角度测量值408）。 远程车辆 400具有右侧车轮410和412。出于此讨论的目的，远程车辆400为四轮（每侧两个轮子）小汽车或卡车；然而，车轮检测方法同样适用于两轮远程车辆（摩托车）和多于四轮的远程车辆（卡车和公交车）。远程车辆400上的每个轮子在远程车辆帧中位于位置（由矢量414指出），其中。
如以上所讨论，首要任务是检测远程车辆400上的车轮410和412，这通过以一系列多普勒（距变率）测量来识别同一位置处雷达点的群集进行。对于图10的车轮270，车轮顶部点278关于主车辆300的相对速度（其分量等于可通过雷达传感器306/308检测的点278的距变率）可定义为：
　　　　　　　　　　（4）
其中为车轮半径，为轮胎半径，为远程车辆400的速度，为远程车辆400的航向角度，并且为主车辆300的速度。
类似地，车轮底部点274正关于主车辆300以可通过使用方程式（4）的其中因子由替换的变型获得的相对速度移动。在大多数情况下，车轮底部点274将移动远离主车辆300。
对于测量远程车辆400上的车轮之一的雷达传感器306（），如图11和12所示，径向线单位矢量可定义为
　　　　　　　　　　（5）
其中，如图12所示，是远程车辆车轮相对于雷达传感器的视线344的方位测量角度（由角度测量值360表示并且示出为，因为其由视线344顺时针测量，其中逆时针测量）。
（由方程式4）已知远程车辆的车轮上点的相对速度，并且（由方程式5）已知从雷达传感器到车轮的径向线单位矢量，远程车辆车轮上点的所预期多普勒测量值可测定为：
　　　　　　　　　　（6）。
图13是一种用于如上所述的基于测量技术检测远程车辆的车轮的方法的流程图500。在框502处，获得雷达传感器306和308的传感器点。各传感器点具有距离、多普勒和方位角。即，各传感器点包括，。在框504处，基于位置接近性（距离和方位角）将雷达点群集成组。用于将雷达点群集成组的一种技术是将点和分配给同一群集，如果并且只有：
　　　　　　　　　　（7）
其中和是可调校准值，并且距离和角度如以上所述。
在框506处，评估方程式（7）所识别的各群集中所有雷达点的多普勒值。如果点的群集具有距离如方程式（4）-（6）所述的多普勒值（包括朝向主车辆300移动的一些点和移动远离主车辆300的一些点），则所述群集被识别为远程车辆400上的车轮。在框508处，计算远程车辆400的轴距，如果在远程车辆400检测到两个车轮，最有可能地，最接近主车辆300的那一侧上的两个车轮。轴距计算为所检测到的两个车轮中心之间的距离。车轮中心可识别为最接近车轮群集中所包括的点的几何中心的雷达点。从距离和方位角已知车轮中心点的位置，直接计算两个点之间的距离。在框510处，计算远程车辆400的取向角（角度测量值408），如果在远程车辆400上检测到两个车轮的话。给定两个车轮中心点的位置，取向角的计算也是直接计算。
图14是一种用于使用远程车辆车轮检测同时跟踪远程车辆400并且校准雷达传感器306/308的对准角度的方法的流程图540。流程图540的方法步骤可由主车辆300上的物体感测融合系统302执行。在框542处，由雷达传感器306/308提供雷达点数据。出于此讨论目的，将来自框542的数据提供给物体感测融合系统302，并且在物体感测融合系统302上执行所有后续计算，物体感测融合系统302包括微处理器和存储模块，如先前所述。在框544处，在来自传感器306/308的雷达点数据中识别远程车辆400上的车轮。如果识别出两个车轮，则还在框544处计算取向角。识别远程车辆400的车轮和计算取向角中所涉及步骤的细节提供在以上所讨论的图13中。
在框546处，使用通过雷达传感器306和308检测的车轮跟踪远程车辆400的位置、取向和速度。远程车辆400的状态被建模为，表示远程车辆400的中心位置和地面速度。通过将远程车辆400的航向角或取向角与和速度相关联。
如以上在图11和12的讨论中所述，可通过数识别远程车辆400上的车轮，其中各车轮在远程车辆参考帧中处于位置。还如以上所述，主车辆300上的雷达传感器306/308可通过数来识别，其中各传感器在主车辆参考帧中处于位置，并且与主车辆300的直前（X）方向具有视线角度。
考虑到以上，可定义一般符号，其中通过第个雷达传感器测量的第个车轮的位置已知为。
接下来，定义旋转矩阵，其中在必要时用于基于角度和使点坐标旋转。矩阵定义为：
　　　　　　　　　　（8）。
用于基于远程车辆400的状态，由第个雷达传感器测量的第个车轮（对于和）的测量方程式于是定义为
　　　（9）
其中为远程车辆状态的函数，并且其它变量在以上讨论中描述。可对方程式（9）递归求解，以最佳地基于各新的车轮位置测量值估算状态。在一个非限制性实施例中，在卡尔曼滤波器例程中将方程式（9）编程以对状态求解。
通过使用所有可用的车轮测量值继续对方程式（9）求解，可在框546处通过主车辆300跟踪远程车辆400的状态（），只要远程车辆400保持在主车辆300的关注区域内。
在框548处，基于远程车辆400上车轮的所识别位置校准雷达传感器306/308的对准角度。如图11和12所示，远程车辆400上的车轮410可通过雷达传感器306与雷达传感器308来检测，因而提供冗余的测量数据。对于车轮412也可同样如此。此冗余的测量数据可有利地用于传感器对准校准。
考虑到雷达传感器306和308的已知位置（分别为和）和其相应的视线角（和），对于车轮410方程式（9）应产生同一位置，无论是通过雷达传感器306还是雷达传感器308来进行测量。然而，实际上车轮410的冗余测量可能并不一致，并且任何差异均可归因于传感器未对准。例如，如果假定传感器306的对准角是准确的，则传感器308的对准角可基于测量数据进行校准，以更接近地匹配远程车辆400的位置和取向以及车轮410的位置。
从以上方程式（9）提取第二因子，所计算表达式可定义为：
　　　　　　　　　　（10）
其中为时序识别符，，并且所计算表达式和雷达测量值的个最新值存储在缓存中。
旋转对准矩阵可定义为，并且可通过将以下最小二乘函数最小化来求解：
　　　　　　　　　　（11）。
以下技术可用于对方程式（11）求解。假设矩阵并且。通过的奇异值分解得到矩阵、以及。即，。最小二乘方程式（11）的解为，其中
　　　　　　　　　　（12）
并且是行列式算子。
使用以上求解的矩阵，雷达传感器308的所估算对准角为。可在图14的框548处继续校准雷达传感器306或308的对准角。对准角可用于调整来自雷达传感器306或308的将来测量读数。通过由主车辆300上的雷达传感器306/308对远程车辆400上车轮的冗余和重复测量以及以上讨论的融合计算有可能进行远程车辆400的跟踪和雷达传感器对准的同时校准。
物体感测融合系统302还可在以上讨论的融合计算中并入来自摄像机304的视觉数据，以进一步完善远程车辆400的跟踪和对雷达传感器对准的同时校准。这可通过在视觉数据中以凸点形式识别车轮并且将视觉凸点与对应雷达点融合来进行，如以上关于后方横越交通规避（RCTA）应用所讨论。
以上所述的采用雷达车轮检测的远程车辆跟踪计算提供远程车辆位置、取向以及速度的比传统物体感测方法更准确的估算。准确远程跟踪可有利地用在横向碰撞预防（LCP）系统中，其中准确了解远程车辆的2-D速度是关键的。使用此同一融合技术来虚拟校准雷达传感器对准对车辆制造商和车主或驾驶员提供额外益处。
以上讨论仅公开并且描述了本发明的示例性实施例。本领域技术人员从此讨论和附图以及权利要求将易于认识到可在不背离如以下权利要求所限定的本发明精神和范围情况下进行各种变化、修改以及变更。

Claims (10)

1.一种用于跟踪正在接近主车辆的关注区域中移动的目标物体的方法，所述方法包括：
提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别目标物体位置和径向速度的雷达点；
基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算目标物体相对于主车辆的速度。
2.如权利要求1所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。
3.如权利要求2所述的方法，其中在所述图像中以每秒的像素为单位测量所述运动流。
4.如权利要求1所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。
5.如权利要求4所述的方法，其中去除运动流实质上不同于基线运动流的视觉凸点包括识别并且去除其运动流与基线运动流相差的量超过预定阈值的视觉凸点。
6.如权利要求4所述的方法，其中将其余视觉凸点分配给最接近的雷达点包括基于在图像平面中在水平像素内所测量的距离识别最接近的雷达点。
7.如权利要求1所述的方法，其中所述目标物体是正在关注区域中驾驶的远程车辆。
8.如权利要求7所述的方法，其中所述远程车辆上的视觉凸点包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点。
9.一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：
提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；
提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别远程车辆位置和径向速度的雷达点；
基于来自雷达传感器中的一个的提示，确定远程车辆存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪远程车辆上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置，包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算远程车辆相对于主车辆的速度；以及
在主车辆上的碰撞规避系统中使用远程车辆的速度。
10.一种用于主车辆的物体检测系统，所述系统包括：
主车辆车载的摄像机，所述摄像机提供覆盖相对于主车辆的视野的图像；
主车辆车载的两个雷达传感器，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中雷达传感器提供识别目标物体位置和径向速度的雷达点；以及
物体检测处理器，包括微处理器和存储模块，所述处理器被编程以
基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；
分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；
将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及
使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，计算目标物体相对于主车辆的速度。
CN201610208535.7A 2015-04-06 2016-04-06 使用雷达和摄像机用于横越交通应用的融合方法 Active CN106054174B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/679995 2015-04-06
US14/679,995 US9599706B2 (en) 2015-04-06 2015-04-06 Fusion method for cross traffic application using radars and camera

Publications (2)

Publication Number Publication Date
CN106054174A true CN106054174A (zh) 2016-10-26
CN106054174B CN106054174B (zh) 2018-10-09

Family

ID=56937179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610208535.7A Active CN106054174B (zh) 2015-04-06 2016-04-06 使用雷达和摄像机用于横越交通应用的融合方法

Country Status (3)

Country Link
US (1) US9599706B2 (zh)
CN (1) CN106054174B (zh)
DE (1) DE102016106298B4 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108001444A (zh) * 2017-10-11 2018-05-08 北京车和家信息技术有限公司 自动驾驶车辆控制方法及系统
CN108375765A (zh) * 2017-01-30 2018-08-07 通用汽车环球科技运作有限责任公司 使用信号变化的多普勒效应检测突然减速
CN108445456A (zh) * 2017-02-16 2018-08-24 通用汽车环球科技运作有限责任公司 光达-雷达相对位姿的校准
CN109633626A (zh) * 2017-10-05 2019-04-16 通用汽车环球科技运作有限责任公司 跟踪物体的方法
CN109872370A (zh) * 2017-12-04 2019-06-11 通用汽车环球科技运作有限责任公司 使用激光雷达数据对摄像机系统进行检测和重新校准
CN110065494A (zh) * 2019-04-09 2019-07-30 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN110169045A (zh) * 2017-01-20 2019-08-23 索尼公司 信息处理设备、信息处理方法以及信息处理系统
CN110539748A (zh) * 2019-08-27 2019-12-06 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车系统和终端
CN110691986A (zh) * 2017-06-02 2020-01-14 索尼公司 用于计算机视觉的设备、方法和计算机程序
CN111033311A (zh) * 2017-09-29 2020-04-17 三美电机株式会社 雷达装置及目标检测方法
CN111627211A (zh) * 2019-02-28 2020-09-04 通用汽车环球科技运作有限责任公司 确定合作传感器共享物体的接收过程的优先级的方法
CN112415516A (zh) * 2019-08-05 2021-02-26 郑州宇通客车股份有限公司 一种车辆前方障碍区域感知方法及装置
CN112529955A (zh) * 2020-12-08 2021-03-19 北京首科丰汇科技有限公司 一种高速公路的道路归一化与速度恢复方法、装置
CN113359147A (zh) * 2020-03-06 2021-09-07 郑州宇通客车股份有限公司 一种车辆及目标物运动状态的判断方法和装置
CN113366550A (zh) * 2019-02-01 2021-09-07 株式会社电装 警报装置
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN115108496A (zh) * 2021-03-22 2022-09-27 株式会社东芝 无人搬运车、无人搬运系统以及搬运程序
CN115661797A (zh) * 2022-12-06 2023-01-31 清华大学 目标跟踪方法、装置及设备
CN117788513A (zh) * 2023-12-28 2024-03-29 上海朗尚传感技术有限公司 一种基于多传感器的道路车辆跟踪检测系统及方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977123B2 (en) * 2014-05-20 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Automated track projection bias removal using frechet distance and road networks
KR102256676B1 (ko) * 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US10274593B2 (en) * 2015-10-02 2019-04-30 Panasonic Corporation Object detection device and object detection method
US11328155B2 (en) * 2015-11-13 2022-05-10 FLIR Belgium BVBA Augmented reality labels systems and methods
US10565468B2 (en) * 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
JP6500814B2 (ja) * 2016-03-07 2019-04-17 トヨタ自動車株式会社 車両用照明装置
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
US10259454B2 (en) * 2016-11-16 2019-04-16 Nio Usa, Inc. System for controlling a vehicle based on wheel angle tracking
GB2601644B (en) * 2017-04-28 2023-02-08 FLIR Belgium BVBA Video and image chart fusion systems and methods
JP2018205095A (ja) * 2017-06-02 2018-12-27 京セラ株式会社 電磁波検出システム
EP3422045B1 (en) 2017-06-30 2022-04-20 Veoneer Sweden AB A system for enhanced object tracking
EP3422046B1 (en) 2017-06-30 2021-04-28 Veoneer Sweden AB A system for enhanced object tracking
KR102401176B1 (ko) * 2017-09-14 2022-05-24 삼성전자주식회사 레이더 영상 처리 방법, 장치 및 시스템
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors
US10641888B2 (en) 2017-11-06 2020-05-05 Veoneer Us Inc. Cued automobile sensor fusion
US10739784B2 (en) * 2017-11-29 2020-08-11 Qualcomm Incorporated Radar aided visual inertial odometry initialization
US20190187267A1 (en) * 2017-12-20 2019-06-20 Nxp B.V. True velocity vector estimation
CN110163885B (zh) * 2018-02-12 2022-06-03 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
US10830871B2 (en) * 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration
CN108536149B (zh) * 2018-04-25 2023-07-28 吉林大学 一种基于Dubins路径的无人驾驶车辆避障控制方法
US10852420B2 (en) 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
EP3575829B1 (en) 2018-05-30 2020-11-18 Axis AB A method of determining a transformation matrix
DE102018211240A1 (de) * 2018-07-07 2020-01-09 Robert Bosch Gmbh Verfahren zum Klassifizieren einer Relevanz eines Objekts
CN110378178B (zh) * 2018-09-30 2022-01-28 毫末智行科技有限公司 目标跟踪方法及装置
DE102018218925A1 (de) * 2018-11-06 2020-05-07 Audi Ag Anordnung einer Radnabe an einem Radträger für ein Fahrzeug, Radnabenantrieb für ein Fahrzeug sowie Fahrzeug
KR102653169B1 (ko) 2018-12-12 2024-04-03 주식회사 에이치엘클레무브 후측방 경보 제어 장치 및 방법
JP7192600B2 (ja) * 2019-03-20 2022-12-20 株式会社デンソー 警報装置
US11035945B2 (en) * 2019-04-18 2021-06-15 GM Global Technology Operations LLC System and method of controlling operation of a device with a steerable optical sensor and a steerable radar unit
TWI705913B (zh) * 2019-05-09 2020-10-01 鼎天國際股份有限公司 具視野大於160度之車輛輔助功能之雷達系統
CN112083419B (zh) * 2019-05-27 2023-12-26 鼎天国际股份有限公司 具视野大于160度的车辆辅助功能的雷达系统
CN110228413B (zh) * 2019-06-10 2020-07-14 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警系统
DE102019213815A1 (de) * 2019-09-11 2021-03-11 Zf Friedrichshafen Ag Verfahren zur Bestimmung der Bewegungsrichtung eines Fahrzeugs
CN110865366B (zh) * 2019-10-12 2023-04-18 深圳市布谷鸟科技有限公司 一种智能驾驶雷达和图像融合的人机交互方法
DE102019216805A1 (de) * 2019-10-31 2021-05-06 Continental Automotive Gmbh Verfahren zum Verfolgen eines entfernten Zielfahrzeugs in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kollisionserkennungsvorrichtung
DE102020101375A1 (de) 2020-01-21 2021-07-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Querverkehrswarnung für ein Fahrzeug mit Erkennung von Fahrspuren, Recheneinrichtung sowie Fahrerassistenzsystem
US20210261158A1 (en) * 2020-02-21 2021-08-26 BlueSpace.ai, Inc. Method for object avoidance during autonomous navigation
US11479264B2 (en) * 2020-05-05 2022-10-25 Here Global B.V. Mobile entity interaction countdown and display
CN111634290B (zh) * 2020-05-22 2023-08-11 华域汽车系统股份有限公司 高级驾驶辅助的前向融合系统及方法
CN111929653B (zh) * 2020-07-21 2024-03-26 上海交通大学 一种基于无人船航海雷达的目标检测、跟踪方法及系统
US11555920B2 (en) * 2020-10-28 2023-01-17 GM Global Technology Operations LLC Estimating vehicle velocity using radar data
CN112721921A (zh) * 2021-02-05 2021-04-30 重庆长安汽车股份有限公司 基于实时视频流监控的远程泊车方法及系统
KR20220137216A (ko) * 2021-04-01 2022-10-12 현대자동차주식회사 차량 후방 경고 시스템 및 그 제어 방법
US11673570B2 (en) * 2021-04-26 2023-06-13 Nissan North America, Inc. Vehicle driving behavior monitoring and warning system
KR20230011696A (ko) * 2021-07-14 2023-01-25 (주)스마트레이더시스템 레이더를 이용한 타겟 검출 장치 및 방법
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors
CN114137511B (zh) * 2021-11-24 2023-11-14 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN115421136A (zh) * 2022-07-28 2022-12-02 广西北投信创科技投资集团有限公司 一种车辆检测系统及其检测方法
CN115184917B (zh) * 2022-09-13 2023-03-10 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
EP4358065A1 (en) * 2022-10-19 2024-04-24 Continental Autonomous Mobility Germany GmbH Vehicle object detection system and method for detecting a target object in a detection area located behind and lateral of a subject vehicle
EP4357811A1 (en) * 2022-10-19 2024-04-24 Continental Autonomous Mobility Germany GmbH Vehicle object detection system and method for detecting a target object in a detection area located behind a subject vehicle
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117953470B (zh) * 2024-03-26 2024-06-18 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US20050007261A1 (en) * 2003-07-08 2005-01-13 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
CN1782665A (zh) * 2004-11-12 2006-06-07 高田株式会社 通过图像处理的车辆安全控制系统
US20060227036A1 (en) * 2005-03-31 2006-10-12 Honeywell International Inc. Declutter of graphical tcas targets to improve situational awareness
US20080036855A1 (en) * 2004-10-12 2008-02-14 Heenan Adam J Sensing apparatus and method for vehicles
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的系统、设备和方法
US20110255741A1 (en) * 2010-02-05 2011-10-20 Sang-Hack Jung Method and apparatus for real-time pedestrian detection for urban driving
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
US20030102997A1 (en) * 2000-02-13 2003-06-05 Hexagon System Engineering Ltd. Vehicle communication network
US7697027B2 (en) * 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6944543B2 (en) * 2001-09-21 2005-09-13 Ford Global Technologies Llc Integrated collision prediction and safety systems control for improved vehicle safety
US6859705B2 (en) * 2001-09-21 2005-02-22 Ford Global Technologies, Llc Method for operating a pre-crash sensing system with object classifier in a vehicle having a countermeasure system
US6898331B2 (en) * 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
US6871145B2 (en) * 2002-11-26 2005-03-22 General Motors Corporation Method and system for vehicle impact assessment using driver braking estimation
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US7702425B2 (en) * 2004-06-07 2010-04-20 Ford Global Technologies Object classification system for a vehicle
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP2008242544A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 衝突回避装置および方法
US7592945B2 (en) * 2007-06-27 2009-09-22 Gm Global Technology Operations, Inc. Method of estimating target elevation utilizing radar data fusion
US8106755B1 (en) * 2008-02-14 2012-01-31 Epsilon Lambda Electronics Corp. Triple-function vehicle safety sensor system
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP2013506221A (ja) * 2009-09-29 2013-02-21 ボルボ テクノロジー コーポレイション 少なくとも１つのアプリケーションにおいて及び／又は少なくとも１つのアルゴリズムによって更に処理するためにセンサアセンブリのセンサ出力データを作成する方法及びシステム
US8232872B2 (en) 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US9228833B2 (en) 2012-06-28 2016-01-05 GM Global Technology Operations LLC Wide baseline binocular object matching method using minimal cost flow network
DE102013104425B3 (de) 2013-04-30 2014-05-28 Jenoptik Robot Gmbh Verfahren zur Erfassung von Geschwindigkeitsverstößen mit restriktiver Datenspeicherung
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US20050007261A1 (en) * 2003-07-08 2005-01-13 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
US20080036855A1 (en) * 2004-10-12 2008-02-14 Heenan Adam J Sensing apparatus and method for vehicles
CN1782665A (zh) * 2004-11-12 2006-06-07 高田株式会社 通过图像处理的车辆安全控制系统
US20060227036A1 (en) * 2005-03-31 2006-10-12 Honeywell International Inc. Declutter of graphical tcas targets to improve situational awareness
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的系统、设备和方法
US20110255741A1 (en) * 2010-02-05 2011-10-20 Sang-Hack Jung Method and apparatus for real-time pedestrian detection for urban driving
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAMATH 等: ""Salient points for tracking moving objects in video"", 《PROCEEDINGS OF SPIE-THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *
陈莹: ""基于雷达和图像融合的3D车辆定位与识别"", 《电子学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110169045A (zh) * 2017-01-20 2019-08-23 索尼公司 信息处理设备、信息处理方法以及信息处理系统
CN108375765A (zh) * 2017-01-30 2018-08-07 通用汽车环球科技运作有限责任公司 使用信号变化的多普勒效应检测突然减速
CN108445456A (zh) * 2017-02-16 2018-08-24 通用汽车环球科技运作有限责任公司 光达-雷达相对位姿的校准
CN110691986A (zh) * 2017-06-02 2020-01-14 索尼公司 用于计算机视觉的设备、方法和计算机程序
CN111033311A (zh) * 2017-09-29 2020-04-17 三美电机株式会社 雷达装置及目标检测方法
CN111033311B (zh) * 2017-09-29 2023-08-18 三美电机株式会社 雷达装置及目标检测方法
CN109633626A (zh) * 2017-10-05 2019-04-16 通用汽车环球科技运作有限责任公司 跟踪物体的方法
CN108001444B (zh) * 2017-10-11 2019-10-22 北京车和家信息技术有限公司 自动驾驶车辆控制方法及系统
CN108001444A (zh) * 2017-10-11 2018-05-08 北京车和家信息技术有限公司 自动驾驶车辆控制方法及系统
CN109872370A (zh) * 2017-12-04 2019-06-11 通用汽车环球科技运作有限责任公司 使用激光雷达数据对摄像机系统进行检测和重新校准
CN109872370B (zh) * 2017-12-04 2023-09-29 通用汽车环球科技运作有限责任公司 使用激光雷达数据对摄像机系统进行检测和重新校准
CN113366550A (zh) * 2019-02-01 2021-09-07 株式会社电装 警报装置
CN111627211A (zh) * 2019-02-28 2020-09-04 通用汽车环球科技运作有限责任公司 确定合作传感器共享物体的接收过程的优先级的方法
CN111627211B (zh) * 2019-02-28 2022-08-09 通用汽车环球科技运作有限责任公司 确定合作传感器共享物体的接收过程的优先级的方法
CN110065494A (zh) * 2019-04-09 2019-07-30 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN112415516A (zh) * 2019-08-05 2021-02-26 郑州宇通客车股份有限公司 一种车辆前方障碍区域感知方法及装置
CN112415516B (zh) * 2019-08-05 2023-09-08 宇通客车股份有限公司 一种车辆前方障碍区域感知方法及装置
CN110539748A (zh) * 2019-08-27 2019-12-06 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车系统和终端
CN113359147A (zh) * 2020-03-06 2021-09-07 郑州宇通客车股份有限公司 一种车辆及目标物运动状态的判断方法和装置
CN113359147B (zh) * 2020-03-06 2023-08-18 宇通客车股份有限公司 一种车辆及目标物运动状态的判断方法和装置
CN112529955A (zh) * 2020-12-08 2021-03-19 北京首科丰汇科技有限公司 一种高速公路的道路归一化与速度恢复方法、装置
CN112529955B (zh) * 2020-12-08 2023-09-29 北京首科丰汇科技有限公司 一种高速公路的道路归一化与速度恢复方法、装置
CN115108496A (zh) * 2021-03-22 2022-09-27 株式会社东芝 无人搬运车、无人搬运系统以及搬运程序
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN115661797A (zh) * 2022-12-06 2023-01-31 清华大学 目标跟踪方法、装置及设备
CN117788513A (zh) * 2023-12-28 2024-03-29 上海朗尚传感技术有限公司 一种基于多传感器的道路车辆跟踪检测系统及方法
CN117788513B (zh) * 2023-12-28 2024-07-09 上海朗尚传感技术有限公司 一种基于多传感器的道路车辆跟踪检测系统及方法

Also Published As

Publication number Publication date
DE102016106298A9 (de) 2016-12-22
US9599706B2 (en) 2017-03-21
CN106054174B (zh) 2018-10-09
DE102016106298A1 (de) 2016-10-06
DE102016106298B4 (de) 2022-10-27
US20160291149A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CN106054174B (zh) 使用雷达和摄像机用于横越交通应用的融合方法
CN106054191B (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
US10690770B2 (en) Navigation based on radar-cued visual imaging
CA3168740C (en) Method for object avoidance during autonomous navigation
US7266220B2 (en) Monitoring device, monitoring method and program for monitoring
JP7485612B2 (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
WO2018204656A1 (en) Detection and classification systems and methods for autonomous vehicle navigation
CN107111879A (zh) 通过全景环视图像估计车辆自身运动的方法和设备
WO2015175826A1 (en) Systems and methods for detecting traffic signs
CN111563474A (zh) 运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
CN109827516B (zh) 一种通过车轮来测量距离的方法
US20220314967A1 (en) Vehicular control system
CN116348789A (zh) 用于自主载具应用的速度估计和对象跟踪
Nie et al. Camera and lidar fusion for road intersection detection
US11281916B2 (en) Method of tracking objects in a scene
CN115144849A (zh) 用于对象避开检测的传感器融合
KR101568745B1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
US20220234581A1 (en) Vehicle control method, vehicle control device, and vehicle control system including same
Petrovai et al. A stereovision based rear-end collision warning system on mobile devices
Van Crombrugge et al. Fast Ground Detection for Range Cameras on Road Surfaces Using a Three-Step Segmentation
Alrazouk et al. Efficient Real-Time Road Curvature Estimation: Visual-Inertial Approach
Malashin Measuring the distance to cars by means of a side view camera without using road markings
CN117549907A (zh) 一种基于视觉和雷达感知的acc主目标筛选方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant